bonjour à toutes et à tous !

pour la programmation d' "IA" ou de routines associées

dans l'esprit où on est susceptible de développer une interface pour que l' Intelligence Artificielle puisse converser avec nous, et ce bien entendu, dans le cas où ça ne se fait pas tout seul! (car je ne connais pas les petits secrets du Projet Caliban...)
alors comme j'avais dans ce but commencé à préparer quelques "billes" pour mon futur système expert, je peux vous les donner ici , dans leur état brut.
ce sont uniquement des lexiques en français inclus dans des fichiers textes, par catégories (adjectifs, noms, verbes, etc...) dites le moi si vous ne parvenez pas à lire.
ces lexiques contiennent les codes de conjugaison qu'il faudra savoir extraire et interpréter...
le travail n'était pas fini, mais si ça tente quelqu'un pour s'amuser déjà avec, il faut télécharger un des fichiers zip ci-joints :
au fomat texte brut (issu d'un mac! ):
télécharger le Fichier : lexiques_fr__V1_jan2009__txt.zip
au format PDF :
télécharger le Fichier : lexiques_fr__V1_jan2009__pdf.zip

exemples d'utilisation:
-un programme d'analyse de syntaxe d'un texte existant , vous permettant d'identifier les mots clés, et d'en déduire le sujet, le propos...
-un programme de génération automatique de phrases aléatoires ou avec certaines règles...
-un programme d'apprentissage au langage (ça peut être un départ pour emmagasiner des regles à établir en lisant des textes existants)

voilà,
Phil

Philopat,

je suis overbooké en ce moment mais pas d'inquiétude, je garde ce sujet sous le coude Je vais étudier avec attention tes docs.

saches que pour Caliban, j'ai une base (exportable en CSV) dans le même esprit mais intégrant plus de 40 000 mots et variantes de mots

Je reviendrai là dessus...

Bonjour Cher Calib! et à tous bien entendu

Ok merci,
j'ai trouvé ça dans mes vieilleries alors j'ai mis en ligne au cas où car à cette époque j'aurait été ravi de trouver tout ça, il s'agit de près de 50000 mots , pour les varianntes , les conjugaisons, etc , normalement je pense qu'on peut les construire, pendant l'analyse.
mais c'est simplement des données pour voir comment un programme d'analyse sémantique de texte peut emmagasiner des rêgles , des styles , etc...(par apprentissage)
c'est totalement resté inachevé, en ce qui me concerne.
ça peut aider peut-être certains ou certaines à explorer le sujet

Phil

bonjour à toutes et à tous !

une petite suite...
j'ajoute ici quelques règles de structure pour exploiter les lexiques dans le cadre soit d'une génération automatique de phrase car ça permet d'avoir des phrases relativement cohérentes, soit pour l'analyse des textes pour aider au traitement sémantique.
les mots ont presque tous d'innombrables possibilités grammaticales qui rendent incompréhensibles les structures pour les systèmes automatiques qui veulent les exploiter, alors il faut faire des analyses dans tous les sens , et dans les lexiques , etc...par élimination on obtient très peu de résultats plausibles et cohérents permettant de recouper avec un contexte pour n'en garder qu'un seul.
c'est un petit fichier texte dans le .zip à télécharger (il y a 2 formats disponibles , texte brut issu d'un mac ou bien PDF ) :
télécharger le Fichier : regles_fr__V1_jan2009_txt.zip
ou
télécharger le Fichier : regles_fr__V1_jan2009_pdf.zip
ces règles ne sont pas exhaustives , ce n'est pas achevé.
mais si ça permet à certains amateurs de s'amuser un peu avec ...

Phil

Salut!
Bein dis donc tu en as du courrage ! J'ai lu ton pdf et c'est pas mal (pourquoi verbe verbe est-il autorisé?) même si j'ai pas tout compris la faute à mon ignorance en matière de grammaire. Je pense que les chat bots doivent fonctionner sur un système qui n'en est pas loin, après je ne sais pas trop comment tu vas gérer le dictionnaire des mots et leur lien entre eux, pour que le robot donne son avis, mais te connaissant tu dois déja avoir les idées en tête.

Mais ton idée me plait bien, ces regles passées le travail est déja bien mâché, bravo !

J'avais pensé à une interface linguistique aussi, et si le meilleur langage pour dresser les fauves est l'allemand alors le meilleurs langage pour les robots c'est le japonais. Le japonais est purement génial dans sa construction, un symbole pour une syllabe , et toutes les phrases sont ordonnées de cette maniere: [theme separateur propos verbe]ou [ posseseur du theme separateur de possession theme separateur propos verbe] et après ils se la petent avec leurs robots , un baudelaire virtuel ça c'est un exploit !

Interressant tout cela, trés interressant.

Il est encore trop tot pour moi pour plancher dessus mais lorsque je vais attaquer le segmenteur syntaxique de Caliban dans sa nouvelle version, je vais me pencher sur tes doc avec interet.

Difficilement compréhensible au prime abord, nul doute qu'avec toute l'attention que cela mérite, cela doit devenir beaucoup plus parlant

ils se la petent avec leurs robots , un baudelaire virtuel ça c'est un exploit !

bonjour,


saurais tu me dire quand à peu près tu comptes attaquer ton "segmenteur" ?
plus précisément pas avant quelle date ?
(histoire de savoir si j'ai le temps de complèter..)


haha , en fait les regles sont écrite en français (c'est un langage qui peut être aussi utilisé pour faire de la programmation...)
c'est à dire que tu as un terme avec ":" puis comment il peut être composé.
un genrte de description d'arborescence.
donc quand tu fais un programme d'analyse de texte pour l'exploiter ,
tu analyses un terme d'un texte par exemple,
en balayant les items de composition des regles pour en déduire à quel notion grammaticale (quelle regle) il appartient. (ça fait mouliner le bazar...)
ça te permets de definir un ensemble de ces éléments grammaticaux auquels ton terme appartient peut-être de manière indépendante.
mais si tu as déjà les mêmes ensembles obtenus pour les mots ou les termes adjacents, tu les filtres avec des regles encore un fois, il ne te reste que le moins possible de cas.
c'est encore un peu floue, mais je l'ai déjà appliqué dans ce sens là, je montrerais un exemple par la suite.
donc ça se fait par couchs successives d'analyse de texte par analyse d'appartenance toute bête. mais au vu de l'importance de la base de données des lexiques , ça peut prendre du temps.. il faudra par la suite inserer dans le programme , un mode de travail statistique pour eviter de perdre du temps en aveugle.

Phil

saurais tu me dire quand à peu près tu comptes attaquer ton "segmenteur" ?
plus précisément pas avant quelle date ?
(histoire de savoir si j'ai le temps de complèter..)

D'aprés le planning que je me suis fixé et que j'essaye de tenir du mieux possible, je pense attaquer cette partie fin Avril

haha , en fait les regles [...] de travail statistique pour eviter de perdre du temps en aveugle.

En fait, pour Caliban,e les mots connus avec leurs types (Adjectif, Verbe sont stockés en base) et un arbre de mots est créé. Avec les mots dans l'ordre et en sous catégories leurs types (notez bien le pluriel).
Une fois cette arbre rempli, des algos comparent l'arbre a des modèles (sujet-verbe-complément, ...etc) afin de déterminer le type exacte du mot (Adj, Ver, Nom...etc) puis va flager l'instance correspondante sur la matrice heuristique

bonjour,

merci, je devrais avoir suffisament de temps... (j'espère)


très franchemlent, en toute humilité je n'ai pas compris ta réponse.
est ce que pour comparer , il y a un test d'appartenance à la base pour chaque mot?
ce test balaye-t-il toute la base pour chaque mot?
(juste par curiosité...)

@SonOfSparda

par exemple : il faut faire savoir , il pense faire, elle aime acheter, nous venons vendre, tu crois pouvoir, nous allons manger, etc.. etc...


si tu attaques cette étude, tu es sûr de ne pas avoir de concurrents

Phil

bonjour aux courageuses et courageux

oui, car s'attaquer aux problemes du langage généré est un dur labeur, et s'y interesser est déjà une fenêtre sur un travail de fourmi...
enfin..
et bien pendant que j'avais constitué cette base, bien entendu, d'autres l'ont fait,
et voyez donc ce qu'on trouve aujourd'hui (que je n'avais absolument pas pu trouver jadis... j'aurais simplement dû regarder la télé, ça aurait été pareil )
http://www.lexique.org
bref...
explorons avant de travailler.
n'hesitez pas à mettre ici les liens de programmes ou de ressources que vous trouverez.

Phil

Non de d'la de non de d'la de non de d'la !!!

FANTASTIQUE !!!

MERVEILLEUX !!!

GENIAL !!!

Tu viens de trouver là quelque chose qui inévitablement va apporter un réel plus dans nos travaux sur la psyché ! Quelle richesse de doc !!!

T'ain d'non de d'la ! Sitot la soirée de l'assoc passée, je dévore ce truc. C'est vraiment ENORME !

Merci du tuyaux

y a plus qu'à ... calib !!

bonsoir les amis du soir , et bonjour à toutes celles et ceux du jour!

au cas où ça tenterait quelqu'un ou quelqu'une.. et bien je mets cela en évidence histoire de faciliter la prise.
je parle bien entendu de faire un peu avancer la machine à s'exprimer , histoire que l'IA n'est pas besoin de passer sa vie à apprendre à dire "je m'appelle machin"
apres quand tout sera en place on pourra paralleliser tout ça avec l'apprentissage pur et dur.
puis, le temps que l'IA ait structuré à sa sauce toute cette partie, alors seulement on pourra envisager de déconnecter ce gros module, sauf si bien entendu , la performance n'est pas de mise...

sinon, il me restait à ajouter quelques regles ainsi improvisées, mais il est possible que ça existe tout fait déjà, alors je verrais ça en détail à un autre moment pour bien éplucher le net.

-Phil-

Bonjour !

Je ne me suis pas encore présentée dans la section présentation mais je vais m'en charger prochainement. J'ai des connaissances en TALN (Traitement Automatique du Langage Naturel) et je serais ravie d'apporter mon aide à votre projet.

Pour commencer ma question est simple : que voulez-vous faire ? En fonction de votre réponse je pourrais peut-être vous donner quelques pistes sur des ressources pour vous éviter de réinventer la roue (même si c'est toujours amusant et enrichissant d'essayer des choses par soi même) et vous faire gagner du temps

Bienvenu Sabrina!

Une experte en langage, ça c'est une bonne nouvelle
Tu vas avoir pas mal de chose à discuter avec Denis - mais avec tout le monde en fait...

a bientôt!

groutier

bonjour Sabrina et à tous,

c'est un grand plaisir de recevoir ta participation quelqu'en soit la manière ou ta disponibilité

il est vrai que en amateurs , nous ne sommes pas encore très bien orientés au sujet de ce qui est disponible en la matière.
le but ultime est de pouvoir construire un robot autonome avec son IA forte et toute son aptitude à converser avec une vraie personne.
si nous parvenu à une IA digne de ce nom , certainement elle pourrait élaborer ses propres aptitudes , mais avec je suppose un temps d'apprentissage conséquent.
il serait pourtant super chouette de pouvoir échanger des petites phrases avec une IA meme encore novice en la matiere , et meme si pas tres intelligente en soi.
ça nous permettrait d'etre stimulés par les effets de reaction de nos petites bébètes virtuelles. on y mettrait encore plus de zèle à les finir.
bien entendu , ce forum peut regrouper toute astuce , brique , module, idée, principe, lien vers d'autres sources , etc.. dans l'idée que chaque petit ajout puisse servir à quelqu'un d'autre pour sa fonction élémentaire, mais pourquoi pas, aussi permettre d'elaborer un projet complet comme j'en ai parlé.

or la partie linguistique est un peu une zone d'ombre, pour moi en tout cas, du fait que c'est tres complliqué de mettre en oeuvre un dispositif de generation de phrases dont le sens devrait etre issu de l'IA pilotant cette génération, et de même pour la description d'une phrase permettant d'en transvaser le sens , les objets et leurs liens à l'IA. d'autant plus que la quantité des mots et de leurs conjugaisons est pharaonique.

ma 1ere approche était tres mécanique. une machine logicielle qui compose ou décompose en fonction de regles et des liens qui lui sont fournis par l'IA (le sens des mots)
mais en verité, il serait beaucoup plus interessant de connaitre quelques principes de base déjà exploités dans ce domaine. un peu comme des résumés de processus.
par exemple "qui fait quoi/comment/ quelles sont les boucles/quelles bases de connaissances peripheriques sont necessaires/comment sont structurés les données décomposées , etc.. (j'avoue parler sans m'etre documenté, mais ça viendra..)

sinon pour un but intermédiaire précis, je laisse le soins à CalibanProject de s'exprimer à ce sujet. comme à tout autre d'ailleurs (pensant en effet à Denis..)
car il me semble bien qu'il a bien entamé la construction de ce genre d'interface.

en fait, il s'agit de construire un bon petit bloc "interface linguistique" en entrée et en sortie.
ensuite plus tard pourront se greffer les petits "+" intelligents de l'interface (comme la reconnaissance des modes de communication que je nommais "formes des propos" )

voilà..
amicalement,
Phil

Soit la bienvenue parmis nous Sabrina.

Nous sommes actuellement en train de réaliser avec Miguil un modèle cognitif ainsi qu'une synthèse des différentes opinions présentent en ces lieux concernant la façon dont une Psyché Artificielle doit opérer. Nous présenterons cela aux membres de l'association afin de les soumettre à leur appréciation, et si accord il y a, mettre en place un plan d'action.

Nous ne sommes donc pas forcément fixé actuellement sur la façon exacte dont les "sorties" seront générées mais nous savons que cela se rapprochera a peu prét de ce qui avait été testé sur Caliban.

Synthétiquement, le moteur cognitif passera en paramètre a un process dédié un ensemble de mots clés (sujet, action, cod...etc). C'est alors que 2 processus (globalement) entreront en oeuvre. Le premier élaborera a partir de ces éléments clés une phrase intelligible en appliquant les régles de la grammaire et tutti quanti.

Puis, dans un second temps, la phrase générée sera passée en paramètre à un soft qui la décomposera en phonème puis à un text_to_speech. Denis étudie comment élaborer un tel TTS car c'est le sujet qui le passionne. Cependant, nous avons déjà a notre disposition tout le matos de Caiban qui utilisait le moteur "Euler" pour générer les phonèmes et MbRola pour les lire. Il sagit d'un programme utilisant ces DLL qui fonctionne dors et déjà et la diction est plus que correcte même si elle pourrait étre meilleure.

Ainsi donc, nous sommes trés interressés par ta proposition d'aide. Mais sur quel niveau serait tu succeptible d'intervenir. Générer la phrase ou bien la lire ?

En tous les cas, merci beaucoup de ta venue

PS : Et on attend tous ta petite pprésentation

Merci pour ces mots de bienvenue !

Je serais plutôt capable de vous aider pour la génération car je ne m'y connais pas trop en synthèse, et si Denis est un passionné du sujet il doit en savoir bien plus que moi.

La génération peut être un problème très épineux, je suppose que vous le savez, et la plupart des moteurs conversationnels opérationnels n'utilisent pas de génération au sens pur mais des phrases déjà enregistrées qu'ils n'ont plus qu'à accorder (en fonction du genre de l'interlocuteur par exemple, si c'est une femme ou un homme). Avec ce système si on a un locuteur A (humain ou robot) et un interlocuteur B robot, on dispose d'un paquet de phrases réponses écrites à l'avance que B peut prononcer. A chacune de ces phrases réponses, on associe un patron de phrase, qui représente une phrase que A pourrait prononcer. Lorsque A prononce sa phrase, on l'associe à un patron particulier parmi tous les patrons disponibles avec un algorithme d'appariement, et lorsque qu'on l'a associée à ce patron, B prononce la phrase réponse qui correspond à ce patron. Par exemple un patron serait "comment tu t'appelles ?" et à ce patron on peut apparier "c'est quoi ton nom ?" "quel est ton nom ?" etc. La réponse associée à ce patron pourrait-être "Je m'appelle Nao". Les patrons sont représentés sous forme d'arbres syntaxiques, et l'appariement se fait en comparant la structure du patron avec celle de la phrase effectivement prononcée.

Cependant si vous avez déjà un ensemble de mots clés avec sujet et action on peut peut-être faire de la vraie génération, ce serait très sympa. Il faudrait que je voie à quoi ressemblent les données.

bonjour sabrina, calib et autres passionnés


en voilà une très belle entrée sur scène comme je les aime

si c'est pas un defi ça ! hein? et tu sais, nous et bien les defis , on y court..
mais c'est vrai que ce sera plutot pour un futur au vu de ce que tu nous dis


ce genre d'automate d'etat est tout à fait accessible par nos petites competences. en tout cas, moi je n'y vois aucune difficulté.
=> et penses tu qu'on, pourrait faire tourner toute la nuit un programme d'apprentissage de phrases ou de fragments en le faisant lire un roman, afin qu'il recueille de quoi nourrir une belle petite base de patrons comme tu évoques?
par exemple par une classification toute bete comme on classe les animaux (par branches à 2 options).


tu nous aiderais donc à defier les dieux.. héhé, ça va turbiner!

-Phil-