M1 TAL : Introduction au traitement des langues

Syllabus

Introduction au traitement du texte et à la recherche d’information
- Techniques d’indexation : bag of words, tf.idf
- Moteurs de recherche
Classification des documents (méthode Naïve Bayes)
Modèles de langue n-gramme, entropie, perplexité, smoothing
- Sampling et génération
Tagging HMM, étiquetage, Viterbi, n-gramme
- Entités, morphosyntaxique
Parsing avec grammaires
- Algorithme CKY
Théorie de la traduction automatique :
- Modèle noisy channel, traduction “IBM”, problèmes d’alignement