Constituer un Dataset

Chez reciTAL, la notion de "Dataset" fait référence à une collection de documents de même nature. Pour la classification, il faudra donc créer autant de datasets qu'il y a de classes différentes.

Quelques conseils pour constituer correctement un dataset de classification:

• Miser sur la qualité plutôt que sur la quantité. Commencer par une 50aine de documents par dataset, et s'assurer que ces documents soient dans la bonne classe.

• Ne pas confondre nature de document et usage métier. Par exemple une CNI et un passeport devraient être dans 2 datasets séparés. Idem pour les justificatif de domicile par exemple (facture d'électricité, de gaz, de téléphone, ...)

• Ne pas inclure de classe "Photo". Nos modèles de classification se basent sur le contenu textuel d'un document. Ils ne sont donc pas en mesure de prédire correctement si document est une photo. D'autres outils sont à disposition pour repérer les photos, contacter l'équipe projet.

Création des dataset de documents

Constituer un Dataset

Création des dataset de mails

La constitution d'un dataset de mails suit le même principe : un dataset par classe, regroupant des emails d'exemple représentatifs. Les fichiers attendus sont des .eml et/ou des .msg.