CiviCRM LeSNAC

Importation des données des participants - phase 1

Ouf.... tout un travail. Presque 3 jours pour bien préparer, planifier et exécuter cette migration de données cruciales pour le SNAC. Le premier défi était de passer d'un modèle d'organisation des informations, centré sur les familles (hérité de l'activité "Magasin partage") pour transposer le tout à un modèle centré sur les individus. Comme plusieurs des autres activités du SNAC s'adressent aux personnes, le fait de gérer par "cellule familiale" causait parfois de sérieux problème et ouvrait la porte à certains abus (double inscription sous les noms des deux conjoints par exemple). Le passage a CiviCRM, qui est un système qui gère des individus était une belle occasion de faire le ménage dans nos listes. Il était, bien sur, important de pouvoir continuer de suivre les familles comme groupe. CiviCRM nous permet de le faire facilement en introduisant la notion de "Ménage" (Household en anglais). Ce type de regroupement de personnes est pleinement défini dans le système et facilite grandement l'organisation des communications et des inscriptions par familles. Du côté plus technique, notre liste des participants était maintenue dans une base de données Lotus Notes, ce qui rendait l'extraction des données très simple et efficace. Notre plus grand défi fut le "nettoyage" des informations qui étaient souvent incomplètes ou dans un format non-conforme (par exemple des commentaires placés dans un champ réservé à une date). Heureusement, la facilité d'extraction des données en Lotus Notes, combiné aux excellentes fonctions d'importation de CiviCRM nous ont grandement simplifié la vie. CiviCRM nous produisait rapidement une liste des fiches contenant des informations à corriger dans Lotus Notes avant de produire un nouveau fichier d'extraction. Ce qui nous a demandé le plus de temps, mais c'était prévu, fut le fractionnement des fiches familiales en fiches d'individus. Ainsi, une seule fiche en Lotus Notes pouvait produire jusqu’à 10 fiches dans CiviCRM (Famille, Père, Mère et jusqu’à 7 enfants). Chacune des fiches originales devait donc être traitée 10 fois pour en extraire les informations et construire les fichiers d'extraction. Les étapes de transfert se résument donc ainsi:
  1. Extraction des nom de famille (formatés pour les rendre unique par l'ajout du # de membre)
  2. Création des "Ménages" dans CiviCRM par importation de la liste des familles
  3. Extraction des informations sur les chef de famille (participant principal)
  4. Création des fiches individuelles et association avec un "Ménage" existant
  5. Extraction des information sur les conjoints
  6. Création des fiches individuelles et association avec un "Ménage" existant
  7. Extraction des fiches des enfants
  8. Création des fiches individuelles et association avec un "Ménage" existant
  9. Répéter les points 7 et 8 sept fois.
Tous les travaux ont été exécutés sur le serveur de test. Dans les prochains jours nous allons vérifier les données et nous assurer que tout est OK pour procéder a l'importation dans le système principal. Les premiers test (sommaires) semblent indiquer que tout est en ordre. Nous avons extrait de Lotus Notes puis injecté dans CiviCRM:
  • 1417 familles sans enfants
  • 1179 familles ayant 1 enfant
  • 670 familles ayant 2 enfants
  • 286 familles ayant 3 enfants
  • 96 familles ayant 4 enfants
  • 28 familles ayant 5 enfants
  • 10 familles ayant 6 enfants
  • 3 familles ayant 7 enfants
Pour un total de :
  • 2596 familles
  • 5821 participants
L'importation des participants dans le système principal est prévu pour la fin de la semaine.