Skip to content

Merge sources/* to domains.csv

Julien Palard requested to merge github/fork/JulienPalard/merge-sources into master

TODO :

  • Prendre en compte les commentaires de sources/*.txt (lignes avec des #).
  • Mettre à jour check.py
  • Mettre à jour sort.py
  • Mettre à jour le README.
  • Mettre à jour les scripts d'insertion.

Alors, j'ai pris une liberté : j'ai mergé sources/* dans domains.csv plutôt que créer encore un nouveau fichier (et oui je suis toujours ouvert à la discussion). Les « colonnes » sont donc :

$ head -n 1 domains.csv 
name,http_status,https_status,SIREN,type,sources,script

J'ai versionné scripts/convert.py qui fait la convertion, je ne pense pas que ce soit nécessaire.

J'ai surtout besoin de relecture côté « choix des mots », dans convert.py j'ai :

    pretty_names = {
        "academies.txt": "Académie",
        "ambassades.txt": "Ambassade",
        "aphp.txt": "APHP",
        "centre-de-gestion.txt": "Centre de gestion",
        "collectivites.txt": "Collectivité",
        "communes.txt": "Commune",
        "conseils-departementaux.txt": "Conseil départemental",
        "conseils-regionaux.txt": "Conseil régional",
        "epci.txt": "EPCI",
        "etablissements-scolaires.txt": "Établissement scolaire",
        "gouvfr-divers.txt": "Gouvernement",
        "hopitaux.txt": "Hôpital",
        "mdph-mda.txt": "MDPH ou MDA",
        "nongouvfr-divers.txt": "",
        "prefectures.txt": "Préfécture",
        "sante-fr.txt": "Santé",
        "universites.txt": "Université",
    }

J'ai aussi :

    return "Ajout manuel de " + get_commit_author(commit)

Je pense que tout le monde ne veut pas voir son nom ici répété des milliers de fois, moi le premier, mais je manquais d'inspiration pour les ajouts manuels. On peut se contenter de « Ajout manuel », l'auteur est dans le git log de toutes façons ?

Pour expérimenter j'ai implémenté :

Capture d’écran du 2023-01-04 23-14-56

On peut imaginer une option --json si un jour quelqu'un veut un export json, qu'on est pas obligé de versionner.

Merge request reports