3. Déposer des données

3.1. Fichier de données à importer

Où trouver un modèle de fichier CSV constitué des champs requis pour le téléversement des données brutes de biodiversité ?

En amont du processus de versement des données :

Un modèle de fichier CSV au format attendu est téléchargeable sur le site https://depot-legal-biodiversite.naturefrance.fr/ressources/index.html (lien vers l’environnement de test) dans la partie intitulée « Standard et modèle de fichier ».

Il s’agit d’un fichier vide. La première ligne du fichier est composée de tous les champs du standard de dépôt légal de biodiversité. Un astérisque sur la deuxième ligne indique les champs obligatoires. Sur cette deuxième ligne sont indiqués également les formats attendus pour les types de champ DATE et HEURE.

Quelles sont les vérifications préalables à effectuer sur un fichier de données avant de l’importer ?

Avant d’importer un fichier, vérifier si :

1. Le format général du fichier est respecté (séparateur, encodage, projection unique…).

Dans certains cas, des correspondances devront être faites entre les champs ou entre les nomenclatures du producteur de données et les champs obligatoires attendus.

2. Les formats des champs sont bien respectés (dates, géométries WKT…), que les codes et référentiels sont bien utilisés.

3. Les données transmises constituent un jeu de données cohérent (par exemple que les données sont associées à un seul protocole de collecte) et éventuellement fractionner le fichier en plusieurs jeux de données.

Pour plus d’information sur les exigences attendues sur le format des fichiers et les informations pouvant être importées sur la plateforme, référez vous au Standard de données brutes de biodiversité.

Dans quel format de fichier peut-on importer des données dans la plateforme ?

Les données doivent être importées à partir d’un fichier CSV ou Shapefile.

Comment déposer des données dans la plateforme ?

Le dépôt de données ne correspond pas à une action unique de dépôt d’un fichier. En conformité avec les règles du protocole Depobio, l’intégration de données nécessite de créer et fournir une fiche de métadonnées du jeu de données au préalable.

L’intégration de données sur la plateforme se déroule donc en 2 temps.

Temps n°1 : La description des métadonnées sur l”application de gestion des métadonnées du SINP (lien vers l’environnement de test).

Temps n°2 : L’import du fichier de données sur la plateforme de Dépôt légal de biodiversité (lien vers l’environnement de test).

Pour plus d’informations sur le versement des données cliquez sur le lien suivant Etape 4 : Importer les données sur la plateforme de Dépôt légal de biodiversité.

3.2. Gérer les jeux de données

Comment visualiser mes jeux de données sur la plateforme ?

Une fois connecté, cliquez dans la barre de menu sur [Mes études].

Un tableau de tous vos cadres d’acquisition et jeux de données associés apparaissent.

Comment obtenir la liste des jeux de données fournis pour une télé-procédure ?

La liste des jeux de données fournis pour une télé-procédure n’est pas encore accessible en libre accès à tous les utilisateurs lorsque le jeux de données a été déposé sur la plateforme de Dépôt légal de biodiversité.

Comment modifier une donnée d’un jeu de données ?

La plateforme de Dépôt légal de biodiversité n’a pas pour vocation la saisie de données d’occurrences. Pour ajouter ou modifier des données à un jeu de données, il est nécessaire de dé-publier puis supprimer le jeu de données et de réimporter un fichier de données complété.

3.3. Calculs automatiques et contrôles

Quels sont les opérations de calculs automatiques et d’attribution de valeurs effectués par la plateforme ?

1. La plateforme attribue des valeurs par défaut pour trois champs du standard de données brutes de biodiversité lorsque ceux-ci n’ont pas été fournis.

  • heureDateDebut : rempli par « 00:00:00 » si il n’est pas fourni ;

  • heureDateFin : rempli par « 23:59:59 » si il n’est pas fourni ;

  • la version du référentiel Taxref : celle-ci sera remplie par la version du référentiel en cours dans la plateforme, si l’un des champs cdNom ou cdRef est fourni, mais pas versionTaxref.

  • le nom et la version du référentiel des mailles : ceux-ci seront remplis par le nom et la version du référentiel des mailles en cours dans la plateforme, si un ou plusieurs codes de mailles sont fournis.

2. Un processus de standardisation des données est effectué par la plateforme. Ce traitement passe par différents contrôles et calcul automatique :

  • Les contrôles de conformités vérifient que les données importées respectent les formats attendus, et que les valeurs de type code sont conformes aux nomenclatures et aux référentiels du standard.

  • En plus des vérifications de conformité (format et appartenance aux référentiels), des vérifications spécifiques au standard du dépôt légal de biodiversité sont effectuées lors de l’import.

    • Vérifications de cohérence entre plusieurs champs : certains champs doivent être remplis (ou non) en fonction de la valeur prise par d’autres champs.

    • L’unicité de l’identifiant producteur pour un producteur donné : si un identifiant producteur est fourni dans le jeu de données (un champ dont le mapping le fait correspondre à la clé primaire de la table), cet identifiant doit être unique, par organisme producteur, sur l’ensemble des jeux de données importés dans l’application. Il n’est donc pas possible, par exemple, d’importer plusieurs fois un même jeu de données si celui-ci comporte un identifiant producteur.

    • L’identifiant de la fiche de métadonnées doit correspondre à une fiche de métadonnées existante. Celle-ci doit donc avoir été livrée au préalable.

  • Si celui-ci n’est pas fourni, un identifiant permanent est généré pour chaque donnée. Il s’agit d’un identifiant unique de l’occurrence de taxon dans le SINP attribué par le pétitionnaire ou la plate-forme de dépôt légal. Son format est numérique (UUID normalisé par l’ISO/IEC 9834-8:2008). Cet identifiant servira de clé pour réaliser les contrôles de doublons dans le SINP.

  • La sensibilité est calculée à partir d’un référentiel de sensibilité. Un référentiel liste des croisements de taxons, localisations (départements), durées de sensibilité. Il permet de définir au niveau de la donnée un indice de sensibilité (entre 0 et 4) qui influe sur la visibilité de l’observation au sein de l’application.

  • Lors de l’import, un rattachement administratif de chaque observation est effectué. Selon les données livrées, chaque observation sera rattachée à une ou plusieurs entités administratives de référence (communes, mailles et départements).

Avertissement

Les données de référence actuellement utilisées dans le calcul sont les données ADMIN EXPRESS-COG carto 2017. Il se peut donc qu’il y ait des incohérences aux limites si vous utilisez un autre référentiel.

Comment est attribué le niveau de sensibilité sur les données ?

Lors de l’import de données, un calcul de la sensibilité des observations est effectué automatiquement par l’application.

Pour chaque observation, l’application identifie les lignes du référentiel de sensibilité correspondant au taxon dans le département de l’observation. Lorsqu’une liste de sensiblité régionale a été transmise au MNHN, c’est elle qui s’applique. Sinon, c’est la liste nationale. Si aucune règle ne correpond, l’observation n’est pas sensible. Sinon l’application applique la règle avec le codage le plus élevé, en prenant en priorité une règle sans commentaire.

Pour plus d’information, reportez-vous à la définition des données sensibles présente dans le glossaire.

Comment récupérer le rapport de sensibilité de mon jeu de données ?

Un rapport de sensibilité est disponible pour chaque jeu de données importé.

Une fois connecté, cliquez dans la barre de menu sur [Mes études]. La liste de vos cadres d’acquisition et jeux de données apparaît. Vous pouvez ensuite ouvrir la fiche du jeu de données qui vous intéresse et retrouver le rapport de sensibilité.

Quelles sont les fonctions de contrôles implémentées ?

Les différents contrôles implémentés ont pour objectif de permettre à l’application de générer sans erreur un fichier valide et conforme de données au format standard. La plateforme de Dépôt légal de biodiversité n’ayant pas été conçue comme un outil de gestion des données, elle ne permet pas pour l’instant de traiter des données en masse. De ce fait, le choix a été fait de limiter au maximum la reprise des données dans l’application, de contrôler les erreurs éventuelles en amont de l’intégration et de bloquer l’import des jeux de données lorsque ceux-ci présentent des erreurs bloquantes.

À l’heure actuelle, un jeu de données qui présente une erreur bloquante est refusé dans son intégralité.

Il existe deux types d’erreurs bloquantes dans le SINP. Celles-ci ont été définies dans le cadre du Groupe de Travail Validation du SINP (Procédure nationale de validation scientifique des données élémentaires d’échange du SINP pour les occurrences de taxons). Il s’agit des :

1. Erreurs de conformité

2. Erreurs de cohérence

À l’heure actuelle, seules les erreurs de conformité sont gérées par la plateforme de Dépôt légal de biodiversité.

Comment puis-je identifier les erreurs de conformité au standard dans mon fichier ?

La plateforme de Dépôt légal de biodiversité produit pour chaque jeu de données un rapport d’erreur qui est disponible sur la page listant les imports effectués. Ce rapport d’erreur se génère après avoir soumis un fichier de données si celui-ci comporte des erreurs de conformité.

Où puis-je récupérer le rapport d’erreur ?

Une fois connecté sur la plateforme de Dépôt légal de biodiversité (lien vers l’environnement de test) le rapport d’erreur se retrouve sur le module intitulé « Importer » listant tous les imports effectués.