.. Etape 4 : Importer les données sur la plateforme de Dépôt légal de biodiversité .. _versement_jdd: Etape 4 : Importer les données sur la plateforme de Dépôt légal de biodiversité =============================================================================== 1. Présentation générale du processus d'import des données -------------------------------------------------------------- .. |icone_verser| image:: ../../_static/img/icone_verser.png :width: 3 em .. raw:: html **1.** Allez sur la plateforme de Dépôt légal de biodiversité, via le site https://depot-legal-biodiversite.naturefrance.fr/ ou directement en cliquant sur le lien suivant de `la plateforme Depobio `_ . **2.** Sur l'onglet "Importer" de la plateforme Depobio, cliquez sur "Nouvel import", sélectionnez le jeu de données à importer, puis choisissez l'encodage du fichier et le système de référence (SRID) utilisé. **3.** La plateforme réalise automatiquement un premier mapping entre les champs de votre fichier et les champs attendus dans le modèle d'import Depobio. Si la correspondance n'est pas faite sur l'ensemble des champs vous devez réaliser cette correspondance manuellement. **4.** Ensuite un contrôle sur les données de votre fichier est effectué. Les erreurs potentielles sont indiquées sur le rapport d'erreur mis à votre disposition. Les données valides sont également indiquées et peuvent être importées. 2. Présentation détaillée du processus d'import des données ---------------------------------------------------------------- Une fois que le cadre d’acquisition et le(les) jeu(x) de données correspondant(s) au projet déclaré sur demarches-simplifiees.fr sont décrits, les données peuvent être déposées sur la plateforme de Dépôt légal de biodiversité. Pour y accéder, cliquez `ici `_ (lien de l'environnement de test). Une fois connecté avec votre login INPN, plusieurs onglets sont visibles. .. image:: ../../../source/_static/img/depobio/depobio_accueil.png Le processus d’import se fait en 3 grandes étapes : 1. Choix du jeu de données et du fichier à importer 2. Correspondance des champs du fichier source avec les champs attendu par le modèle de données du dépôt légal de biodiversité 3. Résultats des contrôles et vérifications avant import Etape 1. Choix du jeu de données et du fichier à importer ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 1. Une fois connecté à DEPOBIO, accédez au module Importer. L'accueil du module affiche une liste des imports en cours ou terminés. Vous pouvez alors finir un import en cours, ou bien commencer un nouvel import. .. image:: ../../../source/_static/img/depobio/New/import_etape1_liste.png 2. Choisissez à quel JDD les données importées vont être associées. Si vous souhaitez les associer à un nouveau JDD, il faut l'avoir créé au préalable sur l'outil de gestion des métadonnées du SINP. 3. Chargez le fichier CSV à importer. .. image:: ../../../source/_static/img/depobio/New/import_etape1_fichier.png .. image:: ../../../source/_static/img/depobio/New/import_etape1_fichier2.png Etape 2. Choix des paramètres d’encodage du fichier source ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Les différents paramètres d'encodage sont automatiquement détectés à l'exception du SRID des données géographiques. Vous pouvez néanmoins modifier les paramètres d'encodage si ceux-ci ne correspondent pas à votre fichier. Les formats de données géographiques acceptés sont : * Lambert 93 * WGS 84 .. image:: ../../../source/_static/img/depobio/New/import_etape2.png Etape 3. Correspondance des champs du fichier source avec les champs du modèle Depobio ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 1. Il s'agit de faire correspondre les champs du fichier importé aux champs basé sur le standard du Dépôt légal de biodiversité disponible sur https://preprod-depobio.mnhn.fr/ressources/index.html (lien de l'environnement de test). .. image:: ../../../source/_static/img/depobio/New/import_etape3.png 2. Une fois le mapping des champs réalisé, au moins sur les champs obligatoires, il faut alors valider le mapping pour lancer le contrôle des données. .. note:: Le modèle DEPOBIO correspond au fichier type d’import que vous pouvez trouver `ici : `_ .. note:: N’hésitez pas à créer vos propres modèles si vous n’utilisez pas le modèle standard. Pour cela, importer votre fichier puis à l’étape 3, associez vos champs au champs du standard puis passez à l’étape suivante. Un message vous propose de sauvegarder votre correspondance de champs dans un nouveau modèle. Les correspondances seront enregistrées et vous aurez accès à votre modèle personnel au prochain import. .. image:: ../../../source/_static/img/depobio/New/import_etape3_modele.png Etape 4. Lancement des contrôles et vérifications avant import ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ La dernière étape permet de lancer les contrôles et d'avoir un aperçu des données à importer et leur nombre, avant de valider l'import. On distingue 3 actions à mener pour finaliser l'import des données : * Le contrôle des données importées : Pour cette action, cliquez sur le bouton [Lancer la vérification]. Cette étape peut prendre du temps en fonction du nombre d'observations à traiter. Vous pouvez quitter la page de l'import sans impacter le processus et y revenir plus tard. Les contrôles continueront à être effectués en arrière plan. * Le récapitulatif de l'import : une fois les contrôles effectués, un aperçu des données et disponible contenant : * Le nombre d'erreur bloquantes et non bloquantes détectées * La visualisation du rapport d’erreur dans un nouvel onglet si besoin * Le téléchargement du fichier CSV des données invalides s’il y en a. Ce fichier pourra être corrigé et faire l’objet d’un nouvel import * La Bounding box des données valides (détection des erreurs de géométrie) * La Prévisualisation des observations valides prêtes à être importées * le lancement de l'import des données dans la synthèse. Une fois les vérifications faites grâce au récapitulatif, cliquez sur le bouton [Importer vos x observations valides]. De la même manière que les contrôles, cette étape peut prendre du temps en fonction du nombre d'observations à traiter. Vous pouvez quitter la page de l'import sans impacter le processus et y revenir plus tard. L'import continuera à être effectués en arrière plan. * A la fin de l'import, un rapport s'affiche avec l'ensemble des paramètres de l'import. Lancement des contrôles : .. image:: ../../../source/_static/img/depobio/depobio_import_controle.png .. image:: ../../../source/_static/img/depobio/depobio_import_controle2.png Récapitulatif avant import : .. image:: ../../../source/_static/img/depobio/depobio_import_3.1.png Import : .. image:: ../../../source/_static/img/depobio/depobio_import_importer.png .. image:: ../../../source/_static/img/depobio/New/depobio_import_rapport1.png .. image:: ../../../source/_static/img/depobio/New/depobio_import_rapport2.png .. note:: L'import est asynchrone c'est à dire que les étapes de contrôle des données et d'import sont effectuées en arrière plan et que vous n'avez pas besoin de rester sur la page de l'import pendant ces étapes. Liste des contrôles réalisés sur le fichier importé et ses données ------------------------------------------------------------------ ============================================== ===================================== Type d'erreur Description de l'erreur ============================================== ===================================== Avertissement de nomenclature (Non bloquant) Code nomenclature erroné et remplacé par sa valeur par défaut ; La valeur du champ n'est pas dans la liste des codes attendus pour ce champ. Pour connaître la liste des codes autorisés, reportez-vous au Standard en cours. Champ obligatoire Valeur manquante dans un champs obligatoire Champ obligatoire conditionnel Champs obligatoires conditionnels manquants. Il existe des ensembles de champs liés à un concept qui sont obligatoires conditionnels, c'est à dire que si l'un des champs du concept est utilisé, alors d'autres champs du concept deviennent obligatoires. Date invalide La date de début est dans le futur Date invalide La date de fin est dans le futur Doublon Deux lignes du fichier ont la même clé primaire d'origine; les clés primaires du fichier source ne peuvent pas être dupliquées. Doublon L'identifiant SINP fourni existe déjà en base. Il faut en fournir une autre ou laisser la valeur vide pour une attribution automatique. Doublon Deux lignes du fichier sont identiques; les lignes ne peuvent pas être dupliquées. Duplication L'identificant SINP n'est pas unique dans le fichier fournis En-tête du fichier Un des noms de colonne de l'en-tête est vide; tous les noms de colonne doivent avoir une valeur. En-tête du fichier Plusieurs colonnes de l'en-tête portent le même nom; tous les noms de colonne de l'en-tête doivent être uniques. Erreur Erreur de fichier Une erreur de chargement s'est produite, probablement à cause d'un mauvais séparateur dans le fichier. Erreur de format Format numérique entier incorrect ou négatif dans une des colonnes de type Entier. Erreur de format Le format de date est incorrect dans une colonne de type Datetime. Le format attendu est YYYY-MM-DD ou DD-MM-YYYY (les heures sont acceptées sous ce format: HH:MM:SS) - Les séparateurs / . : sont également acceptés Erreur de format L'identifiant permanent doit être un UUID valide, ou sa valeur doit être vide. Erreur de format Chaîne de caractères trop longue ; la longueur de la chaîne dépasse la longueur maximale autorisée. Erreur de format Le format numérique réel est incorrect ou négatif dans une des colonnes de type REEL. Erreur de format Plusieurs codes de rattachement fournis pour une même ligne. Une ligne doit avoir un seul code rattachement (code commune OU code maille OU code département) Erreur de format PreuveNumerique n'est pas une url ; le champ preuveNumérique indique l'adresse web à laquelle on pourra trouver la preuve numérique ou l'archive contenant toutes les preuves numériques. Il doit commencer par "http://", "https://", ou "ftp://". Erreur de ligne sur le fichier Une ligne du fichier a moins de colonnes que l'en-tête. Erreur de ligne sur le fichier Une ligne du fichier est vide; les lignes doivent avoir au moins une cellule non vide. Erreur de ligne sur le fichier Une ligne du fichier a plus de colonnes que l'en-tête. Erreur de nomenclature Code nomenclature erroné ; La valeur du champ n'est pas dans la liste des codes attendus pour ce champ. Pour connaître la liste des codes autorisés, reportez-vous au Standard en cours. Erreur de réferentiel Le code commune/maille/département indiqué ne fait pas partie du référentiel des géographique; la valeur de codeCommune/codeMaille/codeDepartement n'a pu être trouvée dans la version courante du référentiel. Erreur de référentiel Le cdNom indiqué n'est pas dans le référentiel TAXREF ; la valeur de cdNom n'a pu être trouvée dans la version courante du référentiel. Erreur de référentiel Le cdHab indiqué n'est pas dans le référentiel HABREF ; la valeur de cdHab n'a pu être trouvée dans la version courante du référentiel. Erreur de référentiel id_digitizer n'existe pas dans la table "t_roles" Erreur de référentiel Le code (maille/département/commune) n'existe pas dans le réferentiel géographique actuel Format du fichier L'extension de fichier fournie n'est pas correct Géométrie Coordonnées géographiques en dehors du périmètre géographique de l'instance Géométrie Erreur de projection pour les coordonnées fournies Géométrie Géométrie invalide ; la valeur de la géométrie ne correspond pas au format WKT. Géométrie Géométrie invalide Géométrie Aucune géometrie fournie (ni X/Y, WKT ou code) Géoréférencement Géoréférencement manquant ; un géoréférencement doit être fourni, c'est à dire qu'il faut livrer : soit une géométrie, soit une ou plusieurs commune(s), ou département(s), ou maille(s) Géoréférencement Plusieurs géoréférencements ; un seul géoréférencement doit être livré. Une seule des colonnes codeCommune/codeMaille/codeDépartement doit être remplie pour chaque ligne Incohérence altitude min > altitude max Incohérence profondeur min > profondeur max Incohérence date_min > date_max Incohérence Incohérence entre les champs dénombrement. La valeur de denombrement_min est supérieure à celle de denombrement _max ou la valeur de denombrement _max est inférieur à denombrement_min. Incohérence Erreur de valeur Incohérence Incohérence entre les champs de preuve ; si le champ preuveExistante vaut oui, alors l'un des deux champs preuveNumérique ou preuveNonNumérique doit être rempli. A l'inverse, si l'un de ces deux champs est rempli, alors "preuveExistante" ne doit pas prendre une autre valeur que “oui” (code 1). Incohérence Référence bibliographique manquante ; si le champ statutSource a la valeur Li (Littérature), alors une référence bibliographique doit être indiquée. Incohérence La date de début est inférieur à 1900 Incohérence La date de fin est inférieur à 1900 Lecture du fichier Erreur de lecture des données; le format du fichier est incorrect. Lecture du fichier Erreur de lecture des données en raison d'un problème d'encodage. Nom du fichier Le nom de fichier ne comporte que des chiffres. Nom du fichier Nom de fichier trop long ; la longueur du nom de fichier ne doit pas être supérieure à 100 caractères Ouverture du fichier Aucun fichier détecté. Ouverture du fichier Le fichier ne comporte aucune donnée. Ouverture du fichier Aucun fichier envoyé Ouverture du fichier Le fichier fournit est vide Taille du fichier La taille du fichier dépasse la taille du fichier autorisée ============================================== =====================================