csv2csv

Usage

Traiter les données format de type csv (grp16, grp18, grp20, pyspc), selon une méthode choisie

usage: csv2csv [-h] [-C CSV_TYPE [CSV_TYPE ...]] [-1] [-I INPUT_DIR]
               [-n {EH,EJ,HH,HI,HU2J,P15m,P3H,P5m,P6m,PH,PJ,PM,QH,QI,QJ,QM,TH,TI,TJ,VH,VI,ZH,ZI}]
               [-O OUTPUT_DIR] [-o] [-M Method [param(s) ...]] [-v] [-w]
               (-s STATION_NAME | -l STATIONS_LIST_FILE)

Named Arguments

-C, --csv-type

Format de fichier csv

-1, --onefile-export

Exporter en un seul fichier, valable uniquement si le format csv est de type “pyspc”

-I, --Input-directory

Dossier d’entrée

-n, --varname

Possible choices: EH, EJ, HH, HI, HU2J, P15m, P3H, P5m, P6m, PH, PJ, PM, QH, QI, QJ, QM, TH, TI, TJ, VH, VI, ZH, ZI

Nom de la variable à extraire

-O, --Output-directory

Dossier de sortie

-o, --overwrite

[optionnel] Compléter/corriger les données existantes ?(defaut=False)

-M, --Method

Méthodes de traitement des données Grp : + arp/areaPrcp : Calculer la lame d’eau pour l’entité Lame selon la pondération fournie dans le fichier listW.txt (param: Lame listW.txt) + ath/aboveThreshold : Ne conserver que les valeurs sup-seuil (param: Seuil) + bth/belowThreshold : Ne conserver que les valeurs sub-seuil (param: Seuil) + bwd/betweenDates : Extraire entre 2 dates (param: début fin) + cat/concatData : Concaténer les séries en une seule sous l’identité ID (param: ID) + ccd/changeCode : Re-définir l’id de la/des série(s) avec l’option (-s), le paramètre est le nouvel ID avec l’option (-l), le paramètre est le nom du fichier ID contenant les nouveaux ids (param: ID) + cpy/copyYear : Dupliquer le bloc annuel de la source pour compléter les données de la receveuse (-s/-l). Si l’option (-s) est utilisée, la source est une station. Si l’option (-l) est utilisée, la source est un fichier contenant la list des codes des stations src. La copie recouvre la période définie par start et end. (param: source année start end) + dsc/downscale : Désagréger des données à un pas de temps inférieur. Si le pas de temps final est journalier, il est nécessaire de définir l’heure de début d’une journée (param: XX 66/00) + etp/EvapoTransPot : Calculer l’évapo-transp. journalière (daily) ou horaire (hourly) à la latitude N (param: daily/hourly N) + f2s/fcst2sim : Convertir des prévisions en séries à horizons fixes (param: leadtime_1 leadtime_2) + fct/fillConstant : Remplacer les valeurs manquantes par une valeur constante C (param: C) + fli/fillLinInterp : Remplacer les valeurs manquantes par une interpolation linéaire + lrg/linearReg : Transformer les données selon une régression linéaire et un décalage temporel: NEW = scale * OLD(T+timelag) +offset (param: scale offset timelag) + nsc/nearlyequalscale : Transformer la série à un pas de temps très proche (param: XX Y,y,o,O,n,N,T,t,F,f) + pct/percentile : Calculer les séries quantiles des séries listée par (-l). Les fichiers sont écrits en tenant compte d’un préfixe, défini à partir du nom du fichier listant les séries à considérer et des quantiles demandés (entiers entre 0 et 100) (param: quantiles) + res/reservoir : Convertir par le Z0 et le barème d’un réservoir selon son nom TABLENAME et selon la correspondance entre la variable et la colonne de la table ASSOC : “X:Xabcde,Y:Y12345” (param: RESFILE [TABLENAME] [ASSOC]) + rsc/regularscale : Conversion à un pas de temps régulier + rtc/ratingCurve : Convertir les données hydrométriques (H, Q) selon les courbes de tarage contenues soit dans une base Bareme, soit dans un fichier XML-Sandre de la PHyC, dont le chemin est CTFILE. L’utilisateur peut demander l’application d’une courbe particulière selon son identifiant CT et, dans le cas PHyC, l’application des courbes de correction contenues dans LEVFILE (param: CTFILE [LEVFILE] [CT]) + s2f/sim2fcst : Convertir des simulations en prévisions, avec écart décroissant linéairement avec l’horizon jusqu’au délai de recalage de N1 pas de temps et sur N2 écheances de prévision. Les instants de prévision sont inclus dans la période définie par D1 et D2 (param: N1 N2 [D1] [D2]) + shs/subhourlyscale : Conversion à un pas de temps infra-horaire de ts secondes selon la méthode how et, si celle-ci est “interpolate”, selon la méthode howinterp (param: ts how howinterp) + tlg/timelag : Décaler dans le temps les données de N pas de temps (param: N) + usc/upscale : Agréger les données à un pas de temps supérieur (XX), Avec prise en compte stricte des valeurs manquantes (o/n)Si le pas de temps final est journalier, il est nécessaire de définir l’heure de début d’une journée (00/66) (param: XX Y,y,o,O,n,N,T,t,F,f 66/00) + wav/weighted_average : Calculer la moyenne pondérée des séries listée par (-l). Les fichiers sont écrits en tenant compte d’un préfixe, défini à partir du nom du fichier listant les séries à considérer (param: listW.txt)

-v, --verbose

[optionnel] Mode verbeux

-w, --warning

[optionnel] Mode Avertissement (defaut=True). Si False, ne lève pas les erreurs lors de la création et lors de la manipulation des séries de données

-s, --station-name

Identité de la station

-l, --station-list

Fichier contenant la liste des stations Hydro. Ignoré si l’option -s est utilisée

Exemples

Note

Les exemples sont issus des tests unitaires.

Construction d’une série de valeurs > 100 à la station K0000000. Application de la méthode ath avec les éléments utilisateurs [“100”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M ath 100

Construction d’une série de valeurs < 100 à la station K0000000. Application de la méthode bth avec les éléments utilisateurs [“100”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M bth 100

Construction d’une série entre 2 dates à la station K0000000. Application de la méthode bwd avec les éléments utilisateurs [“2014110406”, “2014110410”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M bwd 2014110406 2014110410

Concaténer les séries listées dans data/_bin/csv2csv/in/cat/K000000_concat.txt en une seule. Application de la méthode cat avec les éléments utilisateurs [] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/cat de la grandeur (“QH”) aux stations listées dans data/_bin/csv2csv/in/cat/K000000_concat.txt vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/cat -O data/_bin/csv2csv/out -n QH -l data/_bin/csv2csv/in/cat/K000000_concat.txt -M cat

Fichier de stations : data/_bin/csv2csv/in/cat/K000000_concat.txt

K000000a
K000000b

Changement de code d’une série de données. Application de la méthode ccd avec les éléments utilisateurs [“K1234567”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M ccd K1234567

Compléter des données par un bloc annuel d’une autre série. Application de la méthode cpy avec les éléments utilisateurs [“43130002”, “2014”, “20151103”, “20151110”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/dsc de la grandeur (“PJ”) à la station 43130002 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/dsc -O data/_bin/csv2csv/out -n PJ -s 43130002 -M cpy 43130002 2014 20151103 20151110

Construction d’une série horaire à partir de données journalières à la station 43130002. Application de la méthode dsc avec les éléments utilisateurs [“PH”, “66”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/dsc de la grandeur (“PJ”) à la station 43130002 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/dsc -O data/_bin/csv2csv/out -n PJ -s 43130002 -M dsc PH 66

Construction d’une série d’ETP horaire à la station 43130002. Application de la méthode etp avec les éléments utilisateurs [“hourly”, “44.9”] à partir de données au format “grp16” dans le répertoire data/_bin/csv2csv/in/usc de la grandeur (“TH”) à la station 43130002 vers le format “grp16” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/usc -O data/_bin/csv2csv/out -n TH -s 43130002 -M etp hourly 44.9 -C grp16 grp16

Création de simulations à partir de prévisions listées dans data/_bin/csv2csv/in/f2s/grp.txt. Application de la méthode f2s avec les éléments utilisateurs [“6”, “24”, “48”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/f2s de la grandeur (“QH”) des séries listées dans data/_bin/csv2csv/in/f2s/grp.txt vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/f2s -O data/_bin/csv2csv/out -n QH -l data/_bin/csv2csv/in/f2s/grp.txt -M f2s 6 24 48 -1

Fichier de stations : data/_bin/csv2csv/in/f2s/grp.txt

K1251810_2018010312_1007
K1251810_2018010312_2007
K1251810_2018010312_2011
K1251810_2018010412_1007
K1251810_2018010412_2007
K1251810_2018010412_2011

Remplacement des valeurs manquantes par une constante à la station K0000000. Application de la méthode fct avec les éléments utilisateurs [“0”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/ctl/ath de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/ctl/ath -O data/_bin/csv2csv/out -n QH -s K0000000 -M fct 0

Remplacement des valeurs manquantes par interpolation à la station K0000000. Application de la méthode fli avec les éléments utilisateurs [] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/ctl/bth de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/ctl/bth -O data/_bin/csv2csv/out -n QH -s K0000000 -M fli

Construction d’une série de valeurs > 100 à la station K0000000. Application de la méthode lrg avec les éléments utilisateurs [“2”, “10”, “6”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M lrg 2 10 6

Construction d’une série 6-min à partir de données 5-min à la station K0109910. Application de la méthode nsc avec les éléments utilisateurs [“P6m”, “o”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/nsc de la grandeur (“P5m”) à la station K0109910 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/nsc -O data/_bin/csv2csv/out -n P5m -s K0109910 -M nsc P6m o

Calcul des percentiles (fréquences: [“10-25-50-75-90”]) à partir des séries listées dans data/_bin/csv2csv/in/pct/pearp.txt. Application de la méthode pct avec les éléments utilisateurs [“10-25-50-75-90”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/pct de la grandeur (“QH”) aux stations listées dans data/_bin/csv2csv/in/pct/pearp.txt vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out. Un seul fichier est créé

csv2csv.py -I data/_bin/csv2csv/in/pct -O data/_bin/csv2csv/out -n QH -l data/_bin/csv2csv/in/pct/pearp.txt -M pct 10-25-50-75-90 -1

Fichier de stations : data/_bin/csv2csv/in/pct/pearp.txt

K6373020_2016053006_2101
K6373020_2016053006_2102
K6373020_2016053006_2103
K6373020_2016053006_2104
K6373020_2016053006_2105
K6373020_2016053006_2106
K6373020_2016053006_2107
K6373020_2016053006_2108
K6373020_2016053006_2109
K6373020_2016053006_2110
K6373020_2016053006_2111
K6373020_2016053006_2112
K6373020_2016053006_2113
K6373020_2016053006_2114
K6373020_2016053006_2115
K6373020_2016053006_2116
K6373020_2016053006_2117
K6373020_2016053006_2118
K6373020_2016053006_2119
K6373020_2016053006_2120
K6373020_2016053006_2121
K6373020_2016053006_2122
K6373020_2016053006_2123
K6373020_2016053006_2124
K6373020_2016053006_2125
K6373020_2016053006_2126
K6373020_2016053006_2127
K6373020_2016053006_2128
K6373020_2016053006_2129
K6373020_2016053006_2130
K6373020_2016053006_2131
K6373020_2016053006_2132
K6373020_2016053006_2133
K6373020_2016053006_2134
K6373020_2016053006_2135

Construction de séries à la station K001002010 à partir d’un barème de réservoir. Application de la méthode res avec les éléments utilisateurs [“data//core//reservoir//reservoir.txt”, “llp”, “V:V,Q:Qd”] à partir de données au format “pyspc” dans le répertoire data/core/reservoir de la grandeur (“HH”) à la station K001002010 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/core/reservoir -O data/_bin/csv2csv/out -n HH -s K001002010 -M res data/core/reservoir/reservoir.txt llp V:V,Q:Qd

Construction d’une série horaire à partir de données instantanées à la station RH10585x. Application de la méthode rsc avec les éléments utilisateurs [] à partir de données au format “grp18” dans le répertoire data/model/grp18/cal de la grandeur (“QI”) à la station RH10585x vers le format “grp16” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/model/grp18/cal -O data/_bin/csv2csv/out -n QI -s RH10585x -M rsc -C grp18 grp16

Construction de séries à la station K0100020 à partir d’un barème d’une base Bareme. Application de la méthode rtc avec les éléments utilisateurs [“data//io//dbase//bareme.mdb”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/rtc de la grandeur (“QH”) à la station K0100020 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/rtc -O data/_bin/csv2csv/out -n QH -s K0100020 -M rtc data/io/dbase/bareme.mdb

Construction de séries à la station K0100020 à partir d’un bareme particulier d’une base Bareme. Application de la méthode rtc avec les éléments utilisateurs [“data//io//dbase//bareme.mdb”, “H200809”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/rtc de la grandeur (“QH”) à la station K0100020 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/rtc -O data/_bin/csv2csv/out -n QH -s K0100020 -M rtc data/io/dbase/bareme.mdb H200809

Construction de séries à la station K0550010 à partir d’un barème d’un fichier XML Sandre. Application de la méthode rtc avec les éléments utilisateurs [“data//_bin//csv2csv//in//rtc//RatingCurves.xml”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/rtc de la grandeur (“QH”) à la station K0550010 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/rtc -O data/_bin/csv2csv/out -n QH -s K0550010 -M rtc data/_bin/csv2csv/in/rtc/RatingCurves.xml

Construction de séries à la station K0550010 à partir d’un barème et d’une courbe de correction de fichiers. XML Sandre. Application de la méthode rtc avec les éléments utilisateurs [“data//_bin//csv2csv//in//rtc//RatingCurves.xml”, “data//_bin//csv2csv//in//rtc//levelcor.xml”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/rtc de la grandeur (“QH”) à la station K0550010 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/rtc -O data/_bin/csv2csv/out -n QH -s K0550010 -M rtc data/_bin/csv2csv/in/rtc/RatingCurves.xml data/_bin/csv2csv/in/rtc/levelcor.xml

Création de prévisions à partir de simulations et observations listées dans data/_bin/csv2csv/in/s2f/mohys.txt. Application de la méthode s2f avec les éléments utilisateurs [“36”, “48”, “2018010412”, “2018010412”] à partir de données au format “pyspc” dans le répertoire data/_bin/csv2csv/in/s2f de la grandeur (“QH”) des séries listées dans data/_bin/csv2csv/in/s2f/mohys.txt vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/s2f -O data/_bin/csv2csv/out -n QH -l data/_bin/csv2csv/in/s2f/mohys.txt -M s2f 36 48 2018010412 2018010412

Fichier de stations : data/_bin/csv2csv/in/s2f/mohys.txt

K1321810
K1321810_mohys

Construction d’une série infra-horaire à partir de données horaires selon l’approche interpolate à la station K040301i. Application de la méthode shs avec les éléments utilisateurs [“900”, “interpolate”] à partir de données au format “grp16” dans le répertoire data/_bin/csv2csv/in/shs de la grandeur (“QH”) à la station K040301i vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/shs -O data/_bin/csv2csv/out -n QH -s K040301i -M shs 900 interpolate -C grp16 pyspc

Décalage temporel (-2h) d’une série à la station K0000000. Application de la méthode tlg avec les éléments utilisateurs [” » -2 »”] à partir de données au format “pyspc” dans le répertoire data/io/pyspcfile de la grandeur (“QH”) à la station K0000000 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/io/pyspcfile -O data/_bin/csv2csv/out -n QH -s K0000000 -M tlg «  -2 »

Construction d’une série journalière à partir de données horaires à la station 43130002. Application de la méthode usc avec les éléments utilisateurs [“TJ”, “o”, “00”] à partir de données au format “grp16” dans le répertoire data/_bin/csv2csv/in/usc de la grandeur (“TH”) à la station 43130002 vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/usc -O data/_bin/csv2csv/out -n TH -s 43130002 -M usc TJ o 00 -C grp16 pyspc

Construction d’une série à partir de la somme pondérée de plusieurs séries listées dans data/_bin/csv2csv/in/wav/HteLoireN.txt. Application de la méthode wav avec les éléments utilisateurs [“data//_bin//csv2csv//in//wav//ponderation.txt”] à partir de données au format “grp16” dans le répertoire data/_bin/csv2csv/in/wav de la grandeur (“PH”) aux stations listées dans data/_bin/csv2csv/in/wav/HteLoireN.txt vers le format “pyspc” dans le répertoire data/_bin/csv2csv/out

csv2csv.py -I data/_bin/csv2csv/in/wav -O data/_bin/csv2csv/out -n PH -l data/_bin/csv2csv/in/wav/HteLoireN.txt -M wav data/_bin/csv2csv/in/wav/ponderation.txt -C grp16 pyspc

Fichier de stations : data/_bin/csv2csv/in/wav/HteLoireN.txt

43091005N
43130002N
43051003N