06 Dec 2022 ================================================================================ Piste pour le plantage de reproductibilité AGRIF + PISCES ================================================================================ Rachid dit que le CVTK 1WAY passe (avec ou sans BIO_HADV_WENO5) mais plante sur le 2WAY Vérifier et récupérer tous les fichiers pour reproduire et trouver la différence! Ou comparer ses fichiers d'input VHR et tenter avec. Fait le 07 Dec 2022 Le test CVTK repro MPI avec les INPUTS VHR de Rachid règlent le problème. sans BIO_HADV_WENO5 : BRYPISCESAGRIF1W22 OK !!! BRYPISCESAGRIF2W22 OK !!! avec BIO_HADV_WENO5 : BRYPISCESAGRIF1W22 OK !!! BRYPISCESAGRIF2W22 PLANTE... Inspiration NEMO : Clément avec LIM3 dit qu'il a galéré avec AGRIF pour les 10 traceurs supplémentaires. Le CONV de NEMO semble être la même version que nous. Seb a touché les fichiers Lex... Essayer de remonter la trace et voir si il y a des choses ré utilisables pour croco. Comprenre pourquoi les inputs de Gildas ne permettent pas la reproductibilité MPI alors que les inputs de Rachid oui! Corriger les warnings de compilation avec AGRIF (CONV et LIB AGRIF) et voir si impacte sur l'exécution (warnings ou execution). Warnings mpi/agrif pour AGRIF1W22, AGRIF2W22, BRYPISCESAGRIF1W22, BRYPISCESAGRIF1W22 avec ou sans BIO_HADV_WENO5 cf ci dessous : "CVTK sur release-v1.3" Warning dans pre_step3d_.f & step3d_.f a la compilation avec ifort de croco PISCES (sans AGRIF) Mais disparraisent quand on enlève BIO_HADV_WENO5 !! DDT : se placer dans la relecture MPI de CVTK et traquer à partir du tableau non reproductible. Piste Sur certaines machines avec ddt Hallo de 1 ou Hallo de 2!!!!!!!!!!!!!!! Tester sur 2 machines qui donnent des halos différents!! , Retour à ASAP2 ou AWA2 avec plantage DEALLOCATE (p4zfechem.F90 ou autre). Voir si en changeant juste le code avec le nouveau le probleme de DEALLOCATE disparait. Ou sur une version qui fonctionne, remplacer par la release-v1.3 et essayer de modifier le découpage MPI. PERFRST PISCES (Agrif EXACT_RESTART not yet implemented) plante sur step3d_t cf note. (pb synchro MPI?) Point avec Gildas. Dommage de se priver du test sur la restartabilité. ================================================================================ Contexte : ================================================================================ release-v1.3 qui intègre tous nos bugfix!!! Debug sur SPIRIT - très bavard. avec ifort & gfortran Sans BIO_HADV_WENO5 Sans MPI_NOLAND CVTK sur 1 seul pas de temps ... tant qu'on bosse sur le BUG. Repasser à 3pdt après. ------------------------ Options de compilation : ------------------------ gfortran : # DEBUG nemo2 : nemo1 + add -fdefault-real-8 for conflict REAL16 REAL8 with AGRIF FFLAGS1="-Og -g -fdefault-real-8 -fdefault-double-8 -fbacktrace -funroll-all-loops -fcray-pointer -ffree-line-length-none -fcheck=all -finit-real=nan -ffpe-trap=invalid,zero,overflow -ffpe-summary=invalid,zero, ifort : # DEBUG nemo0 : NEMO Seb Oct 2022 FFLAGS1="-O0 -g -i4 -r8 -traceback -check all,noarg_temp_created -fpe-all0 -ftrapuv -debug all -fp-model strict -ftz -init=arrays,snan,huge -no-wrap-margin" @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ PLANTAGE AGRIF + PISCES avec VHR_CROCO_FILES_BCK_gitlab_2 (sans NaN) @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ CVTK avec release-v1.3 avec INPUTS gitlab dont nouvelle version Gildas croco_ini.nc.1 sans NaN VHR_CROCO_FILES_BCK_gitlab_2/ Rien ne passe pour la repro AGRIF+PISCES alors que Rachid passe 1W et 2W sans BIO_HADV_WENO5 et 1W avec BIO_HADV_WENO5 en 2x2 procs Points intéressants et questions sur les plantages : Le plantage se fait toujours sur le traceur BIO n° 9 (ZOO?) - soit dans prestep3d pour la grille fille GRID 1 dès le STEP 0 pour AGRIF 2 WAY avec PISCES avec/sans BIO_HADV_WENO5 - soit dans step3d pour la grille fille GRID 1 pour AGRIF 1 WAY avec PISCES avec BIO_HADV_WENO5 : après le STEP 2 de la fin et après avoir passé le step3d GRID 0 sans BIO_HADV_WENO5 : après le STEP 1 Question sur le déroulé temporel : Est ce normal que le step2d en fin de pas de temps soit executé sur la grille fille 1 fois sur le STEP 0 2 fois sur le STEP 1 3 fois sur le STEP 2 STEP time[DAYS] NO3 DIA ZOO DOC trd 0 0.00000 2.4127408E+01 1.0000000E-02 1.0000000E-02 3.9055237E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 ============================ step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 ============================ step3d t,s, 25 traceurs bio u,v GRID 1 1 0.00347 2.4127408E+01 9.9999850E-03 9.9999287E-03 3.9055218E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 ============================ step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 ============================ step3d t,s, 25 traceurs bio u,v GRID 1 2 0.00694 2.4127403E+01 9.9999699E-03 9.9998559E-03 3.9055263E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 ============================ step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 ============================ step3d t,s, 25 traceurs bio u,v GRID 0 step3d t,s, 25 traceurs bio u,v GRID 1 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ - gfortran - SPIRIT - CVTK sur 1 pas de temps seulement ! - avec / sans BIO_HADV_WENO5 --------------------------------------------- (TEMPS en minutes) | avec BIO_HADV_WENO5 | sans BIO_HADV_WENO5 | -------------------------------------------------------------------- BRYPISCES22 | OK 5 | OK 5 | AGRIF1W22 | OK 10 | OK 10 | AGRIF2W22 | OK 9 | OK 9 | BRYPISCESAGRIF1W22 | PLANTE 12 | PLANTE 12 | BRYPISCESAGRIF1W22 | PLANTE 12 | PLANTE 13 | -------------------------------------------------------------------- -------------------------------------------------------------------------------- Plantage identique pour AGRIF 2WAY avec PISCES avec/sans BIO_HADV_WENO5 (BRYPISCESAGRIF1W22 BRYPISCESAGRIF2W22) -------------------------------------------------------------------------------- après avoir passé : prestep3d t,s, 25 traceurs bio, u,v GRID 0 prestep3d t,s, 8 traceurs bio GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 Plante sur prestep3d pour le 9 eme traceur bio? ZOO?? BUGBIN = t prestep3d 0 87 0 87 0 12 -0.999226782513E-19 0.000000000000E+00 0.999226782513E-19 GRID# 1 BUGBIN = t prestep3d 1 87 0 0 0 12 -0.999226782513E-19 0.000000000000E+00 0.999226782513E-19 GRID# 1 -------------------------------------------------------------------------------- Plantage pour AGRIF 1WAY avec PISCES avec BIO_HADV_WENO5 (BRYPISCESAGRIF1W22) -------------------------------------------------------------------------------- plante la repro Après le STEP 2 grille fille dans step3d pour 9eme traceur bio (ZOO?) : après avoir passé : STEP time[DAYS] NO3 DIA ZOO DOC trd 0 0.00000 2.5891074E+01 1.0000000E-02 2.0863939E-03 2.4496517E+00 0 prestep3d t,s, 25 traceurs bio, u,v GRID 0 STEP time[DAYS] NO3 DIA ZOO DOC trd 0 0.00000 2.4127408E+01 1.0000000E-02 1.0000000E-02 3.9055237E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 EST CE NORMAL DE NE FAIRE QU'1 TSP pour GRID 1 avant step3d GRID 1 ???? step3d t,s, 25 traceurs bio u,v GRID 1 1 0.00347 2.4127408E+01 9.9999850E-03 9.9999287E-03 3.9055218E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 EST CE NORMAL DE NE FAIRE QUE 2 TSP pour GRID 1 avant step3d GRID 1 ???? TRACER STAT at time-step kt = 2 tracer nb : 1 name : DIC mean : 0.2262118667E-02 min : 0.2065035772E-02 max : 0.2317896913E-02 tracer nb : 2 name : Alkalini mean : 0.2399400437E-02 min : 0.2359346618E-02 max : 0.2431847836E-02 tracer nb : 3 name : O2 mean : 0.2142120024E-03 min : 0.1716959177E-03 max : 0.2709062597E-03 tracer nb : 4 name : CaCO3 mean : 0.9997934057E-08 min : 0.8162425437E-08 max : 0.9999991391E-08 tracer nb : 5 name : PO4 mean : 0.2252572800E-03 min : 0.4139105996E-04 max : 0.3130701985E-03 tracer nb : 6 name : POC mean : 0.1000321458E-07 min : 0.9957110224E-08 max : 0.1004917584E-07 tracer nb : 7 name : Si mean : 0.4478791553E-04 min : 0.2040359958E-05 max : 0.1107642688E-03 tracer nb : 8 name : PHY mean : 0.1000000000E-07 min : 0.1000000000E-07 max : 0.1000000000E-07 tracer nb : 9 name : ZOO mean : 0.9999858599E-08 min : 0.8263875837E-08 max : 0.1166427927E-07 tracer nb :10 name : DOC mean : 0.3905526828E-05 min : 0.5023211368E-07 max : 0.2698012089E-04 tracer nb :11 name : PHY2 mean : 0.9999969921E-08 min : 0.9999945236E-08 max : 0.9999969991E-08 tracer nb :12 name : ZOO2 mean : 0.9999978268E-08 min : 0.9999912651E-08 max : 0.9999985258E-08 tracer nb :13 name : BSi mean : 0.1499568902E-08 min : 0.1223567684E-08 max : 0.1499981558E-08 tracer nb :14 name : Fer mean : 0.7298453730E-09 min : 0.7074080494E-10 max : 0.1423778050E-08 tracer nb :15 name : BFe mean : 0.4998662725E-13 min : 0.4082560253E-13 max : 0.5001355953E-13 tracer nb :16 name : GOC mean : 0.9996044134E-08 min : 0.8155263115E-08 max : 0.9999334619E-08 tracer nb :17 name : SFe mean : 0.5037080193E-13 min : 0.5000405903E-13 max : 0.5243763136E-13 tracer nb :18 name : DFe mean : 0.4999984961E-13 min : 0.4999972618E-13 max : 0.4999984995E-13 tracer nb :19 name : DSi mean : 0.1499995488E-08 min : 0.1499991785E-08 max : 0.1499995499E-08 tracer nb :20 name : NFe mean : 0.5000000000E-13 min : 0.5000000000E-13 max : 0.5000000000E-13 tracer nb :21 name : NCHL mean : 0.2181818182E-08 min : 0.2181818182E-08 max : 0.2181818182E-08 tracer nb :22 name : DCHL mean : 0.2181811619E-08 min : 0.2181806233E-08 max : 0.2181811634E-08 tracer nb :23 name : NO3 mean : 0.1839714430E-03 min : 0.1039429451E-05 max : 0.2628446688E-03 tracer nb :24 name : NH4 mean : 0.7623325753E-07 min : 0.7622366613E-07 max : 0.7743181411E-07 tracer nb :25 name : LGW mean : 0.9999997465E-09 min : 0.9999979203E-09 max : 0.1000000112E-08 step3d t,s, 25 traceurs bio u,v GRID 1 2 0.00694 2.4127403E+01 9.9999699E-03 9.9998559E-03 3.9055263E+00 0 prestep3d t,s, 25 traceurs bio u,v GRID 1 n fois : step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 step2d zeta,ubar,vbar GRID 1 EST CE NORMAL DE FAIRE 3 TSP pour GRID 1 avant step3d GRID 1 alors qu'il en fait 1 puis 2 pour les pas de temps 1 et 2 grille fille ???? step3d t,s, 25 traceurs bio u,v GRID 0 step3d t,s, 8 traceurs bio GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 Plante sur step3d pour le 9 eme traceur bio? ZOO?? BUGBIN = t step3d 0 88 0 88 0 11 0.996506162480E-02 0.996506162480E-02 0.780625564190E-16 GRID# 1 BUGBIN = t step3d 2 0 120 0 0 11 0.993058033684E-02 0.993058033684E-02 0.173472347598E-17 GRID# 1 BUGBIN = t step3d 1 88 0 1 0 11 0.996506162480E-02 0.996506162480E-02 0.780625564190E-16 GRID# 1 ~ -------------------------------------------------------------------------------- Plantage pour AGRIF 1WAY avec PISCES sans BIO_HADV_WENO5 (BRYPISCESAGRIF1W22) -------------------------------------------------------------------------------- Exactement identique au 1 WAY avec BIO_HADV_WENO5 Sauf qu'il s'arrête plus tôt : TRACER STAT at time-step kt = 2 tracer nb : 1 name : DIC mean : 0.2262118667E-02 min : 0.2065035772E-02 max : 0.2317897056E-02 tracer nb : 2 name : Alkalini mean : 0.2399400437E-02 min : 0.2359346384E-02 max : 0.2431847851E-02 tracer nb : 3 name : O2 mean : 0.2142120022E-03 min : 0.1716957510E-03 max : 0.2709077395E-03 tracer nb : 4 name : CaCO3 mean : 0.9997934056E-08 min : 0.8136818599E-08 max : 0.9999991367E-08 tracer nb : 5 name : PO4 mean : 0.2252572797E-03 min : 0.4139087695E-04 max : 0.3130710283E-03 tracer nb : 6 name : POC mean : 0.1000321458E-07 min : 0.9957110259E-08 max : 0.1004917601E-07 tracer nb : 7 name : Si mean : 0.4478791499E-04 min : 0.2040332669E-05 max : 0.1107642579E-03 tracer nb : 8 name : PHY mean : 0.1000000000E-07 min : 0.1000000000E-07 max : 0.1000000000E-07 tracer nb : 9 name : ZOO mean : 0.9999858723E-08 min : 0.8264195519E-08 max : 0.1166494825E-07 tracer nb :10 name : DOC mean : 0.3905526914E-05 min : 0.5023212033E-07 max : 0.2698012746E-04 tracer nb :11 name : PHY2 mean : 0.9999969921E-08 min : 0.9999945233E-08 max : 0.9999969991E-08 tracer nb :12 name : ZOO2 mean : 0.9999978268E-08 min : 0.9999912302E-08 max : 0.9999985257E-08 tracer nb :13 name : BSi mean : 0.1499568901E-08 min : 0.1219727823E-08 max : 0.1499981557E-08 tracer nb :14 name : Fer mean : 0.7298453774E-09 min : 0.7073859283E-10 max : 0.1423779109E-08 tracer nb :15 name : BFe mean : 0.4998662724E-13 min : 0.4073737680E-13 max : 0.5001355951E-13 tracer nb :16 name : GOC mean : 0.9996044132E-08 min : 0.8129669976E-08 max : 0.9999334583E-08 tracer nb :17 name : SFe mean : 0.5037080204E-13 min : 0.5000405925E-13 max : 0.5243763310E-13 tracer nb :18 name : DFe mean : 0.4999984961E-13 min : 0.4999972617E-13 max : 0.4999984995E-13 tracer nb :19 name : DSi mean : 0.1499995488E-08 min : 0.1499991785E-08 max : 0.1499995499E-08 tracer nb :20 name : NFe mean : 0.5000000000E-13 min : 0.5000000000E-13 max : 0.5000000000E-13 tracer nb :21 name : NCHL mean : 0.2181818182E-08 min : 0.2181818182E-08 max : 0.2181818182E-08 tracer nb :22 name : DCHL mean : 0.2181811619E-08 min : 0.2181806233E-08 max : 0.2181811634E-08 tracer nb :23 name : NO3 mean : 0.1839714422E-03 min : 0.1039422119E-05 max : 0.2628480202E-03 tracer nb :24 name : NH4 mean : 0.7623325753E-07 min : 0.7622366473E-07 max : 0.7743180746E-07 tracer nb :25 name : LGW mean : 0.9999997465E-09 min : 0.9999979203E-09 max : 0.1000000112E-08 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 CHECK t step3d PASSED ON GRID 1 Plante sur step3d pour le 9 eme traceur bio? ZOO?? BUGBIN = t step3d 0 88 1 88 1 12 0.999953600272E-02 0.999953600272E-02 0.173472347598E-17 GRID# 1 BUGBIN = t step3d 1 88 1 1 1 12 0.999953600272E-02 0.999953600272E-02 0.173472347598E-17 GRID# 1 -------------------------------------------------------------------------------- diff 1WAY / 2WAY output : -------------------------------------------------------------------------------- 528a529 > AGRIF_2WAY > AGRIF_OBC_M3SPECIFIED > AGRIF_OBC_TSPECIFIED 605,606c606,607 < AGRIF_OBC_M3ORLANSKI < AGRIF_OBC_TORLANSKI ... < 1.157E-05 tauT_in Nudging coefficients [sec^-1] < 3.215E-08 tauT_out Nudging coefficients [sec^-1] < 3.858E-06 tauM_in Nudging coefficients [sec^-1] < 3.215E-08 tauM_out Nudging coefficients [sec^-1] -------------------------------------------------------------------------------- warnings à l'execution (gfortran) -------------------------------------------------------------------------------- 1/ Aucun warnings pour PISCES sans AGRIF avec/sans BIO_HADV_WENO5 (BRYPISCES22) 2/ Série de warnings mpi/agrif identiques pour AGRIF 1WAY/2WAY , avec/sans PISCES , avec/sans BIO_HADV_WENO5 (AGRIF1W22 AGRIF2W22 BRYPISCESAGRIF1W22 BRYPISCESAGRIF2W22) Juste après le STEP 0 grille fille : STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 3.5182982E+01 3.5182982E+01 3.9831422E+14 0 At line 520 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 1131 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'parenttab' of procedure 'agrif_interpbase' At line 1132 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'childtab' of procedure 'agrif_interpbase' At line 1131 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'parenttab' of procedure 'agrif_interpbase' At line 1132 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'childtab' of procedure 'agrif_interpbase' At line 520 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 1131 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'parenttab' of procedure 'agrif_interpbase' At line 1132 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'childtab' of procedure 'agrif_interpbase' At line 1131 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'parenttab' of procedure 'agrif_interpbase' At line 1132 of file AGRIF_FILES/modinterp.F90 Fortran runtime warning: An array temporary was created for argument 'childtab' of procedure 'agrif_interpbase' At line 418 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 418 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 367 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 367 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 367 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 367 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 510 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 510 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 623 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created At line 623 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created At line 355 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 355 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 355 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 355 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created 3/ Pour AGRIF 2WAY uniquement avec/sans PISCES , avec/sans BIO_HADV_WENO5 (AGRIF2W22 BRYPISCESAGRIF2W22) Série de warnings en plus juste avant le STEP 0 grille mère : At line 411 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 411 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 502 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 411 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 502 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 502 of file AGRIF_FILES/modmpp.F90 Fortran runtime warning: An array temporary was created for argument '_formal_7' of procedure 'mpi_send' At line 345 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 345 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 345 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created At line 345 of file AGRIF_FILES/modbc.F90 Fortran runtime warning: An array temporary was created WRT_GRID -- wrote grid data into file 'CROCO_FILES/croco_his.nc'. mynode = 0 WRT_HIS -- wrote history fields into time record = 1 / 1 mynode = 0 STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 4.9756210E+01 4.9756210E+01 4.5821829E+15 0 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ PLANTAGE AGRIF et AGRIF+PISCES IDENTIQUES!!!! avec VHR_CROCO_FILES_BCK_Rachid 1 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ CVTK avec release-v1.3 avec INPUTS Rachid! VHR_CROCO_FILES_BCK_Rachid_1/ Meme resultats que Rachid pour 2x2 procs: passe 1W et 2W sans BIO_HADV_WENO5 et 1W avec BIO_HADV_WENO5 => plein de tests de decoupages MPI. AGRIF+PISCES plantent la repro uniquement pour 1W et 2W pour 1x6, 7x6, 13x13 et 22x22 Chaque découpage où AGRIF + PISCES plante, AGRIF sans PISCES plante aussi !!! => il ne s'agit aujourd'hui plus d'un problème PISCES (peut-être depuis tous les bugfix PISCES) mais bien d'un problème AGRIF uniquement ================================================================================ REGLER D'ABORD le problème AGRIF seul ================================================================================ Tous les decoupages MPI qui plantent (1x6, 7x6, 13x13 et 22x22) plantent sur le premier "vbar step2d" GRID 1 après avoir passé : prestep3d t,s,u,v GRID 0 prestep3d t,s,u,v GRID 1 step2d zeta,ubar,vbar GRID 0 step2d zeta,ubar GRID 1 Sauf pour le 2 WAYS 22x22 qui plante avant sur le prestep3d pour v sur GRID 1: après avoir passé : prestep3d t,s,u,v GRID 0 prestep3d t,s,u GRID 1 Si vbar est calculé à partir de v... traquer d'abord dans 2WAYS 22x22... Mais le plantage en 22x22 peut-être lié à un autre problème ... problème de nombre de points insuffisants dans les sous domaines MPI (entre 7 à 8 points) Alors travailler peut-être d'abord avec le 1x6 ... plus facile. Et si on règle le problème, on verra s'il persiste pour le 13x13 et ou le 22x22 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Ce temps comprend compilation mono proc + execution mono proc + compilation mpi + execution mpi avec gfortran --------------------------------------------------- (TEMPS en minutes) | SPIRIT | DATARMOR | JEANZAY | IRENE | IRENE-AMD | -------------------------------------------------------------------------------------------------------- 4 procs (1x4 2x2 4x1) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W22 | 12 | | | 15 | | BRYPISCESAGRIF2W22 | 15 | | | 15 | | BRYPISCESAGRIF1W14 | 11 | | | 15 | | BRYPISCESAGRIF2W14 | 11 | | | 15 | | BRYPISCESAGRIF1W41 | 11 | | | 15 | | BRYPISCESAGRIF2W41 | 11 | | | 16 | | -------------------------------------------------------------------------------------------------------- 15 procs (3x5 5x3) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W35 | 10 | | | 14 | | BRYPISCESAGRIF2W35 | 10 | | | 14 | | BRYPISCESAGRIF1W53 | 10 | | | 14 | | BRYPISCESAGRIF2W53 | 10 | | | 15 | | -------------------------------------------------------------------------------------------------------- 42 procs (6x7 7x6) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W67 | 10 | | | 14 | | AGRIF1W67========= (sans PISCES) | 6 (avec test OPENMP) 6 | | | BRYPISCESAGRIF2W67 | 10 | | | 15 | | AGRIF2W67========= (sans PISCES) | 7 (avec test OPENMP) 7 | | | BRYPISCESAGRIF1W76 | PLANTE | | PLANTE | PLANTE| | AGRIF1W76========= (sans PISCES) | PLANTE | | PLANTE | PLANTE| | BRYPISCESAGRIF2W76 | PLANTE | | PLANTE | PLANTE| | AGRIF2W76========= (sans PISCES) | PLANTE | | PLANTE | PLANTE| | -------------------------------------------------------------------------------------------------------- 49 procs (7x7) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W77 | 11 | | | 14 | | BRYPISCESAGRIF2W77 | 11 | | | 15 | | -------------------------------------------------------------------------------------------------------- 64 procs (8x8) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W88 | | | 19 | 15 | | BRYPISCESAGRIF2W88 | | | 17 | 14 | | -------------------------------------------------------------------------------------------------------- 81 procs (9x9) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W99 | | | 17 | 15 | | AGRIF1W99========= (sans PISCES) | | | 7 | 10 (avec test OPENMP) BRYPISCESAGRIF2W99 | | | 18 | 14 | | AGRIF2W99========= (sans PISCES) | | | 7 | 10 (avec test OPENMP) -------------------------------------------------------------------------------------------------------- 100 procs (10x10) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W1010 | | | 17 | 14 | | BRYPISCESAGRIF2W1010 | | | 21 | 15 | | -------------------------------------------------------------------------------------------------------- 169 procs (13x13) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W1313 | | | PLANTE | PLANTE| | AGRIF1W1313========= (sans PISCES) | | | PLANTE | PLANTE| | BRYPISCESAGRIF2W1313 | | | PLANTE | PLANTE| | AGRIF2W1313========= (sans PISCES) | | | PLANTE | PLANTE| | -------------------------------------------------------------------------------------------------------- 484 procs (22x22) -------------------------------------------------------------------------------------------------------- BRYPISCESAGRIF1W2222 | | | PLANTE | PLANTE| | AGRIF1W2222========= (sans PISCES) | | | PLANTE | PLANTE| | BRYPISCESAGRIF2W2222 | | | PLANTE | PLANTE| | AGRIF2W2222========= (sans PISCES) | | | PLANTE | PLANTE| | -------------------------------------------------------------------------------------------------------- DECOUPAGE MAX: 22x22 => au minimum 7 à 8 points par sous domaine MPI croco_grd.nc dimensions: xi_u = 168 ; eta_u = 172 ; xi_v = 169 ; eta_v = 171 ; xi_rho = 169 ; eta_rho = 172 ; xi_psi = 168 ; eta_psi = 171 ; => pour découpage MPI grille mère 22x22 : 170 / 22 => entre 7 et 8 points par sous domaine MPI en lon et en lat croco_grd.nc.1 dimensions: xi_u = 175 ; eta_u = 242 ; xi_v = 176 ; eta_v = 241 ; xi_rho = 176 ; eta_rho = 242 ; xi_psi = 175 ; eta_psi = 241 ; => pour découpage MPI grille fille 22x22 : 175 / 22 ~= 8 points par sous domaine MPI en lon 242 / 22 = 11 points par sous domaine MPI en lat PLANTAGES avec ou sans PISCES identiques (avec les inputs de Rachid (pas d'initialisations BIO?)) pour les découpages 7x6 13x13 et 22x22 ================================================================================ 1 WAYS : ================================================================================ -------------------------------------------------------------------------------- AGRIF1W76___PLANTE/mpi_42_AGRIF1W76.log idem BRYPISCESAGRIF1W76___PLANTE/mpi_42_BRYPISCESAGRIF1W76.log -------------------------------------------------------------------------------- sauf qu'au lieu de 2 "CHECK t", il y en a 27 avec PISCES -------------------------------------------------------------------------------- AGRIF1W76___PLANTE/mpi_42_AGRIF1W76.log : -------------------------------------------------------------------------------- STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 4.9766240E+01 4.9766240E+01 4.5849946E+15 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK u prestep3d PASSED ON GRID 0 CHECK v prestep3d PASSED ON GRID 0 STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 3.5183015E+01 3.5183015E+01 3.9831422E+14 0 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK u prestep3d PASSED ON GRID 1 CHECK v prestep3d PASSED ON GRID 1 CHECK zeta step2d PASSED ON GRID 0 CHECK ubar step2d PASSED ON GRID 0 CHECK vbar step2d PASSED ON GRID 0 CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 13 175 41 25 1 0.340678402802E-05 0.340683284858E-05 0.488205603869E-10 GRID# 1 BUGBIN = vbar step2d 6 175 41 25 41 0.340678402802E-05 0.340683284858E-05 0.488205603869E-10 GRID# 1 -------------------------------------------------------------------------------- BRYPISCESAGRIF1W76___PLANTE/mpi_42_BRYPISCESAGRIF1W76.log -------------------------------------------------------------------------------- STEP time[DAYS] NO3 DIA ZOO DOC trd 0 0.00000 3.6693339E+01 1.0000000E-02 1.0000000E-02 5.0000000E+00 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK u prestep3d PASSED ON GRID 0 CHECK v prestep3d PASSED ON GRID 0 STEP time[DAYS] NO3 DIA ZOO DOC trd 0 0.00000 2.4860618E+01 1.0000000E-02 6.0222522E-03 3.9055237E+00 0 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK u prestep3d PASSED ON GRID 1 CHECK v prestep3d PASSED ON GRID 1 CHECK zeta step2d PASSED ON GRID 0 CHECK ubar step2d PASSED ON GRID 0 CHECK vbar step2d PASSED ON GRID 0 CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 13 175 41 25 1 0.340678402802E-05 0.340683284858E-05 0.488205603869E-10 GRID# 1 BUGBIN = vbar step2d 6 175 41 25 41 0.340678402802E-05 0.340683284858E-05 0.488205603869E-10 GRID# 1 -------------------------------------------------------------------------------- AGRIF1W1313___PLANTE/mpi_169_AGRIF1W1313.log idem BRYPISCESAGRIF1W1313___PLANTE/mpi_169_BRYPISCESAGRIF1W1313.log -------------------------------------------------------------------------------- Idem que AGRIF1W76___PLANTE mais plante à un autre endroit... toujours sur "vbar step2d" CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 25 175 35 11 19 0.311800537084E-05 0.311630309434E-05 0.170227649881E-08 GRID# 1 -------------------------------------------------------------------------------- AGRIF1W2222___PLANTE/mpi_484_AGRIF1W2222.log idem BRYPISCESAGRIF1W2222___PLANTE/mpi_484_BRYPISCESAGRIF1W2222.log -------------------------------------------------------------------------------- Idem que AGRIF1W76___PLANTE mais plante à un autre endroit... toujours sur "vbar step2d" CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 109 175 44 8 1 0.333270253698E-05 0.334227669432E-05 0.957415733827E-08 GRID# 1 BUGBIN = vbar step2d 87 175 44 8 12 0.333270253698E-05 0.334227669432E-05 0.957415733827E-08 GRID# 1 ================================================================================ 2 WAYS : ================================================================================ -------------------------------------------------------------------------------- AGRIF2W76___PLANTE/mpi_42_AGRIF2W76.log idem BRYPISCESAGRIF2W76___PLANTE/mpi_42_BRYPISCESAGRIF1W76.log -------------------------------------------------------------------------------- Plante au même point que pour le 1 WAYS mais avec d'autres valeurs. CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 13 175 41 25 1 0.339464839734E-05 0.339469676035E-05 0.483630128476E-10 GRID# 1 BUGBIN = vbar step2d 6 175 38 25 38 0.334491472179E-05 0.334496901981E-05 0.542980211341E-10 GRID# 1 -------------------------------------------------------------------------------- AGRIF2W1313___PLANTE/mpi_169_AGRIF2W1313.log idem BRYPISCESAGRIF2W1313___PLANTE/mpi_169_BRYPISCESAGRIF1W1313.log -------------------------------------------------------------------------------- Plante au même point que pour le 1 WAYS mais avec d'autres valeurs. CHECK zeta step2d PASSED ON GRID 1 CHECK ubar step2d PASSED ON GRID 1 BUGBIN = vbar step2d 25 175 35 11 19 0.296658510508E-05 0.296490048077E-05 0.168462431108E-08 GRID# 1 -------------------------------------------------------------------------------- AGRIF2W2222___PLANTE/mpi_484_AGRIF2W2222.log idem BRYPISCESAGRIF2W2222___PLANTE/mpi_484_BRYPISCESAGRIF2W2222.log -------------------------------------------------------------------------------- Plante plus tôt que tous les autres tests qui plantent: Mais toujours au même point avec ou sans PISCES STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 4.9756612E+01 4.9756612E+01 4.5821829E+15 0 CHECK t prestep3d PASSED ON GRID 0 CHECK t prestep3d PASSED ON GRID 0 CHECK u prestep3d PASSED ON GRID 0 CHECK v prestep3d PASSED ON GRID 0 STEP time[DAYS] KINETIC_ENRG POTEN_ENRG TOTAL_ENRG NET_VOLUME trd 0 0.00000 0.000000000E+00 3.5183015E+01 3.5183015E+01 3.9831422E+14 0 CHECK t prestep3d PASSED ON GRID 1 CHECK t prestep3d PASSED ON GRID 1 CHECK u prestep3d PASSED ON GRID 1 BUGBIN = v prestep3d 87 175 41 8 9 1 0.875588337419E-02 0.874138203870E-02 0.145013354852E-04 GRID# 1 ================================================================================ 12 Decembre 2022 BRYPISCESAGRIF1W76 PLANTE!! BRYPISCESAGRIF1W77 OK. Il plante donc avec un découpage de 6 en latitude. Faire un test 1x6 pour voir si ça plante. Plus facile pour traquer le bug MPI ================================================================================ --------------------------------------------------- (TEMPS en minutes) | SPIRIT | DATARMOR | JEANZAY | IRENE | IRENE-AMD | -------------------------------------------------------------------------------------------------------- 6 procs -------------------------------------------------------------------------------------------------------- AGRIF1W16 | PLANTE | | PLANTE | PLANTE| | AGRIF2W16 | PLANTE | | PLANTE | PLANTE| | -------------------------------------------------------------------------------------------------------- @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ PASSAGE repro MPI OK pour 2x2 sans BIO_HADV_WENO5 avec VHR_CROCO_FILES_BCK_gitlab_3 (sans initialisation des champs BIO) @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Tests CVTK avec nouveaux inputs BENGUELA VHR de Gildas (qui ne prescrit plus les champs bio) VHR_CROCO_FILES_BCK_gitlab_3/ Mail Gildas du 19 Dec 2022 ...Nouveaux inputs qui fournissent des fichier ini, clm et bry sans le variables bgc qui seront lues constantes dans le code (get_tclim, get_bry_bio, et get_initial) si elles sont pas presentes ds les netcdf. On retrouve bien la repro MPI sur le 2x2 sans BIO_HADV_WENO5 Comme pour VHR_CROCO_FILES_BCK_Rachid_1/ (à condition de mettre les croco_frcbio.nc(.1) pour dust @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@