GROS Nettoyage de la liste des fournisseurs

- GROSSE requete sql très compliquée de suppression des doublons (et des espaces en trop) - Suppression de la règle technique/inventoriable - prix_ht désormais obligatoire v4.105.24-3.7.9

GROS Nettoyage de la liste des fournisseurs
- GROSSE requete sql très compliquée de suppression des doublons (et des espaces en trop) - Suppression de la règle technique/inventoriable - prix_ht désormais obligatoire v4.105.24-3.7.9
Etienne Pallier
1 parent f4d2696b
Showing 10 changed files with 317 additions and 17 deletions Show diff stats
CHANGES.txt
src/Controller/AppController.php
src/Controller/FournisseursController.php
src/Controller/MaterielsController.php
src/Model/Entity/Fournisseur.php
src/Model/Table/FournisseursTable.php
src/Model/Table/MaterielsTable.php
src/Template/Fournisseurs/cleanup.ctp
src/Template/Materiels/view.ctp
src/Template/Pages/tools.ctp
@@ -119,8 +119,12 @@ Outre ces changements, voici d&#39;autres changements importants :
 ======= CHANGES =======
-TODO
-	- (i) Nettoyage de la liste des fournisseurs : GROSSE requete sql compliquée de suppression des doublons (et des espaces en trop)
+-------
+16/10/2020	v4.105.24-3.7.9 (EP)
+	- (i) GROS Nettoyage de la liste des fournisseurs : 
+	=> GROSSE requete sql très compliquée de suppression des doublons (et des espaces en trop)
+	- (i) Suppression de la règle technique/inventoriable
+	- (e) prix_ht désormais obligatoire
 -------
 15/10/2020	v4.105.24-3.7.9 (EP)
@@ -3640,7 +3640,8 @@ class AppController extends Controller
 		if (!$configuration->envoi_mail && !$configuration->envoi_mail_guests) return null;
 		// Si notification email pas demandée, on quitte
-		if (!$DEBUG) if (! $this->isNotifierActionSendingEmail($action) ) return null;
+		if (!$DEBUG) 
+	    if (! $this->isNotifierActionSendingEmail($action) ) return null;
 		/*
 		 * 4.A - CRÉATION DU MAIL (sujet et body)
@@ -3757,6 +3758,9 @@ class AppController extends Controller
 		 *    - (TODO:) les responsables (scientifique et chef projet) du projet
 		 */
+		// ssi Envoi général activé
+		if ($configuration->envoi_mail) {
+		
 		if (!$IS_ENTITY_OTHER) {
 		    // - (1) Ajout de l'utilisateur du matériel
@@ -3824,6 +3828,8 @@ class AppController extends Controller
 		} // uniquement pour entité liée à un matériel
+		} // ssi envoi général activé
+		
 		/*
 		 * b) Envoi à la liste spécifique
@@ -3835,7 +3841,8 @@ class AppController extends Controller
 		 * systématiquement de toutes les actions
 		 * 
 		 */
-		//$specificUsers = [];
+		
+		// ssi envoi liste spécifique activé 
 		//if ($configuration->envoi_mail_guests && $action != 'printLabelRuban') {
 		if ($configuration->envoi_mail_guests) {
 			// mail aux adresses specifiees dans la config
@@ -3849,7 +3856,8 @@ class AppController extends Controller
 				//$specificUsers[] = $specificUser;
 				// $mailList[sizeof($mailList)] = $configuration['emailGuest' . $i];
 			}
-		}
+		} // ssi envoi liste spécifique activé
+		
 		/*
 		 * c) NETTOYAGE 
@@ -12,6 +12,21 @@ use Cake\ORM\TableRegistry;
 class FournisseursController extends AppController
 {
+    /*
+     * @Override
+     *
+     * Initialisation des autorisations pour les actions spécifiques à ce controleur
+     *
+     */
+    protected function setAuthorizations() {
+        
+        // - Action 'cleanup'
+        $this->setAuthorizationsForAction('cleanup (Nettoyage)', -1, [
+            'super' => 0,
+        ]);
+
+    }
+    
     /**
      * Give authorization for unite
      *
@@ -70,6 +85,12 @@ class FournisseursController extends AppController
     }
     */
+    // Page de nettoyage de la liste des fournisseurs
+    public function cleanup() {
+        
+    }
+    
+    
     /**
      * Index method
      *
@@ -11,6 +11,7 @@ use App\Model\Entity\User;
 use Cake\I18n\FrozenDate;
 use Cake\Database\Expression\QueryExpression;
 use Cake\Database\Query;
+use phpDocumentor\Reflection\Types\True_;
 //use App\Controller\DocumentsController;
 //App::import('Controller', 'Documents');
@@ -343,10 +344,16 @@ class MaterielsController extends AppController {
         ]);
         */
+        
         /*
          * c) Règles d'accès (ACLs)
          *
          */
+
+        // - Action 'execSqlRequestForBugfix' (bugfix) => autorisé seulement à superadmin
+        $this->setAuthorizationsForAction('execSqlRequestForBugfix (bugfix)', -1, [
+            'super' => 0,
+        ]);
         // - Action 'add' (ajout d'un nouveau matériel) => autorisé pour tous
         //$this->setAuthorizationsForAction('add', 0);
@@ -1691,7 +1698,177 @@ class MaterielsController extends AppController {
     } // view
+
+    public function execSqlRequestForBugfix() {
+        debug("START...");
+        $this->execSqlRequestForBugfix_fournisseurs();
+        debug("...STOP");
+        exit;
+        /*
+        return $this->redirect([
+            'controller' => 'pages',
+            'action' => 'tools',
+        ]);
+        */
+    }
+    // (EP20201016) Bugfix liste fournisseurs en BD
+    private function execSqlRequestForBugfix_fournisseurs() {
+        
+        $DEBUG=false;
+        //$DEBUG=true;
+        
+        $NL = '<br />';
+        $CLEAN = false;
+        
+        $ftable= $this->Materiels->Fournisseurs;
+        // OU ENCORE (même chose) :
+        //$ftable= $this->getTableLocator()->get('Fournisseurs');
+        // OU ENCORE (même chose) :
+        //$ftable= TableRegistry::getTableLocator()->get('Fournisseurs');
+        
+        function show($entities, $AFEW=true) {
+            //foreach ($entities as $e) echo("[$e] <br>");
+            $nb = $entities->count();
+            $i=0;
+            foreach ($entities as $e) {
+                $i++;
+                if ($AFEW && $i==10) echo "......................<br>";
+                if ( 
+                    !$AFEW 
+                    || 
+                    ( $AFEW && ($i<10 || $i>($nb-10)) ) 
+                )
+                    echo('['.$e->nom.'] <br/>');
+            }
+        }
+
+        function getAllFournisseursLike($fname, $table) {
+            $fournisseurs = $table
+                ->find()
+                //->where(['nom =' => $fname]);
+                // On cherche le nom du fournisseur avec ou sans espace
+                ->where( [ 'nom in' => [ $fname, trim($fname), " $fname", "$fname ", " $fname " ] ] )
+                // avec leurs materiels associés
+                ->contain(['Materiels'])
+                ;
+            return $fournisseurs;
+        }
+        
+        function getFournisseurWithMaxMatos($entities) {
+            $feurs_nbmatos = [];
+            foreach ($entities as $e) $feurs_nbmatos[$e->nom] = count($e->materiels);
+            //$fdoublons_nbmatos = sort($fdoublons_nbmatos);
+            //$nbmatos_max = max($feurs_nbmatos);
+            dump($feurs_nbmatos);
+            $fname_max = array_search( max($feurs_nbmatos), $feurs_nbmatos );
+            //debug($fname_max);
+            foreach ($entities as $e) 
+                if ($e->nom == $fname_max) 
+                    return $e;
+            /*
+            foreach ($entities as $e) {
+                debug($e->nom);
+                if ($e->nom == $fname_max) {
+                    debug($e->nom);
+                    return $e;
+                }
+            }
+            */
+        }
+        
+        function cleanup($f, $table, $DEBUG) {
+            $fname = trim($f->nom);
+            if ($f->nom != trim($f->nom)) {
+                $f->nom = trim($f->nom);
+                !$DEBUG && $table->save($f);
+            }
+        }
+        
+        while (! $CLEAN) {
+            // On sortira (et terminera) au prochain tour, sauf si on a trouvé un doublon
+            $CLEAN = true;
+            $fournisseurs = $ftable->find();
+            $nb = $fournisseurs->count();
+            print "Liste fournisseurs AVANT cleanup ($nb) : $NL $NL";
+            show($fournisseurs, false);
+            print "$NL$NL";
+            foreach ($fournisseurs as $f) {
+                $fname = trim($f->nom);
+                echo $fname;
+                // On cherche TOUS les doublons imaginables de ce fournisseur
+                // et on les récupère AVEC leurs materiels associés
+                $fdoublons = getAllFournisseursLike($fname, $ftable);
+                // Pas de doublons => on passe au suivant
+                if ( $fdoublons->count() == 1 ) {
+                    echo '<br><br>';
+                    cleanup($f, $ftable, $DEBUG);
+                    continue;
+                    /* pour debug
+                    // VIRER
+                    $CLEAN = true;
+                    break;
+                    */
+                }
+                /* Il y a des doublons => on les supprime
+                 Stratégie :
+                 - on garde seulement celui qui a le plus de matériels liés (l’élu)
+                 - on supprime les autres après avoir relié leurs matériels au fournisseur élu
+                 */
+                echo " (doublons) : <br>";
+                //show($fdoublons);
+                //debug($fdoublons->toArray());
+                //dump($fdoublons->toArray());
+                // - a) on trie les fournisseurs selon leur nb de matos associés, et on élit celui qui en a le plus
+                $f_max = getFournisseurWithMaxMatos($fdoublons);
+                //debug($f_max->nom);
+                // - b) on supprime les doublons après avoir mis à jour leurs matos associés
+                foreach ($fdoublons as $fdoublon) {
+                    //debug($fdoublon->nom);
+                    // tous sauf f_max
+                    if ($fdoublon->nom != $f_max->nom) {
+                        //debug("diff");
+                        // on associe les matos du doublon à f_max
+                        echo( '- Relie les matos de ['.$fdoublon->nom.']('.$fdoublon->id.') à ['.$f_max->nom.']('.$f_max->id.') :'.$NL );
+                        foreach ($fdoublon->materiels as $m) {
+                            //debug($m);
+                            echo('-- matos '.$m->id.' : f_id='.$m->fournisseur_id.', ['.$m->designation.']'.$NL);
+                            $m->fournisseur_id = $f_max->id;
+                            //echo($m->id.': f_id='.$m->fournisseur_id.', ['.$m->designation.']');
+                            //!$DEBUG && $this->Materiels->save($m);
+                            if ( !$this->Materiels->save($m) ) {
+                                debug("Le matériel n'a pas pu être sauvegardé !!");
+                                debug($m->getErrors());
+                                $host = $this->getCurrentURL(false);
+                                echo '<a href="'.$host.'/materiels/view/'.$m->id.'">Voir ce materiel pour le corriger</a>';
+                                //throw new \ErrorException("Le matériel n'a pas pu être sauvegardé !!");
+                                exit;
+                            }
+                        }
+                        // maintenant, on peut supprimer le doublon
+                        echo( '- Delete ['.$fdoublon->nom.']('.$fdoublon->id.')'.$NL );
+                        !$DEBUG && $ftable->delete($fdoublon);
+                    }
+                }
+                // On nettoie f si besoin (on peut car maintenant il est unique)
+                cleanup($f_max, $ftable, $DEBUG);
+                // On quitte la boucle en cours car on a supprimé des éléments de cette boucle => il faut donc recommencer depuis le début
+                echo '<br><br>';
+                if (!$DEBUG) {
+                $CLEAN = false;
+                break;
+                }
+            } // end foreach
+        } // end while not CLEAN
+        
+        print "$NL$NL";
+        $fournisseurs = $ftable->find();
+        $nb = $fournisseurs->count();
+        print "Liste fournisseurs APRÈS cleanup ($nb) : $NL $NL";
+        show($fournisseurs);
+        
+    }
+        
     /**
      * Add or Edit method (do either add() or edit())
      * => Factorisation de add() et edit()
@@ -13,6 +13,9 @@ use Cake\ORM\Entity;
 class Fournisseur extends Entity
 {
+    // Ce qui s'affiche quand on fait echo $entity
+    public function __toString() { return $this->nom; }
+    
     /**
      * Fields that can be mass assigned using newEntity() or patchEntity().
      *
@@ -28,7 +28,8 @@ class FournisseursTable extends AppTable
         parent::initialize($config);
         $this->setTable('fournisseurs');
-        $this->setDisplayField('id');
+        //$this->setDisplayField('id');
+        $this->setDisplayField('nom');
         $this->setPrimaryKey('id');
         $this->hasMany('Materiels', [
@@ -10,6 +10,7 @@ use Cake\I18n\Time;
 use Cake\I18n\Date;
 use Cake\ORM\Association\BelongsTo;
 use Cake\ORM\Entity;
+use Cake\I18n\FrozenDate;
 /**
  * Materiels Model
@@ -47,6 +48,12 @@ use Cake\ORM\Entity;
 class MaterielsTable extends AppTable
 {
+    private $PREV_SEUIL_INVENTORIABLE = 800;
+    
+    private $LAST_SEUIL_INVENTORIABLE_YEAR = 2020;
+    private $LAST_SEUIL_INVENTORIABLE_DATE = '03/06/2020';
+    private $LAST_SEUIL_INVENTORIABLE; // 1000€ pour IRAP (depuis 3/6/2020)
+    
     public $ALL_STATUS = array(
         'CREATED',
         'VALIDATED',
@@ -409,11 +416,12 @@ class MaterielsTable extends AppTable
         $validator->numeric('prix_ht')
-            ->allowEmpty('prix_ht')
+            // (EP202010 prix obligatoire)
+            //->allowEmpty('prix_ht')
             ->add('prix_ht', 'valid', [
-            'rule' => 'check_string',
-            'message' => 'Ce champ contient des caractères interdits',
-            'provider' => 'table'
+                'rule' => 'check_string',
+                'message' => 'Ce champ contient des caractères interdits',
+                'provider' => 'table'
         ]);
         $validator->allowEmpty('eotp')->add('eotp', 'valid', [
             'rule' => 'check_string',
@@ -537,6 +545,7 @@ class MaterielsTable extends AppTable
         */
         //$this->config = TableRegistry::getTableLocator()->get('Configurations')->get(1);
         $this->config = TableRegistry::getTableLocator()->get('Configurations')->find()->first();
+        $this->LAST_SEUIL_INVENTORIABLE = $this->config->prix_inventaire_administratif;
         // 1) Définition de nos propres règles de gestion
@@ -568,9 +577,14 @@ class MaterielsTable extends AppTable
         // return if checked as "administratif" price MUST be set
         $checkPriceIfIsAdministratif = function ($entity) {
             //if ($entity->materiel_administratif)
-            if (! $entity->materiel_technique) 
-                return ($entity->prix_ht >= $this->config->prix_inventaire_administratif); // 1000€ pour l'IRAP
+            if (! $entity->materiel_technique) {
+                //debug($entity->date_acquisition);
+                //debug($entity->date_acquisition->format('Y'));
+                $year = $entity->date_acquisition->format('Y');
+                $this->SEUIL_INVENTORIABLE = ($year >= $this->LAST_SEUIL_INVENTORIABLE_YEAR) ? $this->LAST_SEUIL_INVENTORIABLE : $this->PREV_SEUIL_INVENTORIABLE;
+                return ($entity->prix_ht >= $this->SEUIL_INVENTORIABLE); // 1000€ pour l'IRAP (depuis 2017 ?)
                 //return ($entity->prix_ht !== null);
+            }
             return true;
         };
@@ -655,16 +669,20 @@ class MaterielsTable extends AppTable
             'message' => 'Le matériel vaut moins de ' . $configuration->prix_inventaire_administratif . '€ HT, il n\'est donc pas inventoriable.'
         ]);
         */
+        
+        /* (EP 202010 n'est plus nécessaire)
         $rules->add($checkPriceIfIsAdministratif, [
             'errorField' => 'prix_ht',
             //'message' => 'Le matériel ne peut pas être inventoriable et ne pas avoir de prix'
-            'message' => "Si le matériel n'est pas technique, son prix doit obligatoirement être supérieur à 1000€ (inventoriable)"
+            'message' => "Si le matériel n'est pas technique, son prix HT doit obligatoirement être supérieur à ".
+                $this->LAST_SEUIL_INVENTORIABLE."€ (inventoriable)"
         ]);
         $rules->add($checkPriceIfIsAdministratif, [
             'errorField' => 'materiel_technique',
             //'message' => 'Le matériel ne peut pas être inventoriable et ne pas avoir de prix'
-            'message' => "Si le matériel n'est pas technique, son prix doit obligatoirement être supérieur à 1000€ (inventoriable)"
+            'message' => "Si le matériel n'est pas technique, son prix HT doit obligatoirement être supérieur à ".$this->LAST_SEUIL_INVENTORIABLE."€ (inventoriable)"
         ]);
+        */
         $rules->add($rules->isUnique([
             'numero_laboratoire'
@@ -0,0 +1,33 @@
+
+<div class="fournisseurs index">
+
+	<?php echo '<h2><i class="icon-list"></i> Nettoyage de la liste des Fournisseurs</h2>'; ?>
+	
+    <?= $this->Html->link( 
+        "Nettoyage de toute la liste (suppression des doublons et des espaces en trop)", 
+        ['controller'=>'Materiels', 'action' => 'exec_sql_request_for_bugfix'], 
+        ['title' => 'Nettoyage', 'style' => 'margin: 0 2px', 'escape' => false ]) 
+    ?>
+	
+	<br><br>                    
+	(TODO) Remplacer un fournisseur par un autre :
+	<br>
+	Remplacer le fournisseur FOURNISSEUR1 par FOURNISSEUR2
+	<br><br>                    
+	
+	[SUBMIT]                    
+	
+	        
+</div>
+
+<!--
+<div class="actions">
+			<php echo $this->element('menu') ?>
+			<php
+
+echo $this->element('menu_index', [
+    'pluralHumanName' => 'Fournisseurs',
+    'singularHumanName' => 'Fournisseur'
+])?>
+		</div>
+-->
 \ No newline at end of file
@@ -311,7 +311,7 @@ $CAN_PRINT_LABEL = $IS_VALIDATED &amp;&amp; $configuration-&gt;hasPrinter &amp;&amp; $USER_IS_ADMIN
     // Bouton Modifier
     if ($CAN_EDIT) 
-        $echoActionButton($this->Html, 'icon-pencil', $bStyle, ' Editer', 'materiels', 'edit', $entity->id);
+        $echoActionButton($this->Html, 'icon-pencil', $bStyle, ' Éditer', 'materiels', 'edit', $entity->id);
     // Bouton Supprimer
     if ($CAN_DELETE) 
@@ -666,10 +666,29 @@ $CAN_PRINT_LABEL = $IS_VALIDATED &amp;&amp; $configuration-&gt;hasPrinter &amp;&amp; $USER_IS_ADMIN
             }
             $displayElement(__('Prix (HT)'), h($entity->prix_ht) . ' €');
-            $displayElement(__('Fournisseur'), $entity->has('fournisseur') ? $entity->fournisseur->nom : '');
+            
+            // Fournisseur (lien)
+            //$displayElement(__('Fournisseur'), $entity->has('fournisseur') ? $entity->fournisseur->nom : '');
+            $displayElement(__('Fournisseur'),
+                $this->Html->link(
+                    h($entity->fournisseur->nom),
+                    ['controller'=>'Fournisseurs', 'action'=>'view', $entity->fournisseur->id]
+                )
+            );
+            
             $displayElement(__('Lieu de stockage'), $entity->has('site') ? h($entity->site->nom) : '');
             $displayElement(__('Détail lieu de stockage'), h($entity->lieu_detail));
-            $displayElement(__('Nom de l\'utilisateur'), $this->Html->link(h($entity->nom_responsable), 'mailto:' . h($entity->email_responsable)));
+            
+            // Acheteur (lien mailto)
+            $displayElement(__("Nom de l'acheteur"), 
+                $this->Html->link( 
+                    h($entity->nom_responsable),
+                    // Mailto
+                    'mailto:' . h($entity->email_responsable)
+                    //['controller'=>'Users', 'action'=>'view', 'id'=>$entity->id] 
+                )
+            );
+            
             $displayElement(__('N. interne (labo)'), h($entity->numero_laboratoire));
             if ($entity->gestionnaire_id) {
                 $gestionnaire = TableRegistry::getTableLocator()->get('Users')->get($entity->gestionnaire_id);
@@ -107,6 +107,22 @@ echo &#39;&lt;tr&gt;&lt;td&gt;&lt;/td&gt;&lt;/tr&gt;&#39;;
 if ($role == 'Super Administrateur') :
+    // Exécution d'un script correctif (bugfix) temporaire (superadmin only) 
+    echo '<tr><td>';
+    echo $this->Html->link('Exécuter le dernier script correctif', [
+        'controller' => 'Materiels',
+        'action' => 'exec_sql_request_for_bugfix'
+    ]);
+    echo '</td></tr>';
+
+    // Nettoyage de la liste des fournisseurs (superadmin only)
+    echo '<tr><td>';
+    echo $this->Html->link('Nettoyer la liste des Fournisseurs', [
+        'controller' => 'Fournisseurs',
+        'action' => 'cleanup'
+    ]);
+    echo '</td></tr>';
+
     // Page des messages de log (level info, debug, et notice)
     echo '<tr><td>';
     echo $this->Html->link('Voir les messages de LOG', [