Le blog de llaumgui - script

Un labo pour tester ezipb, le connecteur IPB pour eZ publish

llaumgui — Wed, 26 Sep 2007 00:03:00 +0200

Comme je viens tout juste de finir un petit script permettant de configurer automatiquement un site web sur un serveur (création de la base de données MySQL, des répertoires, configuration des stats Awstats, du vhost, etc...), j'en ai profité pour mettre en place un petit labo afin de pouvoir vous monter ezipb.

Pour le moment, ça fait pas grand chose mais ça peut vous donner une idée de ce que sera mon intégration d'Invision Power Board (IPB pour les intimes) avec eZ publish (eZ pour les intimes).

URL : labo
Login : ezipb
Mot de passe : ezipb

Remarque : Pour ce qui est de mon script, il fera l'objet d'un prochain billet lors que j'aurais un peu mieux testé le truc.

Mise à jour automatique de Dotclear 2.0 et de ses plugins, à partir du SVN (update)

llaumgui — Fri, 31 Aug 2007 20:01:00 +0200

Je mets très souvent mon blog à jour à partir de la dernière version SVN de Dotclear 2.0. Jusqu'à présent, je faisais un svn co sur ma machine locale, puis je virais les répertoires inutiles (rm -rf `find ./ -name .svn`) et enfin j'envoyais le tout sur mon ftp. On obtient alors une version de Dotclear à jour et sans fichiers .svn. Le revers de la médaille étant le temps passé à faire la manip'. Je me suis donc fais un petit script pour automatiser tout ça :

Mise à jours des sources de Dotclear à partir du SVN.
Mise à jour et téléchargement de nouveaux plugins à partir du SVN de Dotclear.
Mise à jour de la base de données (visite de la page d'admin).
Vidage le cache.

Comme je suis un Geek très flémard et qui n'a peur de rien : j'ai mis le tout en tâche cron.

#!/bin/bash

###############################################################################

#

# dc-svn-co :

# Mise à jour d'une installation Dotclear 2.0 à partir des sources du SVN.

#

# Dépendances requises :

#       - subversion

#       - curl

#

# Attention : L'utilisation de ce script permet de mettre à jour votre instance

# de Dotclear à partir d'une version dite instable !

# Utiliser à vos risques et périls !

#

# Licence Dotclear : http://www.dotclear.net/license.html

#

# by Guillaume Kulakowski a.k.a LLaumgui <guillaume at llaumgui dot com>

# Version 2.0

#

###############################################################################

# This program is free software; you can redistribute it and/or

# modify it under the terms of the GNU General Public License

# as published by the Free Software Foundation; either version 2

# of the License, or (at your option) any later version.

#

# This program is distributed in the hope that it will be useful,

# but WITHOUT ANY WARRANTY; without even the implied warranty of

# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

# GNU General Public License for more details.

#

# You should have received a copy of the GNU General Public License

# along with this program; if not, 

#  - write to the Free Software

#       Foundation, Inc., 51 Franklin Street, Fifth Floor,

#       Boston, MA  02110-1301, USA.

#   - See http://www.gnu.org/licenses/gpl.html

###############################################################################





######################################

# Variables :



# Chemin vers l'installation de Dotclear :

DC_CORE_PATH="/home/www.xxx.com/www"



# Chemin vers les plugins de Dotclear :

DC_PLUGIN_PATH="$DC_CORE_PATH/plugins"



# Chemin vers le cache :

DC_CACHE_PATH="$DC_CORE_PATH/cache"



# Liste des plugins à récupérer à partir du svn :

DC_PLUGIN_LIST="antiflood commentsWikibar dayMode emailNotification gallery related sitemaps spamplemousse2"



# Chemin vers votre administration (pour la requête de mise à jour) :

DC_URL="http://www.xxx.com/admin/"





SVN_DC_URL="https://svn.dotclear.net/2.0/trunk"

SVN_DC_PLUGIN_URL="https://svn.dotclear.net/2.0/plugins"











######################################

# # #                            # # # 

# # #   /!\ On touche plus /!\   # # #

# # #                            # # #

######################################



###

# Mise à jour à partir du SVN :

function svnCo() {



    cd "$1"

    svn co "$2" ./

}







###

# Mise à jour de la liste des plugins à partir du svn :

function svnPlugin () {



        for plugin in $DC_PLUGIN_LIST; do

                echo -e "\n\n###############  $plugin   ###############"

                

                # Création du répertoire pour les nouveaux plugins :

                if [ ! -d $DC_PLUGIN_PATH/$plugin ]; then

                        echo "Le répertoire $plugin n'existe pas !"

                        echo "Création du répertoire $plugin."

                        mkdir "$DC_PLUGIN_PATH/$plugin"

                fi;

                

                svnCo "$DC_PLUGIN_PATH/$plugin" "$SVN_DC_PLUGIN_URL/$plugin"

        done;

}







###

# Mise à jour de la base par appel de l'url de l'admin :

function updateDB() {



        curl $DC_URL

}







###

# On vide le cache

function cleanCache() {

        

        rm -rf "$DC_CACHE_PATH/cbfeed"

        rm -rf "$DC_CACHE_PATH/cbtpl"

}











echo "################################################################################"

echo "#                                                                              #"

echo "#               Mise à jour de Dotclear à partir des sources SVN               #"

echo "#                                                                              #"

echo "################################################################################"

svnCo "$DC_CORE_PATH" "$SVN_DC_URL"



echo -e "\n\n\n\n\n\n################################################################################"

echo "#                                                                              #"

echo "#                      Mise à jour de la liste des plugins                     #"

echo "#                                                                              #"

echo "################################################################################"

svnPlugin



echo -e "\n\n\n\n\n\n################################################################################"

echo "#                                                                              #"

echo "#                           Opérations de mise à jours                         #"

echo "#                                                                              #"

echo "################################################################################"

echo ""

echo -e "\n### Mise à jour de la base de données ###"

updateDB



echo -e "\n\n###          Vidage du cache          ###"

cleanCache

Je mets à disposition mon script (sous licence GPL) tout en précisant que son utilisation réfléchie ne pose pas de problème (pas plus qu'un checkout) mais qu'une mise à jour automatisée au moment où la révision Subversion plante (ça peut arriver), fait buger le site jusqu'à la mise à jour suivante...

Mise à jour : Métro-sexualisation du code pour un rapport par mail (crontab) plus lisible.

Serveur mail postfix / postfix-mysql / Dovecot / RoundCube / spamassassin sous CentOS 5

llaumgui — Mon, 06 Aug 2007 21:24:00 +0200

Après le passage de Scenario-PaintBall sur un serveur dédié (spb-box), je me suis lancé dans la configuration du serveur mail. Pour rappel, le serveur est une dedibox sous CentOS 5.
Afin de pouvoir gérer plusieurs domaines et plusieurs comptes facilement, postfix est configuré en multi-domaines et virtual-user et afin d'ajouter facilement des comptes, les informations sont stockées en base MySQL via postfix-mysql.

Architecture du serveur mail

Connaissant bien postfix (personnellement et professionnellement, bien que nos derniers serveurs au taf soient sous Exim) et ayant déjà configuré postfix pour l'envoi de mail via php, c'est donc tout naturellement que j'ai retenu cette solution couplée à un Dovecot, un spamassassin et un webmail sous le très prometteur RoundCube.

postfix

Bien que pour le moment il n'y ai qu'un seul domaine géré par le serveur, j'ai choisis de faire une configuration multi-domaines et virtual-user (sans passer par des comptes unix).
Les mails sont donc dans un compte Unix unique : vbox; et ils sont stockés dans un arborescence du type : /home/vbox/domain/compte.

Je mets mon fichier main.cf en annexe.

postfix-mysql et CentOS

Alors là j'ai perdu pas mal de temps. Le postfix de CentOS n'est pas compilé avec l'option MySQL et il n'y a pas de paquet postfix-mysql pour CentOS ! Heureusement Google est mon ami et j'ai trouvé la solution : prendre le postfix de centosplus (présent de base dans CentOS mais pas activé par défaut) :

yum -–enablerepo=centosplus update postfix

Pour éviter de mettre à jour postfix à partir de updates j'ai juste rajouté postfix* dans la liste des paquets exclus (fichier .repo en annexe). Comme j'ai activé centosplus par défaut, j'ai aussi exclus le kernel de centosplus pour privilégier celui d'updates et ainsi éviter les problèmes.

Postfix-mysql

Ce qui est génial avec postfix-mysql, c'est qu'on construit ses requêtes ! On peu donc attaquer n'importe quel structure de base existante ou en faire une soit même. J'ai mis en annexe mes fichiers de conf' ainsi que la structure de ma base.

Dovecot

Maintenant que les mails sont sur le serveur, faudrait pouvoir les lire ! J'ai donc utilisé l'excellent Dovecot pour me faire un serveur IMAP.
Sa configuration est simple, je me suis basé sur ce tutoriel.

Afin de pouvoir attaquer le serveur mail avec un client du type ThunderBird, ne pas oublier d'ouvrir le port IMAP, le 143 (perso, je passe par le tui system-config-securitylevel-tui).

RoundCube

Excellent et très prometteur projet encore au stade de la O.1 RC1 et disponible dans le dépot EPEL. Ça configuration passe comme une lettre à la poste !

Spamassassin

Pour installer spamassassin rien de tel qu'un petit yum install spamassassin (installation), suivi d'un service spamassassin start (démarrage du service) ainsi que d'un chkconfig spamassassin on (lancer au démarrage) et surtout une lecture de la doc.

Script de création de comptes mail

Histoire de créer facilement des comptes mails, je me suis fait 3 petits scripts tout simples que je vous livre en tant que démo.

Remarque : Ces script sont appelés en root et j'ai un fichier /root/.my.cf contenant le mot de passe MySQL du root, ce mot de pase ne m'est donc plus demandé.

Script de conversion vidéo au format des Meizu M3 & M6 via Nautilus Actions

llaumgui — Sun, 27 May 2007 23:14:00 +0200

Suite à une réflexion sur les forums de Meizu Me, j'ai adapté mon script de conversion flv via Nautilus Actions pour convertir au format des Meizu M3 et M6.

Le kit se compose :

D'une image pour votre menu contextuel (à mettre dans ~/.icons).
D'un fichier d'importations Nautilus Actions.
D'un script shell (à mettre dans ~/bin/).

Important : Le script est réglé pour un Meizu M6, processeurs de M3, commentez la ligne 38 et décommentez la 39.

Dépendances :

ffmpeg
zenity
nautilus-actions

Ensuite pour convertir une vidéo au format adéquat, suffit de faire un clic droit.

PS : Comme je suis une buse, je me suis rendu compte que le pack 1.1 du script de conversion flv ne comportait pas le bon script shell ;-). Je publie donc la 1.1.1 qui est une vrai 1.1 (toujours dur les numéros de versions).

Version 1.1 de mon script de convertion au format FLV via Nautilus Action

llaumgui — Fri, 20 Apr 2007 21:53:00 +0200

Une petite mise à jour de mon script de conversion vers le format caca-proprio-fermé qui a le vent en poupe : le flv.

Parmi les quelques (en fait 2, mais dire quelques peut faire croire que j'ai vachement taffé dessus ;-)) nouveautés :

Possibilité de ré-encoder le flv (modification du fichier d'import de Nautilus Actions).
Boite affichant le débug une fois la conversion achevée.

Pour la doc, faut lire le README, pour la licence, c'est le LICENCE (GPL v2), pour l'installation automatique... J'ai la flemme ;-).

Version finale du script de migration de Xoops vers punBB

llaumgui — Sun, 17 Sep 2006 22:34:00 +0200

Quelques semaines après le lancement du débat et le début du projet, je viens de terminer mon script de migration de Xoops vers punBB. Ce script migre les données d'un site sous Xoops muni d'un forum CBB pour les transférer dans l'interface de punBB.

Pré requis :

php4 ou supérieur.
php-cli pour lancer le script en ligne de commande.
Je n'ai pas testé avec un navigateur mais ça doit marcher quand même ;).
Quelques connaissances en php.

Licence :

Gnu/GPL, vous pouvez donc l'adapter au besoin, il est fait pour ça.

Concrètement ce script convertie :

Les groupes de membres : Les permissions seront les mêmes pour tous les groupes.
Elles seront donc à modifier par la suite.
Les membres :
- Xoops autorisant plusieurs groupes pour un seul membre, ce que punBB ne fais pas, les membres sont tous mis dans le même groupe, membres (id=4).
- Autre petites subtilité de punBB, le membre à l'identifiant 1 est l'invité, il faut donc ne pas avoir de membre avec un uid=1 sous Xoops. Si c'est votre cas, vous devrez faire une petite moulinette en modifiant mon script.
- Les avatars, il faut tous les mettre dans le bon dossiers (img/avatars).
Les catégories.
Les forums.
Les topics
Les postes : Ca c'est le gros morceau, il y a un traitement par lots pour les grosse bases.

Script de migration de Xoops vers punBB

llaumgui — Sat, 09 Sep 2006 18:28:00 +0200

Suite à ma réflexion ainsi que l'avale des ambassadeurs francophones du projet Fedora, je viens de commencer le script de migration de Xoops vers punBB. Pour le moment, seul les groupes sont convertis (oui je sais, c'est le plus facile), mais cette migration ma permis de construire le script et sa logique.

Quel est la logique de ce script ?

Des requêtes SELECT alimentent un tableau de correspondance des données de Xoops vers celles de punBB. Ensuite, ce tableau est passé à la fonction buildInsert qui va construire la requête d'insertion.

function convGroupe () {

        

                //$this->emptyTable( "punbb_groups" );

                

                $query = $this->query( "SELECT * FROM xoops_groups ORDER BY groupid" );

                        

                while ( $groupe = $this->fetch_array($query) ) {

                        // Convertie les groupid                        

                        $groupe['groupid'] = $this->convertGroupeId($groupe['groupid']);

                        if ( $groupe['groupid'] > 4 ) {

                        

                                $tab =  array(  'g_id'                                                  => $groupe['groupid'],

                                                                                'g_title'                                               => $groupe['name'],

                                                                                'g_user_title'                                  => $groupe['name'],

                                                                                'g_read_board'                                  => 1,

                                                                                'g_post_replies'                                => 1,

                                                                                'g_post_topics'                         => 1,

                                                                                'g_post_polls'                                  => 1,

                                                                                'g_edit_posts'                                  => 1,

                                                                                'g_delete_posts'                                => 1,

                                                                                'g_delete_topics'                               => 1,

                                                                                'g_set_title'                                   => 0,

                                                                                'g_search_users'                                => 1,

                                                                                'g_edit_subjects_interval'      => 300,

                                                                                'g_post_flood'                                  => 60,

                                                                                'g_search_flood'                                => 30,

                                        );

                                $this->buidInsert( 'punbb_groups', $tab);

                        }

                }                                       

        }







        /**

         * Construction de requêtes d'insertion.

         * @author Guillaume Kulakowski <guillaume AT llaumgui DOT com>

         * @since 0.1

         * @TODO Code lourd à optimisé.

         * @param array $tab    Paramêtres.

         */

        function buidInsert( $table, $tab ) {

        

                $_key;

                $_value;



                foreach ( $tab as $key => $value ) {

                        $_key[] = $key;

                        $_value[]       = $value;

                }

        

                $SQL = "INSERT INTO ".$table." (" . implode(", ", $_key) . ") VALUES ('" . implode("', '", $_value) . "')";

                $this->query($SQL);

        }

Le layer de base est minimaliste car le script reste quand même dans un esprit one-shoot mais pourra être repris par toutes personnes voulant réaliser la même opération.

Pré requis du script, lorsqu'il sera fini :

php4 ou supérieur, par contre la base de données de Fedora-France étant assez conséquente, je compte lancer le script en ligne de commande. Il sera donc optimisé pour les gros forums/sites mais pourra ne pas marcher avec un simple appel via un navigateur.

Un roadmap ?

~~Non, le script sera prêt quand il sera prêt et sera sous licence GNU/GPL, vous pouvez déjà télécharger la version en cours de développement attachée à ce billet.~~ Version finale disponible attachée à ce billet

Réflexion sur Fedora-France, Xoops et l'hébergement.

llaumgui — Sat, 02 Sep 2006 19:00:00 +0200

Depuis plusieurs années, Fedora-Fr tourne sous Xoops, un CMS ultra complet mais qui nous enferme dans son univers. Depuis que j'ai pris en charge la partie technique du site, je n'ai pas eu le courage de changer et, je l'avoue, j'ai même freiné ce changement.

A présent je m'interroge...
De par mon travail, j'ai énormément progressé et je suis capable de réaliser une migration de CBB (forum de Xoops) vers punBB sans problème (en fait, j'en étais capable avant, mais comme je n'avais rien fais de tel, j'avais un peu la flemme ;)).
Et, récemment, la réflexion de Damien Durant sur la liste de diffusion des ambassadeurs francophone m'a réconforté dans mon idée qu'il faut envisager le changement.

L'hébergement :

Avant tout, le vrai problème de Fedora France demeure l'hébergement. De plus en plus une solution dédiée s'impose ! Elle permettrait de souffler et de mettre fin au erreur 500 et autre petit problème de l'hébergement communautaire. Mais surtout, elle permettrait au site de prendre son envol.

La question est quel hébergement pour Fedora-France ?

Apparemment le Projet Fedora est hébergé par Red Hat qui n'héberge que du statique ou du Python pour raisons de sécurité.
Avec le trafic actuel et de la publicité nous pourrions nous payer une Dedibox (solution dédiée de Free) sans trop de problème. Mais l'idée de la pub ne va-t-elle pas contre nos idées de liberté ?
La solution serait alors de se monter en association (c'est prévu), de démarcher des fournisseurs (Dedibox en premier) et de leurs faire profiter de notre image de libre en nous soutenant.

La structure de Fedora France et le choix d'un CMS

Damien propose de suivre le projet Fedora dans ses choix et de passer vers une solution Python, mais je pense que l'architecture php/MySQL offrirait beaucoup plus de souplesse, et en plus c'est ma spécialité.

Voici ma réflexion :

Forum : punBB (scripts CBB -> punBB par moi même).
Wiki : DokuWiki, intégré à punBB (étude de la faisabilité d'un script wiwimod -> DokuWiki qui soit correct).
Planet : DotClear 2 et son plugin planet visible ici.
Page d'accueil : Faites maison.

Je sais, certain dirons que cette structure ressemble pas mal à un autre site... Mais à problématique proche, solution proche.

Bref, le travail que j'aurais à faire pourrait être découpé en plusieurs étapes :

Migration de Fedora France.
Installation du planet.
Migration du forum.
Migration de la home page.
Migration du wiki.

Cette réflexion n'engage que moi et nullement Fedora-francce. Elle est juste là pour aider un éventuel webmaster/administrateur qui se retrouverait face à une solution historique et serait effrayé par l'obstacle d'une migration.

Script de sauvegarde sur serveur

llaumgui — Thu, 25 Aug 2005 23:38:00 +0000

Possédant 2 PCs (une station de travail et un serveur, tout deux sous Linux Fedora Core), je désire effectuer une sauvegarde de ma station sur mon serveur. J'ai donc mi au point un script effectuant la connexion sur le serveur, la sauvegarde ainsi que la déconnexion. Ce script peut être appelé en ligne de commande (nécessite les droits de root) ou utilisé par une tache Cron.

La sauvegarde se fait en 3 étapes :

Etape 1 : Connexion au serveur (192.168.1.1) via mount -t smbfs. En cas d'erreur, le script est arrété.
Etape 2 : Création de l'archive
Etape 3 : Déconnexion du serveur (umount).

Je vous livre le script qui demande quelques adaptations en fonction de vos fichiers ou répertoires à sauvegarder.

#!/bin/sh

###############################################################################

#

# Sauvegarde sur serveur

#

# by Guillaume Kulakowski a.k.a LLaumgui <guillaume at llaumgui dot com>

# Version 1.0

#

###############################################################################

# This program is free software; you can redistribute it and/or

# modify it under the terms of the GNU General Public License

# as published by the Free Software Foundation; either version 2

# of the License, or (at your option) any later version.

#

# This program is distributed in the hope that it will be useful,

# but WITHOUT ANY WARRANTY; without even the implied warranty of

# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

# GNU General Public License for more details.

#

# You should have received a copy of the GNU General Public License

# along with this program; if not, 

#  - write to the Free Software

#               Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.

#       - See http://www.gnu.org/licenses/gpl.html

###############################################################################



echo "------------------------------------------------------";

echo "- Sauvegarde système";

echo "------------------------------------------------------";

echo "";





echo "Etape 1 : Connection au serveur de backup";

if ! mount -t smbfs -o ip=192.168.1.1,username=xxx,password=xxx //192.168.1.1/serv_backup /mnt/backup/ ;

then exit;

fi

echo "------------------------------------------------------";

echo "";





echo "Etape 2 : Création de l'archive";

date=`date +%m%d%y`;

tar -cf /mnt/backup/backup_${date}.tar "/etc/" "/home/llaumgui/" "/usr/share/themes/" "/usr/share/icons/" "/usr/share/pixmaps/"

echo "------------------------------------------------------";

echo "";





echo "Etape 3 : Déconnection du serveur";

umount /mnt/backup

echo "------------------------------------------------------";

echo "";



echo "### Fin de la sauvegarde <img src="/themes/default/smilies/smile.png" alt=":)" class="smiley" /> ###";