Le blog de llaumgui - IPB

Montée en charge et compression Gzip des pages servies

llaumgui — Fri, 07 Dec 2007 19:57:00 +0100

Depuis quelque temps, je trouve que Scenario-Paintball et llaumgui.com (tous deux hébergés sur la spb-box) mettent du temps à servir les pages.

J'ai mis à jour le système de CentOS 5.0 vers la 5.1 avec le dernier kernel pensant que ça pourrait améliorer les perfs (qui a dit naïf ?) de mon kernel datant du temps où CentOS 5.0 était encore en phase de bêta testes chez Dedibox (mais CentOS était bel est bien en version finale).

Rien à faire, j'observais encore des montées en charge et des montées de CPU. J'ai donc entrepris de m'orienter du côté d'Invision Power Board et de mieux régler la bête pour ne plus servir de pages compressées en gzip (Disable GZIP encoding?). Depuis, beaucoup moins de problème de montée en charge et même lorsque le serveur charge il arrive encore à servir les pages en un temps tout à fait respectable.
J'ai profité de cette occasion pour affiner les réglages d'IPB et configurer une charge limite (Server Load Limit ?) de 15 à laquelle Scénario-PaintBall affiche un message d'erreur invitant à patienter...

Bref, la version 2.1 n'étant pas connu pour sa légèreté, je pense que la migration vers la version 2.3 d'IPB se fait de plus ne plus pressante...

Un labo pour tester ezipb, le connecteur IPB pour eZ publish

llaumgui — Wed, 26 Sep 2007 00:03:00 +0200

Comme je viens tout juste de finir un petit script permettant de configurer automatiquement un site web sur un serveur (création de la base de données MySQL, des répertoires, configuration des stats Awstats, du vhost, etc...), j'en ai profité pour mettre en place un petit labo afin de pouvoir vous monter ezipb.

Pour le moment, ça fait pas grand chose mais ça peut vous donner une idée de ce que sera mon intégration d'Invision Power Board (IPB pour les intimes) avec eZ publish (eZ pour les intimes).

URL : labo
Login : ezipb
Mot de passe : ezipb

Remarque : Pour ce qui est de mon script, il fera l'objet d'un prochain billet lors que j'aurais un peu mieux testé le truc.

ezipb-shoutbox, une shoutbox pour ezipb

llaumgui — Sun, 09 Sep 2007 23:26:00 +0200

Je viens d'importer, sur mon serveur Subversion, la première version d'ezipb-shoutbox : la shoutbox AJAX pour l'extension ezipb permettant de coupler eZ publish et IPB.

J'en ai aussi profité pour mettre à jour la documentation sur mon wiki, ainsi que le roadmap.

eZ publish et eZ find 1.0 bêta 1

llaumgui — Sun, 09 Sep 2007 14:36:00 +0200

Les moteurs de recherche, quel cruel dilemme ! Soit on a un moteur basique et léger soit un moteur super pertinent mais consommant un max de ressources. Certains même en arrivent à utiliser Google en guise de moteur de recherche sur leur site (je propose d'ailleurs cette solution alternative en plus des moteurs de recherche de fedora-fr).

eZ publish n'échappe pas à la règle et de base son moteur de recherche est pour le moins... pas terrible. Heureusement qu'eZ est bien fait et permet le remplacement du moteur de recherche par d'autres via le système d'extensions. Avec la Community Newsletter #11 et l'annonce de la version 1.0 beta 1 d'ezfind, j'ai donc entrepris de tester la bête.

Quelques petits problèmes à l'installation

Comme je l'ai déjà dis plusieurs fois, j'utilise la version 3.9 communautaire compatible php5 d'eZ publish. eZ find semble cependant tourner parfaitement en php5. Par contre, dès le début, je me suis heurté à une fatal error :

Fatal error: Class 'ezsolr' not found in /mnt/divers1/public_html/scenario-paintball/kernel/classes/ezsearch.php on line 104
Fatal error: eZ publish did not finish its request

The execution of eZ publish was abruptly ended, the debug output is present below.

Comme ma version d'eZ n'est ni conventionnel ni la dernière, j'ai pas cherché plus loin et j'ai fait un petit lien relatif (pas le temps de passer plus de temps à faire plus propre sur une bêta 1 de test).

llaumgui@enterprise /mnt/divers1/public_html/scenario-paintball/kernel/search/plugins> ln -s ../../../extension/ezfind/search/plugins/ezsolr/ ./

Ensuite, ma version semble ne pas posséder d'updatesearchindex.php, je l'ai donc pris sur le serveur SVN.

Spécificités d'eZ find

eZ find requière le JRE (Java Runtime Environment) 5.0 ou supérieur. Les améliorations apportées par rapport à la recherche standard sont notamment :

Classement par pertinence !
Support natif des droits dans eZ publish.
Soulignement des mots clef.
Recherche par langue, basée sur la configuration du siteaccesses courant.
Possibilité de rechercher sur de multiples siteaccesses.
Intégration dans l'administration d'eZ publish ainsi que dans ezwebin.

Premières impressions

Une fois le tout configuré, l'exécutable Java lancé et le cache de recherche mis à jour, voici ce que ça donne.

J'aimerais bien utiliser ce moteur de recherche sur scenario-paintball voir court-circuiter le moteur de recherche d'IPB pour centraliser toutes les recherches à partir d'eZ find, c'est une piste que je dois explorer pour ezipb. En effet, le moteur d'IPB n'est pas réputé pour sa faible consommation en ressources.

Par contre, pour une utilisation sur un serveur possédant plusieurs instances d'eZ (comme c'est le cas à mon boulot), une seule instance de l'exécutable suffit ~~je suis septique sur un point : doit-on lancer 1 instance de l'exécutable Java par site ou une seul par serveur~~...
J'aimerais aussi benchmarker la consommation de ce moteur de recherche par rapport à celui livré en standard dans eZ publish ainsi que la montée en charge de l'appli Java lors de l'indexation (qui a fait monter mon CPU à 100% quand même !). Une chose est sûre l'appli Java à besoin de tourner en permanence et ne sert pas uniquement lors de l'indexation.

~~Par contre j'avoue avoir été déçu par le fait qu'eZ find ne semble pas indexer les pdf, enfin selon mes tests~~.

ezipb : eZ publish et IPB réunis

llaumgui — Sun, 02 Sep 2007 17:01:00 +0200

eLors d'un précédent billet, j'avais parlé de la refonte de SPB et de mon projet d'extension ezipb pour permettre à eZ Publish et IPB de communiquer. J'ai bien avancé, voila ce que fait mon extension pour le moment :

Initialise les classes d'IPB strictement nécessaires (j'ai pompé et allégé l'index.php d'IPB).
Initialise des drivers MySQL modifiés à la place des drivers d'IPB.
Ces derniers utilisent la connections ouverte par eZ. Comme eZ est orienté php4, mon extension force MySQL à la place de MySQLi qui est normalement automatiquement déclenché par la présence de php5. Cette fonctionnalité est désactivable si vous n'avez pas vos données eZ et IPB sur la même base.
Divers opérateurs eZ publish afin de récupérer les informations sur les membres.
Divers templates (1 pour le moment) afin d'avoir les éléments principaux d'IPB dans eZ publish.

Bref actuellement, le cout de mon extension est de 3 requêtes et j'ai pas encore entamé la chasse aux requêtes inutiles !

Comme je veux proposer cette extension ainsi que le portage vers IPB 2.3.x de la plupart de mes mods et task IPB, j'ai monté un Trac et un SVN afin d'assurer le support et de proposer un téléchargement via Subversion... IPB, je suis de retours !

Plus d'infos, documentation et téléchargment sur le Trac.

Remarque : J'utilise la version 3.9 communautaire compatible php5 d'eZ publish. Mon extension est donc en php5. Elle est donc incompatible avec la plupart des versions d'eZ publish... C'est ballot :-).

Scénario-PaintBall version 3 en préparation

llaumgui — Thu, 30 Aug 2007 23:05:00 +0200

Après plusieurs années de bons et loyaux services, il est grand temps que la version 2 de Scénario-PaintBall tire sa révérence, pour donner naissance à une v3 ;-).
Pourquoi ?

Le forums : L'une des raisons principales et la version d'IPB, la 2.1.x. Cette dernière n'est plus ou ne sera bientôt plus supportée. Il est donc grand temps de passer à la branche 2.3.x.
Les autre points découlent de cette mise à jour.
Le portail : Il utilise l'ipbSDK qui n'est plus développé depuis la version 2.1 d'IPB (déjà que la 1.6 beta 5 pour IPB 2.1 était « limite »). Si je veux récupérer mon portail il faut donc que je rende compatible la dernier version du sdk avec la version actuel du forum... Or, j'ai la flemme de récupérer du vieux code !
Le design : le passage vers IPB 2.3 oblige à refaire la feuille de style (si on veut pas faire le porc). A remonter une page, autant en remonter une nouvelle.

Des pistes pour l'évolution

Pour la partie graphique, Radinus est en train de voir avec un designer.
Pour la techno, je pense utiliser eZ Publish 4.0 qui ne devrait plus tarder à sortir en version alpha voir peut être même bêta... Je rappel que la version du sdk utilisée actuellement est une bêta 2 ultra modifiée par moi même, donc on est plus à une bêta près.
En attendant la v4 d'eZ, je commence les tests sur la version 3.9 communautaire compatible php5.

Du coup, en utilisant IPB + eZ publish, je n'ai plus qu'une seule chose à développer : une extension eZ pour communiquer avec IPB (connections membres + requêtes de récupération d'informations diverses).

Des non pistes

Pourquoi pas le module forums pour eZ ?

La licence IPB est payée à vie et c'est un excellent forums ultra (trop?) complet.

Pourquoi pas un CMS autour d'IPB ?

Je pense qu'un forum est un forum et qu'un CMS est un CMS ! Vouloir absolument développer un CMS autour d'un forum est, selon moi, une erreur. Erreur que j'ai d'ailleurs commise lors de la v2 de spb ;-).
La solution est donc de coupler différents scripts via des bridges (ma future extension ou les bridges à la Coppermine) ou grâce à des systèmes du type SSO (pour SPB on en est pas encore là).

TODO

Installer Eclipse Europa (3.3) avec les extensions qui vont bien (pdt, Smile eZ plugin). Je commence de loin, mais installer & configurer Eclipse c'est presque aussi long qu'installer un système complet.
~~Configurer mon serveur apache local~~.
~~Installer eZ 3.9 php5~~.
~~Convertir la base IPB 2.1.x vers 2.3.1~~.
Développer le plugins eZipb pour faire communiquer IPB et eZ publish (voir les différentes pistes offertes et voir aussi du côté de Converge).
Découper le design (que j'attends toujours).
Développer, dans la version eZ, les différentes fonctionnalités actuellement disponibles sur spb.
Migrer le forums en UTF-8.
etc...

IPB 2.1 et le captcha avancé

llaumgui — Tue, 06 Feb 2007 20:51:00 +0100

La lutte anti-spam avance, mais malheureusement les bots aussi.
Désormais les robots spameurs arrivent à passer les captchas les plus basiques, et même à valider l'inscription par mail.

Scenario-PaintBall, l'un des 2 derniers sites que je gère et qui utilise IPB, a subit la semaine dernière une vague massive de spams.
Passer sous IPB 2.2 serait la solution, mais je devrais me lancer dans une séance de recoding complet de mon portail et je n'en ai malheureusement pas le temps actuellement.

J'ai donc utilisé ce mod qui permet d'appliquer le captcha avancé d'IPB 2.2 dans l'opus 2.1. L'accessibilité en souffre mais pour le moment les bots ne passent plus... Pour le moment...

Captcha simple d'IPB 2.1

Captcha avancé d'IPB 2.2

Bref, SPB est tranquil jusqu'à la prochaine vague...

IPS ou le manque de reconnaissance

llaumgui — Tue, 06 Feb 2007 20:07:00 +0100

Bien que la nouvelle ne soit pas encore annoncée sur le site officiel, la sentence est tombée : InvisionPower.fr est devenu site officiel de support des produits IPS en lieu et place d'InvisionBoard.fr (IBF pour les intimes)...

Je tenais à dit merci à IPS :

Merci du mépris dont ils font preuve envers la première communauté Invision de France : InvisionBoard.fr.
Site présent depuis la première heure (Juillet 2002), dans les bons comme dans les mauvais moments (Le fameux bug du setlocal par exemple, longtemps avant qu'InvisionPower.fr n'existe).

InvisionBoard.fr :

Nos membres ont écrit un total de 178 749 messages
Nous avons 9 190 membres inscrits

InvisionPower.fr :

Nos membres ont écrit un total de 57,907 messages
Nous avons 6,445 membres inscrits

Merci du mépris envers les utilisateurs francophones jetés en pleine guerre des supports, où le support officiel n'est pas forcement le meilleur...
Merci à IPS de faire passer les profits avant la satisfaction client en permettant à ses client de payer plus pour avoir moins.
Merci à IPS de ne pas récompensé ceux qui respectent la licence à la lettre et ne traduisent pas le PCA sans accord pour le distribuer.

Pour moi InvisionPower.fr n'existe pas et le vrai forum officiel de support, la vrai base de connaissances IPB, la vrai traduction francophone, bref tout ça se trouve chez InvisionBoard.fr et nul part ailleurs !

Merci Erwin, Fabien, Gilles, Melky, Youp, les fadas (lut les copains) et j'en passe (désolé).

IBF4Ever.

Liste de mes mods IPB

llaumgui — Wed, 28 Sep 2005 18:43:00 +0000

Je commence à me faire une petite collection de mods persos pour IPB. Ce billet servira à tous les lister et savoir où les trouver.

IPB 1.3.x :
- RSS IPB News 1.6 (Chez Invisionize), (médaille du meilleur mod catégorie "Mid-scale" Juin 2005) : Ce mod vous permet d'exporter vos news issues de votre forum IPB au format RSS.
IPB 2.0.x :
- RSS IPB News 1.6 (Chez Invisionize): Ce mod vous permet d'exporter vos news issues de votre forum IPB au format RSS.
- [Task] goTrash 1.0 (Chez Invisionize): (médaille du meilleur mod catégorie "Mid-scale" Septembre 2005) Certaines multi-modération peuvent ajouter un préfixe dans le titre du topic. Par exemple, sur mon site, j'utilise le préfixe [Périssable] pour signaler que le topic rejoindra bientôt la corbeille. Cette task automatise juste ce déplacement dans la corbeille...
IPB 2.x :
- [SDK] Tchat Xpress (Chez Invisionize) : ShoutBox basée sur le SDK 1.5 pour IPB 2.x. Il faut donc l'avoir préalablement installé pour utiliser le Tchat XPress.
- Show Queued : Ce mod est un auto-module : donc pas de fichier d'IPB à modifier smile.gif. Il sert a afficher la liste des topics demandant un travail de modération (Posts invisibles ou sujets non approuvés).
IPB 2.1.x :
- [Task] goTrash 1.1 : Certaines multi-modération peuvent ajouter un préfixe dans le titre du topic. Par exemple, sur mon site, j'utilise le préfixe [Périssable] pour signaler que le topic rejoindra bientôt la corbeille. Cette task automatise juste ce déplacement dans la corbeille...
IPB 2.1.x (En cours de développement, mais disponible en pré-version):
- imode and Wap for IPB 1.1 : Une version iMode de votre site.
- JS export news 1.0 : Exporter vos news au format JavaScript.

Mon profil sur IPBR-Fr.
Mon profil sur Invisionize.

Mis à jour le 28/09/05

IPBSDK et la (mauvaise) gestion des attachements

llaumgui — Fri, 23 Sep 2005 15:51:00 +0000

Plus j'avance dans le débugage du IPBSDK et le développement de mon portail, plus je me rends compte qu'il n'y a pas de cohésion entre les différentes fonctions qui compose ce SKD. En effet, prenons l'exemple de la gestion des attachements qui fait 1 requête par attachement alors qu'il est si simple d'utiliser une fonction récupérant tout les attachements d'un message... Le pire est que cette fonction existe ! Mais les 2 ne sont pas reliées. Rassurez vous, je vous livre mon code à rajouter dans la classe MySDK.

/**

     * Get a post's attachments

     * Gestion d'une mise en cache.

     * @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

     * @author Pita <peter@randomnity.com>

     * @since 1.11

     * @param integer $postid The post id to check

     * @param boolean $override Whether to override permissions or not.

     * @return array Post's attachments

     */

     function get_post_attachments($postid,$override=FALSE) {



        $query = "";

        if($override == FALSE)

            { $query = " AND attach_approved=1"; }

            

        $this->DB->query(    "    SELECT *

                                        FROM ibf_attachments

                                        WHERE attach_pid='".$postid."'".$query);

        

        if( $this->DB->get_num_rows() == 0 )

            { return FALSE; }



        while ( $row = $this->DB->fetch_row() )

            { $return[] = $row; }

        

        $this->_cache['post_attachments'.$postid] = $return;

    }









    /**

     * Get HTML code for outputting an attachment image.

     * Utilisation d'un cache.

     * @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

     * @since 1.11

     * @param integer $postid The post id to check

     * @param integer $id The attachment id to be parsed.

     * @param boolean $override Whether to override permissions or not.

     * @return string HTML code

     * @see attachment_info(), attachment_thumb()

     */

    function attachment_image( $pid, $id,$override=FALSE ) {

        

        /*

         * On récupère tous les attachements du poste :

         */

        if ( empty($this->_cache['post_attachments'.$pid]) )

            {

                $this->get_post_attachments($pid);

                // Ancien sysèmeme, au cas où :

                if ( empty($this->_cache['post_attachments'.$pid]) )

                    {

                        $att = $this->attachment_info($id,$override);

                        if($att['attach_is_image'] == 0)

                            { return FALSE; }

                    }

            }

        else

            {

                foreach( $this->_cache['post_attachments'.$pid] as $key => $value )

                    {

                        if ( $value['attach_id'] == $id )

                            { $att = $value; }

                    }

            }

        

        /*

         * Gestion des miniatures :

         */

        if ( empty($att['attach_thumb_location']) )

            { $out = '<img src="'.$this->board_url.'/uploads/'.$att['attach_location'].'" alt="'.$att['attach_file'].'" />'; }

        else

            { $out = '<a href="'.$this->board_url.'/index.php?act=Attach&type=post&amp;id='.$att['attach_id'].'" target="_blank"><img src="'.$this->board_url.'/uploads/'.$att['attach_thumb_location'].'" class="attach" alt="'.$att['attach_file'].'" /></a>'; }

        return $out;

    }

?>