Le blog de llaumgui - Balise - optimisation

llaumgui.com à l'heure Solar

llaumgui — Wed, 05 Nov 2008 20:36:00 +0100

Derrière ce jeu de mots à 0,3€ (2 balles pour ceux qui compte encore en Francs), ce petit billet annonce plusieurs mises à jours sur mon blog :

Mise à jour vers Dotclear 2.1 : Finger in the nose et les nouvelles fonctionnalités du moteur de blog annoncent des futures mises à jour encore plus simples ;-).
Mise à jour vers MooTools 1.2.1 ainsi que FormCheck 1.4rc6, le tout vite fait grâce à mon scripts de compression JS.
Et pour finir, sans doute le plus visible, comme le thème de ce blog est fortement inspiré de Nodoka, le thème de Fedora, j'en ai aussi profité pour habiller le bandeau avec le thème de Fedora 10 : Solar (d'où le jeu de mots)

Et comme j'avais les mains dans le cambouis, j'en ai profité pour gagner quelques points sur l'échelle d'optimisation de Yahoo: en passant le grade C avec 70% (si t'as pas compris, c'est pas grave). Sur ce, je pense que je peux sereinement aller manger

ezoescript et ezoecss : 2 bonnes surprises dans ezoe

llaumgui — Fri, 13 Jun 2008 21:08:00 +0200

Pour ceux qui ont suivi mon précédent billet sur l'optimisation des javascripts, vous l'aurez compris : je suis sensibilisé à l'optimisation des sites web et notamment (entre autre) à la préconisation Yahoo! Developer Network :"Minify JavaScript and CSS". Cette préconisation suggère de réduire les CSS et les javascript en nombre et en poids. Dans le meilleur des cas, il faudrait donc n'avoir qu'une feuille CSS et qu'un fichier Javascript de poids raisonable.

Pour la migration du planet Fedora-Fr sous eZ Publish, j'avais pour intention de développer une extension eZ Publish intégrant un minifier JS/CSS. J'étais parti pour utiliser JSMin qui, certes est moins puissant que YUI ou packer mais qui offre le double avantage d'être full php (YUI utilise JAVA) et surtout de ne pas trop altérer le source à grands coups d'eval (comme le fait packer).

Mais au final, j'ai fait le choix de ne pas utiliser le système de design d'eZ Publish et de continuer à stocker le design (CSS, images, JS) de chaque sous-domaine (www, planet, forums, doc, etc..) dans un sous domaine commun (common). Au final, que vous soyez sur le planet, l'accueil ou sur les forums de fedora-fr, vous ne téléchargerez qu'une fois les images et les feuilles de styles.

Bref, comme vous l'aurez compris, j'avais laissé tomber la chose... Puis en furetant dans le code source de la future version d'online editor : ezoe pour les intimes; je suis tombé sur la classe ezoepacker. À la lecture du templateautoload j'ai déduit qu'ezoe proposait 2 opérateurs de template forts sympatiques : ezoescript et ezoecss.

Pour faire court, ezoescript et ezoecss remplacent la syntaxe classique d'eZ, qui avait pour résultat de multiplier les CSS et les JS :

{section name=JavaScript loop=ezini( 'JavaScriptSettings', 'JavaScriptList', 'design.ini' ) }

<script language="JavaScript" type="text/javascript" src={concat( 'javascript/',$:item )|ezdesign}></script>

{/section}



<style type="text/css">

{section var=css_file loop=ezini( 'StylesheetSettings', 'CSSFileList', 'design.ini' )}

    @import url({concat( 'stylesheets/',$css_file )|ezdesign});

{/section}

</style>

On notera au passage que contrairement à ce que préconise Yahoo, le JS est chargé avant le CSS...

Bref, tout ça est remplacé par :

{ezoescript(    ezini( 'JavaScriptSettings', 'JavaScriptList', 'design.ini' ),

                        true, 'text/javascript', 'javascript', 3 )}

{ezoecss(       ezini( 'StylesheetSettings', 'CSSFileList', 'design.ini' ),

                        true, 'all', 'text/css', 'stylesheet', 3 )}

ezoecss

ezoecss va récupérer toutes les CSS pour n'en faire qu'une. Cette dernière sera stockée dans le cache et sera de la forme 1 ligne par feuille CSS.

ezoescript

Malheureusement ezoescript n'est pas un vrai minifier JS au sens strict du terme. En effet, point de code sur une seule ligne ni de renommage des variables et fonctions. ezoescript se contente de supprimer les sauts de ligne et les commentaires avant de stocker le fichier en cache. L'avantage c'est qu'il ne présente aucune contrainte de codage pour fonctionner (jusqu'au niveau 2 du moins). J'ai cependant émis sur les forums la suggestion de le coupler à un vrai minifier et André R. ne semble pas fermé à ce genre d'idée...

Déçu de ne pas pouvoir faire joujou avec ces 2 opérateurs sur fedora-fr, je les ai utilisé sur un projet professionnel sur lequel j'avais une problématique forte d'optimisation. Je doit avouer être satisfait du résultat.

Remarque : Si vous utilisez les réécriture d'url, attention à rajouter les lignes qui vont bien dans votre virtualhost.

IPBSDK et la (mauvaise) gestion des attachements

llaumgui — Fri, 23 Sep 2005 15:51:00 +0000

Plus j'avance dans le débugage du IPBSDK et le développement de mon portail, plus je me rends compte qu'il n'y a pas de cohésion entre les différentes fonctions qui compose ce SKD. En effet, prenons l'exemple de la gestion des attachements qui fait 1 requête par attachement alors qu'il est si simple d'utiliser une fonction récupérant tout les attachements d'un message... Le pire est que cette fonction existe ! Mais les 2 ne sont pas reliées. Rassurez vous, je vous livre mon code à rajouter dans la classe MySDK.

/**

     * Get a post's attachments

     * Gestion d'une mise en cache.

     * @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

     * @author Pita <peter@randomnity.com>

     * @since 1.11

     * @param integer $postid The post id to check

     * @param boolean $override Whether to override permissions or not.

     * @return array Post's attachments

     */

     function get_post_attachments($postid,$override=FALSE) {



        $query = "";

        if($override == FALSE)

            { $query = " AND attach_approved=1"; }

            

        $this->DB->query(    "    SELECT *

                                        FROM ibf_attachments

                                        WHERE attach_pid='".$postid."'".$query);

        

        if( $this->DB->get_num_rows() == 0 )

            { return FALSE; }



        while ( $row = $this->DB->fetch_row() )

            { $return[] = $row; }

        

        $this->_cache['post_attachments'.$postid] = $return;

    }









    /**

     * Get HTML code for outputting an attachment image.

     * Utilisation d'un cache.

     * @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

     * @since 1.11

     * @param integer $postid The post id to check

     * @param integer $id The attachment id to be parsed.

     * @param boolean $override Whether to override permissions or not.

     * @return string HTML code

     * @see attachment_info(), attachment_thumb()

     */

    function attachment_image( $pid, $id,$override=FALSE ) {

        

        /*

         * On récupère tous les attachements du poste :

         */

        if ( empty($this->_cache['post_attachments'.$pid]) )

            {

                $this->get_post_attachments($pid);

                // Ancien sysèmeme, au cas où :

                if ( empty($this->_cache['post_attachments'.$pid]) )

                    {

                        $att = $this->attachment_info($id,$override);

                        if($att['attach_is_image'] == 0)

                            { return FALSE; }

                    }

            }

        else

            {

                foreach( $this->_cache['post_attachments'.$pid] as $key => $value )

                    {

                        if ( $value['attach_id'] == $id )

                            { $att = $value; }

                    }

            }

        

        /*

         * Gestion des miniatures :

         */

        if ( empty($att['attach_thumb_location']) )

            { $out = '<img src="'.$this->board_url.'/uploads/'.$att['attach_location'].'" alt="'.$att['attach_file'].'" />'; }

        else

            { $out = '<a href="'.$this->board_url.'/index.php?act=Attach&type=post&amp;id='.$att['attach_id'].'" target="_blank"><img src="'.$this->board_url.'/uploads/'.$att['attach_thumb_location'].'" class="attach" alt="'.$att['attach_file'].'" /></a>'; }

        return $out;

    }

?>

Quels services désactiver sous Fedora Core 4

llaumgui — Fri, 26 Aug 2005 04:17:00 +0000

Fedora Core 4 est configuré par défaut pour lancer plus de services qu'il en a besoin.
Dans son édition hebdomadaire n°10, Fedora News publie un excellent article de Tejas Dinkar intitulé "Which Services Can I Disable?".

Malheureusement en anglais, l'article est cependant facile d'accès et permet de mieux comprendre certain services et de se rendre compte qu'au final ils ne nous servent pas ou peu.
J'ai ainsi pu alléger mon système de quelques services via le gestionnaire de services (Environnement de bureau / Paramètres de système / Paramètres de serveur / Services).

Au final, le gain n'est pas si négligeable que ça... Pour ma station de travail, ne reste plus que :

acpid
anacron
auditd
crond
cups
cups-config-daemon
firestarter (A la place d'iptables)
haldaemon
kudzu
lm_sensors
messagebus
netfs
network
ntpd (J'aime avoir l'heure juste)
nvidia-glx (J'ai une carte graphique Nvidia)
smb
sshd
syslog

IPB-SDK, les guests et le cache

llaumgui — Tue, 31 May 2005 19:44:00 +0000

Ayant recodé le système de débug pour mon site, j'ai analysé les requêtes MySQL. J'ai effectué l'analyse logué en membre et délogué comme simple invité. La logique voudrait qu'un membre demande plus de requête du fait qu'il interroge sa boite de message privé, récupère ses infos, etc. Hors sous IPB-SDK c'est l'inverse.

Le listing des requêtes faite ressortir une requête identique qui se répète plusieurs fois (5 fois dans mon cas) :

SELECT m.*, me.signature, me.avatar_size, me.avatar_location, me.avatar_type, me.vdirs,

me.location, me.msnname, me.interests, me.yahoo, me.website, me.aim_name, me.icq_number,

g.*, cf.*

FROM ibf_members m

LEFT JOIN ibf_groups g ON (m.mgroup=g.g_id)

LEFT JOIN ibf_pfields_content cf ON (cf.member_id=m.id)

LEFT JOIN ibf_member_extra me ON (me.id=m.id)

WHERE m.id='0'

Le constat est rapide. Il n'y a pas de membre à l'id = 0. La requête retourne rien donc alimente le cache avec rien. De ce fait une interrogation du cache ne retourne rien et ré-effectue la requête. La fonction concernée par ce problème et la fonction get_advinfo() que j'ai redéfinie pour qu'elle tienne compte des invités.

/**

* Grabs detailed information on a member.

* Modification : Gestion des guest.

* @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

* @author Pita (conversion to 2.0) <peter@randomnity.com>

* @author Cow <khlo@global-centre.com>

* @param integer $memberid

* @return array Member Information, or FALSE on failure

* @see get_info(),get_avatar(),get_raw_sig(),get_photo(),get_member_pips(),get_member_icon(),get_num_new_posts(),get_skin_id()

*/

function get_advinfo($memberid = '') {



if (!$memberid)

  { $memberid = $GLOBALS['ibforums']->member['id']; }



// Gestion des guests non présentes de base ! :

if ( empty($memberid) || $memberid == 0 )

  { return false; }

else if ($cache = $this->get_cache('get_advinfo', $memberid))

  { return $cache; }

else

  {

   $this->DB->query ("SELECT m.*, me.signature, me.avatar_size, me.avatar_location, me.avatar_type, me.vdirs,

me.location, me.msnname, me.interests, me.yahoo,

me.website, me.aim_name, me.icq_number,

g.*, cf.*

FROM ibf_members m

LEFT JOIN ibf_groups g ON (m.mgroup=g.g_id)

LEFT JOIN ibf_pfields_content cf ON (cf.member_id=m.id)

LEFT JOIN ibf_member_extra me ON (me.id=m.id)

WHERE m.id='" . intval($memberid) . "'");

   if ($this->DB->get_num_rows())

    {

     $info = $this->DB->fetch_row();

     $this->save_cache('get_advinfo', $memberid, $info);

    return $info;

    }

   else

    { return FALSE; }

  }

}

Dans le cas d'XPerience-Fr, cette fonction étant utilisée plusieurs fois, j'économise ainsi 5 requêtes MySQL sur la page d'accueil. Vous pouvez en gagner plus ou moins selon votre code.

Cache ipbSDK vs cache IPB

llaumgui — Sat, 28 May 2005 11:19:00 +0000

Afin d'afficher 2 blocs d'informations supplémentaires sur ma page d'accueil, je me suis mis à étudier les requêtes MySQL engendrées par le ipbSDK afin d'en réduire leur nombre et de pouvoir en mettre 2 de plus pour mes 2 blocs :). Et la surprise :

SELECT * FROM ibf_cache_store WHERE cs_key IN ( 'banfilters', 'settings', 'group_cache', 'systemvars', 'skin_id_cache', 'forum_cache', 'moderators', 'stats', 'languages' )

SELECT cs_value FROM ibf_cache_store WHERE cs_key = "stats"

A quoi sert de charger les informations issue du cache IPB (1ère requête), si la fonction get_board_stats() ne les utilise pas ???!!! La réponse est malheureusement simple, le cache ipbSDK ($this->_CACHE) et celui d'IPB ($GLOBALS'ibforums'->cache) sont différents... J'ai d'abord pensé charger le cache IPB dans celui du SDK:

$this->_cache = $GLOBALS['ibforums']->cache

Mais quel intêret de 2 cache identique ? Et de plus je trouvais que leur vocations étaient différentes car le cache du SDK pouvais contenir des informations sur le membres et non pas uniquement sur le forum... J'ai donc modifié la fonction get_board_stats() pour qu'elle interroge non pas le cache ipbSDK mais celui d'IPB. Bilan, 1 requêtes de gagnée !!!

/**

* Obtenir les statistiques de mon forums.

* Modification : Liaison avec le cache IPB au lieu de celui du SDK.

* @author Guillaume Kulakowski <guillaume_AT_llaumgui_DOT_com>

* @author Pita (conversion to 2.0) <peter_AT_randomnity.com>

* @author Cow <khlo_AT_global-centre.com>

* @return array Board Statistics

*/

function get_board_stats() {

    // 1 : Je cherche dans le cache IPB :

    if ( !empty($GLOBALS['ibforums']->cache['stats']) && is_array($GLOBALS['ibforums']->cache['stats']) )

        { return $GLOBALS['ibforums']->cache['stats']; }        

    else

        {

            $this->DB->query ('SELECT cs_value FROM ibf_cache_store WHERE cs_key = "stats"');

            $row                                     = $this->DB->fetch_row();

            $stats                                    = unserialize(stripslashes($row['cs_value']));

            $GLOBALS['ibforums']->cache['stats']     =  $stats;

            return $stats;

        }

}

A noter que la modification utilise ma classe MySQL et que je n'ai pas modifié la fonction du SDK mais que je l'ai redéfinie.

Bien débuter le développement d'une application web niveau sécurité

llaumgui — Sun, 01 May 2005 23:02:00 +0000

Suite à une discutions sur les forums d'IPBR-Fr initiée par Darken, et à la critique émise lors de mon précédent billet : je me demande, comment bien partir dans le développement d'application web (Ou mod IPB) du point de vu sécurité ? En effet, la question de la sécurité doit être pensé lors du développement et non après coup.

I. Ne plus utiliser de fonction dévaluées :

php est un langage en perpétuelle évolution. Certaines vieilles fonctions sont toujours supportées dans les dernières versions mais sont fortements dévaluées... Pour des raisons de sécurité et de compatibilité dans les futures versions, éviter de telles fonctions se révèle une bonne chose.
Ainsi, par exemple, on préfèrera $_SESSION['TOTO'] à session_register().

II. register_global = Off :

L'un des point de sécurité les plus important celon moi.
Depuis php 4.2, register_global prend la valeur off et php.net préconise de le laisser comme ça. Malheureusement trop de script ne tourne pas en environnement register_global = off, ce qui fait que les serveurs professionnels tourne sous On. Cela n'est pas grave en soit si vous avez développé votre application en Off car elle sera sécurisée.

Imaginez que vous utilisiez une variable $login pour identifier un visiteur de votre site et que vous n'ayez pas travaillé dans un environnement registerglobal = On. Si $login n'est pas présent dans la session, php ira le chercher dans le cookie puis dans les supers variables POST et GET... Comment savoir d'où est affectée cette variable dans ce cas là ?

La réponse est simple, si vous devez chercher cette variable dans la session, faite $_SESSION['login'], dans un cookie : $_COOKIE['login'] et dans $_POST et $_GET pour les autres supers variables. Ainsi, vous saurez exactement d'où provient la valeur prise par une variable et pourrez la contrôler.

III. Typage de variable :

Le point fort de php est d'être facile à apprendre et entreprendre. De ce fait, il n'y a pas de typage des variables à proprement parler...
De cette facilité, née une faille de sécurité dont l'une des principales conséquences sont les injonctions SQL (Objet d'un prochain billet).
Forcer le typage des variables issues notamment de $_GET et surtout celle qui ne sont pas des chaînes de caractère se révèle donc indispensable.
Ainsi si notre variable $login représente un identifiant entier nous la récupèrerons ainsi :

$login_id = intval(@$_GET['login'])

La sécurité dans le domaine du web est devenue un point primordial de tout développement. Au risque de me répéter, cette question doit être abordée lors de l'analyse/conception de votre application.
Quel variables dois je récupérer à partir de super variables ? Comment dois je passer certaines informations de page en page ? Cookies ou sessions ? Sont autant de question non négligeable.

php, base de données et couche d'abstraction 2 (Compteur de requêtes)

llaumgui — Tue, 18 Jan 2005 19:57:00 +0000

Nous avons Vu précédement le principe des couches d'abstraction dans la gestion des SGBD. Maintenant allons plus loin et réalisons un compteur de requêtes.

Prenons l'exemple d'une base de donées MySQL. Si vous avez bien compris le principe de la couche d'abstraction, vous devez avoir une classe avec une fonction ressemblant à celle si :

class database {



    /* [...]

     * On passe la partie connexion à la base de données et définition des variables de la classe

     *(Notament Countquery qui doit être initialisé à 0).

     * [..]

     */

    function query( $query ) {

    

        // On réalise la requête MySQL

        $this->Query = mysql_query ($query) or die ( $this->error_msg($query) );

        

        // Compteur de requête :

        $this->Countquery++;



        return $this->Query;

    }

Nous avons donc établi un compteur de requête qui s'incrémente à chaque appel de la fonction query(). Nous pouvons aller plus loin est stoker les requêtes dans un tableau afin de les afficher ultérieurement.

Poursuivre l'aventure :

php, base de données et couche d'abstraction 1 (Principe).
php, base de données et couche d'abstraction 2 (Compteur de requêtes).
php, base de données et couche d'abstraction 3 (Driver MySQL).

php, base de données et couche d'abstraction 1 (Principe)

llaumgui — Wed, 12 Jan 2005 14:57:00 +0000

Jusqu'a présent, le système de gestion de base de données (SGBD) par excellence avec php était MySQL. L'arrivé de php5 et sa future démocratisation bouscule cette donne en mettant en avant le SGBD SQLite.

Comment passer le MySQL à SQLite facilement? Juste en modifiant une seule variable? C'est là qu'interviennent les couches d'abstraction.

Qu'est ce qu'un couche d'abstraction?

De même que des drivers différents permettent l'utilisation d'une périphérie hardware à des systèmes différents; une couche d'abstraction permettra au même code php d'attaquer des bases de données différentes.

Comment?

Tout simplement car le code n'attaque pas la base de données mais la couche d'abstraction que nous appellerons drivers.

Ainsi après avoir instancié les drivers adéquates (On peut passer par une variable pour lancer cette instance ce qui permet de changer de drivers en modifiant une seule variable!!!) :

// Récupération du drivers :

require_once ROOT_PATH."kernel/".$CONF['DB_SGBD'].".php";



// Instanciation :

$DB             = new Database();



// Connexion à la base de données :

$DB->connect();

Une requête ce fait alors de la sorte :


$DB->query("REQUETE")

Pour changer de SGBD, il suffit alors de coder de nouveaux drivers et de changer une variable
L'utilisation de drivers prend légèrement plus de temps pour lancer le développement, mais les mises à jour sont bien plus aisées. Alors pourquoi s'en priver ?

La prochaine étape et d'aller encore plus loin avec les couches d'abstraction en y introduisant des fonctions en plus comme celles de débugage par exemple.

Poursuivre l'aventure :

php, base de données et couche d'abstraction 1 (Principe).
php, base de données et couche d'abstraction 2 (Compteur de requêtes).
php, base de données et couche d'abstraction 3 (Driver MySQL).