Le blog de llaumgui - Balise - UTF-8

Opération de maintenance sur les forums de Fedora-Fr

llaumgui — Sun, 20 Jul 2008 19:33:00 +0200

C'est en développant mon extension eZFluxBB et en concevant la nouvelle version de Fedora-Fr sous eZ Publish que je me suis rendu compte de quelque chose : la base de données du forum PunBB en UTF-8 n'était peut être pas autant en UTF-8 que je le pensais ;-)...

Bref, aujourd'hui, j'ai donc procédé à une opération de maintenance sur la base de données avec la migration de cette dernière en vrai utf-8 via quelques requêtes qui vont bien et l'utilisation massive de phpMyAdmin. A titre d'exemple voici à quoi ressemble les requêtes (merci à l'ami Remi) :

# punbb_bans

ALTER TABLE  punbb_bans CHANGE username username  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_bans CHANGE username username BLOB;

ALTER TABLE  punbb_bans CHANGE username username VARCHAR(200)  CHARACTER SET utf8;



ALTER TABLE  punbb_bans CHANGE message message TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_bans CHANGE message message BLOB;

ALTER TABLE  punbb_bans CHANGE message message VARCHAR(255) CHARACTER SET utf8;





# punbb_categories

ALTER TABLE  punbb_categories CHANGE cat_name cat_name  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_categories CHANGE cat_name cat_name  BLOB;

ALTER TABLE  punbb_categories CHANGE cat_name cat_name  VARCHAR(80)  CHARACTER SET utf8;





# punbb_config

ALTER TABLE  punbb_config CHANGE conf_value conf_value  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_config CHANGE conf_value conf_value  BLOB;

ALTER TABLE  punbb_config CHANGE conf_value conf_value TEXT CHARACTER SET utf8;





# punbb_contacts

ALTER TABLE  punbb_contacts CHANGE contact_name contact_name  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_contacts CHANGE contact_name contact_name BLOB;

ALTER TABLE  punbb_contacts CHANGE contact_name contact_name VARCHAR(200) CHARACTER SET utf8;





# punbb_forums

ALTER TABLE  punbb_forums CHANGE forum_name forum_name  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_forums CHANGE forum_name forum_name BLOB;

ALTER TABLE  punbb_forums CHANGE forum_name forum_name VARCHAR(80) CHARACTER SET utf8;



ALTER TABLE  punbb_forums CHANGE forum_desc forum_desc  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_forums CHANGE forum_desc forum_desc BLOB;

ALTER TABLE  punbb_forums CHANGE forum_desc forum_desc TEXT CHARACTER SET utf8;



ALTER TABLE  punbb_forums CHANGE moderators moderators  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_forums CHANGE moderators moderators BLOB;

ALTER TABLE  punbb_forums CHANGE moderators moderators TEXT CHARACTER SET utf8;



ALTER TABLE  punbb_forums CHANGE last_poster last_poster  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_forums CHANGE last_poster last_poster BLOB;

ALTER TABLE  punbb_forums CHANGE last_poster last_poster VARCHAR(200) CHARACTER SET utf8;





# punbb_groups

ALTER TABLE  punbb_groups CHANGE g_title g_title  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_groups CHANGE g_title g_title BLOB;

ALTER TABLE  punbb_groups CHANGE g_title g_title VARCHAR(50) CHARACTER SET utf8;



ALTER TABLE  punbb_groups CHANGE g_user_title g_user_title  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_groups CHANGE g_user_title g_user_title BLOB;

ALTER TABLE  punbb_groups CHANGE g_user_title g_user_title VARCHAR(50) CHARACTER SET utf8;





# punbb_messages

ALTER TABLE  punbb_messages CHANGE subject subject  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_messages CHANGE subject subject BLOB;

ALTER TABLE  punbb_messages CHANGE subject subject VARCHAR(255) CHARACTER SET utf8;



ALTER TABLE  punbb_messages CHANGE message message TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_messages CHANGE message message BLOB;

ALTER TABLE  punbb_messages CHANGE message message TEXT CHARACTER SET utf8;



ALTER TABLE  punbb_messages CHANGE sender sender  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_messages CHANGE sender sender BLOB;

ALTER TABLE  punbb_messages CHANGE sender sender VARCHAR(200) CHARACTER SET utf8;





# punbb_online

ALTER TABLE  punbb_online CHANGE ident ident  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_online CHANGE ident ident BLOB;

ALTER TABLE  punbb_online CHANGE ident ident VARCHAR(200) CHARACTER SET utf8;





# punbb_plugin_cau

ALTER TABLE  punbb_plugin_cau CHANGE name name TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_plugin_cau CHANGE name name BLOB;

ALTER TABLE  punbb_plugin_cau CHANGE name name VARCHAR(255) CHARACTER SET utf8;





# punbb_posts

ALTER TABLE  punbb_posts CHANGE poster poster  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_posts CHANGE poster poster BLOB;

ALTER TABLE  punbb_posts CHANGE poster poster VARCHAR(200) CHARACTER SET utf8;



ALTER TABLE  punbb_posts CHANGE message message TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_posts CHANGE message message BLOB;

ALTER TABLE  punbb_posts CHANGE message message TEXT CHARACTER SET utf8;



ALTER TABLE  punbb_posts CHANGE edited_by edited_by  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_posts CHANGE edited_by edited_by BLOB;

ALTER TABLE  punbb_posts CHANGE edited_by edited_by VARCHAR(200) CHARACTER SET utf8;





# punbb_ranks

ALTER TABLE  punbb_ranks CHANGE rank rank TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_ranks CHANGE rank rank BLOB;

ALTER TABLE  punbb_ranks CHANGE rank rank VARCHAR(50) CHARACTER SET utf8;





# punbb_reports

ALTER TABLE  punbb_reports CHANGE message message TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_reports CHANGE message message BLOB;

ALTER TABLE  punbb_reports CHANGE message message TEXT CHARACTER SET utf8;





# punbb_search_cache

ALTER TABLE  punbb_search_cache CHANGE ident ident  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_search_cache CHANGE ident ident BLOB;

ALTER TABLE  punbb_search_cache CHANGE ident ident VARCHAR(200) CHARACTER SET utf8;





# punbb_search_words

ALTER TABLE  punbb_search_words CHANGE word word VARCHAR(200) CHARACTER SET latin1;

ALTER TABLE  punbb_search_words CHANGE word word BLOB;

ALTER TABLE  punbb_search_words CHANGE word word VARCHAR(20) CHARACTER SET utf8;





# punbb_topics

ALTER TABLE  punbb_topics CHANGE poster poster  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_topics CHANGE poster poster BLOB;

ALTER TABLE  punbb_topics CHANGE poster poster VARCHAR(200) CHARACTER SET utf8;



ALTER TABLE  punbb_topics CHANGE subject subject TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_topics CHANGE subject subject BLOB;

ALTER TABLE  punbb_topics CHANGE subject subject VARCHAR(255) CHARACTER SET utf8;



ALTER TABLE  punbb_topics CHANGE last_poster last_poster  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_topics CHANGE last_poster last_poster BLOB;

ALTER TABLE  punbb_topics CHANGE last_poster last_poster VARCHAR(200) CHARACTER SET utf8;





# punbb_users

ALTER TABLE  punbb_users CHANGE username username  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_users CHANGE username username BLOB;

ALTER TABLE  punbb_users CHANGE username username VARCHAR(200) CHARACTER SET utf8;



ALTER TABLE  punbb_users CHANGE title title  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_users CHANGE title title BLOB;

ALTER TABLE  punbb_users CHANGE title title VARCHAR(50) CHARACTER SET utf8;



ALTER TABLE  punbb_users CHANGE realname realname  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_users CHANGE realname realname BLOB;

ALTER TABLE  punbb_users CHANGE realname realname VARCHAR(40) CHARACTER SET utf8;



ALTER TABLE  punbb_users CHANGE location location  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_users CHANGE location location BLOB;

ALTER TABLE  punbb_users CHANGE location location VARCHAR(30) CHARACTER SET utf8;



ALTER TABLE  punbb_users CHANGE signature signature  TEXT CHARACTER SET latin1;

ALTER TABLE  punbb_users CHANGE signature signature BLOB;

ALTER TABLE  punbb_users CHANGE signature signature TEXT CHARACTER SET utf8;

Une fois la base en UTF-8, j'ai du relancer l'indexation des postes, opération qui a bien pris plus d'1H30 avec de grosses montées en charge du serveur.

A présent, les informations extraites du forum PunBB de Fedora-Fr s'affichent parfaitement dans eZ Publish via eZFluxBB et nous pouvons envisager la migration du site existant pour bientôt, ainsi que de nouvelles surprises qui sont annoncées pour la suite, mais je vous en dirais plus en temps et en heure...

Remarque importante : La branche 1,2 de PunBB ne supporte pas officiellement l'UTF-8. Cette fonctionnalité sera apportée par la branche 1.3 actuellement en version beta 1, Si toute fois vous voulez vous lancer dans l'aventure, je ne saurais vous conseiller de lire ce post.

jQuery, UTF8 et Internet Explorer

llaumgui — Sat, 03 Mar 2007 13:52:00 +0100

Toujours dans la catégorie "pamphlet contre le navigateur de la firme de Redmond" : un petit désagrément que je viens de constater entre jQuery, le plugin Validation et Internet Explorer.
Si l'encodage de la librairie de base (jquery.js) et celui du plugin (jquery.validation.js) sont différents (UTF-8 pour l'un et ISO-8859-1 pour l'autre), des erreurs Javascript apparaissent dans IE.

Ça a l'air triviale, mais pourtant j'ai passé plus de 3 heures à essayer de débuger du Javascrit sous IE (il parait que c'est possible ;-)) qui, n'ayons pas peur des mots, est une véritable bouse dans le domaine du débug JS.

Une fois que tout marche, ce plugin se révèle très pratique, car la syntaxe pour vérifier les entrées d'un formulaire est relativement simple :

// Mode débug :

//$.validator.defaults.debug = true;



$(document).ready(function() {



        $("#comment-form").validate({

                errorContainer: $("#comment-form div.error-form"),

                errorLabelContainer: $("#comment-form div.error-form ul"),

                errorWrapper: 'li',

                metaWrapper: "validate",

                

                rules: {

                c_name: { required: true },

                c_mail: {

                        required: true,

                        email: true

                },

                c_content: { required: true }

                },              

                messages: {

                c_name: msg_valid_name,

                c_mail: msg_valid_email,

                c_content: msg_valid_content

                }

        });

});

Pour les messages d'alertes, on notera que je passe des variables par soucis de respecter l'internationalisation de DotClear

Faut que je vérifie la licence (GPL / MIT) du truc et si elles le permettent je pense l'utiliser pour mon prochain gros projet professionnel. Comme le dit le slogan de cette librairie :

write less, do more

fedora-fr bientôt une semaine

llaumgui — Thu, 12 Oct 2006 23:34:00 +0200

Cela fait bientôt une semaine que la migration de fedora-france vers fedora-fr est effective et je n'ai toujours pas blogué dessus :-)...

Le serveur Borsalino généreusement fournis pas Ikoula fonctionne à merveille, la distribution Fedora-Core 5 nue est un pur bonheur et permet de choisir exactement ce que l'on veut installer.

A l'heure actuelle seuls les sites web sont fonctionnels mais je devrais bientôt déplacer les mails et les mailing-list bref vive l'hébergement dédié.

La migration a été aussi l'occasion pour moi de passer fedora-fr en full utf-8 grâce à une adaptation de mon script qui a transformé le Xoops iso-8859-1 en un punBB en utf-8.

Partition UTF-8 et clefs USB montées via HAL

llaumgui — Fri, 28 Oct 2005 12:22:00 +0000

Afin d'assurer une compatibilité Linux/Windows de mes partitions (Bien que cela fait 3 mois que je n'ai pas utilisé un Windows), mes partitions de stockage sont actuellement en FAT et encodées en UTF-8.

Le problème est que les clefs USB montées automatiquement sur le bureau supportent mal cette configuration. S'en suit une incompatibilité des caractères spéciaux (é, è, ç, à, etc...) entraînant l'impossibilité de copier/coller des fichiers contenant des accents de mes disques durs vers une clef USB :

L'une des solutions est de monter les clefs USB en ligne de commande, mais cela s'avère vite très lourd. L'autre solution est de configurer HAL pour qu'il monte les périphéries de stockages USB en ISO 8859-15. Petit rappel à propos de HAL, lorsque vous introduisez une périphérie de stockage USB, c'est HAL qui se charge de rajouter la ligne correspondant dans votre fichier fstab :

/dev/sdb1               /media/CLEF_USB         vfat    pamconsole,exec,noauto,fscontext=system_u:object_r:removable_t,managed 0 0

Le but de la modification est d'y rajouter le paramètre "iocharset=iso8859-15".

Avec votre éditeur de fichiers, créez /etc/hal/fdi/policy/clef-usb-utf8.fdi.

<?xml version="1.0" encoding="UTF-8"?>



<deviceinfo version="0.2">

   <device>

      <match key="block.is_volume" bool="true">

         <match key="volume.fsusage" string="filesystem">

            <match key="volume.fstype" string="vfat">

               <merge key="volume.policy.mount_option.iocharset=utf8" type="bool">true</merge>

               <merge key="volume.policy.mount_option.codepage=850" type="bool">true</merge>

              </match>

         </match>

      </match>

   </device>

</deviceinfo>

Insérez une clef USB, vous devriez avoir dans votre fstab, une ligne du style :

/dev/sdb1               /media/CLEF_USB         vfat    pamconsole,exec,noauto,fscontext=system_u:object_r:removable_t,iocharset=iso8859-15,managed 0 0