Nous n’allons pas parler de ZFS aujourd’hui mais de RAID logiciel au travers de GEOM, le “famework” de gestion des volumes de stockage de FreeBSD, afin d’obtenir facilement un système performant en RAID0, RAID1 ou RAID5, avec pour seule contrainte d’avoir à disposition un nombre de disque durs suffisants.

Le RAID1 => gmirror

Nous partons du principe que nous avons un système FreeBSD fraichement installé et qui fonctionne (ce qui est normal, puisqu’il s’agit de FreeBSD .

Il nous faut tout d’abord ajouter physiquement un nouveau disque dur de capacité au moins égale à celui avec lequel nous voulons créer un mirroir RAID1. Ajoutez si possible ce nouveau disque sur un autre controlleur de disque que le disque dur existant, et faites attention à la notion de “master/slave” si vous avez des disques à la norme PATA.

Une fois le disque ajouté, et le système démarré, le nouveau disque dur devrait être détecté. Dans notre exemple le disque sur lequel est installé le système sera ad0 et le disque ajouté sera ad1.

Afin d’avoir accès aux métadonnées de notre disque ad0 en écriture, entrons ce qui suit dans un terminal:

# sysctl kern.geom.debugflags=17

Nous chargons le module noyau de gestion du RAID1.

# gmirror load

N’oublions pas de charger gmirror(8) à chaque démarrage.

# echo ‘geom_mirror_load=”YES”‘ >> /boot/loader.conf

Puis nous modifions le label de notre disque afin qu’il devienne compatible avec le RAID1 de gmirror.

# gmirror label -b split gm0 /dev/ad0

Nous éditons /etc/fstab afin de modifier les points de montage qui seront impactés (tout ce qui était relatif à /dev/ad0 devient relatif à /dev/mirror/gm0).

Ainsi le fichier /etc/fstab suivant:

# Device               Mountpoint      FStype  Options         Dump    Pass#

/dev/ad0s1b            none            swap    sw              0       0

/dev/ad0s1a            /               ufs     rw,acls         1       1

/dev/ad0s1e            /tmp            ufs     rw              2       2

/dev/ad0s1f            /usr            ufs     rw,acls         2       2

/dev/ad0s1d            /var            ufs     rw              2       2

deviendra:

# Device                      Mountpoint      FStype  Options         Dump    Pass#

/dev/mirror/gm0s1b            none            swap    sw              0       0

/dev/mirror/gm0s1a            /               ufs     rw,acls         1       1

/dev/mirror/gm0s1e            /tmp            ufs     rw              2       2

/dev/mirror/gm0s1f            /usr            ufs     rw,acls         2       2

/dev/mirror/gm0s1d            /var            ufs     rw              2       2

Puis nous redémarrons le système (tout en croisant les doigts :

# reboot

Pendant le redémarrage, nous constatons que les occurences de ad0 sont remplacées par mirror/gm0 lors des opérations de mount(8)

Nous pouvons aussi controller que tout a bien été monté grâce à la commande mount(8):

# mount

Si tout va bien, il est temps d’insérer notre nouveau disque afin de construire notre “array of inexpensive disks” de type mirroir.

# gmirror insert gm0 /dev/ad1

Une fois le nouveau disque inséré dans le RAID1, la reconstruction de celui-ci débute automatiquement. Cela peut-être vérifié grâce à gmirror(8).

# gmirror status

      Name    Status  Components
mirror/gm0  COMPLETE  ad0
                      ad1

Pour remplacer un disque faisant partie du mirroir (par ex. ad0), il suffit, après avoir remplacé physiquement le disque défectueux, de faire:

# gmirror forget gm0

# gmirror insert gm0 /dev/ad0

Le mirroir se reconstruit ensuite automatiquement (on peut toujours le vérifier avec “gmirror status”).

Les autres configurations RAID feront l’objet de futurs billets.

Virtualisation:
– La possibilité d’assigner plusieurs adresses IP à une “jail” (virtualisation de type chroot), voire même pas d’adresse IP du tout. Ce qui permet une plus grande souplesse de leur utilisation.
– cpuset(1) permet dorénavant d’assigner une “jail” à un ou plusieurs processeurs donnés sur un système multiprocesseurs.

Support matériel:
– La version SPARC64 supporte maintenant les processeurs Ultra SPARC III (modèle Cheetah).
– Un driver u3g(4) a été ajouté. Il permet de prendre en charge les fameux “dongles” 3G (modems HSDPA) qui sont apparus ces derniers mois (Novatel, Huawei, Qualcomm, etc).

Divers:
– Un problème sur boot(8) pouvant empêcher certaines configurations matérielles de démarrer sur le CD-ROM d’installation de la 7.1-RELEASE a été corrigé.
– Les versions supportées de Gnome et KDE deviennent respectivement la 2.26 et la 4.2.2

Notons que, contrairement à la version 7.1-RELEASE dont les mises à jours sont supportées jusqu’au 31 Janvier 2011, la 7.2-RELEASE ne sera supportée que pendant 12 mois.

• Le site du projet FreeBSD
• L’annonce sur le site officiel
• Les “Release Notes” sur le site officiel
• Le tracker torrent officiel
• Ma dépêche sur LinuxFR.org

En soutient aux différentes manifestations contre le projet de loi “Creation et Internet” appelée aussi Hadopi qui à pour buts, entre autres, de:

• Céder aux caprices des industries privées du secteur de l’édition phonographique, incapables de s’adapter aux nouvelles technologies et s’accrochant à une image du marché datant des années 1960.
• Surveiller à loisir et sans garde-fous juridiques les activités des citoyens français sur Internet
• Permettre quelque chose d’impensable il y a encore quelques années dans une démocratie: la présomption de culpabilité

Je me joint à l’appel de la Quadrature du Net pour une action massive des usagers français d’Internet, dénonçant la dangerosité et le non-sens de ce projet de loi.

Comment peut-on en France se plier à des caprices d’intérets privés au détriment de la liberté des citoyens ? Cette loi n’enrayera pas le “piratage” des oeuvres sur Internet, mais permettra de légaliser une atteinte grave à la liberté de chacun. Ainsi une société privée pourra décider de vous punir parcequ’elle aura la conviction et non la preuve que vous êtes un délinquant, et ce sans que la Justice ne soit jamais saisie.

Je vois la une brèche qu’il ne faut surtout pas ouvrir, car les lobbies privés de toutes sortes vont s’y engouffrer. Le gouvernement est élu par le Peuple, pour le Peuple, et les intérets spécifiques d’une société privée ne devrait pas y avoir droit de cité.

Comment celà peut-il être dans le domaine du possible ? Tout simplement grâce à l’outil pfstat, écrit par le créateur de PF lui-même.

Afin de ne pas vous perdre en cours de lecture pour cause de démotivation devant les sigles cryptiques et autres incantations shellmaniques qui parsèment comme à l’accoutumée mes billets techniques, voici un aperçu de ce que nous allons obtenir:

Pfstat Screenshot

Passons donc maintenant dans le vif du sujet. Nous allons créer les graphiques montrants les octets que PF à laissé passer sur l’interface sis0, ainsi que les packets passés et bloqués sur cette même interface sur une période de 24 heures.

Tout d’abord il faut installer pfstat:

# pkg_add -r pfstat

Puis on créé un fichier de configuration adéquat /usr/local/etc/pfstat.conf contenant ceci:

Bien sûr, il y a beaucoup d’autres possibilités, comme grapher les files d’attentes, les états. La page pfstat de l’auteur en montre un bon panel.

Mais revenons à nos affaires. Il nous faut maintenant créer le répertoire ou seront hebergées la page web d’affichage de nos graphiques ainsi que les images:

# mkdir -p /usr/local/www/data/pfstat/images

Puis on vérifie que ça fonctionne:

# pfstat -q -p

Cette commande demande à pfstat de compiler les statistiques de pf(4) pour l’instant t et de créer les graphiques correspondant à l’emplacement renseigné dans notre fichier de configuration. On peut vérifier le bon fonctionnement par la présence d’un fichier /var/db/pfstat.db ainsi que celle des graphiques.

# ls -l /var/db/pfstat.db
-rw——-  1 root  wheel  8192 Feb  6 08:41 /var/db/pfstat.db
# ls -l /usr/local/www/data/pfstat/images/
total 846
-rw-r–r–  1 root  wheel  24063 Feb  6 08:41 pfstat-bandwidth-day-small.png
-rw-r–r–  1 root  wheel  64065 Feb  6 08:41 pfstat-bandwidth-day.png
-rw-r–r–  1 root  wheel  27066 Feb  6 08:41 pfstat-packets-day-small.png
-rw-r–r–  1 root  wheel  66568 Feb  6 08:41 pfstat-packets-day.png

Maintenant que ça fonctionne, on automatise la récolte des statistiques de pf(4) grâce à une simple tâche cron(8). Ajoutons ceci dans /etc/crontab:

*    *    *    *    *    root    /usr/local/bin/pfstat -q -p -t 31:365

L’option -t, permet à pfstat de compresser les donnés vieilles de plus d’un mois et d’effacer celles de plus d’un an. Ainsi notre base /var/db/pfstat.db ne devrait pas grossir exagérément.

Il ne reste plus qu’à afficher tous ces jolis graphiques sur une page html (ou autre).

Par exemple:

Configuration Apache 2.2

Créer un fichier /usr/local/etc/apache22/Includes/pfstat.conf contenant

Créer un fichier /usr/local/www/data/pfstat/index.html contenant

N’oublions pas de recharger la configuration d’apache:

# /usr/local/etc/rc.d/apache22 reload

Vous pouvez bien sûr vous inspirer ma de propre page pfstat pour compléter le tout.

A bientôt chers (et de plus en plus nombreux) lecteurs

Mais je vois poindre la question essentielle: qu’est-ce que Dspam au juste ?

Dspam est, à l’instar de spamassasin, un logiciel antispam. Sa licence est la GNU GPL v2. Mais c’est ici que s’arrête la comparaison.
En effet Dspam est écrit en C (ce qui rend son filtrage très rapide), il base son filtrage sur des signatures et les statistiques tirées de celles-ci, ce qui lui permet d’”apprendre” et de s’adapter au type de spam que l’on reçoit.
Il est bien sûr principalement destiné à se greffer sur un MTA en tant que filtre de contenu, et nécessite un moteur de base de données telle que PostgreSQL, MySQL ou même SQlite (pour de très petites installations seulement). Dspam propose aussi une interface “web-based” en cgi, et dispose d’un greffon ClamAV.

Comme je le dis plus haut, Dspam à été récemment repris par la communauté après quelques péripéties dont voici l’historique dans les grandes lignes¹:

• Dspam est créé par Jonathan Zdziarski en 2003 pour mettre en pratique son expertise en matière de lutte contre le spam².
• En Mai 2007 J. Zdziarski cède les droits de Dspam à la société Sensory Networks, et abandonne le développement de Dspam pour se concentrer sur la programmation sur l’Iphone d’Apple.
• S’en suit une longue attente et une incompréhension de la part de la communauté d’utilisateurs envers Sensory Networks, principalement  à cause du manque de communication et de support de la société.
• Devant cette apparente inaction de Sensory Networks, la décision est prise par les utilisateurs de Dspam de “forker” Dspam  pour créer dspam-community, qui sera hébergée sur Sourceforge. Des négociations sont lancées entre les deux parties afin de récupérer le copyright de Dspam.
• Enfin, le 12 Janvier 2009 le projet Dspam retombe entièrement entre les mains de la communauté d’utilisateurs.

Pour utiliser Dspam personnellement, je ne peux que vous le recommander et surtout vous inviter à participer à ce projet trop peu connu en regard de ses qualités.

Liens:

Page de Dspam sur SourceForge

Ancienne page du projet Dspam

¹ Communiqué sur la reprise du copyright

²“Ending Spam” le livre de Jonathan Zdizarski

Lien vers ma dépèche postée sur linuxfr.org

En plus c’est chouette me dis-je, car dedibox propose du FreeBSD comme système d’exploitation à l’installation du serveur.

Mais, (car sans “mais” je n’aurais pas fais ce billet) hélas pour moi qui aime partitionner mon système comme je le souhaite, il n’y a pas (encore) possibilité de personnaliser son partitionnement à l’installation.

Je me retrouve donc avec un slice d’environ 140 Gio, peuplée de seulement 3 labels (ou partitions):

/ de 1024 Mio

/usr de 70 Gio

/var de 70 Gio aussi

Or moi je veux un /tmp et un /home séparés, dans leur partitions propres. Est-ce trop demander ô monde cruel ?

Il ya bien growfs(8) qui permet, comme son nom l’indique, d’agrandir un système de fichier existant. Mais je veux plutot reduire /var pour créer un /tmp et un /home dans l’espace libéré, donc exit growfs(8) (à quand un shrinkfs(8)).

Il ne me reste plus qu’à faire ça à la bonne franquette, à la mimine, les mains dans le cambouis. Nous allons sauvegarder, effacer, recréer, puis restaurer les partitions dont la taille va changer ou qui vont être créées.

Attention: dans cet exemple nous n’allons toucher qu’à /var, c’est pourquoi nous ne sauvegardons que lui. Dans tous les cas, ayez des sauvegardes à jour de vos données importantes et si possible en double dans un endroit sûr. Je ne saurais être tenu responsable d’une quelconque perte de donnée !

D’abord on coupe un maximum de daemons via /etc/rc.d et /usr/local/etc/rc.d (j’ai fait mon repartitionnement en ne gardant que ssh de lancé).

On note quelquepart la sortie de la commande mount sans arguments, afin d’avoir sous la main la correspondance entre nos partitions et nos points de montage:

On sauvegarde la partition /var quelque part dans /usr (que nous n’avons pas l’intention de toucher) (”man 8 dump” pour la signification des flags):

On “dé-monte” la partition /var

On change la valeur de la sysctl kern.geom.debugflags afin de pouvoir modifier le partitionnement en “Live”.

On edite la table des labels afin de supprimer l’entrée correspondant à notre /var d’origine (la partition “e” dans mon cas)

Cela nous ouvre la table des labels dans notre éditeur par défaut, supprimez la ligne correspondant au /var d’origine (partition “e” dans mon cas), sauvez les modifications et quitter l’éditeur. Notez que l’on pourrait ajouter nos nouvelles partitions /tmp /home et /var maintenant en les ajoutant dans la table des labels, mais son format étant non-intuitif, nous allons faire nos modifs avec sysinstall.

Dans le menu, entrez dans “Custom”, puis ensuite dans “Label”.

Pour créer une partitions dans l’espace devenu disponible:

Touche “C” -> Selectionnez “a filesystem” ->OK-> Entrez la taille en G (ex: 1G) ->OK-> Entrez le point de montage (ex: /tmp)->OK

Une fois créées toutes vos nouvelles partitions, appuyez sur la touche “W” pour écrire les modifications. Vous pouvez ignorer les différentes erreurs qui s’affichent. Notez quelquepart le nouveau partitionnement, avec le nom des partitions et les points de montage correspondant. Sortez de sysinstall.

On relance bsdlabel pour ecrire pour de bon les modifs

# bsdlabel -e ad4s1

Sauvez le fichiers sans rien modifier et quittez l’éditeur.

On contrôle que les périphériques correspondants aux nouvelles partitions ont bien été créées:

On remarque l’apparition de ad4s1f et ad4s1g, qui correspondent aux nouvelles partitions.

On créé maintenant des systèmes de fichiers sur les nouvelles partitions vierges (ne pas oublier ad4s1e, qui a été supprimée et recréée plus petite):

On edite /etc/fstab, pour ajouter/modifier les entrées correspondantes aux nouvelles partitions (le partitionnement qui a été noté à l’étape sysinstall est utile maintenant)

Puis on monte nos nouvelles partitions:

Et on vérifie:

Les nouvelles partitions sont bien montées

Il ne reste plus qu’à restorer les données de notre ancien /var

Pensez aussi à déplacer vos données de /usr/home vers /home et de modifier les utilisateurs locaux pour qu’il utilisent /home/%u plutôt que /usr/home/%u

Voilà, c’est à peu près tout

Donc pour aider notre bonne vieille machine sous FreeBSD à faire fonctionner correctement les jeunes dernières moutures de logiciels comme Zabbix (apportant autant de gourmandise en RAM que de nouveautés indispensables), nous ajoutons tout simplement de la mémoire vive et passons de 256Mo à 512Mo. Puis, satisfaits du devoir accompli, notre bonne vieille machine est redémarrée en se disant qu’elle devrait au moins se faire autant oublier qu’avant.

Mais c’est sans compter sur le padbolisme (qui est une variante de la loi de Murphy) et c’est avec effroi qu’un Lundi matin, encore bercé par la fraicheur automnale, nous découvrons cette chose horrible dans les logs de notre téméraire machine:

Nov  7 01:03:29 zabbix_box kernel: swap_pager_getswapspace(3): failed
Nov  7 01:03:30 zabbix_box Kernel: swap_pager_getswapspace(3): failed
Nov  7 01:03:30 zabbix_box kernel: swap_pager_getswapspace(5): failed
Nov  7 01:03:30 zabbix_box kernel: swap_pager_getswapspace(3): failed
Nov  7 01:03:36 zabbix_box kernel: swap_pager_getswapspace(3): failed
[...]
Nov  7 02:34:56 zabbix_box kernel: pid 17507 (mysqld), uid 88, was killed: out of swap space
Nov  7 02:34:56 zabbix_box kernel: pid 75212 (zabbix_server), uid 112, was killed: out of swap space

“Alors c’est ça ?” “On rajoute de la RAM pour que cette machine soit moins étouffée et voilà comment elle nous remercie ?”

Mais en y réfléchissant à deux fois, après le rite info-chamanique dit de “la tête entre les paumes des mains”, il apparait que bien que l’on ai augmenté la mémoire vive disponible, nous n’avons pas songé à augmenter le fichier d’échange en conséquence. Ce qui nous fait 512Mo de swap pour autant de RAM, et sur une machine chargée comme la notre, c’est un peu limite.

Oui mais comment faire pour ajouter de l’espace de pagination ? Car nous n’avons plus de place disponible pour ajouter un disque dur, ni prévu d’espace libre pour créer une deuxième partition de swap :/

Et la réponse viens du côté obscur de l’informatique: on va faire comme sous Windows… Enfin juste dans le principe, car nous allons en fait créer un “fichier” d’échange un peu comme le “pagefile.sys” de l’OS de Redmond.

Pour celà:

On crée un fichier d’échange d’1Gio rempli de zéros là on on a de la place:

# dd if=/dev/zero of=/var/tmp/swapfile bs=1024k count=1000

On crée un pseudo-périphérique se rattachant à notre fichier créé:

# mdconfig -a -t vnode -f /var/tmp/swapfile

La sortie standard vous donne le nom du pseudo-périphérique ainsi créé: md0 dans notre cas.

On active notre pseudo-périphérique comme espace de pagination:

# swapon /dev/md0

Et on vérifie que  le système reconnaît bien notre nouveau swap:

# swapinfo

Device          1K-blocks     Used    Avail Capacity
/dev/ad0s1b        524288        0   524288     0%
/dev/md0          1024000        0  1024000     0%
Total             1548288        0  1548288     0%

Nous avons bien notre /dev/md0 d’1Go sous la partition d’échange originale Notre bonne vieille machine dispose dorénavant de près 1.5Go de swap, de quoi voir venir…

“Oui mais alors, je vais devoir faire tout ça à chaque fois que le machine redémarre ?”

Et non, car, contrairement à ce qu’il y paraît dans mes billets, tout ceci n’est PAS un immonde bricolage. FreeBSD à même prévu une entrée dans rc.conf pour gérer tout ça. Il suffi de rajouter dans /etc/rc.conf:

swapfile=”/var/tmp/swapfile”

Et notre fichier d’échange sera initialisé à chaque démarrage.

hint.apic.0.disabled=1

au lieu d’un bien moins dangereux

hint.acpi.0.disabled=1

En effet le premier désactive l’APIC c’est à dire une sorte regulateur des connections entre les processeurs et les entrées/sorties (comme les disques); et le second seulement l’ACPI, soit la gestion de l’énergie.

Nous avons donc notre belle erreur dans notre /boot/loader.conf et ni une ni deux, on redémarre le serveur pour constater l’effet de la désactivation de l’ACPI (car c’est ce qu’on voulait désactiver à la base… vous suivez ?).

Et là, c’est le drame, notre serveur sous FreeBSD ne boote plus et est réduit à la fonction de presse papier car il ne voit plus le controlleur LSI Logic qui pilote nos disques durs ! Evidement, un malheur n’arrivant jamais seul, la loi de l’emmerdement maximum, dite aussi loi de Murphy, fait que vous n’avez pas d’accès physique sur la machine. Donc pas de liveCD pour monter / et corriger /boot/loader.conf !

C’est dans ces moments là qu’on a envie de changer de métier, de partir élever des chèvres dans le Larzac, de devenir technico-commercial… que sais-je.

Mais heuresement FreeBSD est un système d’hommes (et de femmes, ne soyons pas sexiste envers nos trop peu nombreuses informaticiennes), des vrai(e)s, et nous propose un moyen de rattraper nos bêtises avant que le chef, ou pire les utilisateurs (vous savez, ceux qui n’arrivent jamais à imprimer à 17h58 alors que vous êtes sensé finir à 18h) ne s’en aperçoivent.

Et ce moyen, le voilà (ouf diront certains):

1. Rebootez FreeBSD
2. Une fois arrivé au menu du loader, choisissez l’otion 6 (escape to loader prompt)
3. Au prompt du loader (qui n’affiche que “>”) tapez “show” (sans les guillements hein suivi d’”Enter” pour afficher les variables initialisées par /boot/defaults/loader.conf et /boot/loader.conf. Vous devriez voir le fameux hint.apic.0.disabled=1 dans la liste.
4. Tapez “unset hint.apic.0.disabled” puis faites “Enter” (bien évidement).
5. Tapez “boot” puis pressez “Enter” (encore), et ô miracle, FreeBSD boote comme il faut \o/.

Il ne vous reste plus qu’à vous précipiter dans /boot/loader.conf et corriger l’erreur.

Ouf ! Je reste informaticien encore un peu. “La coupure de 3 minutes ? Ben c’est encore ces $#%$! de fournisseurs de la SDSL qui ont laissé tomber la ligne….” (Mais non je suis pas comme ça

C’était ici

Extrait:

London Stock Exchange Cuts Information Dissemination Time from 30 to 2 Milliseconds

As part of its strategy to win more trading business and new customers, the London Stock Exchange needed a scalable, reliable, high-performance stock exchange ticker plant to replace its earlier system. Roughly 40 percent of the Exchange’s revenues are generated by the sale of real-time information about stock prices. Using the Microsoft® .NET Framework in Windows Server® 2003 and the Microsoft SQL Server™ 2000 database, the new Infolect® system has been built to achieve unprecedented levels of performance, availability, and business agility. Launched in September 2005, it is maintaining the London Stock Exchange’s world-leading service reliability record while reducing latency by a factor of 15. Its successful implementation, with support from Microsoft and Accenture, shows the London Stock Exchange’s leadership in developing next-generation trading systems.

Et Boum ! Hier, des problèmes de connexion au système apparaissent et le LSE décide de tout couper, afin d’éviter des inégalité d’accès aux traders. Le problème c’est que ça a duré en tout sept heures. Vive la “reliability” mais apparement sans “redondancy”.

L’article Slashdot

L’article Reuters

Encore plus drôle, le photomontage de Microsoft pour la campagne Get the Facts