- FRsAG - frsag.org

Anti-spam (was: [FRnOG] Antispam : vaderetro, ironport, proofpoint... vos avis.)
by Benjamin Billon 30 Jul '10

30 Jul '10

Hello la liste, Je reprends un sujet d'une autre liste où celui-ci n'avait pas grand chose à faire et que certain d'entre vous a déjà suivi avec plus ou moins de passion. Il est vrai que le suspens est au rendez-vous : Kimberley apprendra-t-elle que Rodrigo a tué son père avant la fin de la saison ? Le début de la discussion portait sur l'intérêt (ou pas) des soft et appliances de filtrage de spams. Je cite: > > A titre d'information, utilisez-vous des appliances du type > antispam/antivirus et si oui quel retour avez-vous au niveau : > > - efficacité, > > - fiabilité au niveau soft/hardware des boîtiers, > > - facilité d'usage pour l'utilisateur final, > > - flexibilité d'administration, > > - etc. Après une malheureuse réponse sur le sujet, comportant le fatal nota bene "l'open source peut le faire", le malheureux poseur de questions n'aura pas droit à d'autres réponses à sa question. Si _VOUS_ avez des réponses qui collent à la question, il serait intéressant d'avoir vos retours d'expérience. Sinon pour partir dans la philosophie, nombre de posts plus tard, quelqu'un a donc dit : > "C'est quoi le SPAM ?" > > Parce qu'on est arrive au point ou le spam c'est un e-mail qu'on a recu > et qu'on aime pas => un spammeur = quelqu'un qui envoie beaucoup > d'emails que beaucoup de gens aiment pas(*). Le bon-sens, l'opt-in (meme > "confirme"), le concept de "relation contractuelle" ou les diverses > "definitions" (UBE, UCE, ....) ne veulent quasiment plus rien dire. Et quelqu'un d'autre a répondu : > - si l'émetteur a acheté son fichier chez biduleProspect => spam > - les mails medoc/montres/logiciels à prix cassé et autres => spam > - les mails qui viennent d'une boite avec qui tu n'as pas de relation, que > ce n'est pas quelqu'un que tu connais qui l'envoi et qui veut en plus te > vendre des volets roulants => spam > - les mails envoyés à des messages-id => spam > - et j'en oublie... > Dans 97% (à la louche) des cas, pas besoin de réfléchir plus d'1 seconde. > > Et par inférence les boites spécialisées (dont c'est le business) dans le > routage de ces saloperies ou autres groupements du même acabit ben on les > appelle des spammeurs. Une définition largement répandue, et acceptée par la plupart des gros receveurs, est que "le spam est ce que le destinataire considère étant un spam". Ca inclut tout un tas de trucs, notamment des messages pour lequel le destinataire s'est bien abonné mais qu'il ne souhaite soudain plus recevoir. Pour cette raison, les receveurs tolères un faible pourcentage de plaintes pour spam par IP, domaine et/ou envoi (en fonction de leur système) et ne requièrent pas le zéro absolu en matière de taux de plaintes. Ca signifie aussi que, même si le message a été envoyé par un utilisateur de escrocProspect, si le destinataire va chercher le message en spambox pour le remettre en inbox, ça ne sera pas un spam. Autrement dit, un même message peut être et ne pas être un spam, la différence étant la personne qui le reçoit. Le problème avec cette définition, c'est que l'on risque de considérer que les "messages" pour le viagra ne sont pas toujours du spam, puisqu'il y a des acheteurs. Je pense donc que cette définition n'est utilisable que pour construire des systèmes de filtrage par réputation (ou scoring des IP, ou scoring des domaines, appelez-ça comme vous voulez), et que des exceptions doivent forcément être faites : "ok, le type est venu chercher le message en spambox, mais il vient quand même d'une IP dynamique, listée dans 4 blacklists et contient des termes qui feraient rougir spamassassin". Une autre définition elle celle de l'UBE: Unsolicited Bulk Email. Là on ajoute une notion de quantité, et donc de "campagne". Je n'ai pas trouvé d'exemple pour contredire cette définition, donc si _vous_ avez de quoi l'écorner, n'hésitez pas. Toutefois, celle-ci ne permet pas de répondre pas aux problèmes du sysadmin qui doit épurer le trafic mail de son réseau : comment savoir si 1) c'est un email (bon ça ça devrait aller) 2) si c'est envoyé en masse* et 3) si il est attendu ou non**. Si on avait la réponse à "comment savoir quand un mail est un spam", la vie serait déjà beaucoup plus belle. * Pour un gros receveur, ce n'est pas très compliqué, mais nous pensons à tous les sysadmins, même ceux qui ne gèrent qu'un seul petit domaine. Certains réseaux rendent publiques leurs statistiques (nombre de messages reçu de tel bloc / telle IP / tel domaine), mais souvent a posteriori, après que la campagne soit terminée ** des solutions comme celles d'Habeas permettent de certifier que le destinataire s'est abonné au message (et de fait faciliter l'arrivée en inbox). Ca n'est toutefois pas à la portée de toutes les bourses. Merci à ceux qui ont lu jusqu'au bout, vous êtes mes plus grands fans. -- Benjamin

3 3

Propagation de kernels sur VM Xen
by Olivier Bonvalet 29 Jul '10

29 Jul '10

Hello la liste, suite à quelques déboires avec depmod qui a évolué entre Lenny et Squeeze, je me demande si ma méthode de propagation des kernels sur les VM est judicieuse. Il arrivera fatalement un moment où le Dom0 et le DomU ne seront pas "compatibles". De plus, si au passage je peux automatiser un peu plus ou améliorer le process, c'est pas plus mal. Le contexte : le kernel utilisé dans la VM est fourni par l'host, mais il faut aussi propager les modules du kernel dans la VM. Actuellement j'utilise un script sur le Dom0 qui coupe la VM, monte son système en local, balance les dossiers de /lib/modules/, mets à jour la version du kernel indiquée dans le fichier ".cfg" et enfin redémarre la VM. Rudimentaire, mais fonctionnel. Problèmes : - le Dom0 doit donc avoir une version de /lib/modules/ compatible avec ce qu'attend le DomU (d'où mon soucis Lenny/Squeeze) - la mise à jour du kernel est donc déclenchée à l'initiative du Dom0... donc pas d'autonomie de ce coté pour le client Solution 1 : déplacer le kernel dans la VM. Cela implique l'utilisation de pygrub (sécurité ?), et d'avoir un outil de propagation simple du kernel sur chaque VM, si possible sans avoir à trop intervenir. On gagne en souplesse, mais pour l'industrialisation c'est un peu rapé. Solution 2 : compiler les modules en statique, et toujours utiliser le même nom de kernel (ou faire pointer un lien symbolique). Ainsi à chaque reboot la VM prend automatiquement la dernière version du kernel qu'on lui propose. J'utilise déjà cette technique dans le cadre d'un projet spécifique, mais manque de bol ici j'ai besoin de l'aspect modulaire de mes kernels. Solution 3 : déployer le kernel et ses modules dans 2 packets Debian adéquat, à fournir pour toutes les distribs utilisées (y compris dérivés Debian), ajouter le repository en question sur chaque VM, et synchroniser comme il faut les mises à jour de paquet Dom0 & DomU... C'est la solution utilisée par défaut avec ce que propose Debian, mais ça ne me semble pas vraiment jouable ici. Solution 4 : utiliser un lien symbolique pour pointer sur le dernier kernel dans le fichier de conf Xen (cf solution 2), et utiliser un système de fichier spécifique pour propager automatiquement mon dossier /lib/modules/ dans la VM. NFS, ou une partition spécifique en read-only commune à toutes les VM et à ajouter dans le fstab de chacune d'elles. Ca me semble tordu comme montage, mais ormis l'aspect bricolage ça semble répondre à tous mes problèmes. Solution 5 : faire comme certains hébergeurs et ne mettre à jour le kernel que tous les 5 ans. Un petit coucou en passant à mon hébergeur préféré qui me fourni un joli 2.6.16 sur ses Xen ;) Et vous, vous faites comment pour déployer vos kernels sur les VM ? Ai-je loupé une solution plus simple / rapide / propre ? Olivier B.

2 3

Analyse des logs PHP
by frantishrek 28 Jul '10

28 Jul '10

Bonjour, Je fais du dev et m'occupe d'une petite infra (5 serveurs) web pour des applis de ma boîte (environ 5000 visiteurs uniques/jour) hébergées par notre hébergeur. J'aimerais avoir votre retour d'expérience sur l'analyse des logs PHP. Je cherche une solution qui : - me permette d'être alertée des erreurs des scripts PHP - des fréquences des différentes erreurs - si possible avec la pile d'exécution (backtrace) - si possible avec l'URL de la page incriminée - si possible avec les variables de session, post, get, ... L'objectif est d'être prévenu des problèmes survenant sur la prod et de les transmettre aux dev (voire alimentation automatique du bug tracker). Nous utilisons pour le moment Zend_Platform qui propose ces fonctionnalités. Nous sommes pleinement satisfaits de la partie monitoring des erreurs PHP (possibilité d'être alertée par mail, interface d'administration qui permet de visualiser la fréquence des erreurs, ...) mais pas du packaging du produit. Le produit est assez fermé. Les extensions sont celles de Zend. Les hébergeurs connaissent mal le produit, nous avons parfois des problèmes de stabilité du produit. On est en train de migrer sur Zend_Server mais on rencontre les mêmes problèmes. Vu le coût des solutions Zend, j'aimerais bien trouver une solution un peu moins chère et un peu moins exotique (remplacement des extensions de Zend par les extensions reconnues, type APC, xdebug,...). J'ai regardé un peu du côté de Logwatch avec un agent PHP. Cela répond à une partie du problème mais l'analyse des erreurs est moins fine (pas l'url posant problème, pas la pile d'exécution - backtrace -, ...). Il existe bien des alternatives Open Source comme Pinba (www.pinba.org) ou APM (http://code.google.com/p/peclapm/) mais le développement semble arrêté. Et vous ? Quelle solution avez-vous mis en place pour monitorer PHP ? Je suis curieux de savoir comment est traité cette question sur de grosses plate-formes genre site de médias, facebook, ... ? Je vous remercie pour vos retours. Bonne journée, frantishrek

6 19

Retours d'expérience cloud ?
by JF Bustarret 28 Jul '10

28 Jul '10

Est-ce qu'il y en a parmi vous qui font tourner leur site web "dans le nuage" (en mode PaaS) ? Je serai curieux d'avoir des retours, notamment sur tout ce qui concerne load-balancing (à part chez Amazon, je ne vois pas d'offre très convaincante sur le papier) et les conf HA/cluster/etc... JFB

2 5

Serveurs gratuits (?) jusqu'au 31 aout
by frsag＠webmail.fr 27 Jul '10

27 Jul '10

Bonjour, On viens de me filer ce lien : http://msdn.microsoft.com/fr-fr/maplateformeweb.aspx Si je copy/paste : /5 000 serveurs tout équipés gratuits* jusqu'au 31 août 2010 pour découvrir et développer des applications sur le web avec des pas à pas disponibles pour vous aider !/ Quelqu'un était au courant de la chose ? Quelqu'un à déjà testé ? Un retour ? Si dans le futur vous rencontrez une offre similaire au détour du web ... n'hésitez pas à partager l'information ! - Nothing / Florian

3 2

Recherche hébergeur suisse
by romain vernet 26 Jul '10

26 Jul '10

Bonjour Je suis à la recherche d'un hébergeur Suisse autre que infomaniak qui nous permettrait de faire du housing, car à ma connaissance, infomaniak ne le permait pas Merci pour vos réponses Romain

2 2

Structure pour un service de stockage de médias
by Sky Gunning 23 Jul '10

23 Jul '10

Bonjour à tous, Je doit réfléchir à la structure pour un service de stockage de médias. Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys... Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage. En sachant que la génération des miniatures (avec ImageMagick) demande pas mal de ressource. Peut être un serveur qui gère cela de façon indépendante serai aussi pas mal. Vous avez des conseils sur comment gérer le côté réparation ? Merci :) Sky_G

13 20

Re: [FRsaG] Lot FRsaG, Vol 1, Parution 43
by Mehdi Badreddine 23 Jul '10

23 Jul '10

> > Message: 2 > Date: Thu, 22 Jul 2010 16:39:36 +0200 > From: Greg <greg-frsag(a)duchatelet.net> > To: frsag(a)frsag.org > Subject: Re: [FRsaG] Structure pour un service de stockage de médias > Message-ID: <4C485828.6010208(a)duchatelet.net> > Content-Type: text/plain; charset=ISO-8859-1; format=flowed > > Bonjour Pierre-Henry ;) > > > De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de > problème notamment des non reconnection du point de montage aux serveurs > > ou des fichiers corrompu. > > +1 > > > Entre les deux et c'est ce que j'ai choisi, tu as MogileFS, ce n'est pas > un filesysteme posix ce qui est un peu dommage mais > > le fait est qu'y accéder par une api sur un canal http facilite la > vitesse. > > Pour moi la rolls sur la papier c'est Ceph : http://ceph.newdream.net/ > Ca roule en kernel space (pas de fuse). > Dommage que ce soit encore en beta et qu'il soit nécessaire d'avoir le > kernel 2.6.34, sinon je le mettrais en place tout de suite. > L'année prochaine ou 2012, je passe mon NFSv4 avec SAN dessus. Voir > avant si j'ai du temps pour mettre en place une plateforme de test. > > -- > Greg > Hello, Concernant ceph, ça a l'air intéressant. Quelqu'un a-t-il déjà testé ? Mehdi

1 0

Synchro en masse
by Burps Burps 22 Jul '10

22 Jul '10

Bonjour la liste, Ya un thread en cours qui m'a fait penser que vous pourriez peut-etre m'aider sur une problematique que j'ai. Mise en situation : un SAN d'environ 250 To, plusieurs milliards de fichiers, dont une bonne partie change quotidiennement (environ 20-30 To). Projet : migrer le SAN (d'un fabricant X) vers un nouveau SAN (fabricant Y), sans interrompre la prod. La solution la moins pourrie à laquelle on a réfléchi jusque la, c'est : - un premier "cp", bien bourrin, qui va prendre plusieurs jours vraisemblablement - suivi de plusieurs rsync, ou des "rsync par morceaux" (on rsync un "repertoire", puis on previent l'applicatif "attention, tes données sont sur le nouveau SAN"). Mais bon, on a peur avec le rsync qu'il prenne des plombes, et qu'entre le scan des repertoire et la copie réelle, yait eu du mouvement, etc... Sachant que c'est une "one-time operation", pas besoin de rester sur la durée, auriez-vous de bonnes idées à me soumettre ? Merci d'avance. Burps -- You Rock! Your E-Mail Should Too! Signup Now at Rock.com and get 2GB of Storage! http://connections.rock.com/user/displayUserRegisterPage.kickAction?as=1167…

8 8

Synchro inotify+rsync
by Dominique Rousseau 22 Jul '10

22 Jul '10

Le Thu, Jul 22, 2010 at 04:01:12PM +0200, Bedis 9 [bedis9(a)gmail.com] a écrit: > > Csync2 et Rsync ont leur limite .... > > > > > C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes > les 5 minutes va te prendre du temps ;) > > Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux > fichiers à la fin de chaque écriture. A ce sujet, quelqu'un a des retours d'expérience sur une solution couplant inotify et rsync (ou similaire), pour une synchro de stockage de mails (donc en millions de fichiers) ? J'ai plus ou moins repéré, sans les tester, encore lsyncd et openduckbill (au départ, j'étais parti à en coder un, mais pour une fois, j'ai googlé avant :-) http://code.google.com/p/lsyncd/ http://code.google.com/p/openduckbill/ -- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 50, rue Riolan 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop

3 5