You are hereMonthly archive / Augustus 2009

Augustus 2009


Mbox mailboxen omzetten naar Maildir

Ik gebruik Dovecot met maildir, en heel af en toe moet ik eens een mbox-bestand herverwerken zodat de mail op de juiste plaats beland:

 formail -b -s procmail -m ~/.procmailrc < $mailfile

waarbij $mailfile in mbox-formaat is.

 

Meer info hier.

URL Icon is een traffiekvretertje

Het was me al opgevallen dat de server veel traffiek trekt. Abnormaal veel.
In cijfers:

$ vnstat -m

 eth0  /  monthly

   month         rx      |      tx      |   total
-------------------------+--------------+--------------------------------------
  Jun '09      38.69 GB  |     1.33 GB  |    40.02 GB   %%
  Jul '09     337.14 GB  |    43.20 GB  |   380.34 GB   %%%%%%%%%%%%%%%%%%%%::
  Aug '09      17.33 GB  |     4.47 GB  |    21.80 GB   %
-------------------------+--------------+--------------------------------------
 estimated     95.51 GB  |    24.66 GB  |   120.17 GB

amedee@intrepid:~$ vnstat -w

        eth0  /  weekly

                            rx      |       tx      |    total
        ----------------------------+---------------+--------------
          last 7 days     32.93 GB  |      5.02 GB  |     37.95 GB
            last week     69.42 GB  |      4.25 GB  |     73.67 GB
         current week      2.62 GB  |      3.56 GB  |      6.19 GB
        ----------------------------+---------------+--------------
            estimated      5.06 GB  |      6.88 GB  |     11.95 GB

$ vnstat -d

 eth0  /  daily

    day         rx      |     tx      |  total
------------------------+-------------+----------------------------------------
   08.07.      8.04 GB  |  348.55 MB  |    8.38 GB   %%%%%
   09.07.     10.58 GB  |  389.05 MB  |   10.96 GB   %%%%%%%
   10.07.     19.15 GB  |   17.26 GB  |   36.41 GB   %%%%%%%%%%%%%::::::::::::
   11.07.     14.92 GB  |    3.34 GB  |   18.26 GB   %%%%%%%%%%::
   12.07.     13.91 GB  |    2.23 GB  |   16.14 GB   %%%%%%%%%::
   13.07.     14.42 GB  |    2.08 GB  |   16.50 GB   %%%%%%%%%%:
   14.07.     20.49 GB  |    1.50 GB  |   21.99 GB   %%%%%%%%%%%%%%:
   15.07.     16.14 GB  |    1.61 GB  |   17.76 GB   %%%%%%%%%%%:
   16.07.     14.86 GB  |    1.10 GB  |   15.96 GB   %%%%%%%%%:
   17.07.     17.26 GB  |    1.20 GB  |   18.46 GB   %%%%%%%%%%%:
   18.07.     13.49 GB  |    1.26 GB  |   14.74 GB   %%%%%%%%%:
   19.07.     12.97 GB  |  980.82 MB  |   13.93 GB   %%%%%%%%:
   20.07.     13.81 GB  |    1.01 GB  |   14.82 GB   %%%%%%%%%:
   21.07.      8.44 GB  |  704.84 MB  |    9.13 GB   %%%%%%
   22.07.     10.88 GB  |    0.99 GB  |   11.86 GB   %%%%%%%:
   23.07.      9.01 GB  |  980.68 MB  |    9.97 GB   %%%%%:
   24.07.      7.39 GB  |  583.17 MB  |    7.96 GB   %%%%%
   25.07.      6.23 GB  |  484.04 MB  |    6.70 GB   %%%%
   26.07.      8.19 GB  |  395.95 MB  |    8.58 GB   %%%%%
   27.07.     12.87 GB  |  883.55 MB  |   13.73 GB   %%%%%%%%:
   28.07.      8.83 GB  |  762.62 MB  |    9.57 GB   %%%%%%
   29.07.      8.65 GB  |  631.73 MB  |    9.27 GB   %%%%%%
   30.07.      8.76 GB  |  587.09 MB  |    9.34 GB   %%%%%%
   31.07.     15.60 GB  |  558.70 MB  |   16.15 GB   %%%%%%%%%%%
   01.08.     13.45 GB  |  606.42 MB  |   14.05 GB   %%%%%%%%%
   02.08.      1.25 GB  |  326.41 MB  |    1.57 GB   %
   03.08.    130.79 MB  |  410.80 MB  |  541.59 MB
   04.08.    143.49 MB  |  414.06 MB  |  557.55 MB
   05.08.      2.28 GB  |    2.50 GB  |    4.78 GB   %::
   06.08.     33.89 MB  |  134.54 MB  |  168.43 MB
------------------------+-------------+----------------------------------------
 estimated       69 MB  |     280 MB  |     349 MB

amedee@intrepid:~$ vnstat -t

 eth0  /  top 10

   #       day         rx      |     tx      |  total
-------------------------------+-------------+---------------------------------
   1    10.07.09     19.15 GB  |   17.26 GB  |   36.41 GB   %%%%%%%%%:::::::::
   2    14.07.09     20.49 GB  |    1.50 GB  |   21.99 GB   %%%%%%%%%:
   3    17.07.09     17.26 GB  |    1.20 GB  |   18.46 GB   %%%%%%%%:
   4    11.07.09     14.92 GB  |    3.34 GB  |   18.26 GB   %%%%%%%::
   5    15.07.09     16.14 GB  |    1.61 GB  |   17.76 GB   %%%%%%%:
   6    13.07.09     14.42 GB  |    2.08 GB  |   16.50 GB   %%%%%%%:
   7    31.07.09     15.60 GB  |  558.70 MB  |   16.15 GB   %%%%%%%
   8    12.07.09     13.91 GB  |    2.23 GB  |   16.14 GB   %%%%%%:
   9    16.07.09     14.86 GB  |    1.10 GB  |   15.96 GB   %%%%%%%
  10    20.07.09     13.81 GB  |    1.01 GB  |   14.82 GB   %%%%%%%
-------------------------------+-------------+---------------------------------

Het is zeker niet omdat de foutparkeerders website zo populair is, want die is maar op 10 juli opgepikt door de pers, en de traffiek was er daarvoor ook al.

Ik heb er aanvankelijk niet veel aandacht aan besteed omdat de server er voor de rest blijkbaar niet veel last van had. Tot ik een mailtje kreeg van Luc dat hij traffiekwaarschuwingen begon te krijgen van Hetzner. Oeps, sorry Luc!

Na advies van een aantal mensen (op Facebook, Twitter, mailinglijsten) heb ik iptraf en ntop geïnstalleerd. Iptraf om live de traffiek op te volgen, ntop om het wat meer in detail te bekijken. Het was nog niet onmiddelijk duidelijk waar het probleem zat, maar het viel me wel op dat er enorm veel inkomend http-verkeer was van 193.190.67.15, beter bekend als http://ftp.belnet.be/
Als noodmaatregel heb ik dan maar 193.190.67.15 geblacklist in shorewall.

Ondertussen heeft Luc, die de Dom0 van de server beheert, een capture gemaakt van het netwerkverkeer (pcap). Na 1 uur was de dumpfile al 700 MB groot!
Een eerste voorlopige analyse bevestigt dat 193.190.67.15 voor veel verkeer zorgt:

Address,Port,Packets,Bytes,Tx Packets,Tx Bytes,Rx Packets,Rx Bytes
193.190.67.15,http,679101,696498644,452050,684235136,227051,12263508
188.40.34.110,hbci,88540,13756794,44074,6047109,44466,7709685
188.40.34.110,33667,117284,119561882,39723,2145218,77561,117416664
188.40.34.110,42873,116327,119298488,38899,2100722,77428,117197766
188.40.34.110,35777,115051,117747404,38648,2087168,76403,115660236
188.40.34.110,53186,114977,117801752,38539,2081282,76438,115720470
188.40.34.110,42862,113661,117683704,37249,2011622,76412,115672082
188.40.34.110,55430,101585,104311484,33885,1829966,67700,102481518
188.40.34.110,http,21232,19113987,13408,18174489,7824,939498
188.40.34.110,ssh,17563,4497320,11394,4047532,6169,449788
...

Volgende fase: analyse in Wireshark.
Nog in detail te schrijven, maar daaruit bleek dat de grote traffiek gepaard ging met een http-request vanuit mijn blog naar Belnet. Unk? Iets in Drupal?

Volgende stap: nie moeilijk doen, gewoon in de raw data van de database van Drupal kijken:

intrepid:~# strings /var/lib/mysql/drupal6/* | grep belnet | sort | uniq -c | sort -gr | head
   1765 Could not find favicon for URL <em>http://ftp.belnet.be/mirror/ubuntu.com/releases/8.10/</em> in metatags, trying webroot.
    168 Could not find favicon for URL <em>http://ftp.belnet.be/mirror/ubuntu.com/releases/8.10/ubuntu-8.10-mid-lpia.img</em> in metatags, trying webroot.

Favicon? Een Ubuntu ISO? Dat kan alleen maar van deze blogpost komen. Wat blijkt: de Drupal module URL Icon, die vóór links naar externe sites een mooi favicon zet, trekt alle externe links binnen. ALLE. Dus ook die naar een ISO van 700 MB. Hargl.

Oplossing: uninstall van URL Icon en een bug gefileerd. Case closed.

10 mobile internet applicaties die nog niet bestaan voor mijn Nokia gsm

Afgelopen vrijdag nodigde Mobile Vikings een aantal van haar "early adopters" uit om mee na te denken hoe mobiel internet in het algemeen beter van de grond kan komen in België.

Ik wil mijn steentje bijdragen met deze lijst van 10 willekeurige mobile internet applicaties die nog niet bestaan (of als ze bestaan, zijn ze onvoldoende bekend) en die voor mij persoonlijk dé killer-apps voor mobiel internet kunnen betekenen, of die toch op z'n minst handig of leuk zouden zijn.

Ik neem hierbij mijn eigen gsm als referentie: een Nokia 6680, met 1.3 Mpx camera en bluetooth.

  1. Online eten bestellen

    Je gsm "weet" waar je bent (hetzij door GPS, hetzij door de cell waarin je je bevindt) en geeft je een lijst van zaken waar je pizza, pita, chinees,... kunt laten bestellen en leveren; binnen een straal van x km, ofwel op basis van hun leveringsgebied. Je kan via die mobiele applicatie ook direct betalen.

  2. Openbaar vervoer

    Een totale integratie van het aanbod van de NMBS en De Lijn. Eventueel aangevuld met taxi's. Via iets Google Maps-achtig duid ik aan waar ik moet zijn (de gsm weet al waar ik ben) en ik krijg een keuze van alle mogelijke manieren om er te geraken. Ik kan kiezen tussen kortste tijd, kortste afstand, minste overstappen, laagste prijs. Ik kan ook direct het volledige traject betalen.
    Wat dan echt wel kewl zou zijn: ik zwaai even met m'n gsm aan de deur van de trein of de bus, en via bluetooth is mijn ticket in orde.
    Dat je sinds kort je e-ID als treinticket kan gebruiken, vind ik hier complementair aan. Het zou trouwens handig zijn mocht de volgende generatie van de e-ID met een contactloze chip werken, en dat je die dan met je gsm kan uitlezen.

  3. Een SMS-vervanger

    SMS is momenteel nog altijd de belangrijkste toepassing van een gsm, misschien zelfs belangrijker dan het bellen zelf. Korte berichtjes zijn in sommige omstandigheden nu eenmaal gemakkelijker. Wat we nodig hebben, is een SMS-killer voor mobiel internet. Dat kan iets MSN- of Jabber-achtig zijn, of misschien iets gebaseerd op Twitter DM's. Het probleem nu is alleen dat je daar nog een aparte MSN, Jabber of Twitter account voor nodig hebt.
    Zo'n text message toepassing moet even gemakkelijk in gebruik zijn als SMS nu. Het moet liefst ook achterwaarts compatibel zijn met SMS, dus via een of andere gateway als je een bericht stuurt naar een gsm zonder mobiel internet.

  4. Cafégids

    Ik ga een avondje stappen met vrienden in een stad waar ik nog niet veel geweest ben, en ik krijg een lijst met interessante horecazaken, gebaseerd op mijn voorkeuren (bruine kroeg, cocktailbar, danscafé,...) mét aanbevelingen van bezoekers. Uiteraard kan ik zelf ook mijn commentaren achterlaten.
    Dit kan uiteraard ook uitgebreid worden met een restaurantgids, museumgids,...

  5. Happenr.com

    Bestaat daar ook een mobiele versie van? Een die ook werkt op een Nokia 6680, dus niet alleen op een iBerry?

  6. Prijsvergelijking

    Ik neem een foto van de barcode (of QR-code?) van een product dat ik in een winkelrek zie staan, en ik krijg een prijsvergelijking met hetzelfde product in andere winkels, of met gelijkaardige producten. Ik kan ook besprekingen van het product bekijken.

  7. Cinema

    Ik heb nog geen enkele website gevonden waarvan de mobiele versie bruikbaar is om met mijn Nokia 6680 te bekijken wat ze momenteel spelen in de dichtstbijzijnde cinema. En als het dan nog even kan, om meteen online tickets te reserveren/betalen. O ja, liefst niet alleen de Kinepolis-groep want daar kom ik nooit.

  8. Wat eten we vandaag?

    Ik trek de ijskast open, ik neem foto's van de barcodes op de producten, en de toepassing doet mij een voorstel van mogelijke gerechten. Of het geeft mij een boodschappenlijstje voor een bepaald gerecht. Dat veronderstelt wel dat alle voedsel een barcode (of QR-code?) heeft dus ik moet dat liefst nog handmatig kunnen aanvullen met verse produkten.

  9. Hoe heet dat liedje ook alweer?

    Je hoort een fragment van een liedje op de radio, maar je kent de titel of de uitvoerder niet. Je neuriet een fragment van het liedje in je gsm, en die gaat op zoek op internet. Eventueel kan je het dan online aankopen. (Hallo Apple? Ideetje voor jullie Itunes?)

  10. Kaartjes of bonnekes?

    Ik wil die papieren en plastic rommel niet meer meezeulen. Staat er een kortingsbon in een tijdschrift, dan zetten ze daar een QR-code bij. Ik neem een foto van de QR-code, ik ga naar de winkel, en via bluetooth weten ze dat ik recht heb op de korting.
    Wil ik een klantenkaart van een bepaalde winkel? Sure, ik bevestig het bericht dat ik in de winkel krijg. Ik kan ten allen tijde online nakijken hoeveel punten er op mijn klantenkaart staan. De volgende keer dat ik in de winkel kom, moet ik maar even op een knop drukken om te bevestigen, en mijn aankoop staat mee op de klantenkaart.

Heb je nog andere suggesties? Of bestaan deze toepassingen wel al, alleen nog niet voor de Nokia 6680? Laat het weten in de comments.

Hoe lang moet jij werken voor je JesusPhone?

Ik wil eventjes enkele heilige huisjes en taboes omver schoppen, namelijk die van de telefoons als statussymbool. Als ik mensen met hun iPhone of BlackBerry aan het showen zijn, dan vraag ik me regelmatig af waar zij het geld vandaan halen om zich ieder jaar het nieuwste model aan te schaffen. Hebben die dan geen andere kosten zoals elektriciteit, verwarming, eten, kledij, huur of lening,... ?

Twitterbot

Sinds kort heeft deze server ook zijn eigen Twitter account: @intrepid_server. Tot nu toe doet hij nog niet veel meer dan af en toe een fortune cookie in de wereld te gooien:
<?php
include_once "twitter.php";
include_once "user.php";
$data = shell_exec('/usr/games/fortune -s -n 140 bofh-excuses');
$twi_user->updateStatus($data);
?>
of hij laat zijn uptime weten:
<?php
include_once "twitter.php";
include_once "user.php";
$data = shell_exec('/usr/bin/uptime');
$twi_user->updateStatus($data);
?>
Op het einde van de dagelijkse backup laat hij ook van zich horen:
<?php
include_once "twitter.php";
include_once "user.php";
$data = shell_exec('/usr/sbin/backup2l -s | tail -n 4 | head -n 1 | cut -f 2 -d "|" | sed "s/ //g"');
$twi_user->updateStatus("just made a ".$data." backup.");
?>
De inhoud van user.php:
<?php
$twi_user = new Twitter("intrepid_server","password");
?>
Al deze kleine maar fijne scriptjes maken gebruik van de schitterende PHP Twitter class van @tijsverkoyen. Meer scriptjes volgen later!

Reclame... ;-)

Met dank aan
  • Jasmina
  • Celine
  • Pieter
  • Jeff
  • Hans
  • Jurgen
  • Jurgen
  • Marijke
  • Amedee
  • Erik
  • Danny
  • Sofie
  • Lars
  • Christophe
  • Peter
  • Jeroen
  • Jurgen
om mij een gratis herlading twv €15 te bezorgen!

Waar ben ik?