La konduto de la roboto “memkompreneble” estas nun fine tiel ŝanĝita, ke ĝi obeas la ekskludajn regulojn de la robots.txt-standardo. Evidentiĝis, ke la aliro al multaj araneaj kaptiloj jam estas barita per tiaj ekskludaj reguloj.
La robots.txt-dosieroj de 6913 serviloj estas elŝutitaj ĝis nun, kaj ŝajnas ke 5255 el ili enhavas regulojn kiuj koncernas la roboton “memkompreneble” (ĉar ili verŝajne koncernas ĉiun roboton * …), tio egalas al ĉirkaŭ 76%.
La dataoj ricevitaj el la antaŭa araneado sen ĝentilecoobeado do ne fariĝos publike alireblaj, almenaŭ ne sen forfiltrado de malpermesitaj adresoj.
Cetere, la serĉado nun inkluzivas pliajn ligilojn. Antaŭe nur adresoj enhavantaj la signosekvojn “eo” aŭ “esp” aŭ “esperant” estis konsideritaj, sed nun la listo de permesoj enhavas multajn pliajn esprimojn kiuj ankaŭ trafas ne-esperantajn paĝojn kelkfoje. Por doni ekzemplojn: “lingv”, “ekze”, “kaj”, “internac”, “ejo”, “ujo”, ktp. Aldone, la ligilselekta strategio nun ankaŭ konsideras ĉiujn ligilojn en certa klak-distanco ĉirkaŭ tiaj esperant-aspektaj adresoj.
memkompreneble 