memkompreneble

"Ekde kiam homoj la unuan fojon forlasis siajn kavernojn kaj renkontis aliulojn kun aliaj vidpunktoj kaj aliaj lingvoj ekzistas revo: mortigi ilin, por ke ni ne devu lerni ilian lingvon nek kompreni ilian vidpunkton." – citaĵo el la filmo "The Beast With a Billion Backs" de la usona tv-serio Futuramo – tiu ŝerco evidente celas al esperanto, ĉar en la sama filmo oni ankaŭ proponas senseksajn pronomojn "shklim" kaj "shkler" por la angla

dokumentkvantoj laŭ retejoj 2010-02-19

Filed under: neenkategoriigitaj — memkompreneble @ 12:12

Kiel menciita en la antaŭa blogero pri dns-resolvado, la ĝisnuna robotado liveris troan kvanton da multoblaĵoj. Por starigi novan kolekton, la araneaj politikoj de selektado kaj revizitado estas iomete ŝanĝitaj, kaj la iloj por produkti aŭtomatajn raportojn pri la tekstaro ankaŭ bezonas denove atenton ĉar la datumbazo estas refarita. La unua riparita raportilo estas la sekva, skribita en sql:

  SELECT s.dns_ip,
    t.autoritato,
    COUNT(*) AS `dokumentoj`
  FROM tab_dns s,
    tab_autoritato t,
    tab_url u,
    tab_dokumentoj v
  WHERE NOT s.dns_ip = 'null'
    AND s.dns_id = t.dns_id
    AND v.url_id = u.url_id
    AND u.autoritato_id = t.autoritato_id
  GROUP BY dns_ip,
    autoritato
  ORDER BY autoritato asc

Tio liveras la kvanton da dokumentoj por ĉiu retejo, ordigita laŭ alfabeta sinsekvo de la autoritato, do laŭ la nomo de la retejo. “SELECT COUNT(*) FROM TAB_DOKUMENTOJ” diras al mi ke nun estas sume 19699 dokumentoj kolektitaj per la nova strategio. (Jes ja, ĝi estas treege malrapida, sed kion fari.) Kaj la rezulto de la supre videbla sql-esprimo estas la sekva tabelo kun 668 retejoj, kiujn mi simple donas ĉi tie por montri etan progreson. Sub la tabelo venas aldonaj klarigoj.

dns_ip autoritato dokumentoj
1 74.6.239.67 74.6.239.67 1
2 195.225.239.55 8ung.at 5
3 72.21.206.133 a9.com 2
4 82.98.86.162 abonu.com 1
5 217.110.110.231 ad.zanox.com 1
6 87.248.109.251 add.my.yahoo.com 1
7 74.54.78.50 aea.esperanto.org.au 1
8 87.229.73.20 agei.esperanto-urbo.de 46
9 204.13.164.86 agitacion.entodaspartes.net 1
10 208.94.116.4 akademio-de-esperanto.org 115
11 69.89.31.79 ameriko.org 170
12 69.147.100.227 answers.yahoo.com 2
13 66.196.85.48 ar.groups.yahoo.com 2
14 194.9.95.14 arkitakt.com 34
15 212.27.63.108 arrasesperanto.free.fr 37
16 194.50.60.70 asso.proxiland.fr 6
17 212.27.63.124 assosdelapepiniere.free.fr 1
18 131.234.234.10 asta.upb.de 1
19 212.27.63.141 axel584.free.fr 3
20 128.223.42.54 babel.uoregon.edu 1
21 84.201.57.253 bavara-esperanto-ligo.de 2
22 209.85.129.191 becxjo.blogspot.com 2
23 209.85.129.191 bendisplanet.blogspot.com 8
24 195.8.215.139 betaplayer.dailymotion.com 2
25 193.189.143.219 blogmarks.net 1
26 212.27.63.123 boliviainti.free.fr 10
27 209.73.186.205 bookmarks.yahoo.com 1
28 212.27.63.146 boulogne2005.online.fr 1
29 88.198.20.22 brasil.indymedia.org 141
30 85.10.194.131 browse.dict.cc 2
31 209.85.129.191 chejo.blogspot.com 1
32 212.27.63.105 claudepiron.free.fr 1
33 195.189.236.22 clic.reussissonsensemble.fr 1
34 66.196.85.48 clubs.yahoo.com 1
35 72.32.1.39 clusty.com 1
36 208.93.0.128 community.livejournal.com 2
37 74.220.203.52 cursodeesperanto.com.br 1
38 66.196.85.48 de.groups.yahoo.com 155
39 76.13.6.175 del.icio.us 1
40 192.220.66.88 donh.best.vwh.net 1
41 212.27.63.145 dunkerque.esperanto.free.fr 13
42 74.125.39.191 ecoutevoir.blogspot.com 2
43 174.129.239.28 education.change.org 1
44 69.55.231.167 emozaika.info 7
45 69.55.231.167 en.lernu.net 1
46 78.46.95.2 eo.esperanto.pl 18
47 151.189.12.245 eo.i18n.kde.org 1
48 69.55.231.167 eo.lernu.net 32
49 217.24.84.51 eo.mondediplo.com 26
50 204.16.104.2 eo.openoffice.org 1
51 91.198.174.2 eo.wikibooks.org 11
52 91.198.174.2 eo.wikipedia.org 38
53 91.198.174.2 eo.wiktionary.org 1
54 63.245.209.106 eo.www.mozilla.com 1
55 81.169.145.72 erlangen.esperanto-bayern.de 3
56 82.208.46.3 esono.esperanto.sk 1
57 82.165.58.88 esperanto-bibliothek.gmxhome.de 1
58 199.34.228.99 esperanto-brugge.weebly.com 1
59 80.237.219.46 esperanto-butiko.spreadshirt.de 7
60 88.221.50.208 esperanto-butiko.spreadshirt.net 10
61 209.62.67.162 esperanto-ct.org 1
62 74.86.234.149 esperanto-edmonton.wikidot.com 2
63 205.251.129.242 esperanto-forum.net 2
64 89.31.143.1 esperanto-info.net 1
65 91.121.139.57 esperanto-jeunes.org 113
66 80.69.93.212 esperanto-jongeren.nl 2
67 78.46.238.113 esperanto-karlsruhe.de 1
68 195.114.18.99 esperanto-lehavre.org 2
69 67.220.225.20 esperanto-mexico.org 1
70 69.89.31.79 esperanto-montreal.org 1
71 81.4.97.192 esperanto-nederland.nl 1
72 209.202.252.50 esperanto-nj.tripod.com 1
73 195.5.163.210 esperanto-oefenen.noviomagum.com 1
74 80.67.160.70 esperanto-panorama.net 217
75 98.124.198.1 esperanto-radio.net 1
76 88.198.120.193 esperanto-reto.org 1
77 193.200.139.189 esperanto-sat.info 2
78 81.169.145.73 esperanto-stelle.esocom.de 1
79 74.220.215.203 esperanto-tv.com 5
80 87.229.73.20 esperanto-urbo.de 69
81 38.113.1.151 esperanto-usa.org 476
82 62.146.3.166 esperanto-vs.blog.de 192
83 212.27.63.165 esperanto.24.free.fr 2
84 212.30.113.197 esperanto.alsacelorraine.neuf.fr 1
85 88.86.104.20 esperanto.blahus.cz 24
86 217.146.130.194 esperanto.bnv-bamberg.de 2
87 188.40.53.86 esperanto.bplaced.net 278
88 212.27.63.165 esperanto.bretonio.free.fr 30
89 69.55.231.167 esperanto.ca 1
90 195.160.191.15 esperanto.ch 19
91 123.214.172.24 esperanto.chojus.com 1
92 64.22.107.82 esperanto.cl 95
93 90.156.150.163 esperanto.com 16
94 216.108.235.73 esperanto.comli.com 5
95 65.255.46.254 esperanto.cri.cn 1
96 88.80.198.169 esperanto.de 36
97 89.234.64.47 esperanto.digiweb.com 1
98 64.95.64.198 esperanto.dragonfire.net 1
99 195.3.146.13 esperanto.eclub.lv 1
100 188.40.70.45 esperanto.eu.tt 1
101 81.17.195.200 esperanto.fi 1
102 94.100.116.215 esperanto.hyves.nl 1
103 78.137.164.72 esperanto.ie 6
104 212.27.63.137 esperanto.instituto.free.fr 1
105 212.27.63.140 esperanto.instituto2.free.fr 11
106 65.182.101.60 esperanto.jubilo.ca 1
107 212.227.244.113 esperanto.kultur-gut-wrechen.de 2
108 128.151.231.14 esperanto.lodestone.org 207
109 212.27.63.148 esperanto.loiret.free.fr 11
110 116.126.142.88 esperanto.lt 6
111 195.20.15.131 esperanto.marseille.over-blog.com 36
112 64.69.74.171 esperanto.memlink.ca 3
113 198.63.48.69 esperanto.net 34
114 110.45.144.162 esperanto.new21.org 1
115 82.204.219.135 esperanto.nm.ru 1
116 213.13.145.4 esperanto.no.sapo.pt 1
117 212.27.63.148 esperanto.noeux.free.fr 8
118 212.27.63.129 esperanto.nord.online.fr 23
119 194.9.94.153 esperanto.nu 4
120 64.13.153.236 esperanto.org 137
121 200.58.112.238 esperanto.org.ar 1
122 164.73.248.17 esperanto.org.uy 1
123 216.245.205.123 esperanto.orgfree.com 52
124 62.69.184.141 esperanto.pagina.nl 1
125 83.96.153.180 esperanto.paginamail.nl 2
126 82.98.86.177 esperanto.persianblog.com 1
127 78.46.95.2 esperanto.pl 2
128 64.71.152.157 esperanto.pt 1
129 69.89.31.79 esperanto.qc.ca 8
130 212.27.63.157 esperanto.rennes.free.fr 1
131 207.13.197.161 esperanto.sorren.com 1
132 83.175.70.3 esperanto.startblatt.at 63
133 62.69.179.240 esperanto.startpagina.nl 10
134 212.27.63.142 esperanto.toulouse.free.fr 99
135 74.50.54.7 esperanto.typeit.org 1
136 131.234.25.42 esperanto.uni-paderborn.de 7
137 201.72.253.178 esperanto.utopia.com.br 2
138 194.169.125.111 esperanto.web.pt 7
139 38.102.136.104 esperanto.wunderground.com 13
140 212.27.63.120 esperanto10.free.fr 11
141 94.75.211.134 esperanto3000.be 1
142 213.186.33.48 esperanto94.info 23
143 74.200.243.253 esperantocardiff.wordpress.com 1
144 76.74.254.123 esperantocl.wordpress.com 1
145 212.27.63.155 esperantocotentin.free.fr 8
146 212.27.63.159 esperantoenvendomois.free.fr 12
147 140.211.166.81 esperantofirefox.mozdev.org 1
148 72.167.131.154 esperantofre.com 98
149 82.98.86.169 esperantohouston.org 1
150 72.233.2.58 esperantohr.wordpress.com 1
151 213.186.33.48 esperantoinfo.info 7
152 85.119.155.88 esperantoland.de 1
153 85.119.155.88 esperantoland.org 3
154 209.85.129.191 esperantollandudno2010.blogspot.com 40
155 194.154.164.103 esperantollandudno2010.org.uk 1
156 91.121.54.122 esperantomartigues2008.unblog.fr 1
157 195.144.11.40 esperantomondo.net 1
158 216.8.179.23 esperantonebraska.org 2
159 212.27.63.156 esperantorama.free.fr 1
160 212.27.63.159 esperantostrasbourg.free.fr 1
161 65.55.102.121 esperantourbo.spaces.live.com 2
162 38.113.1.151 esperantousa.hypermart.net 7
163 217.116.46.36 esperantozd.fw.hu 1
164 74.125.39.191 esperantretfilmoj.blogspot.com 46
165 8.6.19.68 esperantujo.ning.com 1
166 194.9.94.153 esperantujo.org 2
167 217.116.46.152 eu-esperanto.inf.hu 2
168 213.131.252.238 europesperanto.multimania.com 2
169 193.142.216.125 extwww.sgfl.org.uk 1
170 80.69.93.212 fabien.galerio.org 1
171 80.67.160.70 fetesperanto.lautre.net 1
172 87.98.239.48 fiskot.info 1
173 69.229.113.77 flag.blackened.net 1
174 209.85.129.191 flankeniru.blogspot.com 1
175 85.17.143.49 forum.esperanto.org.pl 1
176 195.115.180.5 forums.lavoix.com 1
177 212.150.54.150 forums.tapuz.co.il 2
178 217.72.196.45 fotoalbum.web.de 1
179 217.72.196.45 fotos.web.de 1
180 91.121.139.57 francilio.org 8
181 62.104.23.40 freenet-homepage.de 1
182 67.213.209.10 frimmin.com 1
183 63.245.208.138 ftp.mozilla.org 1
184 87.229.73.20 gek-eek.esperanto-urbo.de 18
185 190.0.162.113 geocities.ws 1
186 207.115.101.160 geourl.org 2
187 207.251.60.162 gigablast.com 1
188 209.85.129.191 google-logo-museum.blogspot.com 10
189 66.196.85.48 groups.yahoo.com 58
190 208.94.117.15 h.akademio-de-esperanto.org 97
191 74.125.127.118 herouville.esperanto.googlepages.com 7
192 74.125.39.191 herouvilleesperanto.blogspot.com 1
193 63.245.208.188 hg.mozilla.org 1
194 209.235.144.28 home.btconnect.com 1
195 130.244.197.3 home.swipnet.se 1
196 217.6.164.167 home.t-online.de 1
197 213.75.8.43 home.wxs.nl 1
198 193.88.185.62 home3.inet.tele.dk 2
199 62.67.235.133 ic-herzberg.de 4
200 209.151.94.17 ie.esperanto.org.il 3
201 95.110.226.49 iej.esperanto.it 48
202 69.55.231.167 ikso.net 1
203 91.121.139.57 ikurso.esperanto-jeunes.org 61
204 66.241.66.179 img.lotsasites.com 1
205 209.202.252.50 iran_esperanto.tripod.com 4
206 85.119.155.226 is.esperanto.de 26
207 72.233.2.59 jardar.wordpress.com 2
208 130.226.195.142 javabog.dk 9
209 209.85.129.191 jovenesanarcosindicalistas.blogspot.com 2
210 65.182.101.60 jubilo.ca 2
211 24.144.63.99 ka5nom.mine.nu 2
212 69.89.27.238 kabareto.esperanto.cc 2
213 82.165.74.209 kanaria1973.ido.li 1
214 213.180.199.16 kaz-esperanto.narod.ru 1
215 209.85.129.191 labekbotelo.blogspot.com 9
216 209.85.129.191 lacosastessa.blogspot.com 3
217 212.27.63.165 lang.esperanto.free.fr 1
218 209.85.129.191 languageviews.blogspot.com 1
219 200.58.112.238 laponto.esperanto.org.ar 1
220 62.146.3.174 leresche-esperanto.blog.ca 1
221 74.220.215.203 lingvo.org 5
222 82.195.75.100 lists.debian.org 1
223 204.13.164.132 lists.indymedia.org 37
224 91.121.71.217 lo.st 1
225 217.146.187.123 login.yahoo.com 2
226 195.249.40.175 lsg-esperanto.org 25
227 77.75.58.6 lsj.hautetfort.com 2
228 74.125.39.191 lumpen00.blogspot.com 1
229 62.69.179.240 maakditjeopstart.startpagina.nl 1
230 194.110.201.79 mailxmail.com 1
231 192.109.42.66 me.in-berlin.de 1
232 202.219.63.49 member.nifty.ne.jp 1
233 209.202.252.50 members.tripod.com 5
234 213.131.252.251 membres.lycos.fr 3
235 88.198.20.22 midiaindependente.org 2
236 65.110.21.43 mindprod.com 1
237 213.180.199.14 miresperanto.narod.ru 34
238 74.200.243.253 mojose.wordpress.com 1
239 212.27.63.101 morice.com.free.fr 1
240 212.27.63.152 mulhouse.esperanto.free.fr 5
241 65.55.17.32 my.msn.com 1
242 212.27.63.139 nantes.esperanto.free.fr 8
243 216.239.34.21 news-reader.org 1
244 62.92.112.40 nje.esperanto.no 1
245 217.73.227.40 nsir.esperantoitalia.it 1
246 132.230.132.136 old.uni-freiburg.de 1
247 83.150.83.132 pacujo.net 3
248 193.252.122.52 pagesperso-orange.fr 8
249 212.27.63.111 parlonsesperanto.free.fr 5
250 92.122.216.169 paroleatous.blog.lemonde.fr 1
251 193.252.122.52 perso.orange.fr 2
252 193.252.122.52 perso.wanadoo.fr 7
253 219.94.162.174 playgo.to 3
254 195.245.217.10 polskieradio.pl 1
255 194.36.166.10 ps-esperanto.ouvaton.org 28
256 88.87.192.144 ptero.valldager.com 1
257 193.198.184.100 public.carnet.hr 49
258 204.13.161.71 pubman.domainsponsor.com 1
259 161.53.2.69 pubwww.srce.hr 1
260 212.27.63.136 quetigny.esperanto.free.fr 11
261 216.105.40.164 R.webring.com 66
262 91.121.50.69 radio-vatikana-esperanto.org 3
263 66.147.240.193 radioaktiva.esperanto.org.uy 278
264 62.146.3.166 ratzingeronline.blog.de 1
265 212.27.63.137 rcfclarte.esperanto.free.fr 1
266 195.144.64.114 retbutiko.esperanto.be 1
267 194.232.104.67 roi.orf.at 3
268 62.37.237.59 rt00181r.eresmas.net 3
269 212.95.70.229 saint-brieuc.letelegramme.com 1
270 212.27.63.152 satamikarohm.free.fr 9
271 212.27.63.151 satesperanto.free.fr 193
272 193.200.139.189 satesperanto.org 22
273 204.9.178.111 scotach.vox.com 1
274 69.55.231.167 sea.saluton.dk 10
275 64.12.236.132 search.aol.com 1
276 66.235.120.101 search.ask.com 1
277 209.202.254.14 search.lycos.com 1
278 92.123.64.48 search.msn.com 1
279 72.30.186.249 search.yahoo.com 1
280 208.73.210.125 searchportal.information.com 1
281 209.85.129.191 selchile.blogspot.com 1
282 82.208.46.3 skej.esperanto.sk 3
283 75.41.0.58 starling.ws 1
284 217.149.242.98 stat.4u.pl 1
285 64.152.34.204 surf.to 1
286 195.47.247.116 suskeenwiske.ophetwww.net 1
287 91.198.174.2 sw.wikipedia.org 1
288 212.27.63.139 take.esperanto.free.fr 2
289 69.4.224.56 tejo.org 1
290 69.89.22.105 texomaesperanto.org 1
291 216.235.79.202 tile.net 1
292 209.202.252.50 timeliketoons.tripod.com 3
293 164.73.248.17 tradukado.esperanto.org.uy 6
294 88.151.96.4 tsalomon.atw.hu 5
295 88.80.198.169 ttt.esperanto.de 1
296 81.19.232.106 ttt.esperanto.dk 3
297 64.13.153.236 ttt.esperanto.org 945
298 209.151.94.17 ttt.esperanto.org.il 4
299 168.143.161.20 twitter.com 3
300 63.166.124.102 txn.fotolog.com 2
301 80.57.89.121 uea.org 1
302 195.130.132.85 users.pandora.be 6
303 195.238.0.70 users.swing.be 3
304 195.130.132.85 users.telenet.be 1
305 212.124.160.1 users.yubc.net 1
306 128.30.52.70 validator.w3.org 3
307 209.85.129.191 vampirogandalf.blogspot.com 1
308 213.180.128.160 viavento.republika.pl 1
309 130.225.157.208 visl.hum.ou.dk 2
310 130.225.157.208 visl.sdu.dk 1
311 209.85.129.191 vortoj-en-esperanto.blogspot.com 149
312 195.56.189.43 w3.datanet.hu 1
313 92.249.128.135 w3.hdsnet.hu 1
314 195.238.10.74 walloon-esperanto-2-sister-languages.skynetblogs.be 3
315 91.203.59.76 wapedia.mobi 1
316 207.241.227.62 web.archive.org 8
317 193.7.184.20 web289.hoster.ateo.de 4
318 212.27.63.104 webkids.free.fr 1
319 193.145.96.38 webpages.ull.es 10
320 18.85.2.169 wiki.laptop.org 1
321 74.220.207.182 http://www.2009.e-idec.org 1
322 84.16.75.33 http://www.24heures.ch 1
323 195.225.239.55 http://www.8ung.at 1
324 195.77.201.100 http://www.abc-pack.com 1
325 69.64.157.84 http://www.acquirethisname.com 1
326 213.170.56.189 http://www.adn.es 1
327 200.55.129.3 http://www.ain.cubaweb.cu 1
328 80.66.19.12 http://www.ais-sanmarino.org 2
329 208.94.117.40 http://www.akademio-de-esperanto.org 42
330 72.30.186.25 http://www.altavista.com 2
331 87.238.87.37 http://www.amazon.fr 1
332 69.89.31.79 http://www.ameriko.org 2
333 155.187.2.24 http://www.anbg.gov.au 2
334 217.146.69.13 http://www.annaabi.com 1
335 207.241.229.39 http://www.archive.org 2
336 217.64.195.220 http://www.arciesperanto.it 84
337 94.23.44.96 http://www.ausenegal.com 1
338 207.217.125.50 http://www.autodidactproject.org 1
339 216.104.40.218 http://www.ballons-par-millions.com 1
340 195.199.179.234 http://www.banyai-kkt.sulinet.hu 3
341 213.115.221.24 http://www.barcelona-esperanto.elguay.com 1
342 84.201.57.253 http://www.bavara-esperanto-ligo.de 3
343 82.165.119.61 http://www.bavaresperantoinfo.de 738
344 85.25.81.140 http://www.beepworld.de 2
345 80.84.64.29 http://www.bfwtuc.uklinux.net 1
346 62.44.69.197 http://www.birminghammail.net 1
347 124.205.14.10 http://www.bjaaa.com 1
348 62.146.3.166 http://www.blog.de 35
349 212.34.151.152 http://www.blogpocket.com 1
350 203.140.25.91 http://www.bongo.ne.jp 1
351 89.31.143.12 http://www.bruno-groening.de 1
352 213.239.249.187 http://www.bsw24.de 1
353 213.123.20.90 http://www.btinternet.com 6
354 194.38.96.78 http://www.c3.hu 2
355 174.129.239.28 http://www.change.org 1
356 212.27.63.127 http://www.chez.com 7
357 207.123.34.126 http://www.ciudadfutura.com 1
358 203.194.200.22 http://www.corneta.org 1
359 129.16.30.253 http://www.cs.chalmers.se 78
360 147.8.179.15 http://www.cs.hku.hk 10
361 129.79.247.195 http://www.cs.indiana.edu 1
362 130.149.17.4 http://www.cs.tu-berlin.de 1
363 74.220.203.52 http://www.cursodeesperanto.com.br 347
364 66.7.221.11 http://www.cursodeesperanto.org 1
365 82.165.113.168 http://www.cyber-nacktmull.de 1
366 64.46.130.10 http://www.cybercom.net 1
367 61.117.3.129 http://www.d1.dion.ne.jp 24
368 195.8.215.137 http://www.dailymotion.com 9
369 64.111.127.101 http://www.danielclemente.com 1
370 212.204.60.1 http://www.demokratie-spiegel.de 1
371 82.98.86.175 http://www.disvastigo.it 2
372 207.200.81.176 http://www.dmoz.org 2
373 212.95.66.20 http://www.dna.fr 1
374 213.239.198.139 http://www.DownloadCounter.de 1
375 195.228.45.36 http://www.dzstudio.hu 1
376 174.132.98.52 http://www.eatability.com.au 1
377 208.74.209.137 http://www.engcorp.com 1
378 217.160.136.75 http://www.erlangen.notblue.de 2
379 66.241.144.10 http://www.esosoft.com 1
380 209.200.36.66 http://www.esperanto-andalucia.org 1
381 195.144.11.42 http://www.esperanto-angers.fr 5
382 217.116.46.33 http://www.esperanto-balaton.tar.hu 1
383 92.43.97.20 http://www.esperanto-band.com 1
384 81.169.145.73 http://www.esperanto-bayern.com 205
385 81.169.145.72 http://www.esperanto-bayern.de 8
386 82.165.58.88 http://www.esperanto-bibliothek.gmxhome.de 89
387 81.169.145.74 http://www.esperanto-buchversand.de 29
388 81.169.145.70 http://www.esperanto-buergerstiftung.de 16
389 82.165.214.95 http://www.esperanto-butiko.de 6
390 72.167.232.84 http://www.esperanto-chicago.org 3
391 209.62.67.162 http://www.esperanto-ct.org 23
392 217.119.57.22 http://www.esperanto-cursus.tk 1
393 83.220.132.29 http://www.esperanto-dresden.de 2
394 76.162.102.101 http://www.esperanto-es.net 3
395 76.162.102.101 http://www.esperanto-es.org 1
396 82.165.75.1 http://www.esperanto-forchheim.de 27
397 82.197.146.8 http://www.esperanto-frankfurt.de 45
398 84.16.80.138 http://www.esperanto-gacond.ch 64
399 80.82.113.231 http://www.esperanto-gb.org 455
400 195.249.40.175 http://www.esperanto-gbg.org 1
401 84.22.161.186 http://www.esperanto-geneve-regions.info 1
402 81.169.145.71 http://www.esperanto-hamburg.de 8
403 89.31.143.1 http://www.esperanto-info.net 1
404 81.4.97.192 http://www.esperanto-info.nl 2
405 91.121.139.57 http://www.esperanto-jeunes.org 1
406 80.69.93.212 http://www.esperanto-jongeren.nl 19
407 188.40.70.45 http://www.esperanto-kl.de.ms 2
408 38.117.90.29 http://www.esperanto-liberte.com 2
409 212.18.63.105 http://www.esperanto-maribor.si 1
410 67.220.225.20 http://www.esperanto-mexico.org 21
411 69.89.31.79 http://www.esperanto-montreal.org 1
412 87.106.119.172 http://www.esperanto-muenchen.de 124
413 82.165.91.198 http://www.esperanto-nb.de 768
414 209.217.33.166 http://www.esperanto-nc.org 2
415 81.4.97.192 http://www.esperanto-nederland.nl 4
416 217.70.184.38 http://www.esperanto-nord.org 1
417 85.25.64.77 http://www.esperanto-nuernberg.de 422
418 67.205.7.171 http://www.esperanto-nyc.org 9
419 80.67.160.70 http://www.esperanto-panorama.net 23
420 82.165.90.112 http://www.esperanto-pfaffenhofen.de 23
421 95.168.204.204 http://www.esperanto-praha.net 6
422 98.124.198.1 http://www.esperanto-radio.net 1
423 88.198.120.193 http://www.esperanto-reto.org 8
424 62.75.220.179 http://www.esperanto-rlp.de 8
425 193.200.139.189 http://www.esperanto-sat.info 1609
426 82.165.208.23 http://www.esperanto-sh.de 1
427 217.119.58.40 http://www.esperanto-sn.de 1
428 81.169.145.67 http://www.esperanto-stuttgart.de 20
429 88.191.20.248 http://www.esperanto-thionville.ass0.fr 1
430 64.120.157.201 http://www.esperanto-turismo.com 47
431 69.64.147.215 http://www.esperanto-turismo.org 1
432 74.208.22.78 http://www.esperanto-tx.org 1
433 38.113.1.151 http://www.esperanto-usa.org 111
434 82.165.58.20 http://www.esperanto-verband-kurpfalz.de 1
435 62.67.235.134 http://www.esperanto-zentrum.de 1
436 62.75.143.33 http://www.esperanto.at 206
437 195.144.64.114 http://www.esperanto.be 451
438 69.55.231.167 http://www.esperanto.ca 49
439 209.62.67.162 http://www.esperanto.cat 4
440 69.89.27.238 http://www.esperanto.cc 1
441 195.160.191.15 http://www.esperanto.ch 26
442 64.22.107.82 http://www.esperanto.cl 130
443 116.120.57.107 http://www.esperanto.co.kr 8
444 90.156.150.163 http://www.esperanto.com 55
445 81.0.232.136 http://www.esperanto.cz 6
446 213.172.16.20 http://www.esperanto.da.ru 1
447 88.80.198.169 http://www.esperanto.de 1946
448 81.19.232.106 http://www.esperanto.dk 6
449 194.204.43.146 http://www.esperanto.ee 1
450 76.162.102.100 http://www.esperanto.es 2
451 81.17.195.200 http://www.esperanto.fi 34
452 213.251.173.149 http://www.esperanto.fr.st 1
453 95.211.11.75 http://www.esperanto.gr 3
454 195.95.205.110 http://www.esperanto.host.sk 1
455 193.198.184.100 http://www.esperanto.hr 51
456 81.0.67.12 http://www.esperanto.hu 40
457 78.137.164.72 http://www.esperanto.ie 11
458 69.55.231.167 http://www.esperanto.info 167
459 95.110.226.49 http://www.esperanto.it 14
460 85.128.137.51 http://www.esperanto.koszalin.pl 17
461 116.126.142.88 http://www.esperanto.lt 66
462 208.43.234.84 http://www.esperanto.mv.ru 176
463 198.63.48.69 http://www.esperanto.net 395
464 91.205.74.221 http://www.esperanto.net.pl 1
465 217.170.37.134 http://www.esperanto.nl 1
466 129.241.33.86 http://www.esperanto.no 16
467 194.9.94.153 http://www.esperanto.nu 6
468 222.122.139.189 http://www.esperanto.or.kr 25
469 64.13.153.236 http://www.esperanto.org 127
470 200.58.112.238 http://www.esperanto.org.ar 11
471 74.54.78.50 http://www.esperanto.org.au 1
472 69.89.25.183 http://www.esperanto.org.br 7
473 209.151.94.17 http://www.esperanto.org.il 2
474 74.125.43.121 http://www.esperanto.org.np 1
475 204.14.90.25 http://www.esperanto.org.nz 56
476 193.254.232.35 http://www.esperanto.org.ua 1
477 66.147.240.193 http://www.esperanto.org.uy 1
478 82.204.219.225 http://www.esperanto.pisem.net 45
479 194.145.96.21 http://www.esperanto.pl 120
480 212.159.9.91 http://www.esperanto.plus.com 90
481 69.89.31.79 http://www.esperanto.qc.ca 103
482 217.10.193.168 http://www.esperanto.ro 1
483 67.205.21.250 http://www.esperanto.rs.ba 1
484 217.106.229.53 http://www.esperanto.ru 1
485 217.70.32.136 http://www.esperanto.se 134
486 82.208.46.3 http://www.esperanto.sk 9
487 80.84.64.29 http://www.esperanto.uklinux.net 33
488 194.169.125.111 http://www.esperanto.web.pt 1
489 213.123.20.90 http://www.esperanto.westmidlands.btinternet.co.uk 1
490 88.86.113.136 http://www.esperanto.wz.cz 1
491 196.213.23.118 http://www.esperanto.za.org 4
492 213.186.33.19 http://www.esperanto80.org 1
493 83.223.116.130 http://www.esperantoandalucia.org 61
494 216.110.12.23 http://www.esperantoaustin.org 1
495 205.178.145.65 http://www.esperantocafe.com 1
496 69.89.31.79 http://www.esperantoColombia.org 22
497 66.40.65.7 http://www.esperantocom.com 1
498 195.245.210.19 http://www.esperantocxemizo.1go.dk 1
499 208.74.32.229 http://www.esperantodc.org 1
500 195.128.174.118 http://www.esperantodesperado.dk 6
501 217.11.242.175 http://www.esperantodvd.net 6
502 212.53.64.70 http://www.esperantoeducation.com 17
503 72.167.131.154 http://www.esperantofre.com 20
504 195.249.40.166 http://www.esperantoinstitut.se 2
505 200.226.249.3 http://www.esperantointernacia.hpg.com.br 1
506 200.226.249.3 http://www.esperantointernacia.hpg.ig.com.br 2
507 217.73.227.40 http://www.esperantoitalia.it 3
508 85.119.155.88 http://www.esperantoland.de 75
509 85.119.155.88 http://www.esperantoland.org 313
510 194.154.164.103 http://www.esperantollandudno2010.org.uk 15
511 72.20.40.25 http://www.esperantomex.org 2
512 216.8.179.23 http://www.esperantonebraska.org 1
513 83.133.97.198 http://www.esperantoplatz.de 2
514 66.219.25.194 http://www.esperantorestaurant.com 1
515 194.44.24.254 http://www.europaplus.com.ua 1
516 69.63.187.12 http://www.facebook.com 8
517 69.36.190.141 http://www.fizzylogic.com 1
518 68.142.214.24 http://www.flickr.com 3
519 92.122.208.35 http://www.fotolog.com 12
520 217.72.196.45 http://www.fotos.web.de 1
521 87.230.9.39 http://www.fussball24.de 3
522 88.191.93.170 http://www.fuzz.fr 1
523 69.89.31.79 http://www.gazetejo.org 21
524 98.137.46.72 http://www.geocities.com 17
525 67.192.112.187 http://www.georgetown.edu 1
526 72.249.186.50 http://www.globalvoicesonline.org 1
527 193.68.35.35 http://www.gportal.hu 1
528 78.46.34.56 http://www.groops.de 1
529 128.214.205.16 http://www.helsinki.fi 1
530 79.98.25.237 http://www.hey.lt 1
531 82.165.108.134 http://www.hilland.org 1
532 81.169.145.73 http://www.hornecker.de 2
533 74.117.115.83 http://www.hungary.net 4
534 209.151.94.17 http://www.ie.esperanto.org.il 1
535 212.16.100.1 http://www.iki.fi 18
536 69.55.231.167 http://www.ikso.net 2
537 216.97.239.135 http://www.institutoesperanto.com.ar 61
538 212.162.85.36 http://www.international.rai.it 1
539 91.196.125.146 http://www.interpres.org 7
540 194.116.148.90 http://www.ipernity.com 24
541 80.237.132.35 http://www.jesperanto.ch 1
542 68.75.195.21 http://www.kafejo.com 2
543 217.119.57.22 http://www.kanal-esperanto.tk 2
544 81.0.232.136 http://www.kava-pech.cz 39
545 67.207.139.136 http://www.kennislink.nl 1
546 74.55.156.2 http://www.kke.org.br 73
547 91.212.185.66 http://www.knack.be 1
548 174.132.168.187 http://www.kontakto.info 1
549 91.142.218.24 http://www.korea-dpr.com 1
550 212.227.244.113 http://www.kultur-gut-wrechen.de 11
551 82.165.125.100 http://www.labourstart.org 1
552 89.17.206.141 http://www.lacoctelera.com 1
553 212.95.70.227 http://www.ladepeche.fr 10
554 145.226.50.15 http://www.lalsace.fr 2
555 212.95.70.236 http://www.laprovence.com 1
556 194.250.102.39 http://www.lavoixdunord.fr 3
557 208.113.163.34 http://www.learnlangs.com 1
558 84.16.75.33 http://www.lematin.ch 1
559 145.226.50.16 http://www.lepays.fr 2
560 145.226.50.14 http://www.leprogres.fr 2
561 212.95.70.229 http://www.letelegramme.com 1
562 91.121.14.138 http://www.lexilogos.com 2
563 78.46.40.132 http://www.liberafolio.org 23
564 217.70.184.38 http://www.lille2015.esperanto-nord.org 1
565 84.16.82.46 http://www.linguaforce.com 2
566 69.55.231.167 http://www.lingvo.info 1
567 128.177.28.49 http://www.lojban.org 331
568 207.45.178.106 http://www.lonweb.org 1
569 66.241.66.179 http://www.lotsasites.com 93
570 62.193.202.6 http://www.lve-esperanto.com 13
571 174.132.168.186 http://www.madir-music.com 1
572 81.88.48.82 http://www.mailgate.org 1
573 194.110.201.79 http://www.mailxmail.com 33
574 190.210.75.3 http://www.mdzol.com 2
575 217.73.228.13 http://www.medinux.org 1
576 72.30.190.101 http://www.metamonster.com 1
577 65.23.159.121 http://www.midiaindependente.org 2
578 213.168.176.11 http://www.mlboleslav.cz 2
579 216.239.113.34 http://www.mp3.com 1
580 213.131.252.238 http://www.multimania.com 6
581 92.122.216.49 http://www.myspace.com 8
582 83.103.118.108 http://www.newlog.it 1
583 62.128.133.125 http://www.newstatesman.com 1
584 207.46.141.138 http://www.newsvine.com 2
585 217.64.195.223 http://www.nicolaruggiero.it 1
586 194.109.209.222 http://www.nodo50.org 54
587 74.53.228.146 http://www.nswas.com 5
588 87.106.26.125 http://www.oekt.de 1
589 193.170.112.209 http://www.onb.ac.at 5
590 80.150.6.143 http://www.ondo-esperanto.de 11
591 72.55.164.15 http://www.osyan.net 1
592 212.95.70.231 http://www.ouest-france.fr 1
593 203.0.178.114 http://www.ozemail.com.au 1
594 212.181.91.6 http://www.pacujo.nu 2
595 208.113.167.181 http://www.philipbrewer.net 1
596 81.88.48.95 http://www.plouezec.fr 1
597 195.245.217.10 http://www.polskieradio.pl 1
598 213.186.33.2 http://www.projet-esperanto.fr 1
599 82.111.230.103 http://www.promesobanko.com 1
600 129.241.210.174 http://www.pvv.ntnu.no 1
601 216.34.131.135 http://www.radio-esperanto.com 2
602 91.121.50.69 http://www.radio-vatikana-esperanto.org 65
603 195.245.217.10 http://www.radio.com.pl 2
604 192.108.72.53 http://www.radioeins.de 1
605 200.55.129.3 http://www.radiohc.cu 1
606 194.154.164.82 http://www.rano.org 1
607 145.226.50.12 http://www.republicain-lorrain.fr 4
608 74.124.198.61 http://www.rickbraun.com 1
609 128.151.57.101 http://www.rochester.edu 1
610 62.23.15.206 http://www.routard.com 1
611 74.125.43.121 http://www.sat-esperanto.org 62
612 193.200.139.189 http://www.satesperanto.org 966
613 208.49.56.168 http://www.scoopeo.com 1
614 82.98.86.181 http://www.sedo.de 6
615 195.198.89.6 http://www.sesamic.se 8
616 69.89.25.187 http://www.sharpsand.net 1
617 174.137.125.110 http://www.shodouka.com 1
618 82.165.89.161 http://www.shs-institut.de 1
619 64.222.80.7 http://www.sit.edu 2
620 74.220.207.145 http://www.skotlando.org 48
621 82.165.77.181 http://www.stefan-hengst.de 1
622 66.132.150.12 http://www.stel.net 1
623 81.169.145.67 http://www.steloj.de 2
624 129.177.13.13 http://www.student.uib.no 2
625 69.90.98.85 http://www.suite101.com 1
626 84.16.88.17 http://www.svisa-esperanto-societo.ch 12
627 129.69.8.193 http://www.sz.uni-stuttgart.de 2
628 80.249.162.115 http://www.szekesfehervar.hu 1
629 84.16.75.33 http://www.tdg.ch 1
630 69.4.224.56 http://www.tejo.org 7
631 89.146.11.139 http://www.tekstoj.nl 14
632 209.73.26.186 http://www.thesmokinggun.com 1
633 209.196.25.206 http://www.transparent.com 1
634 83.175.147.5 http://www.tvbialystok.pl 2
635 168.143.162.52 http://www.twitter.com 2
636 80.57.89.121 http://www.uea.org 157
637 132.230.1.52 http://www.uni-freiburg.de 3
638 139.18.1.45 http://www.uni-leipzig.de 12
639 69.13.187.182 http://www.unicode.org 1
640 201.72.253.178 http://www.utopia.com.br 3
641 217.70.184.38 http://www.valenciennes.esperanto-nord.org 5
642 62.77.49.117 http://www.vaticanradio.org 1
643 83.149.84.173 http://www.verstuurpersbericht.nl 1
644 217.73.227.20 http://www.vessella.it 1
645 81.20.85.119 http://www.vhs-eschwege.de 8
646 217.116.0.144 http://www.vvirtual.es 1
647 207.56.151.96 http://www.webcom.com 2
648 216.105.40.173 http://www.webring.com 67
649 216.105.40.172 http://www.webring.org 45
650 69.25.27.173 http://www.wgtw.co.uk 1
651 83.169.4.88 http://www.wikihost.org 36
652 84.55.184.85 http://www.wikio.fr 1
653 207.58.148.211 http://www.worldtv.com 1
654 38.107.129.3 http://www.xanga.com 1
655 82.165.91.116 http://www.xdobry.de 34
656 194.109.6.92 http://www.xs4all.nl 1
657 209.85.129.102 http://www.youtube.com 1
658 81.169.145.68 http://www.zauberbuehne.de 1
659 84.45.63.21 http://www.ziddu.com 3
660 67.228.183.34 www2.clustrmaps.com 2
661 125.199.251.135 www2s.biglobe.ne.jp 1
662 60.37.6.75 www3.ocn.ne.jp 1
663 67.69.240.127 www3.sympatico.ca 1
664 130.89.10.26 wwwtios.cs.utwente.nl 55
665 130.149.29.118 wwwwbs.cs.tu-berlin.de 1
666 208.94.117.105 x.akademio-de-esperanto.org 98
667 209.85.129.191 zaneirani.blogspot.com 1
668 66.40.52.9 zooplah.farvista.net 1

Tia raportado ebligas iomete da kontrolo super la konduto de la robotado, ĉar eblas vidi kie ĝi estis aktiva. Ĝi trovas url-ojn, kiuj kongruas kun ĉiuj de la sekvaj kriterioj, kaj sekvas la ligilojn por trovi pliajn adresojn kiuj ankaŭ kongruas kun la kriterioj:

  • estu valida url (de dns-resolvebla retejo) kiu kongruas kun reguloj de bonformiteco por url-adresoj
  • estu nova adreso, kiu ankoraŭ ne estis vizitita de la roboto
  • la adreso enhavu aŭ la litersekvon “ESPERANT”, aŭ la litersekvon “EO” inter signoj kiel punkte aŭ streko, do ion tion “.eo/” aŭ “-eo.” aŭ simile.
  • cetere ekzistas mallonga listo kun regulaj esprimoj por malpermesi certajn adresojn, kiuj evidente estas araneaj kaptiloj.

Pro manko de paraleleco kaj pro la multaj paŝoj de filtrado, normigo kaj validigo, la entuta rapideco de la roboto estas kompatinda, kompare kun aliaj ĝeneralaj robotoj. Kelkaj de tiuj elŝutas pli ol cent dokumentojn en ĉiu sekundo, sed mia eta memkomprenebleBot nur sukcesas elŝuti maksimume kvin mil novajn dokumentojn en ĉiu tago.

Fine ankoraŭ etan rimarkon pri kopirajto. En la iam-finenda fina korpuso ne eblos rekonstrui originalajn verkojn, ĉar la sinsekvo de subsegmentoj estos sufiĉe hazardigita por forfuŝi kontekstojn. Tial ne eblos legi tutan protektitan verkon dekape alpiede.

 

Komenti