memkompreneble

"Ekde kiam homoj la unuan fojon forlasis siajn kavernojn kaj renkontis aliulojn kun aliaj vidpunktoj kaj aliaj lingvoj ekzistas revo: mortigi ilin, por ke ni ne devu lerni ilian lingvon nek kompreni ilian vidpunkton." – citaĵo el la filmo "The Beast With a Billion Backs" de la usona tv-serio Futuramo – tiu ŝerco evidente celas al esperanto, ĉar en la sama filmo oni ankaŭ proponas senseksajn pronomojn "shklim" kaj "shkler" por la angla

purigi segmentojn 2010-01-15

Filed under: raportoj — memkompreneble @ 19:22

La ideo estas krei vortaron de ĉiuj plenaj vortformoj de ĉiuj segmentoj, kiuj estas bonaj kandidatoj havi esperanto-enhavon. El tiu vortaro eblos diveni validajn esperanto-vortojn per analizado de afiksoj. Per la rezulta listo de kandidatvortoj plus afiksado poste eblos taksi la malpurajn segmentojn per sekvaj iteracioj.

Unua aliro al purigado: ekskludi ĉiujn segmentojn, kiuj ne kongruas kun la esperanto-alfabeto. Kompreneble, tio ekskludas ankaŭ multajn esperanto-segmentojn kiuj enhavas proprajn nomojn kun sola neesperanta litero. Aliflanke tio inkluzivas ankaŭ frazojn el aliaj lingvoj, kiuj hazarde ne kontraŭas la esperanto-alfabeton. Cetere, la x-sistemo ne travivas tian filtradon.

Jen rezulto de rapida serĉo tra la tabelo de unikaj segmentoj por ekscii, kiom da materialo estus en la unua iteracio.

    sercxo: [\sĉĝĥĵŝŭa-pr-vzĈĜĤĴŜŬA-PR-VZ0123456789.…,\:;()/?!"„“”%&<>»\-]*

        221 sekundoj dauxro
    274'395 segmentoj trovitaj
 21'483'355 signoj suma longeco
         78 signoj averagxa longeco
Advertisements
 

One Response to “purigi segmentojn”

  1. […] la kolekto de segmentoj kongruantaj kun la esperanto-alfabeto kiel priskribita en antaŭa artikolo purigi-segmentojn. Por doni poentojn al sola vorto, rad provas radikigi la vorton per laŭsistema aplikado de eblaj […]


Respondi

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Ŝanĝi )

Twitter picture

You are commenting using your Twitter account. Log Out / Ŝanĝi )

Facebook photo

You are commenting using your Facebook account. Log Out / Ŝanĝi )

Google+ photo

You are commenting using your Google+ account. Log Out / Ŝanĝi )

Connecting to %s