Matikkaa tietokoneella

[Eusa]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

[QS]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen 

[Abezethibou]

Laskutikusta ja logaritmitaulokoista taskulaskimiin ja siitä tietokoneisiin. Niin se maailma muuttuu. Kohta se kai tekoäly laskee niin hyvin että ei tarvita minkään sortin matikan taitoja?

[Eusa]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen

Statistisen logiikan kannalta yhdyssanat kannattaisi ehkä jättää aineistosta pois.

[QS]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen

Statistisen logiikan kannalta yhdyssanat kannattaisi ehkä jättää aineistosta pois.

Tuokin perusteltua, mutta voidaan perustella yhdyssanojen säilyttäminen siten, että näin saadaan otos, joka on lähes ekvivalentti sellaisen otoksen kanssa, joka poimitaan mielivaltaisesti valitusta kaunokirjallisesta teoksesta.

Otos edustaa siis mahdollisimman hyvin aitoa kirjoitettua kieltä. Tosin vain kun poimitaan jokainen uniikki sana vain kerran.

[Eusa]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen

Statistisen logiikan kannalta yhdyssanat kannattaisi ehkä jättää aineistosta pois.

Tuokin perusteltua, mutta voidaan perustella yhdyssanojen säilyttäminen siten, että näin saadaan otos, joka on lähes ekvivalentti sellaisen otoksen kanssa, joka poimitaan mielivaltaisesti valitusta kaunokirjallisesta teoksesta.

Otos edustaa siis mahdollisimman hyvin aitoa kirjoitettua kieltä.

Tieteellisenä tutkimuksena tuollainen kohdannee arviointiasetelman: tulisi selvittää miten paljon keskimääräisen tyylisessä tekstissä yhdyssanoja esiintyy ja voiko se mitenkään korreloida kantasanasta generoituvien yhdyssanojen kanssa. Kuka päättää millaisia hyväksyttäviä yhdyssanoja voi esiintyä? Sanapelit ovat hauskoja mutta myös kiivaiden kiistojen lähde esim. juurikin siitä millaisia yhdussanoja voi katsoa muodostuneen ja käytetyn tosiarjessa tai varsinkin, jos hyväksytään millaisia voisi kuvitella käytettävän...

Pitäisin simppelinä ja hylkäisin yhdyssanat myös tekstiaineisto-otteista.

[QS]

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen

Statistisen logiikan kannalta yhdyssanat kannattaisi ehkä jättää aineistosta pois.

Tuokin perusteltua, mutta voidaan perustella yhdyssanojen säilyttäminen siten, että näin saadaan otos, joka on lähes ekvivalentti sellaisen otoksen kanssa, joka poimitaan mielivaltaisesti valitusta kaunokirjallisesta teoksesta.

Otos edustaa siis mahdollisimman hyvin aitoa kirjoitettua kieltä.

Tieteellisenä tutkimuksena tuollainen kohdannee arviointiasetelman: tulisi selvittää miten paljon keskimääräisen tyylisessä tekstissä yhdyssanoja esiintyy ja voiko se mitenkään korreloida kantasanasta generoituvien yhdyssanojen kanssa. Kuka päättää millaisia hyväksyttäviä yhdyssanoja voi esiintyä? Sanapelit ovat hauskoja mutta myös kiivaiden kiistojen lähde esim. juurikin siitä millaisia yhdussanoja voi katsoa muodostuneen ja käytetyn tosiarjessa tai varsinkin, jos hyväksytään millaisia voisi kuvitella käytettävän...

Pitäisin simppelinä ja hylkäisin yhdyssanat myös tekstiaineisto-otteista.

Perustelu on ok. Kun kielen rakennuspalikoita ajattelee niin noin se on. Jollakin kielitietilijällä olisi ehkä käsitteistö näihin. Itse en asiaa syvemmin tunne.

mulla ei nyt vaan ole perusmuodossa tai ilman yhdyssanoja listausta.

[Konsta]

Keskeinen raja-arvolause todennäköisyyslaskennassa on tämänkin jakauman taustalla?

Niin hyvä kysymys. Vaan onko tässä sanojen pituuden jakauma itsessään jo lähes normaalijakauma. Jos näistä 728 498 sanasta poimitaan 10 000 sanan otoksia, niin todennäköisyysjakauma otosten sanojen pituuksille on mainitun lauseen nojalla kyllä lähes normaalijakauma sekin.

Vai?

Edit: unohdin tarkentaa kuvaan, että siinä on 728 498 uniikkia erillistä sanaa. Kunkin sanan perusmuoto esiintyy vain kerran, ja sen taivutusmuodot myös vain kerran. Listassa ovat esim sanat "...kissa,kissan,kissalle,kissalta...koira,koiran,koiralle...".

Kiinnostaisi nähdä yhden kantasanan, esim. sieni, kaikkien kehitelmien jakauma; sieni, sienestys, sienestää, sienikkö, sienistyminen yms ja kaikki taivutusmuodot - ja verrata sitä laajemman sanaston jakaumaan; löytyiskö "akustisille" nystyille pohjavirettä?

Koira-tyyppisiä tässä:

koira, koiraa, koiraamme, koiraan, koiraani, koiraanne, koiraansa, koiraasi, koiraat, koiralle, koiralleen, koiramäki, koiramme, koiran, koirana, koiranaan,
koiranamme, koiranani, koirananne, koiranansa, koiranasi, koirani, koiranne, koiransa, koirarodun, koirasi, koirasta, koirat, koiravero, koiraveron, koirayksilön, koiria, koiriakin, koirien, koirikseen, koiriksemme, koirikseni, koiriksenne, koiriksensa, koiriksesi, koiriksi,
koirilla, koirillaan, koirillamme, koirillani, koirillanne, koirillansa, koirillasi, koirille, koirilleen, koirillemme, koirilleni, koirillenne, koirillensa, koirillesi, koirilta, koiriltaan, koiriltamme, koiriltani, koiriltanne, koiriltansa, koiriltasi, koirin, koirineen, koirissa,
koirissaan, koirissamme, koirissani, koirissanne, koirissansa, koirissasi, koirista, koiristaan, koiristamme, koiristani, koiristanne, koiristansa, koiristasi,....

Tulee mieleen kouluajat ja äidinkielen tunnit kun noita lukee ääneen

Tästä tulee mieleeni Otaniemi ja Dipoli:

https://c2.staticflickr.com/8/7313/9302 ... da61_z.jpg

[QS]

Poimin 5882 sanaisen suomen kielisen novellin, jostain mistä lie. Sanojen pituudet jakautuvat seuraavasti

novelli 5882 sanaa.png (4.68 KiB) Katsottu 65470 kertaa

Edellisessä mukana kaikki sanat, eli sama sana toistuu useasti. Kun poimitaan 3102 uniikkia sanaa, on jakauma seuraava

novelli 3102 uniikkia sanaa.png (4.52 KiB) Katsottu 65433 kertaa

Tämä on lähellä sitä vajaan miljoonan yksittäisen sanan jakaumaa. Tosin vasemmalle siirtynyt, eli sanat ovat lyhyempiä. Johtuu kai siitä, että ensimmäisessä jakaumassa oli tavallaan liikaa erittäin pitkiä taivutusmuotoja.

Edit: tästä tuli nyt väliaikainen addiktio. Onko jollakin maksullinen tekoälylisenssi, jolla liitteenä olevan tekstin saisi muokattua siten, että kaikki sanat ovat perusmuodossa (taivuttamattomia)

[QS]

Keskeinen raja-arvolause todennäköisyyslaskennassa

Tätä kuuluisaa lausetta testasin reaalimaailman datalla. Aivojeni valintapolkuja en osaa selittää, mutta päädyin siihen, että perusjoukko on 5 km alueella Zürichistä mitatut maanpinnan korkeudet (keskimääräisestä merenpinnasta). Pisteitä on 101 781.

Kuvassa korkeuksien luokkaväli on 20 m, ja pystyakseli on todennäköisyys sille, että satunnaisesti poimittu korkeus \(x\) osuu kyseiselle välille, esimerkiksi \(P(400\le x<420)=0.19\). Keskimääräiseksi korkeudeksi sain \(\bar x = 492.778\)

Zurich korkeudet merenpinnasta.png (4.79 KiB) Katsottu 62425 kertaa

Tein pienehkön satunnaisotannan palauttamatta, otoksen koko vain 500. Toistin kuitenkin tämän 5000 kertaa. Yksittäisen otoksen korkeuksien keskiarvo on \(\bar x\), ja kaikkien otoksien kesiarvot ovat joukko \(\{\bar x_1,\bar x_2,\bar x_3,...,\bar x_{5000}\}\).

Näiden 5000 keskiarvon joukosta sain keskiarvon \(\mu=492.736\) ja keskihajonnan \(\sigma=3.997\). Normaalijakauman tiheysfunktio on

$$f(x)=\frac{1}{\sqrt{2 \pi \sigma^2} }e^{-\frac{(x-\mu )^2}{2 \sigma ^2}}$$

Plottasin nuo 5000 keskiarvoa (luokkaväli 1 m), ja niitä vastaavat todennäköisyystiheydet pystyakselille. Lisäsin samaan kuvaan sinisellä normaalijakauman tiheysfunktion \(f(x)\).

keskeinen raja-arvolause.png (13.72 KiB) Katsottu 62425 kertaa

Keskeinen raja-arvolause pätee tässä varsin hyvin, joskin 5000 kertaa toisto hiukan liioittelua. Mutta matematiikka on kaunista!