Etusivu
PenaPedia
Tietoa Penasta
Valtiopäivät
Pena Palsta
Kuvakalleria
Savukehinnasto
Linkkejä
Materiaalia
Vanhat tiedotteet

Ajoneuvotietokanta (PROTO)
Osoitetietokanta (V.2 Tulossa!)

Yritystietokanta (UINUAA)

Vanhat uutiset

Sähkönsiirron tariffilaskuri

Lääketietokanta

Wikiselain

Kappale Kauneinta Suomea
Metsäkaatopaikkoja
--> Adolf <--
LOTTO-numerot
PenaNetworksin museo
PenaNetworksin kirjasto
Suosittelemme
Ääliömäiset sivustot
Artikkelien kommentit

Pulautteet

<Kalevi> Hienoa työtä!
<Ivan Tertel> Valtion turvallisuuskomitea KGB on yhteistyössä muiden turvallisuusviranomaisten kanssa toteuttanut viime aikoina toimenpiteitä, joilla on estetty sotilaslennokeilla Liettuan alueelta tehdyt iskut Minskiin ja sen esikaupunkeihin.
<Marija Zaharova> Naton sotaharjoitukset lähellä Venäjän rajaa ovat luonteeltaan provokatiiviset. Heidän tehtävänään on tällaisen voimanosoituksen kautta kohdistaa sotilaallista painetta Venäjän federaatioon. Harjoitukset lisäävät mahdollisen sotilaallisen selkkauksen riskiä. Muistakaa Kremlin sotilasdoktriini.
<Lahtivatti > Gansta ja räppi yleensäkin ovat homojen musiikkia ja täyttä paskaa. Ostan myös naisten kusiset stringit omaan käyttööni.
<Lahtivatti> Perseeseen nussijat ry pitää kevätkokouksen stadissa, tervetuloa kaikki perseeseen nussijat ja runkkarit

Nimesi:

Lausahdus:

395 Käyttäjää paikalla! 0.012499809265137

Muista katsoa myös paikallaolijat!

Herra_Snellman

Pena Palsta

Etusivu | Haku | Käyttäjälista | Rekisteröidy | Ohjeet

Käyttäjätunnus: Salasana:

PenaSäätiöiden karttapalvelin

Etusivu -> PenaSäätiöt -> PenaSäätiöiden karttapalvelin

PenaItse
Liittynyt:
11.5.2012 18:55
PenaSäätiöiden karttapalvelin
Lähetetty: 9.7.2023 08:26
Olen viimeaikoina koittanut ottaa haltuun Geoserveriä kaikkine saloineen ja voin sanoa että on kyllä taas niin uutta ja monimutkaista tieteenalaa, jossa pää menee aivan pyörälle!
Koska domain vaihtui, lakkasi vanha gmaps upotus toimimasta ja salasanat sinne missä sitä tokenia säädetään googlella on jo jossain.

Jossain alkoi itää kipinä ryhtyä ja yrittää saada noita karttoja omasta puolesta tänne. Päätin myös, että me PenaSäätiöillä julkaisemme ennemmin huonoja ja alkeellisia karttapohjia siten, että ne tulevat omilta palvelimilta, kuin että käyttäisimme Maanmittauslaitoksen tai OpenStreetMapin rajapintoja.
Koska työ on vasta alkumetreillä, tarjoilemme toistaiseksi pelkästään staattisia png-karttoja osoitesivulla.

Geoserver toki tukee natiivisti Openlayer-karttojen ulostamista, mutta resurssien ja tyylityksen opettelun puutteissa pitäydymme vielä siitä. Web-kartta vaatii myös aivan tuhottomasti suoritintehoa.

Ja vielä, ettei kenellekään jää epäselväksi; Julkaisemme siis Maanmittauslaitoksen avoimen datan materiaaleja, joihin kuuluu mm. kiinteistörekisterikartta, maastotietokanta ja erilaisia karttoja.
Ilmakuvat saamme, kun saamme hieman lisää levytilaa ;)

----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

PenaItse
Liittynyt:
11.5.2012 18:55
Vs: PenaSäätiöiden karttapalvelin
Lähetetty: 15.7.2023 01:14
Tämä on ollut tuottoisa viikko! Olen oppinut mm:

- Sisäistänyt layereiden merkitystä ja vuorovaikutusta toisiinsa
- Saannut tien nimen kääntymään tien suuntaisesti
- Päässyt hieman tyylitysehtojen saloihin käsiksi
- Keksinyt kuinka siirrän GetMap-requestissa urlin kautta argumentteja tyylityskoodille (tämä on hyvin tärkeä, WMS protokolla ei tunne tuommoista, mutta GeoServer antaa siihen mahdollisuuden! + Tämä on välttämättömyys minkään hyödyllisen sovellutuksen tekoon)
- Saannut rasterikartan lataamaan sitä epätarkempia kuvia mitä kauemmas zoomataan ja toisin päin

Tehtävää:

- Kiinteistön alueen hatchaus kiinteistötunnuksen tai osoitteen mukaan
- Kuinka eri vektorilayereiden välillä vaihdetaan tyylimuuttujia?
- Tieviivan paksuus tieluokan mukaisesti ja värisesti
- Täydellinen paikannimihakukone, esim. Kansalaisen Karttapaikka ei tunnu aina löytävän mitä etsitään. Joskus auttaa *-merkin lisäys hakusanaan, mutta siltikään se ei löydä kaikkia nimiä mitä ite kartalta voi nähdä.
- GeoPakettien indeksoinnin vaikutus suoritusnopeuteen??
- Kaikki PenaSäätiöiden renderöimä kartta-aineisto tulisi olla linkitettävissä url-osoitteella aivan kuten ne sillä hetkellä näkyvät käyttäjälle. Jos JavaScriptiä käytetään, on sitä käytettävä vastuullisesti ja vastuulliseen käyttöön kuuluu juurikin edellä mainitun asian huomioiminen.
- Ilmakuva-aineiston julkaisu

Linkityksestä aloinkin miettiä, mitä jos aivan normaalia html-sivua halkoisi css boxissa mitta-asteikko, jolloin voidaan #-juttua käyttämällä linkittää juuri tiettyyn kohtaan sivua.

Vastuulliseen JavaScriptin käyttämiseen kuuluu myös ensin miettiä ratkaisuja tehdä jokin asia ilman sitä ;)

----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

PenaItse
Liittynyt:
11.5.2012 18:55
Vs: PenaSäätiöiden karttapalvelin
Lähetetty: 15.7.2023 06:18
Sain tehtyä pienen huonosti toimivan staattisen kartan nyt siihen. Liikkuminen tapahtuu $_GET argumenttien avulla.
Zoomausta ja liikkumisteppien suuruus kannattaa olla ennemmin prosentteina kuin kiinteä lukumäärä. Tällä tavalla saadaan mukava ominaisuus karttaa zoomatessa lähelle, mitä lähempänä ollaan, sitä vähempi on yksi steppi ja päin vastoin.
Ja koska siirtymästeppi on 20 % 1/2 osasta kartan kokoa, tulee korkealla suurempia hyppyjä ja matalalla pienempiä.
Kuvan reunoilla on äkkiä kyhätyt imagemapit itä/länsi suunnille liikuttaessa. En saannut sitä vitun CSS:linkkejä kivasti kuvan ympärille toimimaan :@

Tämän lisäksi pistin kaikki mahdolliset nofollow-attribuutit linkkeihin. Vaikka kaikki on hakukonneita varten PenaSäätiöiden esittelyssä, tässä tapauksessa ei ole hyvä, että googlebotti indeksoi noin keskeneräisiä karttakuvia. Toki voi ne kuvat päätyä silti hakukoneille, kaikki ei noudata indeksointikieltoja.

Periaatteessa voisin ehkä estää myös robots.txt-fileesta kokonaan tuon kuvien pyyntihakemiston. :O

Toki kartat, kun saadaan kunnollsiksi aletaan syöttämään oikein urakalla hakukonneille ;)

----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

PenaItse
Liittynyt:
11.5.2012 18:55
Vs: PenaSäätiöiden karttapalvelin
Lähetetty: 16.7.2023 01:08
Sain kuin sainkin Webbikartan tehtyä. Luojalle kiitos, että perehdyin JavaScriptiin kotinäyttöprojektissa. Muuten tämä olisi ollu aivan tekemätön paikka ja tekemättä olisi pysynytkin - tämän kanssa ei kiinnostus riitä sen opetteluun.

Sitä ihmetellessä huomasimme kuinka PenaSäätiöt jäätävät aika kovaan jumiin tietyissä tilanteissa, vaikka Asiakkaitakaan ei ollut kauheasti paikalla, toki silloin botti generoi osotetietokantaa, joten se on viennyt oman siivunsa tehosta, mutta silti! :O Mun teorian mukaan tässä on ollut kään kuin kaksi huonoa sattumaa yhtä aikaa päällä:
PenaSäätiöt throtlasivat 104 asteen suoritinlämmöillä! :O Jumalauta! :O Ja samaan aikaan kahdelta konneelta ihmeteltiin karttoja, ja koska nekin latautuvat titleinä, requesteja on monta avoinna yhtä aikaa ja auki pysyvätkin kunnes Geoserver ehtisi renderöidä aineistoa, kaikki liikenne kun kulkee Apachen reverseproxyn kautta karttapalvelimelle, karttapalvelin kuuntelee josstain 3443 tyylisessä portissa, Apache vain tuo ja vie liikennettä localhostin ja ulkomaailman välillä.
Tästä johtuen se imee mehuja myös apachelta, kun karttoja selaillaan.
Kaiken huipuksi vielä olin aiemmin tuplannut tilejen renderöintisäikeiden lukumäärän! :D
Tämä on ollut oikein kunnon noidankehä.

Tähän on ollut kyllä ratkaisu, joka on vaikuttanut ihan lupaavalta. Suorittimessa on 8 ydintä (tai 4 virtuaaliydintä?), rajoitan renderöintisäikeiden määrän 7 kappaleeseen per karttapyyntö.
Siis aina jää yksi ydin Apachelle käytettäväksi, Geoserver mahdollistaa myös niiden prioriteetin säätämisen. Säädin ne 30 % alemmalle tasolle kuin Apache, tällä tavalla ei ainakaan Apachesta muodostu pullonkaulaa, jonka ahistaminen vain kerää lisää jumia.
Lisäksi web-puolen palveluiden tarjoaminen on tärkeämpi asia.

Entäs se throtlaamien? Muistan kun joskus 2018-2019 pistelin PenaSäätiöihin pitkän downtimen jälkeen jotain rautaa mitä kaapista löysin, muistan vielä ajatelleeni silloin, että tää rauta on muutenkin ylitehokasta tähän käyttöön, paskanhaileet alkaa etsiä tahnoja väliin :$
Nyt tämä rauta on osoittautunut liian tehottomaksi, siitä syystä olen himoinnut jo pitkään mökiltä Pirjon pelikonetta, jonka rauta oli aiemmin Etheriumin louhintaa varten hankkimani.
Ei siinä muuta ihmeellistä ole kuin paljon modernimpi suoritin sekä DDR4 muistiväylä, joka on... montakohan kertaa nopeampaa kuin DDR3, joka nykyisellään on.
Koska intohimonani on taas ohimenevästi PenaSäätiöiden hyvinvointi, hankin 32 GB DDR4 muistia ja parin teran PCI-E väyläisen limpun, hinta jotain 170 €ur yhteensä. Näin saan vapautettua nykyisen 2 teran levyn kokonaan ilmakuva-aineistoa varten ja vektoriaineistot majailevat extranopealla järjestelmälevyllä!
Olin aluksi ottamassa terasta SATA-liitennäistä levyä, koska semmoinen tuntuu jotainkin luotettavammalta, huomatessani tuollaisen pienen 2 teran chipin hinnan olevan vaan 1.7x 2 teran SSD,stä, ajattelin etten pelkää modernia tekniikkaa niin paljoa.

Henkilökohtaisesta mielestäni nykypäivänä kiekkolevyn hankkiminen on täysin turhaa, en luottaisi niihin yhtään. Saat puolet halvemmalla, mut joudut ostaa niitä 2kpl kun se leviää satavarmasti kuitenki, eikä data ole tärkeää, jos sen sallitaan hukkuvan ;) Ja on hidas kuin mikä. Ehkä varmuuskopioihin se voisi käydä, mutta taas en luota niihin kyl senkään vertaa. Tuo mielenrauhaa ajatella, ettei siellä sisällä tosiaan liiku yhtään mikään - kuten ei taloyhtiön yhtiökokouksessakaan hallituksen varapuheenjohtajan ilmoittama saunamurto, jonka tekijän päässä ei liikkunut kuin silmät :$

PenaSäätiöiden lämpöongelmien vuoksi aloin tutkia kuinka voisin alikellottaa suoritinta, ettei se kuumenisi aivan niin paljoa. En halunnut myöskään uudelleenkäynnistää konetta, mutta kyllä se pitkän säätämisen jälkeen saatiin noudattamaan uusia taajuuslukemia. Nimellistaajuus on 3.5 GHz, mutta se silti ajoi 3.9 GHz turbonopeudella?
Sain laskettua nopeuden 2.0 GHz ja muutettua nopeuspolitiikan järkevämmäksi maksimaaliseen suoritukseen pyrkimisestä pois. Lopulta nostin nopeuden 2.8 GHz kieppeille, siinä sain sen stressitestissä nousemaan vaan vajaaseen 70 asteeseen ottamalla 7 ytimestä kaiken mehun irti. Nopeus on vain yläraja, jos ei ole töitä, putoaa se 1.6 GHz tasolle.

Todisteita throtlaisusta on myös jäännyt;
root@pena:/dev/shm# cat /sys/devices/system/cpu/cpu[0-9]*/thermal_throttle/core_throttle_count
5182
299049
156994
25847
5182
299049
156994
25847


En tosin tiedä onko nuo lukemat paljon vai vähän.
Onneksi tämä tuli ilmi nyt hallitusti, jos into olisi ehtinyt jo laantua asia olisi tainnut jäädä niille sijoilleen.:$

root@pena:/dev/shm# cpufreq-info
cpufrequtils 008: cpufreq-info (c) Dominik Brodowski 2004-2009
Report errors and bugs to cpufreq@vger.kernel.org, please.
analyzing CPU 0:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 1:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 1
CPUs which need to have their frequency coordinated by software: 1
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 2:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 2
CPUs which need to have their frequency coordinated by software: 2
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 3:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 3
CPUs which need to have their frequency coordinated by software: 3
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 4:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 4
CPUs which need to have their frequency coordinated by software: 4
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 5:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 5
CPUs which need to have their frequency coordinated by software: 5
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 6:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 6
CPUs which need to have their frequency coordinated by software: 6
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.
analyzing CPU 7:
driver: intel_cpufreq
CPUs which run at the same hardware frequency: 7
CPUs which need to have their frequency coordinated by software: 7
maximum transition latency: 20.0 us.
hardware limits: 1.60 GHz - 3.90 GHz
available cpufreq governors: userspace, conservative, powersave, ondemand, performance, schedutil
current policy: frequency should be within 1.60 GHz and 2.80 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.81 GHz.


----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

PenaItse
Liittynyt:
11.5.2012 18:55
Vs: PenaSäätiöiden karttapalvelin
Lähetetty: 22.7.2023 08:54
Staattista karttanäkymää on hieman muutettu: Ensinnäkin, ne (vielä huonot) kuvat päätyi silti googlen käsiin jotenkin, vaikka linkeissä ja hakemistoissa oli Disallow. No tokihan oli odotettua, ettei siihen voi luottaa.
Nyt upotuskartta on <iframessa>, jossa on myös aiemmat buttonit. Tämän lisäksi itse kuva ei ole enään kuvana, vaan luotu näkymään CSS:n tyylityksellä siihen taustakuvana.

Nyt sivu käyttäytyy paljon nätimmin selatessa kuvaa ja uskoisin tuon CSS tempun ehkäisenvän niiden pääsyä hakukoneille.

Sain myös generoitua himoitsemani Maanmittauslaitoksen taustakartan kokonaan GeoTIFFeiksi, joten poistin vektorimuotoiset tiet ja niiden nimet. Skaalaus ja layerin valintanäkymät on kyllä toki vielä päin persettä.

Maanmittauslaitoksen datassa kiinteistön rajat on ns. "LINESTRING"-muodossa. En siis pysty hatchaa tai korostaa valittua kiinteistöä ihan noin vain .. :@ En ole varma pitääkö ne uudelleenajaa polygoneiksi vai mikä olisi järkevä ratkaisu.

Tähän lisäksi vielä, kun sain vaivalla rakenneltua suht hyvän Openlayers-karttanäyttäjän, pääsin perehtymään ja ihmettelemään miksei cachetus ei ota toimiakseen. Lopputulemana onkin, ettei sitä voida harrastaa WMS protokollalla, vaan on otettava WMTS käyttöön ;)

Toki ensisijaista on saada osoitetietokantaan kartat jokseenkin hyväksi, tähänkin aiheeseen kun saattaa loppua into ja sillin se jää vuodeksi-pariksi taas kesken :$

----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

PenaItse
Liittynyt:
11.5.2012 18:55
Vs: PenaSäätiöiden karttapalvelin
Lähetetty: 28.1.2024 06:26
Lainaus käyttäjältä PenaItse:

Karttapalvelin tulee sittenkin takaisin!

Ongelmahan on, että se on aivan reikänen ja buginen paska, jonka ajaminen hirvittää suorastaan.

Ajattelin alkaa ajaa sitä dockerilla, mutta silti tunnen oloni kovin alastomaksi reikäsen javapohjaisen paskan takana. En ole kuitenkaan saannut muita ehdokkaita toimimaan eikä kovin edes kiinnosta enään.

Sockettien käyttö on aina nautinnollista työtä ja niin se oli nyttenkin. Karttapalvelin bindaa vain 127.0.0.1:8080 osoitteen ja haen sieltä PHP:n socketeilla kuvatiedot, näin ollen pystyn itse hallita mitä karttapalvelimelle syötetään ja estää kaikki tietoturvaongelmat joita siinä mahdollisesti muhii.

Olisin varmaan ottanut file_get_contents()illa GET-pyynnön, ongelmaksi tuli aiemmin säätämäni allow_url_fopen=0 <---- TÄLLE ei ollut - en ainakaan mistään keksinyt tai löytänyt menetelmää sallia tuon käyttö yhdessä hakemistossa, emme halua tuota pitää päällä yhtään enempää kuin on välttämättömästi tarve. Onneksi ei ole mitään tarvetta ;)
Lisäksi:
Me PenaSäätiöillä emme käytä .htaccess-tiedostoja ja .htaccess olisi ollut ainoa ratkaisu, siinä on vain ongelmana, että vihaan niitä.



Nyt mennään tuolla PHP-proxyllä siis!


Tyylitykset on hukkunu johonkin, enkä muista suoraansanoen yhtään mitään kuinka ne oli :$

----------------------------------------
olen pena ja lisäksi vitun homo seniili mulkkuperse joka tuunaa 106 vetoakselia perslävellään soinia soimaten pusikon piinaavassa uutteruudessaan

Vastaa aiheeseen

Sinun pitää kirjautua sisään tai rekisteröityä osallistuaksesi keskusteluun!

Copyright © PenaNetworks säätiöt 2006 - 2024