Despre robot
cucinevotez-bot este programul care citește, o dată pe săptămână, paginile publice ale Camerei Deputaților și ale Senatului, precum și câteva pagini citate pe site, pentru site-ul Cu cine votez. Paginile Guvernului, de pe gov.ro, le citește numai când o trecere este pornită de mână.
- Nume
cucinevotez-bot- User-agent
cucinevotez-bot/1.0 (+https://cucinevotez.com/despre/robot; contact@cucinevotez.com)- Ce citește
- De pe cdep.ro și senat.ro: lista membrilor, pagina publică a fiecărui deputat și senator și paginile grupurilor parlamentare.
- De pe cdep.ro: listele hotărârilor Parlamentului din Repertoriul legislativ, câte una pentru fiecare an de la ultimul vot de încredere încoace, și lista moțiunilor de cenzură.
- De pe cdep.ro: lista deciziilor prim-ministrului din Repertoriul legislativ, pagină cu pagină, câte o sută de decizii pe pagină. Citește anul în curs și pe cel dinainte, ca să găsească și o decizie pe care Repertoriul o adaugă târziu în lista anului trecut; dacă cea mai nouă decizie despre un secretar de stat pe care site-ul o păstrează este mai veche, citește de la anul ei; prima dată, toți anii de la 2017.
- De pe gov.ro, numai când o trecere este pornită de mână: pagina cabinetului, pagina fiecărui membru al Guvernului și pagina ministerelor.
- Paginile de partid citate pe site, fiecare o dată pe săptămână.
- Paginile pe care Curtea Constituțională, instituțiile justiției, autoritățile autonome și companiile de stat își arată conducerea, fiecare o dată pe săptămână. Pe ele caută numai numele pe care site-ul le-a luat de acolo.
- De pe commons.wikimedia.org: pagina unei singure fotografii, portretul Președintelui.
- De pe www.wikidata.org: câte o înregistrare pentru Președinte și pentru câțiva membri ai Guvernului, de la adresa Special:EntityData.
- Portretele: fotografia de pe pagina fiecărui parlamentar și a fiecărui membru al Guvernului, de pe cdep.ro, senat.ro și gov.ro, și fișierul portretului Președintelui, de pe upload.wikimedia.org. Fiecare este luată o singură dată, apoi numai dacă i se schimbă adresa.
- Ce nu citește
Nimic din ce interzice robots.txt. Nu citește declarațiile de avere.
Nu încearcă niciodată să treacă de o verificare de browser: nu răspunde la ea și nu își schimbă numele sau felul în care cere paginile ca s-o ocolească. Site-ul Președinției, presidency.ro, nu este cerut deloc.
Nu citește presa: un articol citat pe site a fost citit de un om, o singură dată.
Site-urile instituțiilor și ale companiilor de stat care răspund numai din România, care răspund cu o verificare de browser în locul paginilor, care blochează programul sau care nu funcționează nu sunt cerute deloc, nici măcar pentru robots.txt.
- Cât de repede
O singură cerere o dată; către același site, la cel puțin 1,5 secunde una de alta. O trecere pe săptămână: aproximativ 480 de pagini de pe cdep.ro și senat.ro și cel mult câteva de pe fiecare dintre celelalte site-uri. Cele aproximativ 15 pagini de pe gov.ro nu fac parte din trecerea săptămânală: sunt citite numai când trecerea e pornită de mână.
Lista deciziilor prim-ministrului are câte o pagină la fiecare sută de decizii ale unui an: până acum, între patru și opt pagini pe an. O trecere obișnuită citește anul în curs și pe cel dinainte, aproximativ zece pagini; prima dată, toți anii de la 2017, aproximativ 55 de pagini.
La o eroare 5xx sau fără răspuns, reîncearcă de cel mult trei ori, cu pauze tot mai lungi. La un răspuns 4xx nu reîncearcă.
Dacă un site răspunde cu o verificare de browser în locul unei pagini, așteaptă un minut și mai cere pagina o singură dată. Dacă primește din nou verificarea, pagina rămâne necitită; după trei astfel de pagini, nu mai cere nimic de la acel site până la trecerea următoare.
- robots.txt
Îl citește la începutul fiecărei treceri și îl respectă, inclusiv regulile scrise anume pentru
cucinevotez-bot. Dacă nu îl poate citi, din cauza unei erori de server, a lipsei unui răspuns sau a unei verificări de browser, nu citește nimic de pe acel site.- Cum îl oprești
Scrie la contact@cucinevotez.com sau adaugă în robots.txt:
User-agent: cucinevotez-bot Disallow: /Regula este respectată de la următoarea trecere.
Ce se întâmplă cu paginile citite
Din ele, site-ul preia numele, grupul parlamentar, partidul, circumscripția, anul nașterii și datele mandatelor fiecărui parlamentar. Le arată cu trimitere la pagina oficială de pe care au fost luate.
De pe gov.ro preia numele și funcțiile membrilor Guvernului, portretele lor și lista ministerelor, iar din listele de pe cdep.ro, votul de încredere și moțiunile de cenzură. Le arată la fel, cu trimitere la pagina de pe care au fost luate.
Din lista deciziilor prim-ministrului păstrează numărul, ziua și titlul deciziilor al căror titlu vorbește despre un secretar sau un subsecretar de stat. Arată doar secretarii de stat de la ministere: numele, funcția, ministerul, numărul și ziua deciziei, cu trimitere la înregistrarea ei din Repertoriul legislativ. Pagina înregistrării nu este citită.
Pe o pagină de partid caută un singur lucru: dacă pagina mai numește persoana despre care site-ul o citează. Pe pagina fotografiei de pe Wikimedia Commons verifică licența, înainte ca fotografia să fie arătată. Înregistrările de pe Wikidata sunt doar comparate cu ce arată site-ul: nimic din ele nu este afișat.
Site-ul păstrează o copie a fiecărei pagini citite, pentru verificare. Copiile nu sunt publice.
Site-ul este un proiect personal și independent. Mai multe, la Despre proiect și la Surse și metodă.
In English
cucinevotez-bot is the crawler of cucinevotez.com, an independent, self-funded personal project that shows who holds office in the Romanian state: the members of Parliament, the Government and the President, and the secretaries of state of its ministries. Once a week it fetches the member lists, each member’s public profile page and the parliamentary group pages from cdep.ro and senat.ro (about 480 pages); the lists of Parliament’s decisions and of censure motions on cdep.ro; the list of the Prime Minister’s decisions, page by page, a hundred decisions to a page, also on cdep.ro; each party page the site cites; the pages on which the Constitutional Court, the bodies of justice, the autonomous authorities and the state companies publish who leads them, where it looks only for the names the site took from them; the page of one photograph on commons.wikimedia.org; and a few items on www.wikidata.org, which it compares with the site and never shows. It copies each official portrait once, from cdep.ro, senat.ro and gov.ro, and one photograph that is not an official portrait, the President’s, from upload.wikimedia.org. It sends one request at a time, at least 1.5 seconds apart on any one host. It obeys robots.txt, including rules addressed to cucinevotez-bot by name, never fetches wealth declarations or the press, and never tries to pass a browser check: when a site answers with one instead of a page, it does not answer it, waits a minute and asks for the page once more, and after three pages held back that way it asks that site for nothing more until its next run. The sites of the institutions and state companies that answer only from Romania, answer with a browser check instead of their pages, block the crawler, or do not work are not asked for anything, not even robots.txt. The cabinet page, each member’s page and the ministries page on gov.ro (about 15 pages) are fetched only when a run is started by hand, not weekly. To stop it or to reach the project, write to contact@cucinevotez.com.