sp9mrn pisze:
Nie chce mi się wchodzić w szczegóły, ale Przemek ma dwie podstawowe możliwości - bardziej pracochłonną - wyssać sobie to co potrzebuje - albo drugą - (na pozór) dla leniwych - powiedzieć mi - "fajnie by było zrobić takie analizy, mogą się wszystkim przydać, załatw mi dostęp". To jest na pozór wersja "dla leniwych" bo nie wierzę, żeby się zatrzymał tylko na tej jednej analizie ;-)
canis_lupus pisze:
rad_n pisze:
sp9mrn pisze:
Hmm, gdybym nie wiedział jak to działa, to miałbym dwie opcje - albo nie sprawdziłeś i mówisz to co sobie wyobraziłeś - albo Twoje doświadczenie w IT jest nieco mniejsze niż to przedstawiłeś.
Po prostu zakładam, że "oranie" portalu na przykład poprzez pobieranie automatem tego co zwróci wyszukiwarka OSEC (https://pzk.org.pl/osec_ec_members_view.php) dla każdego ze znaków z wykazu (około 4000 zapytań pod rząd) będzie natychmiast wykryte jako działanie robota i zostanie automatycznie zablokowane (że jest jakiś limit zapytań do wyszukiwarki, na przykład więcej niż 10 w ciągu minuty z jednego IP = ban na 24h albo załączenie się jakiegoś "captcha" itp.) - po prostu zakładam, że uberAdministrator wie co robi i portal PZK jest zabezpieczony przed prymitywnymi próbami przeciążenia go i że trzeba się postarać co najmniej o DDoS (że zwykły DoS z jednego IP nie zadziała 
).
Założenia błędne. Kiedyś napisałem sobie taki prosty parser:
------------------------
#!/bin/bash
for ZNAK in `cat $1 |grep -v ODDZ| awk '{for (i=1;i<=NF;i++) print $i}' |grep -v -e '^[[:space:]]*$'`; do
echo $ZNAK
wget --post-data 'ec_view_members_znak_pokaz=$ZNAK&ec_view_members_action=view_selected_members' https://pzk.org.pl/osec_ec_members_view.php
done
------------------------
Jako argument przyjmuje listę znaków nawet w formie pobranej ze strony PZK (kolumny).
Nadal działa. Nikt niczego nie blokuje. Szukajkę każdy może orać jak chce.
Oj, chyba nie doceniacie mojego lenistwa
Zamierzałem właśnie parsować sobie te pliki .txt generowane codziennie, na odpytywanie szukajki jestem zbyt leniwy i nie widzę większego zysku z jej zastosowania do celów "statystycznych". I tak nie podaje informacji, która by mnie najbardziej interesowała, czyli daty wstąpienia do PZK. Bez tej daty cała ta moja analiza będzie mocno kulawa i wykrycie bardzo krótkiego stażu członkowskiego będzie możliwe dopiero w drugim roku działania "skryptu". Zmiany znaków członków będą oczywiście prowadzić do zafałszowania wyników. Prawda jest taka, że do zaspokojenia mojej ciekawości takie dane będą wystarczające.
Oczywiście jest też opcja druga przedstawiona przez Maćka, ale ona dla leniwych się nie nadaje. Po pierwsze musiałbym napisać jakiegoś maila albo zatelefonować do Prezesa mojego OT i wyjaśnić co chcę i po co chcę. On by pewnie też musiał z tego powodu napisać jakiegoś maila albo do kogoś zatelefonować. No a skoro ja miałbym go prosić o wykonanie jakiejś pracy dla mnie, to wypadałoby, żeby to co potem z jej wynikami zrobię miało ręce i nogi, a nie było naskrobane na kolanie.
A tak, jak mi ochota nie przejdzie to sobie coś na tym kolanie naskrobię, skorzystam z publicznie dostępnych danych i zobaczę co wyjdzie. Jak się nie będę za bardzo wstydził, to może komuś pokażę. Jak się spodoba, to może pomyślę, co z tym dalej zrobić i czy warto mojemu Prezesowi głowę zawracać.
Poza tym OSEC ma już swojego developera i anioła stróża, więc co ja się mu będę, za przeproszeniem, do systemu wtryniał. Jeśli jest rzeczywiście potrzeba generowania takich statystyk, to najlepiej właśnie z nim porozmawiać.
@Canis: Mój wewnętrzny leń dziękuje za powyższego awka
*Edit: paskudny błąd ortograficzny
