Forum Krótkofalarskie PKI

Dzień dobry,

szukam przykładowych plików logów, mogą być "prawdziwe" lub sztucznie wygenerowane, najlepiej z dużym wolumenem QSO (od kilkuset do kilku czy nawet kilkunastu tysięcy). W tym momencie chcę stworzyć bibliotekę, która będzie odpowiadać za import / eksport logów w formatach ADI / ADX oraz Cabrillo, więc interesują mnie równomiernie oba formaty. Logi będą wykorzystane do testów automatycznych parsera i zostaną udostępnione razem z kodem źródłowym biblioteki w sieci, więc proszę o rozważne podsyłanie swoich plików lub linkowanie do zewnętrznych źródeł. Docelowo efektem końcowym utworzenia takiej biblioteki będzie "prosty" program do logowania, ale to historia na osobny temat.

Najlepiej by było, gdyby linki do plików pojawiały się w odpowiedzi do tematu, w absolutnej ostateczności mogą trafić na mojego maila.

SP9OP pisze:


szukam przykładowych plików logów, mogą być "prawdziwe" lub sztucznie wygenerowane, najlepiej z dużym wolumenem QSO (od kilkuset do kilku czy nawet kilkunastu tysięcy).

logi cabrillo masz dostępne np. tutaj: https://www.cqww.com/publiclogs/

SO5HME pisze:

[quote=SP9OP]
szukam przykładowych plików logów, mogą być "prawdziwe" lub sztucznie wygenerowane, najlepiej z dużym wolumenem QSO (od kilkuset do kilku czy nawet kilkunastu tysięcy).

logi cabrillo masz dostępne np. tutaj: https://www.cqww.com/publiclogs/[/quote]

No i to już jest jakaś wskazówka, dzięki. Teraz pozostaje ADI/ADX.

SP9OP pisze:

No i to już jest jakaś wskazówka, dzięki. Teraz pozostaje ADI/ADX.

Do ADI możesz przekonwertować z tych Cabrillo

HF7A pisze:

[quote=SP9OP]No i to już jest jakaś wskazówka, dzięki. Teraz pozostaje ADI/ADX.

Do ADI możesz przekonwertować z tych Cabrillo

[/quote]

Doskonale wiesz, że nie o to chodzi

A nie możesz stworzyć jakiegoś generatora pliku adif?
Chyba to nie było by zbyt trudne?
Nie wiem czy każdy chętnie da Ci swój log.

sp3rat pisze:

A nie możesz stworzyć jakiegoś generatora pliku adif?
Chyba to nie było by zbyt trudne?
Nie wiem czy każdy chętnie Ci swój log.

Cały czas mi właśnie zależy na tym, by log był w miarę możliwości z "prawdziwego źródła" czyli bezpośrednio zapisany do ADI/DX, a nie konwertowany, nawet jakby był wygenerowany przez kogoś innego.

A jako autor kodu nie mogę być autorem testów, bo to jest absolutnie bez sensu.

SP9OP pisze:


A jako autor kodu nie mogę być autorem testów, bo to jest absolutnie bez sensu.

Rozumiem Ciebie.
Ciekawy jestem efektów końcowych.

SP9OP pisze:


Najlepiej by było, gdyby linki do plików pojawiały się w odpowiedzi do tematu, w absolutnej ostateczności mogą trafić na mojego maila.

Oprócz magazynu CQWW również ARRL na swojej stronie https://contests.arrl.org udostępnia sporo publicznych logów z wielu zawodów - także archiwalnych. Po wybraniu w lewej ramce rodzaju zawodów w wyświetli się u dołu pozycja "Public Logs", która prowadzi do strony wyboru konkretnej edycji (rocznika) zawodów a po jej otwarciu ukazuje się strona linków do konkretnych znaków dostępnych logów. Przykładowo dla IARU HF dostępne są roczniki 2018-2021 a dla każdego rocznika jest tam ponad 5-tysięcy logów Cabrillo z zawartością od kilku dziesięciu do kilkunastu tysięcy QSO, jak w przypadku stacji HQ.
Programowe pobranie i przetworzenie plików logów nie powinno Ci nastręczyć większego problemu.
Przykładowo scalone rekordy QSO logów dla jednego rocznika IARU HF zajmują pare set MB pliku tekstowego a więc jest w czym "pogrzebać". Po załadowaniu do bazy danych MySQL lub SQLite będzie jeszcze więcej MB.
Ja używam postaci bazodanowej do analiz tworzonych dla Zespołu SN0HQ, gdyż pozwala to na swobodną selekcję i wizualizację w postaci tabelarycznej i graficznej. Konwersja do formatu ADIF lub XMl-owej wersji też jest trywialna.
Przykładowe formaty plików Cabrillo i ADIF znajdziesz m.i. w specyfikacjach dostępnych na Internecie.
Powodzenia i niech Cię nie dopadnie "softwerowy ból głowy"
vy73, Ryszard SP9GR

Witajcie

Z własnego doświadczenia wiem, że standard ADIF idzie swoja drogą, a popularne logery robią to po swojemu :-(
Głównie chodzi o wielkość liter...
Wygenerowanie logów *.ADI, czy użycie dostępnych publicznie nie do końca da obraz, czy własny parser działa poprawnie i jest w stanie obsłużyć wszystkie "dialekty" plików ADIF.

Swój podesłałem do autora wątku na @.

Pozdrawiam

Dostałem przeróżne przykładowe ADI, za co dziękuję. Swoją drogą, ktoś kto projektował ten format to chybna nie do końca ogarniał rzeczywistość, ale starał się jak mógł.

Teraz pozostaje mi zdobyć tylko pliki ADX, ale te niekonwertowane. Tak, wiem że ADX to po prostu ADI w XMLu, ale właśnie zależy mi na natywnym eksporcie.

SP9OP pisze:

Swoją drogą, ktoś kto projektował ten format to chybna nie do końca ogarniał rzeczywistość, ale starał się jak mógł.

Tak to już niestety jest z amatorską twórczością - również w temacie software. Nie ma żadnej organizacji, która by ustalała i pilnowała jakichkolwiek standardów oprogramowania amatorskiego!
Reguły i specyfikacje formatów zapisów danych w logach są raczej wynikiem pomysłowości i porozumień pomiędzy twórcami wiodącego oprogramowania, którzy nie są w żadnych formalnych powiązaniach, lecz działają jako hobbyści a w wielu przypadkach jako woluntariusze.
Początkowe pomysły na formaty logów pochodziły właśnie od indywidualnych programistów-hobbystów by umożliwić elektroniczną wymianę logów pomiędzy organizatorami zawodów a uczestnikami, którzy zaczęli używać komputerów do logowania. Ponieważ uczestnicy zawodów mieli 1001 pomysłów na formaty wysyłanych logów do organizatora: począwszy od różnych plików tekstowych, plików doc, Excel, jak również binarnych plikach bazodanowych - nie wspominając o postaci graficznej zeskanowanych logów papierowych.
Organizatorzy zawodów nie byli w stanie ogarnąć tego wszystkiego. Stąd powstał nacisk na ujednolicenie (na ile to możliwe) formatów wymiany logów w postaci elektronicznej. Pomysłodawcy 2-ch najbardziej zaawansowanych formatów tekstowych tj. Cabrillo i ADIF zgodzili się uwolnić prawa autorskie do użytku publicznego. Życie wymusiło jednak wiele modyfikacji początkowych ustaleń a ciągłe zmiany regulaminów zawodów i potrzeby indywidualnych twórców aplikacji do logowania i przetwarzania logów wymusiło uelastycznienie formatów i ich nieustanną ewolucję oraz tworzenie nowych zapisów np. z wykorzystaniem rozszerzalnego języka znaczników XML.
Tak więc tworząc uniwersalny parser do logów trzeba uwzględnić nie tylko to co zostało zaakceptowane przez większość twórców soft-u amatorskiego i nieograniczoną pomysłowość przy logowaniu "bzdetów" przez użytkowników ale również uwzględniać różnorodność pól generowanych przez poszczególne aplikacje podczas zapisu logu oraz rozpoznawane ich podczas ładowania z pliku do oprogramowania. Bywa niekiedy, że wysyłający log dokonuje zmian treści poza programem logujący np. edytorem tekstowym (edytor przyjmuje każdy tekst) co może prowadzić do kolejnych błędnych zapisów.
Tak było i będzie. Nic tu nie jest 'constans' - trzeba sobie radzić z nietypowymi, nieprzewidywalnymi sytuacjami.
Logi publiczne w postaci tekstowej dostępne na Internecie to nie są RZECZYWISTE logi wysłane przez uczestników a jedynie ich zestandaryzowana wersja wygenerowana z bazy danych będącej w użyciu organizatora zawodów. Błędy krytyczne, których nie może przetworzyć program robota przyjmującego upload logu od uczestnika są z reguły odrzucane przed załadowaniem do bazy danych stąd w opublikowanych logach ich raczej nie znajdziesz.
Musisz więc zacząć przetwarzać te "podczyszczone" logi a następnie testować utworzony algorytm na "uszkodzonych" celowo logach testowych symulując różne nieprzewidziane sytuacje by właściwie obsłużyć te błędne sytuacje grożące generowaniem wyjątków i w konsekwencji niestabilności lub zawieszenia Twojej aplikacji
Powodzenia. Życzę rozkoszy łamania głowy
vy73 Ryszard SP9GR

SP9GR pisze:

[quote=SP9OP]Swoją drogą, ktoś kto projektował ten format to chybna nie do końca ogarniał rzeczywistość, ale starał się jak mógł.

Tak to już niestety jest z amatorską twórczością - również w temacie software. Nie ma żadnej organizacji, która by ustalała i pilnowała jakichkolwiek standardów oprogramowania amatorskiego!
[/quote]

Zdecydowanie, krótkofalarski software to się nadaje na swoją własną wystawę sztuki bynajmniej nie nowoczesnej, w jakimś muzeum kiczu, gdzieś obok oprogramowania z ZUSu jeśli nie lepiej. W związku z tematem ostatnio robię test wszelkiej maści loggerów i mam jedynie same "bardzo gorące" uczucia wobec ich projektantów.

SP9GR pisze:

Tak więc tworząc uniwersalny parser do logów trzeba uwzględnić nie tylko to co zostało zaakceptowane przez większość twórców soft-u amatorskiego i nieograniczoną pomysłowość przy logowaniu "bzdetów" przez użytkowników ale również uwzględniać różnorodność pól generowanych przez poszczególne aplikacje podczas zapisu logu oraz rozpoznawane ich podczas ładowania z pliku do oprogramowania. Bywa niekiedy, że wysyłający log dokonuje zmian treści poza programem logujący np. edytorem tekstowym (edytor przyjmuje każdy tekst) co może prowadzić do kolejnych błędnych zapisów.
Tak było i będzie. Nic tu nie jest 'constans' - trzeba sobie radzić z nietypowymi, nieprzewidywalnymi sytuacjami.

Tak właściwie to zwisa mi to i powiewa. Robię głównie pod specyfikację i koniec, bez powielania patologii i quirków, bo Staszek chce sobie zaimportować log z programu co go pod MS-DOS jeszcze używał w 1992. I tak głównym założeniem jest, że albo ktoś będzie importował log z nowożytnego softu i to niewielki, albo z logbooków online, a w większości przypadków ma zakładać nowy. Logger jest przewidziany na mały wolumen, pracę w jednym okienku (szczególnie, że ma chodzić na małym ekraniku takiego fajnego mikrokomputerka który specjalnie do radia sobie ogarnąłem), bez wodotrysków i komunikacji z ekspresem do kawy czy herbaty po XMLRPC. Chociaż pewnie trochę ciekawostek się znajdzie, ale tak by kolega z osiedla obok który komputer niespecjalnie umie obsługiwać i działa na logbooku papierowym mógł z tego skorzystać i mieć trochę zabawy. Szczególnie, że chce się przerzucić, ale jak odpalaliśmy różne softy do logowania to wszystkie są przytłaczające i przesadnie skomplikowane dla zwykłego amatora łączności nie w zawodach.