Ściąganie galerii zdjęć

[axion]

bo dla siebie zrobiłem listę url dla wgeta, ściągnięte pliki robią aktualnie za wygaszacz w formie pokazu zdjęć.

I to jest najprostsze, najbardziej sensowne i za razem genialne rozwiązanie. To właśnie coś takiego mógłbyś zrobić dla użytkowników. Gdybyś był tak uprzejmy i udostępnił/opublikował taką listę url byłbym niezmiernie wdzięczny! Zwróć uwagę, iż gdy nastąpi np. reorganizacja struktury linków wewnątrz "spaceflight.nasa.gov" to automatycznie padnie galeria w tym wątku. Dlatego albo tworzy się oddzielną niezależną galerię (mirror), albo wrzuca się zdjęcia jako załącznik, albo stokroć razy lepszym rozwiązaniem jest samo pobranie plików na dysk. To samo powinno dotyczyć filmów YouTube, choć w tym przypadku sprawa jest utrudniona. Bo może zdarzyć się tak, nie od razu, ale za kilka lub kilkanaście lat, wszystkie te "wstawki" prawdopodobnie przekształcą się w jeden wielki śmietnik z napisem "service unavailable". No może jeszcze co najwyżej będzie dało się wygrzebać coś z archive.org.

PS. Zmniejszenie miniaturek, skróciło znacząco czas ładowania strony. Dzięki.

[jmvh]

Bo może zdarzyć się tak, nie od razu, ale za kilka lub kilkanaście lat, wszystkie te "wstawki" prawdopodobnie przekształcą się w jeden wielki śmietnik z napisem "service unavailable".

Tego jestem praktyczne pewien, czasem jak się znajdzie jakąś stronę z przed lat z umieszczonymi linkami do różnych "filmowni" to żaden nie działa, de facto, pewności nie mamy nawet przy załącznikach czy galeriach. Na pewnym forum (niedużym trzeba przyznać) byłem świadkiem usunięcia starych tematów, załączników, a nawet userów bez żadnych postów po to aby "zrobić miejsce", podobnie z galeriami, nieraz likwidują się całe serwisy. Za kilka/kilkanaście lat zdjęć w takim wątku musiało być z dwa razy więcej (oby liczba prezentowanych typów pojazdów się zwiększyła!), niemniej wcześniej umrze on śmiercią naturalną na czwartej stronie działu.

[axion]

Na pewnym forum (niedużym trzeba przyznać) byłem świadkiem usunięcia starych tematów, załączników, a nawet userów bez żadnych postów po to aby "zrobić miejsce", podobnie z galeriami, nieraz likwidują się całe serwisy.

Zawsze trzeba się liczyć z pewnymi ograniczeniami. Dodatkowo istnieje coś takiego jak regulamin, w którym można zawrzeć różne wytyczne np. wynikające z ograniczeń technicznych. Ale bezpowrotne usunięcie starych tematów to moim zdaniem bardzo nieodpowiedzialne działanie. Forum musiało być chyba mocno amatorskie i niezbyt poważne. Przyzwoicie jest wykonać chociażby spakowane archiwum przestarzałych wątków i udostępnić je do ściągnięcia, jak np. w przypadku list dyskusyjnych. Ale to już mały off-top.

Wielkie dzięki za udostępnienie listy url! Świetny pomysł! Zdjęcia leżą już bezpiecznie u mnie na dysku. Można by utworzyć też skrypt który dodatkowo tworzyłby foldery dla poszczególnych misji ale to szczegół. Jeśli masz w zanadrzu jeszcze inne listy, wspominałeś o HiRISE - to jestem wielce zainteresowany!

[jmvh]

Na dzisiaj znalazłem dwie listy, jeśli jesteś zainteresowany dam znać jak znajdę/zrobię coś jeszcze. Mała uwaga co do hirise.txt (wspomniane anaglify), to 409 plików po kilkanaście-kilkadziesiąt MB, ściąganie trochę więc zajmie. Drugi plik to zdjęcia z pewnej strony, obrobione i poskładane, dosyć sporo ładnych panoramek

[axion]

Świetna sprawa! Dzięki! To jest genialne. Mam nadzieję że ten sprytny sposób znajdzie naśladowców. Rozumiem że linki są zdobywane w sposób kopiuj/wklej? Zastanawiam się, czy można by załatwić sprawę w różnych innych galeriach za pomocą skryptu np. jakąś pętlą, znając system numerowania zdjęć lub strukturę linków? Muszę to jeszcze rozpracować.

[jmvh]

Rozumiem że linki są zdobywane w sposób kopiuj/wklej? Zastanawiam się, czy można by załatwić sprawę w różnych innych galeriach za pomocą skryptu np. jakąś pętlą, znając system numerowania zdjęć lub strukturę linków?

Czyste kopiuj/wklej. Raczej nie piszę skryptów w Bash'u , ale podejrzewam, że mógłby być tu problem, te bazy danych często wymagają odpowiedniego zapytania przez co nie dociera tam np. pajączek Google, opierając się o strukturę linków być może było by to możliwe, ale wszystko ściągane byłoby "jak leci" (tutaj wybieram co ciekawsze zdjęcia, na niektóre wersje 3d nie dało się patrzeć, a niektóre zdjęcia Sojuzów były rodem wzięte z zagadek "znajdź dwie różnice między obrazkami"), działało by to jedynie w wypadku przewidywalności wszystkich url i nazw, no chyba, że chcemy zafundować nasowskim serwerom DDoS'a

[axion]

Żeby prędzej nie okazało się, że skończy mi się miejsce na dysku. 

[Radek68]

Jakby to napisać... doceniam wysiłek, pomysł, ale dlaczego moja przeglądarka najpierw otwiera wątek 6 minut, a następnie wysypuje się na tym wątku???

[jmvh]

Jakby to napisać... doceniam wysiłek, pomysł, ale dlaczego moja przeglądarka najpierw otwiera wątek 6 minut, a następnie wysypuje się na tym wątku???

Oraz wyświetla Ci komunikaty o pustości pełnego posta, u mnie czas ładowanie to mniej niż dziesięć sekund, na oko - stopera nie mam.

[axion]

A może warto by wydzielić posty z załączonymi listami url z tego wątku? Te cenne pliki mogą zaginąć pośród gąszczu postów. Najlepiej byłoby umieścić je małej ramce na stronie głównej tuż pod nagłówkiem forum.

[Radek68]

Jakby to napisać... doceniam wysiłek, pomysł, ale dlaczego moja przeglądarka najpierw otwiera wątek 6 minut, a następnie wysypuje się na tym wątku???

Oraz wyświetla Ci komunikaty o pustości pełnego posta, u mnie czas ładowanie to mniej niż dziesięć sekund, na oko - stopera nie mam.

A no dokładnie! W jednej karcie otworzyłem TEN wątek, w innej wysłałem posta. TEN wątek wysypał mi Firefoxa, a tam gdzie się "napisałem" wszystko poszło...
Niestety, dołączę się do głosów o niefunkcjonalności tego typu postów.
Owszem, już (chyba?) nikt nie otwiera tego typu stron na modemie 33,6 kb, ale łącza 128 kb są nadal w użyciu! Dla obliczeń przyjmijmy szybsze - 256 kb/s.
W przeliczeniu to 32 KB na sekundę, czyli ok. 1,9 MB na minutę. Jeśli jedno zdjęcie miało (teraz trochę to zmniejszyłeś) ~200 KB to przy 100 zdjęciach masz czas oczekiwania na stronę 10 minut...
Co tu komentować.

[axion]

Proponuje zamianę tego wątku na listę z linkami url od początku. To jest najlepsze rozwiązanie. Każdy może sobie pobrać zdjęcia wget-em nawet pod Windowsem. Przed chwilą zabezpieczyłem na swoim dysku 747 MB panoram z łazików marsjańskich (dzięki jmvh!) i wystarczył do tego tylko 14,9 KB plik źródłowy .txt oraz odrobina czasu. Tak więc tworzenie obszernych galerii w postaci miniaturek na forum możemy uznać za zbędne lub co najmniej nieefektywne.

[Matias]

O żesz! Te listy tekstowe do ściągania zdjęć to naprawdę cudo!! Lada moment będę miał trochę więcej miejsca na hdd, zaciągam, potem rzucam na plazmę, otwieram pssst % i oglądamy!

Niesamowita sprawa!

[Air Q]

Zastanawiam się, czy można by załatwić sprawę w różnych innych galeriach za pomocą skryptu np. jakąś pętlą, znając system numerowania zdjęć lub strukturę linków? Muszę to jeszcze rozpracować.

wget potrafi też ściągać rekursywnie całe strony razem z podkatalogami lub tylko wybrane typy plików np:

wget -A jpg -r -l 3 http://www.nivnac.co.uk/mer/

Choć nie wiem czy to zawsze działa. Czasami w przypadku niektórych galerii można użyć curl'a do zczytania źródła html i odfiltrowania za pomocą takich programików jak grep, awk, sed linków do zdjęć. Całość oczywiście w skrypcie np: bash.

Edit:
Taki przykład tworzenia listy za pomocą: wget, grep i awk (działa pod linuksem)

wget -A jpg -r -l 3 --spider http://www.nivnac.co.uk/mer/ 2>&1 | grep "jpg" | grep "http" | awk '{print $3}'

u mnie na pierwsze linki trzeba poczekać około pół minuty. Może da się to jakoś lepiej zoptymalizować. Aha "2>&1" to przekierowanie wyjścia błędów na standardowe wyjście (z stderr do stdout).

[Radek68]

O żesz! Te listy tekstowe do ściągania zdjęć to naprawdę cudo!! Niesamowita sprawa!

O tak, jmvh wykonał naprawdę dobrą robotę! Dziękować!