Pełne pobieranie.

[gawcio . 21]

Zmieniam bazę na świeżą w Sello i chciałem pobrać transakcję tylko z 2 dni. Myślałem, że elegancko się pobierze w kilka minut jednak okazało się, że Sello mimo ustawionej daty pobierania i tak pobiera wszystkie transakcje z 3 miesięcy tylko starsze niż 2 dni pomija przy dodawaniu do Sello.

 

Tym samym pełne pobieranie trwa 6 godzin... Wiem, że macie w planach zmianę mechanizmu pobierania transakcji, czy z tym też będzie dało się coś zrobić? Po co pobierać wszystkie transakcje i je później pomijać?

 

Przy okazji inna uwaga/sugestia, od czasu kiedy na Allegro są aukcje do wyczerpania zapasów czas pełnego pobierania rośnie z miesiąca na miesiąc ponieważ ilość sprzedanych towarów na każdej aukcji wzrasta. Wiem, że tylko z 3 miesięcy jednak to i tak jest bardzo duża porcja danych. Myślę, że dobrym rozwiązaniem było by dodanie możliwości pobierania pełnych danych ale z n dni. Czyli nie ciągniemy wszystkiego z 3 miesięcy ale np z ostatnich 14 dni. Czy jest to wykonalne?

 

Chyba, że macie w planach rozwiązać to w jakiś inny sposób?

[Bartosz Rosa 1 770]

Niestety, ale nie da się przefiltrować tych danych na poziomie webapi, więc wszystkie muszą być pobrane i filtrowane po stronie Sello.

 

I w tym jest właśnie problem. Chcąc pobrać nawet jedną transakcję z aukcji w której było 1000 zakupów trzeba pobrać tę całą listę by wyciągnąć jedną transakcję. Dlatego cały ten mechanizm idzie do wymiany, bo był dobry kiedyś - teraz niestety już się nie nadaje. Kilka wersji wstecz zoptymalizowaliśmy ten stary mechanizm ale to praktycznie był już kres optymalizacji.

[gawcio . 21]

Jakie plany zatem? Wiem, że na tapecie są opisy, jednak czy mechanizm pobierania był już przez Was badany i macie na niego jakiś pomysł?

[Bartosz Rosa 1 770]

Czekamy na implementację w nowym API, która ma się "niedługo" pojawić.

[4S_ MARKET 23]

To już tak BTW  co w planach w wersji 1.26 

[Bartosz Rosa 1 770]

Nie wiem jeszcze jak będziemy wypuszczać najbliższe aktualizacje, czy jako 1.26 czy jako fixy do wersji 1.25. Tak czy inaczej w najbliższym czasie konieczne jest przepisanie współpracy z Paczkomatami, pracujemy nad nowym konektorem do Subiektów (ale jeszcze teraz nie będzie) no i edycja opisów aukcji trwających. To są główne sprawy, którymi w najbliższym czasie będziemy się zajmować.

[MARCIN e-kupowanie.pl 1 012]

Paczkomaty chyba do (końca?) marca będą działać tylko po staremu? Chyba, że się mylę...

 

A czy będziemy się cieszyć obsługą usług Inpost: Allegro?

[Bartosz Rosa 1 770]

Tak i zobaczymy co da się w tym temacie zrobić.

[gawcio . 21]

Po założeniu nowej bazy na sello i ustawieniu daty pobierania transakcji od dnia kiedy przeszedłem na nową bazę, nie jestem w stanie w ciągu doby pobrać wszystkich transakcji.Po prostu brakuje czasu, najprawdopodobniej przez to, że strasznie dużo czasu sello traci na pomijaniu transakcji starszych niż data początkowa.

 

Zastanawiam się czy nie pobrać tych wszystkich danych i mieć spokój, ale z 2 strony, nie po to zakładałem nową bazę..

 

Czy są jeszcze jakieś opcje w tej sytuacji? Jak stare transakcje zaciągnęły by się do sello w przypadku pobrania pełnych danych bez ustawiania daty początkowej?

[Bartosz Rosa 1 770]

Można pobrać transakcje bez zaznaczania Pobierz pełne dane. Wtedy będą się pobierać tylko transakcje z aukcji na których wystąpił zakup nie dalej niż 10 dni temu. Pełne dane spowodują, że będą pobierane transakcje z około 2-3 miesięcy.

[gawcio . 21]

Można pobrać transakcje bez zaznaczania Pobierz pełne dane. Wtedy będą się pobierać tylko transakcje z aukcji na których wystąpił zakup nie dalej niż 10 dni temu.

Na początku w taki sposób próbowałem pobierać jednak wyskoczyło sporo niepobranych formularzy, wyciągnąłem nicki opłaconych Klientów z programu pocztowego i porównałem z tym co mam w sello, po kilku dniach w sello miałem prawie 200 transakcji nieopłaconych. Mógłbyś przybliżyć działanie tego mechanizmu? Wspominasz o pobieraniu transakcji/formularzy z ostatnich 10 dni gdzie była sprzedaż jednak nie jest to chyba takie typowe pełne pobieranie bo wtedy bym nie miał aż takiej ilości nieopłaconych transakcji w sello. U mnie serwer działa całą dobę a szybkie pobieranie jest ustawione na co 10 min, tak więc sprawdza transakcje cały czas. Pełne pobieranie włączam ręcznie jednak w obecnie kiedy jest ustawiona data początkowa potrafi ono trwać kilkanaście godzin. Jak już się skończy to znowu szybkie pobierania ma dużo transakcji do ogarnięcia i też długo trwa...

 

 

Pełne dane spowodują, że będą pobierane transakcje z około 2-3 miesięcy.

Czy jesteś tego pewien? Analizując dziennik mam tam informację "Pominięto transakcję starszą niż data początkowa" - sprawdzając nicki, to są tam transakcje nawet ze stycznia zeszłego roku, czyli w zasadzie bardzo stare. Najgorsze jest to, że sello nie pamięta takich transakcji i nawet w przypadku szybkiego pobierania za każdym razem je pomija. Przypominam transakcje z ponad roku gdzie szybkie pobieranie nie powinno pobierać nic starszego niż ostatnie 10 dni.

[Bartosz Rosa 1 770]

Nie śledzę niestety z jakiego okresu Allegro zwraca te dane, kiedyś były to 3 miesiące.

 

Szybkie pobieranie selekcjonuje aukcje, na których wystąpiła sprzedaż nie dalej niż 10 dni temu. Nie da się jednak wyfiltrować po stronie serwisu najnowszych transakcji i są pobierane wszystkie dla tej aukcji - dlatego widać to pomijanie.

 

Brakujące formularze możesz spróbować pobrać zaznaczając transakcje i wybierając funkcję Pobierz formularze pozakupowe.

 

[gawcio . 21]

Allegro jednak zwraca w API wszystkie transakcje, pobrałem pełne dane bez opcji daty początkowej i wpadły mi wszystkie transakcje. Reasumując z bazy 10GB po wymianie na nową zrobiła się 7GB, obecny system pobierania danych nie jest w stanie ogarnąć poprawnie nowej bazy w przypadku dużej liczby transakcji.

 

Czy masz jakieś przecieki związane z nowym API? Czy wtedy będzie można wrzucić filtr aby poprawie obsłużyć pobieranie od konkretnej daty?

[Bartosz Rosa 1 770]

Co dokładnie będzie w nowym API tego nie wiem jeszcze, ale na pewno zmienimy algorytm pobierania - są duże szanse, że istniejąca opcja pobierania wszystkich transakcji nie będzie już dostępna.