Pobieranie transakcji z długich aukcji do wyczerpania.

[Joseph Kratz 17]

Witam,

Przy długich aukcjach do wyczerpania zapasów gdzie ilości transakcji idą już w tysiące praktycznie niemożliwe staje się pobranie codziennej partii danych.

Braki w pobranych transakcjach i formularzach to ok 200 czasem 300 pozycji w ciągu dnia.

Niestety mechanizm selektywnego pobierania danych do poszczegulnych aukcji też nie rozwiązuje problemu. Przy "długich" aukcjach potrafi się wysypać na 65% po 2 godzinach pobierania danych (pobieranie na podstawie historii).

 

Przechodząc do meritum - czy istnieje jakiś sposób aby ograniczyć zakres czasowy ilość pobieranych danych do np. ostatnich 7 dni dla tego typu aukcji w przypadku transakcji i 14 dni dla formularzy?

Czy jakakolwiek parametryzacja pobieranych danych jest możliwa np poprzez jakieś modyfikacje dziennika?

 

Bardzo długie czasy synchronizacji i błędy podczas niej przy obecnej ilości transakcji zaczynają uniemożliwiać pracę. Dla odmiany wygenerowanie xml-a z ms-a z ok 4500 transakcji (weekend) trwało mniej niż 5 minut.

 

Problem nie występuje na innym koncie gdzie nie ma tak długich aukcji do wyczerpania więc zakładam, że to właśnie wina ilości ofert.

Za wszelkie sugestie, tipsy i tricki będę ogromnie wdzięczny.

[HotKey . 249]

Witam w zasadzie zależy to tylko od tego jaką parametryzację umożliwia API Allegro, Sello nie potrafi zrobić czegoś, czego nie pozwoli API Allegro ...

 

Ale widziałem ostatnio promowaną na Allegro maszynkę do golenia znanej firmy - ok 3600 zakupów na miesiąc idzie, faktycznie to są liczby bardzo duże i z obsłużeniem tego to nie wiem jak sobie poradzić. Jakkolwiek podejrzewam, że MS jakoś daje radę w takich przypadkach ?

 

Ja na szczęście (a może nieszczęście?) nie mam takich ofert.

[Joseph Kratz 17]

No i właśnie ms sobie daje radę a Sello mam wrażenie doszło do ściany. Jest może w ramach alternatywy opcja importu transakcji i fodów do Sello z pliku xml z ms-a? Widziałem takie programy wyrzucające ZK do SGT z Allegro, potem można by teoretycznie przez import ZK słać to do Sello ale wydaje się to zbyt przekombinowne jak na "everyday work".

[HotKey . 249]

Możesz ZK do Subiekta wrzucać.

Wydaje mi się, że MS korzysta po prostu z opcji pobierania przyrostowego - jest tam w Sello - proponuję sprawdź, czy przypadkiem za każdym razem nie pobierasz od nowa wszystkiego.

 

 

Poza tym zwyczajnie łącza między serwerami MS a serwerami API Allegro dla MS mogą być gigabitowe czy nawet szybsze.

 

Jeśli ktoś ma Orange światłowód gigabit to niech sprawdzi jak Sello hula ;D

[Joseph Kratz 17]

Neta raczej wykluczam jako problem, przynajmniej na trasie serwery allegro -> Sello 300mbps.

Pobieram na podstawie historii więc teoretycznie nie powinno sciągać starych danych ale czas trwania zdaje się temu przeczyć. Problem występuje nawet przy synchronizacji pojedynczej aukcji z dużą ilością ofert i to ta ilość rsczej jest problemem. Nie wiem tylko czy to problem sello który da się naprawić/obejść czy też problem sposobu udostępniania danych przez Allegro. W tym drugim przypadku dalsze używanie sello powoli przestaje mieć sens jako, że nie mamy na to większego wpływu.

[HotKey . 249]

Przestaje mieć sens jak masz 3000 sprzedanych w jednej ofercie.

Ja mażę tylko o takiej sprzedaży.

Możesz spróbować inny program np właśnie MS, ale ja od niego uciekłem.

Podejrzewam też blokady na pobieranie po stronie Allegro, gdyż zmieniłem kiedyś łącze na blisko 100MB i nie zauważyłem, aby się szybciej ściągało, zresztą pobranie 10 czy 100 MB nie trwa 40 minut.

[Bartosz Rosa 1 785]

Obecny algorytm pobierania danych w Sello ma swoje ograniczenia i funkcje API, z których korzysta zwracają duże ilości danych. Za naszą sugestią Allegro jakiś czas temu dodało do tych funkcji możliwość filtrowania danych, tak aby można było pobierać ich mniej i w Sello zostało to zaimplementowane.

Dalszego jednak spektakularnego przyspieszenia na tym algorytmie raczej jednak zrobić się nie da. Duże dane po prostu długo się przesyłają. Możemy teoretycznie spróbować powalczyć, ale musielibyśmy mieć dostęp do tak dużych danych - wygenerowanie tego na sandboxie praktycznie jest niemożliwe.

 

A czy wystawienie takich problematycznych aukcji od nowa faktycznie aż tak wpływa na sprzedaż?

[MARCIN e-kupowanie.pl 1 024]

A czy wystawienie takich problematycznych aukcji od nowa faktycznie aż tak wpływa na sprzedaż?

 

Wg mnie to byłby strzał w kolanko...

[Joseph Kratz 17]

Aktualnie zamknięcie takiej aukcji nie wchodzi w grę, zbyt długo się pozycjonowały by zaczynać od nowa.

Czy w API nie da się filtrować po zakresie dat? Rozumiem, że to zupełnie inny mechanizm jak przy generowaniu xml-a w MS ale jakieś opcje obcinania pobieranych danych dla takich aukcji (bo tylko z nimi jest problem) bardzo by pomogły.

[Bartosz Rosa 1 785]

Funkcja, z której korzystamy, nie ma opcji filtrowania po dacie zakupu. Dokumentacja nie wspomina również w jakiej kolejności zwracane są dane, więc zapewne jak baza danych zwróci. Gdyby były zwracane od najnowszych wtedy można by rozważyć dodanie filtrowania po naszej stronie.

 

Skontaktujemy się z Allegro, czy da się coś w tej sprawie zrobić.

[Joseph Kratz 17]

Dzięki, trzymam kciuki za dobre wieści

[Ks. Robak 314]

MS nie ma co porównywać, bo on działa bezpośrednio na bazach Allegro, więc szybkość wszelkich operacji MS->Allegro jest bez porównania lepsza.

 

Za to w MS musimy czekać na każde przejście/odświeżenie strony, czego w Sello nie ma.

[HotKey . 249]

W MS nie ma możliwości automatycznej zmiany ceny 

[Joseph Kratz 17]

Jakieś newsy w temacie? Coś już wiadomo?

[HotKey . 249]

MS nie ma co porównywać, bo on działa bezpośrednio na bazach Allegro, więc szybkość wszelkich operacji MS->Allegro jest bez porównania lepsza.

 

Za to w MS musimy czekać na każde przejście/odświeżenie strony, czego w Sello nie ma.

 

 

No i jak padnie MS, to firma nie może pracować, zaś bazka w Sello cały ten czas sobie chodzi i umożliwia pracę 

Przerwy serwisowe w MS utrudniają strasznie no zaplanowanie pracy na nockę...

[Bartosz Rosa 1 785]

Wiadomo tyle, że pewne decyzje nie są jeszcze podjęte i nie ma jeszcze żadnych ram czasowych. Zatem trudno podjąć teraz decyzje co i jak robić. Musimy jeszcze trochę poczekać.