Synchronizacja z serwisami - Zmiany

[Bartosz Rosa 1 776]

Padł pomysł, aby z opcji pobierania i wysyłania danych na serwisy aukcyjne wydzielić pobieranie transakcji, komentarzy i aukcji.

 

Dzięki temu będzie można ustalić jak często i jakie dane mają się synchronizować - co powinno dosyć znacznie przyspieszyć pobieranie danych poprzez zmniejszenie ilości niepotrzebnych synchronizacji.

 

Jest jednak kilka niewiadomych, które dobrze by było ustalić z Wami. Przykładowo, okno parametrów wysyłania i odbierania w administracji ma teraz listy na których można wybrać które dane są synchronizowane co jaki czas.

 

Po zmianach, zamiast tych list były by znaczniki (checkboxy) do odznaczania które dane mają być synchronizowane i co jaki czas. Teraz pytanie, czy potrzebne jest rozdzielenie na pobieranie i wysyłanie?

 

przykładowo bez rozróżnienia:

[ ] Transakcje                  co  [ 10 ] minut

[ ] Komentarze                  co  [ 60 ] minut

[ ] Aukcje                      co  [ 120 ] minut

[ ] Strefa Sello                co  [ 20 ] minut

[ ] Wiadomości                  co  [ 10 ] minut

 

i z rozróżnieniem

[ ] Transakcje (pobierz)        co  [ 10 ] minut

[ ] Komentarze (pobierz)        co  [ 60 ] minut

[ ] Komentarze (wyślij)        co  [ 120 ] minut

[ ] Aukcje  (pobierz)          co  [ 120 ] minut

[ ] Aukcje  (wyślij)          co  [ 120 ] minut

[ ] Strefa Sello (pobierz)      co  [ 10 ] minut

[ ] Strefa Sello (wyślij)      co  [ 20 ] minut

[ ] Wiadomości (pobierz)        co  [ 5 ] minut

[ ] Wiadomości (wyślij)        co  [ 30 ] minut

 

być może niektóre opcje wymagają rozróżnienia czasów synchronizacji a inne nie.

 

Dodatkowo, po pobraniu transakcji można będzie wywołać synchronizację strefy, wiadomości (wyślij) i Subiekta.

 

Proszę o wskazówki, które opcje były by dla Was przydatne.

[e-strefa 0]

Pomysl calkiem zacny

Ja jestem za rozdzieleniem wysylania i odbierania, bo na przyklad aukcje wysylam tylko i wylacznie recznie*, ale pobieranie jest potrzebne automatycznie.

Wiadomosci do wyslania moim zdaniem powinny wysylac sie same jak sa jakies w skrzynce nadawczej tak jak jest teraz.

 

*wyslam w paczkach po kilkanascie/kilkadziesiat, bo jak sie skoncza to jest je znacznie latwiej ponownie wystawic.

 

Jak juz jestemy przy tego typu zmianach, to sugeruje opcje tworz strefe automatycznie zaraz po pobraniu transkacji. Teraz trzeba czekac na kolejne synchro. Ja mam je minute pozniej niz synchronizacja z allegro, ale jak ktos ma dlugie czasy pobierania transakcji to moze sie okazac ze klient na linka poczeka kilkadziesiat minut, a powienien go dostawac zaraz po zakupie.

 

[Bartosz Rosa 1 776]

No chyba, że zostanie wersja taka jak jest teraz, czyli przy aukcji można będzie wybrać czy ma pobierać czy wysyłać i pobierać. Chodzi tylko o to, czy jest sens ustalania innego czasu dla operacji wysyłania i pobierania.

 

Wiadomości będą się wysyłać same, ale też pytanie czy jest sens ustalać że mają się pobierać co 5 minut a wysyłać np co 10.

 

Jak juz jestemy przy tego typu zmianach, to sugeruje opcje tworz strefe automatycznie zaraz po pobraniu transkacji.

-> Dodatkowo, po pobraniu transakcji można będzie wywołać synchronizację strefy, wiadomości (wyślij) i Subiekta.

[e-strefa 0]

Jezeli to przyspieszy pobieranie, to mysle ze jak najbardziej jest sens rozdzielenia.

[Bartosz Rosa 1 776]

Czy przyspieszy to zależy od ustawień czasów. Pytanie raczej czy jest sens ustalania osobnych czasów dla pobierania i wysyłania. W tej chwili można wybrać tylko pobierz lub wysyłaj i odbieraj i do tego jest jeden czas.

 

Może inni użytkownicy się wypowiedzą

[mac 1]

Ja już z Tobą rozmawiałem na ten temat. Zresztą na forum chyba też temat zakładałem.

[e-strefa 0]

Coprawda znowu jestem tym samym uzytkownikiem , ale moim zdaniem jesli to nie jest za duzo roboty i nie bedzie kosztem innych wazniejszych poprawek, to warto wprowadzic osobne czasy dla pobierania i wyslania.

Zawsze dzieki temu bedzie mozna troche odciazyc lacze czy tez komputer, bo prawda jest taka ze jak sello odpali wszystkie watki do synchronizacji, to slabszy komputer zaczyna zamulac.

[linport 0]

+ dla rozdzielenia. Zmiana bardzo logiczna i sensowna z punktu widzenia obciążenia sprzętu/łącza.

[MARCIN e-kupowanie.pl 1 016]

Jestem za rozdzieleniem z rozróżnieniem, niech każdy konfiguruje sobie ile, co i kiedy chce pobierać.

 

Ponadto proponuję, że tak nazwę "pod-przyciski" z prawej strony, obok przycisku 'wyślij/odbierz'. Mnie by się przydały osobne funkcje:

- pobierz transakcje

- pobierz komentarze

- synchronizuj towary z subiektem

- synchronizuj transakcje (dok. początkowe) z SGT

...

Albo kilka "pustych" przycisków jako następne po przycisku 'wyślij/odbierz', do indywidualnej konfiguracji, bo jak widzę potrzeby użytkowników bywają rozmaite.

[ebosman 0]

Witam, najpierw słowo wstępu - używam Sello (wczesniej MS) ok. 1 miesiąc i uważam, że to dobry program i co najważniejsze ciągle poprawiany przy współpracy z użytkownikami. Gratuluję i dziękuję!

W temacie wątku - uważam, że rozróżnienie w synchronizacji jest potrzebne, bo przyspieszy wymianę danych z allegro.

[stal-car 0]

Osobiście niesłychanie potrzebna mi jest opcja ustawienia pobieranie o określonej godzinie, np. codziennie o godz. 18:00. Mam ponad 35'000 przedmiotow w Allegro, wiec srednio na dzien Sello zasysa nowych 1'000 przedmiotow i spowalnia mi i tak nienajlepsze lacze. Dlatego mam wylaczona aktualizcje, i codziennie na koniec pracy o 18:00 recznie zasysam odbieranie aukcji. Ale czesto jestem w rozjazdach badz zapominam o 18:00 wlaczyc pobierania. Zatem mozliwosc ustawienia pobierania na codziennie o danej godzinie byloby nieslychanie przydatne

 

moze jest mozliwosc gdzies recznego wklepania takiego ustawienia?

 

dzieki!

[herman 3]

Jestem jak najbardziej za podzieleniem na wysylanie i odbieranie, oraz osobne czasy dla kazdej jednej operacji. Lepiej aby bylo wiecej opcji i ludzie mogli wybierac niz jakby tego wyboru nie miec.

 

Aby nie komplikowac sprawy dotychczasowym uzytkownikom - domyslne okno z opcjami pobierania/wysylania zostawic takie jak jest a na dole zrobic belke 'Zaawansowane' - kliknac ja i po jej rozwinieciu mamy dostep do czasow i checkboxow dla kazdej aukcji z osobna.

[Bartosz Rosa 1 776]

Powracamy do tematu. Chcemy przyspieszyć synchronizację z Allegro a pierwszym krokiem będzie właśnie rozdzielenie synchronizacji różnych danych.

 

W ramach zmian natknęliśmy się na problem i chciałbym wysłuchać opinii doświadczonych użytkowników.

Mianowicie, w chwili obecnej pobieranie transakcji i formularzy jest rozdzielone i "głównym" wyborem jest pobieranie danych bez dziennika zdarzeń (historii). Trwa to długo, bo pobiera wszystkie dostępne dane i ma również swoje minusy (brak rozróżniania transakcji jednego kupującego na tej samej aukcji).

 

Po zmianach planujemy rzecz następującą: Domyślnie wybór pobierania transakcji będzie pobierał dane na podstawie dziennika zdarzeń a jako dodatkową opcję dodamy pobranie pełnych danych - niejako odwracając w interfejsie graficznym dotychczasowe opcje. Ma to na celu również zwiększenie czytelności tychże opcji zwłaszcza dla nowych użytkowników.

 

Dodatkowo zastanawiamy się czy opcji pobierania formularzy nie połączyć z opcją pobierania transakcji pod jednym wspólnym hasłem.

Planujemy również, aby w ustawieniach synchronizacji automatycznej zamiast dotychczasowego czasu synchronizacji z serwisami aukcyjnymi można było wybrać osobno czas synchronizacji transakcji wraz z FODami i dodatkowo możliwość zdefiniowania jak często (konkretnie, co ile synchronizacji) mają być pobierane pełne dane dla transakcji i formularzy.

 

Widziałem niejednokrotnie, że macie ustawione pobieranie transakcji na podstawie historii, a pobieranie formularzy pełne - takiego stanu nie będzie się dało osiągnąć w proponowanych zmianach. Pytanie czy jest to potrzebne? Zysk czasowy z rozdzielenia pobieranych danych w takich sytuacjach powinien wynagrodzić brak takiego ustawienia.

 

Proszę zatem o opinię od Was nt przedstawionych powyżej zmian. Opinie w stylu "zajmujemy się pierdołami zamiast zrobić A czy B" nic nie wniosą bo w naszej ocenie zgłoszeń przyspieszenie pobierania danych z Allegro jest rzeczą istotną, zwłaszcza dla sprzedawców posiadających dużą liczbę aukcji/transakcji a w tej kwestii w Sello było bardzo niewiele zmian.

[Ks. Robak 314]

Jak zwykle się wypowiem, choć pewnie jak zwykle nie na temat.

 

Szybkość ściągania jest oczywiście bardzo ważna, ale jeszcze ważniejsza jest pewność danych które się otrzymuje.

 

Myślę, że wiele osób zgodzi się na wolniejsze pobieranie, pod warunkiem, że dane będą prawidłowe.

 

Ja używam ustawień defaultowych i póki co działają dobrze:)

 

Jeśli proponowane zmiany będą też działały dobrze, a do tego szybciej, to tylko lepiej  

 

Jednak rozumiem, że idea jest nieco inna - dane będą pobierane szybko, i nie koniecznie kompletnie, a jedynie będzie możliwość zdefiniowania co ile czasu mają być pobierane dane kompletne.

 

Jeśli tak, to oczywiście jest to opcja którą pewnie wiele osób wybierze, choć ja będę wolał ssać wszystko jak teraz, gdyż moja organizacja pracy jest pewnie inna niż większości sprzedających. Wybija godzina, włączam Sello i za godzinę muszę mieć wszystko ściągnięte i kompletne, bo rozpoczynam pakowanie.

Taki system można stosować tylko przy niewielkiej ilości transakcji dziennej, ale takie osoby też istnieją

 

Pytanie tylko - czy po zmianach będzie można tak poustawiać, aby ściągać wszystko od razu kompletne jak teraz ?

 

 

Druga sprawa, to czy komuś potrzebne są szybko dane z ewentualnie brakującymi transakcjami ?

Głównie chodzi o zakupy jednego klienta, które potem trzeba wsadzić do jednej paczki.

Zastanawiam się, czy aby przypadkiem i tak nie będzie sytuacji, że każdy będzie miał włączone pełne pobieranie, bo inaczej pakowanie będzie mógł rozpoczynać i tak dopiero po pełnym pobraniu danych co ustawioną ilość cykli.

[MARCIN e-kupowanie.pl 1 016]

Aktualnie problemem jest brak pewności, że wszystko zeszło. Niestety, trzeba się posiłkować mailami dla porównania. Jak dla mnie - obojętnie jaka metoda, ale żeby dało się ustawić tak, że na 100% wszystko zejdzie.

 

Teraz niektóre rzeczy schodzą z zaznaczeniem "tylko na podstawie historii" i  "na podstawie dziennika zdarzeń" a inne nie zejdą tak i godzinę, trzeba odznaczyć obie opcje i pobrać pełne dane - wtedy się pojawią zazwyczaj przy pierwszym ściągnięciu (warto dodać, że chyba allegro nie nadąża bo niektóre dane nie są dostępne przez kilka(naście) minut po kupnie i otrzymaniu maili - przynajmniej w tym czasie żadne ściąganie nie pomaga).

 

Resume - ważne, żeby opracować metodę, która zagwarantuje pobranie WSZYSTKICH DOSTĘPNYCH danych, czy to będzie 30 sek. czy 5 min. to dla mnie obojętne...

 

PS może przy okazji dało by się "wyciągnąć" kilka przycisków na górny pasek w transakcjach (tam, gdzie wybieramy "Wyślij/Odbierz"); fajnie było by mieć swoje opcje dostępne obok do jednokliku

[Ks. Robak 314]

 

PS może przy okazji dało by się "wyciągnąć" kilka przycisków na górny pasek w transakcjach (tam, gdzie wybieramy "Wyślij/Odbierz"); fajnie było by mieć swoje opcje dostępne obok do jednokliku

 

Albo jeszcze lepiej - profile ściągania i możliwość ich wsadzenia na pasek narzędzi.

Wówczas możnaby pobierać na zmianę z różnymi ustawieniami bez kłopotów.

 

[azalewski1 1]

Pewność ponad wszystko !

mam około 1700 aukcji i 20 minut synchronizacji. Dane przychodzą kompletne - oczywiście o ile allegro już udostępniło informacje.

 

[Bartosz Rosa 1 776]

Pytanie tylko - czy po zmianach będzie można tak poustawiać, aby ściągać wszystko od razu kompletne jak teraz ?

Tak, jeśli wybierzesz, że co 1 pobranie mają się pobierać pełne dane.

 

Idea korzystania z dziennika zdarzeń raczej nie wyklucza kompletności danych. Chcemy użyć innego dziennika zdarzeń, niż jest używany w tej chwili (na Allegro są 2).

 

Teraz niektóre rzeczy schodzą z zaznaczeniem "tylko na podstawie historii" i  "na podstawie dziennika zdarzeń" a inne nie zejdą tak i godzinę, trzeba odznaczyć obie opcje i pobrać pełne dane - wtedy się pojawią zazwyczaj przy pierwszym ściągnięciu

Dlatego też pozostawimy oba mechanizmy, tylko w nieco innej postaci. W podanym przypadku raczej kierowałbym się w stronę ustalenia co jest tego przyczyną, bo niestety jest to trudny do powtórzenia i badania błąd. Z naszych obserwacji i obserwacji innych użytkowników webApi wynika, że luki zdarzają się w dzienniku na Allegro. Raczej tam powinno to zostać naprawione, chociaż bliższa analiza tego problemu może nam pomóc w opracowaniu obejścia.

 

WSZYSTKICH DOSTĘPNYCH danych, czy to będzie 30 sek. czy 5 min.

W Sello mamy też użytkowników takich, u których pobieranie danych trwa ponad godzinę - specjalnie robiliśmy poprawkę przywracania sesji, która wygasa po godzinie, aby dało się pobrać wszystkie dane.

 

Główną zaletą nowego rozwiązania jest fakt, że można będzie pobrać transakcje niezależnie od innych danych (typu aukcje i komentarze). W tej chwili można to zrobić tylko ręcznie.

 

PS może przy okazji dało by się "wyciągnąć" kilka przycisków na górny pasek w transakcjach (tam, gdzie wybieramy "Wyślij/Odbierz"); fajnie było by mieć swoje opcje dostępne obok do jednokliku Uśmiech

Zobaczymy co da się zrobić. Jednak przydała by się tam możliwość konfiguracji a to zabiera trochę czasu, które możemy w tej wersji nie mieć.

 

 

[MARCIN e-kupowanie.pl 1 016]

Zobaczymy co da się zrobić. Jednak przydała by się tam możliwość konfiguracji a to zabiera trochę czasu, które możemy w tej wersji nie mieć.

 

Tak, zróbcie to z opcją konfiguracji. Może być na następną wersję

[MARCIN e-kupowanie.pl 1 016]

PS

 

Zauważyłem, że po pobraniu danych z allegro sello nie robi automatycznej synchronizacji towarów z subiektem. Wydaje mi się, że była by to dobra opcja - koniec pobierania danych z allegro > automatyczny start synchronizacji z subiektem (bez względu na ustawioną częstotliwość w sello).

[PanBanBan Marcin 185]

To ja jeszcze krótko dodam:

1. Jakkolwiek by to nie było rozróżnione to żeby w opcjach czasu "synchronizuj co X minut" dodać opcję wyboru nie tylko "co X minut" ale także "konkretnej godziny", np:

-pobierz pełne dane o aukcjach - codziennie o 3:00 (w nocy)

-wyślij komentarze - codziennie o 4:00 (w nocy)

Tak, żeby można było wszystkie "zbędne", w trakcie dnia pracy, synchronizacje ustawić właśnie poza godzinami pracy. Odciąży się serwer, łącze i Allegro.

 

2. Skoro będzie to przebudowywane to czy można by dodać po wykonaniu synchronizacji automatyczne odświeżanie chociażby modułu start.

 

3. I ważne powiadomienie dźwiękiem o wybranym zdarzeniu, np. jeśli pobrano nowe transakcje.

 

Denerwujące jest, że trzeba co chwilę przełączać się:

-na moduł start (i go odświeżać żeby zobaczyć zmiany)

-lub moduł wiadomości/transakcji (i też je odświeżać żeby zobaczyć zmiany)

tylko po to żeby sprawdzić czy pobrała się nowa transakcja. Generalnie nikt nie siedzi przed komputerem i wpatruje się w Sello/naciska klawisz "F5" czy przyszło coś nowego tylko zajmuje się czymś innym, pracuje na innych modułach, w innych programach.

 

My musieliśmy ustawić powiadomienie przez GG i dodatkowy zewnętrzny program pocztowy, które niestety ciągle "dzwonią", bo informują o każdej wiadomości mailowej lub sprzedaży/zakończeniu aukcji i też - co zadzwonią to trzeba je sprawdzać co to przyszło.

 

Można by to dodać na przykład obok opcji wyboru czasu: "powiadom dźwiękiem gdy coś pobierzesz/zakończysz daną synchronizację.

[tadeusz 0]

A ja zasugeruję jeszcze opcję zamknij program po zakończeniu pobierania z allegro.

Mam klienta gdzie pobieranie według historii nie ma aktualnie żadnego sensu. Braków jest za dużo. Pobieram pełne dane 1 raz na dobę. (Pobieranie trwa nawet około 6-8h).

Sello bardzo często pomimo zakończenia operacji pobierania danych, i kiedy żadna operacja już nie trwa nie uwalnia wszystkiego w bazie danych.

Próba grupowania np. 150 transakcji (ok 3-15 min) pojawia się komunikat w chmurce (?). I tyle, parę minut czekania dla chmurki. Taka sytuacja średnio 1 raz na godzinę. Zamknięcie Sello na serwerze który odpowiada za pobieranie danych powoduje, że problemy znikają.

I kolejna sugestia. Jeżeli nie powiedzie się pobieranie transakcji ze względu na nieaktualną wersję parametrów/pól formularzy itd. Sello mogło by wybraną operację pobierania danych ponowić po zakończeniu aktualizowania danych. Bywają okresy, że Allegro często aktualizuje te dane i przez 3-5 dni miałem zaległości w pobieraniu danych co u tego klienta nie jest łatwe:/

[PanBanBan Marcin 185]

Mam klienta gdzie pobieranie według historii nie ma aktualnie żadnego sensu. Braków jest za dużo. Pobieram pełne dane 1 raz na dobę. (Pobieranie trwa nawet około 6-8h).

 

Ale o którym pobieraniu piszesz: aukcji czy transakcji?

 

1. Pobieranie transakcji przy odznaczonych opcjach "na podstawie historii" i "na podstawie dziennika zdarzeń" nie może trwać tak długo. Nie wiem jak dużo tych transakcji by trzeba mieć

 

2. A jeśli chodzi o pobieranie pełnych danych aukcji czyli przy odznaczonym "tylko dla niekompletnych aukcji", to żeby to pobieranie pełnych danych o aukcjach trwało tak długo (6-8h) to trzeba by mieć jakieś 15-20 tysięcy aukcji Dodatkowo pobieranie pełnych danych o aukcjach ma sens tylko w przypadku gdy edytujemy aukcje po stronie Allegro.

[Bartosz Rosa 1 776]

Obawiam się, że to jest właśnie ten przypadek powyżej 20tyś aukcji.

Czy w momencie tego grupowania serwer już nie pobiera danych? Trochę jest to dziwne, żeby Sello samo w sobie trzymało coś po zakończeniu synchronizacji, może to być jakiś problem bardziej związany z samym serwerem.

 

 

 

[tadeusz 0]

 

Ale o którym pobieraniu piszesz: aukcji czy transakcji?

 

1. Pobieranie transakcji przy odznaczonych opcjach "na podstawie historii" i "na podstawie dziennika zdarzeń" nie może trwać tak długo. Nie wiem jak dużo tych transakcji by trzeba mieć

 

2. A jeśli chodzi o pobieranie pełnych danych aukcji czyli przy odznaczonym "tylko dla niekompletnych aukcji", to żeby to pobieranie pełnych danych o aukcjach trwało tak długo (6-8h) to trzeba by mieć jakieś 15-20 tysięcy aukcji Dodatkowo pobieranie pełnych danych o aukcjach ma sens tylko w przypadku gdy edytujemy aukcje po stronie Allegro.

Pobieranie całości trwa 6-8h. Pobierane są aukcje z pełnymi danymi oraz transakcje i formularze. Swego czasu było nawet 300000 transakcji miesięcznie. Aukcje nie są wystawiane z Sello. Jest około 50 komputerów opisujących aukcje. Są pobierane i przetwarzane dalej.

 

Co do zajmowania bazy wszystko wskazuje że to Sello. Postaram się coś jeszcze wysledzić.