Zasoby systemowe

[Sharkiz 1]

Witam,

 

Po aktualizacji Sello z 1.10 do 1.11 zasoby systemowe mocno obciążone ponad 1GB pamięci to trochę dużo. W poprzedniej wersji było w sumie ok. Proszę o pomoc

[Bartosz Rosa 1 784]

W jakiej sytuacji tak się dzieje? Czy dotyczy to pobierania danych? Czy Sello zajmuje tyle po włączeniu?

[Sharkiz 1]

OK,a więc tak po włączeniu jest ok 50mb potem ściągam dane, typu transakcje, formularze, komentarze, i wszystkie ptaszki po prawej stronie. Po tym zabiegu już jest 500MB, a wiec mowie sobie co mi tam jeszcze raz to samo na bis niech BARTEK ma rzetelne dane i po tym co widzę już ponad 1GB zajętych mych zasobów. Dalej nie robię bo komputer mi jeszcze wybuchnie Bartek co to jest???

[Bartosz Rosa 1 784]

Generalnie pobieranie danych zwalnia pamięć po zakończeniu pobierania. Jeśli tak się nie dzieje, prosiłbym o pobranie kolejno różnych danych (osobno transakcje, forumalrze, aukcje, itd) aby móc określić która opcja dokładnie nie zwalnia pamięci.

[Bartosz Rosa 1 784]

Chyba widzę problem przy pobieraniu formularzy. Jeśli się potwierdzi to postaramy się wypuścić poprawkę możliwie najszybciej.

[Sharkiz 1]

Potwierdzam, podczas ściągnięcia danych z formularza z transakcjami Sello nie zwalnia pamięci. Pozdrawiam

[tadeusz 0]

Potwierdzam. Pobieranie dużej ilości formularzy kończy się u mnie błędem:

 

Ostatnia operacja nie powiodła się.
Out of memory.
(Microsoft Cursor Engine) Out of memory.

 

Dodatkowo pobieranie dużej ilości aukcji (jakieś 25000) nie udaje się. Pobiera około 10000 i kończy błędem:

 

Ostatnia operacja nie powiodła się.
Not enough storage is available to complete this operation.

 

Na pewno nie ma problemu z miejscem na dysku, ponad 100gb wolne. Co do zasobów przy formularzach serwer ma 12gb pamięci.

 

Jak zachowa się program przy pobieraniu kilkukrotnym tych samych danych? Dociągnie brakujące obiekty? Czy zacznie od nowa?

Mam pilną sprawę z ściągnięciem dużej ilości danych, planowany i konieczny start od nowego roku.

 

Kolejna próba pobierania, tym razem samych formularzy zakończyła się ponownie błędem o braku miejsca. Można jakoś sprawdzić ile formularzy jest na allegro? Sello w logu wyświetla ile udało się pobrać na koniec operacji?

Co można z tym zrobić? Nie mogę pobrać danych z formularzy, a nawet nie wiem tak naprawdę jaka część się pobrała. Według ilości z logu to jakieś 2623, natomiast dotyczą się one około 50% transakcji na liście w Sello (około 9000 transakcji).

[Bartosz Rosa 1 784]

W wersji 1.12 będziemy przepisywać mechanizm pobierania danych z Allegro, bo jedna z metod webAPi, które używany zostanie usunięta. Weźmiemy przy tym pod uwagę duże ilości danych. W tej chwili pobieranie danych zwalnia pamięć dopiero po zakończeniu, co przy 25tyś aukcji może spowodować przekroczenie pamięci dla 32bit aplikacji. Więc te 12GB pamięci niewiele tutaj zmienia.

 

Przy kolejnym pobieraniu danych zaczyna pobierać od nowa. Można spróbować pobierać dane zaznaczając pojedyncze opcje aukcji, zdecydowanie nie pobierać pełnych danych o aukcjach jeśli one nie są potrzebne.

 

 

Ile jest formularzy to można sprawdzić za pomocą webApi, nie wiem czy z samej strony Allegro jest to do sprawdzenia.

 

[tadeusz 0]

Czyli program bezużyteczny przy dużych ilościach danych:/ Znów sytuacja sprzed roku się powtarza. Jak udało mi się rozwiązać inne problemy jak wiele paragonów czy modyfikacje wydruków i inne pierdoły, to okazuje się, że i tak nie uda mi się wdrożyć. Już się pojawiła sensowna koncepcja pracy, klient nawet zaakceptował, a tu pracować się da, ale nie da się ściągnąć danych:)) Już zaczynam się zastanawiać co powiem klientowi...

Jest jakakolwiek szansa na jakąś doraźną poprawkę? Wygląda na to, że aukcje się pobrały. Transakcje chyba też. Jednak formularze to tragedia.

 

Przy ponownym uruchomieniu pobiera od nowa? A co jeżeli aukcje już istnieją? Powiedzmy pobrał mi 10000 aukcji. Puściłem drugi raz pobieranie, teraz samych aukcji. Zakończył bez błędu. Wskazywało by to, że pobrane są wszystkie. Zrobiło się koło 35000. Co jeżeli podczas pobierania napotkał już pobrane w bazie? Pomija je i nie dodaje ponownie do bazy?

[Bartosz Rosa 1 784]

Poprawka formularzy będzie dzisiaj, bo już udało nam się znaleźć i poprawić połowę przypadków. Niestety teraz nie bardzo mam czas pisać więcej, no bo czas goni .

[tadeusz 0]

Bardzo się cieszę, że coś się uda. Czekam jednak w wolnej chwili na więcej szczegółów co do ponownego pobierania obiektów. Muszę jakoś upewnić się, że pobrało się wszystko.

[Sharkiz 1]

Tadeusz jak ty to ogarniasz taka ilość aukcji a co za tym idzie transakcji? Trzeba przyznać ze przy takiej ilości to ciężko o weryfikację trzeba mięć 100% sprawne Sello + duże zaufanie do pobranych danych

[tadeusz 0]

Właśnie nie do końca ogarniam:) Potrzebuję sposobu na weryfikację wstępną czy pobrało się wszystko co podaje Allegro.

Dalsza weryfikacja jest w locie przez przetwarzanie transakcji na podstawie wyciągów bankowych i wyciągów płatności Allegro.

[Bartosz Rosa 1 784]

Niestety dzisiaj nie zdążymy wystawić poprawki, bo wymaga jeszcze przetestowania pobierania formularzy. Wersja pojawi się jutro, mam nadzieję przed południem jeśli wszystkie testy przejdą pomyślnie.

[tadeusz 0]

Rozumiem, że takie testy muszą chwilkę potrwać. Mam tylko ogromną nadzieję że na weekend będzie, bo muszę na poważnie ustawiać bazy itd.

[PITERd 0]

Przy instalacji nowej wersji wyskakuje mi taki błąd.

Czy i komputer który pracuje jako serwer po prostu chce odlecieć, tak jest obciążony.

Może mi ktos pomóc, albo jak mam wrócić do starszej wersji sello, bo na chwilę obecna nie moge nic zrobic ;/

 

====================================================

 

Aktualizacja podmiotu: GOOd z wersji: 1.100 do wersji: 1.11.0.1634 dnia: 2012-12-20

Zastosowano do podmiotu skrypt: C:\Program Files\InsERT\Sello\Skrypty\skrypt1.100_1.109.enc

Nie powiodło się wykonanie polecenia:

 

 

CREATE  CLUSTERED  INDEX IX_jb_Message

 

ON jb_Message (jm_JobId)

 

ON [PRIMARY]

 

 

Błąd 80040E14: Could not allocate space for object 'dbo.SORT temporary run storage:  436688438886400' in database 'GOOd' because the 'PRIMARY' filegroup is full. Create disk space by deleting unneeded files, dropping objects in the filegroup, adding additional files to the filegroup, or setting autogrowth on for existing files in the filegroup.

Aktualizacja podmiotu nie powiodła się: 80040e14: Could not allocate space for object 'dbo.SORT temporary run storage:  436688438886400' in database 'GOOd' because the 'PRIMARY' filegroup is full. Create disk space by deleting unneeded files, dropping objects in the filegroup, adding additional files to the filegroup, or setting autogrowth on for existing files in the filegroup.

======================================================

[Bartosz Rosa 1 784]

Robimy co w naszej mocy, ale pewnych etapów wypuszczania poprawki przeskoczyć niestety nie możemy - takie procedury.

[PITERd 0]

Bartku, mam rozumiec ze mam czekać na poprawkę by go poprawnie zainstalować?

 

[Bartosz Rosa 1 784]

Ten post dotyczył poprzedniego, nie zauważyłem nowej strony.

 

Natomiast jeśli chodzi o błąd z konwersją, spowodowany jest on brakiem miejsca w bazie SQL 0 dla sewera SQL 2005 jest to 4GB, dla SQL 2008 R2 jest to 10GB.

 

Rozwiązaniem jest zainstalowanie nowego serwer SQL Server 2008 Express R2.

Można też spróbować wykonać takie polecenie za pomocą SQL Management Studio:

 

delete from jb_Message

delete from jb__Job

 

Spowoduje to usunięcie wpisów z raportu, których jak mniemam jest tam strasznie dużo i zapychają miejsce w bazie.

[PITERd 0]

ok, zaraz to to zrobię,

Dzis jak podszedłem do aktualizacji, otrzymałem znowu takie komunikaty.

zobaczymy, czy po delete from jb_Message, delete from jb__Job coś się żmieni...

 

[Bartosz Rosa 1 784]

Należy najpierw wykonać kopię bazy z programu, lub (czego nie zalecamy) zmienić datę w tabeli pd_Parametr w polu pdp_ArchDataOst na dzisiejszą.

 

Proszę jednak w takim wypadku zrobić backupa z poziomu np SQL Management Studio. W linku FAQ w mojej sygnaturce jest tutorial do tego programu wraz z opisem jak zrobić backup.

[PITERd 0]

OK, ogarnąłem i juz wszytko jest ok.

Bardzo dziękuje za pomoc :-)

[Bartosz Rosa 1 784]

Poprawka do wersji 1.11 jest dostępna tutaj: http://forum.sello.pl/index.php?topic=5811

[tadeusz 0]

I teraz jest dobrze. W etapach udało mi się pobrać dane bez komunikatów o błędach. Wygląda na to, że działa dobrze gdy pobieramy osobno aukcje, transakcje i formularze.

Jak pobieranie według historii? Jeżeli pobrałem dane powiedzmy 24.12 to jeżeli teraz puszczę pobieranie tylko według zmian w historii dostanę zapewne mniejszą paczkę danych. Będą to nowe obiekty od czasu ostatniego pobierania?

[Bartosz Rosa 1 784]

Zależy, czy podczas pobierania wszystko zostało zapisane poprawnie. Jeśli przykładowo pobierane są formularze na podstawie dziennika zdarzeń (de facto jest to to samo co historia dla transakcji) i dla któregoś formularza brakuje jeszcze transakcji to przy ponownym pobieraniu formularzy będą one pobierane od ostatniego punktu w czasie.