Zarządzanie pamięcią iskrową

Ta pula pamięci jest zarządzana przez Spark. Jest to odpowiedzialne za przechowywanie stanu pośredniego podczas wykonywania zadań, takich jak złączenia lub przechowywanie zmiennych rozgłoszeniowych. Wszystkie buforowane/utrwalone dane będą przechowywane w tym segmencie, w szczególności w pamięci tego segmentu.

1. Jak działa pamięć iskrowa?
2. Może iskra zabraknie pamięci?
3. Jak pamięć jest podzielona na iskrę??
4. Jak dostroić pamięć iskry??

Jak działa pamięć iskrowa?

Apache Spark to platforma obliczeniowa klastrów, która zapewnia interfejs API do programowania rozproszonego podobny do modelu MapReduce, ale został zaprojektowany tak, aby był szybki w przypadku zapytań interaktywnych i algorytmów iteracyjnych. Osiąga to przede wszystkim poprzez buforowanie danych wymaganych do obliczeń w pamięci węzłów w klastrze.

Może iskra zabraknie pamięci?

Brak pamięci na poziomie kierowcy

Sterownik w Spark to JVM, w którym działa główny przepływ sterowania aplikacji. Najczęściej sterownik kończy się błędem OutOfMemory z powodu nieprawidłowego użycia Spark.

Jak pamięć jest podzielona na iskrę??

Pamięć na stercie

Domyślnie Spark używa tylko sterty w pamięci. Obszar pamięci na stercie w executorze można z grubsza podzielić na następujące cztery bloki: Pamięć do przechowywania: służy głównie do przechowywania danych z pamięci podręcznej Spark, takich jak pamięć podręczna RDD, dane rozwijania itd.

Jak dostroić pamięć iskry??

Oto kilka sposobów, aby to zrobić:

1. W przypadku, gdy rozmiar pamięci RAM jest mniejszy niż 32 GB, flaga JVM powinna być ustawiona na –xx:+ UseCompressedOops. ...
2. Zagnieżdżonych struktur można uniknąć, używając kilku małych obiektów, a także wskaźników.
3. Zamiast używać ciągów znaków do kluczy, możesz użyć numerycznych identyfikatorów i wyliczanych obiektów.