EvenDB: Optimizing Key-Value Storage for Spatial Locality

Zastosowania wykorzystujące pamięć klucz-wartość(KV) często manifestują dużą lokalność danych, przykładowo kiedy wiele elementów posiada identyczne prefixy kluczy. Ten powszechny wzorzec dostępu jest niewystarczająco wykorzystywany przez wszechobecną strukturę Log-structured merge-tree znajdującą się u podstaw wysokoprzepustowych magazynów KV w obecnych czasach. Zespół Yahoo Research przedstawia EvenDB, trwały magazyn KV uniwersalnego przeznaczenia, zoptymalizowany pod kątem obciążenia z dużą lokalnością danych. EvenDB łączy przestrzenne partycjonowanie danych z LSM-podobnym wsadowym I/O, przez co osiąga wysoką wydajność, zapewnia spójność danych przy wielowątkowym dostępie oraz ogranicza amplifikację zapisów. W eksperymentach z danymi z produkcji wielkiej platformy analitycznej, EvenDB sprawuje się lepiej niż dotychczasowe rozwiązania state-of-art. Np. na zbiorze danych o wielkości 256GB, EvenDB importuje dane 4.4 raza szybciej niż RocksDB oraz redukuje amplifikację zapisu prawie czterokrotnie. W tradycyjnym benchmarku “Yahoo! Cloud Serving Benchmark” z obciążeniem pozbawionym lokalności danych, EvenDB dorównuje RocksDB i istotnie przewyższa pozostałe badane rozwiązania open-source.