tmp
This commit is contained in:
@@ -4,13 +4,24 @@ import (
|
||||
"fmt"
|
||||
"log"
|
||||
|
||||
bin "gordenko.dev/dima/bin/little"
|
||||
"gordenko.dev/dima/pretty"
|
||||
"gordenko.dev/dima/qb"
|
||||
"gordenko.dev/dima/qb/conbuf"
|
||||
)
|
||||
|
||||
/*
|
||||
Payload data файла має таку структуру:
|
||||
vvvvvvvv-> <-ttttttt
|
||||
де v - це values, які додаються зліва направо, а читаються справа наліво;
|
||||
t - це timestamps, які додаються справа наліво, а читаються зліва направо.
|
||||
|
||||
Timestamps читаються звичайними методами Get*, а писатись мають типу ByRightBound
|
||||
|
||||
*/
|
||||
|
||||
type ReverseTimeDeltaCompressor struct {
|
||||
buf *conbuf.ContinuousBuffer
|
||||
buf []byte
|
||||
pos int
|
||||
lastUnixtime uint32
|
||||
lastDelta uint32
|
||||
@@ -19,21 +30,21 @@ type ReverseTimeDeltaCompressor struct {
|
||||
state *TimeDeltaBound
|
||||
}
|
||||
|
||||
func NewReverseTimeDeltaCompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaCompressor {
|
||||
func NewReverseTimeDeltaCompressor(buf []byte, size int) *ReverseTimeDeltaCompressor {
|
||||
s := &ReverseTimeDeltaCompressor{
|
||||
buf: buf,
|
||||
pos: size, // перший вільний байт
|
||||
}
|
||||
if size > 0 {
|
||||
u64, n, err := s.buf.ReverseGetVarUint64(s.pos - 1)
|
||||
u64, n, err := bin.ReverseGetVarUint64(s.buf[:s.pos-1])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last unixtime: %s", err)
|
||||
}
|
||||
s.lastUnixtime = uint32(u64)
|
||||
s.pos -= n
|
||||
if s.pos > 0 {
|
||||
s.h = s.buf.GetByte(s.pos - 1)
|
||||
u64, s.lastDeltaSize, err = s.buf.ReverseGetVarUint64(s.pos - 2)
|
||||
s.h = s.buf[s.pos-1]
|
||||
u64, s.lastDeltaSize, err = bin.ReverseGetVarUint64(s.buf[:s.pos-2])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last delta: %s", err)
|
||||
}
|
||||
@@ -66,7 +77,7 @@ func (s *ReverseTimeDeltaCompressor) Append(unixtime uint32) {
|
||||
if s.h < 127 {
|
||||
// increase counter
|
||||
s.h++
|
||||
s.buf.SetByte(s.pos-1, s.h)
|
||||
s.buf[s.pos-1] = s.h
|
||||
} else {
|
||||
// не можу збільшити - буде переповнення. Додаю новий literal блок
|
||||
// counter overflow
|
||||
@@ -106,28 +117,28 @@ func (s *ReverseTimeDeltaCompressor) convertLastFromLiteralToRun() {
|
||||
// Зменшую кількість елементів в literal блоці
|
||||
s.h--
|
||||
s.pos -= 1 + s.lastDeltaSize
|
||||
s.buf.SetByte(s.pos, s.h) // закриваю literal блок
|
||||
s.buf[s.pos] = s.h // закриваю literal блок
|
||||
s.pos++
|
||||
s.lastDeltaSize = s.buf.ReversePutVarUint64(s.pos, uint64(s.lastDelta))
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(s.lastDelta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.h = 0 // run блок, довжини 2
|
||||
s.buf.SetByte(s.pos, s.h)
|
||||
s.buf[s.pos] = s.h
|
||||
s.pos++
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) convertLiteralToRun() {
|
||||
// Знімаю flagLiteral, а лічильник 0 дорівнює 2 елементам в серії.
|
||||
s.h = 0
|
||||
s.buf.SetByte(s.pos-1, s.h)
|
||||
s.buf[s.pos-1] = s.h
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) appendDeltaToLiteral(delta uint32) {
|
||||
s.h++ // збільшую к-сть дельт
|
||||
s.lastDelta = delta
|
||||
s.pos--
|
||||
s.lastDeltaSize = s.buf.ReversePutVarUint64(s.pos, uint64(delta))
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.buf.SetByte(s.pos, s.h)
|
||||
s.buf[s.pos] = s.h
|
||||
s.pos++
|
||||
}
|
||||
|
||||
@@ -135,9 +146,9 @@ func (s *ReverseTimeDeltaCompressor) appendNewLiteral(delta uint32) {
|
||||
//fmt.Println("appendNewLiteral", delta)
|
||||
s.h = flagLiteral
|
||||
s.lastDelta = delta
|
||||
s.lastDeltaSize = s.buf.ReversePutVarUint64(s.pos, uint64(delta))
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.buf.SetByte(s.pos, flagLiteral) // literal, length = 1
|
||||
s.buf[s.pos] = flagLiteral // literal, length = 1
|
||||
s.pos++
|
||||
}
|
||||
|
||||
@@ -146,7 +157,8 @@ func (s *ReverseTimeDeltaCompressor) DeleteLast() {
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) Sync() {
|
||||
s.pos += s.buf.ReversePutVarUint64(s.pos, uint64(s.lastUnixtime))
|
||||
n, _ := bin.ReversePutVarUint64(s.buf[s.pos:], uint64(s.lastUnixtime))
|
||||
s.pos += n
|
||||
}
|
||||
|
||||
// FIX - check methods
|
||||
@@ -156,7 +168,7 @@ type TimeDeltaBound struct {
|
||||
H byte
|
||||
LastUnixtime uint32
|
||||
LastDelta uint32
|
||||
Chunks [][]byte
|
||||
Chunks []byte
|
||||
}
|
||||
|
||||
// delta h
|
||||
@@ -179,16 +191,12 @@ func (s *ReverseTimeDeltaCompressor) Lock() {
|
||||
}
|
||||
// позиція посувається вліво, отже може перескочити на попередній chunk
|
||||
pos := s.pos - 1 - s.lastDeltaSize
|
||||
chunksQty := pos / conbuf.ChunkSize
|
||||
if (pos % conbuf.ChunkSize) > 0 {
|
||||
chunksQty++
|
||||
}
|
||||
s.state = &TimeDeltaBound{
|
||||
Pos: pos,
|
||||
H: s.h,
|
||||
LastUnixtime: s.lastUnixtime, // fix
|
||||
LastDelta: s.lastDelta,
|
||||
Chunks: s.buf.Chunks()[:chunksQty],
|
||||
Chunks: s.buf[:s.pos], // fix check pos?
|
||||
}
|
||||
}
|
||||
|
||||
@@ -205,9 +213,9 @@ func (s *ReverseTimeDeltaCompressor) Offset() int {
|
||||
}
|
||||
|
||||
// fix -
|
||||
func (s *ReverseTimeDeltaCompressor) Snapshot() ([][]byte, int) {
|
||||
func (s *ReverseTimeDeltaCompressor) Snapshot() ([]byte, int) {
|
||||
if s.state == nil {
|
||||
return s.buf.Chunks(), s.Size()
|
||||
return s.buf, s.Size()
|
||||
}
|
||||
// ВАЖЛИВО!
|
||||
// Треба відтворити стан останнього чанка
|
||||
@@ -241,7 +249,7 @@ func (s *ReverseTimeDeltaCompressor) CreateDecompressor() qb.TimestampDecompress
|
||||
func (s *ReverseTimeDeltaCompressor) Renew() {
|
||||
// УВАГА!
|
||||
// state не чіпаємо
|
||||
s.buf = conbuf.New(nil)
|
||||
s.buf = make([]byte, minBufferSize)
|
||||
s.pos = 0
|
||||
//
|
||||
//s.baseValue = 0
|
||||
@@ -250,14 +258,14 @@ func (s *ReverseTimeDeltaCompressor) Renew() {
|
||||
s.h = 0
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) Chunks() [][]byte {
|
||||
return s.buf.Chunks()
|
||||
func (s *ReverseTimeDeltaCompressor) Chunks() []byte {
|
||||
return s.buf
|
||||
}
|
||||
|
||||
// DECOMPRESSOR
|
||||
|
||||
type ReverseTimeDeltaDecompressor struct {
|
||||
buf *conbuf.ContinuousBuffer
|
||||
buf []byte
|
||||
pos int
|
||||
lastDelta uint32
|
||||
lastUnixtime uint32
|
||||
@@ -267,7 +275,7 @@ type ReverseTimeDeltaDecompressor struct {
|
||||
done bool
|
||||
}
|
||||
|
||||
func NewReverseTimeDeltaDecompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaDecompressor {
|
||||
func NewReverseTimeDeltaDecompressor(buf []byte, size int) *ReverseTimeDeltaDecompressor {
|
||||
return &ReverseTimeDeltaDecompressor{
|
||||
buf: buf,
|
||||
pos: size,
|
||||
@@ -278,7 +286,7 @@ func (s *ReverseTimeDeltaDecompressor) RestoreFromEnd() {
|
||||
fmt.Println("RestoreFromEnd", s.pos)
|
||||
if s.pos > 0 {
|
||||
s.pos-- // перший байт даних
|
||||
u64, n, err := s.buf.ReverseGetVarUint64(s.pos)
|
||||
u64, n, err := bin.ReverseGetVarUint64(s.buf[:s.pos])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last unixtime: %s", err)
|
||||
}
|
||||
@@ -344,7 +352,7 @@ func (s *ReverseTimeDeltaDecompressor) NextValue() (value uint32, done bool) {
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaDecompressor) readHeader() {
|
||||
h := s.buf.GetByte(s.pos)
|
||||
h := s.buf[s.pos]
|
||||
s.pos--
|
||||
s.decodeHeaderByte(h)
|
||||
// fmt.Println("h:", h)
|
||||
@@ -362,7 +370,7 @@ func (s *ReverseTimeDeltaDecompressor) decodeHeaderByte(h byte) {
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaDecompressor) readDelta() {
|
||||
u64, n, err := s.buf.ReverseGetVarUint64(s.pos)
|
||||
u64, n, err := bin.ReverseGetVarUint64(s.buf[:s.pos])
|
||||
if err != nil {
|
||||
log.Fatalln(err)
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user