wp
This commit is contained in:
@@ -7,7 +7,6 @@ import (
|
||||
bin "gordenko.dev/dima/bin/little"
|
||||
"gordenko.dev/dima/pretty"
|
||||
"gordenko.dev/dima/qb"
|
||||
"gordenko.dev/dima/qb/conbuf"
|
||||
)
|
||||
|
||||
/*
|
||||
@@ -35,22 +34,22 @@ func NewReverseTimeDeltaCompressor(buf []byte, size int) *ReverseTimeDeltaCompre
|
||||
buf: buf,
|
||||
pos: size, // перший вільний байт
|
||||
}
|
||||
if size > 0 {
|
||||
u64, n, err := bin.ReverseGetVarUint64(s.buf[:s.pos-1])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last unixtime: %s", err)
|
||||
}
|
||||
s.lastUnixtime = uint32(u64)
|
||||
s.pos -= n
|
||||
if s.pos > 0 {
|
||||
s.h = s.buf[s.pos-1]
|
||||
u64, s.lastDeltaSize, err = bin.ReverseGetVarUint64(s.buf[:s.pos-2])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last delta: %s", err)
|
||||
}
|
||||
s.lastDelta = uint32(u64)
|
||||
}
|
||||
}
|
||||
// if size > 0 {
|
||||
// u64, n, err := bin.ReverseGetVarUint64(s.buf[:s.pos-1])
|
||||
// if err != nil {
|
||||
// log.Fatalf("bug: get last unixtime: %s", err)
|
||||
// }
|
||||
// s.lastUnixtime = uint32(u64)
|
||||
// s.pos -= n
|
||||
// if s.pos > 0 {
|
||||
// s.h = s.buf[s.pos-1]
|
||||
// u64, s.lastDeltaSize, err = bin.ReverseGetVarUint64(s.buf[:s.pos-2])
|
||||
// if err != nil {
|
||||
// log.Fatalf("bug: get last delta: %s", err)
|
||||
// }
|
||||
// s.lastDelta = uint32(u64)
|
||||
// }
|
||||
// }
|
||||
return s
|
||||
}
|
||||
|
||||
@@ -58,99 +57,176 @@ func (s *ReverseTimeDeltaCompressor) Size() int {
|
||||
return s.pos
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) CalcRequiredSpace(value uint32) int {
|
||||
return 0
|
||||
}
|
||||
const hSize = 1
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) Append(unixtime uint32) {
|
||||
// retrun
|
||||
func (s *ReverseTimeDeltaCompressor) CalcRequiredSpace(unixtime uint32) (code int, size int) {
|
||||
if s.lastUnixtime > 0 {
|
||||
// base value
|
||||
//s.pos += s.buf.PutVarUint64(s.pos, uint64(value*s.coef))
|
||||
//s.baseValue = value
|
||||
//s.appendNewLiteral(0)
|
||||
|
||||
//} else {
|
||||
delta := unixtime - s.lastUnixtime
|
||||
if delta == s.lastDelta {
|
||||
if s.lastDelta > 0 {
|
||||
// 3rd value
|
||||
if s.h < 128 {
|
||||
// run блок - отже треба збільшити лічильник
|
||||
if s.h < 127 {
|
||||
// increase counter
|
||||
s.h++
|
||||
s.buf[s.pos-1] = s.h
|
||||
// run
|
||||
if delta == s.lastDelta && s.h < 127 {
|
||||
code = incementRun
|
||||
} else {
|
||||
// не можу збільшити - буде переповнення. Додаю новий literal блок
|
||||
// counter overflow
|
||||
s.appendNewLiteral(delta)
|
||||
code = endOfSeries
|
||||
}
|
||||
} else {
|
||||
// literal блок.
|
||||
// Якщо в ньому лише одне значення - перетворюю його на run блок.
|
||||
// Інакше забираю останнє значення із literal блока і додаю новий run блок.
|
||||
q := s.h & 127
|
||||
if q == 0 { // 1 кодується як 0
|
||||
s.convertLiteralToRun()
|
||||
// literal
|
||||
if delta != s.lastDelta {
|
||||
if s.h < 255 {
|
||||
code = incementLiteral
|
||||
} else {
|
||||
code = endOfSeries
|
||||
}
|
||||
} else {
|
||||
// забираю останнє значення із literal блоку щоб зробити run блок
|
||||
s.convertLastFromLiteralToRun()
|
||||
code = startRun
|
||||
}
|
||||
}
|
||||
} else {
|
||||
if s.h < 127 { // fix 128?
|
||||
// end of run
|
||||
s.appendNewLiteral(delta)
|
||||
} else {
|
||||
if s.h < 255 {
|
||||
// encode value from pos - 1, then append h byte
|
||||
s.appendDeltaToLiteral(delta)
|
||||
} else {
|
||||
// overflowed - encode new
|
||||
s.appendNewLiteral(delta)
|
||||
}
|
||||
code = add1stDelta
|
||||
}
|
||||
} else {
|
||||
code = addUnixtime
|
||||
}
|
||||
|
||||
if code != addUnixtime {
|
||||
size = hSize
|
||||
if code != incementRun {
|
||||
size += bin.CountVarUint64(uint64(unixtime))
|
||||
if code == endOfSeries {
|
||||
size += hSize
|
||||
} else if code == startRun && s.h > 128 {
|
||||
// need end of literal series
|
||||
size += hSize
|
||||
}
|
||||
}
|
||||
} else {
|
||||
size = 4
|
||||
}
|
||||
return
|
||||
}
|
||||
|
||||
const (
|
||||
addUnixtime = 0
|
||||
incementRun = 1
|
||||
incementLiteral = 2
|
||||
endOfSeries = 3
|
||||
startRun = 4
|
||||
add1stDelta = 5
|
||||
)
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) Append(code int, unixtime uint32) {
|
||||
delta := unixtime - s.lastUnixtime
|
||||
switch code {
|
||||
case incementRun:
|
||||
s.h++
|
||||
case incementLiteral:
|
||||
// // white s.lastDelta
|
||||
//s.lastDelta = delta
|
||||
s.h++
|
||||
case endOfSeries:
|
||||
// write h - end of series
|
||||
s.lastDelta = delta
|
||||
s.h = 128 // new literal (length=1)
|
||||
case startRun:
|
||||
if s.h > 128 { //
|
||||
// write h - end literal series if length > 1
|
||||
}
|
||||
// last literal convert to run (length=2)
|
||||
// write delta
|
||||
s.h = 0 // run, length=2
|
||||
|
||||
case add1stDelta:
|
||||
s.lastDelta = delta
|
||||
}
|
||||
// 1st value
|
||||
s.lastUnixtime = unixtime
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) convertLastFromLiteralToRun() {
|
||||
// Зменшую кількість елементів в literal блоці
|
||||
s.h--
|
||||
s.pos -= 1 + s.lastDeltaSize
|
||||
s.buf[s.pos] = s.h // закриваю literal блок
|
||||
s.pos++
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(s.lastDelta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.h = 0 // run блок, довжини 2
|
||||
s.buf[s.pos] = s.h
|
||||
s.pos++
|
||||
}
|
||||
// func (s *ReverseTimeDeltaCompressor) Append(unixtime uint32) {
|
||||
// if s.lastUnixtime > 0 {
|
||||
// delta := unixtime - s.lastUnixtime
|
||||
// if s.lastDelta > 0 {
|
||||
// // 3rd value
|
||||
// if s.h < 128 {
|
||||
// // run
|
||||
// if delta == s.lastDelta && s.h < 127 {
|
||||
// s.h++
|
||||
// } else {
|
||||
// //write h - end of run
|
||||
// s.lastDelta = delta
|
||||
// s.h = 128 // new literal (length=1)
|
||||
// }
|
||||
// } else {
|
||||
// // literal
|
||||
// if delta == s.lastDelta {
|
||||
// if s.h > 128 { //
|
||||
// // write h - end literal series if length > 1
|
||||
// }
|
||||
// // last literal convert to run (length=2)
|
||||
// // write delta
|
||||
// s.h = 0 // run, length=2
|
||||
// } else {
|
||||
// // white s.lastDelta
|
||||
// if s.h < 255 {
|
||||
// //s.lastDelta = delta
|
||||
// s.h++
|
||||
// } else {
|
||||
// // write h - end of literal
|
||||
// s.lastDelta = delta
|
||||
// s.h = 128 // new literal (length=1)
|
||||
// }
|
||||
// }
|
||||
// }
|
||||
// } else {
|
||||
// // 2nd value
|
||||
// s.lastDelta = delta
|
||||
// }
|
||||
// }
|
||||
// // 1st value
|
||||
// s.lastUnixtime = unixtime
|
||||
// }
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) convertLiteralToRun() {
|
||||
// Знімаю flagLiteral, а лічильник 0 дорівнює 2 елементам в серії.
|
||||
s.h = 0
|
||||
s.buf[s.pos-1] = s.h
|
||||
}
|
||||
// func (s *ReverseTimeDeltaCompressor) convertLastFromLiteralToRun() {
|
||||
// // Зменшую кількість елементів в literal блоці
|
||||
// s.h--
|
||||
// s.pos -= 1 + s.lastDeltaSize
|
||||
// s.buf[s.pos] = s.h // закриваю literal блок
|
||||
// s.pos++
|
||||
// s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(s.lastDelta))
|
||||
// s.pos += s.lastDeltaSize
|
||||
// s.h = 0 // run блок, довжини 2
|
||||
// s.buf[s.pos] = s.h
|
||||
// s.pos++
|
||||
// }
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) appendDeltaToLiteral(delta uint32) {
|
||||
s.h++ // збільшую к-сть дельт
|
||||
s.lastDelta = delta
|
||||
s.pos--
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.buf[s.pos] = s.h
|
||||
s.pos++
|
||||
}
|
||||
// func (s *ReverseTimeDeltaCompressor) convertLiteralToRun() {
|
||||
// // Знімаю flagLiteral, а лічильник 0 дорівнює 2 елементам в серії.
|
||||
// s.h = 0
|
||||
// s.buf[s.pos-1] = s.h
|
||||
// }
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) appendNewLiteral(delta uint32) {
|
||||
//fmt.Println("appendNewLiteral", delta)
|
||||
s.h = flagLiteral
|
||||
s.lastDelta = delta
|
||||
s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
s.pos += s.lastDeltaSize
|
||||
s.buf[s.pos] = flagLiteral // literal, length = 1
|
||||
s.pos++
|
||||
}
|
||||
// func (s *ReverseTimeDeltaCompressor) appendDeltaToLiteral(delta uint32) {
|
||||
// s.h++ // збільшую к-сть дельт
|
||||
// s.lastDelta = delta
|
||||
// s.pos--
|
||||
// s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
// s.pos += s.lastDeltaSize
|
||||
// s.buf[s.pos] = s.h
|
||||
// s.pos++
|
||||
// }
|
||||
|
||||
// func (s *ReverseTimeDeltaCompressor) appendNewLiteral(delta uint32) {
|
||||
// //fmt.Println("appendNewLiteral", delta)
|
||||
// s.h = flagLiteral
|
||||
// s.lastDelta = delta
|
||||
// s.lastDeltaSize, _ = bin.ReversePutVarUint64(s.buf[s.pos:], uint64(delta))
|
||||
// s.pos += s.lastDeltaSize
|
||||
// s.buf[s.pos] = flagLiteral // literal, length = 1
|
||||
// s.pos++
|
||||
// }
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) DeleteLast() {
|
||||
|
||||
@@ -214,25 +290,26 @@ func (s *ReverseTimeDeltaCompressor) Offset() int {
|
||||
|
||||
// fix -
|
||||
func (s *ReverseTimeDeltaCompressor) Snapshot() ([]byte, int) {
|
||||
if s.state == nil {
|
||||
return s.buf, s.Size()
|
||||
}
|
||||
// ВАЖЛИВО!
|
||||
// Треба відтворити стан останнього чанка
|
||||
var (
|
||||
pos = s.state.Pos
|
||||
chunk = make([]byte, conbuf.ChunkSize)
|
||||
lastChunkIdx = len(s.state.Chunks) - 1
|
||||
qtyToCopy = pos % conbuf.ChunkSize
|
||||
)
|
||||
copy(chunk, s.state.Chunks[lastChunkIdx][:qtyToCopy])
|
||||
chunks := append(s.state.Chunks[:lastChunkIdx], chunk)
|
||||
// if s.state == nil {
|
||||
// return s.buf, s.Size()
|
||||
// }
|
||||
// // ВАЖЛИВО!
|
||||
// // Треба відтворити стан останнього чанка
|
||||
// var (
|
||||
// pos = s.state.Pos
|
||||
// chunk = make([]byte, conbuf.ChunkSize)
|
||||
// lastChunkIdx = len(s.state.Chunks) - 1
|
||||
// qtyToCopy = pos % conbuf.ChunkSize
|
||||
// )
|
||||
// copy(chunk, s.state.Chunks[lastChunkIdx][:qtyToCopy])
|
||||
// chunks := append(s.state.Chunks[:lastChunkIdx], chunk)
|
||||
|
||||
buf := conbuf.New(chunks)
|
||||
pos += buf.ReversePutVarUint64(pos, uint64(s.state.LastDelta))
|
||||
buf.SetByte(pos, s.state.H)
|
||||
pos++
|
||||
return chunks, pos
|
||||
// buf := conbuf.New(chunks)
|
||||
// pos += buf.ReversePutVarUint64(pos, uint64(s.state.LastDelta))
|
||||
// buf.SetByte(pos, s.state.H)
|
||||
// pos++
|
||||
// return chunks, pos
|
||||
return nil, 0
|
||||
}
|
||||
|
||||
func (s *ReverseTimeDeltaCompressor) CreateDecompressor() qb.TimestampDecompressor {
|
||||
|
||||
Reference in New Issue
Block a user