This commit is contained in:
2026-05-10 00:59:47 +00:00
parent 271046231c
commit 9b38586ed8
30 changed files with 3560 additions and 1823 deletions

View File

@@ -1,374 +1,270 @@
package chunkenc
import (
"fmt"
// // REVERSE
"gordenko.dev/dima/qb/bin"
"gordenko.dev/dima/qb/conbuf"
)
// // const (
// // lastUnixtimeIdx = 0
// // baseDeltaIdx = 4
// // )
// REVERSE
// type ReverseTimeDeltaOfDeltaCompressor struct {
// buf *conbuf.ContinuousBuffer
// pos int
// lastDelta uint32
// lastUnixtime uint32
// lastDeltaOfDelta int64
// lastDeltaOfDeltaSize int
// h byte
// }
const (
lastUnixtimeIdx = 0
baseDeltaIdx = 4
)
// func NewReverseTimeDeltaOfDeltaCompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaOfDeltaCompressor {
// s := &ReverseTimeDeltaOfDeltaCompressor{
// buf: buf,
// pos: size,
// }
// if size > 0 {
// // s.lastUnixtime = s.buf.GetUint32(lastUnixtimeIdx)
// // u64, _, err := s.buf.GetVarUint64(baseDeltaIdx)
// // if err != nil {
// // log.Fatalf("bug: get base delta: %s", err)
// // }
// // s.baseDelta = uint32(u64)
// // s.h = s.buf.GetByte(s.pos - 1)
// // s.lastDeltaOfDelta, s.lastDeltaOfDeltaSize, err = s.buf.ReverseGetVarInt64(s.pos - 2)
// // if err != nil {
// // log.Fatalf("bug: get last delta of delta: %s", err)
// // }
// } else {
// //s.baseDelta = baseDelta
// }
// return s
// }
type ReverseTimeDeltaOfDeltaCompressor struct {
buf *conbuf.ContinuousBuffer
pos int
baseDelta uint32
lastUnixtime uint32
lastDeltaOfDelta int64
length uint16
numIdx int
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) Size() int {
// return s.pos
// }
func NewReverseTimeDeltaOfDeltaCompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaOfDeltaCompressor {
s := &ReverseTimeDeltaOfDeltaCompressor{
buf: buf,
pos: size,
}
if size > 0 {
s.restoreState()
}
return s
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) Append(unixtime uint32) {
// if s.lastUnixtime > 0 {
// if s.pos == 0 {
// // 2-й unixtime
// s.lastDelta = unixtime - s.lastUnixtime
// s.appendNewLiteral(0)
// } else {
// // 3-й unixtime і наступні
// lastDelta := unixtime - s.lastUnixtime
// deltaOfDelta := int64(lastDelta) - int64(s.lastDelta)
// if deltaOfDelta == s.lastDeltaOfDelta {
// if s.h < 128 {
// // run блок - отже треба збільшити лічильник
// if s.h < 127 {
// // increase counter
// s.h++
// s.buf.SetByte(s.pos-1, s.h)
// } else {
// // не можу збільшити - буде переповнення. Додаю новий literal блок
// // counter overflow
// // fix encode delta
// s.appendNewLiteral(deltaOfDelta)
// }
// } else {
// // literal блок.
// // Якщо в ньому лише одне значення - перетворюю його на run блок.
// // Інакше забираю останнє значення із literal блока і додаю новий run блок.
// q := s.h & 127
// if q == 0 { // 1 кодується як 0
// s.convertLiteralToRun()
// } else {
// s.convertLastFromLiteralToRun(deltaOfDelta)
// }
// }
// } else {
// s.lastDelta = lastDelta
// if s.h < 127 {
// // end of run
// s.appendNewLiteral(deltaOfDelta)
// } else {
// if s.h < 255 {
// // encode value from pos - 1, then append h byte
// s.appendDeltaToLiteral(deltaOfDelta)
// } else {
// // overflowed - encode new
// s.appendNewLiteral(deltaOfDelta)
// }
// }
// }
// }
// }
// // для першого unixtime - лише оновлюємо lastUnixtime, а для наступних -
// // теж оновлюємо, але після запису серій в buf.
// s.lastUnixtime = unixtime
// }
func (s *ReverseTimeDeltaOfDeltaCompressor) restoreState() {
s.lastUnixtime = s.buf.GetUint32(lastUnixtimeIdx)
if s.pos > 4 {
u64, _, err := s.buf.GetVarUint64(baseDeltaIdx)
if err != nil {
panic(fmt.Sprintf("bug: get base delta: %s", err))
}
s.baseDelta = uint32(u64)
// func (s *ReverseTimeDeltaOfDeltaCompressor) convertLastFromLiteralToRun(deltaOfDelta int64) {
// // Зменшую кількість елементів в literal блоці
// s.h--
// s.pos -= 1 + s.lastDeltaOfDeltaSize
// s.buf.SetByte(s.pos, s.h) // закриваю literal блок
// s.pos++
// s.lastDeltaOfDeltaSize = s.buf.ReversePutVarInt64(s.pos, deltaOfDelta)
// s.pos += s.lastDeltaOfDeltaSize
// s.h = 0 // run блок, довжини 2
// s.buf.SetByte(s.pos, s.h)
// s.pos++
// }
pos := s.pos - 1
idxOf8 := uint(8 - s.buf.GetByte(pos))
pos--
s8 := s.buf.GetByte(pos)
pos--
// func (s *ReverseTimeDeltaOfDeltaCompressor) convertLiteralToRun() {
// // Знімаю flagLiteral, а лічильник 0 дорівнює 2 елементам в серії.
// s.h = 0
// s.buf.SetByte(s.pos-1, s.h)
// }
var n int
s.lastDeltaOfDelta, n, err = s.buf.ReverseGetVarInt64(pos)
if err != nil {
panic(err)
}
pos -= n
s.numIdx = pos + 1
var flag byte = 1 << idxOf8
if (s8 & flag) == flag {
s.length, _ = s.buf.DecodeRunLength(pos)
}
}
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) appendDeltaToLiteral(deltaOfDelta int64) {
// s.h++ // збільшую к-сть дельт
// s.lastDeltaOfDelta = deltaOfDelta
// s.pos--
// s.lastDeltaOfDeltaSize = s.buf.ReversePutVarInt64(s.pos, deltaOfDelta)
// s.pos += s.lastDeltaOfDeltaSize
// s.buf.SetByte(s.pos, s.h)
// s.pos++
// }
func (s *ReverseTimeDeltaOfDeltaCompressor) Size() int {
return s.pos
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) appendNewLiteral(deltaOfDelta int64) {
// s.h = flagLiteral
// s.lastDeltaOfDelta = deltaOfDelta
// s.lastDeltaOfDeltaSize = s.buf.ReversePutVarInt64(s.pos, deltaOfDelta)
// s.pos += s.lastDeltaOfDeltaSize
// s.buf.SetByte(s.pos, flagLiteral) // literal, length = 1
// s.pos++
// }
func (s *ReverseTimeDeltaOfDeltaCompressor) CalcRequiredSpace(unixtime uint32) int {
if s.pos == 0 {
return 4
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) Sync() {
// // дописую в кінець lastDelta та lastUnixtime
// if s.pos > 0 {
// n := s.buf.ReversePutVarUint64(s.pos, uint64(s.lastDelta))
// s.pos += n
// }
// if s.lastUnixtime > 0 {
// s.buf.PutUint32(s.pos, s.lastUnixtime)
// s.pos += 4
// }
// }
if s.baseDelta == 0 {
baseDelta := unixtime - s.lastUnixtime
n := bin.CalcVarUint64Length(uint64(baseDelta))
return n + 3
}
// func (s *ReverseTimeDeltaOfDeltaCompressor) DeleteLast() {
deltaOfDelta := int64(unixtime-s.lastUnixtime) - int64(s.baseDelta)
if deltaOfDelta == s.lastDeltaOfDelta {
if s.length == 0 {
return 1
} else {
newLength := s.length + 1
if newLength < 130 {
return 0
} else if newLength == 130 {
return 1
} else {
if newLength < 32769 {
return 0
} else {
n := bin.CalcVarInt64Length(deltaOfDelta)
n += 2
s8q := s.buf.GetByte(s.pos - 1)
if s8q == 8 {
n -= 1
} else {
n -= 2
}
return n
}
}
}
} else {
n := bin.CalcVarInt64Length(deltaOfDelta)
n += 2
s8q := s.buf.GetByte(s.pos - 1)
if s8q == 8 {
n -= 1
} else {
n -= 2
}
return n
}
}
// }
func (s *ReverseTimeDeltaOfDeltaCompressor) Append(unixtime uint32) {
if s.pos == 0 {
s.lastUnixtime = unixtime
s.buf.PutUint32(lastUnixtimeIdx, unixtime)
s.pos += 4
return
}
// type TimeDeltaOfDeltaBound struct {
// LastUnixtime uint32
// LastDelta uint32
// Pos int
// H byte
// LastDeltaOfDelta int64
// }
if s.baseDelta == 0 {
s.baseDelta = unixtime - s.lastUnixtime
s.lastDeltaOfDelta = 0
s.lastUnixtime = unixtime
s.buf.PutUint32(lastUnixtimeIdx, unixtime)
// func (s *ReverseTimeDeltaOfDeltaCompressor) GetState() TimeDeltaOfDeltaBound {
// return TimeDeltaOfDeltaBound{
// LastUnixtime: s.lastUnixtime,
// LastDelta: s.lastDelta,
// Pos: s.pos,
// H: s.h,
// LastDeltaOfDelta: s.lastDeltaOfDelta,
// }
// }
n := s.buf.PutVarUint64(s.pos, uint64(s.baseDelta))
s.pos += n
s.encodeNewDeltaOfDelta(0, 0, 1)
return
}
// // DECOMPRESSOR
deltaOfDelta := int64(unixtime-s.lastUnixtime) - int64(s.baseDelta)
s.lastUnixtime = unixtime
s.buf.PutUint32(lastUnixtimeIdx, unixtime)
// type ReverseTimeDeltaOfDeltaDecompressor struct {
// buf *conbuf.ContinuousBuffer
// size int
// pos int
// lastUnixtime uint32
// lastDelta uint32
// //lastDeltaOfDelta int64
// isRun bool
// pending int
// }
if deltaOfDelta == s.lastDeltaOfDelta {
if s.length == 0 {
s.length = 2
s.shiftOnePosToRight()
s.buf.SetByte(s.numIdx-1, 0)
s8q := s.buf.GetByte(s.pos - 1)
s.buf.SetFlag(s.pos-2, 1<<(8-s8q))
} else {
s.length++
if s.length < 130 {
s.buf.SetByte(s.numIdx-1, byte(s.length-2))
} else if s.length == 130 {
s.shiftOnePosToRight()
s.encode2bLength()
} else {
if s.length < 32769 {
s.encode2bLength()
} else {
s.appendNewDeltaOfDelta(deltaOfDelta)
}
}
}
} else {
s.appendNewDeltaOfDelta(deltaOfDelta)
}
}
// func NewReverseTimeDeltaOfDeltaDecompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaOfDeltaDecompressor {
// return &ReverseTimeDeltaOfDeltaDecompressor{
// buf: buf,
// size: size,
// pos: size, // last elem
// }
// }
func (s *ReverseTimeDeltaOfDeltaCompressor) appendNewDeltaOfDelta(deltaOfDelta int64) {
s.length = 0
s8 := s.buf.GetByte(s.pos - 2)
s8q := s.buf.GetByte(s.pos - 1)
// func (s *ReverseTimeDeltaOfDeltaDecompressor) NextValue() (value uint32, done bool) {
// fmt.Printf("\nNextValue(): pos: %d, size: %d, pending: %d\n", s.pos, s.size, s.pending)
// if s.pos < s.size {
// if s.pending > 0 {
// //fmt.Println("pending", )
// // якщо в серії залишаються елементи
// fmt.Println("s.lastUnixtime -= s.lastDelta", s.lastUnixtime, s.lastDelta)
// s.lastUnixtime -= s.lastDelta
// if !s.isRun {
// s.readValue()
// }
// s.pending--
// return s.lastUnixtime, false
// }
// // FIX - читаю lastUnixtime
// if s.pos > 0 {
// s.lastUnixtime -= s.lastDelta
// // читаю заголовок наступної серії
// s.readHeader()
// s.readValue()
// s.pending--
// return s.lastUnixtime, false
// }
// // серія завершена - перевіряю чи є ще серії
// return 0, true
// } else {
// s.pos -= 4
// s.lastUnixtime = s.buf.GetUint32(s.pos)
// fmt.Println("lastUnix", s.lastUnixtime)
// if s.pos > 0 {
// s.pos--
// u64, n, err := s.buf.ReverseGetVarUint64(s.pos)
// if err != nil {
// log.Fatalln(err)
// }
// s.pos -= n
// s.lastDelta = uint32(u64)
// fmt.Println("lastDelta", s.lastDelta)
// }
// return s.lastUnixtime, false
// }
// }
if s8q == 8 {
s.pos -= 1
s8 = 0
s8q = 1
} else {
s.pos -= 2
s8q++
}
s.encodeNewDeltaOfDelta(deltaOfDelta, s8, s8q)
}
func (s *ReverseTimeDeltaOfDeltaCompressor) encodeNewDeltaOfDelta(deltaOfDelta int64, s8 byte, s8q byte) {
s.lastDeltaOfDelta = deltaOfDelta
s.numIdx = s.pos
n := s.buf.ReversePutVarInt64(s.pos, deltaOfDelta)
s.pos += n
s.buf.SetByte(s.pos, s8)
s.pos++
s.buf.SetByte(s.pos, s8q)
s.pos++
}
func (s *ReverseTimeDeltaOfDeltaCompressor) shiftOnePosToRight() {
s.buf.ShiftOnePosToRight(s.numIdx, s.pos)
s.pos++
s.numIdx++
}
func (s *ReverseTimeDeltaOfDeltaCompressor) encode2bLength() {
num := s.length - 2
s.buf.SetByte(s.numIdx-1, byte(num&127)|128)
s.buf.SetByte(s.numIdx-2, byte(num>>7))
}
func (s *ReverseTimeDeltaOfDeltaCompressor) DeleteLast() {
var (
s8q = s.buf.GetByte(s.pos - 1)
s8 = s.buf.GetByte(s.pos - 2)
flag byte = 1 << uint(8-s8q)
)
if s.length > 0 {
if s.length == 2 {
s.length = 0
s.buf.UnsetFlag(s.pos-2, flag)
s.buf.ShiftOnePosToLeft(s.numIdx, s.pos)
s.numIdx--
s.pos--
} else if s.length < 130 {
s.length--
s.buf.SetByte(s.numIdx-1, byte(s.length)-2)
} else if s.length == 130 {
s.length--
s.buf.ShiftOnePosToLeft(s.numIdx, s.pos)
s.numIdx--
s.pos--
s.buf.SetByte(s.numIdx-1, byte(s.length)-2)
} else {
s.length--
s.encode2bLength()
}
} else {
if s8q > 1 {
s8q--
flag = 1 << uint(8-s8q)
s.pos = s.numIdx + 2
s.buf.SetByte(s.pos-2, s8)
s.buf.SetByte(s.pos-1, s8q)
} else {
s.pos = s.numIdx + 1
s.buf.SetByte(s.pos-1, 8)
s8 = s.buf.GetByte(s.pos - 2)
flag = 1
}
var (
pos = s.pos - 3
n int
err error
)
s.lastDeltaOfDelta, n, err = s.buf.ReverseGetVarInt64(pos)
if err != nil {
panic(err)
}
s.numIdx = pos - n
if (s8 & flag) == flag {
s.length, _ = s.buf.DecodeRunLength(s.numIdx - 1)
}
}
delta := int64(s.baseDelta) + s.lastDeltaOfDelta
s.lastUnixtime = uint32(int64(s.lastUnixtime) - delta)
s.buf.PutUint32(lastUnixtimeIdx, s.lastUnixtime)
}
type ReverseTimeDeltaOfDeltaDecompressor struct {
step byte
buf *conbuf.ContinuousBuffer
pos int
bound int
lastUnixtime uint32
baseDelta uint32
lastDeltaOfDelta int64
length uint16
idxOf8 uint
s8 byte
}
func NewReverseTimeDeltaOfDeltaDecompressor(buf *conbuf.ContinuousBuffer, size int) *ReverseTimeDeltaOfDeltaDecompressor {
return &ReverseTimeDeltaOfDeltaDecompressor{
buf: buf,
pos: size,
}
}
func (s *ReverseTimeDeltaOfDeltaDecompressor) NextValue() (value uint32, done bool) {
if s.step == 0 {
if s.pos == 0 {
return 0, true
}
s.lastUnixtime = s.buf.GetUint32(lastUnixtimeIdx)
s.step = 1
return s.lastUnixtime, false
}
if s.step == 1 {
if s.pos == baseDeltaIdx {
return 0, true
}
u64, n, err := s.buf.GetVarUint64(baseDeltaIdx)
if err != nil {
panic("EOF")
}
s.bound = baseDeltaIdx + n
s.baseDelta = uint32(u64)
s.pos--
s.idxOf8 = uint(8 - s.buf.GetByte(s.pos))
s.pos--
s.s8 = s.buf.GetByte(s.pos)
s.pos--
s.readVar()
if s.length > 0 {
s.length--
}
s.step = 2
return s.lastUnixtime, false
}
if s.length > 0 {
s.length--
delta := int64(s.baseDelta) + s.lastDeltaOfDelta
s.lastUnixtime = uint32(int64(s.lastUnixtime) - delta)
return s.lastUnixtime, false
}
if s.pos < s.bound {
return 0, true
}
if s.idxOf8 == 0 {
s.s8 = s.buf.GetByte(s.pos)
s.pos--
}
s.readVar()
if s.length > 0 {
s.length--
}
return s.lastUnixtime, false
}
func (s *ReverseTimeDeltaOfDeltaDecompressor) readVar() {
var (
n int
err error
)
s.lastDeltaOfDelta, n, err = s.buf.ReverseGetVarInt64(s.pos)
if err != nil {
panic(err)
}
s.pos -= n
delta := int64(s.baseDelta) + s.lastDeltaOfDelta
s.lastUnixtime = uint32(int64(s.lastUnixtime) - delta)
var flag byte = 1 << s.idxOf8
if (s.s8 & flag) == flag {
s.length, n = s.buf.DecodeRunLength(s.pos)
s.pos -= n
}
if s.idxOf8 == 7 {
s.idxOf8 = 0
} else {
s.idxOf8++
}
}
// func (s *ReverseTimeDeltaOfDeltaDecompressor) readHeader() {
// h := s.buf.GetByte(s.pos)
// s.pos--
// s.isRun = h < 128
// if s.isRun {
// s.pending = int(h&127) + 2
// } else {
// s.pending = int(h&127) + 1
// }
// fmt.Println("h:", h)
// fmt.Println("isRun:", s.isRun)
// fmt.Println("pending:", s.pending)
// }
// func (s *ReverseTimeDeltaOfDeltaDecompressor) readValue() {
// //s.lastUnixtime -= s.lastDelta
// // var (
// // err error
// // n int
// // )
// lastDeltaOfDelta, n, err := s.buf.ReverseGetVarInt64(s.pos)
// if err != nil {
// log.Fatalln(err)
// }
// fmt.Println()
// fmt.Println("read Value from pos:", s.pos)
// fmt.Println("delta of delta:", lastDeltaOfDelta)
// //fmt.Println("delta of delta n:", n)
// s.pos -= n
// s.lastDelta = uint32(int64(s.lastDelta) - lastDeltaOfDelta)
// fmt.Println("last delta:", s.lastDelta)
// fmt.Println()
// }