wp
This commit is contained in:
@@ -18,13 +18,16 @@ Timestamps читаються звичайними методами Get*, а п
|
||||
|
||||
*/
|
||||
|
||||
const (
|
||||
tmpTimeSize = 7 // max when start run
|
||||
)
|
||||
|
||||
type TimeDeltaCompressor struct {
|
||||
buf []byte
|
||||
// останній записаний байт, якщо рахувати справа наліво
|
||||
pos int
|
||||
lastUnixtime uint32
|
||||
lastDelta uint32
|
||||
h byte
|
||||
state *TimeDeltaCapturedState
|
||||
}
|
||||
|
||||
@@ -37,17 +40,22 @@ type TimeDeltaCompressor struct {
|
||||
func NewTimeDeltaCompressor(buf []byte, payloadSize int) *TimeDeltaCompressor {
|
||||
s := &TimeDeltaCompressor{
|
||||
buf: buf,
|
||||
pos: len(buf) - payloadSize,
|
||||
}
|
||||
if payloadSize > 0 {
|
||||
//s.lastUnixtime = lastTimestamp
|
||||
s.pos = len(s.buf) - payloadSize
|
||||
var err error
|
||||
s.lastUnixtime, err = bin.GetUint32(s.buf[len(s.buf)-4:])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get since: %s", err)
|
||||
}
|
||||
//s.lastUnixtime = lastTimestamp // fix - порахувати
|
||||
|
||||
if payloadSize > 4 {
|
||||
s.h = s.buf[s.pos]
|
||||
u64, _, err := bin.GetVarUint64(s.buf[s.pos+1:])
|
||||
if err != nil {
|
||||
log.Fatalf("bug: get last delta: %s", err)
|
||||
}
|
||||
s.lastDelta = uint32(u64)
|
||||
// u64, _, err := bin.GetVarUint64(s.buf[s.pos+1:])
|
||||
// if err != nil {
|
||||
// log.Fatalf("bug: get last delta: %s", err)
|
||||
// }
|
||||
// s.lastDelta = uint32(u64)
|
||||
}
|
||||
}
|
||||
return s
|
||||
@@ -58,109 +66,99 @@ func NewTimeDeltaCompressor(buf []byte, payloadSize int) *TimeDeltaCompressor {
|
||||
|
||||
// }
|
||||
|
||||
// retrun
|
||||
func (s *TimeDeltaCompressor) Evaluate(unixtime uint32) (compressionWay int, requiredSpace int) {
|
||||
requiredSpace = len(s.buf) - s.pos
|
||||
if requiredSpace > 0 {
|
||||
delta := unixtime - s.lastUnixtime
|
||||
func (s *TimeDeltaCompressor) Evaluate(tmp []byte, timestamp uint32) qb.TimeEvaluationReport {
|
||||
var (
|
||||
delta = timestamp - s.lastUnixtime
|
||||
offset int
|
||||
i int
|
||||
)
|
||||
if s.pos < len(s.buf) {
|
||||
if s.lastDelta > 0 {
|
||||
if s.h < 128 {
|
||||
h := s.buf[s.pos]
|
||||
if h < 128 {
|
||||
// run
|
||||
if delta == s.lastDelta && s.h < 127 {
|
||||
compressionWay = incrementRun
|
||||
if delta == s.lastDelta && h < 127 {
|
||||
// incrementRun
|
||||
tmp[i] = h + 1
|
||||
i++
|
||||
offset = 1 // перезапис h
|
||||
} else {
|
||||
compressionWay = endSeries
|
||||
requiredSpace += bin.CountVarUint64(uint64(delta)) + hSize
|
||||
// endSeries
|
||||
n, _ := bin.PutVarUint64(tmp, uint64(delta))
|
||||
i += n
|
||||
tmp[i] = 128 // start new literal (length=1)
|
||||
i++
|
||||
}
|
||||
} else {
|
||||
// literal
|
||||
if delta != s.lastDelta {
|
||||
if s.h < 255 {
|
||||
compressionWay = incrementLiteral
|
||||
requiredSpace += bin.CountVarUint64(uint64(delta))
|
||||
if h < 255 {
|
||||
// incrementLiteral
|
||||
n, _ := bin.PutVarUint64(tmp, uint64(delta))
|
||||
i += n
|
||||
tmp[i] = h + 1
|
||||
i++
|
||||
offset = 1 // перезапис h
|
||||
} else {
|
||||
compressionWay = endSeries
|
||||
requiredSpace += bin.CountVarUint64(uint64(delta)) + hSize
|
||||
// endSeries
|
||||
n, _ := bin.PutVarUint64(tmp, uint64(delta))
|
||||
i += n
|
||||
tmp[i] = 128 // start new literal (length=1)
|
||||
i++
|
||||
}
|
||||
} else {
|
||||
compressionWay = startRun
|
||||
if s.h > 128 {
|
||||
requiredSpace += hSize // h - end of run
|
||||
// startRun
|
||||
if h > 128 {
|
||||
tmp[i] = h - 1 // зменшую довжину попередньої серії на 1
|
||||
i++
|
||||
n, _ := bin.PutVarUint64(tmp[i:], uint64(delta))
|
||||
i += n
|
||||
tmp[i] = 0 // start new run (length=2)
|
||||
i++
|
||||
offset = 1 + n // перезапис пари delta/h
|
||||
} else {
|
||||
tmp[i] = 0 // change literal (length=1) to run (length=2)
|
||||
i++
|
||||
offset = 1
|
||||
}
|
||||
}
|
||||
}
|
||||
} else {
|
||||
compressionWay = add1stDelta
|
||||
requiredSpace += bin.CountVarUint64(uint64(delta)) + hSize
|
||||
// add 1st delta
|
||||
n, _ := bin.PutVarUint64(tmp, uint64(delta))
|
||||
i += n
|
||||
tmp[i] = 128 // start new literal (length=1)
|
||||
i++
|
||||
}
|
||||
} else {
|
||||
compressionWay = addUnixtime
|
||||
requiredSpace += 4
|
||||
bin.PutUint32(tmp, timestamp) // 1st timestamp (since)
|
||||
i += 4
|
||||
}
|
||||
return qb.TimeEvaluationReport{
|
||||
Offset: offset,
|
||||
ChangeSize: i,
|
||||
TotalSpace: s.pos - offset + i,
|
||||
}
|
||||
return
|
||||
}
|
||||
|
||||
// pos вказує на h byte
|
||||
func (s *TimeDeltaCompressor) Compress(compressionWay int, unixtime uint32) {
|
||||
delta := unixtime - s.lastUnixtime
|
||||
switch compressionWay {
|
||||
case incrementRun:
|
||||
s.h++
|
||||
s.buf[s.pos] = s.h
|
||||
case incrementLiteral:
|
||||
s.lastDelta = delta
|
||||
s.h++
|
||||
// тому що перезаписую h
|
||||
s.pos++
|
||||
n, _ := bin.TailPutVarUint64(s.buf[:s.pos], uint64(delta))
|
||||
s.pos -= n
|
||||
s.pos--
|
||||
s.buf[s.pos] = s.h
|
||||
case endSeries:
|
||||
// start new literal (length=1)
|
||||
s.lastDelta = delta
|
||||
s.h = 128
|
||||
n, _ := bin.TailPutVarUint64(s.buf[:s.pos], uint64(delta))
|
||||
s.pos -= n
|
||||
s.pos--
|
||||
s.buf[s.pos] = s.h
|
||||
case startRun:
|
||||
if s.h > 128 {
|
||||
s.h--
|
||||
s.pos += bin.CountVarUint64(uint64(s.lastDelta)) // забираю останню дельту у literal
|
||||
s.buf[s.pos] = s.h // write h - end of literal (because length > 1)
|
||||
s.pos--
|
||||
// run delta
|
||||
n, _ := bin.TailPutVarUint64(s.buf[:s.pos], uint64(delta))
|
||||
s.pos -= n
|
||||
// для h
|
||||
s.pos--
|
||||
func (s *TimeDeltaCompressor) Append(offset int, change []byte, timestamp uint32) {
|
||||
if s.pos < len(s.buf) {
|
||||
i := s.pos + offset - 1 // -1, because s.pos always points to h byte
|
||||
for _, b := range change {
|
||||
s.buf[i] = b
|
||||
i--
|
||||
}
|
||||
// start new run (length=2)
|
||||
s.h = 0
|
||||
s.buf[s.pos] = s.h
|
||||
case add1stDelta:
|
||||
// start new literal (length=1)
|
||||
s.lastDelta = delta
|
||||
s.h = 128
|
||||
n, _ := bin.TailPutVarUint64(s.buf[:s.pos], uint64(delta))
|
||||
s.pos -= n
|
||||
s.pos--
|
||||
s.buf[s.pos] = s.h
|
||||
case addUnixtime:
|
||||
s.pos -= 4
|
||||
bin.PutUint32(s.buf[s.pos:], unixtime)
|
||||
s.lastDelta = timestamp - s.lastUnixtime
|
||||
} else {
|
||||
copy(s.buf[len(s.buf)-4:], change) // 4b since
|
||||
}
|
||||
// 1st value or update after every update
|
||||
// do not write immediatelly because of update after every update
|
||||
s.lastUnixtime = unixtime
|
||||
s.pos -= len(change) - offset
|
||||
s.lastUnixtime = timestamp
|
||||
}
|
||||
|
||||
func (s *TimeDeltaCompressor) DeleteLast() {
|
||||
// func (s *TimeDeltaCompressor) DeleteLast() {
|
||||
|
||||
}
|
||||
|
||||
// FIX - check methods
|
||||
// }
|
||||
|
||||
type TimeDeltaCapturedState struct {
|
||||
H byte
|
||||
@@ -176,7 +174,7 @@ func (s *TimeDeltaCompressor) CaptureState() {
|
||||
}
|
||||
// позиція посувається вліво, отже може перескочити на попередній chunk
|
||||
s.state = &TimeDeltaCapturedState{
|
||||
H: s.h,
|
||||
H: s.buf[s.pos],
|
||||
LastUnixtime: s.lastUnixtime,
|
||||
LastDelta: s.lastDelta,
|
||||
Payload: s.buf[s.pos:],
|
||||
@@ -197,32 +195,25 @@ func (s *TimeDeltaCompressor) ReplaceSinceWithUntil() uint32 {
|
||||
}
|
||||
|
||||
// fix
|
||||
func (s *TimeDeltaCompressor) Offset() int {
|
||||
// if s.state != nil {
|
||||
// return s.state.Pos
|
||||
// }
|
||||
return 0
|
||||
}
|
||||
|
||||
func (s *TimeDeltaCompressor) Size() int {
|
||||
if s.state == nil {
|
||||
return len(s.buf) - s.pos
|
||||
} else {
|
||||
return bin.CountVarUint64(uint64(s.state.LastDelta)) + hSize + len(s.state.Payload)
|
||||
}
|
||||
}
|
||||
// func (s *TimeDeltaCompressor) Size() int {
|
||||
// if s.state == nil {
|
||||
// return len(s.buf) - s.pos
|
||||
// } else {
|
||||
// return bin.CountVarUint64(uint64(s.state.LastDelta)) + hSize + len(s.state.Payload)
|
||||
// }
|
||||
// }
|
||||
|
||||
// Snapshot - для створення снапшота.
|
||||
// FIX - encode firstUnixtime in 1st 4 bytes
|
||||
//
|
||||
// while page not completed - has first unixtime, after - last unixtime
|
||||
func (s *TimeDeltaCompressor) Payload() []byte {
|
||||
if s.state == nil {
|
||||
return s.buf[s.pos:]
|
||||
} else {
|
||||
return s.state.Payload
|
||||
}
|
||||
}
|
||||
// func (s *TimeDeltaCompressor) Payload() []byte {
|
||||
// if s.state == nil {
|
||||
// return s.buf[s.pos:]
|
||||
// } else {
|
||||
// return s.state.Payload
|
||||
// }
|
||||
// }
|
||||
|
||||
func (s *TimeDeltaCompressor) WritePayloadTo(w io.Writer) (err error) {
|
||||
if s.state == nil {
|
||||
@@ -259,12 +250,14 @@ func (s *TimeDeltaCompressor) Rotate(newbuf []byte) {
|
||||
s.pos = len(s.buf)
|
||||
s.lastUnixtime = 0
|
||||
s.lastDelta = 0
|
||||
s.h = 0
|
||||
}
|
||||
|
||||
func (s *TimeDeltaCompressor) CreateDecompressor() qb.TimestampDecompressor {
|
||||
if s.pos == len(s.buf) {
|
||||
return nil
|
||||
}
|
||||
var (
|
||||
h = s.h
|
||||
h = s.buf[s.pos]
|
||||
lastUnixtime = s.lastUnixtime
|
||||
lastDelta = s.lastDelta
|
||||
payload = s.buf[s.pos:]
|
||||
|
||||
Reference in New Issue
Block a user