wp
This commit is contained in:
@@ -2,101 +2,50 @@ package storage
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"io"
|
||||
|
||||
bin "gordenko.dev/dima/bin/little"
|
||||
"gordenko.dev/dima/qb"
|
||||
)
|
||||
|
||||
type ReplayMetric struct {
|
||||
metricType qb.MetricType
|
||||
fracDigits byte
|
||||
lastPageNo uint32
|
||||
buf []byte
|
||||
databuf []byte // якщо розмір buf == DataPageSize, то databuf буде менше (мінус футер)
|
||||
tSize int
|
||||
vSize int
|
||||
indexLevelTails []IndexLevelTail // root - last element
|
||||
MetricType qb.MetricType
|
||||
FracDigits byte
|
||||
LastPageNo uint32
|
||||
Buf []byte
|
||||
TimestampsSize int
|
||||
ValuesSize int
|
||||
IndexLevelTails []IndexLevelTail // root - last element
|
||||
}
|
||||
|
||||
func (s *ReplayMetric) ReadFrom(r io.Reader) (err error) {
|
||||
metricType, err := bin.ReadByte(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
s.metricType = qb.MetricType(metricType)
|
||||
s.fracDigits, err = bin.ReadByte(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
s.lastPageNo, err = bin.ReadUint32(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
s.tSize, err = bin.ReadUint16AsInt(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
s.vSize, err = bin.ReadUint16AsInt(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
err = bin.ReadNInto(r, s.databuf[len(s.databuf)-s.tSize:])
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
err = bin.ReadNInto(r, s.databuf[:s.vSize])
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
//
|
||||
levelsCount, err := bin.ReadVarSize(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
for range levelsCount {
|
||||
var (
|
||||
buf = make([]byte, IndexPageSize)
|
||||
count int
|
||||
)
|
||||
count, err = bin.ReadVarSize(r)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
err = bin.ReadNInto(r, buf[:count*IndexRecordSize])
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
s.indexLevelTails = append(s.indexLevelTails, IndexLevelTail{
|
||||
Buffer: buf,
|
||||
RecordsCount: count,
|
||||
})
|
||||
}
|
||||
return
|
||||
// return occupied after write
|
||||
func writeTimestampsWithRewind(buf []byte, occupied int, payload []byte, rewindOffset int) int {
|
||||
// timestamps writes right-to-left
|
||||
pos := DataPagePayloadSize - occupied
|
||||
// timestamps rewind offset moves pos left-to-right
|
||||
pos += rewindOffset
|
||||
pos -= len(payload)
|
||||
copy(buf[pos:], payload)
|
||||
return DataPagePayloadSize - pos
|
||||
}
|
||||
|
||||
// func appendNewRecordsToIndexTail(level IndexLevelTail, records []byte) {
|
||||
|
||||
// }
|
||||
|
||||
// func countReusedIndexPages(changedIndexLevels []ChangedIndexLevel) (count int) {
|
||||
|
||||
// return
|
||||
// }
|
||||
func writeValuesWithRewind(buf []byte, occupied int, payload []byte, rewindOffset int) int {
|
||||
// values writes left-to-right
|
||||
pos := occupied
|
||||
// values rewind offset moves pos right-to-left
|
||||
pos -= rewindOffset
|
||||
copy(buf[pos:], payload)
|
||||
return pos + len(payload)
|
||||
}
|
||||
|
||||
func (s *ReplayMetric) MeasuresAppend(rec MeasuresAppendRecord) {
|
||||
timestampsSize := rec.TimestampsRewindOffset - len(rec.Timestamps)
|
||||
// копіюю нові дані із WAL з урахуванням offset-ів
|
||||
copy(s.databuf[rec.ValuesRewindOffset:], rec.Values)
|
||||
copy(s.databuf[len(s.databuf)-timestampsSize:], rec.Timestamps)
|
||||
//
|
||||
s.tSize = timestampsSize
|
||||
s.vSize = rec.ValuesRewindOffset - len(rec.Values)
|
||||
s.TimestampsSize = writeTimestampsWithRewind(s.Buf, s.TimestampsSize,
|
||||
rec.Timestamps, rec.TimestampsRewindOffset)
|
||||
s.ValuesSize = writeValuesWithRewind(s.Buf, s.ValuesSize,
|
||||
rec.Values, rec.ValuesRewindOffset)
|
||||
}
|
||||
|
||||
type AppendMeasuresResult struct {
|
||||
IndexPages []PageToWrite
|
||||
DataPages []PageToWrite
|
||||
IndexPagesToRewrite []PageToWrite
|
||||
DataPagesToRewrite []PageToWrite
|
||||
ReusedIndexPagesCount int
|
||||
ReusedDataPagesCount int
|
||||
}
|
||||
@@ -117,8 +66,7 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
// 1. набиваю сторінки для перезапису в index файлі
|
||||
if isLastPacket {
|
||||
if head != nil {
|
||||
indexPages = append(indexPages,
|
||||
composeHeadIndexPage(levelIdx, s.indexLevelTails[levelIdx], head))
|
||||
indexPages = append(indexPages, s.composeHeadIndexPage(levelIdx, head))
|
||||
}
|
||||
for _, x := range change.IndexPages {
|
||||
indexPages = append(indexPages, PageToWrite{
|
||||
@@ -129,8 +77,8 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
}
|
||||
|
||||
// 2. Вношу зміни в поточні індексні хвости
|
||||
if levelIdx < len(s.indexLevelTails) {
|
||||
level := s.indexLevelTails[levelIdx]
|
||||
if levelIdx < len(s.IndexLevelTails) {
|
||||
level := s.IndexLevelTails[levelIdx]
|
||||
if head != nil {
|
||||
// попередній хвіст індексного рівня перетворився на head сторінку,
|
||||
// отже TailRecords - це новий хвіст
|
||||
@@ -142,13 +90,13 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
copy(level.Buffer[pos:], change.TailRecords)
|
||||
level.RecordsCount += newRecordsCount
|
||||
}
|
||||
s.indexLevelTails[levelIdx] = level
|
||||
s.IndexLevelTails[levelIdx] = level
|
||||
} else {
|
||||
// додаю новий індексний рівень
|
||||
buf := make([]byte, IndexPageSize)
|
||||
copy(buf, change.TailRecords)
|
||||
//
|
||||
s.indexLevelTails = append(s.indexLevelTails, IndexLevelTail{
|
||||
s.IndexLevelTails = append(s.IndexLevelTails, IndexLevelTail{
|
||||
Buffer: buf,
|
||||
RecordsCount: newRecordsCount,
|
||||
})
|
||||
@@ -169,7 +117,7 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
|
||||
// 4. набиваю сторінки для перезапису в data файлі
|
||||
if isLastPacket {
|
||||
dataPages = append(dataPages, composeHeadDataPage(s.databuf, rec.DataPageTail))
|
||||
dataPages = append(dataPages, s.composeHeadDataPage(rec.DataPageTail))
|
||||
|
||||
for _, x := range rec.DataPages {
|
||||
dataPages = append(dataPages, PageToWrite{
|
||||
@@ -190,22 +138,22 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
}
|
||||
// HeadDataPage є полюбому, оскільки це транзакція із мінімум однією заповненою
|
||||
// data сторінкою. Отже TailTimestamps і TailValues - це нові хвости data рівня.
|
||||
copy(s.databuf, rec.TailValues)
|
||||
pos := len(s.databuf) - len(rec.TailTimestamps)
|
||||
copy(s.databuf[pos:], rec.TailTimestamps)
|
||||
copy(s.Buf, rec.TailValues)
|
||||
s.ValuesSize = len(rec.TailValues)
|
||||
|
||||
s.tSize = len(rec.TailTimestamps)
|
||||
s.vSize = len(rec.TailValues)
|
||||
pos := DataPagePayloadSize - len(rec.TailTimestamps)
|
||||
copy(s.Buf[pos:], rec.TailTimestamps)
|
||||
s.TimestampsSize = len(rec.TailTimestamps)
|
||||
|
||||
if len(rec.DataPages) == 0 {
|
||||
s.lastPageNo = rec.DataPageTail.PageNo
|
||||
s.LastPageNo = rec.DataPageTail.PageNo
|
||||
} else {
|
||||
s.lastPageNo = rec.DataPages[len(rec.DataPages)-1].PageNo
|
||||
s.LastPageNo = rec.DataPages[len(rec.DataPages)-1].PageNo
|
||||
}
|
||||
|
||||
return AppendMeasuresResult{
|
||||
IndexPages: indexPages,
|
||||
DataPages: dataPages,
|
||||
IndexPagesToRewrite: indexPages,
|
||||
DataPagesToRewrite: dataPages,
|
||||
ReusedIndexPagesCount: reusedIndexPages,
|
||||
ReusedDataPagesCount: reusedDataPages,
|
||||
}
|
||||
@@ -213,7 +161,8 @@ func (s *ReplayMetric) MeasuresAppendWithGrow(rec MeasuresAppendWithGrowRecord,
|
||||
|
||||
// HELPERS
|
||||
|
||||
func composeHeadIndexPage(levelIdx int, level IndexLevelTail, head *IndexPageTail) PageToWrite {
|
||||
func (s *ReplayMetric) composeHeadIndexPage(levelIdx int, head *IndexPageTail) PageToWrite {
|
||||
level := s.IndexLevelTails[levelIdx]
|
||||
// розраховую pos, з якого буду дописувати хвіст
|
||||
pos := level.RecordsCount * IndexRecordSize
|
||||
// створюю копію сторінки
|
||||
@@ -238,23 +187,21 @@ func composeHeadIndexPage(levelIdx int, level IndexLevelTail, head *IndexPageTai
|
||||
}
|
||||
}
|
||||
|
||||
func composeHeadDataPage(databuf []byte, head DataPageTail) PageToWrite {
|
||||
// створюю копію сторінки
|
||||
var (
|
||||
page = make([]byte, DataPageSize)
|
||||
timestampsSize = head.TimestampsRewindOffset - len(head.Timestamps)
|
||||
)
|
||||
// копіюю поточні дані
|
||||
copy(page, databuf)
|
||||
// копіюю нові дані із WAL з урахуванням offset-ів
|
||||
copy(page[head.ValuesRewindOffset:], head.Values)
|
||||
copy(page[len(page)-timestampsSize:], head.Timestamps)
|
||||
func (s *ReplayMetric) composeHeadDataPage(head DataPageTail) PageToWrite {
|
||||
// copy page
|
||||
page := make([]byte, DataPageSize)
|
||||
copy(page, s.Buf)
|
||||
// append data
|
||||
timestampsSize := writeTimestampsWithRewind(s.Buf, s.TimestampsSize,
|
||||
head.Timestamps, head.TimestampsRewindOffset)
|
||||
valuesSize := writeValuesWithRewind(s.Buf, s.ValuesSize,
|
||||
head.Values, head.ValuesRewindOffset)
|
||||
// запечатати сторінку
|
||||
calculatedCRC := SealDataPage(SealDataPageIn{
|
||||
Content: page,
|
||||
PrevPageNo: head.PrevPageNo,
|
||||
TimestampsSize: timestampsSize,
|
||||
ValuesSize: head.ValuesRewindOffset + len(head.Values),
|
||||
ValuesSize: valuesSize,
|
||||
})
|
||||
// перевірка CRC
|
||||
if calculatedCRC != head.CRC32 {
|
||||
@@ -267,19 +214,3 @@ func composeHeadDataPage(databuf []byte, head DataPageTail) PageToWrite {
|
||||
Content: page,
|
||||
}
|
||||
}
|
||||
|
||||
// func (s *ReplayMetric) ToMetric() *worker.metric {
|
||||
|
||||
// databuf := s.buf[:storage.DataPagePayloadSize]
|
||||
// values := enc.NewValueDeltaCompressor(s.metricType, s.fracDigits, databuf, s.vSize)
|
||||
// return &_metric{
|
||||
// metricType: s.metricType,
|
||||
// fracDigits: s.fracDigits,
|
||||
// lastPageNo: s.lastPageNo,
|
||||
// lastValue: values.LastValue(),
|
||||
// buffer: s.buf,
|
||||
// timestamps: enc.NewTimeDeltaCompressor(databuf, s.tSize),
|
||||
// values: values,
|
||||
// indexLevelTails: s.indexLevelTails,
|
||||
// }
|
||||
// }
|
||||
|
||||
Reference in New Issue
Block a user