wp

atree/x.go

@@ -1,6 +1,9 @@
 package atree
 
-import "gordenko.dev/dima/qb/bin"
+import (
+	"gordenko.dev/dima/qb/bin"
+	"gordenko.dev/dima/qb/util"
+)
 
 const (
 	payloadSize = 24
@@ -16,6 +19,7 @@ type DataPage struct {
 	ValuesSize     int
 	PageNo         uint32
 	IsReused       bool
+	Checksum       uint32
 }
 
 type IndexPage struct {
@@ -23,14 +27,15 @@ type IndexPage struct {
 	Data           []byte
 	PageNo         uint32
 	IsReused       bool
+	Checksum       uint32
 }
 type IndexLevel struct {
 	// вже записані дані (лише для першої в списку індексної сторінки, беремо із _metric)
 	// дані потрібні, якщо сторінка буде заповнена і піде на запис в .index файл
-	Offset         int         // (заповнені одразу)
-	LowerTimestamp uint32      // (заповнені одразу)
-	Data           []byte      // поточні дані index сторінки (заповнені одразу)
-	Filled         []IndexPage // пусто
+	Offset         int          // (заповнені одразу)
+	LowerTimestamp uint32       // (заповнені одразу)
+	Data           []byte       // поточні дані index сторінки (заповнені одразу)
+	Filled         []*IndexPage // пусто
 }
 
 func appendIndexRecord(data []byte, timestamp uint32, pageNo uint32) []byte {
@@ -46,12 +51,13 @@ func appendIndexRecord(data []byte, timestamp uint32, pageNo uint32) []byte {
 type ChunksToDataPageReq struct {
 	PrevPageNo     uint32
 	Timestamps     [][]byte // chunks
-	TimestampsSize uint16
+	TimestampsSize int
 	Values         [][]byte // chunks
-	ValuesSize     uint16
+	ValuesSize     int
 }
 
-func ChunksToDataPage(buf []byte, req ChunksToDataPageReq) {
+// return checksum
+func ChunksToDataPage(buf []byte, req ChunksToDataPageReq) (checksum uint32) {
 	var (
 		remainingSize = int(req.TimestampsSize)
 		pos           = 0
@@ -80,25 +86,31 @@ func ChunksToDataPage(buf []byte, req ChunksToDataPageReq) {
 			break
 		}
 	}
-	bin.PutUint16(buf[timestampsSizeIdx:], req.TimestampsSize)
-	bin.PutUint16(buf[valuesSizeIdx:], req.ValuesSize)
+	bin.PutUint16(buf[timestampsSizeIdx:], uint16(req.TimestampsSize))
+	bin.PutUint16(buf[valuesSizeIdx:], uint16(req.ValuesSize))
 	bin.PutUint32(buf[prevPageIdx:], req.PrevPageNo)
-	bin.PutUint32(buf[dataCRC32Idx:], calcChecksum(buf[:dataCRC32Idx]))
+
+	checksum = util.CalcChecksum(buf[:dataCRC32Idx])
+	bin.PutUint32(buf[dataCRC32Idx:], checksum)
+	return
 }
 
-func DataToIndexPage(buf []byte, data []byte, lastLevel bool) {
+func DataToIndexPage(buf []byte, data []byte, lastLevel bool) (checksum uint32) {
 	copy(buf, data)
 	bin.PutUint16(buf[indexRecordsQtyIdx:], uint16(len(data)/indexRecordSize))
 	if lastLevel {
 		buf[isLastLevelIdx] = 1
 	}
-	bin.PutUint32(buf[indexCRC32Idx:], calcChecksum(buf[:indexCRC32Idx]))
+	checksum = util.CalcChecksum(buf[:indexCRC32Idx])
+	bin.PutUint32(buf[indexCRC32Idx:], checksum)
+	return
 }
 
 type Pager interface {
 	GetPageNumber() (uint32, bool)
 }
 
+// fix - reduce leves
 func AppendDataPagesToTree(pager Pager, levels []*IndexLevel, dataPages []*DataPage) {
 	for i, d := range dataPages[1:] {
 		d.PageNo, d.IsReused = pager.GetPageNumber()
@@ -127,7 +139,7 @@ func AppendDataPagesToTree(pager Pager, levels []*IndexLevel, dataPages []*DataP
 			}
 			// в буфері немає місця для додавання нової пари, отже це
 			// заповнена сторінка
-			filled := IndexPage{
+			filled := &IndexPage{
 				LowerTimestamp: level.LowerTimestamp,
 				Data:           level.Data,
 			}