wp

database/replay_metric.go

@@ -0,0 +1,190 @@
+package database
+
+import (
+	"io"
+
+	bin "gordenko.dev/dima/bin/little"
+	qb "gordenko.dev/dima/qb"
+	"gordenko.dev/dima/qb/atree"
+	"gordenko.dev/dima/qb/txlog"
+)
+
+type ReplayMetric struct {
+	metricType      qb.MetricType
+	fracDigits      byte
+	lastPageNo      uint32
+	buf             []byte
+	databuf         []byte // якщо розмір buf == DataPageSize, то databuf буде менше (мінус футер)
+	tSize           int
+	vSize           int
+	indexLevelTails []txlog.IndexLevelTail // root - last element
+}
+
+func (s *ReplayMetric) ReadFrom(r io.Reader) (err error) {
+	metricType, err := bin.ReadByte(r)
+	if err != nil {
+		return
+	}
+	s.metricType = qb.MetricType(metricType)
+	s.fracDigits, err = bin.ReadByte(r)
+	if err != nil {
+		return
+	}
+	s.lastPageNo, err = bin.ReadUint32(r)
+	if err != nil {
+		return
+	}
+	s.tSize, err = bin.ReadUint16AsInt(r)
+	if err != nil {
+		return
+	}
+	s.vSize, err = bin.ReadUint16AsInt(r)
+	if err != nil {
+		return
+	}
+	err = bin.ReadNInto(r, s.databuf[len(s.databuf)-s.tSize:])
+	if err != nil {
+		return
+	}
+	err = bin.ReadNInto(r, s.databuf[:s.vSize])
+	if err != nil {
+		return
+	}
+	//
+	levelsCount, err := bin.ReadVarSize(r)
+	if err != nil {
+		return
+	}
+	for range levelsCount {
+		var (
+			buf   = make([]byte, atree.IndexPageSize)
+			count int
+		)
+		count, err = bin.ReadVarSize(r)
+		if err != nil {
+			return
+		}
+		err = bin.ReadNInto(r, buf[:count*indexRecordSize])
+		if err != nil {
+			return
+		}
+		s.indexLevelTails = append(s.indexLevelTails, txlog.IndexLevelTail{
+			Buffer:       buf,
+			RecordsCount: count,
+		})
+	}
+	return
+}
+
+type AppendMeasuresResult struct {
+	IndexPages            []txlog.PageToWrite
+	DataPages             []txlog.PageToWrite
+	ReusedIndexPagesCount int
+	ReusedDataPagesCount  int
+}
+
+func (s *ReplayMetric) AppendedMeasures(rec txlog.WALRecordAppendMeasures, pagesNeeded bool) (result AppendMeasuresResult) {
+	// Додати в index level tails недостаючі дані, або замінити
+	for levelIdx, change := range rec.ChangedIndexLevels {
+		if levelIdx < len(s.indexLevelTails) {
+			level := s.indexLevelTails[levelIdx]
+			if change.CompletedIndexPage != nil {
+				// попередній хвіст індексного рівня перетворився на сторінку,
+				// отже TailRecords - це новий хвіст
+				// або копіюю дані, або алокую більший буфер?
+				copy(level.Buffer, change.TailRecords)
+				level.RecordsCount = len(change.TailRecords) / indexRecordSize
+			} else {
+				// TailRecords - це нові дані, які треба додати
+				pos := level.RecordsCount * indexRecordSize
+				copy(level.Buffer[pos:], change.TailRecords)
+			}
+			s.indexLevelTails[levelIdx] = level
+		} else {
+			var (
+				recordsCount = len(change.TailRecords) / indexRecordSize
+				buffer       = make([]byte, atree.IndexPageSize)
+			)
+			copy(buffer, change.TailRecords)
+			s.indexLevelTails = append(s.indexLevelTails, txlog.IndexLevelTail{
+				Buffer:       buffer,
+				RecordsCount: recordsCount,
+			})
+		}
+	}
+
+	// Перезаписати в buffer timestamps та values. Якщо розмір буферу недостатній -
+	// спочатку створити більший
+
+	var (
+		// CompletedDataPage є полюбому, оскільки це Record із мінімум одною заповненою
+		// data сторінкою. Отже TailTimestamps і TailValues - це нові хвости data рівня.
+
+		requiredSpace = len(rec.TailTimestamps) + len(rec.TailValues)
+		databuf       []byte
+	)
+	if requiredSpace < len(s.buf) {
+		databuf = s.buf
+		// fix - update sizes?
+	} else {
+		var buf []byte
+		buf, databuf = allocateBuffers(requiredSpace)
+		copy(databuf, rec.TailValues)
+		pos := len(databuf) - len(rec.TailTimestamps)
+		copy(databuf[pos:], rec.TailTimestamps)
+		// fix - replace and remeber sizes?
+
+		s.buf = buf
+	}
+
+	//rec.TailTimestamps
+	//rec.TailValues
+	return
+}
+
+func (s *ReplayMetric) ApplyHeadDataPage(p txlog.CompletedDataPage) {
+	// буфер має бути розміру сторінки
+	if len(s.buf) != atree.DataPageSize {
+		s.buf, s.databuf = growBuffers(growBuffersIn{
+			databuf:       s.databuf,
+			tSize:         s.tSize,
+			vSize:         s.vSize,
+			requiredSpace: atree.DataPageSize,
+		})
+	}
+	// дописую дані по зміщенню
+	pos := len(s.databuf) - p.TimestampsOffset - len(p.Timestamps)
+	copy(s.databuf[pos:], p.Timestamps)
+	copy(s.databuf[p.ValuesOffset:], p.Values)
+	//
+	s.tSize = p.TimestampsOffset + len(p.Timestamps)
+	s.tSize = p.ValuesOffset + len(p.Values)
+
+	// fix - заполнить страницу
+	// fix - check checksum
+}
+
+// func (s *ReplayMetric) ApplyHeadIndexPages(changedIndexLevels txlog.ChangedIndexLevel) {
+// 	for levelIdx, changedLevel := range changedIndexLevels {
+// 		p := changedLevel.CompletedIndexPage
+// 		if p != nil {
+// 			level := s.indexLevelTails[levelIdx]
+// 			copy(level.Buffer[level.RecordsCount*indexRecordSize:], p.Records)
+
+// 			// fix - заполнить страницу
+// 			// fix - check checksum
+
+// 			s.indexPages = append(s.indexPages, txlog.PageToWrite{
+// 				PageNo:  p.PageNo,
+// 				Content: level.Buffer,
+// 			})
+// 		}
+
+// 		for _, x := range changedLevel.IndexPages {
+// 			s.indexPages = append(s.indexPages, txlog.PageToWrite{
+// 				PageNo:  x.PageNo,
+// 				Content: x.Content,
+// 			})
+// 		}
+// 	}
+// }