qb/database/replay_metric.go

package database

import (
	"io"

	bin "gordenko.dev/dima/bin/little"
	qb "gordenko.dev/dima/qb"
	"gordenko.dev/dima/qb/atree"
	"gordenko.dev/dima/qb/txlog"
)

type ReplayMetric struct {
	metricType      qb.MetricType
	fracDigits      byte
	lastPageNo      uint32
	buf             []byte
	databuf         []byte // якщо розмір buf == DataPageSize, то databuf буде менше (мінус футер)
	tSize           int
	vSize           int
	indexLevelTails []txlog.IndexLevelTail // root - last element
}

func (s *ReplayMetric) ReadFrom(r io.Reader) (err error) {
	metricType, err := bin.ReadByte(r)
	if err != nil {
		return
	}
	s.metricType = qb.MetricType(metricType)
	s.fracDigits, err = bin.ReadByte(r)
	if err != nil {
		return
	}
	s.lastPageNo, err = bin.ReadUint32(r)
	if err != nil {
		return
	}
	s.tSize, err = bin.ReadUint16AsInt(r)
	if err != nil {
		return
	}
	s.vSize, err = bin.ReadUint16AsInt(r)
	if err != nil {
		return
	}
	err = bin.ReadNInto(r, s.databuf[len(s.databuf)-s.tSize:])
	if err != nil {
		return
	}
	err = bin.ReadNInto(r, s.databuf[:s.vSize])
	if err != nil {
		return
	}
	//
	levelsCount, err := bin.ReadVarSize(r)
	if err != nil {
		return
	}
	for range levelsCount {
		var (
			buf   = make([]byte, atree.IndexPageSize)
			count int
		)
		count, err = bin.ReadVarSize(r)
		if err != nil {
			return
		}
		err = bin.ReadNInto(r, buf[:count*indexRecordSize])
		if err != nil {
			return
		}
		s.indexLevelTails = append(s.indexLevelTails, txlog.IndexLevelTail{
			Buffer:       buf,
			RecordsCount: count,
		})
	}
	return
}

type AppendMeasuresResult struct {
	IndexPages            []txlog.PageToWrite
	DataPages             []txlog.PageToWrite
	ReusedIndexPagesCount int
	ReusedDataPagesCount  int
}

func (s *ReplayMetric) AppendedMeasures(rec txlog.WALRecordAppendMeasures, pagesNeeded bool) (result AppendMeasuresResult) {
	// Додати в index level tails недостаючі дані, або замінити
	for levelIdx, change := range rec.ChangedIndexLevels {
		if levelIdx < len(s.indexLevelTails) {
			level := s.indexLevelTails[levelIdx]
			if change.CompletedIndexPage != nil {
				// попередній хвіст індексного рівня перетворився на сторінку,
				// отже TailRecords - це новий хвіст
				// або копіюю дані, або алокую більший буфер?
				copy(level.Buffer, change.TailRecords)
				level.RecordsCount = len(change.TailRecords) / indexRecordSize
			} else {
				// TailRecords - це нові дані, які треба додати
				pos := level.RecordsCount * indexRecordSize
				copy(level.Buffer[pos:], change.TailRecords)
			}
			s.indexLevelTails[levelIdx] = level
		} else {
			var (
				recordsCount = len(change.TailRecords) / indexRecordSize
				buffer       = make([]byte, atree.IndexPageSize)
			)
			copy(buffer, change.TailRecords)
			s.indexLevelTails = append(s.indexLevelTails, txlog.IndexLevelTail{
				Buffer:       buffer,
				RecordsCount: recordsCount,
			})
		}
	}

	// Перезаписати в buffer timestamps та values. Якщо розмір буферу недостатній -
	// спочатку створити більший

	var (
		// CompletedDataPage є полюбому, оскільки це Record із мінімум одною заповненою
		// data сторінкою. Отже TailTimestamps і TailValues - це нові хвости data рівня.

		requiredSpace = len(rec.TailTimestamps) + len(rec.TailValues)
		databuf       []byte
	)
	if requiredSpace < len(s.buf) {
		databuf = s.buf
		// fix - update sizes?
	} else {
		var buf []byte
		buf, databuf = allocateBuffers(requiredSpace)
		copy(databuf, rec.TailValues)
		pos := len(databuf) - len(rec.TailTimestamps)
		copy(databuf[pos:], rec.TailTimestamps)
		// fix - replace and remeber sizes?

		s.buf = buf
	}

	//rec.TailTimestamps
	//rec.TailValues
	return
}

func (s *ReplayMetric) ApplyHeadDataPage(p txlog.CompletedDataPage) {
	// буфер має бути розміру сторінки
	if len(s.buf) != atree.DataPageSize {
		s.buf, s.databuf = growBuffers(growBuffersIn{
			databuf:       s.databuf,
			tSize:         s.tSize,
			vSize:         s.vSize,
			requiredSpace: atree.DataPageSize,
		})
	}
	// дописую дані по зміщенню
	pos := len(s.databuf) - p.TimestampsOffset - len(p.Timestamps)
	copy(s.databuf[pos:], p.Timestamps)
	copy(s.databuf[p.ValuesOffset:], p.Values)
	//
	s.tSize = p.TimestampsOffset + len(p.Timestamps)
	s.tSize = p.ValuesOffset + len(p.Values)

	// fix - заполнить страницу
	// fix - check checksum
}

// func (s *ReplayMetric) ApplyHeadIndexPages(changedIndexLevels txlog.ChangedIndexLevel) {
// 	for levelIdx, changedLevel := range changedIndexLevels {
// 		p := changedLevel.CompletedIndexPage
// 		if p != nil {
// 			level := s.indexLevelTails[levelIdx]
// 			copy(level.Buffer[level.RecordsCount*indexRecordSize:], p.Records)

// 			// fix - заполнить страницу
// 			// fix - check checksum

// 			s.indexPages = append(s.indexPages, txlog.PageToWrite{
// 				PageNo:  p.PageNo,
// 				Content: level.Buffer,
// 			})
// 		}

// 		for _, x := range changedLevel.IndexPages {
// 			s.indexPages = append(s.indexPages, txlog.PageToWrite{
// 				PageNo:  x.PageNo,
// 				Content: x.Content,
// 			})
// 		}
// 	}
// }