wp
This commit is contained in:
@@ -10,8 +10,8 @@ import (
|
||||
"time"
|
||||
|
||||
"gordenko.dev/dima/qb"
|
||||
"gordenko.dev/dima/qb/atree"
|
||||
"gordenko.dev/dima/qb/inbox"
|
||||
"gordenko.dev/dima/qb/pagecache"
|
||||
"gordenko.dev/dima/qb/recovery"
|
||||
"gordenko.dev/dima/qb/storage"
|
||||
"gordenko.dev/dima/qb/worker"
|
||||
@@ -24,7 +24,8 @@ type Database struct {
|
||||
workerInbox *inbox.Inbox
|
||||
worker *worker.Worker
|
||||
storage *storage.Writer
|
||||
atree *atree.Atree
|
||||
indexCache *pagecache.PageCache
|
||||
dataCache *pagecache.PageCache
|
||||
tcpPort int
|
||||
logfile *os.File
|
||||
logger *log.Logger
|
||||
@@ -100,6 +101,24 @@ func New(opt Options) (_ *Database, err error) {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
s.indexCache, err = pagecache.New(pagecache.Options{
|
||||
File: indexFile,
|
||||
PageSize: storage.IndexPageSize,
|
||||
VerifyPageCRC: storage.VerifyIndexPageCRC32,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("index pagecache.New: %s", err)
|
||||
}
|
||||
|
||||
s.dataCache, err = pagecache.New(pagecache.Options{
|
||||
File: dataFile,
|
||||
PageSize: storage.DataPageSize,
|
||||
VerifyPageCRC: storage.VerifyDataPageCRC32,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("data pagecache.New: %s", err)
|
||||
}
|
||||
|
||||
s.storage, err = storage.NewWriter(storage.WriterOptions{
|
||||
Inbox: storageInbox,
|
||||
WorkerInbox: s.workerInbox,
|
||||
@@ -126,14 +145,6 @@ func New(opt Options) (_ *Database, err error) {
|
||||
ExitCh: opt.ExitCh,
|
||||
WaitGroup: opt.WaitGroup,
|
||||
})
|
||||
|
||||
s.atree, err = atree.New(atree.Options{
|
||||
DataFile: dataFile,
|
||||
IndexFile: indexFile,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("atree.New: %s", err)
|
||||
}
|
||||
return s, nil
|
||||
}
|
||||
|
||||
@@ -146,14 +157,11 @@ func (s *Database) ListenAndServe() (err error) {
|
||||
//s.waitGroup.Add(1)
|
||||
go s.storage.Run()
|
||||
|
||||
// s.atree.Run()
|
||||
|
||||
s.waitGroup.Add(1)
|
||||
go s.worker.Run()
|
||||
|
||||
s.logger.Println("database started")
|
||||
for {
|
||||
// Listen for an incoming connection.
|
||||
conn, err := listener.Accept()
|
||||
if err != nil {
|
||||
s.logger.Printf("listener.Accept: %s\n", err)
|
||||
@@ -164,53 +172,291 @@ func (s *Database) ListenAndServe() (err error) {
|
||||
}
|
||||
}
|
||||
|
||||
//
|
||||
type ContinueFullScanReq struct {
|
||||
MetricType qb.MetricType
|
||||
FracDigits byte
|
||||
ResponseWriter qb.AtreeMeasureConsumer
|
||||
LastPageNo uint32
|
||||
}
|
||||
|
||||
// зробити object?
|
||||
func (s *Database) ContinueFullScan(req ContinueFullScanReq) error {
|
||||
buf, err := s.dataCache.FetchPage(req.LastPageNo)
|
||||
if err != nil {
|
||||
return fmt.Errorf("dataCache.FetchPage(%d): %s", req.LastPageNo, err)
|
||||
}
|
||||
treeCursor, err := storage.NewBackwardCursor(storage.BackwardCursorOptions{
|
||||
MetricType: req.MetricType,
|
||||
FracDigits: req.FracDigits,
|
||||
PageNo: req.LastPageNo,
|
||||
PageData: buf,
|
||||
FetchDataPage: s.dataCache.FetchPage,
|
||||
ReleasePage: s.dataCache.ReleasePage,
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer treeCursor.Close()
|
||||
for {
|
||||
timestamp, value, done, err := treeCursor.Prev()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if done {
|
||||
return nil
|
||||
}
|
||||
req.ResponseWriter.Feed(timestamp, value)
|
||||
}
|
||||
}
|
||||
|
||||
// func (s *Database) replayChanges(snapshotNumber int) (err error) {
|
||||
// snapshot, err := readSnapshot(JoinSnapshotFileName(s.dir, snapshotNumber))
|
||||
// if err != nil {
|
||||
// return
|
||||
// }
|
||||
type ContinueRangeScanReq struct {
|
||||
MetricType qb.MetricType
|
||||
FracDigits byte
|
||||
ResponseWriter qb.AtreeMeasureConsumer
|
||||
LastPageNo uint32
|
||||
Since uint32
|
||||
}
|
||||
|
||||
// return nil
|
||||
func (s *Database) ContinueRangeScan(req ContinueRangeScanReq) error {
|
||||
buf, err := s.dataCache.FetchPage(req.LastPageNo)
|
||||
if err != nil {
|
||||
return fmt.Errorf("dataCache.FetchPage(%d): %s", req.LastPageNo, err)
|
||||
}
|
||||
treeCursor, err := storage.NewBackwardCursor(storage.BackwardCursorOptions{
|
||||
MetricType: req.MetricType,
|
||||
FracDigits: req.FracDigits,
|
||||
PageNo: req.LastPageNo,
|
||||
PageData: buf,
|
||||
FetchDataPage: s.dataCache.FetchPage,
|
||||
ReleasePage: s.dataCache.ReleasePage,
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer treeCursor.Close()
|
||||
for {
|
||||
timestamp, value, done, err := treeCursor.Prev()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if done {
|
||||
return nil
|
||||
}
|
||||
req.ResponseWriter.Feed(timestamp, value)
|
||||
if timestamp < req.Since {
|
||||
return nil
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
type RangeScanReq struct {
|
||||
MetricType qb.MetricType
|
||||
FracDigits byte
|
||||
ResponseWriter qb.AtreeMeasureConsumer
|
||||
Since uint32
|
||||
Until uint32
|
||||
LastPageNo uint32
|
||||
IsDataPage bool
|
||||
}
|
||||
|
||||
func (s *Database) RangeScan(req RangeScanReq) error {
|
||||
var (
|
||||
pageNo uint32
|
||||
buf []byte
|
||||
err error
|
||||
)
|
||||
if req.IsDataPage {
|
||||
pageNo = req.LastPageNo
|
||||
buf, err = s.dataCache.FetchPage(pageNo)
|
||||
if err != nil {
|
||||
return fmt.Errorf("dataCache.FetchPage(%d): %s", pageNo, err)
|
||||
}
|
||||
} else {
|
||||
pageNo, buf, err = s.findDataPage(req.LastPageNo, req.Until)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
cursor, err := storage.NewBackwardCursor(storage.BackwardCursorOptions{
|
||||
MetricType: req.MetricType,
|
||||
FracDigits: req.FracDigits,
|
||||
PageNo: pageNo,
|
||||
PageData: buf,
|
||||
FetchDataPage: s.dataCache.FetchPage,
|
||||
ReleasePage: s.dataCache.ReleasePage,
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer cursor.Close()
|
||||
for {
|
||||
timestamp, value, done, err := cursor.Prev()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if done {
|
||||
return nil
|
||||
}
|
||||
if timestamp <= req.Until {
|
||||
req.ResponseWriter.Feed(timestamp, value)
|
||||
if timestamp < req.Since {
|
||||
// - записи, удовлетворяющие временным рамкам, закончились.
|
||||
return nil
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// (records payload only, isZeroLevel, timestamp)
|
||||
func (s *Database) findDataPage(foundPageNo uint32, timestamp uint32) (uint32, []byte, error) {
|
||||
for {
|
||||
buf, err := s.indexCache.FetchPage(foundPageNo)
|
||||
if err != nil {
|
||||
return 0, nil, fmt.Errorf("fetchIndexPage(%d): %s", foundPageNo, err)
|
||||
}
|
||||
toReleaseIndexPageNo := foundPageNo
|
||||
foundPageNo = storage.FindPageOnIndexPage(buf, timestamp)
|
||||
s.indexCache.ReleasePage(toReleaseIndexPageNo)
|
||||
if storage.IsZeroLevelPage(buf) {
|
||||
buf, err := s.dataCache.FetchPage(foundPageNo)
|
||||
if err != nil {
|
||||
return 0, nil, fmt.Errorf("fetchDataPage(%d): %s", foundPageNo, err)
|
||||
}
|
||||
return foundPageNo, buf, nil
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// type PathLeg struct {
|
||||
// PageNo uint32
|
||||
// Data []byte
|
||||
// }
|
||||
|
||||
//func (s *Database) verifySnapshot(fileName string) (_ bool, err error) {
|
||||
// file, err := os.Open(fileName)
|
||||
// if err != nil {
|
||||
// return
|
||||
// }
|
||||
// defer file.Close()
|
||||
|
||||
// stat, err := file.Stat()
|
||||
// if err != nil {
|
||||
// return
|
||||
// }
|
||||
|
||||
// if stat.Size() <= 4 {
|
||||
// return false, nil
|
||||
// }
|
||||
|
||||
// var (
|
||||
// payloadSize = stat.Size() - 4
|
||||
// hash = crc32.NewIEEE()
|
||||
// )
|
||||
|
||||
// _, err = io.CopyN(hash, file, payloadSize)
|
||||
// if err != nil {
|
||||
// return
|
||||
// }
|
||||
// calculatedCRC := hash.Sum32()
|
||||
|
||||
// storedCRC, err := bin.ReadUint32(file)
|
||||
// if err != nil {
|
||||
// return
|
||||
// }
|
||||
// if storedCRC != calculatedCRC {
|
||||
// return false, fmt.Errorf("strored CRC %d not equal calculated CRC %d",
|
||||
// storedCRC, calculatedCRC)
|
||||
// }
|
||||
// return true, nil
|
||||
// type PathToDataPage struct {
|
||||
// Legs []PathLeg
|
||||
// LastPageNo uint32
|
||||
// }
|
||||
|
||||
// func (s *Database) FindPathToLastPage(rootPageNo uint32) (_ PathToDataPage, err error) {
|
||||
// // var (
|
||||
// // pageNo = rootPageNo
|
||||
// // legs []PathLeg
|
||||
// // )
|
||||
|
||||
// // for {
|
||||
// // var buf []byte
|
||||
// // buf, err = s.fetchIndexPage(pageNo)
|
||||
// // if err != nil {
|
||||
// // err = fmt.Errorf("FetchIndexPage(%d): %s", pageNo, err)
|
||||
// // return
|
||||
// // }
|
||||
|
||||
// // legs = append(legs, PathLeg{
|
||||
// // PageNo: pageNo,
|
||||
// // Data: buf,
|
||||
// // // childIdx не нужен
|
||||
// // })
|
||||
|
||||
// // foundPageNo := getLastPageNo(buf)
|
||||
|
||||
// // // fix
|
||||
// // if buf[isLastLevelIdx] == 1 {
|
||||
// // return PathToDataPage{
|
||||
// // Legs: legs,
|
||||
// // LastPageNo: foundPageNo,
|
||||
// // }, nil
|
||||
// // }
|
||||
// // // вглубь
|
||||
// // pageNo = foundPageNo
|
||||
// // }
|
||||
// return
|
||||
// }
|
||||
|
||||
// DELETE
|
||||
|
||||
// func (s *Atree) DeletePages(pageNumbers []uint32) {
|
||||
// s.mutex.Lock()
|
||||
// for _, pageNo := range pageNumbers {
|
||||
// delete(s.pages, pageNo)
|
||||
// }
|
||||
// s.mutex.Unlock()
|
||||
// }
|
||||
|
||||
// type Level struct {
|
||||
// PageNo uint32
|
||||
// PageData []byte
|
||||
// Idx int
|
||||
// ChildQty int
|
||||
// }
|
||||
|
||||
// func (s *Atree) GetAllPages(rootPageNo uint32) (_ []uint32, err error) {
|
||||
// // var (
|
||||
// // pageNumbers []uint32
|
||||
// // levels []*Level
|
||||
// // )
|
||||
|
||||
// // buf, err := s.fetchIndexPage(rootPageNo)
|
||||
// // if err != nil {
|
||||
// // return nil, fmt.Errorf("fetchIndexPage(%d): %s", rootPageNo, err)
|
||||
// // }
|
||||
// // pageNumbers = append(pageNumbers, rootPageNo)
|
||||
|
||||
// // // if buf[isDataPageNumbersIdx] == 1 {
|
||||
// // // pageNumbers := listPageNumbers(buf)
|
||||
// // // dataPages = append(dataPages, pageNumbers...)
|
||||
|
||||
// // // s.releasePage(rootPageNo)
|
||||
|
||||
// // // return PageLists{
|
||||
// // // DataPages: dataPages,
|
||||
// // // IndexPages: indexPages,
|
||||
// // // }, nil
|
||||
// // // }
|
||||
|
||||
// // childQty, _ := bin.GetUint16(buf[indexRecordsQtyIdx:])
|
||||
|
||||
// // levels = append(levels, &Level{
|
||||
// // PageNo: rootPageNo,
|
||||
// // PageData: buf,
|
||||
// // Idx: 0,
|
||||
// // ChildQty: int(childQty),
|
||||
// // })
|
||||
|
||||
// // for {
|
||||
// // if len(levels) == 0 {
|
||||
// // return pageNumbers, nil
|
||||
// // }
|
||||
|
||||
// // lastIdx := len(levels) - 1
|
||||
// // level := levels[lastIdx]
|
||||
|
||||
// // if level.Idx < level.ChildQty {
|
||||
// // pageNo := getPageNo(level.PageData, level.Idx)
|
||||
// // level.Idx++
|
||||
|
||||
// // var buf []byte
|
||||
// // buf, err = s.fetchPage(pageNo)
|
||||
// // if err != nil {
|
||||
// // return nil, fmt.Errorf("fetchPage(%d): %s", pageNo, err)
|
||||
// // }
|
||||
// // pageNumbers = append(pageNumbers, pageNo)
|
||||
|
||||
// // if buf[pageTypeIdx] == PageTypeData {
|
||||
// // //pageNumbers := listPageNumbers(buf)
|
||||
// // //dataPages = append(dataPages, pageNumbers...)
|
||||
// // s.releasePage(pageNo)
|
||||
// // } else {
|
||||
// // childQty, _ = bin.GetUint16(buf[indexRecordsQtyIdx:])
|
||||
// // levels = append(levels, &Level{
|
||||
// // PageNo: pageNo,
|
||||
// // PageData: buf,
|
||||
// // Idx: 0,
|
||||
// // ChildQty: int(childQty),
|
||||
// // })
|
||||
// // }
|
||||
// // } else {
|
||||
// // s.releasePage(level.PageNo)
|
||||
// // levels = levels[:lastIdx]
|
||||
// // }
|
||||
// // }
|
||||
// return
|
||||
// }
|
||||
|
||||
Reference in New Issue
Block a user