Eino: Document Parser 接口使用说明

import (
    "github.com/cloudwego/eino/schema"
)

// Parser is a document parser, can be used to parse a document from a reader.
type Parser interface {
    Parse(ctx context.Context, reader io.Reader, opts ...Option) ([]*schema.Document, error)
}

type Options struct {
    // URI 表示文档的来源
    URI string

    // ExtraMeta 会被合并到每个解析出的文档的元数据中
    ExtraMeta map[string]any
}

import "github.com/cloudwego/eino/components/document/parser"

textParser := parser.TextParser{}
docs, _ := textParser.Parse(ctx, strings.NewReader("hello world"))

logs.Infof("text content: %v", docs[0].Content)

package main

import (
    "context"
    "os"

    "github.com/cloudwego/eino-ext/components/document/parser/html"
    "github.com/cloudwego/eino-ext/components/document/parser/pdf"
    "github.com/cloudwego/eino/components/document/parser"

    "github.com/cloudwego/eino-examples/internal/gptr"
    "github.com/cloudwego/eino-examples/internal/logs"
)

func main() {
    ctx := context.Background()

    textParser := parser.TextParser{}

    htmlParser, _ := html.NewParser(ctx, &html.Config{
       Selector: gptr.Of("body"),
    })

    pdfParser, _ := pdf.NewPDFParser(ctx, &pdf.Config{})

    // 创建扩展解析器
    extParser, _ := parser.NewExtParser(ctx, &parser.ExtParserConfig{
       // 注册特定扩展名的解析器
       Parsers: map[string]parser.Parser{
          ".html": htmlParser,
          ".pdf":  pdfParser,
       },
       // 设置默认解析器，用于处理未知格式
       FallbackParser: textParser,
    })

    // 使用解析器
    filePath := "./testdata/test.html"
    file, _ := os.Open(filePath)
    
    docs, _ := extParser.Parse(ctx, file,
       // 必须提供 URI ExtParser 选择正确的解析器进行解析
       parser.WithURI(filePath),
       parser.WithExtraMeta(map[string]any{
          "source": "local",
       }),
    )

    for idx, doc := range docs {
       logs.Infof("doc_%v content: %v", idx, doc.Content)
    }
}

// 使用 FileLoader 加载本地文件
ctx := context.Background()

// 创建文件加载器，使用文本解析器
loader, err := file.NewFileLoader(ctx, &file.FileLoaderConfig{
    UseNameAsID: true,  // 使用文件名作为文档ID
    Parser: parser.TextParser{},  // 使用文本解析器
})
if err != nil {
    return err
}

// 加载文件
docs, err := loader.Load(ctx, document.Source{
    URI: "./document.txt",
})
if err != nil {
    return err
}

// 处理加载的文档
for _, doc := range docs {
    fmt.Printf("Document ID: %s\n", doc.ID)  // 输出: Document ID: document.txt
    fmt.Printf("Content: %s\n", doc.Content)
    fmt.Printf("Extension: %s\n", doc.MetaData[file.MetaKeyExtension])  // 输出: Extension: .txt
    fmt.Printf("Source: %s\n", doc.MetaData[file.MetaKeySource])  // 输出: Source: ./document.txt
}

// 定义选项结构体
type MyParserOptions struct {
    Encoding string
    MaxSize int64
}

// 定义选项函数
func WithEncoding(encoding string) parser.Option {
    return parser.WrapImplSpecificOptFn(func(o *MyParserOptions) {
        o.Encoding = encoding
    })
}

func WithMaxSize(size int64) parser.Option {
    return parser.WrapImplSpecificOptFn(func(o *MyParserOptions) {
        o.MaxSize = size
    })
}

type MyParser struct {
    defaultEncoding string
    defaultMaxSize int64
}

func NewMyParser(config *MyParserConfig) (*MyParser, error) {
    return &MyParser{
        defaultEncoding: config.DefaultEncoding,
        defaultMaxSize: config.DefaultMaxSize,
    }, nil
}

func (p *MyParser) Parse(ctx context.Context, reader io.Reader, opts ...parser.Option) ([]*schema.Document, error) {
    // 1. 处理通用选项
    commonOpts := parser.GetCommonOptions(&parser.Options{}, opts...)
    
    // 2. 处理特定选项
    myOpts := &MyParserOptions{
        Encoding: p.defaultEncoding,
        MaxSize: p.defaultMaxSize,
    }
    myOpts = parser.GetImplSpecificOptions(myOpts, opts...)
    
    // 3. 实现解析逻辑
    
    return docs, nil
}