·88 views·しんたろー
なぜAIの回答精度は40%で止まるのか。表崩れを防ぐLiteParseでRAG開発の前提が変わる訳
RAGの精度限界は検索アルゴリズムのせいではない RAGを作っても期待した精度が出ない。 多くの開発者がベクトル検索のアルゴリズムを弄り回している。 回答精度が40%で頭打ちになる原因はデータの取り込み方にある。 特にPDFの表データが鬼門だ。 ここで構造が壊れ、AIが幻覚を起こしている。 そこに、Markdown変換を捨てて空間配置をそのままLLMに読ませる新しいアプローチが登場した。