Retrieval-Augmented Generation (RAG) 是一種結合資訊檢索和文本生成的 AI 技術，它能夠從大量文本數據中檢索相關資訊，並生成更準確、更全面的答案。而 GraphRAG 則是 RAG 的一種新方法，利用圖譜結構來組織和理解文本數據，從而提高檢索效率和答案品質。
Microsoft 最近推出了 LazyGraphRAG，這是一種全新的圖譜增強 RAG ，它無需事先對源數據進行摘要，從而避免了高昂的前期索引成本，並在多種方法和搜索機制中實現了成本和品質的可擴展性 [8, 9]
LazyGraphRAG 的核心思想
LazyGraphRAG 的核心思想是延遲計算。它並非像 GraphRAG 那樣預先構建完整的圖譜索引，而是根據查詢動態地構建輕量級資料結構，並利用最佳優先和廣度優先搜尋策略進行檢索。這種「按需構建」的方式顯著降低了索引成本，同時保持了處理本地和全域查詢的能力。
相對於 GraphRAG 的改進
- 成本效益: LazyGraphRAG 的索引成本僅為 GraphRAG 的 0.1%，大大降低使用門檻，使資源有限的用戶也能使用 [2]。
- 動態處理: LazyGraphRAG 在查詢時動態檢索原始數據並進行處理，避免了維護預先計算的摘要的繁重工作 [1]。這種動態處理方式能更加靈活地應對不同的查詢需求，並提供更準確的答案。
- 可調控的相關性測試預算: LazyGraphRAG 通過一個可調參數——相關性測試預算——來控制成本和品質之間的權衡，使其能夠有效地適應不同的操作需求 [3]。 這個參數類似於一個“搜索深度”的控制器。
- 增加預算可以提高答案的品質，但也會增加查詢的成本。
- 減少預算則可以降低成本，但可能會犧牲一部分答案的品質。
- 用戶可以根據自己的需求靈活調整這個參數，找到成本和品質之間的最佳平衡點。
- 效率: 對於全域查詢，LazyGraphRAG 能以比 GraphRAG 低 700 多倍的查詢成本實現相當的答案品質 [2]。
- 無需預先摘要: LazyGraphRAG 消除了對預先摘要的需求，從而節省了時間和成本，並提高了可擴展性 [3]。
LazyGraphRAG 的工作機制
採用迭代深化的方式，結合了最佳優先和廣度優先搜尋策略 [5, 9]。可以將迭代深化理解為一種分層搜尋策略：首先在有限的深度進行搜尋，然後逐步深入資料集，直到找到滿足條件的結果。這種方法類似於在地圖上尋找目的地時，先查看大範圍區域，然後逐步縮小範圍，最終找到目標位置。LazyGraphRAG 將最佳優先搜尋 (優先探索最有希望的路徑，使用向量 RAG) 和廣度優先搜尋 (逐層探索所有可能路徑，使用 GraphRAG 全局搜尋) 結合起來，以迭代的方式動態地構建和優化圖結構。它動態地使用自然語言處理 (NLP) 技術來提取概念及其共現關係，並在處理查詢時優化圖結構 [4]。通過將 LLM 的使用延遲到必要時，LazyGraphRAG 在保持品質的同時實現了效率。
LazyGraphRAG 的適用場景
LazyGraphRAG 既可以處理本地查詢，也可以處理全域查詢，適用於各種應用場景，包括探索性分析和即時決策 [3]。它尤其適用於以下場景：
- 資源有限: 當計算資源或時間有限時，LazyGraphRAG 的低索引成本和高效率使其成為理想的選擇。
- 動態資料: 對於頻繁更新的資料集，LazyGraphRAG 的動態圖構建能力可以更好地適應變化。
- 探索性分析: 當用戶需要快速探索大型資料集並獲取洞察時，LazyGraphRAG 可以提供高效的檢索支援。
總結
LazyGraphRAG 是圖譜增強式檢索領域的一項重大進步。通過解決 GraphRAG 的成本和效率限制，為各種應用提供了一種更易於訪問且通用的解決方案。LazyGraphRAG 的延遲計算、動態圖構建和可調的相關性測試預算等特性使其成為處理知識密集型任務的強大工具。特別是，LazyGraphRAG 的成本效益使得資源有限的用戶也能使用先進的檢索技術，從而促進了 AI 工具的普及 [3]。隨 LazyGraphRAG 被整合到開源 GraphRAG 庫中，我們期待它能夠重新定義 RAG 系統，並對 AI 應用產生深遠的影響 [3]。
更詳細的介紹參考：微软GraphRAG框架演进之路及带来的一些思考 https://www.53ai.com/news/RAG/2024112774561.html
參考資料
[1]Microsoft’s LazyGraphRAG: Smarter, Faster, and More Cost-Effective Data Retrieval, accessed January 2, 2025, https://medium.com/data-science-in-your-pocket/microsofts-lazygraphrag-smarter-faster-and-more-cost-effective-data-retrieval-63823d8b8622
[2]GraphRAG vs LazyGraphRAG: Revolutionizing Retrieval-Augmented Generation – DEV Community, accessed January 2, 2025, https://dev.to/pullreview/graphrag-vs-lazygraphrag-revolutionizing-retrieval-augmented-generation-fhi
[3]Microsoft AI Introduces LazyGraphRAG: A New AI Approach to Graph-Enabled RAG that Needs No Prior Summarization of Source Data – MarkTechPost, accessed January 2, 2025, https://www.marktechpost.com/2024/11/26/microsoft-ai-introduces-lazygraphrag-a-new-ai-approach-to-graph-enabled-rag-that-needs-no-prior-summarization-of-source-data/
[4]Microsoft AI Introduces LazyGraphRAG: A New AI Approach to Graph-Enabled RAG that Needs No Prior Summarization of Source Data : r/machinelearningnews – Reddit, accessed January 2, 2025, https://www.reddit.com/r/machinelearningnews/comments/1h0w4we/microsoft_ai_introduces_lazygraphrag_a_new_ai/
[5]Microsoft unveils hard-working, lower-cost LazyGraphRAG – The Stack, accessed January 2, 2025, https://www.thestack.technology/microsoft-lazygraphrag/
[6]Unpacking RAG: A Comparative Analysis of Vector RAG, GraphRAG, and LazyGraphRAG | by om panda | Nov, 2024 | Medium, accessed January 2, 2025, https://medium.com/@ompanda/unpacking-rag-a-comparative-analysis-of-vector-rag-graph-rag-and-lazygraphrag-140c7dcb6379
[7]Microsoft AI Introduces LazyGraphRAG: A Game-Changer in Cost-Effective Graph-Enabled Retrieval Without Prior Data Summarization – AI Toolhouse Blog, accessed January 2, 2025, https://blog.aitoolhouse.com/microsoft-ai-introduces-lazygraphrag-a-game-changer-in-cost-effective-graph-enabled-retrieval-without-prior-data-summarization/
[8]Project GraphRAG: News & features – Microsoft Research, accessed January 2, 2025, https://www.microsoft.com/en-us/research/project/graphrag/news-and-awards/
[9]LazyGraphRAG: Setting a new standard for quality and cost …, accessed January 2, 2025, https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/