https://tierzerosecurity.co.nz/2025/04/03/ollama-rag.html
摘要
本文探讨了如何使用大语言模型（LLM）和检索增强生成（RAG）技术，结合新西兰信息安全手册（NZISM）和Linux加固配置的最佳实践，来实现自动化任务。通过实验，作者分析了数据质量对结果的重要性，并探讨了使用本地和云GPU环境运行LLM的可行性。
关键点
- 人工智能（AI）、生成式AI和大语言模型（LLM）正在被组织广泛用于流程、应用程序、客户支持、帮助台和安全操作中。
- Tier Zero Security专注于AI安全领域，包括AI红队测试、模型训练的理解、保护措施以及工具的实验（如Microsoft PyRIT和PyRIT-Ship）。
- 研究评估了如何使用LLM来回答与NZISM和Linux加固配置最佳实践相关的问题，确保数据不会发送到第三方API服务。
- 使用Retrieval-Augmented Generation（RAG）方法，通过嵌入模型从向量数据库中检索相关数据并生成上下文化响应。
- 初步测试使用了Verba工具，但由于PDF数据质量问题，结果不理想。
- 转而使用Python LlamaIndex库和Ollama API进行实验，并选择nomic-embed-text作为嵌入模型。
- 数据质量改进包括从NZISM HTML页面抓取控制部分内容，并手动创建基于Markdown格式的Ubuntu 22.04安全最佳实践检查列表。
- 使用Docker容器运行Ollama和测试，配置了低温度参数（0.1）以提高响应的确定性和准确性。
- 测试显示，检索的数据主要准确，但进一步改进需要更结构化和全面的数据。
- 在Vast AI上测试GPU实例（如RTX 3090），显著提升了响应时间，成本较低。
- 结论指出，LLM和RAG可以有效实现一定的任务自动化，但数据质量是关键，未来将优化数据准备方式。
-