阿里云向量检索服务 Milvus 版正式商业化

2024-10-29 15:41| 发布者: admin| 查看: 944| 评论: 0

摘要: 背景与挑战随着大模型和生成式 AI 时代的到来,非结构化数据呈现爆发式增长。据 IDC 预测,预计到2025年全球数据规模将达到175ZB,其中非结构化数据将占到数据总量的80%。如何高效地管理和利用海量的非结构化数据成为了 ...

背景与挑战

随着大模型和生成式 AI 时代的到来,非结构化数据呈现爆发式增长。据 IDC 预测,预计到2025年全球数据规模将达到175ZB,其中非结构化数据将占到数据总量的80%。如何高效地管理和利用海量的非结构化数据成为了业界重点关注的问题。目前,在处理非结构化数据领域,最广泛采用的方法是基于深度学习模型,将数据进行 embedding 向量化,然后运用数据相似度检索和聚类分析等技术对数据进行检索分析,进一步挖掘数据价值。

阿里云向量检索服务 Milvus 版

基于以上背景,阿里云推出了向量检索服务Milvus版。Milvus是全球最受欢迎的开源向量数据库之一,具备毫秒级检索万亿规模向量数据、云原生高度可扩展、快速迭代等特性,是一个天然与AI结合的向量检索引擎。阿里云向量检索服务Milvus版,100%兼容开源Milvus,在性能、稳定性、可用性、管控能力等多个方向进行大量优化,相比开源版本,大幅进行功能和性能优化的同时自建成本平均降低30%。

阿里云向量检索服务Milvus版依托全托管云服务,白屏化所有运维动作,平滑集成阿里云AI生态,解决自建用户无法及时应对业务波峰波谷、运维门槛和成本高、与AI生态集成难等问题,为非结构化数据处理提供全链路处理方案,支持多模态搜索、广告推荐、自动驾驶、RAG检索增强生成等场景。致力于为用户带来AI时代云原生专业向量检索引擎服务,便于用户专注业务价值,加速企业AI应用落地。

阿里云向量检索服务Milvus版自2023年底发布内测,2024年4月份发布公测以来,累积开通的计算CU 总数规模达到了上万核、集群开通数量千台以上、参与测试的企业客户达600多家。涵盖的应用场景包括电商多模态检索、互联网酒店搜索、RAG检索增强生成等场景,对线上服务稳定性进行了完整的、充分的打磨。2024年10月28日,阿里云向量检索服务Milvus版正式开始商业化售卖。

产品优势

● 拥抱开源

阿里云Milvus100%兼容开源Milvus,支持自建集群无缝迁移上云。在AI、搜索推荐等领域内,坚持与开源社区一起共建产品能力。向客户提供兼容程度高,迁移成本低,灵活可控的全托管向量检索服务。

● 高易用

阿里云Milvus集成了丰富的Vector检索库,支持混合查询、聚合检索、多向量查询等高阶能力,为用户提供高效且稳定的向量数据检索能力。还提供全套的监控告警体系,为用户免去繁琐自运维步骤,同时针对用户具体使用场景,支持升降配、高弹性的能力。基于阿里云 Milvus 运管平台能力,提供 99.9% 的可用性保证。

● 低成本

阿里云Milvus提供读写分离、存算分离技术,实现精细化的存储计算资源管理技术,结合阿里云提供的全套运维服务,实现至少30%成本下降。

● AI 高度集成

阿里云Milvus无缝兼容LangChain、LlamaIndex等框架,并与阿里云人工智能平台 PAI-EAS,通义等 AI 产品矩阵集成,为企业的 AI 应用场景落地,提供更快捷易用的产品体验。

应用场景

多模态检索

结合 AI 推理、训练等工程平台和 Embedding 模型的能力,Milvus 可高效索引和检索不同类型的数据,如:图片、视频、声纹、办公文档和一些半结构化文档,支持快速精准地跨媒体类型进行信息检索,并提供强大的扩展性和灵活的接口。

智能问答&大模型

结合大型语言模型实现智能问答系统,通过向量化处理用户查询,利用其高效检索功能快速匹配“私有知识库”中的信息,并结合大模型,生成准确回应。此方案提供即时、精确、交互式的生成式搜索服务。

客户案例

阿里云Milvus成功助力识货APP搭建电商向量数据检索平台,提供了上亿级别数据准实时检索,毫秒级别查询响应,同规格QPS对比自建提升10%;阿里云Milvus还提供了超过100项监控指标,包括 CPU 和内存使用率在内的多项关键指标,支持自定义报警规则的设定,满足业务多样化需求;此外,灵活的资源调整方案,使得识货能够根据业务需求的变化,平滑地进行资源的扩容或缩容,确保服务的持续可用性;同时,开箱即用的全托管服务,也极大地缓解了识货运维负担和人力成本,帮助识货提升了搜索和转化的效率。