百融云创ORCA平台 推动人工智能规模化发展

人工智能产业化落地和规模化落地是一个庞大的系统性工程,涉及到从政策到科技,从技术到场景等多个环节,其中人工智能模型是连结物理世界与数字世界的管道,也是人工智能产业化的关键一环。而想要构建完善的人工智能模型离不开机器学习平台,机器学习平台涵盖了算法开发、特征工程、模型训练、测试与优化、部署、模型管理等AI模型全生命周期的功能开发,是AI模型必不可少的重要载体。

近年来产业各界纷纷将机器学习平台作为研发的重点,作为人工智能领域领先企业,百融云创历经3年自主研发了ORCA机器学习框架,提供覆盖模型开发、训练、部署、分析的全周期端到端技术服务,能够帮助企业用户实现模型开发的从无到有,从零到一。

模型的训练和部署环节,是整个模型全生命周期的两个端点。在金融应用场景中,通常情况下,建模分析师会选择python语言去进行模型的开发和训练。但到了部署环节,受到应用场景、金融机构软硬件基础、使用习惯、模型性能、系统监控等因素的影响,可能需要换到了另外一种高性能语言或环境。

传统模式下,需要分析师或研发工程师用人工的方式,敲出一行行代码去完成模型的复现,如果只是一两个模型是完全可以应对的,但一些大型银行每年动辄就要上线几十上百个模型,这些模型的访问量非常大,纵使金融机构近年来储备了大量科技人才,如果还是靠人力来完成这些工作,绝对是不可承受之重。

百融云创ORCA机器学习平台为解决这一难题开拓性研发出ORCA-serving,这是一种跨语言或环境的模型训练与自动化部署技术,如金融机构在模型开发训练阶段应用的是python语言,在部署时会根据需求自动转化为java、rust或者python等语言架构以及web服务器、Spark等部署环境,让建模人员只需关注业务模型开发,即可获取专家工程级的模型部署服务。

值得一提的是,ORCA已经得到高效应用,ORCA-serving已承载百融云创过百亿级的模型推理服务,目前也逐步向合作伙伴进行开放共享,部分功能已应用于本地化模型管理平台产品中。ORCA在实际应用中展现出强大的性能表现,能够将机器学习模型推理性能(TPS)平均提升300%以上,复杂模型提升700%,模型测试与部署时间缩短50%以上。