40年前,优化理论处于一片混沌,各种复杂算法让人莫衷一是。40年后,当时正处于年富力强阶段的2位俄裔数学家——阿尔卡迪•涅米罗夫斯基博士与尤里•涅斯捷罗夫博士引发了“一阶算法革命”,他们的发展内点法理论,提出自协调性,将数百个具有复杂证明和彼此间无关联的复杂算法,描述成一个简单而优雅的统一框架。其系列研究工作极具洞察力并富有成效,为解决各类问题提供了一系列基准速率和实现这些速率的优化算法,使得优化算法得以应用于现代应用中的大规模问题,并推动了新计算平台的发展,以支持这些算法。
正因为如此,2023年世界顶尖科学家协会奖“智能科学或数学奖”授予这2位俄裔数学家。在11月5日举行的“世界顶尖科学家科学圆桌π:智能科学或数学前沿”上,2位获奖得主与业内大咖围桌论剑,共话凸优化理论对世界的影响、算法将如何持续进阶优化更高效。
它为人工智能提供了模型和方法
优化理论是过去几十年对数学以外的领域产生最重大影响的学科,在控制系统、经济学、机器学习、航空航天、5G网络动态调整、云调度和金融等领域得到广泛应用,为这些领域所需的实用算法设计和实际应用等提供了概念基础和原理依据。
阿尔卡迪•涅米罗夫斯基表示:“优化理论本身是可以用于更广的数据来源,并且有助于科学家找到最佳解决方案,是有别于线性运算的一种方式。”尤里进一步解释说,“就像一个人做决定,他需要先获取非常多的信息来支撑一样,优化理论在各应用场景中,可以让研究者减少主观判断,增加客观信息的输入,更好地帮助他们做出最优决策。”
除此之外,优化理论也是多样化的,每个应用领域都有可能演变出新的方法论,来支撑和设置优化理论的机制。与此同时,优化理论也能够作为一种建议方式,帮助应用领域去开发新的理论。
在如今热门的AI领域中,大部分机器学习和深度学习解决的问题都是优化理论问题。对于尤里•涅斯捷罗夫来说,优化理论是可以在“学科与AI之间如何搭建桥梁”的问题中为研究者提供解决方案的。同时,“优化理论也能够帮助我们预测,是否有不同的方式可以推动算力的发展,这也能够为AI效率的提升做出巨大贡献。”阿尔卡迪•涅米罗夫斯基说。
随着计算机、大数据等新兴科技领域的发展,优化理论的发展也有了新的助力和挑战。如何更好地引用优化理论、了解它到底如何设置参数、怎样发挥它的最大能力、如何更好地支持其他科技领域的发展,成为优化理论接下来的发展命题。
应用数学加持算力提升
作为应用数学领域的一个重要科学问题,优化理论的地位相当于人的脊背一样的,支撑着整个算法模型的学习过程。算力的提升有助于算法模型更快的做出决策,缩短过程时间,而这需要收集更多的数据和更精准的数学运算作为支撑才能实现。
“我们必须确保这些算法呈现的方式是具有可实践性的。”阿尔卡迪•涅米罗夫斯基解释道,针对不同的方法是有不同优化途径的,这与自然环境下的优胜劣汰是一样的道理。毕竟理论和实际应用是有差别的,所以需要去思考如何才能够弥补差距,得到一个最优解。
数学的复杂度往往是来自于其结构本身,而不是物理或其他学科的限制。因此,数学家应是更加谨慎的。用尤里•涅斯捷罗夫的话来说,“即使只拥有一半运算能力的资源,也要让算法朝着你要的目标方向发展。”
而优化理论的运算目标更像是个“合唱团”,需要在不同情况下都能同时做函数运算。同时做的运算越多,得到的结果可能就会越好;而这并不完全是优化领域要去解决的问题,更多的是对函数算法的要求。通过应用数学推出更好的算法,才有可能为众多科学领域赋能,减轻算法压力。
“我们希望能够做出一个优化后的解决方法,这些方法可以自适应,进行自我调节,并且可以根据不同问题的难度等级去改变它的解决方案。”尤里•涅斯捷罗夫表示,希望自己的研究可以更好地促进应用数学行业的发展,为青年学生提供指导。
专注研究比思考意义更重要
40年来,尤里•涅斯捷罗夫一直是凸优化领域的全球领军人物。他的首批重要成果与快速梯度法(FGM)有关,这些成果如今越来越重要,在机器学习和人工智能领域得到越来越多的应用。其后,他与阿尔卡迪•涅米罗夫斯基合作,在凸优化的多项式时间算法的内点法理论方面获得了根本性的突破。
由于是纯理论性研究,有些人会质疑这项研究是否真的有用。而面对质疑,他们却始终专注于自己的研究。“人生是无法预测的,我们一开始做一个课题的时候是不知道它是否有意义的,只有做出成果来让它充满意义。”阿尔卡迪•涅米罗夫斯基表示,“我认为到今天为止没有任何研究是无用的,只要在不断的花费时间去深入一个领域,一定都是有意义的。”
“我在优化领域工作了45年,做的越多,就愈发觉得未知的内容越多。”尤里•涅斯捷罗夫感慨道,希望自己能够以一个应用数学博士导师的身份,为这个领域做出更大的贡献,他也呼吁数学家们应该齐聚一堂为其他领域做拓展。
而事实也正如尤里所说的一样,他们的研究贡献不仅促进了运筹学、图像处理、信号处理、工程和金融等领域的研究发展,还影响了计算机、数学、工程和决策科学等多学科的研究进展,受到了美国、中国、法国、德国和英国等国科学家的关注。
有学者透露,美国太空探索技术公司(SpaceX)的火箭着陆回收之所以成功率大增,就是因为控制程序中的凸优化算法经过了大量提升。
来源: 上海科技报社
内容资源由项目单位提供