Optimization on Manifolds

短课：流形上的优化

Short Course：Optimization on Manifolds

课程简介

黎曼流形上的优化，也被称为黎曼优化，其目标是优化一个定义在流形上的实值函数，近年来这个领域的研究受到越来越多的关注。许多的实际问题最终可以转化为定义在一个流形上的优化问题，如信号分离，机器学习，推荐系统，网络成分分析与分类，计算机视觉与图形学等等。很多问题本身的规模很大，但是数据本身可能落在高维空间的低维流形上，因此可以转化为流形上的优化问题。在这门短课程中，我们首先通过几个例子简要介绍黎曼优化考虑的问题；之后介绍黎曼优化中的重要概念及定义；并且通过讲解一些黎曼优化中重要的、有代表性的算法来帮助理解黎曼优化中的各种概念和定义。最终通过具体的例子来说明如果将抽象的数学算法转化为可以实现的形式，实现算法并比较它们的数值效果。

Abstract

Optimization on Riemannian mainfolds, also called Riemannian optimization, considers finding an optimum of a real-valued function defined on a Riemannian manifold. Riemannian optimization has been a topic of much interest over the past few years due to many important applications, e.g., blind source separation, computations on symmetric positive matrices, low-rank learning, graph similarity, community detection, and elastic shape analysis. In this short course, Riemannian optimization are first briefly introduced through a few applications. The concepts for Riemannian optimization are given and discussed. Moreover, a few representative algorithms are used to introduce the framework of Riemannian optimization from their most abstract formulations to practical implementations. A few concrete examples are also used to show the implementations and performance of the optimization algorithms.

课程信息 Course Information

教师信息：黄文副教授（厦门大学）
教师邮箱：wen.huang at xmu dot edu dot cn
课程学时：15学时
授课时间：11月25、27、29日，12月3、5日上午8:30-11:00
授课地点：武汉大学数学与统计学院

主要参考文献 Main References

Books

J. Nocedal and S. J. Wright. Numerical optimization. Springer, second edition, 2006.
P.-A. Absil, R. Mahony, and R. Sepulchre. Optimization algorithms on matrix manifolds. Princeton University Press, Princeton, NJ, 2008.
J. M. Lee, Introduction to smooth manifolds, Springer New York, NY, 2011.

Theses

Bart Vandereycken, Riemannian and multilevel optimization for rank-constrained matrix problems (with applications to Lyapunov equations), Katholieke Universiteit Leuven, 2010
Wen Huang, Optimization algorithms on Riemannian manifolds with applications, Florida State University, 2014
Nicolas Boumal, Optimization and estimation on manifolds, Universite catholique de Louvain, 2014
Bamdev Mishra, A Riemannian approach to large-scale constrained least-squares with symmetries, University of Liee, 2014

Papers

P.-A. Absil, C. G. Baker, and K. A. Gallivan, Trust-region methods on Riemannian manifolds, Foundations of Computational Mathematics, 7(3):303-330, 2007.
W. Ring and B. Wirth. Optimization methods on Riemannian manifolds and their application to shape space. SIAM Journal on Optimization, 22(2):596-627, January 2012.
W. Huang, K. A. Gallivan, and P.-A. Absil. A Broyden Class of Quasi-Newton Methods for Riemannian Optimization. SIAM Journal on Optimization, 25(3):1660-1685, 2015.
H. Sato, A Dai-Yuan-type Riemannian conjugate gradient method with the weak Wolfe conditions, Computational Optimization and Applications, 61(1), 101-118, 2015.
W. Huang, P.-A. Absil, and K. A. Gallivan, Intrinsic representation of tangent vectors and vector transport on matrix manifolds. Numerische Mathematik, 136(2):523-543, 2016.

课程资料 Course Materials

Slides 1 初步介绍流形上的算法。
Slides 2 通过一个例子说明流形上的优化算法能克服一些传统算法的弊端。
Slides 3 介绍流形的抽象定义并介绍R^n空间子流形的识别方法。
Slides 4 介绍流形上的最速下降算法，同时介绍重要的优化概念和工具，包括切向量、黎曼测度、黎曼梯度、以及Retraction
Slides 5 介绍流形上的牛顿算法，同时介绍流形上的二阶微分工具affine connection。
Slides 6 介绍流形上的基于线性搜索和信赖域的带截断的牛顿算法。
Slides 7 介绍流上的vector transport的定义以及它的应用。
Slides 8 介绍流上的拟牛顿算法。
Slides 9 介绍全空间为R^n子流形的商空间的识别方法，在商空间下的切向量切空间的表示，以及介绍黎曼测度，黎曼商流形，黎曼affine connection以及retraction与vector transport等。
Slides 10 通过定义在商流形Grassmann manifold上的例子说明黎曼优化方法在黎曼商流形上的实现方法。
Slides 11 回顾流形优化的大体发展过程，近期的成果以及介绍流形优化的软件库
Slides 12 介绍秩固定的低秩矩阵流形的与优化相关的工具以及在矩阵补全上的应用
Slides 13 介绍切向量，黎曼测度，线性变换，vector transport，伴随算子，cotangent vector等的向量或矩阵表示。

ROPTLIB

ROPTLIB
User Manual