gggggraziegrazie

graizegrazieさんのやったこと、学んだことを記録する雑記帳です

Visual Odometry Part I: The First 30 Years and Fundamentals

[0]を読んで気になった所を抜粋して纏めたいと思います。

Introduction

 Visual Odometry(VO)は、エージェントのegomotion(自己運動)を推定するものです。VOという言葉は、[1]でNisterらが初めて作り出しました。VOを効率的に行うには、環境中の輝度が十分であり、テクスチャーが十分にある静的な環境(動くものがない)が都合がよい。そして連続する画像がそれぞれ、十分に重複領域があることが必要である。Wheel Odometryに対するVOのメリットは、スリップがないこと。GPSが使えない場合(水中など)では、VOは非常に重要である。

History of Visual Odometry

 VOはStrucrure from Motion(SfM)の一種である。SfMは、もっと一般的な話であり、かつ画像セットからStructureとカメラ姿勢(順序は関係ない)の3次元再構築問題に取り組んでいる。それに対しVOは、時系列順に並んだ3次元カメラ姿勢を新しい画像が届いた時にリアルタイムで推定することにフォーカスしている。Bundle Adjustmentは、局所的な軌跡をrefineするのに使える。
 初期のVOの研究は、NASAの火星探査プロジェクトでの惑星探査ローバーのために行われた。slider stereo(単カメラをレール上でスライドさせてステレオ視を行う)やCoarse-to-Fine戦略を用いていた。外れ値は、depthの不連続でないかを8つのステレオのペアで確認することで、除外していた。システムは、重み付き最小二乗法で方程式を解いていた。この時の重みは、3次元点の距離に反比例して設定していた。
 Stereo VOとは、特徴点の3次元相対位置が各ロボット位置において三角測量で直接的に計測されること、そして相対運動の導出に使われること、の2つに由来している。Stereo VOのデメリットは、モーションをスケールファクターまでしか回復できないことである。スケールファクターは、直接計測(シーン中の物体のサイズを計測する)や他のセンサの統合(IMUや気圧計、距離センサなど)により決められる。シーンへの距離がステレオのベースラインよりも非常に遠くなると
三角測量ができない。この時はステレオではなく単眼画像でVOする必要がある。

f:id:graziegrazie:20190519043720p:plain
Fig. 1 Coarse-to-Fine[2]

Stereo VO

 カメラ単体でegomotionの推定をすると、距離を進むにつれてエラーがsuperlinearに蓄積していく。しかし絶対姿勢を計測するセンサを使うことで、エラー蓄積をlinearに抑えられる。[1]の論文は、従来の研究と異なり、リアルタイムで長距離のVOを求められる、最初の事例である。従来と異なる点は、第一にハリスコーナーなどの特徴点を各フレーム独自で求め、それを特徴点間だけでマッチングを取るようにした。今までは、3次元点のマッチングを、ステレオペアの画像同士でしかできなかった。この手法を用いることで、相互相関ベースのトラッキングを行っている間、特徴点のドリフトを避けられる。第二に、従来の3D-to-3D point registrationではなく、3D-to-2D問題としてカメラ姿勢の推定問題を解いた。最後に、RANSACを外れ値除外に適用した。3次元三角測量点ではなく2D特徴点を使うことで、モーション推定の計算の精度を高められる。

f:id:graziegrazie:20190519052840p:plain
Fig. 2 Superliner vs linear[3]

参考文献

[0]D. Scaramuzza, F. Fraundorfer, "Visual Odometry: Part I - The First 30 Years and Fundamentals," IEEE Robotics and Automation Magazine, Volume 18, issue 4, 2011.
[1]D. Nister, O. Naroditsky, and J. Bergen, “Visual odometry,” in Proc. Int. Conf. Computer Vision and Pattern Recognition, 2004, pp. 652.659
[2]https://www.researchgate.net/publication/228639372_Myocardial_Motion_Analysis_and_Visualization_from_Echocardiograms/figures?lo=1
[3]https://www.researchgate.net/publication/293654209_A_Promise_Theory_Approach_to_Understanding_Resilience_Faults_Errors_and_Tolerance_within_Systems/figures?lo=1