空中測量研究室の技術ノート【2冊目】

山口大学の1研究室による研究メモです。UAV写真測量, ドローン測量, フォトグラメトリ, SfM/MVSなどと呼ばれる技術の情報があります。

【研究メモ230426 - 230427】SfMでのカメラパラメータ推定関連

  1. 先日、最尤法のバイアスに関する記事を書いた理由は、バンドル調整におけるカメラパラメータの推定のバイアスが、ドーム状変形やボウル状変形といった「系統誤差」(正確には、点群の世界座標に関する系統誤差)と関係がある可能性を疑っているから。
  2. ただ、これらに必ず関係があるという根拠はない。ドーム状変形などはよく「系統誤差」(systematic error)と言われるが、これは点群の世界座標やそこから作られるDSMなどに関する系統的な誤差であることに注意が必要。つまり、ドーム状変形などが、特定の条件におけるカメラパラメータ推定の系統誤差(バイアス)によるものとは限らない。系統誤差という言葉の使用は慎重にしていきたい。
  3. 言い換えると、カメラパラメータの推定のばらつき(偶然誤差)が、ドーム状変形など、点群の世界座標に関する系統誤差を生じている可能性もある。
  4. 偶然誤差(ノイズ)であれ系統誤差(バイアス)であれ、ある具体的な状況でのカメラパラメータの推定誤差が大きそうかどうかを、検証点に頼らずに評価する方法が欲しいというのが、こちらの記事にも書いている関心事だ。
  5. このテーマに関して、James et al. (2017)は、モンテカルロ法でカメラパラメータなどの推定のばらつきの大きさを評価する方法を提案している。これはこちらの記事にも書いたが、①通常のSfMの結果から、見かけ上誤差のないデータセットを作り、②タイポイントの画素座標などの観測値に正規ノイズを加えてバンドル調整する試行を ③繰り返して統計をとる、というものだ。①の具体的な方法は、例えばMetashapeではアラインメントの後、標定点やカメラの世界座標の実測値をすべて推定値に置き換え(残差をゼロにする)、続いて各タイポイントの画素座標を、世界座標を投影したものに置き換える(再投影誤差をゼロにする)。①が画像のネットワーク (image network)に与える幾何的な影響が無視できるとすれば、気になるのは分散共分散行列による評価と同様に、観測誤差が独立で同じ正規分布に従うと仮定することが適切かという点だ。
  6. つまり上記3について、「いやいや、分散共分散行列で評価されるよりもはるかに大きいfやK1の誤差が生じるんですよ。だから系統誤差です。」というのは間違いだ。現実には、観測誤差が独立同分布に従うという仮定の不成立性によって、カメラパラメータの推定のばらつき(偶然誤差)が、この仮定を置いた分散共分散行列による評価やJames et al. (2017)による評価よりもはるかに大きくなって、深刻なドーム状変形などを生じる可能性がある
  7. この仮定の不成立性は、推定量の不偏性を損なう可能性もあるが、分散の小ささを損なう可能性もあるのだ。どちらにしろ問題になる。そしてその実態は、仮定に従わないという「実際の観測誤差の統計的性質」を知らなければ評価できない。線形回帰分析で標準的仮定の成立性の確認のためによく行われるような、残差の解析が必要になるだろう。
  8. なお、James et al. (2017)の方法は、観測誤差を独立な正規ノイズと仮定した場合の、カメラパラメータなどのバイアスを推定するのにも使えると考えられる。分散などを評価するついでに平均も一緒に評価するだけで済む。最小二乗法は最尤法ではないので、バイアスが小さいことを確認することにも意義があろう。

 

James, M. R., Robson, S., and Smith, M. W. (2017) 3-D uncertainty-based topographic change detection with structure-from-motion photogrammetry: precision maps for ground control and directly georeferenced surveys. Earth Surf. Process. Landforms, 42: 1769– 1788. doi: 10.1002/esp.4125.

 

 

【数値実験で確認】最尤法のバイアス

プロローグ

この記事では、SfMなどで使われるバンドル調整の根幹をなす、最小二乗法・最尤法の性質を扱います。

 

2変数X, Yに関するn個の観測データがあるとき、

xを説明変数とし、Yを目的変数とする回帰モデル:

Y = f(X) + ε

を考えて、関数fに含まれるパラメータを最小二乗法で推定する状況を考えます。

 

もし、Yの観測誤差を表すεが互いに独立で、平均0、標準偏差σの同一の正規分布に従うならば、最小二乗法は最尤法に一致します。すなわち、最小二乗法によって推定されたパラメータは、最尤推定量となります。

 

もしさらに、関数f(X)が線形つまりf(X) = a X + bの形ならば、最尤推定量は不偏性:

E(aの推定誤差) = E(bの推定誤差) = 0

を獲得します。つまり、推定のバイアス(平均的な誤差)がありません。

 

しかし関数f(X)が非線形の場合、一般には最尤推定量は不偏推定量ではなく、漸近不偏性を持つにすぎず、従ってnが十分に大きくなければバイアスが無視できません。このことを、Rを用いた数値実験で確認してみました。

 

数値実験の手順

① 回帰モデルを設定します。今回は次式を用い、aの真値は1.23, bの真値は0.456としました。

Y = a / (X^2 + b) + ε

 

② この回帰モデルと、εに関する上記の下線部の仮定に基づいて人工的なデータを生成します。今回は、1試行につき(X, Y)を30組作りました。具体的には、Xを区間[0, 1]での一様分布に従う互いに独立な疑似乱数で与え、対応するYの観測値は X, Yの真の関係式:

Y = 1.23 / (X^2 + 0.456) + ε

で計算しました。 ただし εは、平均0, 標準偏差0.2の正規分布に従う互いに独立な擬似乱数で与えました。

 

③ 最小二乗法でa, bを推定します。つまり、Yに関する30個の残差:

a / (X^2 + b)-Yの観測値

の二乗和(ないしRMS)が最小になるように、aとbを最適化(調整)します。今回は、準ニュートン法を応用した方法で最適化を行いました。

 

④ 上記②③を多数回繰り返し、aやbの推定誤差(推定値と真値との差)の統計をとります。今回は3000試行繰り返しました。

 

数値実験の結果:ある試行の例

まずイメージのため、ある試行の結果の例を示します。

ある試行におけるa, bの推定値は

a: 1.1766221, b: 0.4224552

、Yに関する30個の残差のRMS

0.1582793

となりました。

また、Yの推定値(あてはめ値)と観測値の散布図は次のようになりました。赤線は直線 Y=Xです。

ある試行に関するYのあてはまりを示す散布図

数値実験の結果:3000試行の統計

さて、3000試行(3000個の標本)に関する、a, bの推定値の標本平均は、

a: 1.2377946, b: 0.4600379

となりました。真値:

a: 1.2300000, b: 0.4560000

と比べると、a, bとも平均的には大きめに推定されていることになります。

a, bの推定「誤差」の標本平均に直すと、次のようになります。

a: 0.0077946, b: 0.0040379

これは統計的に有意なバイアスなのでしょうか?

3000試行に関する、a, bの推定値の不偏標準偏差は、

a: 0.1039258, b: 0.0471030

です。これを√3000で割って標本平均の標準誤差を求めると、

a: 0.0018974, b: 0.0008600

青字どうし、緑字どうしを比べると、推定誤差の標本平均は、その標準誤差の4倍を超えています。

正規分布に従う確率変数において、標本平均の絶対値が標準偏差の4倍を超えることは極めて稀(確率が0.006%未満)ですから、今回の実験で得られた推定誤差の標本平均は0と統計的に有意に異なり、最尤推定量に統計的に有意なバイアスがあると言えます。

 

おわりに

Yを目的変数とする回帰モデル:

Y = f(X) + ε

を例に、f(X)が非線形の場合、最尤推定量が不偏推定量ではないことを、1ケースだけですが数値実験で確認できました。

 

バンドル調整のモデル(連立された共線条件式からなるモデル)は回帰モデルではありませんが、最尤推定量が一般には不偏推定量でないということは重大な意味を持ちます。

画像に写ったタイポイントの観測誤差が「互いに独立で同じ正規分布に従う」という単純な条件下でも、推定されるカメラパラメータにバイアスが生じうるということだからです。

ただし、バンドル調整に関する文献によっては最尤推定量が不偏であると書いてあるので、バンドル調整に関しては例外なのかもしれません。このあたりは勉強して決着をつけたいところです(1年くらい放置状態)。

 

陸域のUAV写真測量に関する研究歴など

日本写真測量学会の学会奨励賞を契機に、陸域のUAV写真測量に関する空中測量研究室の研究歴をまとめた記事を、日本測量協会の月刊「測量」に掲載いただきました:

神野有生, SfM-MVSを用いたUAV写真測量の効率化に関する研究, 月刊「測量」, 2023年1月号.

今回の掲載の趣旨上、上記の記事では言及できておりませんが、本研究室は多くの企業様からの研究費のサポートや、誇り高き技術者の方々との協働に支えられて研究室活動を行っております。この場で厚くお礼を申し上げます。

またUAV写真測量の研究以前にも遡った私の研究略歴を、山口大学工学部の同窓会である常盤工業会の会誌に執筆させていただきましたので、あわせて紹介いたします:

神野有生, 現実に弱い私が、現実に役立つ工学をするために見つけた研究パターン, 常盤工業会会誌「常盤」, 2022年12月号.

空中測量研究室は、陸上と水中のUAV写真測量を研究しています

 

UAV写真測量の上限精度の目安としての多視点三角測量の分散評価式

UAV写真測量の勉強を始めたときから気になっていた基礎的なテーマを検討した、新しい論文の紹介です。本質的にはUAVやSfM/MVSを使う場合に限られる話ではなく、航空写真測量の分野でビートルズの時代に論文が出ていてもおかしくないテーマなのですが、どうしても直接対応する文献が見つからず、自分たちで検討することになりました。

https://www.jstage.jst.go.jp/article/jscejcei/78/1/78_35/_article/-char/ja/

 

なお、個人的には今回初めて土木学会論文集(学会発表と連動していない方)に投稿しました。「土木情報学」という広い分野を対象にした論文集でしたが、専門的で大変丁寧な査読をいただきました。

要旨

UAV写真測量の難点として,精度の事前予測が難しいことが挙げられる.本研究ではこれを補う取り組みの事始めとして,UAV写真測量における3次元点群や検証点の座標推定精度(推定値の分散すなわちばらつきの小ささ)について,単純な状況における上限の目安を与える理論式を新たに導き,その性質を論じるとともに数値例を示した.これらの式は,画素数焦点距離・対地高度・隣接画像重複率などの撮影の設計変数に基づき,点群・検証点の座標推定の本質である多視点三角測量に関する水平・鉛直方向の分散を評価するものである.現時点では非常に単純な状況を対象としているが,このような式は,撮影・解析計画が要求精度に照らして,少なくとも成功の見込みの全くないものではないことを,簡易的に事前判断する際の参考となることが期待される.

 

書誌情報

神野 有生, 油谷 大樹, UAV写真測量の上限精度の目安としての多視点三角測量の分散評価式, 土木学会論文集F3(土木情報学),  78巻, 1号, pp.35-42, 2022.

 

技術ノート「2冊目」について

技術ノート【1冊目】を振り返る

アメブロ空中測量研究室の技術ノート」を書き始めてから、早くも5年半が過ぎた。

書き始めた1つの目的は、私の研究室の研究活動の成果を、関心のある方に直接届けることで、研究活動の工学的な意義を高めることだった。

私は10年ほど前には任期付きの身で、学術論文を国際誌に載せることに躍起だったが、徐々に学術論文の査読システムの精度・効率性に限界を感じるとともに、研究者が論文出版ビジネスにいいように使われている感を強くして、別の目標を探すようになった。

そこで思い出されたのが、大学院生時代に教わった「役立たなきゃ意味がない」という価値観だった。もし工学の研究が、人間社会の役に立つ知識や技術を生む活動ならば、良い工学研究とは有名誌に載った研究でも多額の研究助成を受けた研究でもなく、成果が実用された研究ということになる。理想を言えば論文は、役に立つ成果を得たときにこそ書くべきで、執筆が競技やルーチンになってしまうことは、サバイバルのためには致し方ない場合があっても、本末転倒だ。助成などの研究費の獲得が業績とみなされることに至っては、研究する前に業績を得るわけだから、時間的にも逆転している。

昔の私は、「社会の役立つ」という言葉の曖昧さや、学問なのに社会に迎合する感じに、少しなじめなかった。でもあるとき、技術開発とは崇高なものではなく、太古から続く人間の本能的な活動の1つなのだと割り切ることで、この価値観がしっくりきて、成果の実用化を目標に据えるようになった。思えばUAV写真測量という研究テーマも、自身の興味よりは、成果の使ってもらいやすさを意識して選んだものだ。

そして成果や研究活動で得られたノウハウを、実務に関わる技術者や研究者に直接共有するための媒体として、技術ノートを書き始めたのだった。もちろん査読は経ておらず研究業績にはならないが、学術論文と違って

  1. 論文を読む暇のない方にも届きうる
  2. 論文のように多大な労力をかけずに素早く書ける
  3. 論文にはなりにくいが役立つと思われること、例えば苦労して理解したことや、躓いたポイントなどノウハウも共有できる

というメリットがあり、大学で研究させてもらった時間を、効率よく社会に還元できる媒体に思えた。

また成果の紹介だけでなく、UAV写真測量の基本やソフトウェアの使い方などの解説もコンテンツに加えることで、研究室の学生向けの説明資料研究室の広告塔という役割も持たせることができた。

私の更新間隔は不安定で、記事も必ずしもわかりやすく書けたわけではなく、図すらもない記事も多かったが、有難いことに全国の技術者・研究者の方々に、記事が役立ったとの声や研究費の支援、協働の機会を頂けた。

現時点ではまだ、役立っているのはおそらくUAV写真測量技術やソフトウェアの使い方の説明であり、研究成果が実用されるという目標には到達できていないと思われるが、技術ノートの工学的な意義は十分に感じている。

書く時間がない → より日常的な「研究メモ」へ

1冊目には、走り書きの記事もあったが、論文と同じような密度で時間をかけて書いた記事が多かった。しかし、他の研究者と同じく私も、年々忙しくなってきてしまった。今後も継続的に書き続けられるとしたら、腰を据えて書くものではなく、より日常的な自分向けの研究メモに近いものになりそうだ。いま勉強していてよく分からないこと、ついに分かったこと、試したプログラム、躓いた点などを、走り書きした記事だ。

そうした記事ばかりになれば1冊目と雰囲気は変わるが、工学的な意義はあるだろう。私自身、そうした記事に日々助けられている。私も研究の過程で、多くの人が躓く点でで躓いたり、誤解しやすいところを誤解したり、しかし大学だから許されるような時間をかけて、いつか乗り越えたり、理解を深めたりする。そのような過程を共有することで、大学の研究者として勉強させてもらった時間を社会によりきちんと還元することができるだろう(上記のメリット3)。たとえ記事の完成度は低くても、他に情報がなく困っている人には役に立つ場面があるはずだ。

そこで心機一転、主に日々の研究メモとしての「2冊目」を書き始めることにした。

特に最近は、プログラムや数式を使って書きたい場合も増えているので、そうした記事を書きやすそうなはてなブログを新たに利用させていただくこととした。