SfM/MVSによる写真測量・フォトグラメトリ解析ソフトAgisoft Metashape Professionalにおいて、SfM (Structure from Motion)の結果に関する多数の項目をチェックし、ミス・問題が疑われる場合はアラートを表示するプログラム"checkSfM"について、新バージョン：
ver_240904
をリリースしました！
また、現時点で実装されている17のアラートについて、アラートの説明ページにて一通りの説明が完成しました：
kuchusokuryolab.hatenablog.com
文字ばかりで読みづらいですが・・・
2024/8/2に初版をリリースしたcheckSfMについて、各アラートの説明と対処法を、このページに少しずつ書いていきます。
初版ver_240802や、次版ver_240904には、17のしゃがれたアラートしかなく、MetashapeのGUIでも容易に気付けるような基本的なものも多いです。checkSfMは時間のない技術者をターゲットにしているので、そのような初歩的なアラートでも、手動・目視でのチェック時間を短縮するという意義があると思っております。またニーズがあれば、今後、より高度なアラートたちを実装予定です。
【簡単な説明】SfMは、多数の画像を「解釈」して、撮影の位置関係やカメラの特性、そして被写体の表面形状を推測するものだと言えます。このアラートは、その「解釈」に相当な自己矛盾が生じていることを意味します。SfMの品質に関する基本的な指標です。
【MetashapeのGUIで確認できるか】チャンクの「情報表示」により、「RMS再プロジェクションエラー」として確認できます。
【専門的な説明】全タイポイント（複数画像間で対応付けられた特徴点）の、全プロジェクション（対応付けられた全画像への投影；全画像上の位置）に関する再投影誤差（特徴点の、推定したカメラパラメータに基づいて推定した画像上の位置と、特徴点として検出された位置）のRMS (Root Mean Square)が、基準値を超えている場合に発出されます。画像だけで行うSfMは、画像間で対応する特徴点（タイポイント）を見つけた後、再投影誤差RMSを最小化するようにカメラパラメータ（撮影の位置・向きを表す外部パラメータと、カメラの焦点距離やレンズ歪みなどを表す内部パラメータ）を推定します。したがって再投影誤差RMSが大きいことは、SfMが見つけた画像間の特徴点の対応（マッチング）が、推定したカメラパラメータではうまく表現できていないことを示します。
【原因と対策】このアラートは、様々な原因により生じます。撮影・被写体・補助情報（標定点や撮影位置の観測値など）・解析設定の、どれもが原因になりえます。例として、撮影時のピンボケ、被写体の表面形状や動き、解析時の画像の縮小（アラインメント精度を「中」以下に設定すること）、標定点関係のミスが挙げられます。このアラートだけで原因が特定できることはなく、明らかな心当たりがない場合、他のアラートや情報を見ながら原因を推測することが望まれます。また、被写体や使用カメラによっては、基準値が厳しすぎる可能性もありますので、ご自身の通常用途における「再投影誤差RMSの正常な値」の範囲を把握しておくことも大切です。
【説明】検証点 (Check Point)がないことを知らせるアラートです。被写体上にマーカー（対空標識など）として配置された検証点は、写真測量のためのSfMにとっては、重要な精度評価の手段です。ただし、別の方法で精度検証をする意図がある場合は、無視して構いません。別の方法とは例えば、SfMで作られるタイポイント、SfMの後でMVSによって作られる密な点群、またはそれらから作られるDSMなどを、レーザースキャナによる面的な成果物などと比較する方法です。もちろん、比較対象の精度にも注意が要ります。
【原因と対策】被写体上にマーカー（対空標識など）を置いて座標が実測できる点が少ない、またはその作業に労力をかけられないという理由で、すべてのマーカーを標定点にしてしまい、検証点が0になっているケースが散見されます。しかし検証点がないと、通常、精度評価が困難になります。「交差検証」によって、マーカーに両役を兼ねさせるなどしてでも、検証点誤差を評価するべきでしょう。
【概要】
SfM/MVSによる写真測量・フォトグラメトリ解析ソフトAgisoft Metashape Professionalにおいて、
SfM ( Structure from Motion)の結果に関する多数の項目をチェックし、
ミス・問題が疑われる場合はアラートを表示するプログラム"checkSfM"をリリース！
MetashapeでSfM工程「写真のアラインメント」を実行後、
に、少しでも役立てていただければ幸いです。
【プロローグ１：SfMは正しく使われていないことも多い】
ここ数年、私はたくさんの技術者・研究者から、SfM (Structure from Motion)を使った写真測量などの精度に関する悩み相談を受けてきました。そしてそこで受けた印象は、
日本の技術者・研究者には時間がない！
ということでした。
特に、写真測量・フォトグラメトリの解析の第1ステップとしてSfMを実施するとき、
初歩的な問題や間違いによって精度の悪い結果になっているケースが多いと感じます。ちょっとした知識不足やミスで、本来2 cmにできる検証点誤差が容易に20 cm, 200 cmにも膨れ上がってしまうのが、SfMの怖いところです。
問題に気づかず、または解決方法がわからず、そのままMVS（密な点群の生成）工程に進めば、正常な成果物は当然得られません。その結果、写真測量は精度が悪い・諦めよう、という結論になるのは、残念なことです。
【プロローグ２：精度を極めるためのプログラムより必要なものは】
5年前にリリースしたAgisoft Metashape用Pythonプログラム：repeatSfM
は、SfMを多数の解析設定で繰り返し、持っている画像でできるだけ高精度を得られる解析設定を探そうというプログラムでした。しかしいま思えば、基本を押さえた上で、さらに精度を極める時間のある技術者／研究者は、日本にどれだけいるのでしょう？
【本題：無料SfM診断？checkSfM】
おそらく、いま多くの方にニーズがあるのは、
時間不足で生じた問題やミスを発見してくれる、「最低限のチェックプログラム」ではないかと思います。今回リリースするcheckSfMは、そんなプログラムです。
具体的には、Agisoft社のMetashape Professional上で実行できるPythonプログラムで、SfMの結果について多数の項目をチェックし、ミス・問題が疑われる場合にはアラートで指摘してくれます。
現時点のバージョン ver_240802 では、実態としては数日前から作り始めただけの、
というプロトタイプ的、ver0.1的なものですが、それでも、
ということで、リリースさせていただきます。当研究室でも利用予定です。
本プログラムは無償ですが、著者によるニーズ把握などの目的から、簡単な利用申請後にダウンロードいただく形式をとっています。
利用をご希望の方は、先に下記の説明文（プログラム同梱のREADMEファイルとほぼ同内容）をお読みいただき、注意事項を理解して使用条件に同意いただける場合、ページの末尾より利用申請フォームにお進みください。
――――― checkSfMの説明文 ―――――
【プログラム名】 checkSfM
【機能】 Agisoft Metashapeで実施したSfMについて、多数の項目をチェックし、ミスや問題が疑われる場合はアラートを表示します。
【使用方法】
※ 本プログラムは、実行直後にユーザーに、目標精度の入力を求めます。ここで目標精度とは「検証点のSfMの結果（カメラパラメータ）に基づく推定位置と、現地地上測量などによる観測位置の距離 [m]の、RMS（Root Mean Square；代表値の1つで、平均より大きい）」です。短く書けば、検証点誤差（3軸合成）のRMSとなります。同じプロジェクトをcheckSfMにチェックさせても、目標精度次第で、アラートが出たり出なかったりします。
【著者／Author】 Ariyo Kanno
【著作権に関する注意事項／Notes on copyright】
本プログラムの一部は、Agisoft Forum (https://www.agisoft.com/forum/)において、ユーザーからの質問に対してAgisoft Technical SupportのAlexey Pasumansky氏が投稿したコードをコピーして作られています。該当箇所にはコピーしたコードのあるURLを示しています。
This source code is partially made by copying the source code posted by Alexey Pasumansky (Agisoft Technical Support) to Agisoft Forum (https://www.agisoft.com/forum/).
【使用条件／Terms of use】
【他の注意事項】
【開発環境】
Agisoft Metashape Professional Version 2.1.1 build 17821 (64bit)
Windows 10 Home
――――――――――
注意事項を理解して使用条件に同意いただける場合、利用申請フォーム
にお進みください。
【最後に：周知のお願い（2024/8/6加筆）】
checkSfMのリリースは、工学の研究者として業界のニーズの調査の意味合いがあり、checkSfMの今後のアップデートは、ニーズ次第と考えております。たくさんダウンロードいただいたり、フィードバックをいただいたりすると、著者は「やはりニーズがある」と工学的意義に自信を持って、アラート発出基準の研究やそれに基づく機能の拡充に取り組むことになります。そのため、（著者が全く使えていない）SNSで周知いただくことは、有難いことです。既にご協力いただいた皆様、ありがとうございます。
GNSSの信号の強度あるいは品質の指標として使われる、SNR (Signal-to-Noise Ratio; S/N)とCNR (Carrier-to-Noise Ratio; C/No)の違いは何だろうか。
私が少し調べた限りでは、
UAV写真測量はGNSSにべったり頼るものだが、私のGNSSの勉強は遅々としてあまり進んでいない。次に勉強する時間が手に入ったときのために、現状の疑問点・課題をメモしておく。赤字は今後の課題となるところ。
何かのパラメータを最小二乗法で推定するときは決まって、モデル式に（多くの場合、モデル式に含まれる観測値に）何かの誤差が含まれていると仮定している。もし誤差を認めないなら、つまり誤差項のないモデル式がすべて厳密に成り立つなら、必要最小限の数の式を適当に選んで、連立方程式として解けば済むからだ。
そしてその誤差に特別な仮定を置けば、求めるパラメータの推定値とともに、その推定のバラつきの指標（分散あるいは標準偏差）を得ることができる。一番簡単な例として、n組のy, xのデータから単回帰直線を推定する状況（単回帰分析）では、
y = ax + b + ε
というモデル式を考え、最小二乗法でパラメータa, b（直線の傾き・切片）を推定する。ここで、誤差εは、yの観測値に含まれる誤差を表している。そしてこのn個の観測誤差が、互いに独立で、同じ1つの正規分布に従うと仮定すれば、a, bの推定の分散を計算することができる（この単純な状況での分散は、比較的簡単な式で表されるので、調べてみよう；また以上の説明がピンとこないなら、Excelで擬似乱数を発生させる関数を使い、自分でx, yのデータを作ってa, bを推定してみよう）。
この分散とは何だろうか。推定値は1つしかないのに、なぜバラつきがあると考えられるのだろうか。答えを書くと、この分散は、観測誤差に関する上記の仮定のもと、「観測データの生成とそれに基づく最小二乗法によるパラメータa, bの推定」を無限回行ったときに、結果として得られるa, bの推定値のバラつきを表している。誤差項の確率分布について仮定を置くことで、手元にあるデータ自体を「いくらでも繰り返せる試行の中の、ある試行で生成されたデータ」とみなすことができ、同様の試行を無数に考えることができるわけだ。
話変わって、セルフキャリブレーション付きのSfMあるいはバンドル調整では、内部パラメータ、外部パラメータ、タイポイントの3次元座標を同時に推定する。推定するパラメータがa, bの2つしかなかった単回帰分析の場合と比べて、モデル式も複雑だ。それでも、タイポイント（元は特徴点）の画素座標（u, v座標）の観測に誤差を認め、それが互いに独立で、1つの正規分布に従うと仮定すれば、単回帰分析の場合と同様に、それぞれのパラメータの推定値について、その推定の分散を推定することができる。最近のMetashapeでは、それらをかなり見ることができる。厳密な話をすると、Metashapeが表示する分散が、誤差について上記の最も単純な仮定を置いた場合の分散なのかどうかは未確認であるが、この記事では、それらの分散のチェック方法をまとめてみる。
内部パラメータの分散は、その平方根である標準偏差の数値として、"Camera Calibration"（カメラキャリブレーション）ダイアログから表示できる"Distortion Plot"（歪曲プロット）の"Correlation"（相関関係）タブの、"Error"（誤差）という名前の列で確認できる。
列名の表示が"Standard Deviation"（標準偏差）などでなく、"Error"（誤差）となってしまっているため、本当に標準偏差なのか、この画面を見るだけでは確信が持てないが、ユーザーマニュアル（ver. 1.8.4のもので確認）には、これが標準偏差であることが明記されている。
またこのタブには、他の記事でも触れているが、内部パラメータ間の相関係数が行列（相関係数行列）として表示されている。相関係数行列と上記の標準偏差を使えば分散共分散行列が計算できる（2変数の相関係数に両変数の標準偏差を掛ければ共分散になる）ので、内部パラメータについては一応、Metashapeでは分散共分散行列が取得できるとも言える。
外部パラメータの分散は、標準偏差の数値として、"Reference pane"（座標データペイン）で確認できる。具体的には、"View Errors"（分散を表示）というボタンを押すことで、カメラの投影中心の座標を表す3列と、回転角を表す3列のそれぞれについて、列名の末尾に"sigma"（シグマ）が付いた列が登場する。"sigma"は標準偏差を表すので、「分散を表示」という訳のボタン名ながら、実際に表示されるのは標準偏差のようである。
タイポイントの分散は、アラインメント後のオンデマンドのバンドル調整を行うダイアログ"Optimize Camera Alignment"（カメラアラインメントを最適化）で、"Estimate tie point covaiance"（タイポイントの分散を推定する）にチェックを入れることで、計算できる。
推定した分散を表示するには、Model（モデル）メニュー -> View Mode（ビューモード） -> Point Cloud Covariance（点群の分散）を選択すればよい。Modelビューにベクトルプロットとして表示される。これはユーザーマニュアルによると、それぞれのタイポイントについて、誤差楕円体 (error ellipsoid) の長軸の方向と長半径（長軸の長さの半分）を示したものである。色も付けられていて、分散が大きいタイポイントは赤く色づけられている。
これは何かというと、上記のような無限回の「試行」をしたとき、タイポイントが最も動きやすい方向とその動きやすさを示したものである。タイポイントの座標にはX, Y, Zの3成分あるので、X, Y, Zそれぞれに分散があるし、X-Y, X-Z, Y-Zそれぞれの間に共分散がある。それらの兼ね合いで、最も動きやすい（バラつきの大きい；不安定な）方向と動きやすさ（バラつきの大きさ；不安定さ）が決まる。このベクトルプロットは、それらの視覚的に示したものである。詳しく学ぶには、まずは2次元の「誤差楕円」について学ぶのがよいと思われる。
タイポイントは3次元復元したい被写体上にあるわけだから、タイポイントの分散は、検証点誤差など対空標識が必要な指標を除けば、3Dの成果物の不安定さに関するもっとも直接的な指標になるだろう。例えば、SfMの後にMVSをして密な点群を作るなら、その点群の分散は、SfMによって生じるこのタイポイントの分散に、MVS自体で生じる分散が乗ったようなものになるはずだ。つまりタイポイントの分散は、被写体の3Dモデルの各点の位置のバラつきに直結する。このベクトルが長い領域では、検証点誤差やMVSで作る点群の位置の誤差が、小さくなることは期待できない。このベクトルが対象領域全体にわたって長ければ、それは撮影計画が悪く、内部パラメータの一部の分散が大きい（不定に近い）可能性がある。例えばfが不定に近く、fのみが不安定な状況があったとしたら、鉛直方向の長いベクトルが観察されると予想される。
なお、「タイポイントの分散」があれば検証点誤差の評価は要らないかと言えば、次のような理由から、そんなことはない。
本記事では、前記事：バンドル調整でパラメータの不定性を確認するにはどうするか を踏まえ、前記事で第2の検証方法として挙げた「2. 最適化を実施したときの目的関数値が、θiを誤った値に固定した場合とθiを正しい値に固定した場合で、有意に変わらないかを調べる。」を実演したい。
具体的には、CG空間上で、完全な水平面を、理想的なピンホールカメラを鉛直下向きに向けて撮影した画像セットをMetashapeで解析して、この「平行光軸撮影で、光軸に直交する平面状の被写体を撮ること」が、内部パラメータの一部にとってCritical Configurationであるかどうか（不定になるかどうか）を、調べてみる。不定性を調べる内部パラメータとしては、次の2つをとりあげる。
平行光軸撮影では被写体によらず不定になることがわかっている、焦点距離f
平行光軸撮影では推定精度が悪いことは知られているが一般には完全に不定ではなく、このconfigurationで（＝光軸と直交する平面を撮った場合に）完全に不定かどうかは不明な、放射方向歪みのパラメータK1
使用するCG画像はこんな感じだ。対空標識も写っているが、平面上にあり、飛び出してはいない。6年ほど前のCGシミュレーションに使った画像を利用している。
まず、内部パラメータに真値を与え、固定してしまう。理想的なピンホールカメラで撮影（レンダリング）しているので、f以外のパラメータは0だ。
そしてアラインメントをする。言い遅れたが撮影位置は、このように3×5のグリッド状に配置されている。
アラインメント後に一応、ダメ押しのバンドル調整「カメラアラインメントを最適化」をする。
その後、再投影誤差RMSをチェックする。撮影位置・向きの情報も、標定点も使っていないバンドル調整なので、目的関数は再投影誤差RMSだ。最小化されているのは、括弧の外にある無次元の値のはずで、今回は0.0112334だ。これが、fもK1も正しい場合の目的関数値として、ベンチマークになる。
準備ができたので、fの不定性の確認に進もう。焦点距離fを固定したまま、値を誤った値1234に変更する。
このとき、再投影誤差RMSは大きくなるが、当然だから気にしない。fを固定したまま、バンドル調整を行う。
バンドル調整後に、目的関数（再投影誤差RMS）をチェックすると、0.0112335となっていて、fが真値の場合の0.0112334とほとんど変わらない。0.0000001だけ大きいのが気になるが、実はMetashapeでは通常のアラインメント直後の「カメラアラインメント最適化」でも最後の桁が増えることはよくあるので、意味のない差と思われる。さらに、今度はfの値を別の誤った値123, 2345, 3456に固定してバンドル調整すると、いずれの場合もぴったり0.0112334になった。
つまり、fが誤っていても、他のパラメータ（今回の場合、f以外の内部パラメータは全て固定されているので、外部パラメータしかないが）がそれに連動して誤る（fの誤りをカバーしようとする、と言えるかもしれない）ことで、目的関数の増加を防げたということだ。これがまさに、上で言うところのfの不定性を示している。
次にK1の不定性を調べるため、fに真値2000を入れてバンドル調整をやり直し、②の開始時の状態（①の終了時の状態）に戻す。その後、K1に謝った値-0.05を入れて、
すべての内部パラメータを固定したまま、バンドル調整を実施する。
モデルビューで、点群とカメラの配置双方に、ボウル状の変形が確認できる。K1が誤った値に固定されている条件で目的関数を小さくするため、外部パラメータが連動して誤った（K1の誤りをカバーしようとして誤った）ためだ。
しかし興味があるのは、目的関数である再投影誤差RMSだ。今回は0.110368と、K1が真値の場合の値0.0112334より増えている。K1を+0.05にすると0.0798123, -0.1にすると0.542339、-0.01にすると0.0118658と、K1の値によって差は異なるが、真値の場合と比べて一貫して増えている。
これは、K1はfと異なって、不定ではないことを示している。つまり今回のconfiguration（撮り方と被写体の組み合わせ）は、fにとってはcriticalであるが、K1にとってはcriticalではない。
ちなみに、再び①の終了時の状態に戻して、K1の固定を外してバンドル調整を実施し、
「歪曲プロット」のダイアログで、K1の推定値に加えて「誤差」（おそらく標準偏差の推定値）が確認できる。この値0.00779871が、真値（今回は0だが）や推定値-5.1518e-05に対してかなり大きいことから、K1は不定ではないにしろ、やはりよく言われている通り、平行光軸撮影ではK1の 推定のバラつきが大きいこと確認できる。なお「誤差」欄の値が本当に、分散共分散行列などから求めた推定値の標準偏差ならば、その確認は前記事の検証方法1「最適解における分散共分散行列において、θiの分散が非常に大きいかを調べる。」に相当する。
