JP6854195B2 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents

Description

本発明は、写真測量に用いる画像を処理する技術に関する。

航空写真測量では、飛行体から撮影した空撮写真に基づきオルソ画像（正投影画像）を作成する作業が行われる（例えば、非特許文献１を参照）。オルソ画像については、例えば特許文献１，２，３等に記載されている。

国土地理院ホームページ〈URL:http://www.gsi.go.jp/gazochosa/gazochosa40002.html〉

日本国特許第４１３８１４５号 日本国特許第４２３７８６８号 日本国特許第４３１３４６２号

空撮写真に基づくオルソ画像の作成では、飛行しながら連続撮影された複数枚の空撮画像を利用する。ここで、連続撮影される空撮画像は、時間軸上で隣接および近接する画像間において重複部分があるように撮影のタイミングが設定されている。そして、オルソ画像を構成する画素の情報は、極力複数の画像から取得し、それを混合（通常はアルファブレンド）している。これは、複数の空撮画像を用いることで画素情報を平均化し、画像情報の欠落や不正確さを補うためである。

空撮写真の撮影対象には、崖、法面、建物、橋梁等の立体的な構造を有するものがあるが、これらの対象は、視点位置（撮影位置）の違いによって影となり撮影できない部分が発生する。この視点の違いによって撮影できない部分が生じることをオクル―ジョンという。例えば、建物の側面等は、視点によっては撮影できず、オクル―ジョンの部分と成り易い。

航空写真測量に用いる画像の撮影は、飛行しながら行われるので、撮影対象が一部重複している複数の画像において、ある部分がオクル―ジョンとなっている画像とそうでない画像とが混在する可能性がある。この場合、オルソ画像の作成過程において、オクル―ジョンとなっている部分とそうでない部分の画像情報が混合されるので、その部分の画像情報が不明瞭になったり、実際の状態とは異なる状態となったりする不都合が生じる。この問題は、崖、法面、高層ビル、橋梁等といった立体的な対象が写ったオルソ画像を作成する際に問題となる。

このような背景において、本発明は、オルソ画像において、オクル―ジョンに起因して適切でない画像部分が生じるのを抑制する技術の提供を目的とする。

請求項１に記載の発明は、撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、撮影対象の特定の位置の指定を受け付ける位置指定部と、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部とを備える画像処理装置である。

請求項２に記載の発明は、請求項１に記載の発明において、前記特定の位置に垂直な方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択されることを特徴とする。請求項３に記載の発明は、請求項１に記載の発明において、前記特定の位置に垂直な方向と鉛直な方向との間の方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択されることを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記複数の画像に基づき前記撮影対象の点群データを作成する点群データ作成部を備え、前記特定の位置と撮影時のカメラ位置とを結ぶ線上に前記点群データが閾値以下の距離で存在しない画像が前記画像選択部で選択されることを特徴とする。

請求項５に記載の発明は、撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付ステップと、撮影対象の特定の位置の指定を受け付ける位置指定ステップと、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択ステップとを備える画像処理方法である。

請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、撮影対象の特定の位置の指定を受け付ける位置指定部と、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部として機能させる画像処理用プログラムである。

本発明は、主に航空写真測量を対象とするが、写真測量用の写真を移動体から撮影する技術に広く利用することができる。例えば、地上を移動する車両から撮影を行い、その際に得られた写真を用いて写真測量を用いる場合に利用することができる。

本発明によれば、オルソ画像において、オクル―ジョンに起因して適切でない画像部分が生じるのを抑制することができる。

実施形態の画像データ処理装置のブロック図である。 実施形態の原理を示す原理図である。 実施形態の原理を示す原理図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 発明を利用しないで作成したオルソ画像を示す図面代用写真（Ａ）と発明を利用して作成したオルソ画像を示す図面代用写真（Ｂ）である。

（構成）
図１に発明を利用した画像データ処理装置１００のブロック図を示す。画像データ処理装置１００は、コンピュータとしての機能を有し、ＣＰＵ、メモリ、その他演算回路、インターフェース回路およびインターフェース機能を有している、

画像データ処理装置１００は、専用のハードウェア、市販のＰＣ（パーソナルコンピュータ）、ワークステーション、あるいはデータ処理サーバ等を利用して構成されている。その他の構成として、図１の機能の少なくとも一部を実現するための専用の拡張ボードを装着したＰＣやワークステーションにより画像データ処理装置１００を構成することもできる。また、操作端末としてスマートフォンやタブレット等を用い、それを図１の機能を有するデータ処理サーバ等のコンピュータに回線接続したシステムとして、図１の構成を実現することもできる。

ＰＣやワークステーション等の汎用の装置を用いる場合、図示する機能を実現するアプリケーションソフトウェアを当該コンピュータにインストールし、当該アプリケーションソフトウェアを起動することで画像データ処理装置１００が実現される。

図１に示す各機能部の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。

例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）に代表されるＰＬＤ（Programmable Logic Device）などの電子回路により構成される。

各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。

画像データ処理装置１００は、画像データ受付部１０１、点群データ作成部１０２、ＴＩＮ作成部１０３、ＤＥＭ作成部１０４、撮影画像読み込み部１０５、座標指定部１０６、座標が指定された位置が写っている可能性のある画像の抽出部１０７、画像座標への変換部１０８、指定した座標が読み込んだ撮影画像の適切な範囲内にあるかの判定部１０９、指定位置の画像座標取得部１１０、最適条件を満たす画像の選択部１１１、画素情報取得部１１２、色情報付与部１１３、オルソ画像作成部１１４を有する。

画像データ受付部１０１は、航空機から撮影した空撮画像の画像データを受け付ける。航空機は、有人航空機でも無人航空機（ＵＡＶ（ドローンとも称される））でもよい。空撮は、航空機に配置された地上の方向（通常は鉛直真下の方向）に向けたカメラによって行われる。撮影は、１秒毎や２秒毎といった特定に時間間隔で行われる。他の例として、動画を撮影し、この動画を構成するフレーム画像を切り出して空撮画像を得ることもできる。

航空機としてＵＡＶを用いる場合、当該ＵＡＶは、空撮を行うカメラ、ＩＭＵ（慣性航法装置）、ＧＮＳＳ位置特定装置、飛行計画や飛行ログを記憶する記憶部、無線通信装置および飛行制御装置、飛行ログ等のデータを外部機器との間でやり取りするインターフェースを備える。このＵＡＶは、予め定めた飛行経路に沿って飛行し、飛行しながら航空測量の対象となる地域（オルソ画像の作成対象となる地域）の撮影を行う。撮影のタイミングは、時間軸上で隣接する画像が大部分で重複し、少しずつずれるように設定される。

記憶部に格納される飛行ログには、撮影時刻、撮影位置（三次元位置座標）、その際のＵＡＶの姿勢（カメラの向き）が記憶される。飛行ログのデータは、飛行終了後に回収される。この回収された飛行ログのデータが画像データ処理装置１００に送られる。

画像データ受付部１０１は、画像データに加えて、当該画像の撮影時刻、撮影位置、撮影時におけるＵＡＶの姿勢（カメラの姿勢）に関するデータも受け付ける。

点群データ作成部１０２は、画像データ受付部１０１が受け付けた画像データに基づき、撮影対象の点群データを作成する。この例では、オルソ画像の対象となる上空から見た地表（建物等も含む）の点群データを作成する。

点群データは、対象物を点の集合として捉え、各点の三次元座標を求めたデータである。画像データに基づく点群データの算出に関しては、例えば特開２０１３−１８６８１６号公報に記載された技術を利用できる。点群データは、地図上の座標を記述するための座標系（地図座標系）で記述される。例えば、点群データの各点の座標値は、緯度，経度，標高で記述される。

以下、点群データを求める方法について簡単に説明する。まず、撮影対象が重複する異なる位置から撮影した画像を２枚選択する。なお、３枚以上の画像を対象として点群データを作成することも可能であるが、ここでは説明を簡素にするために、ステレオ画像として２枚を選択する場合を説明する。

重複する対象が写った視点（撮影位置）の異なる２枚の画像（ステレオ画像）を得たら、各画像に写った対象からの特徴点の抽出を行い、更に２枚の画像間における特徴点の対応関係の特定を行う。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

２枚の画像間における特徴点の対応関係の特定は、テンプレートマッチング等の公知のマッチング技術が利用可能であるが、例えば特開２０１３−１７８６５６号公報に記載された方法等を利用してもよい。

また、この２枚の画像の撮影時それぞれにおけるカメラの外部標定要素（位置と姿勢）を算出する。カメラの外部標定要素を算出する方法は複数あるが、ここでは位置決めマーカを利用する。

この場合、撮影対象となる地上には、ＴＳ（トータルステーション）等の測量装置によって位置を特定した位置決めマーカが多数配置される。位置決めマーカは、一枚の画像中に複数（３つ以上）が写るように配置される。そして、１枚の画像中に写った３つ以上のマーカの位置の情報に基づき、後方交会法によりカメラの当該画像の撮影時における外部標定要素（位置と姿勢）を求める。

こうして、上述したステレオ画像を構成する第１の画像と第２の画像の撮影時における外部標定要素を算出する。外部標定要素を算出したら、前方交会法を用いて第１の画像と第２の画像の間で対応関係が特定された特徴点それぞれの三次元座標を算出する。

この作業を時間軸上で隣接または近接する２枚１組の空撮画像において行うことで、撮影対象の点群データを得る。以上の点群データを得る処理が点群データ作成部１０２において行われる。

ＴＩＮ作成部１０３は、点群データ作成部１０２が作成した点群データに基づき、ＴＩＮを作成する。ＴＩＮ(triangulated irregular network)は、モデル化の対象となる対象物を三角形の集合で立体的に表現したものである。ＴＩＮは、不整三角形網、不整三角網、不規則三角網とも呼ばれる。点群データからＴＩＮを作成する手法やソフトウェアは各種のものがあり、それを用いて点群データからＴＩＮを作成する。点群データからＴＩＮを作成する技術については、例えば特開２０１４−３５７０２号公報に記載されている。

ＤＥＭ作成部１０４は、上記のＴＩＮに基づき、ＤＥＭ(Digital Elevation Model)（数値標高モデル）を作成する。ＤＥＭは、地表面を格子状に区切り、格子を構成する正方形の中心点の標高値を規定したデータである。ＴＩＮからＤＥＭを作成する手法やソフトウェアは各種のものがあり、それを用いてＴＩＮからＤＥＭを作成する。この場合、ＤＥＭは、建物を含んだ地表面の位置と標高のデータを関連付けたものとして得られる。

撮影画像読み込み部１０５は、オルソ画像を作成するための候補となる空撮画像を読み込む（取得する）。なお、読み込む空撮画像は、一般には数十〜数百枚以上となる。

座標指定部１０６は、オルソ画像の対象となる領域中における位置の地上座標を指定する位置指定部として機能する。この座標の指定は、オルソ画像を構成する画素の全てに対して順次行われる。指定される座標の単位は、例えば緯度，経度，標高が利用される。ここで指定する座標は、ＤＥＭ作成部１０４が作成したＤＥＭに基づき地表面（建物であれば、その上面（屋上面））の位置の座標を指定する。指定される位置の範囲は、必要とする分解能に応じて選択される。指定される位置の範囲（面積）が小さい程、最終的なデータの分解能は高くなるが、演算の負担は増大する。他方で、指定される位置の範囲（面積）が大きいと演算の負担は減少するが、得られるデータの分解能は低下する。

座標が指定された位置が写っている可能性のある画像の抽出部１０７では、指定された位置に対応するＤＥＭ上の点が写っている画像を、撮影画像読み込み部１０５が読み込んだ画像の中から「座標が指定された位置が写っている可能性のある画像」として抽出する。

抽出部１０７で抽出された画像に、指定された座標の位置が必ず写っているとは限らない。これは、抽出部１０７で行われる画像の抽出が、密度が均一でない点群データのしかも場合によっては近似する点を手掛かりとして行われるので、実は抽出部１０７で抽出された画像において、指定された座標の位置がオクル―ジョンとなっており、写っていない場合もあるからである。この意味で、抽出部１０７を「座標が指定された位置が写っている可能性のある画像の抽出部」と称している。

画像座標への変換部１０８は、座標指定部１０６で指定された座標（指定位置の座標）を空撮画像中における画面上の座標（画面中における位置）に変換する。以下、変換部１０８における処理について説明する。この処理では、当該画像を撮影時におけるカメラの外部標定要素に基づき、上記指定された位置の当該画像の画面上での位置（座標）を算出する。

以下、算出方法について説明する。まず、抽出部１０７で抽出された画像の一つを考える。ここで、当該画像の撮影時におけるカメラの外部標定要素は、点群データ作成部１０２における点群データの作成時に算出済であり、既知である。また、当該画像の画面中における点群データの各点とマーカの位置（Ｘ−Ｙ座標）も既知である。よって、上記の外部標定要素を用い、当該画像の視点（カメラ位置）と指定位置とを結ぶ方向線を設定し、この方向線と当該画像の画面との交点を求めることで、上記指定された位置の当該画像の画面上での位置（Ｘ−Ｙ座標））が算出される。

指定した座標が、読み込んだ撮影画像の適切な範囲内にあるかの判定部１０９は、座標指定部１０６で指定した座標の点が、抽出部１０７で抽出した画像中において適切な範囲内にあるか否かを判定する。

この判定には、以下の意味がある。一般に空撮画像の画面範囲の全てが画素情報として利用可能な訳ではない。例えば、画面の周辺近くは、カメラのレンズ系の歪等の影響で歪みがあり、オルソ画像の作成用には適していない。そこで、指定された点がオルソ画像作成用として適切な情報が取得できる画面内の範囲にあるか否かの判定が、符号１０９の判定部で行われる。判定条件は、利用するカメラのレンズ系の特性や求められる精度等に鑑みて設定される。

指定位置の画像座標取得部１１０は、符号１０９の判定部で適切な範囲内と判定された位置（座標指定部１０６で指定された位置）の画像中での位置を選択する。このデータは、画像座標への変換部１０８で算出されている。

最適条件を満たす画像の選択部１１１は、オルソ画像の作成用として最適条件を満たす画像の選択を行う。この処理の詳細については後述する。

画素情報取得部１１２は、最適条件を満たす画像から、座標指定部１０６で指定され、変換部１０７で変換された特定の位置に対応する画素の情報を取得する。ここで画素の情報は、当該画素の色情報である。色情報としてはＲＧＢ強度が利用される。画素は、カラー画像を構成する最小単位の範囲が基本であるが、ある程度の範囲を最小単位の画素領域として把握し、この画素情報を取得してもよい。この場合、当該画素領域を構成する複数の画素に係る情報の平均値が取得される。

色情報付与部１１３は、画素情報取得部１１２で取得された画素の色情報をＤＥＭ作成部１０４が作成したＤＥＭに付与する。ここで、対象となる画像が複数ある場合、各画像の画素情報をアルファブレンドする。アルファブレンドは、複数の画像を重ねる際に、透明な色の重なりを考慮して最終的な色を決定する処理である（例えば、Computer Graphics Volume 18, Number 3 July 1984 p253-259参照）。

アルファブレンドでは、複数の画像パーツを係数（α値）に基づいて合成する。アルファブレンドは、特に電子ゲームの画像描画において、別々に描かれた背景画像パーツとキャラクタ画像パーツとを合成する場合等で使われる。また、文字画像パーツ等のアンチエイリアスにも使われている。合成処理では、アルファチャンネルと呼ばれる透過したい画素情報を定義した補助データを用意し、それに基づいて重ね合わせた画像において透過したい領域の透過状態の設定を行う。アルファブレンドを行うための手法やアルゴリズムには、各種のものが知られている。

オルソ画像作成部１１４は、画素の色情報が付与されたＤＥＭに基づき、オルソ画像を作成する。オルソ画像の作成は、公知の方法で行われる。オルソ画像の作成については、例えば特許第４１３８１４５号、特許第４２３７８６８号、特許第４３１３４６２号等に記載されている。オルソ画像作成用のアプリケーションソフトは入手可能であり、それを用いてもよい。

（処理の一例）
以下、画像データ処理装置１００の動作の一例を説明する。図４は、処理の手順の一例を示すフローチャートである。図４の処理を実行するプログラムは、適当な記憶領域に記憶され、画像データ処理装置１００において実行される。このプログラムをサーバ等に記憶させ、そこから提供を受ける形態も可能である。また。このプログラムを適当な記憶媒体に記憶させ、そこから提供を受ける形態も可能である。これらは、図５の処理の場合も同じである。

処理が開始されると、まず飛行するＵＡＶから撮影した空撮画像のデータが画像データ受付部１０１で受け付けられる（ステップＳ１０１）。ここでは、飛行しながら空中から対象となる領域の地表を特定の時間間隔で連続撮影した際の画像データを取得する。

次に、ステップＳ１０１で受け付けた空撮画像のデータに基づき、対象となる地表の点群データを作成する（ステップＳ１０２）。この処理は、点群データ作成部１０２において行われる。点群データを得たら、当該点群データに基づき、対象物のＴＩＮを作成する（ステップＳ１０３）。この処理は、ＴＩＮ作成部１０３で行われる。ＴＩＮを作成したら、ＤＥＭ作成部１０４において当該ＴＩＮに基づくＤＥＭの作成を行う（ステップＳ１０４）。

ＤＥＭを作成したら、以降のステップで処理を行う対象となる画像データ（ステップＳ１０１で取得した画像データ）の読み込みを撮影画像読み込み部１０５で行う（ステップＳ１０５）。

そして、ステップＳ１０４で作成したＤＥＭ上の座標（地上座標）の指定が行われる（ステップＳ１０６）。そして、ステップＳ１０６で指定された座標を含む可能性のある画像がステップＳ１０５で読み込まれた画像の中から抽出される（ステップＳ１０７）。この処理は、座標が指定された位置が写っている可能性のある画像の抽出部１０７において行われる。

次に、ステップＳ１０６で指定された座標をステップＳ１０７で抽出された画像における座標（撮影画面上のＸ−Ｙ位置）に変換する（ステップＳ１０８）。この処理は、画像座標への変換部１０８で行われる。ここで、ステップＳ１０７で抽出された画像が複数の場合は、そのそれぞれにおいて、上記の座標変換を行う。なお、この時点で抽出されている画像中に指定位置が必ず写っている保障はないが、ここでは写っているものとして処理を進める。これは、ステップＳ１０９，ステップＳ１１０，ステップＳ１１１においても同じである。

例えば、この段階で指定されているＤＥＭ上の座標（ステップＳ１０６で指定された座標）に対応する点（仮に点Ｐjとする）が写った空撮画像が７枚あるとする。この場合、この７枚の空撮画像それぞれにおける点Ｐjの画像上（画面上）における座標を求める処理がステップＳ１０８で行われる。

次に、ステップＳ１０６で指定された座標の位置（指定位置）がステップＳ１０５で読み込んだ画像（空撮画像）における適切な範囲にあるか否かが判定される（ステップＳ１０９）。この処理は、指定した座標が撮影画像中の適切な範囲にあるかの判定部１０９で行われる。例えば、上記の具体例でいうと、７枚の空撮画像それぞれにおける点Ｐjの対応位置を調べ、その画面中での位置がオルソ画像の利用に適した範囲であるか否かの判定が行われる。

ここで、判定の対象となる指定位置（ステップＳ１０６で指定された位置）の全てが画像中の適切な範囲にない場合、ステップＳ１０６に戻り、新たな座標の指定が行われる。一部の指定位置についてステップＳ１０９の判定がＮＯとなった場合、該当する画像はこの段階で除外され、ステップＳ１１０以降における処理の対象としない。この場合、判定がＹＥＳとなった指定位置を含む画像がステップＳ１１０以降における処理の対象となる。

次に、ステップＳ１０９の判定がＹＥＳとなった指定位置の画像座標を取得する（ステップＳ１１０）。この処理は、指定位置の画像座標取得部１１０で行われる。この処理では、ステップＳ１０９の判定がＹＥＳとなった指定位置の情報、すなわち当該指定位置の画像中での座標（Ｘ−Ｙ座標）が取得される。

例えば、ステップＳ１０６でＤＥＭ上の座標として指定位置Ｐjが選択され、ステップＳ１０７で指定位置Ｐjが写っている可能性のある画像が７枚抽出され、更にこの７枚の画像において、ステップＳ１０９の処理において指定位置Ｐjが適切な範囲にあると推定される画像が６枚あったとする。この場合、ステップＳ１１０において、この６枚の画像における位置Ｐjの画像座標値（Ｘ−Ｙ座標値）が選択される。

次に、ステップＳ１１０で指定位置の画面座標を取得した対象となる画像の中から、最適条件を満たす画像の選択を行う（ステップＳ１１１）。この処理は、最適条件を満たす画像の選択部１１１で行われる。

この段階で選択されている画像は、ステップＳ１０６で指定された指定位置が画像中にあると推定される画像であり、必ずしも指定位置の画素情報が画像中にあるとは限らない。これは、図２のＰ４，５の位置からＰｉの画素情報が得られない状況の様な場合があるからである。そこで、ステップＳ１１１の処理を行うことで、確実に目的とする位置の画素情報が得られる可能性の高い画像をこの段階で処理の対象となっている画像の中から抽出する。

以下、ステップＳ１１１で行われる処理の詳細を説明する。この処理では、指定位置が水平面である場合に鉛直上方から撮影した画像を優先的に選択し、また指定位置が傾斜面である場合に当該傾斜面に垂直な方向から撮影した画像を優先的に選択する。図５には、ステップＳ１１１の処理の一例が示されている。

この処理では、まず指定位置（座標指定部１０６が指定した座標位置）の法線を算出する（ステップＳ２０１）。この処理では、まず選択された位置を中心とした５×５画素や９×９画素程度の大きさに対応する領域の点群が選択される。そして、ステップＳ１０２で作成した点群データの中から、この選択された領域に存在する点群を抽出し、更にこの抽出された点群にフィッティングする面の方程式を求め、更にその面の法線を求める。

次に、ステップＳ２０２の判定を行う。この判定では、まずステップＳ２０１で算出した指定位置の法線の延在方向と鉛直方向とがなす角度を算出する。そしてこのなす角度が予め定めた閾値（例えば１０°）以下であるか否かが判定される。この判定がＹＥＳの場合は、当該法線が鉛直または鉛直と見なせると判定してステップＳ２０３に進み、そうでない場合はステップＳ２０４に進む。この際の閾値は、小さく設定すると正面から見た画像が優先的に選択されるので、正射影変換を行う際の精度の点で有利であるが、他方で利用できる画像が少なくなるので、画素情報の精度の点ではマイナスとなる。これに対して、上記の閾値を大きく設定すると、上記と反対の傾向となる。通常は、上記の閾値は５°〜２０°の範囲から選択される。

例えば、ＵＡＶの飛行速度が遅く、また撮影間隔が短い場合、重複する画像が多くなるので、上記の閾値を小さく設定しても弊害は小さく、質の高いオルソ画像が得られる。逆に、諸条件により重複する空撮画像の数が少ない場合、上記の閾値を小さく設定すると、利用できる画像が少なくなり、その弊害が顕在化する。よって、ＵＡＶの飛行速度、撮影間隔、要求されるオルソ画像の質のバランスを考慮し、上記の閾値が設定される。

ステップＳ２０３では、この段階で対象となっている画像の撮影時のカメラ位置（視点の位置：撮影位置）と指定位置とを結ぶ直線と、鉛直線とがなす角度が予め定めた閾値以下（例えば、１０°以下）の画像を選択する。ここで、閾値の値は一例であり、諸条件を勘案して他の値を採用することも可能である。

ステップＳ２０４では、この段階で着目されている指定位置の法線（ステップＳ２０１で算出した法線）の方向から撮影された画像を選択する。

具体的には、この段階で対象となっている画像の撮影時のカメラ位置（視点の位置）と指定位置とを結ぶ直線と、上記指定位置の法線とがなす角度が予め定めた閾値以下の画像を選択する。ここで、角度の閾値としては例えば１０°が選択される。勿論、この値は一例であり、諸条件を勘案して他の値を採用することも可能である。

ステップＳ２０３およびＳ２０４の後、ステップＳ２０３またはＳ２０４で選択された画像中から、画像を撮影したカメラ位置と指定位置との間に遮蔽物がない画像の選択が行われる（ステップＳ２０５）。

ステップＳ２０５の処理では、まず対象となる画像において、カメラ位置と指定位置との間を結ぶ直線を設定する。そして、この直線との最短距離が予め定めた閾値以下の点がステップＳ１０２で作成した点群データの中にあるのか否か、が調べられる。閾値は例えば５ｃｍ〜２ｍ程度が設定される。

ここで、該当する点がある場合、処理対象の画像は選択されず、該当する点がない場合、処理対象の画像が「カメラ位置と指定位置との間に遮蔽物がない画像」として選択される。ステップＳ２０５の処理を行うことで、指定位置がオクルージョンとなる画像が排除される。以上の図５の処理が図４のステップＳ１１１において行われる。

例えば、図２のＰｉが指定位置である場合、ステップＳ２０２はＹＥＳとなり、ステップＳ２０３でＰ３が選択される。この際、閾値の条件によっては、Ｐ２やＰ４が撮影位置の画像が選択される可能性もある。ただし、ステップＳ２０５でＰ４が撮影位置の画像が排除される。

また、図３のＰｉが指定位置である場合、ステップＳ２０２はＮＯとなり、ステップＳ２０４に進み、ステップＳ２０４でＰ１が選択される。この際、閾値の条件が緩ければ、Ｐ２が選択される可能性もある。

ステップＳ２０５の処理において、以下の処理を行ってもよい。この処理ではステップＳ１０２で作成した点群データを用いて指定位置を遮蔽する物体の存在（例えば、図２の建物１１）を判定している。ところで、画像から点群データを得る場合、実際には存在しないノイズとなる誤点群が得られる場合がある。この誤点群により本来は指定位置が写っているのに採用されない画像が発生する可能性がある。以下、この問題を抑制する技術について説明する。

まず、ステップＳ２０５の処理において遮蔽物と判定された点が検出されたとする。この際、当該点が周囲から「孤立している」、「時間軸上で撮影時刻が隣接する画像では抽出されていない」、「点の数が閾値以下」の少なくとも一つの条件を満たす場合、その点が演算上のノイズであり、障害とならない（遮蔽物を構成しない）誤点群と判定する。

図４に戻り、ステップＳ１１１の後、ステップＳ１１１で選択された画像における指定位置の画素情報（色情報）を取得する（ステップＳ１１２）。この処理は、画素情報取得部１１２で行われる。なお、ステップＳ１１１において、該当する画像が選択できない場合、この該当する座標部分は黒色で塗りつぶされ、画素情報の抜け部分として処理される。なおこの際、ステップＳ１０６の前段階に戻り、閾値の設定を緩くしてステップＳ１１１で選択される画像を得るための処理を再度行ってもよい。

次に、ステップＳ１０４で作成したＤＥＭにステップＳ１１２で取得した画素情報（画素の色情報）を付与する（ステップＳ１１３）。この処理は、色情情報付与部１１３で行われる。

次に、画素情報が取得されていない画素があるか否か、が判定される（ステップＳ１１４）。画素情報が取得されていない画素があれば、ステップＳ１０６の前段階に戻り、別の位置における新たな画素情報の取得のための処理が行なわれる。画素情報が取得されていない画素がなければ、画素情報（色情報）が付与されたＤＥＭに基づくオルソ画像の作成を行い（ステップＳ１１５）、処理を終了する。オルソ画像の作成は、オルソ画像作成部１１４で行われる。

（優位性）
ステップＳ２０２またはステップＳ２０３の処理を行うことで、対象となる位置に対して極力垂直な方向から撮影した画像が選択され、そこから当該位置の画素情報が取得される。そのため、より精度の高い画素情報が得られる。特に対象が地表の持ち上がった部分１２の斜面１３（図３参照）である場合に、ステップＳ２０１→ステップＳ２０３→ステップＳ２０４の処理を行うことで、斜面に垂直な方向から撮影した画像が選択される。このため、斜面１３の画素情報をより精度よく得ることができる。例えば土木工事における法面の施工に係る測量では、法面の画像情報を正確に得ることが重要となるが、この場合、上記の法面となる斜面をなるべく垂直な方向（正面の方向）から見た画像を取得することが重要となる。

空撮画像からオルソ画像を作成する場合、色情報の精度や分解能を確保する関係で複数枚の画像から画素の色情報を取得する。この際、オクル―ジョンとなり目的とする画素情報が得られない画像がそこに含まれる場合がある。例えば、図２の撮影位置Ｐ４とＰ５は、建物１１がある関係で位置Ｐｉがオクル―ジョンとなりＰｉの画素情報を有さない。

画像データ処理装置１００を用いた処理では、候補となる画像から上記のＰ４やＰ５の位置から撮影した画像が選択されず、確実に目的とする位置が取得されえている画像を選択するステップＳ２０５の処理を行う。この処理により、複数の画像から得られる画素情報をアルファブレンドした場合に生じるノイズ（必要でない色情報）が減り、最終的に得られるオルソ画像の精度と分解能を高くできる。

図６（Ａ）は、図４の処理において、ステップＳ１１１の処理を行わなかった場合に得られたオルソ画像を示す図面代用写真である。図６（Ｂ）は、図５の処理において、ステップＳ１１１の処理を行った場合に得られたオルソ画像を示す図面代用写真である。

図６（Ａ）のオルソ画像では、右上に写っているショベルカーは、アームが正確に写っておらず２重にブレて見えている。これは、ステップＳ１１３の処理において、斜め方向からの画素情報がアルファブレンドされ、オルソ画像には不要なアーム側面の画素情報が紛れ込んだためである。

これに対して、図６（Ｂ）のオルソ画像では、当該ショベルカーのアームの画像は明瞭に写っている。これは、当該アーム付近の画素情報を取得するための画像の選択（ステップＳ２０２）において、アームを鉛直方向またはそれに近い方向から見た画像の選択が行われ、アーム側面の情報（これは斜め方向から見える画像でありオルソ画像には不要）の取得が抑えられたからである。

また、図６（Ａ）および（Ｂ）の右下には、建物が写っているが、図６（Ａ）では、当該建物の縁が不明瞭であり、ノイズ成分が視認できる。これに対して、図６（Ｂ）は、当該建物の縁が明瞭に視認できる。これも、本来オルソ画像には不要な当該建物の壁側面および屋上面の情報が図６（Ａ）では取り込まれていることに起因する。

また、上記の建物に隣接して駐車場があるが、図６（Ａ）では、当該駐車場の建物に隣接する部分の画像に建物の屋上および壁の画像情報が混ざり込み、不明瞭な画像となっている。これに対して、図６（Ｂ）の該当部分は、駐車場として明確に視認できる画像となっている。これは、本来オルソ画像には不要な当該建物の屋上の情報が図６（Ａ）では取り込まれているからである。これは図２の状態で撮影位置Ｐ４から位置Ｐｉ方向の画像情報として建物１１の屋上の画素情報が取得され、それが撮影位置Ｐ２，Ｐ３からの撮影画像から得た位置Ｐｉの画素情報にアルファブレンドされた場合と同様な現象が生じていると解釈できる。

これに対して、図６（Ｂ）では鉛直上方またはそれに近い方向から見た画像を選択すること、さらに図２のＰ４やＰ５に対応する撮影位置からの画像が選択されないようにすることで、建物の屋上および壁側面の情報の混入が排除され、図６（Ａ）で生じた駐車場の不明瞭な画像は生じていない。

また、図６（Ａ）および（Ｂ）には、複数の人影が写っている。この人影に着目すると、その画像は図６（Ａ）では不明瞭であり、図６（Ｂ）では明瞭である。すなわち、図６（Ｂ）では、直立している人間の頭部と肩の部分を鉛直上方から見た様子が正確に画像として表示されているが、対応する図６（Ａ）の部分の見ると、人として認識できる画像とは言い難い。なお、図６（Ａ）と（Ｂ）とでは、人影の人数と位置に差異があるが、それは基となる空撮画像の撮影タイミングの違いに起因する。

また、車の画像も図６（Ａ）に比較すると、図６（Ｂ）の方が鮮明であり、余計なノイズ成分が少ないことが判る。これも図５のステップＳ２０２およびステップＳ２０３の処理によって、対象面をなるべく正面から見た画像を選択することによる歪みのない画像の取得、更にステップＳ２０５の処理による対象となる位置がオクルージョンとなっている画像をアルファブレンドに用いないことによるノイズ成分を排除した効果である。

（その他）
画像の撮影時におけるカメラの光軸と、鉛直線とがなす角度が予め定めた閾値以下（例えば、１０°以下）の画像を選択する態様も可能である。ＵＡＶの飛行時における姿勢が安定しない場合や旋回時にカメラの姿勢は初期設定状態である鉛直下方向からぶれる場合がある。この場合、上記処理を行うことで指定位置を鉛直上方から見た画像が優先的に選択される。

各画像には、撮影時におけるＵＡＶの姿勢のデータが関連付けされているので、ＵＡＶの姿勢に基づき、上記の処理が可能である。

ステップ２０１〜Ｓ２０４の処理の代わりに下記の処理を行い、次いでステップＳ２０５の処理を行ってもよい。この処理では、指定位置の法線と鉛直方向との中間の角度方向を基準として画像を選択する。

この処理では、指定位置をＰｉ、Ｐｉに垂直な方向の仰角（水平面からの角度）をθ１、鉛直方向の仰角θ２＝９０°として、Ｐｉから見て（θ１＋θ２）／２の方向に延在する方向線１を求める。他方において、Ｐｉとカメラ位置とを結ぶ方向線２を求める。そして、方向線１と方向線２のなす角度を計算し、その値が閾値（例えば、１０°）以下の画像を選択する。この処理によれば、Ｐｉの位置が斜面であっても当該斜面をなるべく鉛直上方に近い角度から撮影した画像が優先的に選択される。また、Ｐｉの法線が鉛直に近い場合でも鉛直上方に近い角度から撮影した画像が選択される。

例えば、図３の斜面１３の傾斜がきつく、その法線と鉛直方向とのなす角度が４５°以上の場合、ステップＳ２０３の処理では、指定位置Ｐｉから見て低い角度（仰角４５°以下）から撮影した画像が選択候補となり、適切な画像が選択されない場合が有り得る。

上記の方法によれば、斜面１３の傾斜がきつくてもなるべく鉛直に近い方向から撮影した画像が選択される。例えば、図３のＰｉから見たＰｉの法線の仰角θ１が４０°であるとする。この場合、Ｐｉから見た鉛直方向の仰角θ２は９０°だから、Ｐｉから見て仰角が（θ１＋θ２）／２＝６５°の方向から撮影した画像が選択される。このため、斜面１３を鉛直上方に近い角度から撮影した画像が選択される。

θ１とθ２の中間の角度方向は、その中央に限定されない。すなわち、上記の例では、指定位置（例えば、図２，３のＰｉ）から見たカメラ位置の方向を決める式（（θ１＋θ２）／ｎ）としてｎ＝２の場合が示されているが、ｎ＝１．５〜４程度の範囲からｎの値を選択可能である。例えば、指定位置の法線の仰角が小さい場合（鉛直方向とのなす角度が大きい場合）にｎの値を小さくすることで、斜面正面からの撮影と鉛直上方からの撮影の相反する要件のバランスを調整することができる。なお、ｎは９０°＞（θ１＋θ２）／ｎとなるように選択される。

１０…地表面、１１…建物、１２…地表面の盛り上がった部分、１３…斜面。

Claims (6)

1. 撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、
   撮影対象の特定の位置の指定を受け付ける位置指定部と、
   前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部と
   を備える画像処理装置。
2. 前記特定の位置に垂直な方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択される請求項１に記載の画像処理装置。
3. 前記特定の位置に垂直な方向と鉛直な方向との間の方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択される請求項１に記載の画像処理装置。
4. 前記複数の画像に基づき前記撮影対象の点群データを作成する点群データ作成部を備え、
   前記特定の位置と撮影時のカメラ位置とを結ぶ線上に前記点群データが閾値以下の距離で存在しない画像が前記画像選択部で選択される請求項１または２〜３に記載の画像処理装置。
5. 撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付ステップと、
   撮影対象の特定の位置の指定を受け付ける位置指定ステップと、
   前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択ステップと
   を備える画像処理方法。
6. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータを
   撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、
   撮影対象の特定の位置の指定を受け付ける位置指定部と、
   前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部と
   して機能させる画像処理用プログラム。

Images