JP7277187B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像画像を加工して表示する画像処理装置、画像処理装置を備える撮像装置、画像処理方法、およびプログラムに関する。

従来から、被写体をデジタルカメラ等の撮像装置によって撮像した撮像画像を表示装置に表示する画像処理装置が知られている。例えば、上記した画像処理装置として機能するデジタルカメラは、一般的に、撮像した被写体を確認するための表示装置として、液晶ディスプレイ（ＬＣＤ）等の電子表示素子を用いた電子ビューファインダー（ＥＶＦ）を有する。

ユーザが被写体の長さを認識できるように、被写体の長さ情報を被写体を表示している表示装置に併せて表示する技術が提案されている。特許文献１の技術では、被写体の３次元位置情報を用いて、使用者が指定した箇所（指定位置）の寸法を示すスケール画像（ものさしの画像）が生成される。そして、スケール画像を被写体の画像に合成して表示することによって、被写体の寸法を使用者に提示している。

特開２００１－２０９８２７号公報

表示画像に表示される被写体画像は、様々な要因に応じて変化する。例えば、特許文献１に開示された構成において表示画面を拡大すると、重畳されたスケール画像（ものさしの画像）までが同様に拡大されてしまう。結果として、表示画面におけるスケール画像と被写体とが重なる領域が相対的に増大するので、表示画像における被写体の視認性が低下してしまう。

以上の事情に鑑み、本発明の目的は、被写体の視認性の低下を抑制しつつ指標画像を撮像画像に重畳できる画像処理装置、画像処理装置を備える撮像装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、撮像画像を表示装置に表示する画像処理装置であって、前記表示された撮像画像内の被写体の２点を指定する被写体指定部と、前記２点に関する３次元位置情報を取得する指定位置取得部と、前記表示された撮像画像内の被写体の画像の変化を検出する変化検出部と、前記２点間の長さを長辺方向に含む長辺方向長さであり、かつ短辺方向長さを前記変化に対応して調整した指標画像を生成する指標画像生成部と、前記指標画像を前記撮像画像に重畳して前記表示装置に表示する表示部と、を備え、前記指標画像生成部は、前記撮像画像に重畳される指標画像の短辺方向長さを、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう調整することを特徴とする。

本発明の別の画像処理装置は、撮像画像を表示装置に表示する画像処理装置であって、前記表示された撮像画像内の被写体の２点を指定する被写体指定部と、前記２点に関する３次元位置情報を取得する指定位置取得部と、前記被写体の位置に関する変化を検出する変化検出部と、前記２点間の長さを長辺方向に含む長辺方向長さである指標画像を前記変化に対応して生成する指標画像生成部と、前記指標画像を前記撮像画像に重畳して前記表示装置に表示する表示部と、を備え、前記指標画像生成部は、前記撮像画像に重畳される指標画像の生成を、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう制御することを特徴とする。

本発明によれば、被写体の視認性の低下を抑制しつつ指標画像を撮像画像に重畳できる。

本発明の第１実施形態に係る撮像装置の構成を示す構成ブロック図である。 本発明の第１実施形態に係る撮像部の構成を示す説明図である。 本発明の第１実施形態に係る画像処理部を構成する機能ブロックを示す構成ブロック図である。 本発明の第１実施形態に係る画像処理を示すフローチャートである。 本発明の第１実施形態に係る加工画像の一例を示す図である。 本発明の第１実施形態に係る拡大処理の前後における物差し画像（指標画像）の変化を示す説明図である。 本発明の第１実施形態における被写体の３次元位置の取得についての説明図である。 本発明の第１実施形態における限界物差し画像を示す説明図である。 本発明の第２実施形態における画像処理を示すフローチャートである。 本発明の第２実施形態における加工画像の一例を示す図である。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される実施形態は本発明を実現可能な構成の一例に過ぎない。以下の実施形態は、本発明が適用される装置の構成や各種条件に応じて適宜修正または変更することが可能である。したがって、本発明の範囲は以下の実施形態に記載される構成によって限定されるものではない。

以下の実施形態に係る撮像装置１００は、本発明に係る画像処理装置を含み、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、工業用カメラ、医療用カメラ等の種々の電子カメラ装置に適用できる。本実施形態の撮像装置１００は、被写体までの距離を示す距離情報を取得できる。撮像装置１００のユーザは、電子ビューファインダー（ＥＶＦ）等の表示装置（ディスプレイ）に表示されている被写体のサイズを把握できる。以上の表示装置は、撮像装置１００と一体に形成されていてもよく、別体であってもよい。なお、本実施形態の撮像装置１００の画像処理機能は、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末等の種々の情報処理装置に適用できる。距離情報を取得する機能を有さない情報処理装置においても、他の装置が取得した撮像画像に対して本実施形態の画像処理を適用できる。

＜第１実施形態＞
図１は、第１実施形態の撮像装置１００の構成を示す構成ブロック図である。撮像装置１００は、光学系１０１と撮像部１０２とＡ／Ｄ変換部１０３と画像処理部１０４と制御部１０５と表示部１０６と記録部１０７と操作部１０８と不揮発性メモリ１０９と揮発性メモリ１１０とを有する。

光学系１０１は、ズームレンズ、フォーカスレンズ等を含むレンズ群、絞り調整装置、およびシャッター装置を備える撮影レンズであって、被写体の像を撮像部１０２に結像させる。光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置、および光量等の光学設定を調整する。光学系１０１は、撮像装置１００に対して着脱可能であってもよいし、撮像装置１００と一体であってもよい。着脱可能である場合、光学系１０１は撮像装置１００が有する構成要素ではないと理解できる。

撮像部１０２は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を含むイメージセンサである。撮像部１０２は、光学系１０１を通過し撮像部１０２に到達した光束を光電変換することで電気信号を生成する画素２０２を有する。撮像画像の取得に用いられる撮像部１０２の詳細については後述される。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力されたアナログの電気信号（映像信号）をデジタルの撮像画像に変換する変換素子である。Ａ／Ｄ変換部１０３は、Ａ／Ｄ変換後の撮像画像を画像処理部１０４および記録部１０７に出力する。

画像処理部１０４は、撮像画像に対する通常の信号処理、例えば、ノイズ低減処理、現像処理、ガンマ変換によって所定の出力レンジに階調圧縮する階調圧縮処理等を実行する。加えて、画像処理部１０４は、後述する第１実施形態の画像加工処理を実行する。画像処理部１０４は、以上のように処理した撮像画像を、表示部１０６および記録部１０７に出力する。

制御部１０５は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）等のプロセッサを有する制御装置である。不揮発性メモリ１０９は、制御用のプログラムおよびデータを記憶する不揮発性の記憶素子であって、例えばＲＯＭ（Read Only Memory）である。揮発性メモリ１１０は、制御部１０５のワーキングメモリとして機能する揮発性の記憶素子であって、例えばＲＡＭ（Random Access Memory）である。制御部１０５は、不揮発性メモリ１０９内のプログラムを揮発性メモリ１１０に展開して実行することにより、撮像装置１００が有する各ブロックの動作を制御する。例えば、制御部１０５は、適正な明るさの入力画像を取得するための露光量を算出し、算出した露光量を実現するように光学系１０１および撮像部１０２を制御して、絞り、シャッタースピード、およびイメージセンサのアナログゲインを制御する。

表示部１０６は、制御部１０５による制御の下、画像処理部１０４から出力された撮像画像を電子ビューファインダー（ＥＶＦ）や液晶ディスプレイ（ＬＣＤ）等の表示装置に表示させる。表示部１０６は、後述するように、撮像画像と指標画像とを含む加工画像を表示装置に表示できる。

記録部１０７は、撮像画像と、撮像時の撮像条件（Ｆ値、シャッタースピード等）を示す撮像情報とを記録する機能を有する。記録部１０７は、例えば、撮像装置１００に内蔵された内部記録媒体に上記データを記録してもよいし、撮像装置１００に着脱可能な外部記録媒体に上記データを記録してもよい。外部記録媒体としては、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージが例示される。

操作部１０８は、ユーザの操作（指定指示、変更指示等）を受け付ける操作インターフェイス機能を有する。操作部１０８は、例えば、撮像画像を表示する表示装置としても機能するタッチパネルであってもよいし、表示装置に表示されたカーソル等の移動に用いられる十字キーであってもよい。ユーザが操作部１０８を操作することによって、ユーザが指定する撮像画像上の被写体像の座標情報が取得される。後述するように、第１実施形態では、ユーザが長さを測定したい箇所の両端に位置する２点を指定すると想定する。

図２は、第１実施形態に係る撮像部１０２の構成を示す説明図である。図２（Ａ）は、撮像部１０２が有する複数の画素２０２の配列構成を示している。図２（Ａ）に示すように、複数の画素２０２は、ｘｙ方向に亘って２次元的かつ規則的に（行列状に）配列されている。配列パターンとして、例えば、ベイヤー配列を採用することができる。図２（Ｂ）は、各画素２０２の構造を示す断面図である。画素２０２は、マイクロレンズ２０１と１対の光電変換部２０３Ａ，２０４Ｂとを有する。マイクロレンズ２０１は、光学系１０１から射出された光束を光電変換部２０３Ａ，２０４Ｂへ導く。各光電変換部２０３Ａ，２０４Ｂは、それぞれ、入射した光束を光電変換して電気信号を生成する。

図３は、第１実施形態に係る画像処理部１０４を構成する機能ブロックを示す構成ブロック図である。画像処理部１０４は、信号処理部３０１と撮像情報取得部３０２と被写体位置取得部３０３と指定位置取得部３０４と変化検出部３０５と指標画像生成部３０６と表示加工処理部３０７とを有する。

信号処理部３０１は、前述した通常の信号処理（ノイズ低減処理、現像処理等）を撮像画像に対して実行する。

撮像情報取得部３０２は、撮像装置１００の情報（撮像情報）を取得する。撮像情報は、不揮発性メモリ１０９に保存されているイメージセンサのピッチ幅、レンズ（光学系１０１）のＦ値等の装置設定と、撮像時に制御された絞り値、シャッタースピード等の撮像条件とを含む情報である。

被写体位置取得部３０３は、光学系１０１の相異なる瞳領域から到来する光束によって生じる複数の被写体像の位相差に基づいて被写体上の点の３次元位置を取得（算出）する。具体的な取得手法（算出手法）は後述する。

指定位置取得部３０４は、ユーザが操作部（被写体指定部）１０８を操作して入力（選択）した撮像画像上の２点の座標情報に基づいて、ユーザが指定する撮像画像内の被写体上の２点の座標情報（３次元位置情報）を指定位置として取得する。なお、指定位置取得部３０４は、指定された２点の３次元位置を被写体位置取得部３０３が算出できていない場合、算出できていない各点を含む領域内（空間内）の他点の３次元位置に基づいて各点の３次元位置情報を推定してもよい。「各点を含む領域内（空間内）の他点」は、各点の周囲（所定距離内）にある他点であるとよい（以下同様である）。

変化検出部３０５は、記録部１０７および不揮発性メモリ１０９に保存された過去の撮像装置１００に関する情報（過去情報）と、現在の撮像装置１００に関する情報（現在情報）とを比較することによって、撮像装置１００に関する変化を検出する。例えば、表示部１０６が表示装置に表示させる撮像画像の拡大率（表示倍率）をユーザが操作部１０８を操作して変更すると、変化検出部３０５は、操作前の過去の拡大率と操作後の現在の拡大率とを比較することで表示部１０６による拡大率の変化を検出する。

指標画像生成部３０６は、ユーザが指定した２点間の長さを取得し、取得した長さに対応する指標画像を生成する。指標画像は、指定された２点間の絶対的または相対的な長さを示す画像である。指定された２点の３次元位置を被写体位置取得部３０３が算出できていない場合、指標画像生成部３０６が、算出できていない各点を含む領域内（空間内）の他点の３次元位置に基づいて２点間の長さを推定してもよい。以上の指標画像は、例えば、指定された２点を両端点とする線分の近傍に長さを示す数値を表示する画像であってもよいし、縮尺を示す目盛りを有する物差し画像であってもよい。物差し画像は、実際の物差し（定規）を模した画像であってもよいし、２点間を接続する長線分と上記線分に直交し目盛りを示す複数の短線分とによる画像であってもよい。なお、２点間の長さに対応する目盛りを有する物差しの画像を指標画像として採用する構成によれば、ユーザは、指定された２点間に位置する部分の部分長を測定できる。

表示加工処理部３０７は、信号処理部３０１が現像した撮像画像に対して、指標画像生成部３０６が生成した指標画像を重畳して加工画像を取得する。取得された加工画像は、表示部１０６に供給されて表示装置に表示される。

図４は、第１実施形態の画像処理を示すフローチャートである。以下、長さ情報を示す指標画像が撮像画像に重畳された加工画像をユーザが表示装置上で閲覧している際に、ユーザが拡大操作を実行したときの画像加工処理について説明する。ユーザが操作部１０８を操作して加工画像の拡大処理を指示する拡縮操作を実行すると、図４のフローチャートに示す画像加工処理が開始する。なお、「拡縮操作」は、拡大処理または縮小処理を指示する操作である。

図５は、第１実施形態に係る加工画像５０１の一例である。加工画像５０１は、本処理における初期状態（拡大前の状態）に対応し、撮像画像に含まれる開花した植物５０２の像を含む。ユーザが植物５０２の像上の２点（上端と下端）を指定したことによって、以上の２点を両端とする物差し画像５０３と２点間の測長値５０４とが指標画像として撮像画像に重畳されている。

ステップＳ４０１において、指標画像生成部３０６は、表示部１０６が表示させる加工画像５０１の範囲内に指標画像が含まれるか否かを判定する。表示範囲内に指標画像が含まれない場合（Ｓ４０１：Ｎｏ）、処理は後述するステップＳ４０５に進む。他方、表示範囲内に指標画像が含まれる場合（Ｓ４０１：Ｙｅｓ）、処理は次のステップＳ４０２に進む。

ステップＳ４０２において、変化検出部３０５は、拡大処理前の加工画像５０１の表示範囲と、拡大処理後の加工画像５０１の表示範囲とを比較することによって、拡大処理による加工画像５０１の拡大率を取得（算出）し、拡大率の変化を検出する。なお、加工画像５０１の拡大率は、縦方向（垂直方向）と横方向（水平方向）とについて個別に算出されると好適である。

ステップＳ４０３において、指標画像生成部３０６は、物差し画像５０３の見かけの太さ（表示上の短辺方向長さ）である表示幅が拡大処理後に増大しないように、加工画像５０１内の物差し画像５０３の画像上の太さ（実際の太さ）である実幅を調整する。例えば、指標画像生成部３０６は、物差し画像５０３の短辺方向に相当する横方向の拡大率の逆数を物差し画像５０３の実幅に乗じることで新たな実幅を算出し、新たな実幅を有する物差し画像５０３を生成する。以上の短辺方向は、指定された２点を結ぶ線分（物差し画像の長辺方向）に直交する方向である。また、指標画像生成部３０６は、表示装置の画像表示領域における物差し画像５０３の領域が拡大処理前後で等しくなる（維持される、または変化しない）ように実幅を調整してもよい。

以上の拡大処理後の新たな指標画像の生成において、指標画像生成部３０６は、物差し画像５０３の両端点の位置を、ユーザが指定した撮像画像上の２点の位置から変更しない。すなわち、加工画像５０１の拡大操作の前後において表示上の被写体位置が変化しても、物差し画像５０３の両端点の位置はユーザが指定した２点が位置する被写体上に維持される。

図６は、第１実施形態に係る拡大処理の前後における物差し画像（指標画像）の変化を示す説明図である。図６において、加工画像６０１は拡大処理前の加工画像５０１に相当する画像であり、加工画像６０３は加工画像６０１を拡大処理した後の表示画像である。図６に示すように、拡大処理後の物差し画像６０４の表示幅は、拡大処理前の物差し画像６０２の表示幅よりも増大していない。

ステップＳ４０４において、表示加工処理部３０７は、ステップＳ４０３にて指標画像生成部３０６が生成した新たな指標画像を加工画像５０１に重畳する。

ステップＳ４０５において、表示部１０６は、拡大処理後の加工画像５０１を表示装置に表示させる。上記ステップの結果として、表示部１０６は、変更後の表示倍率に従って拡大した撮像画像を表示すると共に、指定された２点を結ぶ線分に直交する方向のサイズが変更の前後において変化しない指標画像を表示装置に表示する。以上の構成によれば、加工画像５０１に指標画像が含まれる場合には、ユーザ指示による拡大率に応じて再加工された新たな指標画像が加工画像５０１に含まれることになるので、拡大処理の前後において表示される物差し画像の表示幅が変化しない。したがって、拡大処理によって表示画面上の被写体の視認性が低下することが抑制される。

図７を参照して、被写体位置取得部３０３が実行する被写体の３次元位置の取得について説明する。概略的には、デフォーカス量から算出した実距離に基づいて、被写体の３次元位置が取得される。

被写体位置取得部３０３は、光学系１０１の相異なる瞳領域から到来する光束によって生じる複数の被写体像の位相差に基づいて、撮像された画像におけるデフォーカス値の分布を示すデフォーカスマップを生成する。以上のデフォーカスマップの生成手法として、例えば、特開２０１６－９０６２号公報に開示されている公知の手法を用いることができる。すなわち、被写体位置取得部３０３は、相関信号（Ａ像信号およびＢ像信号）の位相差に基づいて画素２０２毎にデフォーカス量ＤＥＦを算出し、デフォーカスマップを生成する。

次いで、被写体位置取得部３０３は、デフォーカス量ＤＥＦに基づいて実距離ｚを算出する。撮像装置１００の物側主点から被写体上の点Ｐ’までの距離を示す実距離ｚは、各画素２０２毎に以下の数式（１）によって算出される。撮像装置１００の光学系１０１のレンズにおける像側主点からセンサ面までの距離ｄｉｓｔ＿ｄ、および焦点距離ｆは、撮像情報取得部３０２によって取得される撮像情報である。
ｚ＝１／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ） ……数式（１）

さらに、被写体位置取得部３０３は、実距離ｚに基づいて、被写体上の点Ｐ’の３次元空間上のｘｙ座標(ｘ，ｙ)を下記の数式（２）および数式（３）によって算出する。像面から射出瞳までの距離Ｌは、撮像情報取得部３０２によって取得される撮像情報である。
（Ｈ，Ｖ）＝（ｈ，ｖ）×（１－ＤＥＦ／Ｌ） ……数式（２）
（ｘ，ｙ）＝（Ｈ，Ｖ）×｜ｚ／（ｄｉｓｔ＿ｄ＋ＤＥＦ）｜ ……数式（３）

ここで、座標（ｈ,ｖ）は測距点のセンサ上の座標、座標（Ｈ,Ｖ）はセンサ面の座標（ｈ,ｖ）からデフォーカスされたｘｙ平面における座標を表す。以上により、被写体の３次元位置（ｘ，ｙ，ｚ）を算出できる。

以上、添付の図面を参照して説明したように、本実施形態では、撮像画像内の被写体の指定された２点に関する３次元位置情報に基づいて、２点間の長さに対応する指標画像（物差し画像等）が撮像画像に重畳されて表示される。また、表示される撮像画像（加工画像）の拡大率が変化した場合には、拡大処理の前後において指標画像（物差し画像）の表示幅が等しくなる（維持される、または変化しない）ように新たな指標画像が生成される。以上の構成によれば、拡大処理に伴って指標画像の表示幅が増大することが抑制されるので、指標画像による被写体の視認性の低下を抑制しつつ指標画像を撮像画像に重畳できる。

また、本実施形態では、指定された２点の少なくともいずれかにおける３次元位置情報が取得されていない場合に、取得されていない各点の周囲にある他点の３次元位置情報に基づいて各点の３次元位置情報または２点間の長さが推定される。以上の構成によれば、指定された２点の３次元情報が取得できていない状態にあっても２点間の長さを推定できるので指標画像を生成することが可能となる。

＜第１実施形態の変形例＞
以上の第１実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示（第２実施形態を含む）から任意に選択された２以上の態様は、相互に矛盾しない限り適宜に併合され得る。

拡大処理時の指標画像の生成について上述したが、指標画像生成部３０６は、縮小処理が実行されるときに、物差し画像の表示幅が細くならないように指標画像を生成してもよい。例えば、縮小処理の前後において物差し画像の表示幅が等しくなる（維持される、または変化しない）ように指標画像が生成されてもよいし、縮小処理後に物差し画像の表示幅が増大するように指標画像が生成されてもよい。以上の構成によれば、縮小処理後に表示される物差し画像が過剰に細くなることが抑制され、物差し画像の視認性が維持される。

指標画像生成部３０６は、拡大処理または縮小処理が実行されるときに、拡大率または縮小率に応じて設定された目盛りの間隔を有する物差し画像（指標画像）を生成してもよい。以上の構成によれば、処理後に表示される物差し画像の目盛り間隔が適切に設定される。

指標画像生成部３０６は、表示部１０６が画像を表示させる表示装置の画面（画像表示領域）の大きさに応じたサイズの指標画像を生成してもよい。表示装置は、例えば、撮像装置１００の小型ファインダー用ディスプレイや、相対的に大きい背面液晶ディスプレイである。以上の構成によれば、表示装置の画面の大きさに適合したサイズの指標画像をそれぞれの表示装置に表示できるので、指標画像に含まれる文字や目盛りの視認性が向上する。さらに、指標画像生成部３０６は、表示装置の画面の大きさに応じた目盛りの間隔を有する物差し画像を生成してもよい。以上の構成によれば、物差し画像の目盛り間隔を適切に設定することができる。

以上のように表示装置の画面（画像表示領域）の大きさに応じて指標画像を生成する構成においては、変化検出部３０５が、指標画像を含む加工画像を表示すべき表示装置領域の変化を検出すると、画面サイズ（領域サイズ）の情報を取得する。そして、指標画像生成部３０６が、取得された上記情報に基づいて以上のように指標画像を生成する。

指標画像生成部３０６は、被写体の３次元位置の取得精度に基づいて物差し画像の目盛りの間隔の最小値を設定してもよい。例えば、デフォーカス量ＤＥＦが０であり、ｄｉｓｔ／ｄｉｓｔ＿ｄが１００である場合、数式（２），（３）に従って、座標ｘ＝ｈ×１００のように求められる。ここで、ｈは画素座標であるので離散値を示す。画素幅（ピクセル幅）を１００倍した値よりも目盛り間隔が小さいと、長さ精度は保証されない。したがって、物差し画像の目盛り間隔の最小値をｈ×１００に設定すると好適である。他に、目盛り間隔の最小値は、デフォーカス量ＤＥＦの算出誤差に基づいて設定されてもよいし、ユーザが指定した２点のいずれか一方または双方の取得精度に基づいて設定されてもよい。さらに、被写体距離、被写体コントラスト、焦点距離等の光学的パラメータに基づいて目盛り間隔の最小値が設定されてもよい。以上の構成によれば、目盛り間隔の精度が保証される。

指標画像生成部３０６は、物差し画像の目盛り間隔が限界値である最小値に設定された場合にその旨を示す限界物差し画像を生成してもよい。限界物差し画像は、目盛り間隔が最小値ではない通常の物差し画像とは異なる特徴を呈する画像である。図８は、拡大処理前後の画面８０１，８０２を示している。限界物差し画像８０４は、目盛り間隔が最小値に設定されているので、通常の物差し画像と色が異なっている。なお、限界物差し画像と８０４の枠が点滅している構成も採用可能である。以上の構成によれば、現在の３次元位置の取得精度による目盛り間隔が測長精度限界か否かをユーザに提示できる。結果として、ユーザは、被写体に接近する等の方策を取ることによって、所望の測長精度を実現することが可能となる。

上記した第１実施形態では、被写体像の位相差に基づいて実距離ｚを取得しているが、これに代えてまたは加えて他の測距手法が採用されてもよい。例えば、撮像装置１００が複数の光学系および複数の撮像素子を有する複眼カメラであることにより、より高精度に像ズレ量を検出するようにしてもよい。また、撮像装置１００がＴＯＦ（Time Of Flight）カメラや超音波で測距する超音波カメラであることにより、表面模様の変化が乏しい被写体に対する測距精度を向上させてもよい。

撮像装置１００は、加速度センサおよびジャイロセンサのいずれか一方または双方を有してもよい。指標画像生成部３０６は、以上の装置から得られる撮像装置１００の絶対位置または相対位置を示す位置情報に基づいて撮像装置１００の移動（被写体への接近または被写体からの離間）を検出し、検出した移動に応じた指標画像を生成してもよい。例えば、揮発性メモリ１１０に撮像装置１００の位置情報が随時に書き込まれる構成において、変化検出部３０５が揮発性メモリ１１０を参照して撮像装置１００が光軸正方向（前方）へ移動するのを検出する。指定位置取得部３０４が撮像装置１００の移動前に取得した被写体位置を移動後にも取得すると、指標画像生成部３０６は、撮像装置１００が被写体に接近したことに基づいて、物差し画像の表示上の短辺方向長さが変化しないように指標画像を生成する。また、以上の処理と併せて、物差し画像の目盛りの間隔を被写体との距離に応じて設定することができる。以上の構成によれば、ユーザが撮像装置１００を保持しながら被写体に接近した場合であっても、物差し画像の短辺方向の拡大による被写体の視認性の低下が抑制される。逆に、機序としては同様に、撮像装置１００を保持したユーザが被写体から離間したことに基づいて、指標画像生成部３０６が物差し画像を生成しないでもよい。以上の構成によれば、過剰に小さい物差し画像が撮像画像に重畳されることが抑制される。

撮像情報取得部３０２は、３次元位置の算出に用いる情報を、光学系１０１が有する記憶装置から取得してもよいし、撮像装置１００が有する記憶装置から取得してもよい。他に、撮像情報取得部３０２は、撮像画像に付加された３次元位置の算出に用いる情報を、記憶装置に保存されている撮像画像から取得してもよい。

被写体位置取得部３０３は、撮像装置１００の光学系１０１の横倍率（水平方向の倍率）によって３次元位置を算出してもよい。

＜第２実施形態＞
ところで、測長結果を示す指標画像を被写体に重畳する構成において、測長対象の被写体が移動したり、指標画像に対応する被写体が他の被写体に遮られると、被写体に最早対応しない指標画像（すなわち、不要となった指標画像）が表示画面上に残ってしまう。第２実施形態では、変化検出部３０５が検出する被写体の位置の変化、ひいてはユーザが指定した指定位置に関する変化（指定位置が別の被写体に隠された等の現象）に応じて指標画像が生成される。以下に例示する各実施形態において、作用、機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。

図９および図１０を参照して、第２実施形態における指標画像の生成について説明する。図９は、測長対象の被写体の前に他被写体が到来し、ユーザによる指定位置の３次元位置情報が検出されない（検出できない）場合をカバーする指標画像の生成処理のフローチャートである。図９に示すフローによる処理は、表示画面に加工画像が表示されている間に亘って繰り返される。例えば、フレームごとに１回、図９のフローによる処理が実行される。図９のフローチャートが開始する時点において、図５と同様の加工画像５０１が表示部１０６によって表示装置（ＥＶＦ）に表示されていると想定する。加工画像５０１には、物差し画像５０３および測長値５０４が重畳されている。

ステップＳ９０１において、変化検出部３０５は、表示装置に表示すべき次のフレームにおいてユーザによる指定位置の３次元位置情報を指定位置取得部３０４が検出できるか否かを判定する。指定位置の３次元位置情報の検出は、例えば、以下のような断片画像のテンプレートマッチングによって実現される。指定位置取得部３０４は、ユーザが指定位置を指定すると、指定位置の画素インデックス（座標情報）および指定位置を中心とする断片画像を揮発性メモリ１１０等に記憶する。一般に、次のフレームの画像は、現在のフレームの画像が微小に変位した画像である。したがって、画像に大きな変化が無いときは、指定位置の画素インデックスの周辺における断片画像と撮像画像との相関が高く、大きな変化があるときには以上の相関が低くなる。したがって、変化検出部３０５は、断片画像（過去情報）と撮像画像（現在情報）とのテンプレートマッチングにより得られた指定位置周辺の相関値が所定閾値を上回る場合に、指定位置の３次元位置情報が検出されていると判定すると好適である。被写体の位置が変化せず指定位置が検出されると（Ｓ９０１：Ｙｅｓ）、以上の画素インデックス（座標情報）を指定位置取得部３０４が更新し、処理がステップＳ９０５に進む。他方、被写体の位置が変化して指定位置が検出されないと（Ｓ９０１：Ｎｏ）、処理がステップＳ９０２に進む。

図１０を参照して、被写体の位置が変化して指定位置が検出されない場合、すなわち、断片画像と撮像画像との相関が低減した場合の具体例を説明する。図１０は、人物１００３が被写体である植物１００２の前に割り込んだシーンの画像である。人物１００３によって植物１００２上のユーザによる指定位置が撮像装置１００に対して遮られることで、上記したテンプレートマッチングによる相関値が非連続的に低減する。結果として、指定位置取得部３０４は、指定位置が検出されないと判定する（Ｓ９０１：Ｎｏ）。

ステップＳ９０２において、指定位置が検出されなかったので（すなわち、被写体の位置の変化が検出されたので）、指標画像生成部３０６は撮像画像に重畳すべき指標画像を生成しない。そのため、表示加工処理部３０７が撮像画像に重畳する指標画像が存在しなくなるので、表示部１０６が表示装置に表示させる画像にも指標画像は含まれない。

ステップＳ９０３において、制御部１０５は、ステップＳ９０１にて最初に指定位置の３次元位置情報が検出できなくなってから所定時間が経過したか否かを判定する。以上の判定は、例えば、最初に指定位置の３次元位置情報が検出できなくなったときに立てられた不検出フラグに基づいて実行されると好適である。所定時間が経過していない場合（Ｓ９０３：Ｎｏ）、本フレームにおける本フローの処理が終了し、次のフレームにおける本フローの処理が続いて実行される。他方、所定時間が経過した場合（Ｓ９０３：Ｙｅｓ）、処理はステップＳ９０４に進む。

ステップＳ９０４において、指定位置取得部３０４は、指定位置の画素インデックスおよび断片画像を破棄し、本フレームにおける本フローの処理を終了する。

ステップＳ９０５において、ステップＳ９０２とは対照的に、指標画像生成部３０６は指標画像を生成する。そして、第１実施形態と同様に、表示加工処理部３０７が指標画像を撮像画像に重畳し、撮像画像に指標画像が重畳された加工画像を表示部１０６が表示装置に表示させる。

以上、添付の図面を参照して説明したように、本実施形態では、ユーザによる指定位置の３次元位置情報が検出されなくなった場合に、指標画像生成部３０６が指標画像を生成しないので、表示画像から不要な指標画像を消去することが可能である。したがって、表示画面における被写体の視認性を向上させることができる。

また、指定位置の３次元位置情報が検出されなかった後で所定時間内に指定位置が再検出された場合、指標画像生成部３０６が指標画像を再び生成するので、指標画像が撮像画像に再び重畳される。したがって、指定位置が検出されない期間が短期である場合（例えば、移動する物体が撮像装置１００の前を横切ったり、環境光等によって指定位置が白飛びしたりした場合）、指定位置が維持される。そのため、ユーザが指定位置を再び指定する必要がないので、操作の煩雑さが抑制され、ユーザの利便性を向上できる。他方、指定位置が所定時間を超えて検出されなかった場合には、指定位置に関する情報が破棄されるので、既に不要となった指定位置に対して判定処理が継続されることが抑制される。したがって、処理負荷の削減と、不要となった指定位置に基づく誤検出の抑制とが図られる。

＜第２実施形態の変形例＞
上記した実施形態においては、ユーザによる指定位置の３次元位置情報が検出されるか否かに応じて指標画像の表示と非表示とが切り替えられる。しかしながら、以下に例示するような他の変化に応じて指標画像の表示と非表示とが切り替えられてもよい。

例えば、変化検出部３０５が検出した撮像装置１００自体の位置情報または姿勢情報の変化に基づいて、指標画像生成部３０６が指標画像を生成するか否かを判定してもよい。以上の位置情報は、撮像装置１００の移動を検出するセンサや、加速度センサ、ジャイロセンサ等によって取得できる。変化検出部３０５は、ユーザが指定位置を指定したときの位置情報または姿勢情報（過去情報）と現在の位置情報または姿勢情報（現在情報）との差分（変化）が所定閾値を上回るか否かに基づいて撮像装置１００に変化が生じたか否かを判定すると好適である。以上の差分が所定閾値を下回っている状態において、指標画像生成部３０６は指標画像の生成を継続する。以上の構成によれば、ユーザが別のシーンを撮影しようと撮像装置１００の位置や姿勢を変更することによって、指標画像が非表示になるので、不要な指標画像の表示が抑制され、表示画面における被写体の視認性を向上させることができる。

他に、ユーザが操作部１０８を操作して撮像装置１００に指示することによって、指標画像の表示と非表示とが切り替えられてもよい。以上の構成によれば、ユーザが任意のタイミングで指標画像の表示・非表示を選択できるので、ユーザの利便性が向上する。

加えて、指標画像の表示に関する各種のパラメータ（大きさ、透明度、色等）を入力する入力部を撮像装置１００に搭載して、ユーザが指標画像の表示方法を自由に調節できてもよい。操作部１０８が以上の入力部と兼用されてもよい。以上の構成によれば、ユーザは、指標画像中の文字が小さい場合、指標画像の大きさを拡大してより見やすくすることができる。また、ユーザは、物差し画像の透明度を増大させることで、測長されている被写体の部分（測長部分）を確認しやすくすることができる。さらに、ユーザは、被写体の色と指標画像の色とが似ている場合に、指標画像の色を調整することで被写体と指標画像とを識別しやすくすることができる。

＜包括的な変形例＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述した実施形態の各画像処理の全部または一部を、撮像画像の取得に用いたカメラ等の撮像装置１００以外の外部装置（コンピュータなど）に実行させることによっても実現可能である。例えば、本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現できる。以上の記憶媒体は、コンピュータ読み取り可能な記憶媒体であると好適である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０６ 表示部
１０８ 操作部（被写体指定部）
３０４ 指定位置取得部
３０５ 変化検出部
３０６ 指標画像生成部
３０７ 表示加工処理部

Claims (25)

1. 撮像画像を表示装置に表示する画像処理装置であって、
   前記表示された撮像画像内の被写体の２点を指定する被写体指定部と、
   前記２点に関する３次元位置情報を取得する指定位置取得部と、
   前記表示された撮像画像内の被写体の画像の変化を検出する変化検出部と、
   前記２点間の長さを長辺方向に含む長辺方向長さであり、かつ短辺方向長さを前記変化に対応して調整した指標画像を生成する指標画像生成部と、
   前記指標画像を前記撮像画像に重畳して前記表示装置に表示する表示部と、を備え、
   前記指標画像生成部は、前記撮像画像に重畳される指標画像の短辺方向長さを、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう調整することを特徴とする画像処理装置。
2. 前記変化検出部が、拡大処理による前記撮像画像の拡大率の変化を検出すると、前記指標画像生成部は、前記短辺方向長さが、調整される前より太くならないよう調整し、
   前記変化検出部が、縮小処理による前記撮像画像の縮小率の変化を検出すると、前記指標画像生成部は、前記短辺方向長さが、調整される前より細くならないよう調整することを特徴とする請求項１記載の画像処理装置。
3. 前記指標画像生成部は、前記短辺方向長さを、前記検出された変化後の前記拡大率または前記縮小率の逆数を乗じた長さに調整することを特徴とする請求項２に記載の画像処理装置。
4. 前記指標画像生成部は、前記変化検出部で検出された前記拡大率または前記縮小率の変化の前後において前記指標画像の前記短辺方向長さが維持されるように調整する、ことを特徴とする請求項２に記載の画像処理装置。
5. 前記指標画像は、前記２点を両端とし前記２点間の長さに対応する目盛りが付された物差し画像であり、
   前記指標画像生成部は、前記変化検出部で算出された前記拡大率または前記縮小率に応じて前記物差し画像の目盛りの間隔を調整する、ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記変化検出部が、前記撮像画像を表示すべき前記表示装置の画像表示領域の変化を検出すると、前記指標画像生成部は、変化した後の前記画像表示領域の大きさに応じて前記指標画像の目盛りのサイズを調整する、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記指標画像は、前記２点を両端とし前記２点間の長さに対応する目盛りが付された物差し画像であり、
   前記指標画像生成部は、変化した後の前記画像表示領域の大きさに応じて前記目盛りの間隔を調整する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記指標画像生成部は、前記指定位置取得部が取得した前記３次元位置情報の精度に基づいて前記目盛りの間隔の最小値を設定する、ことを特徴とする請求項５または請求項７に記載の画像処理装置。
9. 前記指標画像生成部は、前記目盛りの間隔が前記最小値に設定される場合に、前記目盛りの間隔が前記最小値に設定されない前記物差し画像とは異なる限界物差し画像を生成する、ことを特徴とする請求項８に記載の画像処理装置。
10. 前記画像処理装置の位置情報を取得する位置情報取得部を更に備え、
    前記変化検出部が、前記取得した位置情報から前記画像処理装置が前記被写体に接近したことを検出すると、前記指標画像生成部は、接近後に生成された前記短辺方向長さが、接近前の長さより太くならないよう調整することを特徴とする請求項１記載の画像処理装置。
11. 前記画像処理装置の位置情報を取得する位置情報取得部を更に備え、
    前記変化検出部が、前記取得した位置情報から前記画像処理装置が前記被写体から離間したことを検出すると、前記指標画像生成部は、前記指標画像を生成しないことを特徴とする請求項１記載の画像処理装置。
12. 撮像画像を表示装置に表示する画像処理装置であって、
    前記表示された撮像画像内の被写体の２点を指定する被写体指定部と、
    前記２点に関する３次元位置情報を取得する指定位置取得部と、
    前記被写体の位置に関する変化を検出する変化検出部と、
    前記２点間の長さを長辺方向に含む長辺方向長さである指標画像を前記変化に対応して生成する指標画像生成部と、
    前記指標画像を前記撮像画像に重畳して前記表示装置に表示する表示部と、を備え、 前記指標画像生成部は、前記撮像画像に重畳される指標画像の生成を、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう制御することを特徴とする画像処理装置。
13. 前記指標画像生成部は、前記変化検出部が前記被写体の位置に関する変化を検出しない場合に前記指標画像を生成し、前記変化検出部が前記被写体の位置に関する変化を検出した場合に前記指標画像を生成しない、ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記指定位置取得部は、最初に前記３次元位置情報が取得できなくなってから所定時間が経過した後に、指定された前記２点に関する情報を破棄する、ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記変化検出部が、前記画像処理装置の位置情報または姿勢情報の変化を検出すると、前記指標画像生成部は、前記位置情報または前記姿勢情報の変化に応じて前記指標画像を生成する、ことを特徴とする請求項１記載の画像処理装置。
16. 前記指標画像生成部は、前記位置情報または前記姿勢情報の変化が閾値を下回っている状態において前記指標画像の生成を継続する、ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記指標画像生成部は、ユーザからの指示に従って前記指標画像を生成するか否かを切り替える、ことを特徴とする請求項１から請求項１６のいずれか１項に記載の画像処理装置。
18. 前記指標画像生成部は、ユーザからの指示に従って前記指標画像の大きさ、透明度、および色の少なくともいずれかを調節する、ことを特徴とする請求項１から請求項１７のいずれか１項に記載の画像処理装置。
19. 前記指定位置取得部は、前記２点の少なくともいずれかにおける３次元位置情報が取得されていない場合、取得されていない各点を含む各空間内の他点の３次元位置情報に基づいて前記各点の３次元位置情報を推定する、ことを特徴とする請求項１から請求項１８のいずれか１項に記載の画像処理装置。
20. 前記指標画像生成部は、前記２点の少なくともいずれかにおける３次元位置情報が取得されていない場合、取得されていない各点を含む各空間内の他点の３次元位置情報に基づいて前記２点間の長さを推定する、ことを特徴とする請求項１から請求項１９のいずれか１項に記載の画像処理装置。
21. 表示装置に表示された撮像画像内の被写体の２点を指定する指定指示と、前記表示装置における前記撮像画像の表示倍率を変更する変更指示と、を受け付ける操作部と、
    前記表示装置に、前記指定指示によって指定された前記２点の長さを長辺方向に含む長辺方向長さであり、かつ短辺方向長さを前記変更された表示倍率に応じて調整した指標画像を前記撮像画像に重畳して表示する表示部と、を備え、
    前記操作部が前記変更指示を受け付けると、前記表示部は、変更後の前記表示倍率に従って前記撮像画像を拡大または縮小して前記表示装置に表示すると共に、前記短辺方向長さを前記表示倍率の変更前後において維持した前記指標画像を前記撮像画像に重畳して表示する、ことを特徴とする画像処理装置。
22. 撮像画像の取得に用いられる撮像部と、
    請求項１から請求項２１のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
23. 撮像画像を表示装置に表示する画像処理装置の画像処理方法であって、
    前記表示された撮像画像内の被写体の２点を指定する工程と、
    前記２点に関する３次元位置情報を取得する工程と、
    前記表示された撮像画像内の被写体の画像の変化を検出する工程と、
    前記２点間の長さを長辺方向に含む長辺方向長さであり、かつ短辺方向長さを前記変化に対応して調整した指標画像を生成する工程と、
    前記指標画像を前記撮像画像に重畳して前記表示装置に表示する工程と、を備え、
    前記生成する工程において、前記撮像画像に重畳される指標画像の短辺方向長さは、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう調整されることを特徴とする画像処理方法。
24. 撮像画像を表示装置に表示する画像処理装置の画像処理方法であって、
    前記表示された撮像画像内の被写体の２点を指定する工程と、
    前記２点に関する３次元位置情報を取得する工程と、
    前記被写体の位置に関する変化を検出する工程と、
    前記２点間の長さを長辺方向に含む長辺方向長さである指標画像を前記変化に対応して生成する工程と、
    前記指標画像を前記撮像画像に重畳して前記表示装置に表示する工程と、を備え、
    前記生成する工程において、前記撮像画像に重畳される指標画像の生成は、前記表示装置に表示される前記被写体の視認性の低下が抑制されるよう制御されることを特徴とする画像処理方法。
25. 請求項２３または請求項２４に記載の画像処理方法をコンピュータに実行させる、ことを特徴とするプログラム。

Images