JP6525611B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には被写体の距離情報を活用した画像処理技術に関する。

近年、撮像シーン内に存在する個々の被写体の距離情報を取得可能な撮像装置が知られている（特許文献１）。特許文献１では、個々の被写体の距離情報を用いて、シーン内の被写体の奥行き方向における位置関係と現在の合焦距離とを表す俯瞰マップを提示することで、現在どの被写体に合焦しているかを撮影者が容易に把握できるようにしている。

特開2010-177741号公報

しかしながら、従来、被写体の距離情報は、撮像時に装置で行われる画像処理に専ら用いられており、ユーザに利用させることが想定されていなかった。例えば、撮影画像に対する画像処理アプリケーションにおいて、被写体の距離情報を利用した画像処理をユーザが容易に行うための手法は提案されていなかった。

本発明はこのような従来技術の課題に鑑みなされたものであって、撮影画像の被写体の距離情報を、ユーザが容易に画像処理に利用することを可能にする画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、撮影画像と、被写体の距離情報とを取得する取得手段と、距離情報に基づいて、撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、複数の画像を選択可能に表示する表示制御手段と、複数の画像のうち、選択された画像を対象として画像処理を適用する画像処理手段と、を有し、表示制御手段は、複数の画像を、近い被写体距離の範囲に対応する画像から、遠い被写体距離の範囲に対応する画像の順に、大きくなるように表示することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、撮影画像の被写体の距離情報を、ユーザが容易に画像処理に利用することを可能にする画像処理装置およびその制御方法を提供できる。

本発明の一実施形態に係る画像処理装置の利用形態を模式的に示す図 図１におけるタブレット端末１０１とデジタルカメラ１０２の機能構成例を示すブロック図 実施形態に係る画像処理アプリケーションの全体的な処理の流れを説明するためのフローチャート 撮影画像、距離画像、および奥行き分割画像の例を示す図 実施形態に係る奥行き分割画像の生成処理方法の例を説明するためのフローチャート 実施形態に係る奥行き分割画像の生成方法を説明するための図 実施形態に係る画像処理アプリケーションにおけるＧＵＩの例を示す図 実施形態に係る画像処理の例を説明するための図 実施形態に係る画像処理アプリケーションにおけるＧＵＩの例を示す図 実施形態に係る画像処理装置の傾きに応じた奥行き分割画像の表示制御の例を模式的に示す図

以下、図面を参照して、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の一実施形態に係る画像処理装置の利用形態を模式的に示している。ここでは、画像処理装置の具体例として、タブレット端末１０１、デジタルカメラ１０２、パーソナルコンピュータ（ＰＣ）１０５、およびサーバ１０７が示されている。タブレット端末１０１、デジタルカメラ１０２、およびＰＣ１０５は、ルータ１０９を通じて同一のローカルネットワーク（ＬＡＮ）に接続されている。また、サーバ１０７は広域ネットワーク（ＷＡＮ）の一例としてのインターネット１０６を通じて、ＬＡＮ上の機器と通信可能に接続されている。ＬＡＮ内のコネクションは無線であっても有線であっても両者が混在していてもよい。

図１には、画像処理の対象である撮影画像と、撮影画像で撮影されたシーンの距離情報とがデジタルカメラ１０２に存在し、タブレット端末１０１またはＰＣ１０５がデジタルカメラ１０２から撮影画像と距離情報を取得して画像処理を実施する形態を示している。しかしながら、タブレット端末１０１、デジタルカメラ１０２、パーソナルコンピュータ（ＰＣ）１０５、およびサーバ１０７のいずれもが本発明に係る画像処理装置として機能しうる。より一般的には、画像処理の対象である撮影画像と、撮影画像で撮影されたシーンの距離情報とを取得可能で、ユーザが撮影画像に対して距離情報を用いた画像処理を行うための画像処理アプリケーションを実行可能な任意の機器において、本発明を実施可能である。なお、画像処理アプリケーションがウェブアプリケーションのような形態を有する場合や、処理の一部を外部装置で実行する場合など、画像処理装置は複数の機器で実現されうることに留意されたい。

以下では、タブレット端末１０１が、撮影画像に対する画像処理アプリケーションを記憶、実行する場合について説明する。しかし、タッチ操作をマウス等のポインティングデバイスの操作や、キーボードのカーソルキーと実行キーとの組み合わせに置き換えることで、ＰＣ１０５やサーバ１０７で画像処理アプリケーションを実行する場合にも適用できる。デジタルカメラ１０２においても、タブレット端末１０１と同様のタッチ操作や、方向キーなどの操作に置き換えることで、同様の画像処理アプリケーションを実施可能である。

タブレット端末１０１は、撮影画像と、撮影画像に対応する距離情報とを、ＬＡＮ通じてデジタルカメラ１０２から取得する。取得方法に制限はなく、デジタルカメラ１０２からタブレット端末１０１に直接転送してもよいし、デジタルカメラ１０２からメールに添付してサーバに送信し、タブレット端末１０１でサーバからメールを受信することで取得してもよい。また、デジタルカメラ１０２とタブレット端末１０１とをケーブルで直接接続して転送してもよいし、メモリカードからタブレット端末１０１で読み取ってもよい。

図２は、図１におけるタブレット端末１０１とデジタルカメラ１０２の機能構成例を示すブロック図である。デジタルカメラ１０２は、光学系２１４と、撮像素子２１０と、制御部２０８と、記憶装置２１２と、画像処理部２１５と、表示部２１３と、操作部２１１と、通信部２０９とを備えている。なお、図１に示した以外の機能ブロックを備えてもよい。例えば、手ぶれ補正用にデジタルカメラ１０２の動きを検出するセンサを有していてもよい。

光学系２１４は、レンズ、シャッター、絞りを有し、制御部２０８から合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。撮像素子２１０は、光学系２１４が撮像面に結像する光学像を、各画素で電気信号に変換して出力する。

制御部２０８は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭのような不揮発性メモリと、ＲＡＭのような揮発性メモリとを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御してデジタルカメラ１０２の機能を実現する。制御部２０８は撮像素子２１０で撮影された画像の輝度情報やコントラスト情報等に基づいて、自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）を実現する。

記憶装置２１２は撮影画像や、距離画像などを記憶する。記憶装置２１２はメモリカードのような着脱可能な記録媒体を用いる構成であっても、固定された構成であっても、両方を有してもよい。

画像処理部２１５は、撮像素子２１０が出力する画像信号に対し、Ａ／Ｄ変換、ノイズ除去、エッジ強調処理、ガンマ補正処理などを行い、ＲＡＷ画像データを生成する。また、画像処理部２１５は、必要に応じてＲＡＷ画像データにホワイトバランス調整処理、デモザイク処理などの現像処理や、符号化処理などを行う。画像処理部２１５の一部または全部の機能は、制御部２０８によってソフトウェア的に実現されてもよい。

表示部２１３は、撮影スタンバイ時や動画撮影時におけるライブビュー画像、撮影画像、デジタルカメラ１０２の状態や各種設定値などの各種情報、メニュー画面のようなユーザインタフェースなどを表示する。表示部２１３は一般にフラットパネルディスプレイであり、タッチパネルを備えてもよい。

操作部２１１は、ユーザがデジタルカメラ１０２に各種の指示を与えるための入力デバイス群で、例えばボタン、キー、レバー、スイッチ、タッチパネルなどで構成される。撮影準備指示や撮影指示を与えるためのレリーズボタン、電源スイッチ、方向キー、決定ボタン、メニューボタンなどが含まれる。

通信部２０９は、外部装置と制御コマンドやデータの送受信を行うための通信インタフェースである。デジタルカメラにおいて一般的に外部装置と通信する際に用いられる通信プロトコルとしては、例えば以下の様なものがある。ＰＴＰ(Picture Transfer Protocol)やＭＴＰ(Media Transfer Protocol)。あるいは、ISO/IEC 14443 A/BやJIS X6319-4等のＮＦＣ(Near Field Communication)関連のプロトコル。なお、通信部２０９は、例えばＵＳＢ(Universal Serial Bus)やＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)のような規格に基づく有線接続で外部装置と通信を行ってもよい。また、無線ＬＡＮやBluetooth（登録商標）などの規格に基づく無線接続により外部装置と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバや、インターネットなどのネットワークを介して接続されてもよい。

なお、撮影画像や距離情報は、通常、通信部２０９を介して記憶装置２１２から外部装置に転送されるが、記録媒体が無線通信機能を有する場合には、通信部２０９を介さずに外部装置に転送されてよい。

デジタルカメラ１０２は撮像シーンの距離情報を生成する撮影モードを有し、この撮影モードが設定されている場合、通常の撮影動作に加え、距離情報の生成動作を実行する。 本実施形態において、撮影画像の距離情報は、各画素の値が距離を表す距離画像の形式を有するものとするが、形式はこれに限定されない。例えば、撮影シーン内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。なお、デジタルカメラを用いてこのような距離情報を作成する方法に特に制限は無く、例えば特許文献１にも記載されている様々な方法を始めとした任意の方法を用いることができる。制御部２０８は、生成した撮影画像と距離画像とを、記憶装置２１２に記憶する。

タブレット端末１０１は、一般には、ハードウェアキーボードを有さず、タッチパネルディスプレイを有するスレート形状を有する携帯情報端末であり、機能構成は一般的な情報処理装置（ＰＣ）と同様である。すなわち、タブレット端末１０１は、制御部２０１と、通信部２０２と、姿勢センサ２０３と、画像管理部２０４と、画像処理部２０５と、表示部２０６と、記憶装置２０７とを備えている。

通信部２０２は、外部装置と制御コマンドやデータの送受信を行うための通信インタフェースである。例えば、通信部２０２は同一ネットワークに接続されたデジタルカメラ１０２やＰＣ１０５、インターネット上のサーバ１０７などから、撮影画像と距離情報を受信する。通信部２０２は、デジタルカメラ１０２の通信部２０９と同様、様々な形態を有しうる。

制御部２０１は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭのような不揮発性メモリと、ＲＡＭのような揮発性メモリとを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御してタブレット端末１０１の機能を実現する。

姿勢センサ２０３はタブレット端末１０１の姿勢を検出するセンサであり、例えば３軸のジャイロセンサなどであってよい。

画像処理部２０５は、取得した撮影画像と距離情報とに基づき、撮影画像を、複数の画像であって、個々の画像が特定の距離範囲の被写体のみを含むような複数の画像に分離する。画像処理部２０５はまた、取得した撮影画像が符号化されていれば復号処理、ＲＡＷ画像であれば現像処理を適用する。さらに、画像処理部２０５は、特定の被写体領域の一例としての顔領域の認識ならびに、登録された顔の特徴量に基づく個人認識処理を実行する。また、画像処理部２０５は、画像処理アプリケーションが一般的に提供する画像処理機能を提供する。なお、画像処理部２１５の一部または全部の機能は、制御部２０１によってソフトウェア的に実現されてもよい。

記憶装置２０７はＳＳＤやＨＤＤを代表とする不揮発性の記憶装置であり、ＯＳ、アプリケーション、画像データ等が記憶される。画像管理部２０４は、撮影画像や距離情報を始めとした、通信部２０２を通じて取得したデータや、画像処理部２０５が処理した画像データなどを管理する。例えば、画像処理アプリケーションにおけるアンドゥ処理を実現するための情報や、処理対象の画像と、対応する距離情報との関連付けなども画像管理部２０４が管理する。表示部２０６は、ＬＣＤ、有機ＥＬディスプレイなどのフラットパネルディスプレイであり、タッチパネルである操作部２０６１が設けられている。表示部２０６は、制御部２０１の制御に従い、ＯＳやアプリケーションのＧＵＩを表示する。

次に、図３のフローチャートを用いて、本実施形態に係る画像処理アプリケーションの全体的な処理の流れについて説明する。
例えば表示部２０６に表示されている画像処理アプリケーションのアイコンが操作部（タッチパネル）２０６１を通じてタップ操作されるなどの起動操作が行われると、制御部２０１は記憶装置２０７から画像処理アプリケーションを読み出し、実行する。そして、制御部２０１は処理対象の画像を選択するためのＧＵＩ、例えばＯＳが提供するファイルブラウズＧＵＩを表示し、ユーザ指示を待機する。

ユーザが処理対象とする撮影画像ファイルを指定すると、取得手段としての制御部２０１は記憶装置２０７から、指定された撮影画像と、対応する距離情報（距離画像）とを取得する（Ｓ３０１、Ｓ３０２）。

Ｓ３０３で制御部２０１は画像処理部２０５を用い、撮影画像から複数の画像を生成する。具体的には、生成手段としての画像処理部２０５は、距離画像から被写体が存在する距離の分布を求め、被写体の距離範囲を複数に分割する。そして、画像処理部２０５は、分割された距離範囲ごとに、対応する被写体の画像領域を撮影画像から抽出し、撮影画像から複数の画像を生成する。以後、生成された個々の画像を奥行き分割画像と呼ぶ。画像処理部２０５は、生成した奥行き分割画像を、撮影画像および距離画像と関連付けて例えば記憶装置２０７に保存する。

図４に、撮影画像、距離画像、および奥行き分割画像の例を示す。距離画像４２は、撮影画像４１と同じ画素数を有し、画素値（輝度値）がその画素における被写体距離を表す単色画像である。画像処理部２０５は、距離画像４２の画素値の分布（すなわち、被写体距離の分布）に基づいて被写体距離の範囲を分割し、被写体距離の範囲ごとに、対応する撮影画像の領域を抽出して奥行き分割画像４３を生成する。図４の例では、被写体距離の範囲が４分割され、各範囲の奥行き分割画像４３が生成されている。奥行き分割画像４３は、図４に示すように、対応する距離範囲に存在する被写体領域を有し、他の距離範囲に存在する被写体の領域には画素を有さないか、透明な画素が配置される。また、表示する奥行き分割画像は、縮小画像であってよい。奥行き分割画像の生成方法の具体例については後述する。

Ｓ３０４で表示制御手段としての制御部２０１は、生成された奥行き分割画像を、対応する距離の遠近が把握でき、かつ個別に選択できるような形式で、画像処理アプリケーションのＧＵＩ内の領域に表示し、ユーザによる選択操作を待機する。例えば、図４に示すように、近距離に対応する奥行き分割画像を手前に、遠距離に対応する奥行き分割画像を奥に、かつ全ての奥行き分割画像について少なくとも一部が見えるように表示することができる。

なお、図４の例では、複数の奥行き分割画像が重なっているような立体的な視覚効果を与えて表示しているが、このような視覚効果は必須ではない。また、手前から奥へという並べ方でなくてもよく、右から左に向かって距離が大きくなるように並べるなど、複数の奥行き分割画像が、対応する被写体距離が増加もしくは減少する方向で配置されれば、どのような表示形態であってもよい。

Ｓ３０５でユーザが奥行き分割画像の１つを選択すると、制御部２０１は選択された奥行き分割画像を画像処理対象とし、画像処理アプリケーションのＧＵＩにおける処理対象画像用の領域に表示する。つまり、制御部２０１は、複数の奥行き分割画像のうちユーザが選択した１枚を抜き出して、画像処理の対象として表示する。この際、奥行き分割画像の一覧表示（図４右側のような表示）は消去してもよいし、表示を継続してもよい。

そして、制御部２０１は、ユーザが画像処理アプリケーションのＧＵＩや画像に対して与えるタッチ操作に応じて、画像処理部２０５を用いて、処理対象の画像に予め定められた画像処理を適用する（Ｓ３０６，Ｓ３０７）。そして、奥行き分割画像の一覧表示に、画像処理の適用結果を反映させる。これによりユーザは、奥行き分割画像に対する画像処理が、撮影画像に与える影響について把握することが可能になる。

ユーザは必要に応じて所望の奥行き分割画像の選択と、画像処理の適用を繰り返すことができる。Ｓ３０９で、画像処理アプリケーションの終了指示もしくは、新たな撮影画像を変更する指示が与えられた場合、制御部２０１はＳ３１０で、現在の撮影画像に対する画像処理結果を例えば記憶装置２０７に保存する。そして、制御部２０１は、画像処理アプリケーションを終了するか、処理をＳ３０１に戻す。

次に、図３のＳ３０３における、奥行き分割画像の生成処理の例を２つ、図５のフローチャートを用いて説明する。
まず、第１例を図５（ａ）のフローチャートを用いて説明する。まずＳ５０１において画像処理部２０５は、撮影画像に対応する距離画像のヒストグラムを生成する。上述の通り、距離画像は画素値が被写体距離を表す距離情報であるため、画素値のヒストグラムは被写体距離の分布頻度を表す。ここでは画素値が８ビット（０〜２５５）であるものとする。なお、ヒストグラムのクラスの幅は予め定めておくことができる。

そして、画像処理部２０５は、被写体距離の分布頻度の極小値を検出する。図６（ａ）および（ｂ）は距離画像と対応するヒストグラムの例を示す。図６（ｂ）のようなヒストグラムが得られた場合、画像処理部２０５は、分布頻度が極小値のクラスに分類される最大被写体距離（図６（ｂ）では７０２１と７０２２）を極小値として検出する。

次いでＳ５０２において画像処理部２０５は、検出した極小値を境界として被写体距離の範囲を分割する。図６（ｂ）の例では、極小値が２つ検出されたため、０〜２５５の被写体距離は、３つの範囲７０３１，７０３２，７０３３に分割される。一般的な被写体は、比較的まとまった距離に存在するため、被写体距離の分布頻度の極小値を用いて被写体距離の範囲を分割することで、撮影されたシーンに含まれる、距離の異なる複数の被写体を、異なる奥行き分割画像に分離しやすくなる。

そして、画像処理部２０５は、分割した範囲のそれぞれについて、分類された距離画像の画素に対応する撮影画像の画素から構成される画像（奥行き分割画像）を生成する。従って、図６（ｂ）の例では、範囲７０３１〜７０３３のそれぞれについて奥行き分割画像が生成され、合計３枚の奥行き分割画像が得られる。

この方法では、（検出された極小値＋１）枚の奥行き分割画像が生成されるため、奥行き分割画像の数が不定であり、撮影シーンによっては奥行き分割画像の数が多くなり、分割画像を指定した画像処理の操作性が悪くなる場合が考えられる。そのため、被写体距離の範囲をより効率的に分割し、特定の枚数の奥行き分割画像を生成するように構成してもよい。特定枚数の奥行き分割画像を生成する方法の例を、図５（ｂ）のフローチャートを用いて説明する。

Ｓ６０１において画像処理部２０５は、生成すべき奥行き分割画像の枚数Ｎを取得する。枚数Ｎはユーザが設定可能であっても、固定値であってもよい。画像処理部２０５は例えば制御部２０１から枚数Ｎを取得することができる。

Ｓ６０２で画像処理部２０５は、Ｓ５０１と同様にして、被写体距離の分布頻度の極小値を全て検出する。ここでは、検出された極小値の数をｎ（ｎは１以上の整数）とする。
Ｓ６０３で画像処理部２０５は、ｎの極小値のうち、極小値（ｍ）（ｍ＝１〜ｎ）を境界としないで被写体距離の範囲を分割した場合について、各分割範囲での分散を算出し、その総和を求める。

Ｓ６０４において画像処理部２０５は、すべての極小値についてＳ６０３の処理を行っていればＳ６０５へ、未処理の極小値があればＳ６０３へ、処理を移行する。
Ｓ６０５において画像処理部２０５は、分散の総和が大きい順にＮ−１個の極小値を、奥行き分割画像を生成するための境界として選択する。ある極小値を境界として用いない場合の分散の総和が大きいことは、その極小値を境界として用いるほうが、分散の総和がより小さくなること、つまり分布のまとまりを効率的に分割できることを意味する。

Ｓ６０６において画像処理部２０５は、Ｓ６０５で選択した境界に従って撮影画像をＮ枚の奥行き分割画像に分離する。なお、ｎ≦Ｎの場合は、Ｓ６０３以降の処理を行う必要がないため、図５（ａ）と同様の方法で奥行き分割画像を生成してもよい。この場合、Ｓ６０２の次にＳ５０２と同様の処理を行えばよい。

なお、ここでは、奥行き分割画像の生成条件（枚数、境界位置）を自動で決定する方法について説明した。しかし、自動で決定した生成条件をユーザが変更できるように構成してもよい。この場合、例えば図６（ｂ）に示したようなヒストグラムを、自動決定した境界を表す指標７０４とともに表示し、ヒストグラム上でユーザが指標７０４の位置を変更したり、指標７０４を追加および削除したりすることが可能なように構成することができる。また、図５（ｂ）では分散の総和に基づいて境界とする極小値を決定したが、他の統計値（平均、標準偏差など）を使用して境界を決定してもよい。また、距離範囲を等分割（（Ｎ−１）分割）するようにしてもよい。

例えば、特定の被写体だけを含むような奥行き分割画像を生成したい場合などには、ヒストグラムにおいてその被写体がどのクラスに分布しているかを把握する必要がある。しかし、距離画像からは被写体の輪郭はある程度判別できても、類似の輪郭を有するものが複数ある場合には、それが何なのかを把握しにくい。例えば人物が複数写った撮影画像の距離画像から、特定の人物を判別することは容易でない。

図６（ｃ）は、人物の認識結果など、被写体を識別するための付加情報を距離画像に追加することで、このような問題を緩和する構成の例を示している。距離画像８０１は、図６（ａ）と同じものであるが、撮影画像において認識された人物の顔領域を示す指標８０１１と、認識された人物名８０１２が重畳表示されている。また、ヒストグラム８０２においても、顔領域に対応する画素が分類されているクラス８０２１を識別可能に表示している。例えば、認識されている被写体を表す指標の色と、対応するクラスの色とを同色で表示することで、複数の被写体が認識されている場合でも対応関係が明確になる。

従って、ユーザはヒストグラム８０２において境界の指標８０３を、クラス８０２１に近い極小値に設定することで、認識された人物と、他の被写体とを異なる奥行き分割画像に分離することができる。
なお、顔認識した被写体の代わりに、撮影画像で合焦している領域を距離画像およびヒストグラムで示すようにするなど、他の方法によって分割位置（境界）の手動設定を支援してもよい。

図７（ａ）は、本実施形態に係る画像処理アプリケーションにおいて、奥行き分割画像の生成条件を設定するためのＧＵＩ（設定画面）の例を示す。この例では、設定画面９０１において、処理対象とする撮影画像の選択、奥行き分割数、分割方法、水平方向の画角、最近面距離、最遠面距離などの条件を指定できるものとする。なお、分割方法としては、等間隔と、距離分布に応じた決定方法（図５（ａ），（ｂ）のいずれか）とが選択可能である。以下で説明するように、本実施形態では奥行き分割画像を透視投影におけるビューボリュームの投影面のように表示するため、ビューボリュームを定義するパラメータとして、水平方向の画角と、最近面距離および最遠面距離を指定するように構成されている。

図７（ａ）の例では、画像編集画面に距離画像とヒストグラムを表示するか否かについても設定画面９０１から設定できるように構成されている。なお、設定画面９０１において設定可能な項目の内容や数は、図７（ａ）の例に限定されない。なお、設定画面９０１は、画像アプリケーションの起動後、処理対象とする撮影画像を選択させる際に表示してもよいし、ユーザ指示に応じて任意のタイミングで表示してもよい。

図７（ｂ）は、本実施形態に係る画像処理アプリケーションにおいて、奥行き分割画像を利用した画像編集を行うＧＵＩ（編集画面）１００１の例を示す。編集画面の左半分には処理対象の撮影画像１００２と、対応する距離画像１００３およびヒストグラム１００４が、それぞれ別個の領域に表示されている。また、ヒストグラムには分割画像を生成する境界を表す指標１００４１が重畳表示されている。一方、編集画面の右半分には、生成された奥行き分割画像の表示領域１００５と、ズームスライダ１００６が設けられている。

上述したように、本実施形態では、生成した奥行き分割画像１０１０、１０１１を、透視投影で用いられるビューボリュームの投影面のように、近距離に対応する奥行き分割画像ほど小さく、遠距離に対応する奥行き分割画像ほど大きくなるよう、表示する。しかし、これは単なる一例であり、他の方法で表示してもよい。図７（ｂ）では、ヒストグラム１００４に示された１つの境界に基づいて生成された、近距離側の被写体に対応する奥行き分割画像１０１０と、遠距離側の被写体に対応する奥行き分割画像１０１１とが、ビューボリュームの最近面と最遠面として表示されている。ズームスライダ１００６は、奥行き分割画像の大きさを個別に変更することを可能にする。

次に、図８を用いて、画像処理の例について説明する。図８（ａ），（ｂ）は、ズームスライダ１００６を用いた画像処理の一例を模式的に示す図である。図８では、距離画像とヒストグラムが表示されていない点を除き、図７（ｂ）と同様の内容が表示されている。図８（ａ）では、例えば表示領域１００５で奥行き分割画像１０１１がタップされたり、撮影画像１００２で対応する被写体がタップされたりして選択されている状態を示している。撮影画像１００２において、選択状態にある被写体領域を示す指標１００２１が示されている。また、表示領域１００５でも、選択されている奥行き分割画像１０１１が他の奥行き分割画像と視覚的に区別できるよう、例えば枠の色や太さを異ならせて表示する。

ここで、ズームスライダ１００６を左に所定量移動させた場合の表示例を、図８（ｂ）に示す。本実施形態において制御部２０１は、ズームスライダ１００６の移動を、選択されていない奥行き分割画像の大きさ（画角）を独立して変更する画像処理の指示として認識し、画像処理部２０５によって画像処理を適用する。図８（ｂ）では、選択されていない遠距離側の奥行き分割画像をズームアップした例を示している。制御部２０１は、画像処理の適用結果を撮影画像１００２の表示にも反映させる。このように、選択された奥行き分割画像１０１０の大きさ（画角）を固定し、他の奥行き分割画像１０１１の大きさを変更することで、いわゆるドリーズーム（ドリーイン、ドリーアウト）のような効果を得ることができる。

ここでは選択された奥行き分割画像の大きさを固定し、選択されていない奥行き分割画像の大きさを変更するように構成した例を説明したが、逆に、選択された奥行き分割画像の大きさが変更されるように構成したり、両者を切り替え可能に構成したりしてもよい。また、上述の通り、奥行き分割画像を直接選択する方法以外に、撮影画像１００２で選択（タップ）された被写体領域に対応する奥行き分割画像が選択されるようにしてもよい。

図８（ｃ），（ｄ）は、撮影画像１００２を操作して被写体を削除する画像処理の例を示している。図８（ｃ）は、撮影画像１００２に含まれる人物の領域内の位置１００２２がタップされ、人物の領域が選択された状態であるとする。上述の通り、被写体領域が選択されると、選択された被写体領域が判別できるような指標（ここでは枠状の指標１００２１）が表示される。なお、奥行き分割画像１０１１が選択されても同様の指標１００２１が撮影画像１００２に表示される。なお、図８（ｃ）に示すように、撮影画像１００２と奥行き分割画像１０１０，１０１１の一方でタップされている位置を、他方でも表示するようにしてもよい。図８（ｃ）では、撮影画像１００２内の位置１００２２がユーザの指１００２３でタップされたことに応じて、対応する奥行き分割画像１０１１内の位置１００５１を示す表示が行われている。

この状態で、タップが一定時間継続（プレスホールド）されると、予め定められた画像処理を選択された被写体領域に対して実行するように構成することができる。図８（ｄ）では、選択された被写体領域を削除する処理が行われた場合を模式的に示している。なお、削除された被写体領域に対しては、周辺画素を使用して補間したり、背景の一部をコピーしたりすることができる。あるいは、似たシーンの撮影画像を利用して補間してもよい。なお、ここでは選択された被写体領域を画像処理の対象とする構成について説明したが、選択された被写体領域が含まれる奥行き分割画像の全体、もしくは同じ奥行き分割画像に含まれる全ての被写体領域を画像処理の対象としてもよい。また、撮影画像に対する操作として説明した操作が、奥行き分割画像で行われた場合にも同様の画像処理を行うように構成してもよい。

図９は、画像編集画面における、撮影画像や奥行き分割画像に対するタッチ操作と、実行される画像処理との関連付けを行う設定画面の例を示す。設定画面９０１は、画像処理アプリケーションのメニューなどの選択に応答して制御部２０１が表示させることができる。設定画面９０１にはタッチ操作の一覧を表示する操作一覧領域９０２と、関連付けする画像処理の候補の一覧を表示する処理一覧領域９０３とを有する。

操作一覧領域９０２で１つのタッチ操作が選択されると、関連付け可能な画像処理の一覧が処理一覧領域９０３に表示される。タッチ操作と、関連付け可能な画像処理との関係は、操作一覧領域９０２で選択状態のタッチ操作と、処理一覧領域９０３で選択状態の画像処理とが関連付けられる。ＯＫボタン９０４がタップされると、制御部２０１は関連付けの設定結果を保存する。なお、このように１つのタッチ操作に対して１つの画像処理を関連付けずに、タッチ操作が行われた時点で複数の選択肢を表示し、ユーザに選択させるように構成にしてもよい。例えば、プレスホールド操作が検出された場合、制御部２０１は、選択領域に実行可能な画像処理の一覧を選択可能に表示し、ユーザが選択した処理を実行することができる。

図８（ｅ），（ｆ）は、撮影画像１００２を操作して被写体を移動する画像処理の例を示している。図８（ｅ）において、撮影画像１００２の奥の建物がユーザの指１００２３でタップされ、選択された状態にある。ここでは、人物と異なり建物はその領域が認識されていないため、建物を含む奥行き分割画像１０１１の全体が選択状態であることを示す指標１００２１が表示される。

選択状態のままドラッグ操作が行われると、制御部２０１は選択領域をドラッグ方向に移動させる指示と認識する。例えば、右方向にドラッグ操作が行われた場合、図８（ｆ）に示すように、奥行き分割画像１０１１が奥行き分割画像１０１０に対して相対的に右方向に移動され、表示領域１００５における奥行き分割画像の表示および撮影画像１００２の表示に反映される。

なお、移動によって画像が存在しなくなった領域に対しては、周辺画素を使用して補間したり、背景の一部をコピーしたりすることができる。あるいは、似たシーンの撮影画像を利用して補間してもよい。なお、撮影画像に対する操作として説明した操作が、奥行き分割画像で行われた場合にも同様の画像処理を行うように構成してもよい。

図７および図８の例では、奥行き分割画像の表示形態に用いられる四角錐の視点位置および視線方向が一定であった。しかし、タブレット端末１０１が端末の傾きを検知可能な場合、端末の傾きに従って四角錐の視点位置および視線方向を変更して奥行き分割画像を表示するようにしてもよい。

図１０は、タブレット端末１０１の傾きと、奥行き分割画像の表示形態に用いられる四角錐の視点位置および視線方向との対応例を模式的に示している。例えばタブレット端末１０１が水平な場合（図１０（ａ））は、四角錐を鉛直上方から俯瞰したように表示することで、奥行き分割画像間の距離を直感的に把握できる。一方、タブレット端末１０１を直立させた場合（図１０（ｄ））は、奥行き分割画像を正面から見たように表示することで、撮影画像１００２と同様の表示となる。水平と垂直の間では（図１０（ｂ），（ｃ））、タブレット端末１０１の角度に応じた角度で表示を行う。なお、ここでは理解および説明を容易にするため、１つの軸周りの角度に応じた表示の変化について説明したが、実際には２軸もしくは３軸周りの角度に応じた表示制御を行うことができる。

なお、上記の説明においては、距離画像４２は、撮影画像４１と同じ画素数を有し、画素値（輝度値）がその画素における被写体距離を表すとしたが、これに限るものでは無い。例えば、撮影画像を被写体毎に複数の領域に分割し、この被写体の領域ごとに被写体距離を与えるような形式でも良い。また画像データで距離を示す様にしなくても良い。例えば、撮影画像４１の各画素に対して距離情報を与えるものであれば、数列やテーブルデータ等でもよい。

以上説明したように、本実施形態によれば、撮影画像の距離情報を利用して、撮影画像を被写体の距離範囲に応じて複数の画像に分割し、各画像をユーザが選択可能に提示する。そのため、特定の距離に存在する被写体を対象とした画像処理を提供することが容易になるという利点がある。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…タブレット端末、１０２…制御部、１０２…デジタルカメラ、１０７…サーバ、１０９…ルータ、２０１…制御部、２０２…通信部、２０４…画像管理部、２０５…画像処理部、２０６…表示部、２０７…記憶装置、２０８…制御部、２０９…通信部。

Claims (13)

1. 撮影画像と、被写体の距離情報とを取得する取得手段と、
   前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、
   前記複数の画像を選択可能に表示する表示制御手段と、
   前記複数の画像のうち、選択された画像を対象として画像処理を適用する画像処理手段と、
   を有し、
   前記表示制御手段は、前記複数の画像を、近い被写体距離の範囲に対応する画像から、遠い被写体距離の範囲に対応する画像の順に、大きくなるように表示することを特徴とする画像処理装置。
2. 前記距離情報が、前記撮影画像の画素ごと、または前記撮影画像中の被写体の領域ごとの被写体距離を表す情報であり、
   前記生成手段は、
   前記被写体距離の分布頻度に基づいて、前記距離情報が表す被写体距離を複数の範囲に分割し、
   前記分割された被写体距離の範囲に含まれる画素から、前記複数の画像の各々を生成する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段が、前記被写体距離の分布の極小値に基づいて前記複数の画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段が、前記被写体距離の分布を等分割して前記複数の画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
5. 撮影画像と、被写体の距離情報とを取得する取得手段と、
   前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成手段と、
   前記複数の画像を選択可能に表示する表示制御手段と、
   前記複数の画像のうち、選択された画像を対象として画像処理を適用する画像処理手段と、
   を有し、
   前記表示制御手段は、前記被写体距離の分布をさらに表示し、
   前記生成手段が、前記表示された前記被写体距離の分布で指定された位置に基づいて前記複数の画像を生成することを特徴とする画像処理装置。
6. 前記生成手段が、前記距離情報が表す被写体距離の分布に基づいて前記複数の画像を生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、前記撮影画像をさらに表示し、
   前記画像処理手段は、前記複数の画像のうち、前記表示された前記撮影画像において指定された位置の被写体に対応する画像を対象として前記画像処理を適用することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記撮影画像から、特定の被写体領域を認識する認識手段をさらに有し、
   前記画像処理手段は、前記認識手段が認識した被写体領域が選択されている場合には、該選択されている被写体領域を対象として前記画像処理を適用することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置の傾きを検出する検出手段をさらに有し、
   前記表示制御手段は、前記検出手段が検出した傾きに応じて前記複数の画像の表示を制御することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 撮像装置または情報処理装置であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 画像処理装置の取得手段が、撮影画像と、被写体の距離情報とを取得する取得工程と、
    前記画像処理装置の生成手段が、前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成工程と、
    前記画像処理装置の表示制御手段が、前記複数の画像を選択可能に表示する表示制御工程と、
    前記画像処理装置の画像処理手段が、前記複数の画像のうち、選択された画像を対象として画像処理を適用する画像処理工程と、
    を有し、
    前記表示制御工程において前記表示制御手段は、前記複数の画像を、近い被写体距離の範囲に対応する画像から、遠い被写体距離の範囲に対応する画像の順に、大きくなるように表示することを特徴とする画像処理装置の制御方法。
12. 画像処理装置の取得手段が、撮影画像と、被写体の距離情報とを取得する取得工程と、
    前記画像処理装置の生成手段が、前記距離情報に基づいて、前記撮影画像から、各々が個別の被写体距離の範囲に対応する複数の画像を生成する生成工程と、
    前記画像処理装置の表示制御手段が、前記複数の画像を選択可能に表示する表示制御工程と、
    前記画像処理装置の画像処理手段が、前記複数の画像のうち、選択された画像を対象として画像処理を適用する画像処理工程と、
    を有し、
    前記表示制御工程において前記表示制御手段は、前記被写体距離の分布をさらに表示し、
    前記生成工程において前記生成手段は、前記表示された前記被写体距離の分布で指定された位置に基づいて前記複数の画像を生成することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。