JP6214236B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、被写体のピント制御に関する情報を得るための画像処理装置、撮像装置、画像処理方法、プログラムに関するものである。

デジタルカメラなどの撮像装置では、撮像画像に含まれる被写体をユーザがタッチパネル操作等で指示することにより、その被写体への合焦（ピント、或いはフォーカス）調整を行うものが知られている（例えば、特許文献１）。

また、撮像対象物（被写体）の奥行き方向での位置を表す奥行き位置と、フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を表示することにより、ユーザが合焦している撮像対象物を容易に把握することが可能な技術も提案されている（例えば、特許文献２）。

また、近年、光線の向きと強度の情報（ライトフィールドデータ）を取得し、後で画像処理によってフォーカス位置の調節（リフォーカス）や被写界深度の調節を行うライトフィールドフォトグラフィ技術が知られている（たとえば、特許文献３参照）。

この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。

特開２０１１−３９４５７号公報 特開２０１０−１７７７４１号公報 特表２００８−５１５１１０号公報 特開平９−１８６９３１号公報 特開２００１−１６９３０８号公報

撮像画像データまたはライトフィールドデータの表示において、合焦する対象物は、撮像位置から一定距離の面上に存在することになる。しかしながら、特定の被写体を指示することにより合焦を行う場合には、ユーザはその特定被写体以外のどの被写体に合焦するかを把握することができない。

また、特許文献２の技術では、撮像対象物を表すマークが奥行き方向に並んだマップ画像によって、どの被写体に合焦するかを把握可能であるものの、係るマップ画像は撮像画像（実際の画像）とは大きく乖離するため、直感的に把握することが難しい。

本発明に係る画像処理装置は、２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出手段と、抽出された被写体領域の各距離に応じて、水平方向におけるずれ量と垂直方向におけるずれ量との比率が一定となるように、前記被写体領域の位置がずれた画像を生成するずれ画像生成手段と、を有することを特徴とする。

本発明によれば、ユーザは、撮影時、或いは画像の編集時に、被写体の合焦状態を直観的に把握することができる。

デジタルカメラの外観の一例を示す図である。 デジタルカメラの内部構成を示すブロック図である。 実施例１に係るデジタルカメラにおいて実行される画像処理の流れを示すフローチャートである。 デジタルカメラの表示部に表示される２次元画像の一例を示す図である。 ２次元画像から被写体が検出された状態を示す図である。 距離画像の一例を示す図である。 被写体領域を抽出した状態を示す図である。 水平・垂直方向のずれ量の比率を決定する処理の流れを示すフローチャートである。 被写体領域が抽出された画像についてずれ画像生成処理を行った結果を示す図である。 ずれ画像における各被写体領域に対し、シアー処理を行った結果を示す図である。 シアー処理が施された画像に、地面格子パターンを重畳した結果を示す図である。 地面格子パターンが合成された画像に、合焦距離の指標及び被写界深度の指標を重畳した結果を示す図である。 ライトフィールドデータを扱う装置の内部構成の一例を示す図である。 実施例２に係る装置において実行される画像処理の流れを示すフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

［実施例１］
ここでは、本発明に係る画像処理装置を、デジタルカメラに適用した態様について、実施例１として説明する。

図１は、デジタルカメラの外観の一例を示す図である。

表示部１０１は、例えば液晶ディスプレイが用いられ、画像や各種情報を表示する。表示部１０１はタッチスクリーン機能を有し、表示部１０１に対する接触を検知できる。例えば、タッチパネルを光の透過率が表示部１０１の表示を妨げないように構成し、表示部１０１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

シャッターボタン１０２は、撮像指示を行うための操作部である。

モードダイアル１０３は、各種モードを切り替えるための操作部である。

コネクタ１０４は、接続ケーブル１１１とデジタルカメラ１００とのコネクタである。

操作部１０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等である。

コントローラーホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材である。

電源スイッチ１０７は、デジタルカメラ１００の電源のオンとオフを切り替える。

記録媒体１０８は、撮像画像データやライトフィールドデータを記録するための、メモリカードやハードディスクといった情報記録媒体である。

記録媒体スロット１０９は、記録媒体１０８を格納するためのスロットである。記録媒体スロット１０９に格納された記録媒体１０８は、デジタルカメラ１００との通信が可能となる。

蓋１１０は、記録媒体スロット１０９の蓋である。

図２は、デジタルカメラ１００の内部構成を示すブロック図である。

撮像レンズ２０１にはフォーカスレンズを含む。

シャッター２０２は、絞り機能を備え、シャッターボタン１０２に連動して露光を制御する。

撮像部２０３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。

Ａ／Ｄ変換器２０４は、撮像部２０３から出力されるアナログ信号をデジタル信号に変換する。

バリア２０５は、撮像レンズ２０１やシャッター２０２を含む撮像部２０３を覆うことにより、撮像系の汚れや破損を防止する。

画像処理部２０６は、Ａ／Ｄ変換器２０４からの画像データ、又は、メモリ制御部２０７からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０６では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０８が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０６では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。Ａ／Ｄ変換器２０４からの画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介してメモリ２０９に直接書き込まれる。

メモリ２０９は、撮像部２０３によって得られＡ／Ｄ変換器２０４によりデジタルデータに変換された画像データや、表示部１０１に表示するための画像データを格納する。メモリ２０９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。撮像した画像データを、表示部１０１を用いて逐次表示すれば、電子ファインダー機能（スルー画像表示）を実現することが可能である。また、メモリ２０９は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２１０は、メモリ２０９に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２０９に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１０を介して表示部１０１に表示される。

表示部１０１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２１０からのアナログ信号に応じた表示を行う。

不揮発性メモリ２１１は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１１には、システム制御部２０８の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２０８は、デジタルカメラ１００の全体を制御する。前述した不揮発性メモリ２１１に記録されたプログラムを実行することで、後述する各処理を実現する。システムメモリ２１２には、ＲＡＭが用いられ、システム制御部２０８の動作用の定数、変数、不揮発性メモリ２１１から読み出したプログラム等を展開する。また、システム制御部２０８は、メモリ２０９、Ｄ／Ａ変換器２１０、表示部１０１等を制御することにより表示制御も行う。また、システム制御部２０８は、タッチパネルへの以下の操作を検出できる。
・タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する。）
・タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する。）
・タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する。）
・タッチパネルを２本の指で触れて、その間隔を狭めるように動かすこと（以下、ピンチインと称する。）
・タッチパネルを２本の指で触れて、その間隔を広げるように動かすこと（以下、ピンチアウトと称する。）
・タッチパネルに触れていた指やペンを離したこと（以下、タッチアップと称する。）
・タッチパネルに何も触れていない状態（以下、タッチオフと称する。）

上記各種操作や、タッチパネル上に指やペンが触れている位置座標は、システム制御部２０８に通知され、システム制御部２０８は通知された情報に基づいてタッチパネル上でどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

モードダイアル１０３は、システム制御部２０８の動作モードを、静止画および動画を記録可能な撮像モード、再生モード等のいずれかに切り替える。シャッターボタン１０２は、不図示の第１シャッタースイッチと第２シャッタースイッチとを含む。第１シャッタースイッチは、シャッターボタン１０２の操作途中、いわゆる半押し（撮像準備動作指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作（以下、これらのうち少なくとも一つを撮像準備動作と称する）を開始する。これらの処理はシステム制御部２０８の制御によって行われる。第２シャッタースイッチは、シャッターボタン１０２の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０８は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０３からの信号読み出しから記録媒体１０８に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部１０５の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。コントローラーホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。

電源制御部２１３は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１３は、その検出結果及びシステム制御部２０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０８を含む各部へ供給する。

電源部２１４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

インタフェース２１５は、メモリカードやハードディスク等の記録媒体１０８とのインタフェースである。

図３は、本実施例に係るデジタルカメラにおいて実行される画像処理の流れを示すフローチャートである。なお、この一連の処理は、システム制御部２０８が不揮発性メモリ２１１に記録されたプログラムをシステムメモリ２１２に展開して実行することで実現される。

ユーザにより電源が投入されると、ステップ３０１において、システム制御部２０８は、所定の撮像条件（フォーカス、露出、ホワイトバランス等）で撮像を開始する。この撮像条件は、たとえば電源切断前の値を回復して用いる等、装置の仕様による。

ステップ３０２において、システム制御部２０８は、撮像部２０３で取得された２次元画像を表示部１０１に表示する。図４は、表示部１０１に表示される２次元画像の一例を示す図である。図４の２次元画像は、屋外での撮像画像であり、空が写っているため、最も遠い被写体までの距離は無限遠となる。この場合において、最も遠い被写体である「空」に合焦したとき（合焦距離が無限遠のとき）、その前方被写界深度はいわゆる「過焦点距離」の１／２と等しくなる。過焦点距離の値は、以下の式（１）で求められる。
（ｆ＾２）／（δ・Ｆ） ・・・式（１）
ここで、ｆはレンズの焦点距離（ｍｍ）、Ｆはレンズの絞り値、δは許容錯乱円径（ｍｍ）である。

たとえば、レンズの焦点距離を５０ｍｍ、開放時のレンズの絞り値を２．８、許容錯乱円径を０．０３３２８ｍｍとするとき、過焦点距離は約２６．８ｍとなり、その前方被写界深度は約１３．４ｍとなる。この場合、約１３．４ｍより距離が大きくなる領域が、「背景領域」となる。なお、最も遠い被写体に絞りを開放にして合焦した場合において前方被写界深度にある被写体のいずれかに合焦するとき、この範囲にある被写体すべてに合焦することとなる。そこで、これらの被写体の領域を一体として「背景領域」として表示することで、この領域内の被写体については合焦するものと合焦しないものとを分けることができないことをユーザに対して明確にすることができる。

ステップ３０３において、システム制御部２０８は、フラッシュ強制発光／フラッシュ禁止／自動の選択といった各種設定について所定のユーザ操作があったときは、その設定を行う。

ステップ３０４において、システム制御部２０８は、ユーザにより表示モードを変更する指示があるかどうかを判定する。表示モードを変更する指示があれば、ステップ３０５に進む。一方、表示モードを変更する指示がなければ、ステップ３０２に戻る。

ステップ３０５において、システム制御部２０８は、撮像している画像に含まれる被写体を検出する。撮像画像内の被写体を検出する方法としては、たとえば、特許文献４が開示するものなど種々の方法を適用すればよい。図５は、図４に示した２次元画像から、被写体として人物、横向きの自動車、道路標識、建物がそれぞれ検出された状態を示す図である。図５において、画像中の木立、郵便ポスト、正面向きの自動車の各被写体は、絞り開放時の過焦点距離の１／２以遠にあるものとして、最遠の被写体である「空」と一体で上述の「背景領域」に含めている。

ステップ３０６において、システム制御部２０８は、撮像している２次元画像の距離情報（２次元画像から検出された各被写体までの距離の情報）を取得する。ここで、距離情報とは、２次元画像中の各被写体までの距離をその２次元画像の座標と対応させて記録したものであり、たとえば、座標に対してグレーの濃淡によりその座標の奥行の大小（遠近）を表わした「距離画像（距離マップ）」などが相当する。撮像している画像に対して距離情報を得る方法としては、たとえば、特許文献５が開示するものなど種々の方法を適用すればよい。図６は、図４に示した２次元画像について生成された距離画像の一例を示している。図６の距離画像においては、人物、横向きの自動車、道路標識、建物の４つの被写体の領域が、各距離に応じて濃度の異なるグレースケールの画像（一番距離が近い人物が最も濃く、建物が最も淡い）によって表現されている。なお、建物よりも遠くにある木立等は上述のとおり背景の一部に含まれることになるため、ここでの“被写体”としては扱われない。

ステップ３０７において、システム制御部２０８は、ステップ３０５で検出した被写体とステップ３０６で取得した距離情報とに基づき、次のステップ３０８におけるずらし処理の対象となる被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。例えば、ステップ３０５で検出された被写体であって背景領域には含まれない被写体のうち、所定の距離の範囲内（例えば、１ｍ±５０ｃｍ）にある部分が、１の被写体領域の単位として抽出される。図７は、図４に示した２次元画像から被写体領域を抽出した状態を示す図であり、破線で示す部分（人物、横向きの自動車、道路標識、建物の各領域）が抽出された各被写体領域を示している。

ステップ３０８において、システム制御部２０８は、ステップ３０７で抽出した被写体領域ごとに、ステップ３０６で取得した距離情報に応じてその位置（座標）を変更する（ずらす）処理を行って、各被写体領域が一定の方向にずれた「ずれ画像」を生成する。たとえば、図７に示した４つの被写体領域までの距離が夫々、１ｍ、３ｍ、５ｍ、８ｍのように対応するとき、各被写体領域の座標を水平方向及び垂直方向に夫々所定量（例えば、１００画素、３３画素、２０画素、１３画素ずつ）ずれた画像が生成される。この「ずれ画像生成」におけるずれ量は、必ずしも距離に逆比例させる必要はなく、例えば、対数比としてもよいし、距離とずれ量との対応テーブルを予め用意しこれを適用して決定するようにしてもよい。この際、各領域のずらし方向を同じにするため、水平方向のずれ量と垂直方向のずれ量との比率が一定となるようにする。あるいは、以下に示すような処理によって、水平・垂直方向のずれ量の比率を決定することとしてもよい。

図８は、水平・垂直方向のずれ量の比率を決定する処理の流れを示すフローチャートである。

ステップ８０１において、システム制御部２０８は、所定の比率でずれを生じさせた画像を生成する。処理開始直後の段階では、予め定めた初期値（例えば、１対１の比率）でずれを生じさせたずれ画像が生成される。

ステップ８０２において、システム制御部２０８は、ステップ８０１で得られたずれ画像内に、被写体領域どうしの重なりがあるかどうかを判定する。被写体領域どうしの重なりがある場合には、ステップ８０３へ進む。一方、被写体領域どうしの重なりがない場合にはステップ８０５へ進む。

ステップ８０３において、システム制御部２０８は、被写体領域どうしが重なり合う領域のうち背後に表示されることとなる被写体領域の覆い隠される部分の面積の割合が所定の閾値（例えば５０％）を超えるかどうかを判定する。この場合において、背後に表示されることとなる領域の覆い隠される面積の割合が少ないほどユーザは適切に被写体を把握することが可能となる。所定の閾値は、この点を考慮して予め決定される。覆い隠される部分の面積の割合が閾値を超えるときは、ステップ８０４へ進む。一方、覆い隠される部分の面積の割合が閾値を越えないときは、ステップ８０５へ進む。

ステップ８０４において、システム制御部２０８は、水平・垂直方向にずらす比率を変更し、ステップ８０１に戻る。すなわち、重なり合う領域のうち背後に表示されることとなる領域の覆い隠される部分の面積の割合がより小さくなるように比率を変更し、当該変更後の比率に従ってずれを生じさせたずれ画像を生成する。

ステップ８０５において、システム制御部２０８は、背後に表示されることとなる領域の覆い隠される面積の割合が閾値を下回ったときの比率を、表示のための正式な比率として決定する。こうして決定された比率に応じたずれ量が、ずれ画像生成におけるずれ量として決定される。

なお、ずれ画像生成処理においては、近距離の被写体に対応する被写体領域（第１の被写体領域）が遠距離の被写体に対応する被写体領域（第２の被写体領域）よりも下方になるような方向にずらすことが望ましい。これにより、ユーザが前方から俯瞰しているように表示でき、ユーザの感覚に適したような表示となるためである。また、上述の背景領域（２次元画像の中の最も距離の遠い被写体にシャッターの絞りを開放にして合焦したとき、その前方被写界深度に含まれる領域）を、位置（座標）をずらす際の基準とする。このように「背景領域」を基準にずらすのは、以下の理由による。すなわち、本発明の目的は、どの被写体に合焦するのかをユーザが把握しやすくすることにあるところ、最も距離の遠い被写体に合焦しているときの、絞り開放での被写界深度に含まれる領域は、絞り値を変更したときも合焦していると認識されるからである。図９は、４つの被写体領域が抽出された画像（図７参照）について、ずれ画像生成処理を行った結果を示す図であり、被写体領域ごとに、その距離に応じて位置（座標）がずれているのが分かる。図９の例では、各被写体領域のずらし方向を同じにするため、水平方向と垂直方向のずらし量が一定の比率となっている。

図３のフローチャートの説明に戻る。

ステップ３０９において、システム制御部２０８は、ステップ３０８のずれ画像生成処理で生成された「ずれ画像」における各被写体領域に対し、水平方向が傾くようにシアー処理（斜変形処理）を行う。このシアー処理を行うことにより、ユーザが斜め前方から見ているという感覚により適するように表示することが可能となる。どの程度、斜めに変形させるかは予め定められたシアー角度によって決まる。図１０は、ずれ画像における各被写体領域（図９参照）に対し、シアー処理を行った結果を示す図である。このシアー処理により、ユーザは、被写体どうしの距離間隔をより把握しやすくなる。なお、シアー角度は、予め定められた所与の角度としてもよいし、ユーザが任意に指定できるようにしてもよい。

ステップ３１０において、システム制御部２０８は、ずらし方向及びシアー角度に基づいて、格子パターンを重畳（合成）する処理を行う。例えば、ずらし方向と同方向の線分と、シアー（斜変形）方向と同方向の線分から成る地面格子パターンを生成して、画像に重畳する。図１１は、シアー処理が施された図１０の画像に、格子パターンを重畳した結果を示す図である。これにより、ユーザは、被写体どうしの距離間隔をさらに分かりやすく把握することが可能となる。なお、図１１の例では、地面格子パターン１１０１と壁面格子パターン１１０２の計２種類の格子パターンが重畳表示されている。これにより、ユーザが斜め前方から見ているという感覚に更に適するように表示することが可能となる。なお、「背景領域」については「壁」のように表示し、それよりも遠くの距離に対応する格子パターンを表示しないようにしてもよい。これにより、ユーザは、被写界深度等の変更の限界（すなわち、当該「壁」のように表示された部分については合焦距離や被写界深度を変更できないこと）を直感的に把握できるようになる。

ステップ３１１において、システム制御部２０８は、撮像画像の撮像条件（フォーカス、露出、ホワイトバランス等）より、前方被写界深度と後方被写界深度を導出する。例えば、以下の式（２）及び式（３）を用いた演算によって、前方被写界深度と後方被写界深度とがそれぞれ導出される。
前方被写界深度（ｍｍ）＝（Ｒ＾２・δ・Ｆ）／（ｆ＾２＋Ｒ・δ・Ｆ） ・・・式（２）
後方被写界深度（ｍｍ）＝（Ｒ＾２・δ・Ｆ）／（ｆ＾２−Ｒ・δ・Ｆ） ・・・式（３）
上記式（２）及び式（３）において、Ｒは合焦している被写体（ただし無限遠ではない）までの距離（ｍｍ）、ｆはレンズの焦点距離（ｍｍ）、Ｆはレンズの絞り値、δは許容錯乱円径（ｍｍ）を表す。

なお、許容錯乱円径は、撮像素子の対角線長から導かれる固有値であり、たとえば、幅３６ｍｍ、高さ２４ｍｍ、対角線長４３．２７ｍｍの撮像素子については０．０３３２８ｍｍの値が使用される。

ステップ３１２において、システム制御部２０８は、合焦している被写体までの距離（以下、「合焦距離」という）と、ステップ３１１で導出された前方被写界深度及び後方被写界深度を表す指標とを、撮像画像に重畳（合成）する処理を行う。すなわち、これらの距離に対応する、ステップ３１０で重畳した地面格子パターン上の位置に、指標となる画像を重畳する。図１２は、格子パターンが合成された図１１の画像に、合焦距離の指標及び被写界深度の指標（前方被写界深度の指標と後方被写界深度の指標）を重畳した結果を示す図である。図１２において、指標１２０１は、地面格子パターンに沿って、人物（被写体Ｐ）のある位置の奥行き方向の距離（合焦距離）を示しており、人物（被写体Ｐ）に合焦していることを表している。また、指標１２０２及び１２０３は、地面格子パターンに沿って、それぞれ前方被写界深度と後方被写界深度を示しており、横向きの自動車（被写体Ｃ）が被写界深度にあること（撮像画像において合焦していると認識できること）を表している。

ステップ３１３において、システム制御部２０８は、ステップ３１２で各指標が合成された撮像画像を、表示部１０１上に表示する。そして、後述するように、合成された指標に対してユーザが指示・操作をすることにより、撮像レンズ２０１やシャッター２０２の絞り等を制御して、合焦距離や被写界深度を変更することができる。その際、指標を移動させるユーザ操作に応じて、その位置に対応する格子線を強調表示したり、その位置に対応する被写体の領域を他の被写体の領域と異ならせて表示するようにしてもよい。これにより、ユーザは、どの被写体に合焦するか、どの被写体が被写界深度にあるかといったことをより明確に把握することができる。

ステップ３１４において、システム制御部２０８は、ユーザにより表示部１０１へのタッチ操作があったかどうかを判定する。ユーザによるタッチ操作があれば、ステップ３１５へ進む。一方、ユーザによるタッチ操作がなければ、ステップ３０５に戻る。

ステップ３１５において、システム制御部２０８は、ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」する操作であるかどうかを判定する。ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」する操作であれば、ステップ３１６へ進む。一方、ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」以外の操作であれば、ステップ３１８へ進む。

ステップ３１６において、システム制御部２０８は、ユーザがタッチしている位置に対応する距離の被写体に合焦するように撮像レンズ２０１を制御し、フォーカスを調整する。

ステップ３１７において、システム制御部２０８は、合焦距離を表す指標の表示位置をユーザがタッチしている位置に移動する。

ステップ３１８において、システム制御部２０８は、ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」する操作であるかどうかを判定する。ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」する操作であればステップ３１９へ進む。一方、ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」以外の操作であれば、ステップ３２１へ進む。

ステップ３１９において、システム制御部２０８は、ユーザの２本の指（タッチしている指）にそれぞれ対応する距離の間にある被写体が合焦するように撮像レンズ２０１やシャッター２０２を制御して、被写界深度を調整する。焦点距離、許容錯乱円径といった条件が一定であるとき、絞りを絞ることにより被写界深度が増すことが知られている。なお、絞り値の変更による光量の増減に対しては、ＮＤ（Neutral Density）フィルタの使用や撮像素子の増感または減感等により調整可能である。

ステップ３２０において、システム制御部２０８は、被写界深度を表す２つの指標の表示位置をユーザのタッチしている２本の指の位置にそれぞれ移動する。

ステップ３２１において、システム制御部２０８は、ユーザのタッチ操作の内容に対応した処理を行う。たとえば、ユーザにより撮像画像から抽出された領域のいずれかがタッチされたときは、その領域に対応する距離に合焦するように撮像レンズ２０１を制御し、合焦距離を表す指標の表示位置を対応する位置に移動する。

ステップ３１４において、システム制御部２０８は、ユーザによる電源断など所定の終了操作に応じて本処理を終了する。

以上のとおり、本実施例に係る画像処理装置を適用したデジタルカメラでは、ユーザは、そのＵＩ上でどの被写体に合焦するかを、実際の画像に近い状態で直感的に把握することが可能となる。

［実施例２］
次に、本発明に係る画像処理装置を、ライトフィールドデータを扱う情報処理装置に適用した態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

まず、ライトフィールドデータについて説明する。

ライトフィールドデータ（光線情報）とは、光線経路に対する光量を記録したデータである。具体的には、２つの平行平面上の座標（第１の平面上の座標（ｕ，ｖ）と第２の平面上の座標（ｘ、ｙ））を通過する光線について、その光量Ｌを、ｕ、ｖ、ｘ、ｙの関数としてＬ（ｕ，ｖ，ｘ，ｙ）で表わしたものである。これに対して、２次元画像は単一の平面上の座標（ｘ、ｙ）における光線光量で表わされる。たとえば、撮像素子の座標（ｘ、ｙ）における光量を記録したものが、撮像画像の２次元画像である。言い換えれば、２次元画像を、第１の平面上の座標の個数分だけ束ねたものがライトフィールドデータとなる。

撮像装置によりライトフィールドデータを取得する方法としては、撮像素子の前にマイクロレンズアレイを配置する方法や絞りの開口位置を制御する方法等がある。要するに、撮像素子の座標の光量を、これと平行な平面上の座標（例えば、一つ一つのマイクロレンズの位置の座標）に対応させて記録することにより、ライトフィールドデータを得ることができる。

ライトフィールドデータＬ（ｕ，ｖ，ｘ，ｙ）を、上記の第１の平面上の座標（ｕ，ｖ）の一部または全部について積分する（総和をとる）ことにより、２次元のディスプレイに表示可能な２次元画像が得られる。つまり、ライトフィールドデータを構成する、上記第１の平面上の一定範囲の座標に対する複数の２次元画像を重畳して、２次元のディスプレイに表示することが可能となる。

ライトフィールドデータを構成する２次元画像を重畳する際に、特定の距離の被写体の位置が一致するように重畳してゆくと、その距離の被写体に合焦した２次元画像を得ることができる。反対に、ライトフィールドデータを構成する２次元画像は、それぞれ上記の第１の平面上の座標の離間距離分の視差を有しているため、前記特定の距離以外の距離の被写体は位置がずれて重畳され、得られた２次元画像上では像がボケることになる。

ライトフィールドデータを構成する２次元画像を、上記の第１の平面上の小さな範囲内の座標分だけ重畳することとすると、それぞれの２次元画像の視差が限定されるため、被写界深度の大きい２次元画像を得ることができる。つまり、重畳する２次元画像について対応する上記第１の平面上の範囲を変更することにより、重畳して得られる２次元画像の被写界深度を変更することが可能となる。

また、「画像相関法」を適用して、以下のようにライトフィールドデータから距離画像を得ることができる。すなわち、上記の第１の平面から２つの座標を選び、これらに対応する２つの２次元画像を比較する。一方の２次元画像中の任意の画素を中心とした小領域について、他方の２次元画像中でよく似たパターンの小領域を特定し、これら対応する２つの小領域の、２つの２次元画像の間での移動量を計算する。この移動量がいわゆる「視差」であり、その座標に表示されている被写体までの距離に逆比例する。したがって、座標ごとの視差から被写体までの距離を求め、当該座標の画素の色（たとえば、グレーの濃淡）に反映させれば距離画像が得られる。

図１３は、ライトフィールドデータを扱う、例えば、一般的なパーソナルコンピュータ（以下、ＰＣ）やタブレット端末といった情報処理を行う装置の内部構成の一例を示す図である。

図１３において、装置１３００は、ＣＰＵ１３０１、ハードディスク（ＨＤ）１３０２、メモリ１３０３、表示制御部１３０４、入力部１３０５、ドライブ装置１３０６および通信Ｉ／Ｆ１３０７で構成され、内部バス１３０８によって相互に接続される。内部バス１３０８に接続される各部は、内部バス１３０８を介して互いにデータのやりとりを行うことができる。

ハードディスク１３０２は、画像データやその他のデータ、ＣＰＵ１３０１が動作するための各種プログラムなどが格納される。メモリ１３０３は、例えばＲＡＭからなる。表示制御手段、変更手段および算出手段としてのＣＰＵ１３０１は、例えばハードディスク１３０２に格納されるプログラムに従い、メモリ１３０３をワークメモリとして用いて、この装置１３００の各部を制御する。なお、ＣＰＵ１３０１が動作するためのプログラムは、ハードディスク１３０２に格納されるものに限られず、例えば図示されないＲＯＭにあらかじめ記憶しておいてもよい。

入力部１３０５は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１３０１に供給する。例えば、入力部１３０５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部１３０５に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ１３０１は、入力デバイスに対してなされたユーザ操作に応じて入力部１３０５で生成され供給される制御信号に基づき、プログラムに従って装置１３００の各部を制御する。これにより、装置１３００に対し、ユーザ操作に応じた動作を行わせることができる。

表示制御部１３０４は、ディスプレイ１３１０に対して画像を表示させるための表示信号を出力する。例えば、表示制御部１３０４に対して、ＣＰＵ１３０１がプログラムに従い生成した表示制御信号が供給される。表示制御部１３０４は、この表示制御信号に基づき表示信号を生成してディスプレイ１３１０に対して出力する。例えば、表示制御部１３０４は、ＣＰＵ１３０１が生成する表示制御信号に基づき、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面をディスプレイ１３１０に対して表示させる。

なお、入力部１３０５としてタッチパネルを用いる場合、入力部１３０５とディスプレイ１３１０とを一体的に構成してもよい。

ドライブ装置１３０６は、ＣＤやＤＶＤといった外部記憶媒体１３２０が装着可能とされ、ＣＰＵ１３０１の制御に基づき、装着された外部記憶媒体１３２０からのデータの読み出しや、当該外部記憶媒体１３２０に対するデータの書き込みを行う。なお、ドライブ装置１３０６が装着可能な外部記憶媒体１３２０は、ＣＤやＤＶＤといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置１３０６に装着するものとしてもよい。通信インタフェース（Ｉ／Ｆ）１３０７は、ＣＰＵ１３０１の制御に基づき、ＬＡＮやインターネットといったネットワーク１３３０に対する通信を行う。

図１４は、本実施例に係るライトフィールドデータを扱う装置において実行される画像処理の流れを示すフローチャートである。なお、この一連の処理は、ＣＰＵ１３０１がハードディスク１３０２または図示されないＲＯＭに記録されたプログラムをメモリ１３０３に展開して実行することにより実現される。

まず、撮像装置で得られたライトフィールドデータから２次元画像が生成され（ステップ１４０１）、表示制御部１３０４によって、生成された２次元画像がディスプレイ１３１０に表示される（ステップ１４０２）。

そして、ユーザにより表示モードを変更するが指示があるかどうかが判定され、表示モードを変更する指示があればステップ１４０４に進み、表示モードを変更する指示がなければステップ１４０２に戻る（ステップ１４０３）。

その後に続く、ステップ１４０４〜ステップ１４１２までの各処理は、実施例１におけるステップ３０５〜ステップ３１３に相当する。すなわち、以下の各処理が実行される。・２次元画像に含まれる被写体を検出（ステップ１４０４）
・２次元画像の距離情報（距離画像）を取得（ステップ１４０５）
・ステップ１４０４で検出された被写体とステップ１４０５で取得された距離情報とに基づき、被写体領域を抽出（ステップ１４０６）
・抽出された被写体領域ごとに、距離情報に応じたずれ画像を生成（ステップ１４０７）
・生成されたずれ画像に対し、水平方向が傾くようにシアー処理を実行（ステップ１４０８）
・ずらし方向及びシアー角度に基づいて、格子パターンを重畳（ステップ１４０９）
・２次元画像の前方被写界深度と後方被写界深度を導出（ステップ１４１０）
・合焦している被写体までの距離（合焦距離）及び前方被写界深度及び後方被写界深度を表す各指標を２次元画像に合成（ステップ１４１１）
・指標が合成された２次元画像を、ディスプレイ１３１０上に表示（ステップ１４１２）

上記の各処理の後、ステップ１４１３において、ユーザによりディスプレイ１３１０上に表示された画像内の各指標に対し、ユーザ指示・操作があったかどうかが判定される。この場合において、指標に対するユーザ指示・操作は、一般的なＰＣであればマウスを用いて入力され、タッチパネルを有するタブレット端末であれば実施例１と同様のタッチ操作によって入力されることになる。指標に対するユーザ指示・操作があれば、ステップ１４１４へ進み、指標に対するユーザ指示・操作がなければステップ１４０４に戻る。

そして、ユーザが指定した新たな指標の位置に応じて、合焦距離及び／又は被写界深度を変更する処理が前述のライトフィールドデータを用いて実行される（ステップ１４１４）。これに併せ、合焦距離や被写界深度を表す指標の表示位置が、ユーザによって指定された新たな位置に移動される（ステップ１４１５）。

ユーザによってアプリケーションの終了指示など所定の終了操作が与えられると、本処理は終了する（ステップ１４１６）。

なお、本実施例においても、上述のステップ１４０５では距離情報として例えば図６のような距離画像が生成され、ステップ１４０７のずれ画像生成処理では図９のような各被写体領域の位置がずれた「ずれ画像」が得られる。すなわち、ライトフィールドデータに基づいて単に視点を変更しただけの画像（この場合、各被写体は立体的に表現）とは異なる、各被写体領域が書割のように表現（各被写体領域に奥行き感がなく、平面的に表現）された画像が得られる。これにより、ユーザは、被写体毎の距離感が把握しやすくなる。

以上のとおり、本実施例に係る装置によっても、ユーザは、ＰＣ等のディスプレイ上でどの被写体に合焦するかを、実際の画像に近い状態で直感的に把握することが可能となる。

［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (13)

1. ２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出手段と、
   抽出された被写体領域の各距離に応じて、水平方向におけるずれ量と垂直方向におけるずれ量との比率が一定となるように、前記被写体領域の位置がずれた画像を生成するずれ画像生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記ずれ画像生成手段は、前記２次元画像のうち背景となる領域を基準として、前記被写体領域の位置がずれた画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記背景となる領域は、所定の距離より遠くにあるすべての被写体を含む１の領域であることを特徴とする請求項２に記載の画像処理装置。
4. 生成される前記被写体領域の位置がずれた画像において、被写体領域どうしの重なり合う領域のうち背後に表示されることとなる被写体領域の覆い隠される部分の面積の割合が、閾値より小さくなるようなずれ量を決定する、ずれ量決定手段をさらに備え、
   前記ずれ画像生成手段は、決定されたずれ量に基づいて、前記被写体領域の位置がずれた画像を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ずれ画像生成手段は、第１の被写体領域の位置が、当該第１の被写体領域よりも遠くの距離に対応する第２の被写体領域の位置よりも下方になるように、前記被写体領域の位置がずれた画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ずれ画像生成手段で生成された、前記被写体領域の位置がずれた画像における各被写体領域に対し、水平方向を傾けるシアー処理を行うシアー処理手段をさらに備えたことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ずれ画像生成手段で生成された画像に対し、当該画像におけるずらし方向に基づく格子パターンを合成する手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記格子パターンを合成する手段は、背景となる領域に対しては、前記格子パターンを合成しないことを特徴とする請求項７に記載の画像処理装置。
9. 合焦している被写体までの距離を示す指標及び被写界深度を示す指標の少なくとも一方を、前記被写体領域の位置がずれた画像に合成する手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 請求項９に記載の画像処理装置を有する撮像装置であって、
    前記指標が合成された画像を表示する表示手段と、
    前記指標が合成された画像内の当該指標に対するユーザ操作に応じて、フォーカス及び被写界深度を調整する手段と
    を備えたことを特徴とする撮像装置。
11. 請求項９に記載の画像処理装置を有する装置であって、
    ライトフィールドデータから前記２次元画像を生成する手段と、
    前記指標が合成された画像を表示する表示手段と、
    前記指標が合成された画像内の当該指標に対するユーザ操作に応じて、前記指標が合成された画像における合焦距離及び被写界深度を、前記ライトフィールドデータを用いて変更する手段と
    を備えたことを特徴とする装置。
12. ２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出ステップと、
    抽出された被写体領域の各距離に応じて、水平方向におけるずれ量と垂直方向におけるずれ量との比率が一定となるように、前記被写体領域の位置がずれた画像を生成するずれ画像生成ステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。