JP6263024B2 - 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 - Google Patents

Description

本発明は、ライトフィールド情報を有する画像データを用いた画像処理により画像を再生するための画総処理装置および画像再生装置に関する。

近年、多視点の視差像（ライトフィールド情報）を取得し、画像の再構成処理によって撮影後のピント位置の調節（リフォーカス）が可能な技術が公開されている。

このようなライトフィールド情報を有する画像データ（ライトフィールド画像データ）のリフォーカス処理では、再構成処理後の画像における被写体側のピント面、もしくはピント面を得るため画素加算を行う仮想面（再構成面と呼ぶ）の指定が必要である。特許文献１では再生装置に表示された画像をタッチすることで、タッチした座標の被写体にピントが合うようにリフォーカスされる技術が公開されている。この技術では、直感的に画像の奥行き方向の再構成面座標を指定することができる。

また再構成処理では、一般的な撮影レンズと同様にピント面をカメラと正対した奥行き方向に平行移動させるだけでなく、ピント面をカメラのレンズ面に対して斜めに設定することも可能であり、レンズチルトに相当する画像を生成することもできる。

ＵＳ２００８／０１３１０１９

しかしながら、特許文献１などの先行技術においては、表示画面ＸＹ座標の特定点におけるＺ座標（奥行き方向の位置）の指定を基本としており、レンズをチルト回転させる動作と対応する再構成面を直感的に指定することが困難である。そのため、本発明は、ライトフィールド画像データのリフォーカス処理において、レンズ面に対し傾いた再構成面の直感的な指定構成の実現を目的とする。

上記目的を達成するために、本発明によれば、被写体空間の視差を有し、再構成面で視差ごとにシフト量を与えた画像合成が可能な画像データを処理する画像処理装置は、画像データを取得する画像データ入力手段と、第１の再構成面を設定する第１の入力情報と、第１の再構成面の回転軸を設定する第２の入力情報と、回転軸の回転角度を設定する第３の入力情報を取得する画像合成情報入力手段と、取得した第１の入力情報に基づいて第１の再構成面を設定し、第１の再構成面、第２の入力情報および第３の入力情報に基づいて第２の再構成面を設定する再構成面設定手段と、再構成面設定手段で設定された再構成面における画像合成により、画像データから合成画像を生成する画像合成手段とを備える。

ライトフィールド画像データのリフォーカス処理において、レンズ面に対し傾いた再構成面の直感的な指定構成を実現可能とする画像処理装置および画像再生装置を提供することができる。

本発明の実施例に係る画像処理装置を適用した画像再生装置のブロック図 本発明の実施例に係る画像処理動作のフローチャートを示す図 ライトフィールド画像データを取得するための撮影光学系を例を示す図 ライトフィールドにおける像シフト方法と像生成方法を説明するための図 斜めの再構成面に対する像シフト方法と像生成方法を説明するための図 撮像面および再構成面とピント面との関係を説明するための図 本発明の実施例に係る画像再生装置におけるピント面を指定するためのユーザインタフェースを説明するための図 本発明の実施例に係る画像再生装置において深度情報を入力する方法を説明するための図 本発明の実施例に係る画像処理装置による画像処理で得られる合成画像を説明するための図

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１から図９を参照して、本発明の実施例に係る画像処理装置およびそれを適用した画像再生装置について説明する。

まず、図９を用いて本実施例に関わる画像処理装置での画像処理で得られる合成画像について説明する。

図９（ａ）および図９（ｂ）で左側にある図は、カメラと被写体の位置関係を示す図で、９００はカメラ、９１０はカメラから被写体方向への奥行きが異なる複数の被写体、９１０ａはその中で以後の説明で特に着目する被写体、９２０はピント面を示す。本実施例の画像処理装置では、画像処理によりレンズチルトに相当する効果を得るが、レンズチルトを行うとピント面をカメラに正対する状態から傾いた状態へと変化させることができる。

図９（ａ）および図９（ｂ）で右側にある図は、再構成された合成画像９３０の例を示す。画像９３０に示されているドットは、被写体のボケ具合を模式的に表わし、ドットが大きいほどボケが大きく、小さいほどボケの小さい状態を表わしている。ドットがないことは、ピントが合っていることを表わしている。

図９（ａ）において、ピント面９２０ａはカメラ９００に正対し、且つ着目する被写体９１０ａと一致する奥行き位置にある。そのため、合成画像上では被写体９１０ａにピントが合い、被写体９１０ａから奥行き位置が離れた被写体ほどボケが大きくなる。

図９（ｂ）は、ピント面９２０ａを被写体９１０ａ上の回転軸７０５を中心にピント面９２０ｂへと回転してレンズチルトと同様の効果を得る場合を示す。同図に示すように、すべての被写体９１０にピント面４２０ｂを一致させることで、合成画像上ですべての被写体９１０にピントを合わせることができる。

図９（ｃ）は、ピント面９２０ａを被写体９４１０ａ上の回転軸７０５を中心にピント面９２０ｃへと回転してレンズチルトの効果を得る場合を示す。同図に示すように、この場合は、着目する被写体９１０ａ以外の被写体は、ピント面からの位置が図９（ａ）の状態より遠ざかっている。そのため、合成画像上では、被写体９１０ａにピントが合い、他の被写体９１０はボケ状態を図９（ａ）での状態から一律で大きくなる。

このように、レンズチルトによるピント面の変化を、回転軸とその周りの回転角で考えることで、ボケ状態の変化を直感的に理解しながらピント面の設定操作を行うことができる。本実施例では、ピント面を傾けたボケ状態の操作を後述する画像処理により行うが、その際に直感的な指定方法によるピント面の設定操作を提供する。なお、本実施例は、本実施例に関わる画像処理装置を、表示部を有する画像再生装置に適用する例を説明する。なお、画像処理装置は、画像再生に特化された装置に限らず、デジタルカメラ等の撮像装置、スマートフォン等の携帯端末装置、タブレット形の情報処理装置、ＰＣなど、画像再生、表示機能を有する装置であってもよい。また、本実施例では、ピント面の設定情報の入力を、タッチパネルを有する表示部を利用しているが、これに限るものではない。表示部にカーソルを表示し、キー操作でカーソルを移動して画像上の位置を指定する入力構成、あるいは回転角や深度を視覚的に設定できるユーザインタフェース画面に対してキー操作を行う構成としていてもよい。

図１は、本発明の実施例に係る画像処理装置を適用した画像再生装置の構成を示すブロック図である。後述するように、画像再生装置は、大きく分けて、入力系Ａ、画像処理系Ｂ、表示系Ｃにより構成される。それぞれの構成要素は更に細かな要素により構成される。なお、図１に示す各構成要素は、画像撮再生装置の制御部１０９のＣＰＵがメモリ１１０に記憶されたプログラムをロードして実行することで制御することができる。この場合、画像処理装置が固有の制御部を有し、画像再生装置の制御部と処理を分担してもよい。

入力系Ａの構成を説明する。画像データ入力部１００には、再構成画面での画像合成が可能な被写体空間の視差を有する画像データが入力される。被写体空間の視差を有する画像データとは、撮影された画像データと撮影光学系における視差量情報を含む画像データである。画像合成情報入力部１０１は、点入力部１０１ａと角度検出部１０１ｂ、深度入力部１０１ｃを有し、それぞれ使用者の点入力操作、角度入力操作、深度入力操作を受け付ける。

画像処理系Ｂの構成を説明する。入力操作判定部１０２は、点入力部１０１ａよる入力が、操作者による１点だけの指示である１点入力（第１の入力操作）なのか、２点を指示する２点入力(第２の入力操作)なのかを判定する。後述するが、本実施例では点入力は表示部１０８に設けられたタッチパネル等の操作部を指で触る接触操作によりなされるため、１点入力は図７（ａ）に示すような指１本で触る指示、２点入力は図７（ｂ）に示すような指２本で触る指示である。１点入力による入力情報は、ピントを合わせる被写体の位置するＸＹ座標であるピント被写体の座標データとして、２点入力による入力情報は、回転軸設定座標のデータとして処理される。回転軸を設定するピント面（回転軸設定ピント面）の設定部１０３は、入力操作判定部１０２からの１点入力情報、および後述する画像合成部１０７からの合成画像データに基づいて、回転軸を設定するピント面である軸設定面を設定する（第１の再構成面設定）。ここで設定される軸設定面は合成画像上のピント被写体座標（１点入力情報）における被写体が合焦となる面である。また、合成画像において設定されたピント面を得るための再構成面情報を設定し、画像合成部１０７へと出力する。ピント面の回転軸設定部１０４は入力操作判定部１０２からの２点入力情報、および回転軸を設定するピント面の設定部１０３からの軸設定面情報をもとに、ピント面の回転軸を設定する。ここで設定されるピント面の回転軸は軸設定面上であり、かつ入力された２点のＸＹ座標を通る直線である。ピント面の回転角度設定部１０５は、角度検出部１０１ｂが検出する第３の入力操作である角度入力情報に基づいてピント面の回転角度情報を設定する。ここで回転角度情報は角度入力情報そのままの角度でもよいし、数倍や数分の一にスケーリングすることで感度調整を行ってもよい。ピント面設定部１０６は、ピント面の回転軸設定部１０４からの回転軸情報、およびピント面の回転角度設定部１０５からの回転角度情報に基づいてピント面を設定し、合成画像にてこのピント面を得るための再構成面を設定する（第２の再構成面設定）。画像合成部１０７は画像合成手段であり、合成元入力部である画像データ入力部１００からの被写体空間の視差を有する画像データ、およびピント面設定部１０６からの再構成面情報に基づいて合成画像データを生成する。合成画像データは再構成面にて像が結像するよう、被写体空間の視差を適切にシフトさせて合成される。被写体空間の視差のシフトについては、その詳細を後述する。合成画像データは、回転軸を設定するピント面の設定部１０３および表示部１０８へと出力される。ここでピント面設定部１０６から再構成面情報の入力がなく、回転軸を設定するピント面の設定部１０３より再構成面情報が入力されている場合には（例えば、２点入力待ち状態）、１０３から出力される再構成面にて画像合成を行う。図２のフローチャートの説明(後述)からもわかるように、１０３および１０６からの再構成面情報は、異なるタイミングで異なる入力操作により画像合成部１０７に入力されるため、入力された再構成面情報に従い適宜画像合成を行えばよい。また、１０３および１０６の双方から再構成面の入力がされない場合には、被写体空間の視差をシフトさせることなく合成画像データを出力する。

表示系Ｃは、画像合成部１０７からの合成画像データを表示する表示部１０８により構成される。

図２を参照して、本実施例に係る画像処理装置の画像処理動作を説明する。図２は、本実施例に係る画像処理動作のフローチャートを示す図である。本動作は、制御部１０９がメモリ１１０に記憶したプログラムを実行して、画像再生装置の各部を制御することで実現する。本実施例の画像処理装置は、それが適用されている画像再生装置から、ピント面の設定のための入力情報とライトフィールド画像データを取得して画像処理を行って設定されたピント面での合成画像を生成し、画像再生装置の表示部に表示させる。

図２（ａ）は、画像処理動作全体のフローチャートを示す。図において、ステップＳ２００にて画像データの取得と表示を行い、ステップＳ２２０の入力待ちループ内で、ステップＳ２４０の１点入力の受付、ステップＳ２６０の２点入力の受付を行う。

図２（ｂ）は、ステップＳ２００の画像データの取得と表示処理のフローチャートを示す。ステップＳ２０１において、操作者の指示に従って画像データ入力部１００が、被写体空間の視差画像を有する画像データを取得する。ステップＳ２０２では、制御部１０９が初期パラメータを設定する。ここで言う初期パラメータは後述する再構成面、回転軸を設定するピント面情報、深度情報を指す。例えば再構成面は撮像面と等しい面、回転軸を設定するピント面は撮像面を再構成面として像生成した画像のピント面、深度情報は後述する加算合成画素を全て足し合わせた深度、などとすればよい。ステップＳ２０３では、画像合成部１０７が、前記初期パラメータに従い像生成処理を行い、合成画像データを得る。ステップＳ２０４では、表示部１０８が生成された合成画像データを表示する。

図２（ｃ）は、ステップＳ２４０の１点入力処理動作のフローチャートを示す。ステップＳ２４１にて、入力操作判定部１０２は、第１の入力操作である１点入力があるかどうかの条件分岐を行う。ＹＥＳの場合にはステップＳ２４２へと進む。ＮＯの場合には残りの処理を飛ばしＲＥＴＵＲＮに進み、図２（ａ）のメインルーチンに戻る。ステップＳ２４２では、回転軸設定ピント面の設定部１０３が、入力された１点入力に基づき、１点入力の画面ＸＹ座標上の被写体にピントが合うようにピント面の奥行Ｚ座標を変更する。なお、ピント面は奥行Ｚ座標のみを変更し、平行なまま移動させる。ステップＳ２４３にて、画像合成部１０７は、変更されたピント面において像生成を行い、画像データを得る。ステップＳ２４４にて、表示部１０８は、表示画像をステップＳ２４３で得た画像データへと更新する。ステップＳ２４５にて、回転軸設定部１０４は、回転軸を設定するピント面情報をステップＳ２４３で得た画像データのピント面として取得する。

図２（ｄ）は、ステップＳ２６０の、２点入力の受付処理動作のフローチャートを示す。ステップＳ２６１にて、入力操作判定部１０２は、第２の入力操作である２点入力があるかどうかの条件分岐を行う。ＹＥＳの場合には、ステップＳ２６２へと進む。ＮＯの場合には残りの処理を飛ばしＲＥＴＵＲＮに進み、図２（ａ）のメインルーチンに戻る。ステップＳ２６２では、回転軸設定部１０４が、入力された２点入力に基づき、ＸＹ座標が２点入力で、かつＺ座標が前記回転軸を設定するピント面上である２点を通る直線を、レンズチルトに相当するピント面を決める回転軸として設定する。ステップＳ２６３にて、角度検出部１０１ｂは、第３の入力操作である角度入力があるかどうかの条件分岐を行う。ＹＥＳの場合には、ステップＳ２６４へと進む。ＮＯ場合には残りの処理を飛ばしＲＥＴＵＲＮに進み、図２（ａ）のメインルーチンに戻る。ステップＳ２６４では、回転角度設定部１０５が、入力された角度入力に基づき、ピント面を決める回転角度を設定する。以上、設定されたピント面、回転軸、回転角度の入力に従いピント面が設定されたことになる。ステップＳ２６５では、深度入力部１０１ｃの出力に基づいて、制御部１０９が、深度入力があるかどうかの条件分岐を行う。ＹＥＳの場合にはステップＳ２６６へと進む。ＮＯの場合にはステップＳ２６６を飛ばしてステップＳ２６７へと進む。ステップＳ２６６では、画像合成部１０７が、入力された深度入力に基づいて、後述する加算合成画素数を設定する。加算合成画素数により合成される画像データの深さが変化する。ステップＳ２６７では、画像合成部１０７が、設定されたピント面を得る再構成面および設定された加算合成画素数（深度）にて像生成処理を行い、合成画像データを得る。ステップＳ２６８では、表示部１０８が、表示画像をステップＳ２６７で得た合成画像データへと更新する。

以上が本発明の処理の流れである。

本実施例の画像処理装による画像処理を行うためには、画像データが光線の位置に加えて角度の情報を有することが必要である。図３は、被写体空間の視差を有する画像データを取得するための撮影光学系の例を示す図である。本撮影光学系においては、結像面近傍にマイクロレンズアレイ３０１を配置するとともに、マイクロレンズアレイ３０１を構成する１つのレンズ３１１に対して複数の画素を対応させて配置することで、角度情報を取得している。

図３（ａ）は、撮像素子３０２とマイクロレンズアレイ３０１の関係を模式的に示す図である。図３（ｂ）は、撮像素子３０２の画素とマイクロレンズアレイ３０１の対応を模式的に示す図である。図３（ｃ）は、マイクロレンズアレイ３０１によってマイクロレンズアレイ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図３（ａ）は、撮像装置の正面からと側面から見たマイクロレンズアレイ３０１を示している。正面から見ると、マイクロレンズアレイ３０１のマイクロレンズ３１１が撮像素子３０２上の画素を覆うように配置されている。なお、見易さのために、各マイクロレンズ３１１の大きさを誇張して大きく記載しているが、実際には画素の数倍程度の大きさである。図３（ｂ）は図３（ａ）のマイクロレンズアレイ３０１の一部の拡大図であり、格子状の枠が撮像素子３０２の各画素を示し、太線の円がマイクロレンズアレイ３０１を構成する各マイクロレンズ３１１を示す。マイクロレンズ１つに対して複数の画素が割り当てられており、図の例では５行×５列の２５個の画素が１つのマイクロレンズに対して設けられている。そのため各マイクロレンズの大きさは画素の大きさの５×５倍である。この２５個の画素の出力を加算合成したものを加算合成画素２５０と呼ぶことにする。

図３（ｃ）において、図の右側にある図は、撮像素子３０２を、マイクロレンズの光軸を含みセンサの短手方向が図の縦方向になるように切断したときの断面図である。図３（ｃ）の３２１、３２２、３２３、３２４、３２５は撮像素子３０２の各画素（１つの光電変換部）を示している。一方、図３（ｃ）の左側にある図は、撮影光学系の射出瞳面を示している。実際には、図３（ｃ）の右側にあるセンサの図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変えている。図３（ｃ）では簡単のため、１次元の投影／信号処理について説明する。実際の装置では、２次元に拡張される。図３（ｃ）の画素３２１、３２２、３２３、３２４、３２５は、図３（ｂ）の３２１ａ、３２２ａ、３２３ａ、３２４ａ、３２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズ３１１によって各画素は撮影光学系の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素３２１と射出瞳面上の領域３３１が、画素３２２と領域３３２が、画素３２２３と領域３３３が、画素３２４と領域３３４、画素３２５と領域３３５がそれぞれ対応している。すなわち画素２２１には撮影光学系の射出瞳面上の領域３３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２０２上の位置関係から角度の情報を取得することが可能となる。

ここで、１つのマイクロレンズ３１１とその配下の画素は１つのカメラと同じと考えることができ、マイクロレンズアレイ３０１と撮像素子３０２は多数のカメラで構成される視差を有するカメラアレイシステムでもある。前述した各画素に入射する光束の位置と角度の情報を有する画像データは、被写体空間の視差を有する画像データでもある。そのため、より画素の多い一般的なカメラをアレイとして配する多眼カメラシステムにおいても、同様に被写体空間の視差を有する画像の取得が可能である。

次に図４を用いて像シフト方法と像生成方法について述べる。尚、同図においては、図３と同じ部分は図３と同じ符号を付して示す。

３０１はマイクロレンズアレイを、４４１は撮像面の位置を、４４２は撮像面に配置された画素の列を示している。４４３は再構成面の位置を示しており、撮像面４４１における画素列４４２の情報から作り出す仮想面である。この仮想面を作り出す処理がリフォーカスである。

一つの加算合成画素２５０は、図３（ｂ）に示したように、２次元に配置されている。図４では説明の都合上、撮像面を側面からみた５行１列の１次元配列が示されているが、紙面に垂直な方向（Ｘ軸方向）にも同様の配列が配置され、５×５のような配置となっている。５行１列の画素配列の場合、例えば、撮像面の加算合成画素４５０ａにおいては、各マイクロレンズ下の画素１、２、３、４、５を加算することで入射した光の角度方向の積分を行い、加算合成画素出力を得る。この処理をマイクロレンズ３１１毎に順次行うことで通常のカメラと同様の像が生成される。この場合の生成画像の単位画素は、加算合成画素となる。図３を用いて説明したように、瞳面上の通過領域と撮像素子３０２上の位置関係から角度情報の取得が可能となるので、その入射角度に応じたシフト量で画素情報をシフトさせて加算することで、一度の撮影から任意の再構成面での像を作り出すことが可能になる。例えば、再構成面４４３に示すピント位置での画像を再構成するには次のように処理を行う。図４において、各マイクロレンズから撮像面４４１を通り、再構成面４４３の加算合成画素２５０ｂ（斜線部）の各画素２、５、３、１、４につながる線と交差する撮像面での画素を加算する。即ち、マイクロレンズ下の撮像面における画素２、３、４と、一方の側に隣接するマイクロレンズ下の画素１と、一方の側に隣接するマイクロレンズ下の画素５の出力に対しそれぞれ重み付係数１を掛けて加算する。これを各マイクロレンズに対して順次加算処理を行ことで、再構成画像の単位画素を生成することができる。同様な処理を再構成面４４３より後ろ側にある不図示の再構成面や、マイクロレンズ手前にある不図示の再構成面に対して行うことで、異なるリフォーカス像を生成することも可能である。このように各再構成面に対応するように画像情報をシフトさせることを像シフトと呼び、撮像面または再構成面で、画素加算により加算合成画素４５０を生成することを像生成と呼ぶこととする。また、例えば画素加算時にあるマイクロレンズ下の加算合成成画素のうち画素３の出力のみの重み付け係数を１とし、その他の画素の重み付け係数を０として画素加算をすれば、瞳の絞った画像を得ることができ、画像の被写界深度を深くすることができる。

前述の像シフト方法を踏まえ、図５を用いて本実施例に特徴的な傾斜した再構成面での像シフト方法および像生成方法について述べる。同図において、図４と同じ要素は同じ符号を付して示す。

傾斜した再構成面での像シフト方法も基本的には、前述した像シフト方法と同様の方法である。傾斜した再構成面における加算合成画素４５０ｃの各画素につながる、撮像面での画素出力を加算合成すればよい。例えば、加算合成画素４５０ｃにおける画素４４２ｂは、撮像面４４１上の画素４４２ａに対応する。このように傾斜した仮想面を設定し、画素をたどって加算合成することで、傾斜した再構成面での像生成を行うことができる。

本実施例においては、回転軸を設定するピント面、ピント面の回転軸、ピント面の回転角度という手順で指定を行うことは前述した。リフォーカス処理においては、前記ピント面を得るために、対応する再構成面を手順にそって設定することになる。図５では、回転軸を設定するピント面となる再構成面が撮像面４４１に、ピント面の回転軸に対応する再構成面の回転軸が５００に、ピント面の回転角度に対応する再構成面の回転角度が５０１に相当する。本実施例では、これら３つのパラメータを指定して再構成面つまりピント面を決定する。

次に図６を用いて、撮像面および再構成面とピント面、レンズ面の関係について説明する。これら面の関係性はいわゆるシャインプルーフの原理に従う。図６を用いて面の議論を行うが、簡単のため各面は紙面奥行き方向（Ｘ軸方向）と平行であるとする。

一般的な撮影光学系において撮像面とレンズ面、ピント面の関係は、撮像面１とレンズ面、ピント面１のように平行な関係にある。いま、レンズ面に対して撮像面２のように撮像面を傾けることを考える。この時、対応するピント面２とレンズ面、撮像面２のそれぞれを延長した面は、図６に示すように１つの線上の１点で交わる。この関係はシャインプルーフの原理と呼ばれる。チルトレンズにおいてレンズをチルトさせると、レンズ面と撮像面の平行関係が崩れ撮像面に対して斜めのピント面を持つ画像を得ることができる。

前述した像シフトを行いレンズ面に対して傾いた再構成面を設定することはレンズをチルトさせることに相当し、これによりシャインプルーフの原理に従った斜めのピント面を得ることができる。そのため、図６における撮像面を再構成面に置き換えて同様のことを考えることができる。またシャインプルーフの原理を踏まえることで、所望のピント面から逆を辿って必要な再構成面を設定することもできる。

本実施例においてピント面を、回転軸を設定するピント面、ピント面上の回転軸、ピント面の回転角度を指定することで設定することは前述のとおりである。図６では、所望のピント面を先に決め、そのピント面を得るために必要な再構成面を設定する。例えば、ピント面１を、回転軸を設定するピント面と考え、ピント面１上の回転軸Ａ２を設定し、回転角度θ２を設定する。そして、前記手順において、順次再構成面側での設定を行う。回転軸を設定するピント面であるピント面１に対応する面として再構成面１を設定し、回転軸Ａ２に対応する回転軸Ａ１を設定する。そして、回転角度θ２に対応する回転角度θ１を設定することで、再構成面２を設定することになる。ここで、回転軸を設定するピント面はレンズ面に対して平行な面を例にとったが、もともと傾いている面でもよい。

ピント面を設定し、そのピント面を得るための再構成面（即ち、回転角度θ１）の導出方法を述べる。ピント面Ｄ１、Ｄ２の関係は、レンズ焦点距離に基づいた一般的な結像公式に沿うため、Ｄ１からのＤ２導出については割愛する。また、回転軸と光軸との距離（像高）Ｈ１、Ｈ２の関係についても、同様に焦点距離から縦倍率として求めることができるため、ここでは割愛をする。回転角度θ１、θ２の関係は、光軸から交差線までの距離Ｌで考えることができる。距離Ｌはピント面側、撮像面側それぞれの幾何関係から、Ｌ＝Ｄ１／ｔａｎ（θ１）＝Ｄ２／ｔａｎ（θ２）と表現することができる。この関係から、θ１はＤ１、Ｄ２、θ２の式として以下のように求めることができる。

次に、図７を用いて、ピント面をユーザインタフェース上で指定する方法について説明する。同図において、図１と同じ要素は同じ符号を付して示す。

同図において、７０１は図２にて構成を説明した再生装置であり、上述した画像処理構成に従って生成した合成画像を表示部１０８に表示する。本画像再生装置は、表示部１０８に複数点入力できる点入力部（いわゆるマルチタッチスクリーン）と、不図示の角度センサである角度入力部、深度入力部により構成される入力系Ａを備えている。

まず、図７（ａ）に示されているように、例えば人差し指で画像の１点を指定することで、表示部１０８上の１つの座標７０３を入力する。この操作は図１における点入力部１０１ａへの点入力と、入力操作判定部１０２における１点入力の判定と（Ｓ２４１）、回転軸設定ピント面の設定部１０３への１点入力情報の出力に対応する（Ｓ２４２）。図７（ａ）では、これにより７０３上の被写体にピントのあう光軸と直行するピント面が一度ピント面として指定され、画像合成された合成画像データが表示画像として更新される。これは図１における、回転軸設定ピント面の設定部１０３から画像合成部１０７への再構成面情報の出力と、画像合成部１０７での画像合成、表示部１０８への合成画像データの出力と合成画像データの表示に対応する（Ｓ２４３乃至Ｓ２４４）。そして図７（ａ）では、表示部１０８に表示されている画像のピント面が、回転軸を設定さるピント面となる。これは図１における回転軸設定ピント面の設定部１０３における軸設定面の設定に対応する（Ｓ２４５）。

次に、図７（ｂ）にて両手親指で画面上の２点を指定することで、表示部１０８上の２つの座標７０４を入力する。これは図１における点入力部１０１ａへの点入力、入力操作判定部１０２での２点入力の判定に対応する（Ｓ２６１）。これにより、図７（ａ）で指定された再構成画面上に２点７０４が射影された２点を通る直線７０５が、ピント面の回転軸として指定される。これは、図１における回転軸設定部１０４での回転軸の設定に対応する（Ｓ２６２）。

次に、図７（ｃ）に示すように、２つの座標７０４を入力した状態で、画像再生装置７０１そのものを、例えば状態７０６ａから状態７０６ｂへと矢印７０８の方向に傾けることで、角度７０７を入力する。画像再生装置７０１は、装置の姿勢を検出する不図示の角度検出センサを有しており、装置を回転させる操作を行うと操作前後での相対角度が角度７０７として検出される。これは図１における角度検出部１０１ｂでの角度検出に対応する（Ｓ２６３）。この角度検出情報から、ピント面の回転角度が設定されるのは前述の通りである（Ｓ２６４）。

そして、設定されたピント面の回転軸および回転角度に基づき入力操作後のピント面が設定され（Ｓ２６４）、このピント面を得る再構成面にて合成画像が生成される。合成画像は表示画像７０２として更新される（Ｓ２６８）。なお、２つの座標７０４の入力のない状態で画像再生装置７０１を傾けた時に角度入力が行われてしまうと、使用者の意識しない入力がされてしまう恐れがある。使用者が入力を意識的に行うために、２つの座標７０４の入力がされている時だけ、角度７０７の入力が受け付けられることが好ましい。また、この例では側面図を用いて説明する都合上、水平の回転軸を設定しているが、当然ながら回転軸は鉛直であってもいいし、垂直や鉛直に対して斜めであっても構わない。なお、このように回転軸を設定した場合は、各場合に対して、後述する深度入力の操作方法が操作上明確に区別されて、他の操作による入力情報と混同を生じないように設定する。

図７（ｄ）を参照して、図７（ａ）から図７（ｃ）の操作を行うことで生成される画像データについて説明する。図７（ｄ）の左側にある図は、生成される画像データが表示部１０８に表示されている画像再生装置７０１の斜視図である。同図において、７１０は表示画像であり、建物や人物などを斜め上空から俯瞰するように撮影した画像を例としている。表示画像７１０内に示されるドットは画像のボケ量を模式的に表現したもので、ドットのない領域はボケがないピントが合っている状態を、ドットのある領域はボケがある状態を、またドットが大きければ大きいほどボケ量が大きい状態を表現している。図７（ｄ）の右側にある図は、横軸をデフォーカス量にとり、縦軸を表示画像上において回転軸７０５と直交する座標Ｙｎにとったグラフである。７２０は簡単のために表示画像の建物や人物を無視した地面のデフォーカス量を示している。

図７の操作例では、ピントを合わせる被写体の座標７０３と、回転軸７０５が近傍に位置して設定されている。回転軸７０５の近傍の領域は再構成面の変更の前後においてピント状態の変化がないため、もともとピントの合っている回転軸７０５の近傍領域７１１は、更新された合成画像においてもピントの合った状態（デフォーカス量＝０）になる。直線的な地面を考えているので、回転軸７０５から遠ざかれば遠ざかるほどデフォーカス量が増えボケ量の多い領域となる。ボケのない近傍領域７１１から領域７１２ａ、７１２ｂになるにつれてボケが生じ始め、それぞれ矢印７１３ａ、７１３ｂに行けばいくほどボケ量が増加する。

また、図７（ｄ）の右側にあるグラフにおいて、デフォーカス量が正の値の領域７１２ａは、表示画像７１０のピント面より奥方向に被写体が存在し、デフォーカス量が負の値の領域７１２ｂは表示画像７１０のピント面より手前方向に被写体が存在する。このことを考慮して、図７（ｄ）の合成画像から全体にピントの合った画像へとピント面を変更したい時の操作を考える。図７（ｃ）の矢印７０８の反対方向へ画像再生装置７０１を回転させると、領域７１２ａでデフォーカス量が減少し、領域７１２ｂでデフォーカス量が増加するようにピント面の回転方向を設定すると操作が理解しやすい。この時、意図的に回転軸７０５の近辺のみにピントの合うジオラマ写真のような効果を強めたい場合には、矢印７０８方向へと画像再生装置７０１を回転させればよい。そうすれば、領域７１２ａでデフォーカス量が増加し、７１２ｂでデフォーカス量が減少するため、所望の効果を得ることができる。このように、ピント面の回転軸と回転角度を、上記グラフの直線の変化（回転）に対応させた画像再生装置の所定の操作により入力することで、操作との対応を理解しやすいピント面の入力が実現できる。

図４を用いた説明で、瞳の絞ったいわゆる深度の深い画像を取得するための画素加算について述べたが、ここで図８を用いて、深度情報の入力操作について説明する。同図において、図７と同じ要素は、同じ符号を付して示す。

深度入力を行う方法については複数の手法が考えられるが、前述した回転軸を設定するピント面の入力、ピント面の回転軸の入力、ピント面の回転角度の入力の操作方法と適切に分離した操作方法を割り振ることが必要となる。

図８（ａ）に示す方法は、画像再生装置７０１そのものを揺らす方法である。画像再生装置７０１には不図示の振動センサが搭載されており、画像再生装置７０１を揺らすと深度のより浅い画像へと表示画像が順次更新される。そして設定可能な最も浅い深度に達してなお揺らすと深度の最も深い画像へとリセットされる。このようにすることで、前述したピント面、回転軸、回転角度の入力操作と適切に区別される操作を、深度情報の入力に振り分けることができる。

図８（ｂ）に示す方法は、再構成面の生成における角度入力と異なる回転軸での回転を深度の入力操作に振り分ける方法である。再構成面のための角度入力の操作では、前述したように回転軸を決める２点７０４を入力し、回転軸７０５を中心に画像再生装置７０１そのものを回転させた。それに対して、回転軸７０５に直角な、表示部１０８での表示画像上の軸７３０の周りに回転させることで深度入力を行う。一つの方向を深度が浅くなる方向、他の方向を深度が深くなる方向として割り振ることで直感的な深度入力操作が可能となる。

図８（ａ）および図８（ｂ）での操作は、図１での深度入力部１０１ｃへの入力、１０１ｃから画像合成部１０７への出力、１０７での画像合成と表示部１０８への出力、１０８での表示画像の更新を１度又は繰り返し行う操作に対応する（Ｓ２６５乃至Ｓ２６８）。

以上の様に、本実施例に拠れば、ライトフィールド画像データのリフォーカス処理において、レンズ面に対し傾いたピント面の直感的指定方法が実現される。また、本発明の画像処理装置は、それを適用する装置の周辺機器を、上記実施例のタッチパネルに代わり、ピント面の設定情報の入力構成として適宜設定することで、より広範囲の種類の装置でリフォーカス画像の再生を実現することを可能にする。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (14)

1. ライトフィールドデータを再構成して所定の再構成面における画像データを生成する画像処理装置において、
   前記ライトフィールドデータに基づく画像を表示部に表示する表示制御手段と、
   前記表示部に設けられたタッチパネルへのユーザからのタッチ操作を入力情報として、回転軸に対応する第１の入力情報を取得する第１の入力手段と、
   回転角度に対応する第２の入力情報を取得する第２の入力手段と、
   前記第１の入力情報に基づいて前記回転軸を決定し、および前記第２の入力情報に基づいて前記回転角度を決定することで、前記回転軸を中心に前記回転角度分回転させた面で前記再構成面を設定する再構成面設定手段と、
   前記ライトフィールドデータから前記再構成面設定手段により設定された前記再構成面における前記画像データを生成する生成手段と、を備え、
   前記第１の入力情報は、前記タッチ操作により指定された２点の位置の情報を含み、
   前記再構成面設定手段は、前記第１の入力情報に基づいて、前記２点を結ぶ線上に前記回転軸を決定することを特徴とする画像処理装置。
2. 前記第２の入力手段は、前記画像処理装置の角度を検出する角度センサの出力に基づいて、前記第２の入力情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記タッチパネルはマルチタッチディスプレイであり、前記タッチ操作により２点入力がなされたことに応じて前記第１の入力手段により前記第１の入力情報が取得されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の入力手段は、前記タッチ操作による２点入力がなされている状態であるときだけ前記第２の入力情報を受け付けることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記タッチ操作による１点入力を入力情報として、該１点入力の位置の被写体にピントの合う、光軸に垂直な前記再構成面を設定するための第３の入力情報を取得する第３の入力手段を有することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 被写界深度に対応する第４の入力情報を取得する第４の入力手段を有し、
   前記生成手段は、前記第４の入力情報に基づいた被写界深度の再構成画像を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２の入力手段は、前記画像処理装置の角度を検出する角度センサからの、第１の方向の角度の出力に基づいて前記第２の入力情報を取得し、
   前記第４の入力手段は、前記角度センサからの前記第１の方向と異なる第２の方向の角度の出力に基づいて前記第４の入力情報を取得することを特徴とする請求項６に記載の画像処理装置。
8. 前記ライトフィールドデータは異なる複数の視点で撮像された画像であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記生成手段は、前記ライトフィールドデータの各画素を各画素の入射角度に応じてシフトさせて合成することで、前記再構成面設定手段で設定された前記再構成面における前記画像データを生成することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. ライトフィールドデータを再構成して所定の再構成面における画像データを生成する画像処理装置の制御方法において、
    前記ライトフィールドデータに基づく画像を表示部に表示する表示制御ステップと、
    前記表示部に設けられたタッチパネルへのユーザからのタッチ操作を入力情報として、回転軸に対応する第１の入力情報を取得する第１の入力ステップと、
    回転角度に対応する第２の入力情報を取得する第２の入力ステップと、
    前記第１の入力情報に基づいて前記回転軸を決定し、および前記第２の入力情報に基づいて前記回転角度を決定することで、前記回転軸を中心に前記回転角度分回転させた面で前記再構成面を設定する再構成面設定ステップと、
    前記ライトフィールドデータから前記再構成面設定ステップにより設定された前記再構成面における前記画像データを生成する生成ステップと、を備え、
    前記第１の入力情報は、前記タッチ操作により指定された２点の位置の情報を含み、
    前記再構成面設定ステップでは、前記第１の入力情報に基づいて、前記２点を結ぶ線上に前記回転軸を決定することを特徴とする画像処理装置の制御方法。
11. ライトフィールドデータを再構成して所定の再構成面における画像データを生成する画像処理装置を制御するプログラムであり、
    コンピュータを、
    前記ライトフィールドデータに基づく画像を表示部に表示する表示制御手段と、
    前記表示部に設けられたタッチパネルへのユーザからのタッチ操作を入力情報として、回転軸に対応する第１の入力情報を取得する第１の入力手段と、
    回転角度に対応する第２の入力情報を取得する第２の入力手段と、
    前記第１の入力情報に基づいて前記回転軸を決定し、および前記第２の入力情報に基づいて前記回転角度を決定することで、前記回転軸を中心に前記回転角度分回転させた面で前記再構成面を設定する再構成面設定手段と、
    前記ライトフィールドデータから前記再構成面設定手段により設定された前記再構成面における前記画像データを生成する生成手段と、を備え、
    前記第１の入力情報は、前記タッチ操作により指定された２点の位置の情報を含み、
    前記再構成面設定手段は、前記第１の入力情報に基づいて、前記２点を結ぶ線上に前記回転軸を決定する画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１１のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
13. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
14. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。

Images