JP5962092B2 - 画像処理装置と画像処理方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法に関し、容易に立体視の方向を自由に変えることができるようにする。

従来、配管内や体腔内を観察するために内視鏡が広く用いられている。内視鏡は、可撓性を有する挿入部を屈曲した配管内や体腔内等に挿入することで内部を観察できる軟性内視鏡、硬性の挿入部を目的部位に向けて直線的に挿入することで内部を観察できる硬性内視鏡がある。

軟性内視鏡は、例えば先端の撮像光学系でとらえた光学像を光ファイバで接眼部に伝達する光学式内視鏡や、先端に撮像光学系と撮像素子を設けて撮像光学系でとらえた被写体光学像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡がある。硬性内視鏡は、先端からレンズ系を繋いで構成されているリレー光学系によって被写体光学像が接眼部に伝達される。

さらに、内視鏡では、配管内や体腔内等の内壁表面の微細な凹凸の観察を容易とするため立体視内視鏡が実用化されている。例えば引用文献１では、リレー光学系により伝達された被写体光学像を、リレー光学系の光軸を中心に、瞳分割プリズムで左被写体光学像および右被写体光学像に分割する。さらに、瞳分割プリズムで分割された左被写体光学像および右被写体光学像を、それぞれ撮像素子で画像信号に変換する。また、回転機構によって、リレー光学系の光軸を中心として瞳分割プリズムおよび二つの撮像素子を回転させる。このように内視鏡を構成することで、内視鏡を動かさなくとも立体視の方向を自由に変えることができる。

特開平０６−０５９１９９号公報

ところで、リレー光学系の光軸を中心に瞳分割プリズムで左被写体光学像および右被写体光学像に分割する構成や、リレー光学系の光軸を中心として瞳分割プリズムおよび二つの撮像素子を回転させる構成を用いた場合、内視鏡の光学系等が大きく小型化が困難である。また、機械的に瞳分割プリズムおよび二つの撮像素子を回転させることから、画像の回転で故障等が生じやくなってしまうおそれがある。また、機械的な回転機構を用いることから、簡単に精度よく調整を行うことができない。さらに、組立誤差、経年変化、温度変化等の影響を補償するために、キャリブレーションが必要となる。

そこで、この技術では、容易に立体視の方向を自由に変えることができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、視点の異なる複数の視点画像から視点情報に応じて視点画像の選択を行う画像選択部と、前記画像選択部で選択した視点画像を加算して、新たな視点の視点画像を生成する加算処理部と、前記新たな視点の視点画像に対し、前記視点画像の選択に応じたゲイン調整を行うゲイン調整部とを備える画像処理装置にある。

この技術においては、視点の異なる複数の視点画像、例えば撮像部の撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報から視点の異なる複数の視点画像か生成される。また、この視点の異なる複数の視点画像から、視点回転角に応じて設定された複数の視点領域、例えば左眼画像の視点領域と右眼画像の視点領域に含まれる視点の視点画像が領域毎に画像選択部で選択される。領域毎に選択された視点画像は、加算処理部で領域毎に加算されて、新たな視点の視点画像例えば左眼画像と右眼画像が生成される。また、全ての視点画像が選択されて、または左眼画像と右眼画像の視点領域に含まれる視点の視点画像が選択されて、選択された視点画像を加算することで平面画像が生成される。さらに、左眼画像の視点領域と右眼画像の視点領域の間隔を制御することで、左眼画像と右眼画像の視差量の調整が行われる。

視点画像を加算して生成された新たな視点の視点画像に対しては、加算した視点画像の数に応じたゲイン調整、すなわち加算した視点画像の数が少なくなるに応じてゲインを高く設定するゲイン調整が行われて、加算した視点画像の数の相違による影響が排除される。さらに、新たな視点の視点画像に対して、視点回転角に応じて画像回転処理を行うことで、新たな視点の視点画像が視点回転角に応じた向きとされる。

視点回転角の設定は、例えば重力方向または初期方向のいずれかに対する撮像部の角度、または撮像部で撮像された画像を回転したときに基準画像と最も類似する画像となる角度、またはユーザが指定した角度が視点回転角として設定される。また、視点の異なる複数の視点画像の符号化処理を行うことにより生成されている符号化信号の復号処理を行う画像復号部が設けられて、符号化信号の復号処理を行うことにより得られた視点の異なる複数の視点画像の画像信号を用いて、新たな視点の視点画像の生成も行われる。

この技術の第２の側面は、視点の異なる複数の視点画像から視点情報に応じて視点画像の選択を行う工程と、前記選択した視点画像を加算して、新たな視点の視点画像を生成する工程と、前記新たな視点の視点画像に対し、前記視点画像の選択に応じたゲイン調整を行う工程とを含む画像処理方法にある。

この技術によれば、視点の異なる複数の視点画像から視点回転角に応じて視点画像の選択が行われて、選択された視点画像を加算することで、新たな視点の視点画像が生成される。したがって、視点回転角を変化させれば、視点回転角に応じて選択された視点画像を加算して左眼画像と右眼画像を生成することで、容易に立体視の方向を自由に変えることができるようになる。

内視鏡を示した図である。 画像処理装置を適用した内視鏡装置の構成を例示した図である。 ライトフィールドカメラの構成を例示した図である。 複数の視点画像についての説明図である。 視点の配置を例示した図である。 視点１画像処理部の構成を例示した図である。 画像選択部の構成を例示した図である。 視点回転角設定部の構成を例示した図である。 内視鏡における画像処理動作の一部を示すフローチャートである。 回転角と画像選択部で選択される視点画像の関係（視点数「２５６」の場合）を例示した図である。 回転角と画像選択部で選択される視点画像の関係（視点数「１６」の場合）を例示した図である。 内視鏡の構成を例示した図である。 内視鏡の動作の一部を示すフローチャートである。 画像処理装置の構成を例示した図である。 画像処理装置の動作を例示したフローチャートである。 視点を左右方向に回転させる場合の動作を例示した図である。 視差調整を行う場合の動作を例示した図である。 視点を４つのグループとする場合の図である。 視点を８つのグループとする場合の図である。 ２Ｄ加算処理部を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．他の実施の形態

＜１．第１の実施の形態＞
［１−１．内視鏡の外観］
図１は、内視鏡を示している。図１の（Ａ）は硬性内視鏡の外観、図１の（Ｂ）は軟性内視鏡の外観、図１の（Ｃ）はカプセル内視鏡の内部構成を示している。

硬性内視鏡は、観察対象内に挿入される挿入部１１ａとユーザが把持する把持部１２および撮像部２３を備えている。挿入部１１ａはイメージガイドシャフトと照明導光用ファイバを備えている。後述する光源部から出射された光は照明導光用ファイバおよび挿入部１１ａの先端に設けられた撮像レンズを介して観察対象に照射される。また、観察対象からの被写体光は、撮像レンズおよびイメージガイドシャフト内のリレー光学系を介して撮像部２３に入射される。

軟性内視鏡も硬性内視鏡と同様に、観察対象内に挿入される挿入部１１ｂとユーザが把持する把持部１２および撮像部２３を備えている。軟性内視鏡の挿入部１１ｂは、可撓性を有しており先端に撮像光学系２２や撮像部２３が設けられている。

カプセル内視鏡は、例えば筐体１３の内部に、光源部２１、撮像光学系２２、撮像部２３、後述する種々の信号処理を行う処理部９１、処理後の画像信号の送信等を行うための無線通信部９２、電源部９３等が設けられている。

［１−１．内視鏡装置の構成］
図２は、本技術の画像処理装置を適用した内視鏡装置の構成を例示している。内視鏡装置１０は、光源部２１、撮像光学系２２、撮像部２３、画像分割部２４、視点１〜視点ｎ画像処理部３０-1〜３０-n、画像選択部６１を有している。さらに、内視鏡装置１０は、加算処理部７１Ｌ，７１Ｒ、ゲイン調整部７２Ｌ，７２Ｒ、画質向上処理部７３Ｌ，７３Ｒ、回転処理部７４Ｌ，７４Ｒ、ガンマ補正部７５Ｌ，７５Ｒ、視点回転角設定部８１を有している。

光源部２１は、照明光を観察対象に出射する。撮像光学系２２は、フォーカスレンズやズームレンズ等で構成されており、照明光が照射された観察対象の光学像（被写体光学像）を撮像部２３に結像させる。

撮像部２３は、入射光の光量情報だけでなく入射光の経路情報（入射光の方向）を含む光線情報（ライトフィールドデータ）を記録できるライトフィールドカメラが用いられている。

図３は、ライトフィールドカメラの構成を例示している。ライトフィールドカメラは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の画像センサ２３１の直前に、マイクロレンズアレイ２３０が設けられている。

マイクロレンズアレイ２３０は、撮像光学系２２の焦点面ＦＰの位置に設置されている。また、撮像光学系２２の位置は、マイクロレンズアレイ２３０のマイクロレンズに対して無限遠とみなせる距離とされている。画像センサ２３１は、センサ面がマイクロレンズアレイ２３０からマイクロレンズの焦点距離ｆmcだけ後方側（撮像光学系２２とは逆側）の位置となるように設置されている。画像センサ２３１とマイクロレンズアレイ２３０の各マイクロレンズ２３０１は、各マイクロレンズ２３０１に対して画像センサ２３１の複数画素が含まれるように構成されている。

このような構成のライトフィールドカメラでは、マイクロレンズ２３０１を介して画素に入射する入射光は、入射方向に応じて画素位置が変化する。したがって、ライトフィールドカメラを用いることにより、入射光の光量情報と経路情報を含む光線情報を生成できる。

また、ライトフィールドカメラでは、各マイクロレンズ２３０１に対して画像センサ２３１の複数画素が含まれるように構成されていることから、視点の位置が異なる複数の視点画像を得ることができる。

図４は、複数の視点画像についての説明図である。光線情報を利用して視点画像を生成する場合、マイクロレンズ毎に視点と画素の関係を予め算出しておく。例えば、撮像光学系２２における視点ＶＰを介してマイクロレンズ２３０１-aに入射した入射光が、いずれの画素に入射するか算出しておく（図４では、画素２３１-avpに入射する場合を示している）。同様に、視点ＶＰを介してマイクロレンズ２３０１-bに入射した入射光についても、いずれの画素に入射するか算出しておく（図４では、画素２３１-bvpに入射する場合を示している）。また、他のマイクロレンズ２３０１についても、視点ＶＰを通過した入射光が入射する画素位置を予め算出しておく。このように、視点ＶＰを介してマイクロレンズに入射した入射光がいずれの画素位置に入射するか算出しておけば、視点ＶＰに対応する画素の画素信号をマイクロレンズ２３０１毎に読み出すことで、視点ＶＰの視点画像を生成できる。

ここで、マイクロレンズあたり１６×１６画素が含まれると、１つのマイクロレンズについて視点の位置が異なる「２５６」の視点画像の画素信号を得ることができる。また、マイクロレンズの数は、各視点画像の画素数に等しく、例えば、１０２４×１０２４のマイクロレンズアレイの場合、各視点画像は１０２４×１０２４画素の画素となり、撮像素子の全画素数は、１６ｋ×１６ｋ＝２５６Ｍとなる。

同様に、マイクロレンズあたり８×８画素が含まれると、１つのマイクロレンズについて視点の位置が異なる「６４」の視点画像の画素信号を得ることができる。また、マイクロレンズの数は、各視点画像の画素数に等しく、例えば、１０２４×１０２４のマイクロレンズアレイの場合、各視点画像は１０２４×１０２４画素の画素となり、撮像素子の全画素数は、８ｋ×８ｋ＝６４Ｍとなる。

マイクロレンズあたり４×４画素が含まれると、１つのマイクロレンズについて視点の位置が異なる「１６」の視点画像が得られる。また、マイクロレンズの数は、各視点画像の画素数に等しく、例えば、１０２４×１０２４のマイクロレンズアレイの場合、各視点画像は１０２４×１０２４画素の画素となり、撮像素子の全画素数は、４ｋ×４ｋ＝１６Ｍとなる。

なお、後述する内視鏡における画像処理動作では、図５の（Ａ）に示すように１６×１６視点（視点１〜視点２５６）の場合、および図５の（Ｂ）に示すように４×４視点（視点１〜視点４）の場合について説明する。

画像分割部２４は、撮像部２３で生成された光線情報を視点毎に分割して複数の視点画像の画像信号を生成する。画像分割部２４は、例えば視点１画像〜視点ｎ画像の画像信号を生成する。画像分割部２４は、視点１画像の画像信号を視点１画像処理部３０-1に出力する。同様に、画像分割部２４は、視点２（〜ｎ）画像の画像信号を、視点２（〜ｎ）画像処理部３０-2（〜ｎ）に出力する。

視点１画像処理部３０-1〜視点ｎ画像処理部３０-nは、画像分割部２４から供給された視点画像の画像信号に対して画像処理を行う。

図６は、視点１画像処理部の構成を例示している。なお、視点２画像処理部３０-2〜視点ｎ画像処理部３０-nも視点１画像処理部と同様に構成される。

視点１画像処理部３０-1は、欠陥補正部３１、黒レベル補正部３２、ホワイトバランス調整部３３、シェーディング補正部３４、デモザイク処理部３５、レンズ歪補正部３６を有している。

欠陥補正部３１は、撮像素子の欠陥画素に対して信号補正処理を行い、補正後の画像信号を黒レベル補正部３２に出力する。黒レベル補正部３２は、画像信号の黒レベルを合わせるクランプ処理を行い、クランプ処理後の画像信号をホワイトバランス調整部３３に出力する。ホワイトバランス調整部３３は、入力画像上における白い被写体の赤，緑，青の各色成分が、白色の成分と等しくなるように画像信号のゲイン調整を行う。ホワイトバランス調整部３３は、ホワイトバランス調整後の画像信号をシェーディング補正部３４に出力する。

シェーディング補正部３４は、レンズの周辺光量落ちを補正して、補正後の画像信号をデモザイク処理部３５に出力する。デモザイク処理部３５は、撮像部２３で用いられている色フィルタの色配列に応じて、間欠配列で欠けている画素の色成分の信号を、その周囲の画素すなわち空間位相の異なる画素の信号を用いた補間によって作り出す。デモザイク処理部３５は、デモザイク処理後の画像信号をレンズ歪補正部３６に出力する。レンズ歪補正部３６は、撮像光学系２２で生じたディストーション等の補正を行う。

このように、視点１画像処理部３０-1は、視点１画像の画像信号に対して種々の補正処理や調整処理等を行い、処理後の画像信号を画像選択部６１に出力する。なお、視点１画像処理部３０-1〜視点ｎ画像処理部３０-nは、図６に示す構成順に処理を行う場合に限らす他の順序、他の処理の追加、または一部の処理を削除した構成であってもよい。

画像選択部６１は、視点の異なる複数の視点画像から視点回転角に応じて視点画像の選択を行う。画像選択部６１は、視点回転角設定部８１で設定された回転角に基づき、複数の視点領域、例えば左眼画像の視点領域と右眼画像の視点領域を設定して、設定した視点領域に含まれる視点の視点画像を領域毎に選択する。画像選択部６１は、左眼画像の視点領域に含まれる視点の視点画像を加算処理部７１Ｌ、右眼画像の視点領域に含まれる視点の視点画像を加算処理部７１Ｒに出力する。画像選択部６１は、図７に示すように、画像選択テーブル６１１とマトリクススイッチ部６１２を有している。画像選択テーブル６１１は、回転角に対応する画像選択情報をテーブル化して記憶している。画像選択情報は、回転角に応じた左眼画像と右眼画像の画像信号を加算処理部７１L，７１Ｒで生成するために、加算処理部７１L，７１Ｒで加算する視点画像の画像信号をマトリクススイッチ部６１２で選択するための情報である。画像選択テーブル６１１は、視点回転角設定部８１で設定された回転角に対応する画像選択情報をマトリクススイッチ部６１２に出力する。なお、画像選択部６１は、画像選択テーブル６１１に用いることなく、画像選択情報を回転角の設定毎に算出してマトリクススイッチ部６１２に出力するようにしてもよい。

マトリクススイッチ部６１２は、画像選択情報に基づきスイッチ切り替えを行い、視点１画像〜視点ｎ画像の画像信号から、回転角に応じた左眼画像を生成するための視点画像の画像信号を選択して加算処理部７１Ｌに出力する。また、マトリクススイッチ部６１２は、画像選択情報に基づきスイッチ切り替えを行い、視点１画像〜視点ｎ画像の画像信号から、回転角に応じた右眼画像を生成するための視点画像の画像信号を選択して加算処理部７１Ｒに出力する。

図２に戻り、加算処理部７１Ｌは、画像選択部６１から供給された視点画像を加算して左眼画像の画像信号を生成する。加算処理部７１Ｌは、生成した左眼画像の画像信号をゲイン調整部７２Ｌに出力する。加算処理部７１Ｒは、画像選択部６１から供給された視点画像を加算して右眼画像の画像信号を生成する。加算処理部７１Ｒは、生成した右眼画像の画像信号をゲイン調整部７２Ｒに出力する。

ゲイン調整部７２Ｌは、左眼画像の画像信号に対して回転角に応じたゲイン調整を行う。左眼画像の画像信号は、画像選択部６１で選択された画像信号を加算処理部７１Ｌで加算して生成されている。したがって、画像選択部６１で選択される視点画像の数が少ないと、画像信号の信号レベルが小さくなってしまう。したがって、ゲイン調整部７２Ｌは、左眼画像の画像信号の生成において加算される視点画像の数に応じてゲイン調整を行い、加算される視点画像の数の相違による影響を排除する。ゲイン調整部７２Ｌは、ゲイン調整後の画像信号を画質向上処理部７３Ｌに出力する。

ゲイン調整部７２Ｒは、右眼画像の画像信号に対して回転角に応じたゲイン調整をゲイン調整部７２Ｌと同様に行い、加算される視点画像の数に応じてゲイン調整を行い、加算される視点画像の数の相違による影響を排除する。ゲイン調整部７２Ｒは、ゲイン調整後の画像信号を画質向上処理部７３Ｒに出力する。

画質向上処理部７３Ｌは、クラス分類適応処理等によって画像の高画質化を行う。例えば、画質向上処理部７３Ｌは、鮮鋭度の改善やコントラストの改善、色の改善等を行うことで高画質の画像信号を生成する。画質向上処理部７３Ｌは、画質向上処理後の画像信号を回転処理部７４Ｌに出力する。

画質向上処理部７３Ｒは、画質向上処理部７３Ｌと同様にクラス分類適応処理等によって画像の高画質化を行い、画質向上処理後の画像信号を回転処理部７４Ｒに出力する。

回転処理部７４Ｌは、左眼画像の回転を行う。回転処理部７４Ｌは、回転角に基づき回転処理を行い、生成された左眼画像の向きを回転させる。回転処理部７４Ｌは、回転後の左眼画像の画像信号をガンマ補正部７５Ｌに出力する。回転処理部７４Ｒは、右眼画像の回転を行う。回転処理部７４Ｒは、回転角に基づき回転処理を行い、生成された右眼画像の向きを回転させる。回転処理部７４Ｒは、回転後の右眼画像の画像信号をガンマ補正部７５Ｒに出力する。

ガンマ補正部７５Ｌは、撮像画の画像表示を行う表示装置のガンマ特性に基づいた補正処理を左眼画像に対して行い、ガンマ補正された左眼画像の画像信号を表示装置等に出力する。ガンマ補正部７５Ｒは、撮像画の画像表示を行う表示装置のガンマ特性に基づいた補正処理を右眼画像に対して行い、ガンマ補正された右眼画像の画像信号を表示装置等に出力する。

視点回転角設定部８１は、左眼画像と右眼画像の生成時の視点回転角を設定する。図８は、視点回転角設定部の構成を例示している。視点回転角設定部８１は、ユーザＩ／Ｆ部８１１、回転角検出部８１２、重力方向検出部８１３、画像マッチング処理部８１４、回転角選択部８１５を有している。

ユーザインタフェース（Ｉ／Ｆ）部８１１は、操作スイッチ等を用いて構成されておりユーザ操作によって設定された回転角を回転角選択部８１５に出力する。

回転角検出部８１２は、初期位置に対する回転角を検出する。回転角検出部８１２は、例えばジャイロセンサ等の角度センサを備えており、撮像部２３の初期位置からの回転角を角度センサによって検出して、検出した回転角を回転角選択部８１５に出力する。

重力方向検出部８１３は、重力方向を検出する。重力方向検出部８１３は、例えば傾斜計や加速度センサ等を用いて構成されており、重力方向を検出する。また、重力方向検出部８１３は、重力方向に対する撮像部２３の角度を回転角として回転角選択部８１５に出力する。

画像マッチング処理部８１４は、撮像部２３で生成された光線情報を用いて２次元の撮像画像を生成する。また、画像マッチング処理部８１４は、生成した撮像画像と外部機器等から供給された基準画像に対して被写体検出を行う。さらに、画像マッチング処理部８１４は、撮像画像を回転させて、撮像画像から検出した所望の被写体が基準画像から検出した所望の被写体の位置に最も近くなる回転角を回転角選択部８１５に出力する。

回転角選択部８１５は、供給された回転角から例えばユーザ操作に応じてまたは内視鏡の動作設定に応じて回転角を選択することで回転角の設定を行う。視点回転角設定部８１は、設定した回転角を画像選択部６１と回転処理部７４Ｌ，７４Ｒに通知する。

なお、内視鏡装置の構成は図２に示す構成に限らず、例えば、画質向上処理部が設けられていない構成であってもよい。また、処理順序についても図２に示す構成に限らず、例えばゲイン調整の前に回転処理を行うことも可能である。また、後述する画像処理装置５０についても同様である。

［１−２．内視鏡装置における画像処理動作］
次に内視鏡装置における画像処理動作について説明する。図９は、内視鏡装置における画像処理動作の一部を示すフローチャートである。

光線情報を生成すると、ステップＳＴ１で内視鏡装置１０は、画像分割処理を行う。内視鏡装置１０は、マイクロレンズ毎に光線情報を視点毎に分割する処理を行うことで、視点毎に視点画像の画像信号を生成してステップＳＴ２に進む。

ステップＳＴ２で内視鏡装置１０は、視点画像処理を行う。内視鏡装置１０は、視点画像毎に画像信号の信号処理を行いステップＳＴ３に進む。

ステップＳＴ３で内視鏡装置１０は、回転角を設定する。内視鏡装置１０は、ユーザ操作に応じて設定された回転角、初期位置に対する回転角、重力方向に対する回転角、画像マッチングより検出された回転角等のいずれかを選択することで、回転角の設定を行いステップＳＴ４に進む。

ステップＳＴ４で内視鏡装置１０は、視点画像の選択を行う。内視鏡装置１０は、設定された回転角に応じた画像選択情報をテーブルから読み出して、または回転角の設定毎に画像選択情報を算出して、この画像選択情報に基づき、左眼画像の画像信号の生成に用いる視点画像と、右眼画像の画像信号の生成に用いる視点画像を選択する。

ステップＳＴ５で内視鏡装置１０は、加算処理を行う。内視鏡装置１０は、左眼画像を生成するために選択した視点画像を加算して、左眼画像の画像信号を生成する。また、内視鏡装置１０は、右眼画像を生成するために選択した視点画像を加算して、右眼画像の画像信号を生成して、ステップＳＴ６に進む。

ステップＳＴ６で内視鏡装置１０は、ゲイン調整を行う。内視鏡装置１０は、左眼画像と右眼画像を生成する場合に、加算する視点画像の数に応じて左眼画像や右眼画像の画像信号のゲイン調整を行う。すなわち、内視鏡装置１０は、加算する視点画像の数が少なくなるに伴いゲインを高くすることで、加算される視点画像の数の相違による影響を排除してステップＳＴ７に進む。

ステップＳＴ７で内視鏡装置１０は、画像回転処理を行う。内視鏡装置１０は、生成した左眼画像と右眼画像を回転角に応じた向きに回転させる。

次に、内視鏡装置における画像処理動作を具体的に説明する。図１０は、回転角と画像選択部で選択される視点画像の関係を例示している。なお、画像選択部６１の画像選択テーブル６１１は、回転角に応じて選択する視点画像を示す画像選択情報が記憶されている。また、図１０では、視点の数が「２５６」である場合を例示している。

回転角が「０度」の場合、画像選択部６１は、図１０の（Ａ）に示すように、領域ＡＬ-0に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-0に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「９０度」の場合、画像選択部６１は、図１０の（Ｂ）に示すように、領域ＡＬ-90に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-90に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「４５度」の場合、画像選択部６１は、図１０の（Ｃ）に示すように、領域ＡＬ-45に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-45に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「５３度」の場合、画像選択部６１は、図１０の（Ｄ）に示すように、領域ＡＬ-53に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-53に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

なお、図１０の（Ｃ）および（Ｄ）において、ハッチングのない視点は、左眼画像と右眼画像の生成に用いていない視点画像を示している。

図１１は、視点の数が「１６」である場合を例示している。回転角が「０度」の場合、画像選択部６１は、図１１の（Ａ）に示すように、領域ＡＬ-0に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-0に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「９０度」の場合、画像選択部６１は、図１１の（Ｂ）に示すように、領域ＡＬ-90に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-90に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「４５度」の場合、画像選択部６１は、図１１の（Ｃ）に示すように、領域ＡＬ-45に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-45に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

回転角が「５３度」の場合、画像選択部６１は、図１１の（Ｄ）に示すように、領域ＡＬ-53に含まれる視点の視点画像を選択して加算処理部７１Ｌに出力し、領域ＡＲ-53に含まれる視点の視点画像を選択して加算処理部７１Ｒに出力する。

このように、回転角に応じて視点画像の選択を行うと、選択された視点画像を加算して生成された左眼画像と右眼画像は、回転角に応じて視点が撮像光学系２２の光軸を中心として回転されている画像となる。

また、回転角に応じて視点画像を選択して加算する場合、加算する視点画像が少ないと、加算後の画像の信号レベルは小さい。そこで、ゲイン調整部７２Ｌ，７２Ｒは、加算する視点画像の数に応じてゲイン調整を行う。ここで、図１０の（Ａ），（Ｂ）に示す場合、領域ＡＬ-0，ＡＲ-0，ＡＬ-90，ＡＲ-90に含まれる視点数は「１２８」である。この場合、全視点数が「２５６」であるから、ゲイン調整部７２Ｌは左眼画像の画像信号を（２５６／１２８）倍とし、ゲイン調整部７２Ｒは右眼画像の画像信号を例えば（２５６／１２８）倍する。

また、図１０の（Ｃ）に示す場合、領域ＡＬ-45，ＡＲ-45に含まれる視点数は「１２０」である。したがって、ゲイン調整部７２Ｌは左眼画像の画像信号を（２５６／１２０）倍とし、ゲイン調整部７２Ｒは右眼画像の画像信号を（２５６／１２０）倍する。

さらに、図１０の（Ｄ）に示す場合、領域ＡＬ-53，ＡＲ-53に含まれる視点数は「１２５」である。したがって、ゲイン調整部７２Ｌは左眼画像の画像信号を（２５６／１２５）倍とし、ゲイン調整部７２Ｒは右眼画像の画像信号を（２５６／１２５）倍する。

このようなゲイン調整を行うことで、左眼画像と右眼画像の画像信号は、加算される視点画像数の相違による影響が排除された画像信号となる。

ところで、加算処理部７１Ｌ，７１Ｒで生成された左眼画像と右眼画像は、回転角に応じて視点が撮像光学系２２の光軸を中心として回転されている画像であるが、左眼画像と右眼画像における被写体像は回転されていな状態である。したがって、回転処理部７４Ｌ，７４Ｒは、被写体像が回転角に応じて回転された画像となるように、回転角に応じて左眼画像と右眼画像の向きを回転させる。

例えば、図１０の（Ｂ）に示すように、回転角が「９０度」の場合、左眼画像と右眼画像を、それぞれ光軸を中心として「９０度」回転させることで、左眼画像と右眼画像は、視点および被写体像が回転角に応じて回転された画像となる。

したがって、第１の実施の形態によれば、機械的に瞳分割プリズムや二つの撮像素子を回転させることなく、回転角に応じた左眼画像と右眼画像を生成できる。このため、内視鏡の小型化が可能となる。また、機械的に撮像素子等を回転させる必要がないので、故障が少なく高精度の調整も不要となる。さらに、機構部分の組立誤差や経年変化および温度変化等の影響を補償するためのキャリブレーションも不要となる。

なお、視点画像の生成や左眼画像と右眼画像の生成および調整を行う構成は、例えば硬性内視鏡や軟性内視鏡では把持部等に設けるようにすればよく、カプセル内視鏡では処理部９１に設けるようにすればよい。

＜２．第２の実施の形態＞
ところで、第１の実施の形態では、本技術の画像処理装置が内視鏡に組み込まれている場合について説明した。しかし、本技術の画像処理装置は、内視鏡と別個に設けられていてもよい。次に、第２の実施の形態では、画像処理装置が内視鏡と別個に設けられている場合について説明する。

［２−１．内視鏡の構成］
図１２は、本技術の画像処理装置が設けられていない内視鏡の構成を例示している。内視鏡２０は、光源部２１、撮像光学系２２、撮像部２３、画像分割部２４、視点１画像処理部３０-1〜視点ｎ画像処理部３０-n、画像圧縮部４１、記録部４２、通信部４３を備えている。

光源部２１は、照明光を観察対象に出射する。撮像光学系２２は、フォーカスレンズやズームレンズ等で構成されており、照明光が照射された観察対象の光学像（被写体光学像）を撮像部２３に結像させる。

撮像部２３は、入射光の光量情報だけでなく入射光の経路情報（入射光の方向）を含む光線情報（ライトフィールドデータ）を記録できるライトフィールドカメラが用いられている。ライトフィールドカメラは、上述のようにＣＣＤやＣＭＯＳ等の画像センサ２３１の直前にマイクロレンズアレイ２３０が設けられており、入射光の光量情報と経路情報を含む光線情報を生成して画像分割部２４に出力する。

画像分割部２４は、撮像部２３で生成された光線情報を視点毎に分割して複数の視点画像の画像信号を生成する。例えば視点１画像の画像信号を生成して視点１画像処理部３０-1に出力する。同様に、視点２（〜ｎ）画像の画像信号を生成して視点２（〜ｎ）画像処理部３０-2(〜n)に出力する。

視点１画像処理部３０-1〜視点ｎ画像処理部３０-nは、画像分割部２４から供給された視点画像の画像信号に対して、第１の実施の形態と同様に画像処理を行い、画像処理後の視点画像の画像信号を画像圧縮部４１に出力する。

画像圧縮部４１は、各視点画像の画像信号の符号化処理を行い信号量を圧縮する。画像圧縮部４１は、符号化処理を行うことにより得られた符号化信号を記録部４２や通信部４３に供給する。記録部４２は、画像圧縮部４１から供給された符号化信号を記録媒体に記録する。記録媒体は、内視鏡２０の内部に設けられている記録媒体でもよく、着脱可能な記録媒体でもよい。通信部４３は、画像圧縮部４１から供給された符号化信号を用いて通信信号を生成して、有線または無線伝送路を介して外部機器に送信する。外部機器は本技術の画像処理装置でもよく、サーバ装置等であってもよい。

［２−２．内視鏡の動作］
次に内視鏡における動作について説明する。図１３は、内視鏡の動作の一部を示すフローチャートである。

内視鏡２０で光線情報が生成されると、ステップＳＴ１１で内視鏡２０は、画像分割処理を行う。内視鏡２０は、マイクロレンズ毎に光線情報を視点毎に分割する処理を行うことで、視点毎に視点画像の画像信号を生成してステップＳＴ１２に進む。

ステップＳＴ１２で内視鏡２０は、視点画像処理を行う。内視鏡２０は、視点画像毎に画像信号の信号処理を行いステップＳＴ１３に進む。

ステップＳＴ１３で内視鏡２０は、画像圧縮処理を行う。内視鏡２０は、複数の視点画像の画像信号に対して符号化処理を行い、信号量が圧縮された符号化信号を生成してステップＳＴ１４に進む。

ステップＳＴ１４で内視鏡２０は、出力処理を行う。内視鏡２０は、ステップＳＴ１３で生成された符号化信号の出力処理、例えば生成された符号化信号を記録媒体に記録する処理、または符号化信号を通信信号として外部の機器等に送信する処理を行う。

内視鏡２０は、以上のような処理を行い、第１の実施の形態における画像選択部６１に入力される視点画像の画像信号を符号化された状態で、記録媒体に記録または外部機器に送信する。

［２−３．画像処理装置の構成］
図１４は、画像処理装置の構成を例示している。画像処理装置５０は、再生部５１、通信部５２、画像伸張部５３を有している。また、画像処理装置５０は、画像選択部６１、加算処理部７１Ｌ，７１Ｒ、ゲイン調整部７２Ｌ，７２Ｒ、画質向上処理部７３Ｌ，７３Ｒ、回転処理部７４Ｌ，７４Ｒ、ガンマ補正部７５Ｌ，７５Ｒ、視点回転角設定部８１を有している。

再生部５１は、記録媒体から視点画像の符号化信号を読み出して画像伸張部５３に出力する。

通信部５２は、内視鏡２０またはサーバ等の外部機器から有線または無線伝送路を介して送信された通信信号を受信する。また、通信部５２は、通信信号によって送信された符号化信号を画像伸張部５３に出力する。

画像伸張部５３は、再生部５１や通信部５２から供給された符号化信号の復号処理を行う。画像伸張部５３は、復号処理を行うことにより得られた複数の視点画像の画像信号を画像選択部６１に出力する。

画像選択部６１は、視点の異なる複数の視点画像から視点回転角に応じて視点画像の選択を行う。画像選択部６１は、視点回転角設定部８１で設定された回転角に基づき、複数の視点領域、例えば左眼画像の視点領域と右眼画像の視点領域を設定して、設定した視点領域に含まれる視点の視点画像を領域毎に選択する。画像選択部６１は、左眼画像の視点領域に含まれる視点の視点画像を加算処理部７１Ｌ、右眼画像の視点領域に含まれる視点の視点画像を加算処理部７１Ｒに出力する。

加算処理部７１Ｌは、画像選択部６１から供給された視点画像を加算して左眼画像の画像信号を生成する。加算処理部７１Ｌは加算処理を行うことにより得られた左眼画像の画像信号をゲイン調整部７２Ｌに出力する。加算処理部７１Ｒは、画像選択部６１から供給された視点画像を加算して右眼画像の画像信号を生成する。加算処理部７１Ｒは加算処理を行うことにより得られた右眼画像の画像信号をゲイン調整部７２Ｒに出力する。

ゲイン調整部７２Ｌは、左眼画像の画像信号に対して回転角に応じたゲイン調整を行う。左眼画像の画像信号は、上述のように、画像選択部６１で選択された視点画像の画像信号を加算処理部７１Ｌで加算して生成されている。したがって、画像選択部６１で選択される視点画像の数が少ないと、画像信号の信号レベルが小さくなってしまう。このため、ゲイン調整部７２Ｌは、画像選択部６１で選択される視点画像の数に応じてゲインを調整して、加算する視点画像の数の相違に影響を排除する。ゲイン調整部７２Ｌは、ゲイン調整後の画像信号を画質向上処理部７３Ｌに出力する。

ゲイン調整部７２Ｒは、右眼画像の画像信号に対して回転に応じたゲイン調整を行う。ゲイン調整部７２Ｒは、ゲイン調整部７２Ｌと同様に画像選択部６１で選択される視点画像の数に応じてゲインを調整して、加算する視点画像の数の相違に影響を排除する。ゲイン調整部７２Ｒは、ゲイン調整後の画像信号を画質向上処理部７３Ｒに出力する。

画質向上処理部７３Ｌは、クラス分類適応処理等によって画像の高画質化を行う。例えば、画質向上処理部７３Ｌは、鮮鋭度の改善やコントラストの改善、色の改善等を行うことで高画質の画像信号を生成する。画質向上処理部７３Ｌは、画質向上処理後の画像信号を回転処理部７４Ｌに出力する。画質向上処理部７３Ｒは、画質向上処理部７３Ｌと同様にクラス分類適応処理等によって画像の高画質化を行う。画質向上処理部７３Ｒは、画質向上処理後の画像信号を回転処理部７４Ｒに出力する。

回転処理部７４Ｌは、左眼画像の回転を行う。回転処理部７４Ｌは、加算処理部７１Ｌで生成されたのちゲイン調整や画質向上処理が行われた左眼画像に対して、回転角に基づいた回転処理を行い、左眼画像の向きを回転させる。回転処理部７４Ｌは、回転後の左眼画像の画像信号をガンマ補正部７５Ｌに出力する。回転処理部７４Ｒは、右眼画像の回転を行う。回転処理部７４Ｒは、右眼画像に対して回転角に基づいた回転処理を行い、右眼画像の向きを回転させる。回転処理部７４Ｒは、回転後の右眼画像の画像信号をガンマ補正部７５Ｒに出力する。

ガンマ補正部７５Ｌは、撮像画の画像表示を行う表示装置のガンマ特性に基づいた補正処理を左眼画像に対して行い、ガンマ補正された左眼画像の画像信号を外部の表示装置等に出力する。ガンマ補正部７５Ｒは、撮像画の画像表示を行う表示装置のガンマ特性に基づいた補正処理を右眼画像に対して行い、ガンマ補正された右眼画像の画像信号を外部の表示装置等に出力する。

視点回転角設定部８１は、ユーザ操作等に応じて回転角を設定して画像選択部６１と回転処理部７４Ｌ，７４Ｒに通知する。

［２−４．画像処理装置の動作］
図１５は、画像処理装置の動作を例示したフローチャートである。ステップＳＴ２１で画像処理装置５０は、入力処理を行う。画像処理装置５０は、記録媒体から内視鏡２０で生成された符号化信号を読み出す。また、画像処理装置５０は、内視鏡２０で生成された符号化信号を有線または無線の伝送路を介して内視鏡２０やサーバ等の外部機器から取得してステップＳＴ２２に進む。

ステップＳＴ２２で画像処理装置５０は、画像伸張処理を行う。画像処理装置５０は、記録媒体から読み出した符号化信号や内視鏡２０等から受信した符号化信号の復号処理を行い、複数の視点画像の画像信号を生成してステップＳＴ２３に進む。

ステップＳＴ２３で画像処理装置５０は、回転角を設定する。画像処理装置５０は、例えばユーザ操作等に応じて回転角を設定してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理装置５０は、視点画像の選択を行う。画像処理装置５０は、回転角に応じた画像選択情報をテーブルから読み出して、読み出した画像選択情報に基づき、左眼画像の画像信号の生成に用いる視点画像と、右眼画像の画像信号の生成に用いる視点画像を選択する。

ステップＳＴ２５で画像処理装置５０は、加算処理を行う。画像処理装置５０は、左眼画像を生成するために選択した視点画像を加算して、左眼画像の画像信号を生成する。また、画像処理装置５０は、右眼画像を生成するために選択した視点画像を加算して、右眼画像の画像信号を生成して、ステップＳＴ２６に進む。

ステップＳＴ２６で画像処理装置５０は、ゲイン調整を行う。画像処理装置５０は、左眼画像と右眼画像を生成する場合に、加算する視点画像の数に応じて左眼画像や右眼画像の画像信号のゲイン調整を行う。すなわち、画像処理装置５０は、加算する視点画像の数が少なくなるに伴いゲインを高く設定して、加算する視点画像の数の違いによる影響を排除してステップＳＴ２７に進む。

ステップＳＴ２７で画像処理装置５０は、画像回転処理を行う。画像処理装置５０は、生成した左眼画像と右眼画像を回転角に応じた向きに回転させる。

このような第２の実施の形態では、内視鏡と画像処理装置が別個に構成されて、記録媒体や伝送路を介して複数の視点画像の画像信号が内視鏡から画像処理装置に供給される。したがって、観察者は、画像処理装置に対して回転角を指示するだけで、指示した回転角で撮像を行った場合と同等の左視点画像と右視点画像を得ることが可能となる。また、観察者は、内視鏡で回転角を制御しながら被写体を撮像しなくとも、容易に被写体の観察を行うことができるようになる。さらに、観察者は、画像処理装置に対して操作を行うことで視点を回転させることができるので、内視鏡の操作者は、撮像時に被写体をどのような角度から撮像するか考慮する必要がなく、所望の被写体が良好に撮像できるように操作を行えばよい。したがって、内視鏡の操作者の負担を軽減できる。

＜３．他の実施の形態＞
ところで、上述の第１および第２の実施の形態では、光軸を中心として視点を回転する場合について説明したが、新たな視点の画像を生成するために選択する視点画像の領域を制御すれば、さらに多様な画像を生成することが可能となる。なお、他の実施の形態では、第１の実施の形態で構成を示した内視鏡装置１０を用いてもよく、第２の実施の形態で構成を示した画像処理装置５０を用いてもよい。

次に、他の実施の形態として、視点を左右方向に移動させる場合（撮像された例えば中央の被写体から見て、視点の位置が左右方向に回転される場合に相当）ついて説明する。図１６は、視点を左右方向に移動させる場合の動作を例示している。例えば、画像選択部６１は、図１６の（Ａ）に示すように、中央から左側に所定範囲の領域ＡＬを設定して、この領域ＡＬに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、中央から右側に所定範囲の領域ＡＲを設定して、この領域ＡＲに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

視点を左方向に移動させる場合、画像選択部６１は、回転角（左右方向）に基づき図１６の（Ｂ）に示すように、所定範囲の領域ＡＬ，ＡＲを左方向にシフトする。また、画像選択部６１は、領域ＡＬに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、領域ＡＲに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

視点を右方向に移動させる場合、画像選択部６１は、回転角に基づき図１６の（Ｃ）に示すように、所定範囲の領域ＡＬ，ＡＲを右方向にシフトする。また、画像選択部６１は、領域ＡＬに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、領域ＡＲに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

このように、画像選択部６１は、回転角（左右方向）に応じて領域ＡＬ，ＡＲをシフトして視点画像の選択を行うことで、立体視において視点を左右方向に移動させることができる。また、図１０に示すように、回転角（光軸を中心とした回転角）に基づいて視点画像を選択する動作を組み合わせて行うようにすれば、視点を左右方向だけでなく、上下方向や斜め方向に移動させることも可能となる。

さらに、回転角だけでなく他の情報に基づいて視点画像の選択を行うようにしてもよい。図１７は、視差調整を行う場合の動作を例示している。画像選択部６１の画像選択テーブル６１１は、視差調整情報に対応する画像選択情報をマトリクススイッチ部６１２に出力する。例えば、視差調整情報で最大視差とする指示がなされた場合、画像選択部６１は、図１７の（Ａ）に示すように、左端から所定範囲の領域ＡＬ-PAに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、右端から所定範囲の領域ＡＲ-PAに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

視差調整情報に基づき最大視差より少ない視差とする場合、画像選択部６１は、図１７の（Ｂ）に示すように、左端より中央側にシフトした所定範囲の領域ＡＬ-PBに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、右端より中央側にシフトした所定範囲の領域ＡＲ-PBに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

視差調整情報に基づき最小視差とする場合、画像選択部６１は、図１７の（Ｃ）に示すように、中央から所定範囲の領域ＡＬ-PCに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｌに出力する。また、画像選択部６１は、中央から所定範囲の領域ＡＲ-PCに含まれる視点の視点画像を選択して、選択した視点画像の画像信号を加算処理部７１Ｒに出力する。

このように視差調整情報に基づき二つの領域の間隔を調整すると、視差を大きくする場合には中央から離れた視点の視点画像を加算して左眼画像と右眼画像が生成されるので、左眼画像と右眼画像の視差が大きくなる。また、視差を小さくする場合には中央に近い視点の視点画像を加算して左眼画像と右眼画像が生成されるので、左眼画像と右眼画像の視差が小さくなる。このように、二つの領域の間隔を調整することで、左眼画像と右眼画像の視差を所望の視差量とすることができる。

図１８は視点を４つのグループ、図１９は視点を８つのグループとする場合を示している。図１８に示すようにグループの境界を垂直方向に設けて、４つのグループＧＰ１〜ＧＰ４に分けた場合、グループＧＰ１に含まれる視点の視点画像を加算した画像は、グループＧＰ１の右側に隣接するグループＧＰ２に含まれる視点の視点画像を加算した画像よりも、視点が左側に位置する画像となる。同様に、グループＧＰ４に含まれる視点の視点画像を加算した画像は、グループＧＰ４の左側に隣接するグループＧＰ３に含まれる視点の視点画像を加算した画像よりも、視点が右側に位置する画像となる。また、グループＧＰ２に含まれる視点の視点画像を加算した画像は、グループＧＰ２が中央より左側に位置することから、視点が中央よりも左側に移動している画像となる。さらに、グループＧＰ３に含まれる視点の視点画像を加算した画像は、グループＧＰ３が中央より右側に位置することから、視点が中央よりも右側に移動している画像となる。したがって、図１８のように視点を４つにグループ化した場合には、視点位置が左右方向に異なる４つ画像を生成できる。

また、図１９のように視点を８つのグループＧＰ１〜ＧＰ８にグループ化した場合、視点位置が左右方向に異なる８つ画像を生成できる。したがって、視点画像を加算するグループの切り替えを行えば、視点の異なる左眼画像や右眼画像を容易に生成できる。

なお、図１８，１９では、グループの境界を垂直方向に設けた場合を例示しているが、グループの境界を水平方向に設ければ、視点位置が上下方向に異なる画像を生成できる。また、グループの境界を斜め方向に設けるようにしてもよい。このように、視点を複数グループ化すれば、裸眼立体視表示等に利用可能となる。

さらに、内視鏡装置１０や画像処理装置５０は、全ての視点画像を加算した画像を生成するようにしてもよい。すなわち、全ての視点画像を加算することは、各マイクロレンズに入射した光線に基づく画像、マイクロレンズの位置に撮像素子が設けられている従来の撮像装置で生成される画像と同等の２Ｄ画像となる。したがって、図２０に示す２Ｄ加算処理部７１Ｃを内視鏡装置１０や画像処理装置５０に設ければ、左眼画像と右眼画像の画像信号だけでなく、２Ｄ画像の画像信号も生成できるようになる。

なお、２Ｄ画像の画像信号の生成は、全ての視点画像を加算する場合に限られない。例えば、分割点から等距離にある全ての視点の視点画像を加算しても２Ｄ画像の画像信号を生成できる。具体的には、分割点から等距離にある全ての視点の視点画像として図１７の（Ａ）に示す領域ＡＬ-PAと領域ＡＲ-PAに含まれる視点の視点画像を加算しても２Ｄ画像を生成できる。また、図１７の（Ｃ）に示す領域ＡＬ-PCと領域ＡＲ-PCに含まれる視点の視点画像を加算しても２Ｄ画像を生成できる。この場合、領域ＡＬ-PAと領域ＡＲ-PAに含まれる視点の視点画像を加算する場合に比べて、視差の少ない視点画像が加算されることから、２Ｄ画像は視差の影響の少ない画像となる。さらに、領域ＡＬ-PCと領域ＡＲ-PCを組として回転角に応じて移動させれば、回転角に応じて視点が移動された２Ｄ画像を生成できる。

また、上述の一連の画像処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 視点の異なる複数の視点画像から視点回転角に応じて視点画像の選択を行う画像選択部と、
前記画像選択部で選択した視点画像を加算して、新たな視点の視点画像を生成する加算処理部と
を備える画像処理装置。
（２） 前記画像選択部は、前記視点回転角に応じて複数の視点領域を設定して、該設定した視点領域に含まれる視点の視点画像を領域毎に選択し、
前記加算処理部は、前記視点領域毎に視点画像を加算する（１）に記載の画像処理装置。
（３） 前記画像選択部は、前記視点回転角に応じて左眼画像の視点領域と右眼画像の視点領域を設定して、
前記加算処理部は、前記視点領域毎に視点画像を加算して左眼画像と右眼画像を生成する（２）に記載の画像処理装置。
（４） 前記画像選択部は、前記左眼画像の視点領域と前記右眼画像の視点領域の間隔を制御して、前記左眼画像と前記右眼画像の視差量を調整する（３）に記載の画像処理装置。
（５） 前記画像選択部は、全ての視点画像を選択し、または前記左眼画像と右眼画像の視点領域に含まれる視点の視点画像を選択し、
前記加算処理部は、前記画像選択部で選択された視点画像を加算して平面画像を生成する（３）または（４）に記載の画像処理装置。
（６） 前記新たな視点の視点画像に対して、前記加算した視点画像の数に応じたゲイン調整を行うゲイン調整部をさらに備える（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記ゲイン調整部は、前記加算した視点画像の数が少なくなるに応じてゲインを高く設定する（６）に記載の画像処理装置。
（８） 前記新たな視点の視点画像に対して、前記視点回転角に応じて画像回転処理を行う回転処理部をさらに備える（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成を行う撮像部と、
前記撮像部で生成された光線情報から前記視点の異なる複数の視点画像を生成する画像分割部をさらに備える（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記視点回転角の設定を行う視点回転角設定部を備え、
前記視点回転角設定部は、重力方向または初期方向のいずれかに対する前記撮像部の角度、または前記撮像部で撮像された画像を回転したときに基準画像と最も類似する画像となる角度、またはユーザが指定した角度を前記視点回転角として設定する（９）に記載の画像処理装置。
（１１） 前記視点の異なる複数の視点画像の符号化処理を行うことにより生成されている符号化信号の復号処理を行う画像復号部を備え、
前記画像復号部は、符号化信号の復号処理を行うことにより得られた前記視点の異なる複数の視点画像の画像信号を前記画像選択部に出力する（１）乃至（１０）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法によれば、視点の異なる複数の視点画像から視点回転角に応じて視点画像の選択が行われて、選択された視点画像を加算することで、新たな視点の視点画像が生成される。したがって、視点回転角を変化させれば、視点回転角に応じた新たな視点の視点画像が生成されるので、容易に立体視の方向を自由に変えることができるようになる。このため、医療分野や工業分野等で用いられている内視鏡等に適用すれば、観察面を容易に所望の方向で立体視することができるようになる。

１０・・・内視鏡装置、１１ａ，１１ｂ・・・挿入部、１２・・・操作部、１３・・・筐体、２０・・・内視鏡、２１・・・光源部、２２・・・撮像光学系、２３・・・撮像部、２４・・・画像分割部、３０-1〜３０-n・・・画像処理部、３１・・・欠陥補正部、３２・・・黒レベル補正部、３３・・・ホワイトバランス調整部、３４・・・シェーディング補正部、３５・・・デモザイク処理部、３６・・・レンズ歪補正部、４１・・・画像圧縮部、４２・・・記録部、４３・・・通信部、５０・・・画像処理装置、５１・・・再生部、５２・・・通信部、５３・・・画像伸張部、６１・・・画像選択部、７１Ｌ，７１Ｒ・・・加算処理部、７１Ｃ・・・２Ｄ加算処理部、７２Ｌ，７２Ｒ・・・ゲイン調整部、７３Ｌ，７３Ｒ・・・画質向上処理部、７４Ｌ，７４Ｒ・・・回転処理部、７５Ｌ，７５Ｒ・・・ガンマ補正部、８１・・・視点回転角設定部、９１・・・処理部、９２・・・無線通信部、９３・・・電源部、２３０・・・マイクロレンズアレイ、２３０１，２３０１-a，２３０１-b・・・マイクロレンズ、２３１・・・画像センサ、２３１-avp，２３１-bvp・・・画素、６１１・・・画像選択テーブル、６１２・・・マトリクススイッチ部、８１１・・・ユーザインタフェース部、８１２・・・視点回転角検出部、８１３・・・重力方向検出部、８１４・・・画像マッチング処理部、８１５・・・視点回転角情報選択部

Claims (13)

1. 視点の異なる複数の視点画像から視点情報に応じて視点画像の選択を行う画像選択部と、
   前記画像選択部で選択した視点画像を加算して、新たな視点の視点画像を生成する加算処理部と、
   前記新たな視点の視点画像に対し、前記視点画像の選択に応じたゲイン調整を行うゲイン調整部と
   を備える画像処理装置。
2. 前記画像選択部は、前記視点情報に応じて複数の視点領域を設定して、該設定した視点領域に基づいて視点画像を領域毎に選択し、
   前記加算処理部は、前記視点領域毎に視点画像を加算する請求項１記載の画像処理装置。
3. 前記画像選択部は、前記視点情報に応じて左眼画像の視点領域と右眼画像の視点領域を設定して、
   前記加算処理部は、前記視点領域毎に視点画像を加算して左眼画像と右眼画像を生成する請求項２記載の画像処理装置。
4. 前記画像選択部は、前記左眼画像の視点領域と前記右眼画像の視点領域の間隔を制御して、前記左眼画像と前記右眼画像の視差量を調整する請求項３記載の画像処理装置。
5. 前記画像選択部は、前記視点の異なる複数の視点画像から、全ての視点画像を選択し、または左眼画像と右眼画像の視点領域に含まれる視点の視点画像を選択し、
   前記加算処理部は、前記画像選択部で選択された視点画像を加算して平面画像を生成する請求項１記載の画像処理装置。
6. 前記視点情報は視点方向である請求項１記載の画像処理装置
7. 前記ゲイン調整部は、前記加算した視点画像の数が少なくなるに応じてゲインを高く設定する請求項１記載の画像処理装置。
8. 前記新たな視点の視点画像に対して、前記視点情報に応じて画像回転処理を行う回転処理部をさらに備える請求項１記載の画像処理装置。
9. 撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成を行う撮像部と、
   前記撮像部で生成された光線情報から前記視点の異なる複数の視点画像を生成する画像分割部をさらに備える請求項１記載の画像処理装置。
10. 前記新たな視点の視点画像の生成時における視点回転角の設定を行う視点回転角設定部を備え、
    前記視点回転角設定部は、重力方向または初期方向のいずれかに対する前記撮像部の角度、または前記撮像部で撮像された画像を回転したときに基準画像と最も類似する画像となる角度、またはユーザが指定した角度を前記視点回転角として設定する請求項９記載の画像処理装置。
11. 前記視点の異なる複数の視点画像の符号化処理を行うことにより生成されている符号化信号の復号処理を行う画像復号部を備え、
    前記画像復号部は、符号化信号の復号処理を行うことにより得られた前記視点の異なる複数の視点画像の画像信号を前記画像選択部に出力する請求項１記載の画像処理装置。
12. 視点の異なる複数の視点画像から視点情報に応じて視点画像の選択を行う工程と、
    前記選択した視点画像を加算して、新たな視点の視点画像を生成する工程と、
    前記新たな視点の視点画像に対し、前記視点画像の選択に応じたゲイン調整を行う工程と
    を含む画像処理方法。
13. 画像処理をコンピュータで行わせるプログラムであって、
    視点の異なる複数の視点画像から視点情報に応じて視点画像の選択を行う手順と、
    前記選択した視点画像を加算して、新たな視点の視点画像を生成する手順と、
    前記新たな視点の視点画像に対し、前記視点画像の選択に応じたゲイン調整を行う手順と
    を前記コンピュータで実行させるプログラム。

Images