JP3303128B2 - 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる焦点合わせ
の複数画像から所望の画像を生成する画像処理方法およ
び、該方法の実施に使用する複数画像同時撮像型カメラ
装置に関するものである。

【０００２】

【従来の技術】複数の画像から所望の画像を生成する画
像処理方法の従来例としては、例えば領域分割に基づく
画像処理方法がある。この従来の画像処理方法では、例
えば異なる焦点合わせの画像を複数枚用意し、個々の画
像において焦点の合っている領域をそれぞれ判定し、こ
の判定結果に基づいて前記複数の画像の領域分割を行
い、各領域に対し所定の視覚効果を与える一連の処理を
行うことにより、所望の画像の生成を行う。その際、上
記一連の処理を人手を介さずに自動的に実行する場合に
は、上述した領域判定、領域分割、視覚効果の処理を順
次行うための手順を記述した画像処理プログラムを用い
るのが一般的である。

【０００３】また、上記画像処理方法に用いる複数画像
を撮像するために使用するカメラ装置の従来例として
は、例えば図２に示す通常の撮像レンズ制御型カメラ装
置５１があり、このカメラ装置５１は１つの光学系を有
するカメラ装置として構成されている。この従来のカメ
ラ装置５１を使用して、同一シーン（例えば図２のシー
ン５２）に対して異なる焦点合わせにより撮像した複数
枚の画像を取得するためには、焦点合わせを変化させて
複数回の撮像を行う必要がある。

【０００４】すなわち、図２に示す従来のカメラ装置５
１を使用して異なる焦点合わせのｎ種類の画像を撮像す
る場合には、ズームレンズ５３を手動またはカメラ外部
に設けたサーボレンズ制御装置５４により制御して、ま
ず１番目の奥行きに焦点が合うようにズームレンズ５３
の焦点合わせを制御してから１枚目の画像を撮像し、次
に、２番目の奥行きに焦点が合うようにズームレンズ５
３の焦点合わせを制御してから２枚目の画像を撮像し、
以下同様にしてｎ番目の奥行きに焦点が合うようにズー
ムレンズ５３の焦点合わせを制御してからｎ枚目の画像
を撮像する。このように、ｎ種類の奥行きに対して焦点
が合った画像を撮像したい場合には、ｎ回の焦点合わせ
および撮像が必要となる。なお、撮像された画像は図示
しないＣＣＤからワークステーション５５に転送され
て、画像処理に供されることになる。

【０００５】

【発明が解決しようとする課題】上記従来の画像処理方
法は、「焦点が合っている領域」という判定条件を用い
ているため、撮像対象シーンの中に一様な輝度値を有す
る領域や奥行き変化のある領域が存在する場合には、そ
れら領域については領域判定の判定精度を十分に確保す
ることができない。このため、上記従来の画像処理方法
の適用範囲は、焦点の合った領域を統合することによる
画像の鮮鋭化等に限定されてしまい、領域毎に焦点ぼけ
を任意に調整したり、擬似的な視差を与えて立体画像を
生成する等の、より高次の画像処理への拡張は極めて困
難である。

【０００６】また、ズームレンズを外部から制御する方
式を採用した上記従来のカメラ装置は、上述した撮像方
式を用いる限り、焦点を合わせたい奥行き毎に１つの撮
像部によって撮像を繰り返す必要があり、動的に変化す
る撮像対象に対しては原理的に焦点合わせの異なる画像
を複数枚同時に撮像することができないため、動画像の
撮像には使用することができず、用途が静止画のみに限
定されてしまう。

【０００７】さらに、撮像用レンズとして一般的に使用
されるズームレンズは、それ自体が複数のレンズを利用
した極めて複雑な制御構造を有しているため、外部から
焦点合わせの調整を行うと、実効的な視点位置である内
部のレンズ群の光学的中心（主点）が光軸の前後方向に
変化することが避けられない。このため、焦点合わせを
調整すると３次元的な条件も付加されることになり、例
えば、ある条件において撮像した画像では前面の物体に
よって遮蔽されていた背面の物体が、別の画像では視点
が移動したために新たにシーン内に現れて撮像されてし
まう現象が生じる。その結果、立体画像の生成等を目的
とする画像処理において要求される、「焦点合わせを変
化させた場合であっても、同一シーンを撮像した画像間
では撮像されている対象（物体等）が画像全体での倍率
変化を除き同一である」という条件を満たすことができ
ず、このようにして撮像された画像を用いて画像処理に
より生成した画像は、上記現象に起因する画質の劣化が
避けられない。

【０００８】本発明は、異なる焦点合わせの複数画像か
ら所望の画像を生成する画像処理方法を提供することを
第１の目的とする。

【０００９】本発明は、異なる焦点合わせの複数画像を
同時に撮像し得るカメラ装置を提供することを第２の目
的とする。

【００１０】

【課題を解決するための手段】上記第１の目的のため、
本発明の請求項２に係る画像処理方法は、異なる焦点合
わせの複数画像Ｉ_m （ｍ＝１，‥‥，ｎ）を撮像し、該
異なる焦点合わせの複数画像Ｉ_m および所望の画像Ｉ間
に成立する、以下に示す重ね合わせモデルに基づく恒等
式を導出し、 ｆ（Ｔ₁ ，‥‥，Ｔ_k ，Ｔ₁₁，‥‥，Ｔ_1n，Ｔ₂₁，‥‥，Ｔ_2n，‥‥，Ｔ_mk， ‥‥，Ｔ_n1，‥‥，Ｔ_nn，Ｉ，Ｉ₁ ，‥‥，Ｉ_n ）＝０ −（１） ただし、ｎ＝２，３，‥‥、ｋ＝１，‥‥，ｎ、ｍ＝
１，‥‥，ｎ、Ｔ_mk；カメラ特性およびカメラパラメー
タから決定されるぼけ関数による畳み込みを表わす定
数、Ｔ_k ；ユーザが指定する、画像中のぼけ関数による
畳み込みや視差に対応する平行移動量を表わす定数この
恒等式に前記異なる焦点合わせの複数画像Ｉ_m およびＴ
_mk，Ｔ_k を代入して解を求め、この解に基づき所望の画
像Ｉを生成する画像処理を行うことを特徴とするもので
ある。

【００１１】本発明の請求項２に係る画像処理方法は、
前記定数Ｔ_k を調整することにより、前記所望の画像Ｉ
として、画像の全領域を鮮鋭化した全焦点画像、奥行き
毎に鮮鋭度調整を行った任意焦点画像、視差を付与した
立体視用視差付画像、前記任意焦点画像に視差を付与し
た立体視用視差付任意焦点画像、特定領域のみを強調し
た部分強調画像、特定領域のみを抽出した部分抽出画像
を含む各種画像の何れか１つを選択的に生成することを
特徴とするものである。

【００１２】本発明の請求項３に係る画像処理方法は、
符号化の前処理として、奥行き方向に異なる領域毎に焦
点ぼけ調整を行うことを特徴とするものである。

【００１３】上記第２の目的のため、本発明の請求項４
に係る、上記請求項１〜３の何れか１項記載の複数画像
を用いる画像処理方法の実施に使用するカメラ装置は、
撮像用レンズ機構と、該撮像用レンズ機構から出射した
光を入射される１つの入射面と、入射された光を複数ｎ
（ｎ＝２，３，‥‥）等分した分配光をそれぞれ出射す
るｎ個の出射面とを有するプリズム手段と、該プリズム
手段のｎ個の出射面から出射した分配光をそれぞれ撮像
するｎ個の撮像部と、前記ｎ個の撮像部のそれぞれを前
記分配光の光軸方向に移動させることにより前記ｎ個の
出射面および対応する撮像部間の位置関係をそれぞれ調
整する焦点合わせ調整機構と、前記ｎ個の撮像部による
撮像のタイミングを同期させる同期手段とを具え、異な
る焦点合わせの複数画像を同時に撮像し得るようにした
ことを特徴とするものである。

【００１４】

【作用】本発明の請求項１によれば、異なる焦点合わせ
の複数画像および生成すべき所望の画像のそれぞれを、
奥行き毎の領域に対応する画像群の重ね合わせＩ_m （ｍ
＝１，‥‥，ｎ）およびＩとして表わすことにより、前
記複数画像および所望の画像の間に直接的に成立する、
重ね合わせモデルに基づく恒等式（１）を導くから、こ
の恒等式に前記異なる焦点合わせの複数画像Ｉ_m および
Ｔ_mk，Ｔ_k を代入して解くことにより、画像処理によっ
て所望の画像Ｉを生成することができる。その際、前記
複数画像および所望の画像に共通する要素である領域分
割に依存する要素は上記恒等式から消去されるため、上
記従来例のような領域判定の判定精度が確保できない不
具合は生じず、したがって、画像処理方法の適用範囲が
画像の鮮鋭化等に限定される不具合も生じない。

【００１５】本発明の請求項２によれば、前記複数画像
および所望の画像の間に直接的に成立する関係を表わす
上記恒等式は各種画像に適用できるから、前記定数Ｔ_k
を調整することにより、前記所望の画像Ｉとして、画像
の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度の
調整（焦点の調整）を行った任意焦点画像、視差を付与
した立体視用視差付画像、前記任意焦点画像に視差を付
与した立体視用視差付任意焦点画像、特定領域のみを強
調した部分強調画像、特定領域のみを抽出した部分抽出
画像を含む各種画像の何れか１つを選択的に生成するこ
とができる（例えば、前記定数Ｔ_k を高域フィルタの効
果が得られるように調整すれば特定の領域のみを強調し
た部分強調画像が得られ、前記定数Ｔ_k を位相ずらしフ
ィルタの効果が得られるように調整すれば視差を付与し
た立体視用視差付画像が得られ、前記定数Ｔ_k を不要領
域に対する全零フィルタの効果が得られるように調整す
れば特定領域のみを抽出した部分抽出画像が得られ
る）。

【００１６】本発明の請求項３によれば、符号化の前処
理として、奥行き方向に異なる領域毎に焦点ぼけを強調
あるいは抑制する調整を行うから、領域毎の適応的な画
像圧縮（例えば低レート符号化）を行う場合に好適であ
る。

【００１７】本発明の請求項４によれば、撮像用レンズ
機構から出射した光は、プリズム手段の入射面に入射し
た後に複数ｎ（ｎ＝２，３，‥‥）等分された分配光と
なり、これら分配光は前記プリズム手段のｎ個の出射面
からそれぞれ出射してｎ個の撮像部によりそれぞれ撮像
される。その際、焦点合わせ調整機構によって前記ｎ個
の撮像部のそれぞれを前記分配光の光軸方向に移動させ
ることにより前記ｎ個の出射面および対応する撮像部間
の位置関係がそれぞれ調整されるとともに、同期手段に
より前記ｎ個の撮像部による撮像が同期して行われるか
ら、異なる焦点合わせの複数画像を同時に撮像すること
ができる。この撮像により得られる異なる焦点合わせの
複数画像は、「焦点合わせを変化させた場合であって
も、同一シーンを撮像した画像間では撮像されている対
象（物体等）が画像全体での倍率変化を除き同一であ
る」という条件を満たすものとなるから、立体画像の生
成等を目的とする上記請求項１〜３に記載の画像処理に
用いることができる。また、上記撮像により異なる焦点
合わせの複数画像が同時に得られるから、対象が動的に
変化する場合（動画像等）にも対応することができる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づき詳細に説明する。図１は本発明の複数画像を用
いる画像処理方法の実施に用いる複数画像同時撮像型カ
メラ装置の原理的構成を示す図である。本実施形態の複
数画像同時撮像型カメラ装置（以下、単にカメラ装置と
いう）１は、撮像用レンズ機構２と、撮像用レンズ機構
２から出射した光３を入射される１つの入射面４ａと、
入射された光３のパワーを３等分した分配光５をそれぞ
れ出射する３個の出射面４ｂとを有するプリズム手段４
と、プリズム手段４の３個の出射面４ｂから出射した分
配光５をそれぞれ撮像する３個の撮像部６と、３個の出
射面４ｂおよび対応する撮像部６間の位置関係をそれぞ
れ調整する焦点合わせ調整機構７と、３個の撮像部によ
る撮像のタイミングを同期させる同期回路８等を具備し
て成る。

【００１９】上記撮像用レンズ機構２としては、例えば
既存のズームレンズ機構を用いるのが、撮像する画像に
ついて様々な画角調整を行えるようにする上で好まし
い。この場合、図示しない撮像対象シーンから入射した
光３は、ズームレンズ機構２を構成するレンズ群を通過
する際に画角を調整されてから、プリズム手段４へ入射
する。

【００２０】上記プリズム手段４は、撮像用レンズ機構
２から導かれた光３を、そのパワーを分配することによ
り複数ｎ（ｎ＝２，３，‥‥）等分するものであり、例
えば図１に示すような、光の分配のために一般的に使用
される３方向光分配プリズムを用いるものとする。この
場合、各方向に３分の１ずつ光のパワーが等分されて、
光３は３つの分配光５となる。このプリズム手段４の光
分配機能により、撮像用レンズ機構２から取り込まれた
光３は、パワー分配された後に複数（この場合３つ）の
撮像部６へ出射するため、各撮像部６は同様の分配光５
を取り込むことになる。

【００２１】なお、図１に示すカメラ装置１ではプリズ
ム手段４を１段としたが、プリズム手段を多段に接続す
る構成としてもよく、その場合、より多数の撮像部に同
様に分配光を出射して撮像する画像の枚数を増加させる
ことができる。

【００２２】上記撮像部６としては、例えば一般に用い
られている「親指大のカメラ」からレンズ部を取り去っ
たものを用いるものとする。また、上記焦点合わせ調整
機構７としては、分配光５の光軸方向に焦点面を前後移
動させて可動焦点面を形成することができる機構であれ
ばよく、例えば可動ステージを用いるものとする。上記
撮像部６では、プリズム手段４から出射した分配光５に
対する焦点面（ＣＣＤ等の撮像素子の受光面）が、焦点
合わせ調整機構７によって光軸方向に前後移動されるこ
とにより、それぞれ独立に焦点合わせが調整される。そ
のため、同期回路８からの同期信号に基づいて、各撮像
部６は、同一の撮像対象シーンに対して焦点合わせのみ
が異なる画像を全く同時に撮像することができる。

【００２３】上記カメラ装置１を用いて複数画像の撮像
を行う場合、まず、撮像用レンズ機構２を調整すること
により画角の調整を行う。次に、焦点合わせ調整機構７
を用いて各撮像部６を光軸方向に前後移動させることに
より、プリズム手段４の出射面４ｂおよび対応する撮像
部６間の位置関係をそれぞれ独立に調整し、各撮像部６
がそれぞれ所望の異なる奥行きに焦点が合った状態とな
るようにしておく。この状態において、各撮像部６に接
続しておいた図示しない画像記録装置を使用して実際に
撮像を行う。その際、各撮像部６に接続された画像記録
装置に同期回路８から同期信号を入力して、３つの撮像
部６が同時かつ独立的に同一撮像対象シーンを撮像する
ようにすることにより、異なる焦点合わせの複数画像を
同時に撮像することができる。そのため、撮像対象シー
ンが動的に変化する場合においても、連続的に異なる焦
点合わせの画像を動画として撮像することができる。

【００２４】この撮像により得られる異なる焦点合わせ
の複数画像は、「焦点合わせを変化させた場合であって
も、同一シーンを撮像した画像間では撮像されている対
象（物体等）が画像全体での倍率変化を除き同一であ
る」という条件を満たすものとなるから、立体画像の生
成等を目的とする、本実施形態の複数画像を用いる画像
処理に用いることができるものとなる。

【００２５】次に、本実施形態の複数画像を用いる画像
処理方法について説明する。なお、この画像処理方法を
実施するために使用する「異なる焦点合わせの複数画
像」としては、上記カメラ装置１を用いて撮像したもの
を使用するのが好ましいが、本実施形態の画像処理方法
は他のカメラ装置で撮像した「異なる焦点合わせの複数
画像」にも適用可能であることは言うまでもない。

【００２６】本実施形態の画像処理方法では、撮像対象
シーンを複数ｎ（ｎ＝２，３，‥‥）枚の画像の階層構
造と見なして、奥行き毎の領域で分割されたｎ枚の画像
をｉ _k （ｋ＝１，‥‥，ｎ）と表わし、これを用いて、
それぞれの奥行きに焦点を合わせて撮像した画像群の重
ね合わせＩ_m （ｍ＝１，‥‥，ｎ）を以下のように表わ
す。このＩ_m は異なる焦点合わせの複数画像である。

【数１】 同様に、生成すべき所望の画像Ｉを、複数枚の画像の階
層構造と見なして、以下のように表わす。

【数２】

【００２７】上記（２），（３）式において、Ｔ_mkはカ
メラ特性およびカメラパラメータから決定されるぼけ関
数による畳み込みを表わす定数、Ｔ_k はユーザが指定す
る、画像中のぼけ関数による畳み込みや視差に対応する
平行移動量を表わす定数、ｋ＝１，‥‥，ｎである。上
記（２），（３）式からｉ_k を消去して、異なる焦点合
わせの複数画像Ｉ_mおよび所望の画像Ｉの間に直接的に
以下の関係式を導出する。 ｆ（Ｔ₁ ，‥‥，Ｔ_k ，Ｔ₁₁，‥‥，Ｔ_1n，Ｔ₂₁，‥‥，Ｔ_2n，‥‥，Ｔ_mk， ‥‥，Ｔ_n1，‥‥，Ｔ_nn，Ｉ，Ｉ₁ ，‥‥，Ｉ_n ）＝０ −（１）

【００２８】この（１）式は、異なる焦点合わせの複数
画像Ｉ_m および所望の画像Ｉ間に成立する、重ね合わせ
モデルに基づく恒等式となるため、ユーザが指定した所
望の定数Ｔ_k と、カメラ特性およびカメラパラメータか
ら決定される定数Ｔ_mkと、複数画像Ｉ_m とを（１）式に
代入すると、所望の画像Ｉのみが未知数となる。よっ
て、この（１）式を解くことにより、所望の画像Ｉを画
像処理によって生成することができる。なお、上記
（１）式を直接解くことにより所望の画像Ｉが生成され
るが、上記（１）式を反復的に解くようにするのが、よ
り好ましい。

【００２９】その際、複数画像Ｉ_m および所望の画像Ｉ
に共通する要素である領域分割に依存する要素ｉ_k は
（１）式から消去され、領域分割を介することなく直接
的に所望の画像Ｉが生成されるから、上記従来例のよう
な領域判定の判定精度が確保できない不具合は生じな
い。したがって、本実施形態の画像処理方法の適用範囲
は画像の鮮鋭化等に限らず、以下のような多様なものと
なる。

【００３０】すなわち、上記恒等式（１）は複数画像Ｉ
_m および所望の画像Ｉ間に直接的に成立する関係を表わ
しており、各種画像に適用可能であるので、物体等の存
在する領域毎の画像処理を行う場合（個々の奥行きに対
応する領域毎および物体等が存在する領域毎の画像処理
を含む）には、ユーザが予め画像処理の対象とする物体
等を包囲する矩形領域を指定する補助的な領域指定を行
うとともにぼけ関数を表わす前記定数Ｔ_k を所望に応じ
て調整するだけでよい。この調整により、個々の物体等
を含む領域毎の画像処理が可能になり、上記従来例のよ
うに人の手で長時間掛けて当該領域自体を切り出す作業
を行う必要もなく、画像処理が高速化される。

【００３１】その上、上記調整により、所望の画像Ｉと
して、画像の全領域を鮮鋭化した全焦点画像、奥行き毎
に鮮鋭度調整を行った任意焦点画像、視差を付与した立
体視用視差付画像、前記任意焦点画像に視差を付与した
立体視用視差付任意焦点画像、特定領域のみを強調した
部分強調画像、特定領域のみを抽出した部分抽出画像等
の各種画像の何れか１つを選択的に生成することができ
る。特に、遠景または近景のぼけを独立的に強調または
抑制しつつ奥行き毎に視差を付与した画像である立体視
用視差付任意焦点画像は、本実施形態の画像処理方法を
用いて初めて生成できるものであり、この画像処理方法
の有効性を立証するものである。

【００３２】例えば、ある領域内の物体等に焦点を合わ
せるフィルタの効果が得られるような定数Ｔ_k の調整を
物体等を含む領域の全てに対し行えば鮮鋭化した全焦点
画像を得ることができ、本実施形態の画像処理方法によ
る鮮鋭化処理は高精細画像を取得する場合に有効であ
る。また、物体等を含む奥行き方向に分割した領域毎に
該物体等の鮮鋭度（焦点）を調整するフィルタの効果が
得られるようように定数Ｔ_k を調整すれば任意焦点画像
を得ることができ、物体等を含む領域毎に位相ずらしフ
ィルタの効果が得られるように定数Ｔ_k を調整すれば視
差を付与した立体視用視差付画像を得ることができ、物
体等を含む奥行き方向に分割した領域毎に該物体等の鮮
鋭度を調整するフィルタおよび位相ずらしフィルタ効果
の効果が得られるように定数Ｔ_k を調整すれば視差付任
意焦点画像を得ることができ、特定領域に対し高域フィ
ルタの効果が得られるように定数Ｔ_k を調整すれば特定
の領域のみを強調した部分強調画像を得ることができ、
不要領域に対し全零フィルタの効果が得られるように定
数Ｔ_k を調整すれば特定領域のみを抽出した部分抽出画
像を得ることができる。

【００３３】なお、符号化の前処理として、奥行き方向
に異なる領域毎に焦点ぼけを強調あるいは抑制する調整
を行っておくのが、領域毎の適応的な画像圧縮（例えば
低レート符号化）を行う場合には有効である。

【００３４】

【発明の効果】以上説明したように、本発明の複数画像
を用いる画像処理方法によれば、異なる焦点合わせの複
数画像Ｉ_m （ｍ＝１，‥‥，ｎ）および所望の画像Ｉに
直接的に成立する、重ね合わせモデルに基づく恒等式
（１）にＩ_m およびＴ_mk，Ｔ_k を代入して解くことによ
り、奥行き領域毎に焦点ぼけや視差等の調整を行った所
望の画像Ｉを領域分割を介することなく画像処理によっ
て直接的に生成することができる。その際、前記複数画
像および所望の画像に共通する要素である領域分割に依
存する要素は上記恒等式から消去されるから、上記従来
例のような領域判定の判定精度が確保できない不具合は
生じない。したがって、本発明の画像処理方法の適用範
囲は画像の鮮鋭化に限定されず、高度かつ多様な画像生
成処理が可能となる。

【００３５】例えば、上記恒等式における定数Ｔ_k を調
整することにより、各種画像（画像の全領域を鮮鋭化し
た全焦点画像、奥行き毎に鮮鋭度調整を行った任意焦点
画像、視差を付与した立体視用視差付画像、前記任意焦
点画像に視差を付与した立体視用視差付任意焦点画像、
特定領域のみを強調した部分強調画像、特定領域のみを
抽出した部分抽出画像等）の中の所望のものを生成する
ことができる。

【００３６】また、本発明の複数画像同時撮像型カメラ
装置によれば、撮像用レンズ機構から入射した光をプリ
ズム手段を用いて複数ｎ（ｎ＝２，３，‥‥）に分配し
て、異なる焦点合わせの複数画像を同期して撮像する際
に、焦点合わせ調整機構がｎ個の撮像部のそれぞれを前
記分配光の光軸方向に移動させることにより焦点合わせ
の調整をｎ個の撮像部のそれぞれで行うから、得られた
異なる焦点合わせの複数画像間では、上記従来例のよう
な奥行き毎の倍率変化に伴うずれが生じることはない。
したがって、本発明の複数画像同時撮像型カメラ装置に
より撮像した異なる焦点合わせの複数画像を用いて上記
本発明の画像処理を行うことにより、上記ずれによる画
質劣化のない良好な画像を生成することができるととも
に、立体画像の生成等を目的とする画像処理や、対象が
動的に変化する場合（動画像等）にも対応することがで
きる。

【図面の簡単な説明】

【図１】本発明の複数画像を用いる画像処理方法の実施
に用いる複数画像同時撮像型カメラ装置の原理的構成を
示す図である。

【図２】従来の画像処理方法に用いる複数画像を撮像す
るために使用するカメラ装置を例示する図である。

【符号の説明】

１ 複数画像同時撮像型カメラ装置（カメラ装置） ２ 撮像用レンズ機構 ３ 光 ４ プリズム手段 ４ａ 入射面 ４ｂ 出射面 ５ 分配光 ６ 撮像部 ７ 焦点合わせ調整機構 ８ 同期回路

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 異なる焦点合わせの複数画像Ｉ_m （ｍ＝
   １，‥‥，ｎ）を撮像し、 該異なる焦点合わせの複数画像Ｉ_m および所望の画像Ｉ
   間に成立する、以下に示す重ね合わせモデルに基づく恒
   等式を導出し、 ｆ（Ｔ₁ ，‥‥，Ｔ_k ，Ｔ₁₁，‥‥，Ｔ_1n，Ｔ₂₁，‥‥，Ｔ_2n，‥‥，Ｔ_mk， ‥‥，Ｔ_n1，‥‥，Ｔ_nn，Ｉ，Ｉ₁ ，‥‥，Ｉ_n ）＝０ −（１） ただし、ｎ＝２，３，‥‥、ｋ＝１，‥‥，ｎ、ｍ＝
   １，‥‥，ｎ、Ｔ_mk；カメラ特性およびカメラパラメー
   タから決定されるぼけ関数による畳み込みを表わす定
   数、Ｔ_k ；ユーザが指定する、画像中のぼけ関数による
   畳み込みや視差に対応する平行移動量を表わす定数この
   恒等式に前記異なる焦点合わせの複数画像Ｉ_m およびＴ
   _mk，Ｔ_k を代入して解を求め、 この解に基づき所望の画像Ｉを生成する画像処理を行う
   ことを特徴とする、複数画像を用いる画像処理方法。
2. 【請求項２】 前記定数Ｔ_k を調整することにより、前
   記所望の画像Ｉとして、画像の全領域を鮮鋭化した全焦
   点画像、奥行き毎に鮮鋭度調整を行った任意焦点画像、
   視差を付与した立体視用視差付画像、前記任意焦点画像
   に視差を付与した立体視用視差付任意焦点画像、特定領
   域のみを強調した部分強調画像、特定領域のみを抽出し
   た部分抽出画像を含む各種画像の何れか１つを選択的に
   生成することを特徴とする、請求項１記載の複数画像を
   用いる画像処理方法。
3. 【請求項３】 符号化の前処理として、奥行き方向に異
   なる領域毎に焦点ぼけ調整を行うことを特徴とする、請
   求項１または２記載の複数画像を用いる画像処理方法。
4. 【請求項４】 撮像用レンズ機構と、 該撮像用レンズ機構から出射した光を入射される１つの
   入射面と、入射された光を複数ｎ（ｎ＝２，３，‥‥）
   等分した分配光をそれぞれ出射するｎ個の出射面とを有
   するプリズム手段と、 該プリズム手段のｎ個の出射面から出射した分配光をそ
   れぞれ撮像するｎ個の撮像部と、 前記ｎ個の撮像部のそれぞれを前記分配光の光軸方向に
   移動させることにより前記ｎ個の出射面および対応する
   撮像部間の位置関係をそれぞれ調整する焦点合わせ調整
   機構と、 前記ｎ個の撮像部による撮像のタイミングを同期させる
   同期手段とを具え、 異なる焦点合わせの複数画像を同時に撮像し得るように
   したことを特徴とする、請求項１〜３の何れか１項記載
   の複数画像を用いる画像処理方法の実施に使用する複数
   画像同時撮像型カメラ装置。