JP5919998B2 - 撮像装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関する。

従来、カメラで被写体を撮像した後に、画像データを加工してリフォーカスする技術がある。この技術は、レンズの表面を複数の視点に分割して視点毎に一つのイメージを生成する。そして、視点毎のイメージの有する視差を補正して、再合成する（例えば、非特許文献１参照）。
非特許文献１ Light Field Photography with a Hand-held Plenoptic Camera, Ren Ng, et. al., Stanford Tech Report CTSR 2005-02

しかしながら、従来の方法では、任意の被写体にピントが合った擬似合焦像が得られるものの、被写体の被写体距離を変更することはできなかった。

本発明の第１の態様においては、撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出部と、撮像画像に含まれる各被写体について、撮像部までの被写体距離を示す情報を取得し、選択被写体の被写体距離を、ユーザが指定した被写体距離に置き換えた画像データを生成する置換部と、置換部が生成した画像データに対して、それぞれの被写体に対応する被写体距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が提供される。

本発明の第２の態様においては、撮像装置が撮像した被写体の撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出部と、撮像画像に含まれる各被写体について、撮像部までの被写体距離を示す情報を取得し、選択被写体の被写体距離を、ユーザが指定した被写体距離に置き換えた画像データを生成する置換部と、置換部が生成した画像データに対して、それぞれの被写体に対応する被写体距離に基づいて、撮像画像を平滑化する平滑処理部とを備える画像処理装置が提供される。

本発明の第３の態様においては、撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出段階と、撮像画像に含まれる各被写体について、撮像装置までの被写体距離を示す情報を取得し、選択被写体の被写体距離を、ユーザが指定した被写体距離に置き換えた画像データを生成する置換段階と、置換段階で生成した画像データに対して、それぞれの被写体に対応する被写体距離に基づいて、撮像画像を平滑化する平滑処理段階とが提供される。

本発明の第４の態様においては、コンピュータを上記画像処理装置として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態にかかる撮像装置１００のブロック図である。 実施形態にかかる画像処理方法のフロー図である。 他の例の画像処理方法のフロー図である。 相対距離とぼかし量との関係を示すグラフである。 撮像装置１００で生成した距離情報画像２００の例である。 撮像部１０で撮像したパンフォーカス画像の例を示す。 画像処理装置１１で平滑化処理した後の擬似合焦像の例を示す。 距離測定部１２の実施形態を示す。 図８の距離測定部１２の撮像素子３０の配列の例を示す。 撮像素子３０の位置と光の信号量の関係を示すグラフである。 距離測定部１２の他の実施形態を示す。 ＴＯＦイメージセンサ６０の動作のタイミングチャートを示す。 距離測定部１２の他の実施形態を示す。 光学系８０の一例を示す。 実施形態にかかるコンピュータ１９００のブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態にかかる撮像装置１００のブロック図である。撮像装置１００は、撮像部１０と、距離測定部１２と、メモリ１４と、画像生成部１６と、表示部１８と、抽出部２０と、置換部２１と、計算部２２と、平滑処理部２４と、ユーザ・インターフェース２５と、メインメモリ２６と、ユーザ・インターフェース２７と、出力インターフェース２８を備える。画像生成部１６と、抽出部２０と、置換部２１と、計算部２２と、平滑処理部２４は、画像処理装置１１を構成する。

撮像部１０は、被写体の撮像画像を撮像する。ここで、撮像画像とは、画像処理装置１１により画像処理を施す前の画像を指す。本例の撮像画像は、２次元または３次元のパンフォーカス画像である。パンフォーカス画像とは、２以上の被写体のそれぞれと撮像部１０との被写体距離が異なっても、当該２以上の被写体のそれぞれに対してピントが合っているように見える画像を指す。パンフォーカス画像は、光学的な絞りを絞った状態で撮像することにより取得することができる。つまり、パンフォーカス画像は、被写界深度が深くなる状態で撮影することで得ることができる、被写界深度の深い状態とは、被写界深度内に∞及び近距離（例えば、１ｍ）の被写体の両方が含まれる状態を指す。パンフォーカス画像を撮像する撮像部１０は、開放ｆ値が比較的大きいレンズを有する。開放ｆ値はＦ８以上であってよい。

距離測定部１２は、撮像部１０から２以上の被写体の各々までの被写体距離を測定する。ここで、被写体距離とは、撮像部１０から２以上の被写体の各々までの光学的距離を指す。同一被写体内において当該距離の差がある場合、距離測定部１２は、同一被写体内の複数の点について距離を測定してよい。距離測定部１２は、例えば撮像部１０と同一範囲の被写体について、撮像部１０よりも低い解像度で距離情報を測定する。例えば撮像部１０は、数百万から数千万程度の画素を有する。これに対して距離測定部１２は、８００×４００程度の画素を有し、それぞれの画素に対して距離を測定してよい。距離測定部１２の詳細は、後述する。距離測定部１２は、撮像部１０の一部であってよい。また、距離測定部１２は、撮像部１０とは独立の光学系であってもよい。後者の場合、距離測定部１２は、撮像部１０に近接して配置されるが好ましい。

メモリ１４は、撮像部１０及び距離測定部１２と接続し、撮像部１０からの撮像画像データ、並びに、距離測定部１２からの距離情報データを格納する。メモリ１４は、キャッシュメモリであってもよい。その場合、メインメモリ２６が撮像部１０からの撮像画像データ及び距離測定部１２からの距離情報データを格納する。メモリ１４は、それぞれのデータのアドレス、フラグなどの属性情報を保持してよい。

画像生成部１６は、メモリ１４と接続し、距離測定部１２によって測定した、撮像部１０から２以上の被写体の各々までの距離に基づいて、２以上の被写体の各々と撮像部１０との間の距離を表す距離情報画像を生成する。画像生成部１６は、メモリ１４にアクセスすることにより、メモリ１４またはメインメモリ２６から距離情報データを取得する。ここで、距離情報データとは、撮像部１０から各被写体までの光学的距離を表すデータを指す。画像生成部１６は、取得した距離情報データに基づいて、距離情報画像を生成する。ここで、距離情報画像は、撮像部１０から２以上の被写体の各々までの距離の範囲毎に区別された画像を指す。距離の範囲は、例えば、撮像部１０から被写体までの距離を、５０ｃｍ、８０ｃｍもしくは１ｍ毎に区別することで得られる。所定の範囲は、等間隔であってもよいし、等間隔でなくてもよい。距離の範囲は、線によって区別してよく、色によって区別してもよい。また、距離の範囲は、模様もしくは文字その他の記号によって区別してもよい。

表示部１８は、画像生成部１６から距離情報画像データを取得し、距離情報画像を表示する。表示部１８は、例えば、撮像装置１００の表面に設けられた液晶カラーディスプレイである。

抽出部２０は、表示部１８に表示された画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する。本例の抽出部２０は、ユーザが、表示部１８に表示された画像に基づいて選択被写体を選択した場合に、選択被写体に対応する撮像画像の領域をエッジ検出により区分する。また、抽出部２０は、選択被写体以外の非選択被写体についても、対応する画像領域を同様に抽出する。抽出部２０は、撮像部１０が撮像した画像に含まれる複数の被写体に対応する各画像領域を、ユーザが選択被写体を選択する前に予め区分してよい。また、抽出部２０は、ユーザが選択被写体を選択した後に、各被写体の画像領域を抽出してもよい。

表示部１８は、画面がタッチパネルであってよい。この例では、ユーザは表示部１８が表示する距離情報画像のいずれかの画像領域を、指先もしくはペンなどでタッチすることにより選択することで、選択被写体を指定してよい。また、抽出部２０は、距離情報画像上に表示したカーソル等をユーザが操作して選択被写体を選択するためのユーザ・インターフェース２５を含んでよい。他の例では、ユーザは無線用のユーザ・インターフェース２５を介して、遠隔操作により目的の被写体に対応する画像を含む画像領域を選択してもよい。例えば、ユーザは携帯電話などから目的の被写体に対応する画像を含む画像領域を選択してもよい。

置換部２１は、撮像画像に含まれる各被写体について、撮像部１０までの被写体距離を示す情報を取得し、選択被写体の被写体距離を、ユーザが指定した被写体距離に置き換えた画像データを生成する。置換部２１は、距離データのみを置き換えた画像データを生成してよく、また、置き換え前後の被写体距離の差分に応じて、当該被写体の大きさを変化させた画像データを生成してもよい。例えば置換部２１は、被写体距離を小さくした場合（撮像部１０に近くした場合）には、被写体の大きさを大きくしてよい。また、置換部２１は、被写体距離を大きくした場合には、被写体の大きさを小さくしてよい。この場合、置き換え前の被写体に隠れていた領域の画像データは、当該被写体の周囲の画像データから補間してよい。また、置換部２１は、被写体距離を大きくした場合には、被写体の大きさを変化させなくともよい。

置換部２１は、更に、ユーザから希望焦点距離を指定されてよい。希望焦点距離は、撮像画像を擬似合焦させるための、仮想的な焦点距離を指す。希望焦点距離は、撮像画像の撮像時における焦点距離とは異なる距離を指定できる。

ユーザは、いずれかの被写体を選択することで、希望焦点距離を指定することができる。置換部２１は、ユーザが希望焦点距離を指定するために選択した被写体の被写体距離を、希望焦点距離としてよい。また、置換部２１は、ユーザが入力した数値に基づいて、希望焦点距離を設定してもよい。ユーザ・インターフェース２７は、これらの情報を受け取ってよい。例えばユーザ・インターフェース２７は、タッチパネルまたはキーパッド等を介して、これらの情報を受け取る。また、置換部２１は、ユーザが順次選択する各被写体の被写体距離を、ユーザが順次指定する被写体距離に置き換えてよい。

また、置換部２１は、選択被写体と同一の距離にある他の被写体の被写体距離を、選択被写体の被写体距離と同一の距離に置き換えてよい。この場合、同じ距離の範囲に属する複数の被写体の各々は、同一の仮想距離の範囲に属することとなる。

計算部２２は、距離測定部１２が測定した距離に基づいて、ユーザが指定する希望焦点距離に対する、それぞれの被写体の被写体距離の相対距離を計算する。ここで、相対距離とは、希望焦点距離と、撮像画像に含まれる２以上の被写体の各々及び撮像部１０の間の距離との差分を指す。相対距離は、正または負の値を取り得る。つまり、希望焦点距離よりも光学的距離が短い被写体については、相対距離は負の値となり、希望焦点距離よりも光学的距離が長い被写体については、相対距離は正の値となる。

平滑処理部２４は、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する。ここで、相対距離に基づいてとは、相対距離の絶対値を対比することにより、撮像画像を平滑化することを含んでよい。また、相対距離の閾値を予め指定し、当該閾値と各被写体の相対距離とを対比して、撮像画像を平滑化することを含んでよい。さらに、被写体どうしの相対距離の差が小さい場合に、相対距離に重み付けをして、その重み付けされた相対距離と閾値とを対比して、撮像画像を平滑化することを含んでよい。平滑処理部２４は、相対距離に応じて、平滑化フィルタを作成する。平滑化フィルタは、撮像画像の縦方向及び横方向に画素レベルを平均化するローパスフィルタであってよい。

平滑処理部２４は、メモリ１４にアクセスして撮像部１０で撮像したパンフォーカス画像データを読み込む。平滑処理部２４は、メモリ１４から読み出したパンフォーカス画像データに対して、平滑化処理を行う。平滑処理部２４は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくする。ここで、ぼかしの程度とは、平滑化の相対強度を指す。平滑化フィルタは、パンフォーカス画像の中で、相対距離が大きい被写体に対応する画像については、平滑化の強度を相対的に強くして、強くぼかすようにフィルタリングする。

一方、平滑化フィルタは、相対距離の小さい被写体に対応する画像については、平滑化の強度を相対的に弱くして、弱くぼかすようにフィルタリングする。ローパスフィルタをかける回数を増減することにより、ぼかしの相対的な強さを変更することができる。本実施形態によれば、複数の視差画像を同時に取得せずとも、選択した任意の位置に擬似合焦像を生成できるので、高解像度の画像が得られる。また、平滑化処理のみで、解像度の高い擬似合焦像を得ることができるので、平滑化処理後に、画像データを再合成しなくともよい。したがって、画像処理における装置の負荷を軽減することができる。

メインメモリ２６は、平滑処理部２４と接続し、擬似合焦像データを格納する。表示部１８は、メインメモリ２６から読み出した擬似合焦像データを擬似合焦像として表示する。また、出力インターフェース２８は、メインメモリ２６と接続し、メインメモリ２６に格納された擬似合焦像データを撮像装置１００の外部に出力する。撮像装置１００は、出力インターフェース２８を介して、携帯電話、ＰＡＤ端末、パソコン、テレビ等の外部のディスプレイ装置と接続することができる。

図２は、実施形態にかかる画像処理方法のフロー図である。本実施形態にかかる画像処理方法は、撮像ステップＳ１と、距離測定ステップＳ２と、パンフォーカス画像表示ステップＳ３と、エッジ検出ステップＳ４と、画像選択ステップＳ５と、希望焦点距離指定ステップＳ６と、置換ステップＳ７と、相対距離計算ステップＳ８と、平滑化処理ステップＳ９と、判断ステップＳ１０を備える。

まず、撮像ステップＳ１において、撮像部１０が被写体を撮像した撮像画像を取得する。本実施形態において撮像部１０が撮像した撮像画像は、パンフォーカス画像である。次に、距離測定ステップＳ２において、距離測定部１２が、撮像部１０から２以上の被写体の各々までの距離を測定し、各被写体と距離情報データとを関連づける。ここで、距離とは、撮像部１０からそれぞれの被写体までの最短距離を意味する。距離測定方法の詳細は、図８から図１４において後述する。

続いて、パンフォーカス画像表示ステップＳ３において、画像生成部１６がメモリ１４にアクセスし、撮像部１０が撮像したパンフォーカス画像を読み出す。そして、読み出したパンフォーカス画像を表示部１８に表示する。

次に、エッジ検出ステップＳ５において、抽出部２０が表示されたパンフォーカス画像に対して、エッジ検出を行う。例えば、エッジ検出は、表示された各被写体に対応する画像に対してガウシアンフィルタリングをして平滑化画像生成し、各被写体に対応する画像領域から平滑化画像を減算することにより行うことができる。エッジ検出により、各被写体に対応する画像領域が区分される。

続いて、画像選択ステップＳ５において、目的の被写体に対応する画像領域をユーザが選択する。抽出部２０は、撮像画像からユーザにより選択された被写体に対応する画像領域を抽出する。

次に、希望焦点距離指定ステップＳ６において、ユーザが希望焦点距離を指定する。希望焦点距離の指定は、ユーザ・インターフェース２７を介して行う。

続いて、置換ステップＳ７において、置換部２１が選択被写体の被写体距離を、ユーザが指定した被写体距離に置き換えた画像データを生成する。置換ステップＳ７においてユーザが指定する被写体距離として、希望焦点距離を用いてもよい。

次に、相対距離計算ステップＳ８において、計算部２２が希望焦点距離と、撮像画像に含まれる２以上の被写体の各々及び撮像部１０の間の距離との差分である相対距離をそれぞれの被写体に対して計算する。相対距離計算ステップＳ８において、目的の被写体と、それ以外の被写体が撮像画像において区別される。計算部２２は、被写体と当該被写体の相対距離とを関連づける。希望焦点距離に配置される目的の被写体に対する相対距離は０となる。

続いて、平滑化処理ステップＳ９において、平滑処理部２４が、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化処理する。平滑処理部２４はメモリ１４にアクセスし、撮像部１０が撮像したパンフォーカス画像のデータを読み出す。平滑化処理ステップＳ９は、一例として、ローパスフィルタによるフィルタリング処理であってよい。平滑化処理ステップＳ９は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくするように処理する。ぼかしの程度は、例えば平滑化フィルタのフィルタ係数およびタップ数を変更することで制御できる。

次に、判断ステップＳ１０において、他の選択被写体を選択するか否かを判断する。ユーザが他の選択被写体を選択すると判断した場合には、画像選択ステップＳ５に戻る。ユーザが選択しないと判断した場合には、画像処理は終了する。また、判断ステップＳ１０においては、ユーザは、他の希望焦点距離を選択するか否かを判断してもよい。希望焦点距離を選択する場合、希望焦点距離指定ステップＳ６に戻る。

本実施形態にかかる撮像装置１００及び画像処理方法によれば、任意の被写体の被写体距離を、撮像時とは異なる位置に変更することができる。例えば、一度撮像した画像から、異なる距離にあるはずの各被写体を同じ距離にあるように見せる画像を生成すること、また、同じ距離にあるはずの各被写体を、異なる距離にあるように見せる画像を生成することができる。したがって、一度撮像した画像から、奥行き方向の表現を自由に編集することができる。また、本実施形態にかかる撮像装置１００及び画像処理方法によれば、複数の視差画像を必要としないので、解像度の高い擬似合焦像を取得することができる。さらに、本実施形態にかかる撮像装置１００及び画像処理方法によれば、画像処理を簡素化することができるので、画像処理に伴う装置の負荷を低減することができる。また、本実施形態にかかる撮像装置１００及び画像処理方法によれば、画像処理の高速化及び装置コストの低減を図ることができる。

図３は、他の画像処理方法のフロー図である。本実施形態にかかる画像処理方法は、撮像ステップＳ２１と、距離測定ステップＳ２２と、距離情報画像作成／表示ステップＳ２３と、画像選択ステップＳ２４と、希望焦点距離指定ステップＳ２５と、置換ステップＳ２６と、相対距離計算ステップＳ２７と、平滑化処理ステップＳ２８と、判断ステップＳ２９を備える。距離情報画像作成／表示ステップＳ２３及び画像選択ステップＳ２４以外は、図２に示した画像処理方法と同様なので説明を省略する。

距離情報画像作成／表示ステップＳ２３において、画像生成部１６が、距離測定ステップＳ２２で測定した距離情報データから距離情報画像データを生成する。距離情報画像データは、表示部１８に送信され、表示部１８が距離情報画像を表示する。距離情報画像は、撮像部１０から、各画素に対応する被写体の各々までの距離を、予め定められた範囲毎に区別して表示する。それぞれの距離範囲の区別は、線、色、模様、文字または記号等によりおこなわれる。本例の距離情報画像は、撮像部１０からの距離がそれぞれの範囲内にある領域を、境界線で区別する。

続いて、画像選択ステップＳ２４において、抽出部２０は、距離範囲の境界線の密度が予め定められた閾値よりも高い箇所を境界として、それぞれの被写体の画像領域を抽出する。つまり、抽出部２０は、距離情報画像で示される、被写体距離の変化の勾配が、予め定められた閾値よりも急である画像領域を自動的に検出し、各被写体の画像領域として区分してよい。区分した後に、ユーザの選択命令に基づいて、選択被写体に対応する画像領域を含む区分を決定する。

図４は、相対距離とぼかし量の強度との関係を示すグラフである。縦軸は、平滑化処理によるぼかし量の強度を表し、横軸は各被写体の相対距離を表す。また、図４においては、撮像部１０の撮像レンズの開放ｆ値毎に、ぼかし量の強度および相対距離の関係を示す。３つの開放ｆ値の間には、ｆ１＞ｆ２＞ｆ３の関係がある。グラフより、相対距離の絶対値が大きいほど、ぼかし量の強度が大きくなることがわかる。平滑処理部２４は、相対距離の絶対値が大きいほど、ぼかし量を大きくしてよい。また、その傾向は開放ｆ値が大きいレンズほど顕著となることがわかる。

図５は、表示部１８が表示した距離情報画像２００の一例である。本例において、被写体２１０は、両手を前に突き出した一人の人間の上半身である。距離情報画像２００は、被写体２１０の画像及びその横に表示された模様チャート２２０を含む。距離情報画像２００は、被写体２１０の輪郭がわかる程度の解像度を有する画像であってよい。距離情報画像２００において、被写体２１０の体の表面は、撮像部１０からの距離に応じて、所定の距離の範囲毎に異なる模様が付されて区別されている。また、距離情報画像は、撮像部１０からの距離がそれぞれの範囲内にある領域を境界線で区別する。本例では、１ｍから７ｍまでの距離を５段階で５種類の模様により区別している。

例えば、距離の範囲ａによって区別される被写体部分と距離の範囲ｂによって区別される被写体部分とでは、模様が異なるので、撮像部１０からの距離が異なることがユーザは容易に識別することができる。模様の境界線どうしの間隔が狭い場所は、奥行き方向の距離の変化量が大きいことを示す。一方、模様の境界線どうしの間隔が広い場所は、奥行き方向の距離の変化量が小さいことを示す。距離の範囲は、模様以外に、色、文字もしくは記号等によって区別してもよい。本例では、被写体２１０が一人の人間の上半身である場合について説明したが、被写体が景色のような２以上の物体で構成される場合も同様である。

抽出部２０は、距離情報画像２００において、所定の距離の範囲毎に区分する境界線の密度が予め定められた閾値よりも高い箇所を境界として、それぞれの被写体の画像領域を抽出してよい。平滑処理部２４は、当該境界線に沿って、平滑化処理を行ってよい。つまり、同一の境界線上の画像のぼかし量が略同一となるように、フィルタリングの範囲を境界線に沿って移動させてよい。

図６は、本実施形態にかかる撮像装置１００の撮像部１０により、屋外の様子を撮像した撮像画像の一例である。本例の撮像画像は、中央の海に浮かんだ人間、その後方の海面、水平線、海に浮かんだヨット、上空の雲などの複数の被写体に対応する画像を含む。本例の撮像画像は、撮像部１０の絞りを絞って撮像したパンフォーカス画像である。

図７は、図６に示す撮像画像を本実施形態にかかる画像処理方法により処理した擬似合焦像である。本例の擬似合焦像は、中央の人間に擬似合焦した画像を示している。複数の被写体の中で、中央の人間にのみピントが合っており、それ以外の被写体は強くぼけて見える。このように本実施形態にかかる撮像装置１００によれば、被写界深度の深い画像を被写界深度の浅い画像に見せることができる。つまり、本実施形態にかかる撮像装置１００によれば、ユーザが指定した任意の希望焦点距離に応じて、当該希望焦点距離の位置にあたかもピントがあっているような画像を得ることができる。

図８は、図１に示す距離測定部１２のひとつの実施形態を示す。本実施形態にかかる距離測定部１２は、同一の被写体３３からの光を異なる光路４４及び光路４６を介して受光する像面位相差センサ５０を含む。ここで、像面位相差センサ５０は、撮像素子３０と、２つの開口部３８、４０を含む開口保持部４２を含む。撮像素子３０は、フォトダイオード３２、瞳分割部３４、マイクロレンズ４８を含む。瞳分割部３４には、スリット３６が設けられており、光路４４または光路４６のいずれかを通過した光をフォトダイオード３２に入射させる。開口保持部４２において、開口部３８及び開口部４０は、それぞれマイクロレンズ４８の光軸線３７から等距離に配置される。

像面位相差センサ５０は、各々の光が受光された位置に基づいて、撮像部１０から２以上の被写体の各々までの距離を測定する。像面位相差センサ５０は、瞳分割を施した２種類の撮像素子３０を、チップ上に混在させて配置することにより、得られた視差情報に基づいて、撮像部１０から２以上の被写体の各々までの距離を測定する。なお、像面位相差センサ５０は、通常の画像も同時に取得することができる。

瞳分割部３４は、液晶によって構成されてよい。瞳分割部３４は、液晶に印加する電圧の変化に応じて、スリット３６の位置を位置Ａ及び位置Ｂの間で交替させる。位置Ａにスリット３６がある場合、マイクロレンズ４８を通過した光路４６の光がスリット３６を通過して位置Ａに対応するフォトダイオード３２に入射する。位置Ｂにスリット３６がある場合、マイクロレンズ４８を通過した光路４４の光がスリット３６を通過して位置Ｂに対応するフォトダイオード３２に入射する。

図９は、撮像素子３０をマトリクス状に並べた撮像チップ５２の一例を示す。本例において、撮像素子３０は、ある時間において位置Ｂにスリット３６を有する撮像素子３０−１と位置Ａにスリットを有する撮像素子３０−２がｘ方向に交互に配置されている。また、ｙ方向には隣接する撮像素子と同一の位置にスリット３６を有する複数の撮像素子３０が配置されている。スリット３６の位置は時間の経過とともに位置Ａと位置Ｂとの間を交替してよい。撮像素子３０−１、３０−２の撮像チップ５２における配置は、これに限定されない。撮像チップ５２の全面に撮像素子３０―１、３０−２を敷き詰めてもよいが、所定の間隔で撮像素子３０―１、３０−２を配置してもよい。その場合、撮像素子３０―１、３０−２の配置密度は、被写体３３までの距離を予測可能な程度であればよい。

図１０は、図９に示す像面位相差センサ５０の撮像チップ５２の位置Ａ及び位置Ｂにおける、撮像素子３０のｘ方向の位置と撮像素子３０―１、３０−２で受光した光の信号量との関係を示すグラフである。線Ａは、位置Ａにスリット３６を有する撮像素子３０−１が受光した信号量と撮像素子３０−１のｘ方向の位置との関係を示す。線Ｂは、位置Ｂにスリット３６を有する撮像素子３０−２が受光した信号量と撮像素子３０−２のｘ方向の位置との関係を示す。つまり、線Ａは位置Ａで瞳分割した撮像素子３０−１が構成する画像を示し、線Ｂは位置Ｂで瞳分割した撮像素子３０−２が構成する画像を示している。

まず、像面位相差センサ５０で撮像した全体画像を一定の範囲に区分する。次に、区分した範囲の画像から像面位相差センサの出力のみを切り出し瞳分割画像を抽出する。次に瞳分割画像における位置Ａの瞳分割画素と位置Ｂの瞳分割画素のズレ量をシフト演算により算出する。次に、ズレ量を画像の各位置について算出し、距離差の情報として保存する。データの保存は、画像と距離情報算出後の結果を分けて保存する方法、画像の中に距離情報算出後の結果も混ぜて一つのファイルで保存する方法、一つの画像として、距離情報算出前の瞳分割画像と通常画像を保存する方法などがある。

図１１は、図１に示す距離測定部１２の他の実施形態を示す。本実施形態にかかる距離測定部１２は、光の飛翔時間を測定するＴＯＦイメージセンサ６０を含む。ＴＯＦイメージセンサ６０は、撮像部１０から被写体６５までの光の往復時間に基づいて、撮像部１０から被写体６５までの距離を測定する。ＴＯＦイメージセンサ６０は、発光素子６４と、受光素子６２と、飛翔時間測定部６３を有する。発光素子６４は、被写体６５に向けて光６６を照射する。発光素子６４は、例えば、赤外線ＬＥＤである。赤外線ＬＥＤは、散乱されにくい波長の長い赤外線を放出するので好ましい。受光素子６２は、被写体６５から反射された光６８を受光する。受光素子６２はフォトダイオードであってよい。受光素子６２は、光電変換の速度が速いフォトダイオードを有するデバイスが好ましい。飛翔時間測定部６３は、発光素子６４及び受光素子６２に接続されて、光６６及び光６８の飛翔時間を測定する。

図１２は、ＴＯＦイメージセンサ６０の動作のタイミングチャートを示す。波形７２は発光素子６４が発光する光６６のパルス波形を示す。波形７４は受光素子６２が受光する光６８のパルス波形を示す。時刻ｔ１は光６６の発光パルスの立ち上がりの時刻を示し、時刻ｔ２は光６８の受光パルスの立ち上がりの時刻を示す。飛翔時間測定部６３は、ｔ２−ｔ１を正確に測定することができる。ｔ２−ｔ１は光の遅延時間７６を指す。被写体までの距離をＤとすると、Ｄ＝（ｔ２−ｔ１）×ｃ／２の関係が成り立つ。ここで、ｃは光速を表す。

図１３は、図１に示す距離測定部１２の他の実施形態を示す。本実施形態にかかる距離測定部１２は、異なる光学位置から被写体８５を撮像する光学系８０を含む。光学系８０において、異なる光学位置から撮像した撮像画像間の視差に基づいて、撮像部１０から被写体８５までの距離を測定する。光学系８０は、一対のレンズ８６及びレンズ８８と、それぞれのレンズ８６、８８に対応する撮像素子８２、８４を有する。被写体８５から光路８１を進む光はレンズ８８を通過し、撮像素子８４の位置ｍのフォトダイオードに入射する。一方、光路８３を進む光は、レンズ８６を通過し、撮像素子８２の位置ｎのフォトダイオードに入射する。撮像素子８４のフォトダイオードの位置ｍと撮像素子８２のフォトダイオードの位置ｎは、異なる光学位置を構成している。つまり、光学系８０は、異なる光学位置ｎ、ｍから同一の被写体８５を撮像する。光学位置ｎと光学位置ｍとの視点間距離８７は視差を表す。光学系８０は、例えば、２眼カメラ、立体画像のキャプチャーデバイスである。

図１４は、被写体８５と撮像部１０との距離が図１３よりも短い場合の光学系８０を示す。光学系８０の構成及び動作は図１３に示す光学系８０と同じなので説明を省略する。図１４に示す光学系８０は、異なる光学位置ｐ、ｑから同一の被写体８５を撮像する。光学位置ｐと光学位置ｑとの視点間距離８９は視差を表す。ここで、図１３と図１４を比較すると、被写体８５がより遠くにある場合の視点間距離８７よりも、被写体８５がより近くにある場合の視点間距離８９の方が長い。光学系８０は、撮像部１０から被写体８５までの距離の変化から生じる視差の相違に基づいて、撮像部１０から被写体８５までの距離を測定する。

図１５は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェース２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェース２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェース２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１１として機能させるプログラムは、画像生成モジュールと、抽出モジュールと、置換モジュールと、計算モジュールと、平滑処理モジュールを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像生成部１６、抽出部２０、置換部２１，計算部２２、及び平滑処理部２４としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像生成部１６、抽出部２０、置換部２１、計算部２２、及び平滑処理部２４として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１１が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェース２０３０に対して通信処理を指示する。通信インターフェース２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェース２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェース２０３０からデータを読み出し、転送先の通信インターフェース２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 撮像部、１１ 画像処理装置、１２ 距離測定部、１４ メモリ、１６ 画像生成部、１８ 表示部、２０ 抽出部、２１ 置換部、２２ 計算部、２４ 平滑処理部、２５ ユーザ・インターフェース、２７ ユーザ・インターフェース、２６ メインメモリ、２８ 出力インターフェース、３０ 撮像素子、３２ フォトダイオード、３３ 被写体、３４ 瞳分割部、３６ スリット、３７ 光軸線、３８ 開口部、４０ 開口部、４２ 開口保持部、４４ 光路、４６ 光路、４８ マイクロレンズ、５０ 像面位相差センサ、５２ 撮像チップ、６０ ＴＯＦイメージセンサ、６２ 受光素子、６３ 飛翔時間測定部、６４ 発光素子、６５ 被写体、６６ 光、６８ 光、７２ 波形、７４ 波形、７６ 遅延時間、８０ 光学系、８１ 光路、８２ 撮像素子、８３ 光路、８４ 撮像素子、８５ 被写体、８６ レンズ、８７ 視点間距離、８８ レンズ、８９ 視点間距離、１００ 撮像装置、２００ 距離情報画像、２１０ 被写体、２２０ 模様チャート、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェース、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (17)

1. 被写体の撮像画像を撮像する撮像部と、
   前記撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出部と、
   前記撮像画像に含まれる各被写体について、前記撮像部までの被写体距離を示す情報を取得し、前記選択被写体の前記被写体距離を、前記ユーザが指定した被写体距離に置き換えた画像データを生成する置換部と、
   前記置換部が生成した前記画像データに対して、それぞれの前記被写体に対応する前記被写体距離に基づいて、前記撮像画像を平滑化する平滑処理部と
   を備える撮像装置。
2. 前記ユーザが指定する希望焦点距離に対する、それぞれの前記被写体の前記被写体距離の相対距離を計算する計算部を更に備え、
   前記平滑処理部は、前記計算部が計算した前記相対距離に基づいて、前記撮像画像を平滑化する
   請求項１に記載の撮像装置。
3. 前記平滑処理部は、前記選択被写体に対して前記ユーザが指定した前記被写体距離を、前記希望焦点距離とする
   請求項２に記載の撮像装置。
4. 前記置換部は、前記選択被写体の前記被写体距離を置き換える場合に、置き換え前後の前記被写体距離の差分に応じて、前記選択被写体の前記画像上における大きさを変化させる
   請求項１から３のいずれか一項に記載の撮像装置。
5. 前記撮像部から２以上の前記被写体の各々までの被写体距離を測定する距離測定部を更に備え、前記計算部は、当該被写体距離に基づいて、前記相対距離を計算する請求項２または３に記載の撮像装置。
6. 前記距離測定部は、同一の前記被写体からの光を異なる光路を介して受光する像面位相差センサを含み、前記像面位相差センサにおいて、各々の光が受光された位置に基づいて、前記撮像部から２以上の前記被写体の各々までの被写体距離を測定する請求項５に記載の撮像装置。
7. 前記距離測定部は、光の飛翔時間を測定するＴＯＦイメージセンサを含み、前記撮像部から２以上の前記被写体の各々までの光の往復時間に基づいて、前記撮像部から２以上の前記被写体の各々までの被写体距離を測定する請求項５に記載の撮像装置。
8. 前記距離測定部は、異なる光学位置から前記被写体を撮像する光学系を含み、前記光学系において、異なる光学位置から撮像した撮像画像間の視差に基づいて、前記撮像部から２以上の前記被写体の各々までの被写体距離を測定する請求項５に記載の撮像装置。
9. 前記抽出部は、ユーザが前記撮像画像に基づいて前記選択被写体を選択した場合に、前記選択被写体に対応する前記撮像画像の領域をエッジ検出により区分する請求項１から８のいずれか一項に記載の撮像装置。
10. 前記距離測定部によって測定した、前記撮像部から２以上の前記被写体の各々までの被写体距離に基づいて、２以上の前記被写体の各々と前記撮像部との間の距離を表す距離情報画像を生成する画像生成部を更に備える請求項５から８のいずれか一項に記載の撮像装置。
11. 前記距離情報画像は、前記撮像部から、各画素に対応する前記被写体の各々までの距離を、予め定められた範囲毎に区別して表示する請求項１０に記載の撮像装置。
12. 前記距離情報画像は、前記撮像部からの距離がそれぞれの前記範囲内にある領域を、境界線で区別し、
    前記抽出部は、前記境界線の密度が予め定められた閾値よりも高い箇所を境界として、それぞれの前記被写体の前記画像領域を抽出する請求項１１に記載の撮像装置。
13. 前記撮像画像は、パンフォーカス画像である請求項１から１２のいずれか一項に記載の撮像装置。
14. 前記平滑処理部は、前記相対距離がより大きい前記被写体に対応する前記撮像画像の領域に対して、ぼかしの程度をより大きくする請求項２または３に記載の撮像装置。
15. 撮像装置が撮像した被写体の撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出部と、
    前記撮像画像に含まれる各被写体について、前記撮像装置までの被写体距離を示す情報を取得し、前記選択被写体の前記被写体距離を、前記ユーザが指定した被写体距離に置き換えた画像データを生成する置換部と、
    前記置換部が生成した前記画像データに対して、それぞれの前記被写体に対応する前記被写体距離に基づいて、前記撮像画像を平滑化する平滑処理部と
    を備える画像処理装置。
16. 撮像装置が被写体を撮像した撮像画像を取得する段階と、
    前記撮像画像から、ユーザにより選択された選択被写体に対応する画像領域を抽出する抽出段階と、
    前記撮像画像に含まれる各被写体について、前記撮像装置までの被写体距離を示す情報を取得し、前記選択被写体の前記被写体距離を、前記ユーザが指定した被写体距離に置き換えた画像データを生成する置換段階と、
    前記置換段階で生成した前記画像データに対して、それぞれの前記被写体に対応する前記被写体距離に基づいて、前記撮像画像を平滑化する平滑処理段階と
    を備える画像処理方法。
17. コンピュータを請求項１５に記載の画像処理装置として機能させるためのプログラム。

Images