JP4282920B2 - 視差画像撮像装置及び視差画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像撮像方法、記録媒体、およびプログラムに関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像撮像方法、記録媒体、およびプログラムに関する。
【０００２】
【従来の技術】
被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを２台並べて、異なる２つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像の位置が視差画像上でずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、３角測量の原理によりカメラから被写体までの距離を測定する。また、特許２６１１１７３号公報（登録日平成９年２月２７日）には少なくとも３つの撮像装置を用いて移動物の位置を測定する方法が開示されている。
【０００４】
【発明が解決しようとする課題】
本発明は、被写体の奥行き値を効率よく算出することができる画像撮像装置、画像処理装置、画像撮像方法、およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、被写体の奥行きに関する情報を取得する画像撮像装置は、複数の視点位置から被写体を撮像する撮像部と、撮像部に複数の視点位置から異なるタイミングで被写体を撮像させ、複数の視点位置の少なくとも１つの視点位置において２回以上被写体を撮像させる制御部とを備える。
【０００６】
撮像部は、異なる複数の位置に設けられた複数の撮像ユニットを有し、制御部は、複数の撮像ユニットに異なるタイミングで被写体を撮像させ、複数の撮像ユニットの少なくとも１つの撮像ユニットに２回以上被写体を撮像させてもよい。撮像部の視点位置を複数の位置に移動させる視点位置移動部をさらに備え、制御部は、視点位置移動部に撮像部の視点位置を移動させつつ、視点位置で撮像部に被写体を順次撮像させ、複数の視点位置の少なくとも１つの視点位置において２回以上被写体を撮像させてもよい。
【０００７】
画像撮像装置は、１つの視点位置で２回以上撮像することで得られた２枚以上の画像と１つの視点位置と異なる視点位置で撮像した画像に基づき被写体の特定領域の奥行きを算出してもよい。
【０００８】
画像撮像装置は、１つの視点位置で２回以上撮像することで得られた２枚以上の画像と異なる視点位置で撮像した画像に基づき被写体の特定領域の像の位置のずれを検出する位置ずれ検出部をさらに備え、奥行き算出部は、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出してもよい。
【０００９】
画像撮像装置は、１つの視点位置における２以上の画像に基づき、異なる視点位置での撮像と同時刻において１つの視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成部をさらに備え、位置ずれ検出部は、異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出してもよい。
【００１０】
画像撮像装置は、撮像部が被写体を撮像する時刻を設定する時刻設定部をさらに備え、推定画像生成部は、１つの視点位置で複数回撮像した場合における各撮像時刻と、各画像における被写体中の特定領域の像の位置とに基づき、１つの視点位置における所定の時刻の像の位置を推定してもよい。
【００１１】
撮像部は、外界の映像を結像する結像部と結像部を透過した光の透過範囲を制限する少なくとも１つの開口を有する光制限部を有し、視点位置移動部は、光制限部を動かすことにより開口を複数の位置に移動させて複数の位置を実現してもよい。
【００１２】
撮像部は、結像部と結像部を透過した光の透過範囲を制限する複数の開口を有する光制限部を有し、視点位置移動部は、複数の開口の少なくとも１つを閉じることにより複数の位置を実現してもよい。
【００１３】
視点位置移動部は、少なくとも同一直線上に並ばない３つの視点位置に、撮像部を移動させてもよい。撮像部は、少なくとも同一直線上に並ばない３つの位置に、複数の撮像ユニットを有してもよい。
【００１４】
視点位置移動部は、撮像部を菱形の各頂点と中心の５つの位置に移動させてもよい。
【００１５】
撮像部は、複数の撮像ユニットを、少なくとも菱形の各頂点と中心の５つの位置に有してもよい。撮像部は、２つの視点位置から被写体を撮像し、制御部は、撮像部に２つの視点位置から被写体を交互に３回以上撮像させてもよい。
【００１６】
被写体の奥行きに関する情報を取得する画像処理装置であって、複数の異なる視点位置から異なるタイミングで順次被写体を撮像した画像であって、少なくとも同一の視点位置から撮像した２以上の画像を含む複数の画像を入力する入力部と、同一視点位置における２以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成部と、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【００１７】
推定画像生成部は、同一視点位置で複数回撮像した時刻と、被写体の特定領域の像の位置とに基づき、同一視点位置と異なる視点位置での撮像と同時刻に、同一視点位置から被写体の特定領域の像を見た場合の像の位置を推定してもよい。
【００１８】
推定画像生成部は、同一視点位置で複数回撮像した被写体の特定領域の像の位置と大きさとに基づき、同一視点位置と異なる視点位置での撮像と同時刻に、同一視点位置から被写体の特定領域の像を見た場合の像の位置を推定してもよい。
【００１９】
推定画像生成部は、同一視点位置で撮像された２枚以上の画像における被写体の像の位置又は大きさに変化がある領域と、被写体の像の位置及び大きさに変化がない領域とに分け、変化のない領域について推定画像を推定する場合に、同一視点位置で撮像された２枚以上の画像の１枚を推定画像としてもよい。
【００２０】
入力部は、異なる２つの視点位置から交互に被写体を撮像した複数の画像を入力し、推定画像生成部は、一方の視点位置から撮像された一の画像と、一の画像より前のタイミングで一方の視点位置から撮像された画像とを用いて、第１の推定処理を行い、さらに、第１の推定処理の後に、一の画像より後のタイミングで一方の視点位置から撮像された画像と、一の画像とを用いて、第２の推定処理を行い、位置ずれ検出部は、第１の推定処理と第２の推定処理の間に、一の画像と、他方の視点位置から撮像した画像とを用いて、位置のずれを検出してもよい。
【００２１】
被写体の奥行きに関する情報を取得する画像撮像方法であって、第１の視点位置における第１の時刻での被写体の第１の画像を撮像し、第２の視点位置における第２の時刻での被写体の第２の画像を撮像し、第１の視点位置における第３の時刻での被写体の第３の画像を撮像し、第１の画像と第３の画像に基づいて第１の視差位置における第２の時刻での被写体の特定領域の像を推定し、推定した被写体の特定領域の像と第２の画像における被写体の特定領域の像の位置のずれを検出し、位置ずれに基づいて、被写体の特定領域の奥行きを算出することを特徴とする。
【００２２】
被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、複数の異なる視点位置から順次被写体を撮像した画像であって、少なくとも同一の視点位置から撮像した２以上の画像を含む複数の画像を入力する入力モジュールと、同一視点位置における２以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成モジュールと、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出モジュールと、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出モジュールとを備えたことを特徴とする。
【００２３】
被写体の奥行きに関する情報を取得するコンピュータ用のプログラムは、複数の異なる視点位置から順次前記被写体を撮像した画像であって、少なくとも１つの同一の視点位置から撮像した２以上の画像を含む複数の画像を入力する入力モジュールと、同一視点位置における２以上の画像に基づき、同一視点位置と異なる視点位置での撮像と同時刻において同一視点位置から撮像されたと仮定した場合の被写体の特定領域の像を推定する推定画像生成モジュールと、同一視点位置と異なる視点位置から見た被写体の特定領域の像と、推定された被写体の特定領域の像との位置のずれを検出する位置ずれ検出モジュールと、位置ずれ検出部が検出した位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出モジュールとを備える。
【００２４】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２５】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２６】
（実施形態１） 本発明の第１の実施形態を説明する。図１は、撮像装置２００の機能説明図である。撮像装置２００は、制御部２０２と、視点位置移動部２０４と、時刻設定部２０６と、撮像部２０８とを有する。制御部２０２、視点位置移動部２０４、時刻設定部２０６、撮像部２０８は、それぞれ後述する撮像系ＣＰＵ５０、レンズ駆動部４２、シャッタ駆動部４８、撮像ユニット２０としてデジタルカメラ１０の中で実現されてもよい。以下デジタルカメラ１０で詳しく述べる。
【００２７】
図２は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００２８】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２９】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００３０】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００３１】
撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００３２】
撮像制御ユニット４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。また撮像系ＣＰＵ５０は、視差画像を撮像するために、レンズ駆動部４２を制御して撮影レンズ２２の位置を移動させる。
【００３３】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定し、またシャッタを駆動させるタイミングを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００３４】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００３５】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３６】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００３７】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００３８】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３９】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００４０】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００４１】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００４２】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００４３】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図２において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００４４】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００４５】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４６】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００４７】
本実施形態において、撮像ユニット２０は、２以上の異なる視点位置から被写体の視差画像を撮像する。
【００４８】
図３は、撮像ユニット２０の撮影レンズ２２の構成の一例である。これは撮影レンズ２２をデジタルカメラ１０の正面から見た図である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を視点位置２２Ｒ、２２Ｌに移動させて、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。
【００４９】
また、レンズ駆動部４２が撮像ユニット２０全体を移動させることにより異なる視点位置での撮像を実現してもよい。このようにレンズ等撮像ユニットの一部又は撮像ユニット全体を移動させて異なる視点位置で撮像するモーションステレオ法は、二台以上のカメラを用いる複眼ステレオ法による撮像より、装置が簡単で小さく、経済的であり、また撮像装置のピント等撮像条件の調整が容易である。
【００５０】
撮像ユニット２０のＣＣＤ３０は、各々の視点位置に対して別個に設けられ、撮像レンズ２２が、それぞれの視点位置で結像する被写体の像を受光してもよい。また、２つの視点位置で結像する被写体の像を受光できる共通のＣＣＤ３０を１つ設けてもよい。
【００５１】
本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００５２】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００５３】
本実施形態のＣＣＤ３０は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００５４】
さらに、撮影レンズ２２は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ３０に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの解像度や感度が異なっていてもよい。
【００５５】
本実施形態の処理ユニット６０は、撮像ユニット２０が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。
【００５６】
図４は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、視差画像記憶部３０２と、推定画像生成部３０３と、位置ずれ検出部３０４と、奥行き算出部３０８と、記録部３１０とを有する。
【００５７】
視差画像記憶部３０２は、撮像ユニット２０が基準視点位置で２回、参照視点位置で１回撮像した３以上の画像とこれらの画像が撮像された時刻とを記憶する。時刻とは、撮像の相対的時刻でよく、撮像の時間間隔等でよい。推定画像生成部３０３は、視差画像記憶部３０２が記憶する３以上の画像の中から基準視点位置で撮像された画像を選び、基準視点位置で撮像された２以上の画像より、参照視点位置で撮像した時刻の基準視点位置からの推定画像を生成する。推定画像の生成方法は後述する。位置ずれ検出部３０４は、参照視点位置で撮像された画像と推定画像とにおいて被写体の特定領域の像の位置が視差によってずれる量を検出する。
【００５８】
奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。奥行き値の計算方法は三角測量の原理に基づく。位置ずれ検出部３０４及び奥行き算出部３０８によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００５９】
奥行き算出部３０８は算出した被写体の奥行き情報を撮像制御ユニット４０へ入力し、撮像制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッタ速度を調整してもよい。
【００６０】
記録部３１０は、奥行き算出部３０８が算出した被写体の奥行き情報、及び視差画像記憶部３０２が記憶する被写体の視差画像をオプション装置７６に記録させる。
【００６１】
処理ユニット６０の推定画像生成部３０３、位置ずれ検出部３０４、及び奥行き算出部３０８の機能は一例として、図２のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の視差画像記憶部３０２が記憶すべき視差画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また視差画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１０の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、奥行き算出部３０８は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００６２】
図５は、本実施形態の撮像フローの一例を説明する図である。撮像系ＣＰＵ５０は、前記したように決定されたシャッタスピードに基づき撮像の時間間隔Ｔ秒を決定し、レンズ駆動部４２、シャッタ駆動部４８、撮像ユニット２０に決定した時間間隔Ｔ秒を伝える（Ｓ１００）。レンズ駆動部４２は、レンズ２２を視点位置２２Ｌに移動させ、シャッタ駆動部４８と撮像ユニット２０は、連携により被写体を撮像し、画像Ｌ１を得る（Ｓ１０２）。レンズ駆動部４２は、レンズ２２を視点位置２２Ｒに移動させ、シャッタ駆動部４８と撮像ユニット２０は、連携により前回の撮像からＴ秒後に被写体を撮像し、画像Ｒ２を得る（Ｓ１０４）。レンズ駆動部４２は、レンズ２２を視点位置２２Ｌに移動させ、シャッタ駆動部４８と撮像ユニット２０は、連携により前回の撮像からＴ秒後に被写体を撮像し、画像Ｌ３を得る（Ｓ１０６）。
【００６３】
視差画像記憶部３０２は、画像Ｌ１、画像Ｒ２及び画像Ｌ３の画像データと時間間隔Ｔのデータを受け取り、記憶する（Ｓ１０７）。推定画像生成部３０３は、画像Ｌ１と画像Ｌ３とに基づき、画像Ｒ２が撮像された時刻の視点位置２２Ｌからの推定画像Ｌ２を推定する（Ｓ１１０）。位置ずれ検出部３０４は、画像Ｒ２と推定画像Ｌ２における被写体の特定領域の像の視差による位置ずれ量を検出する（Ｓ１１２）。奥行き算出部３０８は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出する（Ｓ１１４）。記録部３１０は、受け取った奥行き値を記憶する（Ｓ１１６）。この撮像方法によると、動きのある被写体に対しても、モーションステレオ法で有効な被写体の奥行き値を知ることができる。
【００６４】
図６は、被写体の像の中で、被写体の動きが無視できる領域と無視できない領域とに分ける処理フローである。視差画像記憶部３０２は、画像Ｌ１、画像Ｒ２及び画像Ｌ３の画像データと時間間隔Ｔのデータを受け取り、記憶する（Ｓ１０７）。推定画像生成部３０３は、画像の特定領域を選択する（Ｓ１０８）。推定画像生成部３０３は、画像Ｌ１と画像Ｌ３の画像における被写体の特定領域の像の位置及び大きさの違いが予め設定した値以下であるか判断する（Ｓ１０９）。位置又は大きさの違いが設定した値より大きい場合、図５の場合と同様に推定画像Ｌ２を生成し（Ｓ１１０）、画像Ｒ２と推定画像Ｌ２における被写体の特定領域の視差による位置ずれ量を検出し（Ｓ１１２）、位置ずれ量から奥行き値を算出し（Ｓ１１４）、記録部３１０は奥行き値を記憶する（Ｓ１１６）。一方、位置及び大きさの違いが設定した値より小さい場合、位置ずれ検出部３０４は画像Ｌ１と画像Ｒ２における前記特定領域の像の位置ずれを検出し（Ｓ１１３）、奥行き算出部３０８は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出し（Ｓ１１４）、記録部３１０は、受け取った奥行き値を記憶する（Ｓ１１６）。この処理によると、動きのほとんど無い特定領域では、画像推定の処理を省くことができる。
【００６５】
また、画像Ｌ１と画像Ｌ３を複数の区画に分けて、画像Ｌ１と画像Ｌ３の対応する区画の中の像が一致するかどうかで区画を分け、一致しない区画では、図５の場合と同様に推定画像Ｌ２を生成し（Ｓ１１０）、画像Ｒ２と推定画像Ｌ２における被写体の特定領域の視差による位置ずれ量を検出し（Ｓ１１２）、位置ずれ量から奥行き値を算出し（Ｓ１１４）、記録奥行き値を記憶する（Ｓ１１６）。一致する区画では、位置ずれ検出部３０４は画像Ｌ１と画像Ｒ２における前記特定領域の像の位置ずれを検出し（Ｓ１１３）、奥行き算出部３０８は、位置ずれ量から被写体の特定領域の奥行き値を三角測量の原理に基づき算出し（Ｓ１１４）、記録部３１０は、受け取った奥行き値を記憶する（Ｓ１１６）。この処理によると、動きのほとんど無い区画では、画像推定の処理を省くことができる。
【００６６】
推定画像生成方法について詳しく説明する。画像処理するときは被写体を細かい領域に分けて領域毎に処理する。領域毎に奥行き値および動き量が異なるからである。
【００６７】
図７は、人物の鼻を特定領域とし推定画像生成方法の一例をあらわしたものである。撮像の時間間隔は十分短いため被写体の動きによる位置変化は時間に対して線形であると近似することができる。前記図５の撮像フローのように等しい時間間隔で撮像した場合、Ａ、Ｂにおける画像Ｌ１ハナと画像Ｌ３ハナの中から対応する特徴点を設定し、画像Ｌ１ハナの特徴点と、対応する画像Ｌ３ハナの特徴点とを１：１に内分する点が対応する推定画像Ｌ２ハナの特徴点となる。撮像の時間間隔が異なる場合も内分点、外分点の計算で同様に算出できる。なお同一視点位置で３回以上撮像してもよく、この場合被写体の動きによる位置変化は多項式近似してよく、これによるとさらによい近似になることは言うまでもない。
【００６８】
図８は、人物の鼻を特定領域とした推定画像生成方法の他の例をあらわしたものである。Ａのように画像Ｌ１ハナと画像Ｌ３ハナから特徴点の内分点、外分点を算出することにより視点位置２２Ｌからの被写体の特定領域の推定画像群Ｌを推定できる。この推定画像群Ｌの中から、Ｂの画像Ｒ２ハナの像の大きさが一致するものを画像Ｒ２ハナに対応する推定画像Ｌ２ハナとする。この推定方法によると、撮像の時刻の情報が無くても推定できる。また、被写体の動きが、直線に近ければ加速していてもよい近似となる。図７で説明した推定方法を補完するために用いてもよい。
【００６９】
図９は、撮像ユニット２０の撮影レンズ２２の構成の他の例で、撮像ユニット２０を正面から見たものである。レンズ駆動部４２は、撮像ユニット２０の視点位置（例えば撮影レンズ２２）を少なくとも同一直線上に並ばない３つの視点位置に移動させるのが好ましい。特に本図で例示する形態では、レンズ駆動部４２は、撮像ユニット２０の視点位置を菱形の中心と各頂点の位置に移動させる。すなわち、視点位置は、菱形の中心と各頂点の位置２２ａ、２２ｂ、２２ｃ、２２ｄ、２２ｅである。レンズ駆動部４２は、撮像ユニット２０の視点位置を正方形の中心と各頂点の位置に移動させてもよい。被写体が、画像の中心から右又は左に大きくずれた場合、２２ａと２２ｃの組み合わせでは視差による位置のずれが小さくなり奥行き値の算出が困難な「死角」ができる。この場合、２２ａと２２ｂを組み合わせるとよい。死角を作らずに広い視野にわたって被写体を撮像し視差による位置ずれを検出するためには、このように５つの視点位置を設定すると効果的である。撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を移動させて、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。２つの視点位置から見た場合の２つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第３の視点位置から見た視差画像を組み合わせることにより、死角領域を解消することができ、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【００７０】
図１０は、撮像ユニット２０が視点位置を変える他の例である。絞り２４は、光制限部の一例である。レンズ２２は固定で、絞り駆動部４６が絞り２４の開口２５をレンズ瞳面に平行に移動させる。図１１のように、絞り２４を回転させて開口２５の位置を変えてもよい。また、複数の開口を液晶光シャッタで開閉させることにより開口２５の位置を変えてもよい。このように開口の位置を変えることで複数の視点位置での撮像を可能にする。被写体のなかでピントの合うピント面上にある領域の像は開口２５を移動させても前記像の位置は変化しないが、ピントの合っていないいわゆるぼけた像は開口２５を移動させると、それにともない移動する。またぼけた像の移動量はピント面からの距離にともない大きくなり、このことを利用して奥行き値を得る。この場合、絞り２４を移動させるだけでよく、撮像ユニット２０全体やレンズ２２を移動させる場合に較べ可動部が小さく軽量であるため、移動のシステムが簡単になり制御も容易になる。また、視点位置の移動に要する時間も短縮でき撮像間隔を短くできるので推定画像の推定精度もよくなる。
【００７１】
以上述べたように、本実施形態の画像撮像装置によれば、３次元方向に動いている被写体であっても、動き成分をキャンセルした視差画像のペアを作ることができる。モーションステレオ法は、小さな装置で経済的に視差画像が撮れるという利点があったが、それぞれの視差画像は順次撮像された物であるため、撮像の時刻が異なり、動いている被写体に対しては有効では無かった。本実施形態によると、同一視点位置からの複数の画像を用いて特定時刻の推定画像を推定し、他の視点位置の画像とそれと同時に撮像されたと見なせる推定画像とを組み合わせることにより、同時刻の視差画像のペアをモーションステレオ法で作ることができ、有効な奥行き値を求めることができる。
【００７２】
（実施形態２） 本発明の第２の実施形態を説明する。図１２は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム３５０の構成図である。本実施形態のラボシステム３５０は、入力部３５２と、処理部３５４と、記録部３５６と、出力部３５８とを有する。
【００７３】
入力部３５２は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部３５２には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【００７４】
処理部３５４は、入力部３５２が入力した画像を記憶し、被写体の奥行き情報を算出する。処理部３５４は算出した奥行き情報を画像とともに記録部３５６に出力する。また処理部３５４は算出した奥行き情報をもとに、被写体の画像を処理して、記録部３５６と出力部３５８に出力してもよい。
【００７５】
記録部３５６は、処理部３５４が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部３５６として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部３５６は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【００７６】
出力部３５８は、処理部３５４が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部３５８には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部３５８にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【００７７】
図１３は、処理部３５４の機能構成図である。処理部３５４は、視差画像記憶部３０２と、推定画像生成部３０３と、位置ずれ検出部３０４と、奥行き算出部３０８と、画像変換部３１２とを有する。
【００７８】
視差画像記憶部３０２は、入力部３５２が入力した被写体の３以上の画像のデータをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。推定画像生成部３０３は、同一視点位置で複数回撮像された２以上の画像に基づき、所定の時刻の前記同一視点位置からの被写体の特定領域の像を推定する。位置ずれ検出部３０４は、推定画像生成に用いられる視点位置以外の視点位置において撮像された被写体の特定領域の像と推定画像の組み合わせにおいて、被写体の特定領域の像の位置が視差によってずれる量を検出する。奥行き算出部３０８は、位置ずれ検出部３０４が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。
【００７９】
推定画像生成部３０３、位置ずれ検出部３０４及び奥行き算出部３０８が、画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【００８０】
画像変換部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部３１２は、被写体の奥行き情報、視差画像、または処理された画像を記憶部３５６と出力部３５８に出力する。
【００８１】
本実施形態の画像処理装置によれば、動いている被写体の視差画像を入力して、被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、ＣＡＤ等の図面データを作成することができる。さらに撮像の時間間隔を入力すれば、特定領域毎に動きの速さと方向が算出できる。
【００８２】
（実施形態３） 次に、本発明の第３の実施形態を説明する。図１４は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第２の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部３５４として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第２の実施形態と異なる。
【００８３】
図１４を参照しながら、本実施形態の処理部３５４のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【００８４】
ＣＰＵ２３０が実行するプログラムの機能構成は、第２の実施形態の画像処理装置の処理部３５４の機能構成と同じであり、視差画像記憶モジュールと、推定画像生成モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【００８５】
視差画像記憶モジュール、推定画像生成モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第２の実施形態の画像処理装置の処理部３５４における、視差画像記憶部３０２、推定画像生成部３０３、位置ずれ検出部３０４、奥行き算出部３０８、及び画像変換部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【００８６】
上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【００８７】
記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【００８８】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【００８９】
さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【００９０】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【００９１】
（実施形態４） 次に、本発明の第４の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図１４に示した処理部３５４として機能する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置の処理ユニット６０を、図１４に示した処理部３５４のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第１の実施形態の画像撮像装置と同様である。
【００９２】
本実施形態の処理部３５４のハードウエア構成は、第３の実施形態の処理部３５４のハードウエア構成と同じであるから説明を省略する。ＣＰＵ２３０が実行するプログラムの機能構成は、第１の実施形態の画像撮像装置の処理ユニット６０の機能構成と同じであり、視差画像記憶モジュールと、推定画像生成モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【００９３】
視差画像記憶モジュール、推定画像生成モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第２の実施形態の画像撮像装置の処理部３５４における、視差画像記憶部３０２、推定画像生成部３０３、位置ずれ検出部３０４、奥行き算出部３０８、及び記録部３１０の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【００９４】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【００９５】
以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、動いている被写体に対しても、２以上の異なる視点位置から撮像した被写体の画像であって、同一視点位置で撮像した２以上の画像を含む複数の画像から、動きによる位置ずれを除いた視差画像のペアを推定でき、被写体の特定領域の像の位置ずれを検出することができ、位置ずれ量を用いて被写体の奥行き値を求めることができる。
【００９６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９７】
例えば、第１の実施形態では、撮像部が複数の視点位置から異なるタイミングで被写体を撮像することを実現する１つの方法として、１つの撮像ユニット２０の視点位置を移動させて、複数の視点位置から被写体を順次撮像する形態について説明したが、他の方法として、複数の撮像ユニット２０を異なる複数の位置に予め設け、複数の撮像ユニット２０に異なるタイミングで被写体を順次撮像させてもよい。なお、この場合の撮像ユニット２０とは、物理的に異なる光学系を有する撮像機器のことであり、例えば、複数の撮像ユニット２０は、光学系（撮影レンズ２２等）および受光素子（ＣＣＤ）等をそれぞれ別個に有し、撮像信号処理部３２やストロボ３６等を共有する。
【００９８】
図１５は、複数の撮像ユニット２０を備えた撮像部を被写体側から見た図である。撮像部は、異なる複数の位置に設けられた複数の撮像ユニット２０を有する。すなわち、撮像部は、異なる複数の位置に撮像ユニット２０を設けることにより、複数の視点位置からの被写体の撮像を実現する。制御部２０２は、時刻設定部２０６と共に、複数の撮像ユニット２０が被写体を撮像するタイミングを制御し、複数の撮像ユニット２０に異なるタイミングで順次被写体を撮像させる。この際、制御部２０２は、少なくとも１つの撮像ユニット２０に２回以上被写体を撮像させる。撮像部は、少なくとも同一直線上に並ばない３つの位置に、複数の撮像ユニット２０を有するのが好ましい。より好ましくは、撮像部は、菱形の各頂点と中心の５つの位置に撮像ユニット２０を有する。撮像部は、正方形の各頂点と中心の５つの位置に撮像ユニット２０を有してもよい。
【００９９】
また、画像撮像装置は、２つの視点位置から交互に被写体を撮像し、連続する３つの画像を用いて、被写体の奥行き情報を算出してもよい。この場合、画像撮像装置は、時系列で連続的に奥行き情報を算出でき、例えば、立体動画像を生成することができる。
【０１００】
図１６は、立体モデリングシステム５００の機能ブロックを示す。立体モデリングシステム５００も、本発明に係る画像撮像装置の一例である。立体モデリングシステム５００は、被写体の奥行き情報を時系列に連続して算出し、立体動画像を生成する。立体モデリングシステム５００は、制御部５０２と、時刻設定部５０６と、撮像部５０８と、視差画像記憶部５１０と、２つの推定画像生成部５１２と、位置ずれ検出部５１４と、奥行き算出部５１６と、出力部５１８とを備える。特に、本例では、立体モデリングシステム５００は、推定画像生成部５１２として推定画像生成部５１２Ｌおよび推定画像生成部５１２Ｒを備える。更に、撮像部５０８は、２つの撮像ユニット２０、すなわち、撮像ユニット２０Ｌと撮像ユニット２０Ｒとを有する。撮像ユニット２０Ｌと撮像ユニット２０Ｒは、異なる位置に設定される。
【０１０１】
視差画像記憶部５１０、推定画像生成部５１２、位置ずれ検出部５１４、奥行き算出部５１６、および撮像ユニット２０は、それぞれ、第１の実施形態で説明した、視差画像記憶部３０２、推定画像生成部３０３、位置ずれ検出部３０４、奥行き算出部３０８、および撮像ユニット２０と同様の機能を有する。また、制御部５０２は、撮像ユニット２０Ｌと撮像ユニット２０Ｒに交互に被写体を撮像するように、撮像のタイミングを決定し、時刻設定部５０６に出力する。時刻設定部５０６は、制御部５０２が決定したタイミングに従い、撮像するタイミングを撮像部５０８に出力する。撮像部５０８は、受け取ったタイミングに従い、撮像ユニット２０Ｌと撮像ユニット２０Ｒとに交互に撮像させ、撮像した視差画像を視差画像記憶部５１０に出力する。
【０１０２】
視差画像記憶部５１０は、受け取った視差画像を、推定画像生成部５１２と位置ずれ検出部５１４に出力する。特に、本例の視差画像記憶部５１０は、撮像ユニット２０Ｌが撮像した視差画像を推定画像生成部５１２Ｌに出力し、撮像ユニット２０Ｒが撮像した視差画像を推定画像生成部５１２Ｒに出力する。推定画像生成部５１２Ｌおよび推定画像生成部５１２Ｒは、それぞれ、異なるタイミングで撮像した画像を用いて、推定画像を生成し、位置ずれ検出部５１４に出力する。
【０１０３】
位置ずれ検出部は、第１の実施形態と同様に、一方の撮像ユニット２０で撮像した視差画像と、対応する推定画像（一方の撮像ユニット２０が撮像した時刻に、他方の撮像ユニット２０の視点位置からみえるであろう視差画像）とを用いて、位置ずれ量を検出し、奥行き算出部５１６に出力する。奥行き算出部５１６は、第１の実施形態と同様に、位置ずれ量を用いて、被写体の奥行き値を算出し、出力部５１８に出力する。出力部５１８は、受け取った奥行き値を用いて、被写体の立体モデルを生成する。出力部５１８は、撮像した時間順に立体モデルを出力することにより、動画像として出力してもよい。
【０１０４】
図１７は、立体モデリングシステム５００の処理フローを示す。制御部５０２は、時刻設定部５０６と協働して、撮像ユニット２０Ｌおよび撮像ユニット２０Ｒに所定の時間間隔で交互に撮像するよう指示する。本例では、制御部５０２および時刻設定部５０６が撮像を指示するタイミングは、順に、第１のタイミング、第２のタイミング、第３のタイミングというように続いていき、第１のタイミングでは、撮像ユニット２０Ｌが被写体を撮像し、第２のタイミングでは、撮像ユニット２０Ｒが被写体を撮像し、その後も同様に交互に撮像する。撮像部５０８は、制御部５０２および時刻設定部５０６からの指示に従い、第１のタイミングで撮像ユニット２０Ｌに被写体を撮像させて、画像Ｌ１を取得し、視差画像記憶部５１０に出力する（Ｓ２００）。同様に、第２のタイミングでは、撮像ユニット２０Ｒに被写体を撮像させて、画像Ｒ２を取得し、視差画像記憶部５１０に出力する（Ｓ２０４）。続いて、第３のタイミングで撮像ユニット２０Ｌが画像Ｌ３を取得し、視差画像記憶部５１０に出力する（Ｓ２０８）。視差画像記憶部５１０は、画像Ｌ１および画像Ｌ３を推定画像生成部５１２Ｌに出力すると、推定画像生成部５１２Ｌは、画像Ｌ１と画像Ｌ３を用いて、第２のタイミングに撮像ユニット２０Ｌから見えるであろう画像、すなわち、推定画像Ｌ２を生成し、位置ずれ検出部５１４に出力する（Ｓ２１２）。更に、視差画像記憶部５１０は、画像Ｒ２を位置ずれ検出部５１４に出力すると（Ｓ２１６）、位置ずれ検出部５１４は、推定画像Ｌ２と画像Ｒ２の位置ずれ量を検出し、続いて、奥行き算出部５１６は、検出した位置ずれ量を用いて、第２のタイミングにおける被写体の奥行き量を算出し、出力部５１８に出力する（Ｓ２２０）。
【０１０５】
次に、撮像ユニット２０Ｒが、第４のタイミングで画像Ｒ４を撮像すると（Ｓ２２４）、推定画像生成部５１２Ｒは、視差画像記憶部５１０を経由して取得した、画像Ｒ２と画像Ｒ４を用いて、第３のタイミングの推定画像Ｒ３を生成し、位置ずれ検出部５１４に出力する（Ｓ２２８）。位置ずれ検出部５１４は、更に、視差画像記憶部５１０から画像Ｌ３を受け取ると（Ｓ２３２）、画像Ｌ３と推定画像Ｒ３の位置ずれ量を検出し、続いて、奥行き算出部５１６は、検出した位置ずれ量を用いて、第３のタイミングにおける被写体の奥行き量を算出し、出力部５１８に出力する（Ｓ２３６）。次に、撮像ユニット２０Ｌが、第５のタイミングで画像Ｌ５を撮像すると（Ｓ２４０）、推定画像生成部５１２Ｌは、視差画像記憶部５１０を経由して取得した、画像Ｌ３と画像Ｌ５を用いて、第４のタイミングの推定画像Ｌ４を生成し、位置ずれ検出部５１４に出力する（Ｓ２４４）。位置ずれ検出部５１４は、更に、視差画像記憶部５１０から画像Ｒ４を受け取ると（Ｓ２４８）、画像Ｒ４と推定画像Ｌ４の位置ずれ量を検出し、続いて、奥行き算出部５１６は、検出した位置ずれ量を用いて、第４のタイミングにおける被写体の奥行き量を算出し、出力部５１８に出力する（Ｓ２５２）。
【０１０６】
次に、撮像ユニット２０Ｒが、第６のタイミングで画像Ｒ６を撮像すると（Ｓ２５４）、推定画像生成部５１２Ｒは、視差画像記憶部５１０を経由して取得した、画像Ｒ４と画像Ｒ６を用いて、第５のタイミングの推定画像Ｒ５を生成し、位置ずれ検出部５１４に出力する（Ｓ２５６）。位置ずれ検出部５１４は、更に、視差画像記憶部５１０から画像Ｌ５を受け取ると（Ｓ２６０）、画像Ｌ５と推定画像Ｒ５の位置ずれ量を検出し、続いて、奥行き算出部５１６は、検出した位置ずれ量を用いて、第５のタイミングにおける被写体の奥行き量を算出し、出力部５１８に出力する（Ｓ２６４）。以下、同様に各タイミング毎に被写体の奥行き量を算出することにより、出力部５１８は、所望する時刻の立体モデルを表示させることができる。更に、出力部５１８は、立体モデルを時刻順に動画として表示してもよい。また、立体モデリングシステム５００は、処理装置であるプロセッサを、推定画像生成部５１２Ｌ、推定画像生成部５１２Ｒ、および位置ずれ検出部５１４にそれぞれ割り当てて処理してもよい。このように、被写体を２つの視点位置から交互に撮像し、連続するタイミングで撮像した３つの画像を用いることにより、撮像から奥行き値算出までのタイムラグを最小にすると共に、被写体の奥行き値を効率よく算出することができる。
【０１０７】
【発明の効果】
上記説明から明らかなように、本発明によれば動きのある被写体の奥行きに関する情報を取得することのできる。
【図面の簡単な説明】
【図１】撮像装置２００の機能説明図である。
【図２】撮像装置の一例としてのデジタルカメラ１０の構成図である。
【図３】撮像装置２００の撮像レンズ２２の構成の一例である。
【図４】処理ユニット６０の機能説明図である。
【図５】撮像のフローチャートである。
【図６】画像処理のフローチャートである。
【図７】撮像の時刻に基づく画像推定方法の一例である。
【図８】特定領域の大きさに基づく画像推定方法の一例である。
【図９】撮像装置２００の撮像レンズ２２の構成の他の例である。
【図１０】撮像装置２００の撮像レンズ２２の構成の他の例である。
【図１１】絞り２４の構成の一例である。
【図１２】画像処理装置の一例である。
【図１３】処理部３５４の機能説明図である。
【図１４】画像処理装置の他の例である。
【図１５】 複数の撮像ユニット２０を備えた撮像部を被写体側から見た図である。
【図１６】 立体モデリングシステム５００の機能ブロック図である。
【図１７】 立体モデリングシステム５００の処理のフローチャートである。
【符号の説明】
１０ デジタルカメラ
２０ 撮像ユニット
２２ レンズ
２４ 絞り
２５ 開口
３０ ＣＣＤ
４０ 撮像制御ユニット
４２ レンズ駆動部
４６ 絞り駆動部
６０ 処理ユニット
１００ 表示ユニット
１１０ 操作ユニット
２００ 撮像装置
２０２、５０２ 制御部
２０４ 視点位置移動部
２０６、５０６ 時刻設定部
２０８、５０８ 撮像部
２３２ ＲＯＭ
２３５ 記録媒体
３０２、５１０ 視差画像記憶部
３０３、５１２ 推定画像生成部
３０４、５１４ 位置ずれ検出部
３０８、５１６ 奥行き算出部
３１０ 記憶部
３５０ ラボシステム
３５２ 入力部
３５４ 処理部
３５６ 記録部
３５８、５１８ 出力部
５００ 立体モデリングシステム

Claims (27)

1. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   複数の視点位置から前記被写体を撮像する撮像部と、
   前記撮像部に前記複数の視点位置から異なるタイミングで前記被写体を撮像させ、前記複数の視点位置の少なくとも１つの視点位置において２回以上前記被写体を撮像させる制御部と、
   前記１つの視点位置における２以上の画像に基づき、異なる視点位置での撮像と同時刻において前記１つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
   前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
   前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
   を備え、
   前記推定画像生成部は、前記１つの視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記１つの視点位置と異なる視点位置での撮像と同時刻に、前記１つの視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する画像撮像装置。
2. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   複数の視点位置から前記被写体を撮像する撮像部と、
   前記撮像部に前記複数の視点位置から異なるタイミングで前記被写体を撮像させ、前記複数の視点位置の少なくとも１つの視点位置において２回以上前記被写体を撮像させる制御部と、
   前記１つの視点位置における２以上の画像に基づき、異なる視点位置での撮像と同時刻において前記１つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
   前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
   前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
   を備え、
   前記推定画像生成部は、前記１つの視点位置で撮像された２枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記１つの視点位置で撮像された２枚以上の画像の１枚を推定画像とする画像撮像装置。
3. 前記撮像部は、
   異なる複数の位置に設けられた複数の撮像ユニット
   を有し、
   前記制御部は、前記複数の撮像ユニットに異なるタイミングで前記被写体を撮像させ、前記複数の撮像ユニットの少なくとも１つの前記撮像ユニットに２回以上前記被写体を撮像させる
   請求項１または請求項２に記載の画像撮像装置。
4. 前記撮像部は、少なくとも同一直線上に並ばない３つの位置に、前記複数の撮像ユニットを有する
   請求項３に記載の画像撮像装置。
5. 前記撮像部は、前記複数の撮像ユニットを、少なくとも菱形の各頂点と中心の５つの位置に有する
   請求項４に記載の画像撮像装置。
6. 前記撮像部の視点位置を複数の位置に移動させる視点位置移動部
   をさらに備え、
   前記制御部は、前記視点位置移動部に前記撮像部の前記視点位置を移動させつつ、前記複数の視点位置から異なるタイミングで前記撮像部に前記被写体を順次撮像させ、前記複数の視点位置の少なくとも１つの視点位置において２回以上前記被写体を撮像させる
   請求項１または請求項２に記載の画像撮像装置。
7. 前記撮像部は、
   外界の映像を結像する結像部と、前記結像部を透過した光の透過範囲を制限する少なくとも１つの開口を有する光制限部と、
   を有し、
   前記視点位置移動部は、前記光制限部を動かすことにより前記開口を複数の位置に移動させて前記複数の位置を実現する
   請求項６に記載の画像撮像装置。
8. 前記撮像部は、
   外界の映像を結像する結像部と、前記結像部を透過した光の透過範囲を制限する複数の開口を有する光制限部と、
   を有し、
   前記視点位置移動部は、前記複数の開口の少なくとも１つを閉じることにより前記複数の位置を実現する
   請求項６に記載の画像撮像装置。
9. 前記視点位置移動部は、少なくとも同一直線上に並ばない３つの視点位置に、前記撮像部を移動させる
   請求項６に記載の画像撮像装置。
10. 前記視点位置移動部は、前記撮像部を菱形の各頂点と中心の５つの位置に移動させる
    請求項９に記載の画像撮像装置。
11. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
    複数の視点位置から前記被写体を撮像する撮像部であって、レンズと、前記レンズを透過した光の透過範囲を制限する開口を含む光制限部とを有する撮像部と、
    前記レンズを固定したまま、前記開口を複数の位置に移動させて、前記撮像部の視点位置を複数の位置に移動させる視点位置移動部と、
    前記視点位置移動部に前記撮像部の前記視点位置を移動させつつ、前記複数の視点位置から異なるタイミングで前記撮像部に前記被写体を順次撮像させ、前記複数の視点位置の少なくとも１つの視点位置において２回以上前記被写体を撮像させる制御部と、
    前記１つの視点位置における２以上の画像に基づき、異なる視点位置での撮像と同時刻において前記１つの視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
    前記異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備える画像撮像装置。
12. 前記視点位置移動部は、少なくとも同一直線上に並ばない３つの視点位置に、前記撮像部を移動させる
    請求項１１に記載の画像撮像装置。
13. 前記視点位置移動部は、前記撮像部を菱形の各頂点と中心の５つの位置に移動させる
    請求項１２に記載の画像撮像装置。
14. 前記撮像部は、２つの前記視点位置から前記被写体を撮像し、
    前記制御部は、前記撮像部に前記２つの視点位置から前記被写体を交互に３回以上撮像させる
    請求項１乃至請求項１３のいずれかに記載の画像撮像装置。
15. 前記画像撮像装置は、前記撮像部が前記被写体を撮像する時刻を設定する時刻設定部をさらに備え、前記推定画像生成部は、前記１つの視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記１つの視点位置における所定の時刻の前記像の位置を推定する
    請求項１乃至請求項１４のいずれかに記載の画像撮像装置。
16. 被写体の奥行きに関する情報を取得する画像処理装置であって、
    複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも１つの同一視点位置から撮像した２以上の画像を含む複数の画像を入力する入力部と、
    前記同一視点位置における２以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
    前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備え、
    前記推定画像生成部は、前記同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する画像処理装置。
17. 被写体の奥行きに関する情報を取得する画像処理装置であって、
    複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも１つの同一視点位置から撮像した２以上の画像を含む複数の画像を入力する入力部と、
    前記同一視点位置における２以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成部と、
    前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備え、
    前記推定画像生成部は、前記同一視点位置で撮像された２枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された２枚以上の画像の１枚を推定画像とする
    画像処理装置。
18. 前記推定画像生成部は、前記同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
    請求項１６または請求項１７に記載の画像処理装置。
19. 前記入力部は、異なる２つの前記視点位置から交互に前記被写体を撮像した複数の画像を入力し、
    前記推定画像生成部は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第１の推定処理を行い、さらに、前記第１の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第２の推定処理を行い、
    前記位置ずれ検出部は、前記第１の推定処理と前記第２の推定処理の間に、前記第１の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
    請求項１６乃至請求項１８のいずれかに記載の画像処理装置。
20. 被写体の奥行きに関する情報を取得する画像撮像方法であって、
    第１の視点位置における第１の時刻での前記被写体の第１の画像を撮像する段階と、
    第２の視点位置における第２の時刻での前記被写体の第２の画像を撮像する段階と、
    第１の視点位置における第３の時刻での前記被写体の第３の画像を撮像する段階と、
    前記第１の画像と第３の画像に基づいて第１の視点位置における第２の時刻での前記被写体の特定領域の像を推定する推定画像生成段階と、
    前記推定した前記被写体の特定領域の像と第２の画像における前記被写体の特定領域の像の位置のずれを検出する位置ずれ検出段階と、
    前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する段階と
    を備え、
    前記推定画像生成段階は、同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
    画像撮像方法。
21. 被写体の奥行きに関する情報を取得する画像撮像方法であって、
    第１の視点位置における第１の時刻での前記被写体の第１の画像を撮像する段階と、
    第２の視点位置における第２の時刻での前記被写体の第２の画像を撮像する段階と、
    第１の視点位置における第３の時刻での前記被写体の第３の画像を撮像する段階と、
    前記第１の画像と第３の画像に基づいて第１の視差位置における第２の時刻での前記被写体の特定領域の像を推定する推定画像生成段階と、
    前記推定した前記被写体の特定領域の像と第２の画像における前記被写体の特定領域の像の位置のずれを検出する位置ずれ検出段階と、
    前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する段階と
    を備え、
    前記推定画像生成段階は、同一視点位置で撮像された２枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された２枚以上の画像の１枚を推定画像とする
    画像撮像方法。
22. 前記推定画像生成段階は、同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
    請求項２０または請求項２１に記載の画像撮像方法。
23. 前記推定画像生成段階は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第１の推定処理を行い、さらに、前記第１の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第２の推定処理を行い、
    前記位置ずれ検出段階は、前記第１の推定処理と前記第２の推定処理の間に、前記第１の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
    請求項２０乃至請求項２２のいずれかに記載の画像撮像方法。
24. 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムであって、前記コンピュータを、
    複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも１つの同一視点位置から撮像した２以上の画像を含む複数の画像を入力する入力手段、
    前記同一視点位置における２以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成手段、
    前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出手段、及び
    前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出手段
    として機能させ、
    前記推定画像生成手段は、前記同一視点位置で複数回撮像した場合における前記被写体の特定領域の各像の位置と大きさとに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
    プログラム。
25. 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムであって、前記プログラムを、
    複数の異なる視点位置から異なるタイミングで順次前記被写体を撮像した画像であって、少なくとも１つの同一視点位置から撮像した２以上の画像を含む複数の画像を入力する入力手段、
    前記同一視点位置における２以上の画像に基づき、前記同一視点位置と異なる視点位置での撮像と同時刻において前記同一視点位置から撮像されたと仮定した場合の前記被写体の特定領域の像を推定する推定画像生成手段、
    前記同一視点位置と異なる視点位置から見た前記被写体の特定領域の像と、前記推定された前記被写体の特定領域の像との位置のずれを検出する位置ずれ検出手段、及び
    前記位置ずれ検出部が検出した前記位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出手段
    として機能させ、
    前記推定画像生成手段は、前記同一視点位置で撮像された２枚以上の画像における前記被写体の像の位置又は大きさに変化がある領域と、前記被写体の像の位置及び大きさに変化がない領域とに分け、前記変化のない領域について前記推定画像を推定する場合に、前記同一視点位置で撮像された２枚以上の画像の１枚を推定画像とする
    プログラム。
26. 前記推定画像生成手段は、前記同一視点位置で複数回撮像した場合における各撮像時刻と、各画像における前記被写体中の特定領域の像の位置とに基づき、前記同一視点位置と異なる視点位置での撮像と同時刻に、前記同一視点位置から前記被写体の特定領域の像を見た場合の前記像の位置を推定する
    請求項２４または請求項２５に記載のプログラム。
27. 前記入力手段は、異なる２つの前記視点位置から交互に前記被写体を撮像した複数の画像を入力し、
    前記推定画像生成手段は、一方の視点位置から撮像された一の画像と、前記一の画像より前のタイミングで前記一方の視点位置から撮像された画像とを用いて、第１の推定処理を行い、さらに、前記第１の推定処理の後に、前記一の画像より後のタイミングで前記一方の視点位置から撮像された画像と、前記一の画像とを用いて、第２の推定処理を行い、
    前記位置ずれ検出手段は、前記第１の推定処理と前記第２の推定処理の間に、前記第１の推定処理で生成された推定画像と、他方の視点位置から撮像した画像とを用いて、前記位置のずれを検出する
    請求項２４から請求項２６のいずれかに記載のプログラム。

Images