JP5960710B2 - 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム - Google Patents

Description

本発明は、立体画像の撮像を行う技術に関し、特に、立体画像の生成および加工を行うための距離情報の取得技術に関する。

立体画像を撮像する方法として、２つの視点から画像を撮影する方法が一般的である。このとき、撮影中または撮影後に、一方の視点の位置を変更させた画像を必要とする場合がある。例えば、ステレオカメラを有する携帯情報端末を９０°傾けて撮像した場合、上下方向に並んだ２視点からの画像が生成されるため、画像を回転させることなく立体視するためには、左右方向に並んだ２視点からの画像に変換する必要が生じる。このような場合、視点の異なる２つの画像から各被写体と視点との距離を算出し、算出した距離と一方の視点の画像とを用いて、立体画像を所望の条件で生成する手法が用いられる。

ここで、各被写体と視点との距離を取得するためには、視差検出処理が必要となる。視差検出処理とは、同一時刻に撮影された視点の異なる２つの画像間で、同一の被写体が映っている画素を探し出して対応付けを行う画像のマッチング処理である。具体的には、基準となる視点の画像上にある画素に対して、他方の視点の画像全体から対応する画素を探索し、最も相似性の高い画素を対応点とする処理である。

しかしながら、このような処理は処理量が大きく、特に、動画に対して処理を行う場合は、毎秒３０以上のフレームそれぞれに対して行う必要があるため高い演算能力を必要とする。そのため、デジタルビデオカメラなど立体画像の撮影と表示を同時に行う機器では消費電力が高くなり、充電池による動作が難しい、あるいは充電池の持ちが悪いという問題がある。

動画における距離情報の生成処理の処理量を軽減する方法として、一部のフレームに対して距離情報の生成を行い、それ以外のフレームに対応する距離情報を補間する方法がある（例えば、特許文献１）。特許文献１に記載の技術では、立体画像の生成元となる動画像データ（各フレームを「フレーム画像」と呼ぶ）を取得するとともに、動画像データから立体画像を生成するための距離画像データを間欠的に取得する。そして、以下の方法で、欠落している距離画像データを補間生成する。すなわち、距離画像から遠近の境目領域を抽出し、フレーム画像から、境界領域とその近傍を輪郭部領域として抽出する。そして、次の時刻のフレーム画像と輪郭部領域とでパターンマッチングを行い、当該次の時刻のフレーム画像において輪郭部領域に対応する位置を算出する。最後に、輪郭部領域の移動量を算出し、距離画像を算出された移動量だけ移動させることで、当該次の時刻のフレーム画像における距離画像を補間生成する。

特許第３９８８８７９号公報

しかしながら、特許文献１の技術では、補間生成された距離画像における遠近の境目領域と、当該時刻のフレーム画像における被写体オブジェクトの輪郭線は必ずしも一致するとは限らない。これは、以下の理由による。

距離画像に対応するフレーム画像と、次の時刻のフレーム画像との間で被写体オブジェクトの輪郭線の形状とは、必ずしも一致するとは限らない。しかしながら、特許文献１の技術では、距離画像を算出された移動量だけ移動させることで次の時刻のフレーム画像における距離画像を補間生成している。そのため、距離画像に対応するフレーム画像と、次の時刻のフレーム画像との間で被写体オブジェクトの輪郭線の形状が変形していても、補間生成される距離画像に含まれる遠近の境界領域は変形前の形状であるので、次の時刻においてフレーム画像における被写体オブジェクトの輪郭線と、距離画像における境目領域との間で、形状不一致が引き起こされる可能性がある。

本発明は、上記従来の課題を解決するもので、画像と距離情報との間でオブジェクトの輪郭線の不一致が生じないように距離情報を推測する撮像技術を提供することを目的とする。

本発明の撮像装置は、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力部と、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部とを備えることを特徴とする。

本発明の撮像装置によれば、画像と距離情報との間でオブジェクトの輪郭線の不一致が生じないように距離情報を推測することができる。

実施の形態１に係る撮像装置のブロックを示す図 実施の形態１に係る撮像装置の１つの主画像に対する動作を示すフローチャート 実施の形態１に係る撮像装置の画像処理を示す模式図 実施の形態２に係る撮像装置のブロックを示す図 実施の形態２に係る撮像装置の１つの主画像に対する動作を示すフローチャート 実施の形態２に係る撮像装置の画像処理を示す模式図 実施の形態３に係る撮像装置のブロックを示す図 実施の形態３に係る撮像装置の１つの主画像に対する動作を示すフローチャート 実施の形態３に係る撮像装置の画像処理を示す模式図 実施の形態４に係る撮像装置のブロックを示す図 実施の形態４の変形例に係る撮像装置のブロックを示す図 実施の形態１に係る集積回路のブロックを示す図 実施の形態５に係る撮像システムのブロックを示す図 従来の立体画像生成装置のブロックを示す図 従来の立体画像生成の制御方法を示す図 従来の立体画像生成の制御方法を示すフローチャートを示す図

（発明に至った経緯）
従来、立体視のための２つの画像を撮像する場合には、水平方向に人の両眼の平均的な間隔（約６．５ｃｍ）の距離を隔てて２つの光学系（レンズおよびＣＣＤなどのセンサ）を設置する手法が用いられていたが、近年、２眼式の手持ち型デジタルビデオカメラが登場し、スマートフォンなどの携帯情報端末においても、２視点のステレオカメラが搭載されるようになっている。

手持ち型デジタルビデオカメラや携帯情報端末では、約６．５ｃｍの距離を隔てて２つの光学系を水平に並べて設置することは装置の小型化に対する制約となる。また、撮影者の手で保持されることが多い手持ち型デジタルビデオカメラや携帯情報端末では、必ずしも２視点が水平方向に配置された状態で撮影されるとは限らず、例えば、携帯情報端末を９０°回転させた状態で撮影されることがある。このような事情を鑑みると、撮像した画像上の被写体と視点との距離を算出してから立体画像を生成するものとすれば、２視点が水平に並ぶ必要もない上に２視点の間隔が約６．５ｃｍの距離でなくてもよく、携帯情報端末等の小型化を妨げる制約がなくなるとともに、２視点の並びの向きを気にすることなく撮像が行えるようになる。

しかしながら、上述したように、特に動画においては視差検出の演算量が大きい。そこで、発明者らは、被写体の距離検出動作の負荷を軽減する方法について検討した。

被写体の距離検出動作の負荷を軽減する方法としては、距離検出を間欠的に行い、距離検出を行わないフレームについては補間することが考えられる。しかしながら、特許文献１の技術には、上述したように、フレーム画像と補間生成された距離画像との間で被写体オブジェクトの輪郭線が必ずしも一致するとは限らないという問題点がある。

この問題点について、図面を用いて説明する。引用文献１に記載の立体画像生成装置のブロック図を図１４に示す。

次に、引用文献１に記載の立体画像生成装置の動作を、図１５の模式図と図１６のフローチャートを用いて説明する。立体画像生成装置は、図１５に示す動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）を入力し、動画像データ記録手段９０４及び距離画像データ記録手段９０５に記録する。このとき、動画像データＣＭ（Ｔ）は、１フレーム時間毎に入力するが、画像データＲＭ（Ｔ）は、例えば、図１５に示すように、３フレーム毎の間欠的なフレーム間隔で入力する。距離画像データＲＭ（Ｔ）は、１ｂｉｔの分解能の距離画像データであり、黒い領域９５２は近景領域であり、白い領域は遠景領域である。

次に、立体画像生成装置は、動画像データＣＭ（Ｔ）、ＣＭ（Ｔ＋１）、ＣＭ（Ｔ＋２）及び距離画像データＲＭ（Ｔ）を用いて、距離画像データ補間手段９０６により距離画像データＲＭ（Ｔ＋１）、ＲＭ（Ｔ＋２）の補間生成を行う。図１５及び図１６に示すように、初期化した後（Ｓ１０１）、距離画像データＲＭ（Ｔ）から、近景と遠景の境目領域９５３の画像Ｑ（Ｔ）を求める（Ｓ１０２）。次に、距離画像データＲＭ（Ｔ）と同じ時刻の動画像データＣＭ（Ｔ）から、画像Ｑ（Ｔ）の境目領域９５３と同じ領域、または近傍の位置にある輪郭部領域９５４の画像Ｒ（Ｔ）を求める（Ｓ１０３）。次に、時刻Ｔ＋１の動画像データＣＭ（Ｔ＋１）から、画像Ｒ（Ｔ）の輪郭部領域９５４と同じ領域の画像Ｒ（Ｔ＋１）をパターンマッチング法により求める（Ｓ１０４）。次に、Ｓ１０４で求めた画像Ｒ（Ｔ＋１）における輪郭部領域９５４の、画像Ｒ（Ｔ）の輪郭部領域９５４に対する移動量に合わせて、時刻Ｔの距離画像データＲＭ（Ｔ）における近景領域９５２を移動させることで、時刻Ｔ＋１の距離画像データＲＭ（Ｔ＋１）を生成する（Ｓ１０５）。なお、距離画像データ補間手段９０６は、動画像データから、距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求め、距離画像データを動きベクトルの単位領域に分割し、当該動きベクトルに基づいて各単位領域を移動させて、距離画像データを補間生成してもよい。

しかしながら、動画像データＣＭ（Ｔ＋１）における撮影対象９５１の輪郭と、生成された距離画像データＲＭ（Ｔ＋１）における近景と遠景の境目領域９５３の形状とは必ずしも一致するとは限らない。動画像データＣＭ（Ｔ＋１）における撮影対象９５１の輪郭と、動画像データＣＭ（Ｔ）における撮影対象９５１の輪郭とで形状が一致するとは限らないからである。例えば、撮影対象９５１が動画像データ取得手段９０１に近づいていて動画像データＣＭ（Ｔ）における撮影対象９５１より動画像データＣＭ（Ｔ＋１）における撮像画像９５１の方が大きい場合であっても、補間生成される距離画像データＲ（Ｔ＋１）における近景と遠景の境目領域９５３の大きさは距離画像データＲ（Ｔ）における近景と遠景の境目領域９５３の大きさと同じ、すなわち動画像データＣＭ（Ｔ）における撮影対象９５１の大きさと同じである。したがって、動画像データＣＭ（Ｔ＋１）における撮影対象９５１の輪郭と、距離画像データＲ（Ｔ＋１）における近景と遠景の境目領域９５３の形状との間で、大きさの齟齬が発生することになる。

また、特許文献１の立体画像生成装置では、動画像データＣＭ（Ｔ＋１）の全域から画像Ｒ（Ｔ）の輪郭部領域９５４に相当する領域を探し出すパターンマッチングや、動画像データＣＭ（Ｔ＋１）と動画像データＣＭ（Ｔ）との間で対応点を探索する動きベクトル算出が行われる。これらの処理は処理量としては大きく、高い処理能力を必要とする。例えば、動きベクトル算出は、基準となる時刻の画像上にある画素に対して、他の時刻の画像から対応する画素を探索し、最も相似性の高い画素を対応点とする処理である。これは、基準となる視点の画像上にある画素に対して、他の視点の画像から対応する画素を探索する「視差検出」と同様の処理であり、視差検出処理の代わりに動きベクトル算出処理を用いても演算量の大きな削減とはならない。

そこで、発明者らは、全てのフレーム画像についてグラフカット法などを用いて被写体オブジェクト単位（またはより小さい単位）に領域分割しておき、距離情報のある画像と処理対象画像との間で、距離情報のある画像の領域から、処理対象画像の領域に該当する領域を探し出すマッチング処理を行って領域と領域との対応関係を求め、処理対象画像の各領域に、距離情報のある画像の対応領域の距離情報を割り当てるという着想を得た。このようにすることで、距離情報は処理対象画像において生成された領域に結びつくため、処理対象画像におけるオブジェクトの輪郭と、対応する距離情報における当該オブジェクトの輪郭は必ず一致する。また、領域ごとのマッチング処理においても、距離情報のある画像も領域分割されているため当該距離情報のある画像全域を対象にする必要がなく、演算量を削減することが可能となる。

（実施の形態）
以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置のブロック図である。

図１において、ステレオ撮像装置１００は、被写体を立体視可能なように撮影し、撮影によって生成された距離データを生成し、その距離データと撮影された画像データから視差の調整や、視点が変更された立体映像を表示する。ステレオ撮影装置１００は、主画像取得手段１０、副画像取得手段１１、および、表示手段２０に接続されている。

＜構成＞
図１において、ステレオ撮像装置１００は、画像入力部１０１、領域分割部１１１、領域記憶部１１２、領域比較部１１３、領域対応判定部１１４、視差推測部１１５、視差検出部１２１、視差記憶部１２２、視差選択部１３１、距離情報生成部１３２、立体画像生成部１３３を備えている。

主画像取得手段１０および副画像取得手段１１は、それぞれ互いに、例えば６．５ｃｍの距離（人の両眼の平均的な間隔）を離して配置される。主画像取得手段１０および副画像取得手段１１は、それぞれ、被写体を撮影し、撮影によって得られた映像信号をステレオ撮像装置１００に出力する。主画像取得手段１０および副画像取得手段１１から出力される映像信号を合わせてステレオ映像信号という。また、主画像取得手段１０から出力される映像信号によって示される画像を主画像、副画像取得手段１１から出力される映像信号によって示される画像を副画像と呼ぶ。主画像取得手段１０と副画像取得手段１１はそれぞれ、同一の時刻（タイミング）に画像を生成して出力する。同一の時刻に生成された主画像と副画像とを組み合わせることにより、立体視が可能となり、かつ、各被写体までの距離を算出することが可能となる。なお、本実施の形態では、主画像取得手段１０および副画像取得手段１１は、それぞれ、秒間３０枚の画像を出力するものとする。

画像入力部１０１は、主画像取得手段１０から主画像の入力を受け付ける。

領域分割部１１１は、画像入力部１０１から主画像を取得し、主画像中の各被写体領域や背景領域に対して領域分割の処理を行う。より具体的には、グラフカットアルゴリズムを用いて、主画像中の各被写体オブジェクトを一つの領域（セグメント）として領域の抽出を行う。

領域記憶部１１２は、領域分割部１１１から出力される領域データを格納するための記憶媒体であり、例えば、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、または、半導体メモリなどで実現される。ここで、領域データとは、領域分割部１１１が生成した各領域を特定するための情報であり、具体的には、分割前の主画像を指し示す情報と、当該主画像における領域領域内の全画素の座標値からなる。なお、各領域を特定するための情報は領域の輪郭線を構成する各画素の座標値に限られず、例えば、輪郭線を示すベクトルまたは輪郭線上の全ての画素の座標値であってもよい。

視差検出部１２１は、画像入力部１０１から主画像を、副画像取得手段１１から副画像をそれぞれ取得し、同一の時刻（タイミング）に生成された主画像と副画像との視差を検出する。視差検出部１２１は、主画像と副画像との間で対応位置を求め、対応位置間の距離を画素数単位で求めて視差として検出し、検出した視差情報（ｄ）を出力する。より具体的には、ブロックマッチング法を用いた視差検出を行う。画像間の類似性を評価するために、主画像と副画像とから１６×１６画素の領域を切り出し、切り出した領域間の輝度差の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求め、ＳＡＤが最小となる切り出し位置を検索することで対応位置を画素単位で求める。

視差記憶部１２２は、視差検出部１２１から出力される画素ごとの視差値を格納するための記憶媒体であり、例えば、ハードディスクドライブ、ＳＳＤ、または、半導体メモリなどで実現される。

領域比較部１１３は、領域分割部１１１から出力される主画像の各領域と、領域記憶部１１２に格納されている他の時刻の主画像の各領域との間で領域属性の比較を行う。ここで、領域属性とは、各領域の形状、または、領域の重心の位置、領域の占める面積、領域の占める位置等の位置情報などをいう。具体的には、領域分割部１１１から出力される主画像の領域データと、領域記憶部１１２に格納されている他の時刻の主画像の領域データの減算処理を行い、領域ごとの差分データとなる領域照合データを作成する。

領域対応判定部１１４は、領域比較部１１３から出力される領域照合データから、領域分割部１１１から出力される主画像の領域と、領域記憶部１１２に格納されている他の時刻の主画像の領域との対応関係を判定し、判定結果を領域判定データとして生成する。具体的には、領域分割部１１１から出力される主画像の領域と、領域記憶部１１２に格納されている他の時刻の主画像の領域との重なり領域の面積を基に、領域の対応を推測および判断して、領域判定データを生成する。十分なフレームレート（３０ｆｐｓ以上）の場合、重なり領域の面積が最も大きくなる領域の組み合わせが、同一の被写体に対応する領域の組み合わせであると推測できるからである。なお、領域判定データは、具体的には、領域分割部１１１から出力される主画像の領域と、対応する領域記憶部１１２に格納されている他の時刻の主画像の領域とを組み合わせたリストである。

視差推測部１１５は、領域対応判定部１１４より領域判定データを取得し、領域分割部１１１から出力される各領域に対して、対応すると判定された領域記憶部１１２に格納されている他の時刻の主画像の当該領域に対応する、当該他の時刻の主画像の視差データを視差記憶部１２２より取得し、視差推測データとして出力する。

視差選択部１３１は、距離情報生成部１３２が用いる視差データを視差検出部１２１が生成するか否かを選択し、視差検出部１２１が生成する場合は視差検出部１２１が検出する視差データを、視差検出部１２１が生成しない場合は視差推測部１１５が出力する視差推測データを、距離情報生成部１３２へ出力する。具体的には、間欠的なタイミング、例えば、２フレームに１度に視差検出部１２１が生成すると選択し、それ以外のタイミングでは、視差推測部１１５が推測すると選択する。なお、視差検出部１２１が視差データを生成しないタイミングでは視差検出部１２１は動作を停止し、視差検出部１２１が視差データを生成するタイミングでは領域対応判定部１１４と視差推測部１１５とは動作を停止する。

なお、本実施の形態においては、間欠的なタイミングは２フレームに１度であるものとし、視差検出部１２１による視差検出と視差推測部１１５による視差推測を１フレームごとに交互に行うものとする。

距離情報生成部１３２は、領域分割部１１１が出力した各領域に対して、視差選択部１３１が出力する視差情報を対応付け、主画像と組み合わせて２視点立体画像を生成するための情報である距離情報を生成する。具体的には、各領域の内部を、各領域に対応する視差情報の中間値（メディアン）で埋め尽くすように領域内の各画素と視差情報を対応付けた後、画素ごとに、視差情報を、視点と被写体との距離である距離情報に変換する。これは、１つの領域の内部で視差の値が極端に変動することを避けるためである。

立体画像生成部１３３は、距離情報生成部１３２が生成した距離情報と、画像入力部１０１から出力される主画像から、２Ｄ／３Ｄ変換処理（ＤＩＢＲ；Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ−Ｒｅｎｄｅｒｉｎｇ）を行い、副画像取得手段１１とは異なる視点への変換、あるいは視差の調整が行われた副画像を作成する。これにより、主画像取得手段１０と副画像取得手段１１との配置が水平に並んでいない状態、例えば、傾いていたり垂直に並んでいたりする場合においても、両眼視差による立体画像を生成することができる。

表示手段２０は、画像入力部１０１から主画像を、立体画像生成部１３３から副画像をそれぞれ取得し、立体視が可能な状態で表示するディスプレイである。表示手段２０は、例えば、液晶ディスプレイと、パララックスバリアとで実現される。

＜動作＞
以下、図面を用いて、本実施の形態におけるステレオ撮像装置１００の動作について説明する。

図２は、本実施の形態におけるステレオ撮像装置１００において、１つの主画像に対する動作を示すフローチャートである。また、図３は、本実施の形態における主画像と副画像、および距離情報を示す模式図である。

ステレオ撮像装置１００は、まず、視点変換や視差調整を行うためのパラメータを設定する。このパラメータとは、例えば、焦点距離や変換後の視点間距離などである。

以下、動画の各フレームに対するステレオ撮像装置１００の動作について説明する。上述したように、ステレオ撮像装置１００は、視差検出部１２１による視差検出と視差推測部１１５による視差推測を１フレームごとに交互に行う。より具体的には、時刻Ｔには主画像Ｌ（Ｔ）と副画像Ｒ（Ｔ）とから視差検出部１２１が視差データＤ（Ｔ）の検出を行い、時刻Ｔ＋１には主画像Ｌ（Ｔ＋１）と、時刻Ｔにおける主画像Ｌ（Ｔ）と視差データＤ（Ｔ）とを基に視差推測部１１５が視差データＤ（Ｔ＋１）の推測を行う。すなわち、時刻Ｔにおける主画像Ｌ（Ｔ）は、視差検出の対象であるとともに視差データＤ（Ｔ＋１）を推測するために用いる「第１の画像」であり、時刻Ｔ＋１における主画像Ｌ（Ｔ＋１）は、第１の画像たる主画像Ｌ（Ｔ）とそれに対応する視差データ（距離情報の元となるデータ）Ｄ（Ｔ）を用いて視差データＤ（Ｔ＋１）を推測する「第２の画像」である。

以下、時刻Ｔおよび時刻Ｔ＋１におけるステレオ撮像装置１００の動作について説明する。なお、時刻Ｔ＋２、時刻Ｔ＋３においては、ステレオ撮像装置１００は、主画像Ｌ（Ｔ＋２）を第１の画像、主画像Ｌ（Ｔ＋３）を第２の画像として同様の動作を繰り返すので、説明を省略する。

まず、時刻Ｔにおけるステレオ撮像装置１００の動作、すなわち、第１の画像に対する動作について示す。

ステレオ撮像装置１００は、主画像取得手段１０から画像入力部１０１が主画像Ｌ（Ｔ）を、副画像取得手段１１から視差検出部１２１が副画像Ｒ（Ｔ）を取得する（Ｓ１１）。

次に、領域分割部１１１は、グラフカットアルゴリズムを用いて、主画像Ｌ（Ｔ）から被写体オブジェクト５０１Ｃと５０２Ｃとを抽出し、領域データＧ（Ｔ）を生成して領域記憶部１１２に格納する（Ｓ１２）。

次に、視差選択部１３１は、視差データ推測を行うかどうかを選択する（Ｓ１３）。ここで、視差選択部１３１は視差検出部１２１が視差情報を検出することを選択する（Ｓ１３でＮｏ）。

次に、視差検出部１２１は、ブロックマッチング法を用いて、主画像Ｌ（Ｔ）と副画像Ｒ（Ｔ）との対応点を探索し、５０１Ａと５０１Ｂとを、および５０２Ａと５０２Ｂとをそれぞれ対応付けて視差データＤ（Ｔ）を生成する（Ｓ１４）。

視差検出部１２１は、生成したＤ（Ｔ）を視差記憶部１２２に格納する（Ｓ１５）。

視差選択部１３１は、視差データＤ（Ｔ）を距離情報生成部１３２に出力し、距離情報生成部１３２は、領域データＧ（Ｔ）の各領域データ（５０１Ｃ、５０２Ｃ）に対応する視差をＤ（Ｔ）から抽出し（５０１Ｄ、５０２Ｄ）、距離情報を生成する（Ｓ１９）。

次に、立体画像生成部１３３は、距離情報生成部１３２が生成した距離情報と、主画像Ｌ（Ｔ）から、設定された視点変換や視差調整のパラメータに従い新規の副画像Ｒ２（Ｔ）を生成する（Ｓ２０）。

そして、表示手段２０は、主画像Ｌ（Ｔ）と副画像Ｒ２（Ｔ）とを立体表示する（Ｓ２１）。

次に、時刻Ｔ＋１におけるステレオ撮像装置１００の動作、すなわち、主画像Ｌ（Ｔ）を第１の画像とした場合の第２の画像Ｌ（Ｔ＋１）に対する動作について説明する。

ステレオ撮像装置１００は、主画像取得手段１０から画像入力部１０１が主画像Ｌ（Ｔ＋１）を、副画像取得手段１１から視差検出部１２１が副画像Ｒ（Ｔ＋１）を取得する（Ｓ１１）。

次に、領域分割部１１１は、グラフカットアルゴリズムを用いて、主画像Ｌ（Ｔ＋１）から被写体オブジェクト５１１Ｃと５１２Ｃとを抽出し、領域データＧ（Ｔ＋１）を生成して領域記憶部１１２に格納する（Ｓ１２）。

次に、視差選択部１３１は、視差データ推測を行うかどうかを選択する（Ｓ１３）。ここで、視差選択部１３１は視差推測部１１５が視差情報を推測することを選択する（Ｓ１３でＹｅｓ）。

領域比較部１１３は、比較対象である領域データＧ（Ｔ）を領域記憶部１１２より読み出し、領域データＧ（Ｔ＋１）と、領域データＧ（Ｔ）との差分Ｓ（Ｔ＋１）を領域照合データとして算出する（Ｓ１６）。

次に、領域対応判定部１１４は、領域照合データＳ（Ｔ＋１）を基に、領域判定データを作成する（Ｓ１７）。具体的には、領域５１１Ｃに対して、重なり領域５１１Ｅを基に領域５０１Ｃと、重なり領域５１２Ｅを基に領域５０２Ｃとを、それぞれ対応領域の候補として判定する。そして、重なり領域５１１Ｅの面積と重なり領域５１２Ｅの面積との比較を行い、重なり面積が大きい、すなわち差分が小さい領域５０１Ｃを対応付ける。同様に、領域５１２Ｃに対して、重なり領域５１３Ｅを基に領域５０２Ｃを対応領域として判定する。領域５１２Ｃに対する対応領域の候補として判定できる領域は領域５０２Ｃだけなので、領域５１２Ｃに対して領域５０２Ｃを対応付ける。

次に、視差推測部１１５は、領域データＧ（Ｔ＋１）の各領域と、対応するＧ（Ｔ）の領域に対応する視差データＤ（Ｔ）の視差とを対応付け、視差データＤ（Ｔ＋１）を生成する（Ｓ１８）。具体的には、領域５１１Ｃに対して、対応する領域５０１Ｃに対応する５０１Ｄの視差を対応付ける。同様に、領域５１１Ｃに対して、５０２Ｄの視差を対応付ける。

視差選択部１３１は、視差データＤ（Ｔ＋１）を距離情報生成部１３２に出力し、距離情報生成部１３２は、領域データＧ（Ｔ＋１）の各領域データ（５１１Ｃ、５１２Ｃ）に対応する視差をＤ（Ｔ＋１）から抽出し、抽出された視差の中間値（メディアン）で領域内部を埋め尽くし（５１１Ｄ、５１２Ｄ）、距離情報を生成する（Ｓ１９）。

次に、立体画像生成部１３３は、距離情報生成部１３２が生成した距離情報と、主画像Ｌ（Ｔ＋１）から、設定された視点変換や視差調整のパラメータに従い新規の副画像Ｒ２（Ｔ＋１）を生成する（Ｓ２０）。

そして、表示手段２０は、主画像Ｌ（Ｔ＋１）と副画像Ｒ２（Ｔ＋１）とを立体表示する（Ｓ２１）。

＜補足＞
（１）本実施の形態では、１の領域に対して、他の主画像の２以上の領域が対応関係の候補となった場合、重なり領域の面積を基に判定を行ったが、例えば、領域の形状を比較して最も類似する領域の組み合わせを対応関係と判定してもよいし、あるいは、領域の重心の位置を比較して、最も重心間の距離が短い領域の組み合わせを対応関係と判定してもよい。

または、これらの対応関係の判定方法を組み合わせてもよい。例えば、重なり領域が発生しない場合には最も重心間の距離が短い領域の組み合わせを対応関係と判定してもよいし、１の領域に対して複数の重なり領域が発生する場合には、領域の形状を比較して最も類似する領域の組み合わせを対応関係と判定してもよい。このようにすることで、１の領域に対して、対応関係の候補となる領域が存在しない場合もしくは複数存在する場合にも、対応関係を判定することが可能となる。

（２）本実施の形態では、間欠的なタイミングは２フレームに１度であるものとし、視差検出部１２１による視差検出と視差推測部１１５による視差推測を１フレームごとに交互に行うものとしているが、例えば、主画像取得手段１０および副画像取得手段１１がそれぞれ秒間２４枚の画像を出力する場合に、間欠的なタイミングは３フレームに２度であるものとし、２フレーム続けて視差検出部１２１による視差検出した後１フレーム視差推測部１１５による視差推測を行う動作を繰り返すとしてもよい。

（３）本実施の形態では、時刻Ｔ＋１における視差データを推測するために直前の時刻Ｔの領域データと視差データとを用いたが、これに限らず、任意の時刻の領域データと視差データとを用いてよい。例えば、時刻Ｔ＋１における視差データを推測するために時刻Ｔ−２の領域データと視差データとを用いてもよい。あるいは、時刻Ｔ＋１における視差データを推測する前に時刻Ｔ＋２における視差データの検出を行い、時刻Ｔ＋２の領域データと視差データとを用いて時刻Ｔ＋１における視差データを推測してもよい。

または、時刻Ｔ＋１における視差データを推測するために、時刻Ｔと時刻Ｔ＋２とにおける領域データと視差データとを用いてもよい。例えば、時刻Ｔ＋１におけるある領域の視差データを時刻Ｔの領域データと視差データとを用いて推測し、時刻Ｔ＋１における別の領域の視差データを時刻Ｔ＋２の領域データと視差データとを用いて推測してもよい。このようにすることで、視差データを推測する各領域に対して、最適な領域データと視差データとを用いて視差を推測することが可能となる。

（４）本実施の形態では、距離情報生成部１３２が、視差推測部１１５が視差を推測する場合に、領域データＧの各領域データに対応する視差をＤから抽出し、視差の中間値で領域内部を埋め尽くし、距離情報を生成するものとしたが、これに限られず、距離情報作成部１３２は、視差の中間値ではなく視差の平均値で領域内部を埋め尽くすとしてもよい。あるいは、距離情報作成部１３２は、領域データＧの各領域データに対応する視差をＤから抽出し、抽出した視差値をそのまま用いて領域内部を埋め尽くし、距離情報を生成するとしてもよい。このようにすることで、視差検出部１２１の精度が高い場合に、視差データＤの精度を高く保つことができる。

または、距離情報生成部１３２は、視差検出部１２１が視差を検出する場合にも、領域データＧの各領域において、対応する視差の中間値で領域内部を埋め尽くすとしてもよい。このようにすることで、視差を推測する場合と視差を検出する場合との間で、視差の値の精度が一致しない事態を防ぐことができる。

＜まとめ＞
このように本実施の形態では、立体視するための２つの画像（主画像と副画像）を撮影し、立体表示の為の視差の調整を行うために距離情報を撮影しながら求める場合、主画像から、被写体領域や背景領域などの領域情報を抽出する。そして、間欠的に主画像と副画像から視差を算出し、間欠的に生成される視差情報を埋める様に、視差情報が存在しない時間の領域情報に対しては、例えば記憶されている過去の視差情報を元に推測を行い、割り当てる事で距離情報を補間生成する。距離情報は、抽出した領域情報に対して、その領域に対応する視差情報を割り当てる事で距離情報を生成する。

このように、視差情報を間欠的に生成し、残りを推測補間する事で、処理量の削減と省電力化を行う事ができる。

さらに、距離情報を推測補間しながらも、距離情報の領域情報は常に算出する事で、画像と距離情報において境界の不一致が発生する事無く、自然な立体映像を生成する事ができる。

本実施の形態では、視差情報を間欠的に生成し、残りを推測補間するとき、常に算出される領域情報を記録する。これにより、時間方向での領域情報の比較が行え、領域情報の比較結果から各領域の対応関係を得る事ができる。

本実施の形態では、領域情報の比較結果から各領域の対応関係を得る場合、１の領域に対して、他の主画像の２以上の領域が対応関係の候補となった場合、それらの領域のうち、重なり領域の面積が最も大きい組み合わせを対応関係にある領域と判定する。これにより、重なり領域の面積を算出するだけでよく、画素や領域レベルで探索を行うことに比べ、演算量を抑える事ができる。

（実施の形態２）
本実施の形態における撮像装置は、視差データの推測を行う際に、視差を推測しようとする領域と、一定範囲内にある他の主画像の領域との間で色情報を比較し、色情報の類似度を基に対応関係を推測することに特徴がある。

図４に示すステレオ撮影装置２００は、被写体を立体視可能なように撮影し、撮影によって生成された距離データを生成し、その距離データと撮影された画像データから視差の調整や、視点が変更された立体映像を表示する。

＜構成＞
図４は、本発明の実施の形態２における撮像装置のブロック図である。図４において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

ステレオ撮像装置２００は、さらに画像記憶部２０１と画像比較部２０２とを備え、領域対応判定部１１４に代えて領域対応判定部２０３を備えている以外はステレオ撮像装置１００と同じ構成である。

画像記憶部２０１は、画像入力部１０１から出力される主画像データを格納するための記憶媒体である。画像記憶部２０１は、例えば、ハードディスク、ＳＳＤ、または、半導体メモリなどで実現される。

画像比較部２０２は、画像入力部１０１から出力される主画像と、画像記憶部２０１に格納されている他の主画像との色彩情報の比較を行う。ここで、色彩情報とは、各画素の輝度値、あるいは、色情報、または、これらを組み合わせたものをいう。具体的には、主画像入力部１０１から出力される主画像データと、画像記憶部２０１に格納されている他の主画像データとの間で減算処理を行い、差分データとなる画像照合データを作成する。

領域対応判定部２０３は、領域比較部１１３から出力される領域照合データと画像比較部２０２から出力される画像照合データとを用いて、領域分割部１１１から出力される主画像の領域と、領域記憶部１１２に格納されている他の時刻の主画像の領域との対応関係を判定し、判定結果を領域判定データとして生成する。具体的には、領域分割部１１１から出力される主画像の領域と、当該領域から一定範囲内に存在する、領域記憶部１１２に格納されている他の時刻の主画像の領域との間で輝度値や色情報の画素値の差分を取り、領域内同士の輝度や色情報の差分が最も小さい領域を対応領域と判定する。

＜動作＞
以下、図面を用いて、本実施の形態におけるステレオ撮像装置２００の動作について説明する。

図５は、本実施の形態におけるステレオ撮像装置２００において、１つの主画像に対する動作を示すフローチャートである。図５において、図２と同じステップについては同じ符号を用い、説明を省略する。また、図６は、本実施の形態における主画像と副画像、および距離情報を示す模式図である。

ステレオ撮像装置２００は、まず、視点変換や視差調整を行うためのパラメータを設定する。このパラメータとは、例えば、焦点距離や変換後の視点間距離などである。

時刻Ｔにおける動作は、実施の形態１におけるステレオ撮像装置１００の動作と同一であるので説明を省略する。

時刻Ｔ＋１における動作は、Ｓ１７に代えてＳ３１を実施する以外、実施の形態１におけるステレオ撮像装置１００の動作と同一である。したがって、差分であるＳ３１についてのみ説明する。

領域対応判定部２０３は、領域照合データＳ（Ｔ＋１）を基に、Ｇ（Ｔ＋１）の各領域に対応するＬ（Ｔ＋１）の色情報と、Ｇ（Ｔ）の各領域に対応するＬ（Ｔ）の色情報とを比較し、領域判定データを作成する（Ｓ３１）。具体的には、領域６１１Ｃに対して、一定範囲にある領域６０１Ｃと領域６０２Ｃとを、対応領域の候補として判定する。そして、領域６０１Ｃの色６１１Ｅと領域６０２Ｃの色６１２Ｅとを、それぞれ領域６１１Ｃの色６１１Ａと比較する。ここでは、色６１１Ｅが色６１２Ｅよりも色６１１Ａとの差分が小さいので、領域６１１Ｃと領域６０１Ｃとを対応付ける。同様に、領域６１２Ｃに対して、定範囲にある領域６０２Ｃを対応領域として判定する。

＜補足＞
（１）本実施の形態では、領域対応判定部２０３は、輝度値や色情報の画素値の差分を用いて領域の対応関係を判定したが、これに限られず、領域内における輝度値や色情報の画素値の平均値や中央値（メディアン）の差分を用いて領域の対応関係を判定してもよい。

または、１の領域から領域の中心や重心、あるいはその他の特徴点を１つ抽出し、当該抽出した点における輝度値や色情報の画素値を当該領域の特徴量として、領域の対応関係を判定してもよい。このようにすることで、領域の面積が大きい場合に、演算量を削減することができる。

（２）本実施の形態では、領域対応判定部２０３は、輝度値や色情報の画素値の差分を用いて領域の対応関係を判定したが、これに限られず、実施の形態１および実施の形態１における補足（１）で述べたような重なり領域、領域の形状等をさらに用いて領域の対応関係を判定してもよい。この場合、１の領域に対して、重なり領域等を用いて判定できる対応領域の候補が複数ある場合に、輝度値や色情報の画素値の差分を用いて領域の対応関係を判定することができる。

さらに、輝度値の差分と画素値の差分とに優先度を設け、例えば、輝度値の差分が最も近い領域の組み合わせと画素値の差分が最も近い組み合わせとが対応関係として判定される場合に、優先度に従って後者を対応関係と判定してもよい。また、例えば、着目する被写体の色情報を予め記録し、当該記録した色情報との差分値が小さいか否かに高い優先度を割り当てるとしてもよい。

（３）本実施の形態に対して、実施の形態１における補足（２）〜（４）を適用してもよい。

＜まとめ＞
このように本実施の形態では、視差情報を間欠的に生成し、残りを推測補間するとき、常に入力される画像と、常に算出される領域情報を記録することで、時間方向で画像とその領域情報との比較が行える。これにより、視差推測の対象となる主画像と視差推測に用いる他の主画像との間で領域の重なりがなくても、色情報を用いて領域の判定を行うことが可能となり、領域の対応関係を得る事ができる。

（実施の形態３）
本実施の形態における撮像装置は、視差データの推測を行う際、領域の拡大処理（もしくは縮小処理）を行いながら各領域大小関係を比較する点に特徴がある。

図７に示すステレオ撮影装置３００は、被写体を立体視可能なように撮影し、撮影によって生成された距離データを生成し、その距離データと撮影された画像データから視差の調整や、視点が変更された立体映像を表示する。

＜構成＞
図７は、本発明の実施の形態３におけるステレオ撮像装置３００のブロック図である。図７において、図１および図４と同じ構成要素については同じ符号を用い、説明を省略する。

ステレオ撮像装置３００は、さらに拡大部３０１を備え、領域比較部１１３に代えて領域比較部３０２を、領域対応判定部２０３に代えて領域対応判定部３０３を、視差推測部１１５に代えて視差推測部３０４を備えている以外は、ステレオ撮像装置２００と同じ構成である。

拡大部３０１は、領域分割部１１１からの出力を任意の倍率で拡大または縮小し、拡大または縮小された領域を領域比較部３０２へ出力する。また、拡大または縮小の倍率を、視差推測部３０４に出力する。

領域比較部３０２は、拡大部３０１から出力される拡大または縮小された主画像の各領域と、領域記憶部１１２に格納されている他の時刻の主画像の各領域との比較を行う。具体的には、拡大部３０１から出力される拡大または縮小された主画像の領域データと、領域記憶部１１２に格納されている他の時刻の主画像の領域データの減算処理を行い、領域ごとの差分データとなる領域照合データを作成する。

領域対応判定部３０３は、領域比較部３０２から出力される領域照合データと、画像比較部２０２から出力される画像照合データとを用いて、拡大部３０１から出力される拡大または縮小された主画像の領域と、領域記憶部１１２に格納されている他の時刻の主画像の領域との対応関係を判定する領域判定データを生成する。具体的には、拡大部３０１から出力される拡大または縮小された主画像の領域と、領域記憶部１１２に格納されている他の時刻の主画像の領域との間で、重なり領域の面積および輝度値や色情報の画素値の差分を算出し、総合的に差分の最も小さい領域の組み合わせを対応領域と判定する。

視差推測部３０４は、領域対応判定部３０３より出力される領域判定データから、領域分割部１１１から出力される領域がそれぞれ領域記憶部１１２に格納されている他の時刻の主画像の領域のいずれに対応するかを判断し、対応すると判断された領域記憶部１１２に格納されている他の時刻の主画像の当該領域に対応する、当該他の時刻の主画像の視差データを視差記憶部１２２より取得し、視差推測データとして出力する。このとき、視差推測部３０４は、拡大部３０１より当該領域の拡大率を取得し、拡大率を用いて当該領域に対応付ける視差データの補正を行う。

＜動作＞
以下、図面を用いて、本実施の形態におけるステレオ撮像装置３００の動作について説明する。

図８は、本実施の形態におけるステレオ撮像装置３００において、１つの主画像に対する動作を示すフローチャートである。図８において、図２および図５と同じステップについては同じ符号を用い、説明を省略する。また、図９は、本実施の形態における主画像と副画像、および距離情報を示す模式図である。

ステレオ撮像装置３００は、まず、視点変換や視差調整を行うためのパラメータを設定する。このパラメータとは、例えば、焦点距離や変換後の視点間距離などである。

時刻Ｔにおける動作は、実施の形態１および実施の形態２におけるステレオ撮像装置１００および２００の動作と同一であるので説明を省略する。

時刻Ｔ＋１における動作は、Ｓ１８に代えてＳ４１およびＳ４２を実施すること以外、実施の形態２におけるステレオ撮像装置２００の動作と同一である。ここでは、Ｓ３１、Ｓ４１、および、Ｓ４２について説明する。

領域対応判定部３０３は、領域照合データＳ（Ｔ＋１）を基に、Ｇ（Ｔ＋１）の各領域に対応するＬ（Ｔ＋１）の色情報と、Ｇ（Ｔ）の各領域に対応するＬ（Ｔ）の色情報とを比較する（Ｓ３１）。具体的には、領域７１１Ｃに対して、一定範囲にある領域７１０Ｃを、対応領域として判定する。

さらに、領域対応判定部３０３は、Ｇ（Ｔ＋１）の各領域を拡大または縮小して、Ｇ（Ｔ）の各領域との重なり領域を用いて、Ｇ（Ｔ＋１）の各領域とＧ（Ｔ）の各領域との対応関係を判定する（Ｓ４１）。具体的には、重なり領域差分７１１Ｅを基に領域７０１Ｃと領域７１１Ｃとが対応すると判定し、かつ、重なり領域差分７１２Ｅを基に領域７０１Ｃと２倍に拡大された領域７１１Ｃとが対応すると判定する。そして、重なり領域差分７１１Ｅの面積と７１２Ｅの面積との比較を行い、重なり領域差分が小さい、すなわち差分が小さい、領域７０１Ｃと２倍に拡大された領域７１１Ｃとを対応付ける。

次に、視差推測部３０４は、領域データＧ（Ｔ＋１）の各領域と、対応するＧ（Ｔ）の領域に対応する視差データＤ（Ｔ）の視差とを対応付け、視差データＤ（Ｔ＋１）を生成する（Ｓ４２）。具体的には、領域７１１Ｃに対応する領域７０１Ｃの視差データＤ（Ｔ）から領域７０１Ｄを読み出し、読み出した視差の値を拡大率の値である２倍を用いて補正し、領域７１１Ｃに対応付ける。なお、図９に示している領域７１１Ｄは２倍に拡大された領域７１１Ｃと同じ大きさであるが、２倍に拡大された領域７１１Ｃが領域７０１Ｄに相当すると判定して領域７１１Ｃに７０１Ｄの視差を補正して対応付けることを示しているものであり、Ｄ（Ｔ＋１）の領域７１１Ｄは主画像Ｌ（Ｔ＋１）の被写体７１１ＡおよびＤ（Ｔ＋１）の領域７１１Ｃとの関係において、位置及び大きさは同一である。

＜補足＞
（１）本実施の形態では、拡大部３０１は領域分割部１１１が出力する領域を拡大または縮小して領域比較部３０２に出力するとしたが、これに限られず、拡大部３０１は領域記憶部１１２が格納している領域を拡大または縮小して領域比較部３０２に出力し、領域比較部３０２は領域分割部１１１が出力する領域と、拡大または縮小された領域記憶部１１２が格納している領域とを比較するとしてもよい。

（２）本実施の形態では、拡大部３０１は領域分割部１１１が出力する領域を等倍および２倍に拡大して領域比較部３０２に出力するとしたが、拡大率はこれに限られない。例えば、拡大部３０１は、等倍、１．２２倍、および０．８２倍に拡大（または縮小）して領域比較部３０２に出力してもよい。または、拡大部３０１は、例えば、１．２２倍に拡大した領域をさらに１．２２倍に拡大処理してもよく、１．２２倍の拡大処理を６回、０．８２倍の縮小処理を６回行うとしてもよい。このようにすることで、領域対応判定部３０３は、対応する領域間の差分が最も小さくなる領域の組み合わせ、およびその拡大率を見つけ出すことが可能となる。

（３）本実施の形態では、領域７１１Ｃに対応する領域の候補が１つしかない場合を示したが、領域の候補が複数ある場合には、重なり領域の面積に基づく差分（または領域の形状の類似度等、実施の形態１の補足（１）で示した差分）と、色情報の差分（または輝度値の差分等、実施の形態２の補足（１）で示した差分）との間で優先度を設け、優先度に従って対応する領域を判定することが可能である。例えば、色情報による差分の優先度を高く設定することで、領域の重なり面積が１番目に大きいが色情報の差分が大きい領域と、領域の重なり面積が２番目に大きいが色情報の差分が小さい領域とが対応領域の候補となった場合に、領域の重なり面積が２番目に大きいが色情報の差分が小さい領域を対応する領域として判定することができる。

（４）本実施の形態では、視差推測部３０４が領域に視差情報を対応付ける際に拡大率を用いて視差情報を補正するものとしたが、これに限られず、視差推測部３０４が視差情報を補正せず、距離情報生成部１３２が距離情報を生成する際に距離情報を補正するものとしてもよい。

（５）本実施の形態に対して、実施の形態１における補足（１）〜（４）、および実施の形態２における補足（１）〜（２）を適用してよい。

＜まとめ＞
このように本実施の形態では、視差情報を間欠的に生成し、残りを推測補完するとき、領域情報と色情報とを総合的に判断して、視差推測データを生成する。

また本実施の形態では、視差情報を間欠的に生成し、残りを推測補間するとき、常に算出される領域を時間方向で比較する場合に、領域の拡大処理（もしくは縮小処理）を行いながら各領域を比較する事ができる。これにより、例えば、主画像の任意の領域を拡大することにより、他の主画像の領域との対応関係が判定できる場合、当該他の主画像が撮影された時点よりもその領域の被写体は撮像装置に対して遠い距離に存在すると判断し、その拡大率を用いて、推測した視差情報の補正を行う事ができ、これにより、撮像装置に対して遠近方向に移動している被写体に対しても、視差情報の推測を行うことができる。

（実施の形態４）
本実施の形態における撮像装置は、単一視点の画像を取得するとともに当該画像に対応する距離情報を間欠的に取得し、距離情報を補間して立体画像を生成する点に特徴がある。

図１０に示す撮像装置４００は、被写体を単一視点から撮影し、撮影された画像に対応する距離情報を間欠的に取得し、撮影された画像を主画像、距離情報と撮影された画像から生成される副画像からなる立体画像を表示する。

＜構成＞
図１０は、本発明の実施の形態４における撮像装置４００のブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。なお、以下の説明においては主画像を単に画像と表記するが、実施の形態１〜３における主画像と本実施の形態における画像との間に差異はなく、画像取得手段１０が出力する画像は第１の画像または第２の画像となる。

撮像装置４００は、距離情報生成部１３２を備えず、副画像取得手段１１に接続される視差検出部１２１に代えて距離検出手段３０に接続される距離検出部４０１を、視差記憶部１２２に代えて距離記憶部４０２を、視差推測部１５５に代えて距離推測部４０３を、視差選択部１３１に代えて距離選択部４０４を備えている以外は、ステレオ撮像装置１００と同じ構成である。

距離検出手段３０は、画像取得手段１０が撮影する被写体と画像取得手段１０との間の距離を取得するための情報を取得する手段である。距離の検出は、超音波やミリ波などを送出し、被写体からの反射波が到達するまでの時間や位相差などを測定することにより行う。距離検出手段３０は、画像取得手段１０が画像を生成して出力するタイミングのうち、距離検出部４０１が距離情報を生成すると距離選択部４０４が選択する間欠的なタイミングに距離情報を取得する。本実施の形態において、画像取得手段１０は秒間３０枚の画像を出力し、間欠的なタイミングは２フレームに１度、距離検出手段３０は秒間３０回のうち２度に１度、すなわち秒間１５回距離情報を取得するものとする。

距離検出部４０１は、距離検出手段３０から距離情報の入力を受け付ける。

距離記憶部４０２は、距離検出部４０１から出力される距離情報を格納するための記憶媒体であり、例えば、ハードディスクドライブ、ＳＳＤ、または、半導体メモリなどで実現される。

距離推測部４０３は、領域対応判定部１１４より領域判定データを取得し、領域分割部１１１から出力される各領域に対して、対応すると判断された領域記憶部１１２に格納されている他の時刻の画像の当該領域に対応する、当該他の時刻の画像の距離情報を距離記憶部４０２より取得し、距離推測データとして出力する。

距離選択部４０４は、立体画像生成部１３３に出力する距離情報を距離検出部４０１が生成するか否かを選択し、距離検出部４０１が生成する場合は距離検出部４０１が検出する距離情報を、距離検出部４０１が生成しない場合は距離推測部４０３が出力する距離推測データを、立体画像生成部１３３へ出力する。具体的には、間欠的なタイミングで距離検出部４０１が生成すると選択し、それ以外のタイミングでは、距離推測部４０３が推測すると選択する。なお、距離検出部４０１が距離情報を生成しないタイミングでは距離検出部４０１は動作を停止し、距離選択部４０４が距離情報を距離検出部４０１が生成するタイミングでは領域対応判定部１１４と距離推測部４０３は動作を停止する。

＜動作＞
以下、本実施の形態における撮像装置４００の動作について説明する。

撮像装置４００は、まず、立体画像生成を行うためのパラメータを設定する。このパラメータとは、例えば、焦点距離や視点間距離などである。

時刻Ｔにおける動作は、以下の点を除いて実施の形態１におけるステレオ撮像装置１００の動作と同一であるので、差分についてのみ説明する。

撮像装置４００は、Ｓ１１に代えて、画像取得手段１０から画像入力部１０１が画像Ｌ（Ｔ）を取得する。

Ｓ１２の動作は実施の形態１と同一であるので説明を省略する。

次に、Ｓ１３に代えて、距離選択部４０４は、距離データ推測を行うかどうかを選択する。ここで、距離選択部４０４は距離検出部４０１が距離情報を検出することを選択する。

次に、Ｓ１４に代えて、距離検出部４０１は、距離検出手段３０から被写体の距離を取得する。

次に、Ｓ１５に代えて、距離検出部４０１は、距離情報を距離記憶部４０２に格納する。

以下の動作は、Ｓ１９が存在しないこと、およびＳ２０において立体画像生成部１３３が距離選択部４０４から距離情報を取得することを除き、実施の形態１と同一であるので説明を省略する。

次に、時刻Ｔ＋１における撮像装置４００の動作について説明する。

撮像装置４００は、Ｓ１１に代えて、画像取得手段１０から画像入力部１０１が画像Ｌ（Ｔ＋１）を取得する。

Ｓ１２の動作は実施の形態１と同一であるので説明を省略する。

次に、Ｓ１３に代えて、距離選択部４０４は、距離データ推測を行うかどうかを選択する。ここでは、距離選択部４０４は距離推測部４０３が視差情報を推測することを選択する。

以下、Ｓ１８において、距離推測部４０３は領域データＧ（Ｔ＋１）の各領域と対応するＧ（Ｔ）の領域に対応する距離情報とを対応付けて画像Ｌ（Ｔ＋１）に対応する距離情報を生成すること、およびＳ１９が存在せず、Ｓ２０において立体画像生成部１３３が距離選択部４０４から距離情報を取得することを除き、実施の形態１と同一であるので説明を省略する。

なお、２フレームに１度距離データを推測するとしているので、撮像装置４００は、時刻Ｔ＋２には時刻Ｔと同じ動作、時刻Ｔ＋３には時刻Ｔ＋１と同じ動作を繰り返す。

＜まとめ＞
このように本実施の形態では、単一視点の画像に対応する距離情報を間欠的に生成し、残りを推測補完して、立体画像を生成することができる。これにより、距離検出手段は画像取得手段と同一の速度で動作する必要がなく、距離検出手段の省電力化に奏功する。

（変形例）
本変形例における撮像装置は、単一視点の画像を取得する画像取得手段が２種類の焦点距離を使い分け、焦点距離の異なる２種類の画像を用いて距離情報を生成する点に特徴がある。

図１１に示す撮像装置４５０は、被写体を単一視点から２種類の焦点距離を用いて撮影し、焦点距離の異なる画像を用いて距離情報を取得し、撮影された画像を主画像、距離情報と撮影された画像から生成される副画像からなる立体画像を表示する。

＜構成＞
図１１は、本変形例における撮像装置４５０のブロック図である。図１１において、図１および図１０と同じ構成要素については同じ符号を用い、説明を省略する。

撮像装置４５０は、画像取得手段１０に接続される画像入力部１０１に代えて画像取得手段４０に接続される画像入力部４５１を、距離検出手段３０に接続される距離検出部４０１に代えて画像入力部４５１に接続される距離検出部４５２を備えている以外は、撮像装置４００と同じ構成である。

画像取得手段４０は、２種類の焦点距離を交互に切り替えて被写体を撮影し、撮影によって得られた映像信号を撮像装置４５０に出力する。

画像入力部４５１は、画像取得手段４０から画像の入力を受け付け、一方の焦点距離を用いて撮影された画像を主画像、他方の焦点距離を用いて撮影された画像を副画像とする。

距離検出部４５２は、撮影時刻が連続する主画像と副画像を用いて、被写体と画像取得手段４０との間の距離を検出する。具体的には、ブロックマッチング法により主画像と副画像との対応点を探索し、主画像および副画像の撮影条件であるそれぞれの焦点距離を用いて三角計測の計測原理を用いることにより（例えば、特開２００４−２３９７９１号公報を参照）、被写体と画像取得手段４０との間の距離を検出する。なお、距離検出部４５２は距離の検出に代えて疑似距離の算出を行い、疑似距離を距離情報として出力してもよい。

＜動作＞
動作については、実施の形態４の撮像装置４００と同一であるため、説明を省略する。

＜まとめ＞
このように本変形例では、焦点距離の可変機能を持つ画像取得手段と撮像装置のみを用いて、立体画像を生成することができる。これにより、主画像とする画像全てに対して距離検出を行う必要がなく、撮像装置４５０の演算量の削減に奏功する。

＜補足＞
（１）実施の形態４および変形例において、撮像装置４００または４５０は、実施の形態１と同じく領域の重なりを用いて領域の対応を判定するものとしたが、これに限られず、実施の形態１の補足（１）と同じく領域の形状の類似度等を用いてもよい。

また、撮像装置４００または４５０は、画像記憶部２０１、画像比較部２０２、領域対応判定部２０３を備え、実施の形態２と同じ方法で、領域の対応を判定するものとしてもよい。同様に、撮像装置４００または４５０は、さらに拡大部３０１と領域対応判定部３０３を備え、実施の形態３と同じ方法で、領域の対応を判定するものとしてもよい。この場合、実施の形態２または実施の形態３の各補足を適用してもよいのは勿論である。

（２）実施の形態４および変形例において、距離推測部４０３は領域データＧ（Ｔ＋１）の各領域と対応するＧ（Ｔ）の領域に対応する距離情報とを対応付けて距離情報を生成し、生成した距離情報を出力するとしたが、これに限られず、距離推測部４０３は、領域データＧ（Ｔ＋１）の各領域と対応するＧ（Ｔ）の領域に対応する距離情報とを対応付ける際に、実施の形態１の補足（４）と同じく、距離情報の中間値、または平均値で各領域の内部を埋め尽くして距離情報を出力するものとしてもよい。

（３）変形例において、画像取得手段４０は２種類の焦点距離を交互に切り替えて被写体を撮影するものとしたが、これに限られず、画像取得手段４０は間欠的に２種類の焦点距離を切り替えて被写体を撮影するとしてもよい。例えば、画像取得手段４０は、３フレームに１度のタイミングで副画像とする焦点距離で被写体を撮影し、残りのタイミングで主画像とする焦点距離で被写体を撮影するものとしてもよい。このようにすることで、画像取得手段４０の焦点距離の切り替え動作の頻度を減らすことができると同時に距離検出部４５２の動作頻度も減らすことができ、さらなる省電力化に奏功する。

（実施の形態５）
本実施の形態では、本発明に係る撮像装置を備えたシステムについて説明する。

＜構成＞
図１３は、本実施の形態に係る撮像システム８００のブロック図である。撮像システム８００は、カメラ８１０ａおよび８１０ｂ、撮像部８２０、記憶部８３０、表示部８４０、および外部記憶装置８５０とを備える。

カメラ８１０ａは、実施の形態１における主画像取得手段１０と同一である。カメラ８１０ａは、レンズ８１１ａ、撮像素子８１２ａ、主制御部８１３ａおよびレンズ制御部８１４ａを備える。撮像素子８１２ａは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）から構成され、レンズ８１１ａを介して光信号を取得し、その光信号を電気信号に変換して主制御部８１３ａに出力する。レンズ制御部８１４ａは、主制御部８１３ａからの制御に応じて、レンズ８１１ａの焦点などを調整する。主制御部８１３ａは、例えばＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）から構成され、撮像素子８１２ａから出力された電気信号を取得し、その電気信号を映像信号として撮像部８２０に出力する。さらに、主制御部８１３ａは、撮像素子８１２ａおよびレンズ制御部８１３ａを制御することにより、シャッタースピード、ゲイン調整、および焦点調整などを行う。

カメラ８１０ｂは、実施の形態１における副画像取得手段１１と同一である。カメラ８１０ｂは、レンズ８１１ｂ、撮像素子８１２ｂ、主制御部８１３ｂおよびレンズ制御部８１４ｂを備え、これらの構成要素は、それぞれレンズ８１１ａ、撮像素子８１２ａ、主制御部８１３ａおよびレンズ制御部８１４ａと同一である。

なお、主制御部８１３ａおよび８１３ｂはそれぞれ、カメラ８１０ａおよび８１０ｂの焦点およびシャッタースピードなどが同一となるように協調動作を行う。

撮像部８２０は、実施の形態１における撮像装置１００から、領域記憶部１１２と視差記憶部１２２とを除いたものと同一である。

記憶部８３０は、実施の形態１における撮像装置１００に含まれる、領域記憶部１１２と視差記憶部１２２とを併せたものと同一である。

表示部８４０は、実施の形態１における表示手段２０と同一である。表示部８４０は、撮像部８２０からステレオ映像信号を取得し、そのステレオ映像信号により示される主画像および副画像を表示する。なお、表示部８０４は、カメラ８１０ａとカメラ８１０ｂとから主画像および副画像を取得し、当該主画像および副画像を表示してもよい。

外部記録装置８５０は、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）、または半導体メモリなどの記録媒体が装着されるように構成されている。そして、外部記録装置８５０は、撮像装置１００から主画像と副画像を取得し、装着された記録媒体に書き込む。

＜動作＞
撮像システム８００の動作は、撮像部８２０が生成した主画像と副画像とからなる立体画像を表示部８４０に出力すると同時に、外部記憶装置８５０に当該立体画像を記録することを除いて実施の形態１と同一であるので、説明を省略する。

＜補足＞
（１）本実施の形態では、撮像部８２０は、撮像装置１００から領域記憶部１１２と視差記憶部１２２とを除いたもの、記憶部８３０は、領域記憶部１１２と視差記憶部１２２とを併せたものと、それぞれ同一であるとしたが、これに限られず、例えば、撮像部８２０は、実施の形態２における撮像装置２００から領域記憶部１１２、視差記憶部１２２、および画像記憶部２０１とを除いたもの、記憶部８３０は、領域記憶部１１２、視差記憶部１２２、および画像記憶部２０１とを併せたものとそれぞれ同一であるとしてもよい。あるいは、同様に、撮像部８２０は、実施の形態３における撮像装置３００から領域記憶部１１２、視差記憶部１２２、および画像記憶部２０１とを除いたもの、記憶部８３０は、領域記憶部１１２、視差記憶部１２２、および画像記憶部２０１とを併せたものとそれぞれ同一であるとしてもよい。

または、撮像部８２０は、撮像装置４００から領域記憶部１１２と視差記憶部１２２とを除いたもの、記憶部８３０は、領域記憶部１１２と視差記憶部１２２とを併せたものと、それぞれ同一であり、カメラ８１０ｂに代えて距離センサを用いるものとしてもよい。あるいは、同様に、撮像部８２０は、撮像装置４５０から領域記憶部１１２と視差記憶部１２２とを除いたもの、記憶部８３０は、領域記憶部１１２と視差記憶部１２２とを併せたものと、それぞれ同一であり、カメラ８１０ｂがなく、カメラ８１０ａに代えて焦点距離が可変なカメラを用いるものとしてもよい。

＜本実施の形態に係るその他の変形例＞
（１）実施の形態１〜５および変形例では、距離情報は、画像と組み合わせて２視点立体画像を生成するための、視点から各被写体までの距離を画素単位で示す情報を指すとしたが、本発明は必ずしもこの場合に限られない。例えば、被写体を同じくした視点の異なる画像との間の視差情報や、撮影条件と異なる焦点距離や視点間距離を想定した仮想距離を距離情報の代わりに用いてもよい。あるいは、視点から各被写体までの距離に限られず、各被写体と焦点位置の距離または仮想距離など、距離情報を間接的に指し示すものを距離情報として用いてもよい。

または、各被写体の領域内部の距離情報が略単一の値である場合、距離情報は被写体単位で扱ってもよい。

（２）実施の形態１〜３では、主画像取得手段１０および副画像取得手段１１は、それぞれ互いに６．５ｃｍの距離を離して配置される場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、主画像取得手段１０および副画像取得手段１１の間隔は、例えば３ｃｍなど、任意の距離であってもよい。この場合、取得された主画像と副画像の組み合わせを用いても自然な立体視を行うことができないが、立体画像生成部１３３によって生成される立体画像は立体視することができるので、主画像取得手段１０および副画像取得手段１１の自由な配置が可能となる。また、主画像取得手段１０および副画像取得手段１１と撮像装置１００、２００または３００とが一体の装置である場合に、装置の小型化に奏功する。

（３）実施の形態１〜５では、領域分割部１１１は、グラフカットアルゴリズムを用いて主画像中の各被写体を１つの領域（セグメント）として領域分割を行う場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、領域分割部１１１は、輪郭を抽出するエッジ強調などのフィルタ処理を用いて領域分割を行ってもよい。

（４）実施の形態１〜３および実施の形態４の変形例では、視差検出部１２１または距離検出部４５２は、ＳＡＤを用いたブロックマッチング法で視差または距離を検出する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、ブロックマッチング法において、輝度差の２乗和（ＳＳＤ；Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｎｃｅ）、または、正規化相互相関(ＺＮＣＣ；Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｃｔｉｏｎ)を用いてもよい。また、輝度差ではなく、例えば、画素値がＲＧＢ空間で表されていれば、Ｇの値のみを用いてもよいし、Ｒ・Ｇ・Ｂ各値の加重平均値を用いてもよい。

あるいは、視差検出部１２１または距離検出部４５２は、ブロックマッチング法ではなく、例えばグラフカット法を用いてもよい。

（５）実施の形態１〜４および変形例では、立体画像生成部１３３は、生成した立体画像を表示手段２０に出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、立体画像生成部１３３は、生成した立体画像を記録媒体に記録してもよいし、ネットワーク等を介して他の画像処理装置に出力してもよい。

あるいは、撮像装置１００、２００、３００、４００または４５０は、立体画像生成部１３３を有さず、主画像と当該主画像に対応する距離情報との組み合わせを、記録媒体に記録してもよいし、ネットワーク等を介して他の画像処理装置に出力するとしてもよい。このようにすることで、本撮像装置で生成した距離情報を伴う画像を用いて、他の画像処理装置で符号化処理やぼかし処理等の画像処理を行うことができる。なお、この場合の距離情報は、被写体と画像取得手段との距離に限られず、視差情報や仮想距離情報等であってもよい。

（６）実施の形態１〜５および変形例では、主画像および副画像、または画像が動画である場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、（主）画像取得手段１０またはカメラ８１０ａは、２以上の静止画を出力するものとしてもよい。この場合、例えば撮像装置１００は、１枚目の静止画を第１の画像として実施の形態１における時刻Ｔと同じ動作をし、２枚目の画像を第２の画像として実施の形態１における時刻Ｔ＋１と同じ動作をすることにより、入力された主画像の数だけ立体静止画像を生成することができる。

（７）実施の形態１〜４および変形例の撮像装置、または実施の形態５の撮像部は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。例えば、図１２のように領域記憶部１１２および視差記憶部１２２は他の回路部と同一の集積回路に集積されることもあれば、別の集積回路になる場合もある。

ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、実施の形態１〜４および変形例の撮像装置、または実施の形態５の撮像部は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体であってもよい。また、実施の形態１〜４および変形例の撮像装置、または実施の形態５の撮像部は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップとを含む撮像処理を実行させるプログラムである。

（８）上記の各実施の形態および変形例の説明は本発明の例示に過ぎず、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。

以下に、実施の形態に係る撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システムの構成および効果について説明する。

（ａ）実施の形態に係る撮像装置は、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力部と、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部とを備えることを特徴とする。

また、実施の形態に係る集積回路は、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力部と、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部とを備えることを特徴とする。

また、実施の形態に係る撮像方法は、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップとを備えることを特徴とする。

また、実施の形態に係る撮像プログラムは、画像の距離情報を生成する撮像処理を行うプログラムであって、前記撮像処理は、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップとを含むことを特徴とする。

また、実施の形態に係る記憶媒体は、画像の距離情報を生成する撮像処理を行うプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップとを含む撮像処理を実行させるためのプログラムが記録されていることを特徴とする。

また、実施の形態に係る撮像システムは、第１の画像と第２の画像とを撮影するカメラと、前記カメラから前記第１の画像と前記第２の画像とを受け付ける撮像装置と、前記撮像装置によって生成される、距離情報を含む画像を記録するための記録媒体とを備える撮像システムであって、前記撮像装置は、前記第１の画像と前記第２の画像との入力を受け付ける画像入力部と、前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部とを備えることを特徴とする。

これら上記の構成によれば、第２の画像の距離情報を推測する場合には、第２の画像の距離情報を距離検出部が生成しないので、距離検出部が第２の画像の距離情報を生成するための処理をする必要がない。また、第２の画像の距離情報を推測する場合に、第２の画像の各領域に第１の画像の領域の距離情報を割り当てるので、第２の画像と距離情報との間で領域の輪郭線が生じないように距離情報を生成することができる。

（ｂ）また、実施の形態に係る上記（ａ）の撮像装置は、前記第２の画像の領域それぞれに対して前記第１の画像の各領域と領域情報の比較を行い、領域比較情報を生成する領域比較部をさらに備え、前記領域対応判定部は、前記領域比較情報を元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する、としてもよい。

これにより、第１の画像の領域と第２の画像の領域との間で領域情報の比較を行うことにより、第１の画像の領域と、第２の画像の領域との対応関係を判定することが可能となる。

（ｃ）また、実施の形態に係る上記（ａ）の撮像装置は、前記第２の画像と前記第１の画像との間で色彩情報の比較を行い、画像比較情報を生成する画像比較部をさらに備え、前記領域対応判定部は、前記画像比較情報を元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する、としてもよい。

これにより、第１の画像と第２の画像との間で画像全体の色彩情報を比較することにより、第１の画像の領域と、第２の画像の領域との対応関係を判定することが可能となる。

（ｄ）また、実施の形態に係る上記（ａ）の撮像装置は、前記第２の画像と前記第１の画像との間で色彩情報の比較を行い、画像比較情報を生成する画像比較部と、前記第２の画像の領域のそれぞれに対して前記第１の画像の各領域と領域情報の比較を行い、領域比較情報を生成する領域比較部とをさらに備え、前記領域対応判定部は、前記画像比較情報と前記領域比較情報とを元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する、としてもよい。

これにより、第１の画像と第２の画像との間で、第１の画像の領域と第２の画像の領域との間の領域情報の比較と、画像全体の色彩情報の比較とを併用し、第１の画像の領域と、第２の画像の領域との対応関係をより高い精度で判定することが可能となる。

（ｅ）また、実施の形態に係る上記（ｂ）または上記（ｄ）の撮像装置は、前記領域比較部は、前記第１の画像の領域もしくは前記第２の画像の領域のいずれかに拡大処理を行ってから領域の比較を行い、前記距離推測部は、前記領域比較部が行った拡大処理における拡大率を用いて、当該拡大処理の対象となった領域に対応する距離情報を補正する、としてもよい。

これにより、第１の画像の領域と第２の画像の領域との間で領域情報を比較する際に、領域の大きさが違っていても、領域の大きさをそろえれば対応関係にあると判定できる組み合わせがある場合に対応関係を判定することができ、かつ、領域をする場合の拡大率を用いて距離の補正が可能となるため、被写体が近づきまたは遠ざかることによって第１の画像と第２の画像との間で大きさが変動する場合においても適切に距離を推測することが可能となる。

（ｆ）また、実施の形態に係る上記（ｂ）、上記（ｄ）、または上記（ｅ）の撮像装置は、前記領域比較情報は、前記第１の画像の各領域と前記第２の画像の各領域との間の、重複する面積、形状の類似度、あるいは、重心間の距離の少なくとも１つを含む、としてもよい。

これにより、第１の画像の領域と第２の画像の領域との間で領域情報を比較する際に、領域の形状や位置に基づく特性を用いて対応関係を判定することが可能となる。

（ｇ）また、実施の形態に係る上記（ｃ）、上記（ｄ）、または上記（ｅ）の撮像装置は、前記画像比較情報は、前記第１の画像と、前記第２の画像との間の、輝度の類似度、または色情報の類似度の少なくとも１つを含む、としてもよい。

これにより、第１の画像と第２の画像との間で画像全体の色彩情報を比較する際に、輝度や色に基づく特性を用いて領域の対応関係を判定することが可能となる。

（ｈ）また、実施の形態に係る上記（ａ）の撮像装置は、前記画像入力部は、さらに前記第１の画像と視差のある副画像の入力を受け付け、前記距離検出部は、前記第１の画像と、前記副画像とを用いて、前記第１の画像の距離情報を生成する、としてもよい。

これにより、撮像装置は、第１の画像の距離情報を、副画像を用いて生成することが可能となる。

（ｊ）また、実施の形態に係る上記（ｈ）の撮像装置は、前記画像入力部は、レンズまたはカメラセンサが前後することにより生成された、前記第１の画像と焦点距離の異なる前記副画像の入力を受け付ける、としてもよい。

これにより、撮像装置は、２以上の焦点距離を用いることができるカメラを用いて副画像を生成し、三角測量により第１の画像の距離情報を生成することが可能となる。

（ｋ）また、実施の形態に係る上記（ｈ）の撮像装置は、前記画像入力部は、２つ以上のカメラから画像を受け付け、１のカメラからの入力を前記第１の画像および第２の画像とし、前記１のカメラとは異なる他のカメラからの入力を前記副画像とし、前記距離検出部は、前記第１の画像と、前記副画像との視差を検出し、検出した視差から前記第１の画像の距離情報を生成する、としてもよい。

これにより、撮像装置は、２以上の視点から撮像される立体画像に対し、１つの視点の画像を第１の画像および第２の画像とし、それ以外の視点の画像を副画像として、本発明を実施することが可能となる。

本発明は、立体視のための画像信号を生成する撮像装置に関するものであって、特に距離情報を生成するための演算量の削減や省力化に奏功する。

したがって、デジタルビデオカメラやデジタルスチルカメラなどの画像記録機器に有効である。その他、画像伝送機器や画像編集機器などにも有効である。

撮像装置 １００、２００、３００、４００、４５０
画像入力部 １０１、４５１
領域分割部 １１１
領域記憶部 １１２
領域比較部 １１３、３０２
領域対応判定部 １１４、２０３、３０３
視差推測部 １１５、３０４
視差検出部 １２１
視差記憶部 １２２
視差選択部 １３１
距離情報生成部 １３２
立体画像生成部 １３３
画像記憶部 ２０１
画像比較部 ２０２
拡大部 ３０１
距離検出部 ４０１、４５２
距離記憶部 ４０２
距離推測部 ４０３
距離選択部 ４０４

Claims (17)

1. 同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力部と、
   前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、
   前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、
   前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、
   前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、
   前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部と
   を備えることを特徴とする撮像装置。
2. 前記第２の画像の領域それぞれに対して前記第１の画像の各領域と領域情報の比較を行い、領域比較情報を生成する領域比較部をさらに備え、
   前記領域対応判定部は、前記領域比較情報を元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画像と前記第１の画像との間で色彩情報の比較を行い、画像比較情報を生成する画像比較部をさらに備え、
   前記領域対応判定部は、前記画像比較情報を元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記第２の画像と前記第１の画像との間で色彩情報の比較を行い、画像比較情報を生成する画像比較部と、
   前記第２の画像の領域のそれぞれに対して前記第１の画像の各領域と領域情報の比較を行い、領域比較情報を生成する領域比較部とをさらに備え、
   前記領域対応判定部は、前記画像比較情報と前記領域比較情報とを元に、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記領域比較部は、前記第１の画像の領域もしくは前記第２の画像の領域のいずれかに拡大処理を行ってから領域の比較を行い、
   前記距離推測部は、前記領域比較部が行った拡大処理における拡大率を用いて、当該拡大処理の対象となった領域に対応する距離情報を補正する
   ことを特徴とする請求項２または請求項４に記載の撮像装置。
6. 前記領域比較情報は、前記第１の画像の各領域と前記第２の画像の各領域との間の、重複する面積、形状の類似度、あるいは、重心間の距離の少なくとも１つを含む
   ことを特徴とする請求項２、請求項４、または請求項５に記載の撮像装置。
7. 前記画像比較情報は、前記第１の画像と、前記第２の画像との間の、輝度の類似度、または色情報の類似度の少なくとも１つを含む
   ことを特徴とする請求項３乃至請求項５のいずれか１項に記載の撮像装置。
8. 前記画像入力部は、さらに前記第１の画像と視差のある副画像の入力を受け付け、
   前記距離検出部は、前記第１の画像と、前記副画像とを用いて、前記第１の画像の距離情報を生成する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記画像入力部は、レンズまたはカメラセンサが前後することにより生成された、前記第１の画像と焦点距離の異なる前記副画像の入力を受け付ける
   ことを特徴とする請求項８記載の撮像装置。
10. 前記画像入力部は、２つ以上のカメラから画像を受け付け、１のカメラからの入力を前記第１の画像および第２の画像とし、前記１のカメラとは異なる他のカメラからの入力を前記副画像とし、
    前記距離検出部は、前記第１の画像と、前記副画像との視差を検出し、検出した視差から前記第１の画像の距離情報を生成する
    ことを特徴とする請求項８記載の撮像装置。
11. 同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力部と、
    前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、
    前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、
    前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、
    前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、
    前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部と
    を備えることを特徴とする集積回路。
12. 同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、
    前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、
    前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、
    前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、
    前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、
    前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップと
    を備えることを特徴とする撮像方法。
13. 画像の距離情報を生成する撮像処理を行うプログラムであって、
    前記撮像処理は、
    同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、
    前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、
    前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、
    前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、
    前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、
    前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップと
    を含むことを特徴とするプログラム。
14. 画像の距離情報を生成する撮像処理を行うプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
    同一の視点から異なる時刻に撮影された第１の画像と第２の画像との入力を受け付ける画像入力ステップと、
    前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割ステップと、
    前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出ステップと、
    前記距離検出ステップが前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択ステップと、
    前記距離選択ステップが前記第２の画像の距離情報を前記距離検出ステップが生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定ステップと、
    前記領域対応判定ステップの判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測ステップと
    を含む撮像処理を実行させるためのプログラムが記録されているコンピュータ読み取り可能な記憶媒体。
15. 第１の画像と第２の画像とを撮影するカメラと、
    前記カメラから前記第１の画像と前記第２の画像とを受け付ける撮像装置と、
    前記撮像装置によって生成される、距離情報を含む画像を記録するための記録媒体と
    を備える撮像システムであって、
    前記撮像装置は、
    前記第１の画像と前記第２の画像との入力を受け付ける画像入力部と、
    前記第１の画像と前記第２の画像とをそれぞれオブジェクト毎に領域分割する領域分割部と、
    前記第１の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成する距離検出部と、
    前記距離検出部が前記第２の画像の各領域について、オブジェクトまでの距離を検出して距離情報を生成するか否かを選択する距離選択部と、
    前記距離選択部が前記第２の画像の距離情報を前記距離検出部が生成しないと選択した場合、前記第２の画像の各領域が、それぞれ前記第１の画像の領域のいずれに相当するかを判定する領域対応判定部と、
    前記領域対応判定部の判定結果に基づいて、前記第２の画像の領域それぞれに対して、オブジェクトまでの距離と推測される前記第１の画像の距離情報を対応付け、前記第２の画像の距離情報を作成する距離推測部と
    を備えることを特徴とする撮像システム。
16. 前記距離推測部は、
    前記第２の画像の領域それぞれを、当該第２の画像の領域に対応付けた前記第１の画像の距離情報で埋め尽くすことで、前記第２の画像の距離情報を作成する
    ことを特徴とする請求項１に記載の撮像装置。
17. 前記距離推測部は、
    前記第２の画像の領域それぞれにおいて、前記第２の画像の領域に対応付けた前記第１の画像の距離情報の代表値を、当該第２の画像の領域に属する全画素に対応する距離とすることで、前記埋め尽くしを行う
    ことを特徴とする請求項１６に記載の撮像装置。

Images