JP4578653B2 - 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4578653B2 JP4578653B2 JP2000254024A JP2000254024A JP4578653B2 JP 4578653 B2 JP4578653 B2 JP 4578653B2 JP 2000254024 A JP2000254024 A JP 2000254024A JP 2000254024 A JP2000254024 A JP 2000254024A JP 4578653 B2 JP4578653 B2 JP 4578653B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- still image
- camera
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カメラで撮影した画像から被写体の三次元形状を自動的に復元する三次元復元技術に関するものであり、特に、画像中の各ピクセルが示している被写体上の領域とカメラとの距離を記録する奥行き情報として、三次元形状を出力する技術に関するものである。
【０００２】
【従来の技術】
カメラで撮影した画像から被写体の三次元形状を自動的に復元する三次元復元技術に関する研究は１９７０年代に始まり、画像からどのように三次元形状を復元するかについての基礎的な理論は１９８０年代に既に確立されている。最もよく知られた方法は、ステレオカメラを使って撮影した２枚組みの静止画を使う方法である。現在では、安定した三次元復元をおこなうためにはどのように被写体を撮影すべきか、または三次元復元技術をどのように応用すべきかが、新しい研究課題となっている。
【０００３】
これら三次元復元技術の代表的なものとして、例えば特開平５−１４９７２７号公報に開示の「三次元形状認識装置」、特開平５−３１４２４３号公報に開示の「３次元形状復元方法」、特開平６−１０２０２７号公報に開示の「３次元形状復元方法」、特開平１０−９３９５４号公報に開示の「物体検知方法及びシステム」および特開平１０−２３９０５４号公報に開示の「視点・物点位置計測方法及び装置」が知られている。
【０００４】
特開平５−１４９７２７号公報に開示の「三次元形状認識装置」は、物体にスリット光を照射し、その反射パターンから三次元形状を復元する装置において、物体の形状に起因して反射パターンが正しく捉えられない場合、カメラを移動させることによって、従来よりも確実に三次元形状を得ようとするものである。
【０００５】
また、特開平５−３１４２４３号公報に開示の「３次元形状復元方法」は、三次元復元処理をおこなう２枚の画像を得るために、まずカメラを物体に向けた状態で１枚目の画像を撮影し、つぎにカメラを移動してカメラの向きを物体の方に向け直して２枚目の画像を撮影する方法である。特に、この方法は、カメラの移動距離と回転角の数値を三次元復元処理で利用することで、カメラの移動のみで回転をともなわない従来の撮影方法よりも、正確な三次元復元を実現するものである。
【０００６】
また、特開平６−１０２０２７号公報に開示の「３次元形状復元方法」は、上記した特開平５−１４９７２７号公報および特開平５−３１４２４３号公報に開示された方法のように、三次元復元に使用する画像を取得するためにカメラを移動する際に、そのカメラの移動により画像の輝度情報等の特徴量の変化が最も大きくなる方向を検出し、その方向にカメラを移動することで、従来よりも正確に三次元形状を求めるものである。
【０００７】
また、特開平１０−９３９５４号公報に開示の「物体検知方法及びシステム」は、レール上を移動するカメラによって異なる時刻に撮影された２枚の画像を取得し、取得した２枚の画像を用いてカメラから画像中の物体までの距離を計測して（三次元形状の推定に類似）、常設物体以外の物体を検知するものである。
【０００８】
また、特開平１０−２３９０５４号公報に開示の「視点・物点位置計測方法及び装置」は、被写体についての１組のステレオ画像（相対位置が既知である２つのカメラから撮影した２枚の画像）と複数の画像を用いて、被写体の三次元形状を計測するものである。
【０００９】
また、上述した特許公報に開示の技術以外にも、ビデオカメラによって撮影した映像を入力して、被写体の三次元形状を出力することのできるソフトウェアが各種提供されている。例えば、オージス総研（株）提供の製品「ＶｉｒｔｕａｌＧＡＩＡ」は、家庭用ビデオカメラで撮影した画像やデジタルカメラ等でコマ撮りした画像から、三次元形状を復元することができる。特に、この「Ｖｉｒｔｕａｌ ＧＡＩＡ」は、被写体の周囲を旋回するようにビデオカメラを移動しながら被写体を撮影したビデオ映像をデジタル入力し、三次元形状のデータをＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）形式で出力することができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した特許公報に開示の従来技術では、カメラの位置や移動速度などが既知であるような特定の条件下での撮影を対象としており、撮影状況が不定である普通のビデオ映像を利用することができないという問題があった。
特に近年、家庭でも利用できるような安価で操作の容易なビデオカメラが販売されており、ビデオ映像、すなわち連続的に撮影された複数の実写静止画像が誰でも容易に得られるようになった背景を考えると、被写体の三次元形状の計測を上述した従来技術で充足することは困難である。
【００１１】
また、上記したソフトウェア製品「Ｖｉｒｔｕａｌ ＧＡＩＡ」は、家庭で撮影したビデオ映像を利用することができるが、撮影時のカメラ移動が滑らかにおこなわれているという条件を要求しており、ビデオ映像中に、カメラが静止したり、パンまたはチルトだけがおこなわれたり、カメラが大きく移動されているような部分があってはならないという制限があった。
【００１２】
本発明は上記問題点を解決するためになされたもので、カメラが静止したり、パンまたはチルトだけがおこなわれたり、カメラが大きく移動されているような部分のあるビデオ映像に対しても、被写体の三次元形状の算出を可能にするとともに、その三次元形状を用いて、ビデオ映像から取り出した二次元静止画に対応する奥行き画像を生成することが可能な奥行き画像生成装置および奥行き画像生成方法を得ることを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、この発明にかかる奥行き画像生成装置にあっては、被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算手段を備える奥行き画像生成装置において、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶手段と、前記動画像記憶手段に記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得手段と、前記静止画取得手段によって取り出された第１の二次元静止画に基づいて、前記動画像記憶手段に記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択手段と、を備え、前記奥行き情報演算手段は前記静止画取得手段および静止画選択手段によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算することを特徴とする。
【００１４】
また、この発明では、被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算工程を備える奥行き画像生成方法において、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶工程と、前記動画像記憶工程によって記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得工程と、前記静止画取得工程によって取り出された第１の二次元静止画に基づいて、前記動画像記憶工程によって記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択工程と、を備え、前記奥行き情報演算工程では、前記静止画取得工程および静止画選択工程によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算することを特徴とする。
【００３４】
【発明の実施の形態】
以下に、この発明にかかる奥行き画像生成装置および奥行き画像生成方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００３５】
実施の形態１．
まず、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。図１は、実施の形態１にかかる奥行き画像生成装置の概略構成を示すブロック図である。図１において、奥行き画像生成装置１０は、ビデオカメラ撮影によって生成された動画像データを入力して記憶する動画像記憶部１２と、動画像記憶部１２に記憶された動画像データのうちその動画像データを構成する一つのコマ（画像フレーム）に着目してそれを静止画として取得する静止画取得部１４と、静止画取得部１４において取得されたコマに基づいて他のコマを動画像記憶部１２から選択して静止画として取得する静止画選択部１６と、静止画取得部１４および静止画選択部１６においてそれぞれ取得された静止画から奥行き画像を演算して生成する奥行き画像演算部１８と、を備えて構成される。
【００３６】
なお、この奥行き画像生成装置１０は、コンピュータによって代替することもできる。すなわち、上記した動画像記憶部１２をコンピュータ上のＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や磁気ディスク記憶装置によって実現し、静止画取得部１４、静止画選択部１６および奥行き画像演算部１８によって実行される処理をそれぞれコンピュータプログラムで実現することもできる。
【００３７】
つぎに、実施の形態１にかかる奥行き画像生成装置の動作について説明する。
図２は、直方体形状の被写体２０１をビデオカメラ２０２で撮影する場合の撮影状態を表した説明図である。図２に示すように、ビデオカメラ２０２は、被写体２０１の正面に対して、ほぼ垂直方向にカメラを向けた状態で撮影しつつ、点線に示すように移動するものとする。
【００３８】
また、図３は、図２に示した撮影状態を上方からみた場合の説明図である。図３に示すように、ビデオカメラ２０２は、地点ｐ１〜ｐ１２上に示した矢印方向にカメラを向け、かつ地点ｐ１〜ｐ１２で結ばれる点線上を移動するものとする。特にここでは、ビデオカメラ２０２が各地点ｐ１〜ｐ１２を撮影位置として撮影がおこなわれたものとする。すなわち、全部で１２枚のコマが撮影されることになる。また、図３においては、地点ｐ１、ｐ２、ｐ４、ｐ６およびｐ１２において撮影されたコマの内容が、それぞれコマ３０１、３０２、３０３、３０４および３０５として示されている。以下の説明においては、便宜上、地点ｐｉで撮影されたコマのことを、コマｐｉと呼ぶ。
【００３９】
このように撮影されたコマｐ１〜ｐ１２により構成される動画像は、動画像記憶部１２に記憶される。そして、静止画取得部１４は、この動画像記憶部１２から、例えばコマｐ４を取得してこのコマに対応する静止画を出力し、また静止画選択部１６は、動画像記憶部１２からコマｐ４の前後２コマ目、すなわちコマｐ２およびコマｐ６を選択してこれらのコマに対応する静止画を出力する。
【００４０】
静止画取得部１４および静止画選択部１６から出力されたコマｐ４、ｐ２およびｐ６に相当する３枚の静止画３０３、３０２および３０４は、奥行き画像演算部１８に入力される。奥行き画像演算部１８は、３枚の静止画３０３、３０２および３０４に基づいて奥行き画像を生成し、奥行き画像データとして出力する。
図４は、奥行き画像演算部１８において生成された奥行き画像の例を示す図である。図４に奥行き画像は、画像の１ピクセル毎に、撮影時におけるビデオカメラとの距離が大きいほど白に、近いほど黒になるような多段階の値で構成されている。すなわち、図４の例では、被写体２０１のビデオカメラに向き合う面については距離が小さく、それ以外の面は徐々に距離が大きくなっていることが示されている。
【００４１】
つぎに、奥行き画像演算部１８における処理について説明する。特にここでは、３枚の静止画を入力して奥行き画像データを出力するまでの処理について説明する。図５は、奥行き画像演算部１８における処理を示すフローチャートである。まず、奥行き画像演算部１８では、上記した撮影位置の異なる３枚の静止画のそれぞれに対して、特徴点と呼ばれる２００〜３００程度のピクセルを抽出する（ステップＳ１０１）。特徴点の抽出とは、静止画を構成するピクセルの色情報に着目し、周囲のピクセルに比較して大きく異なった色情報を持つピクセルを自動的に抽出する処理をいう。なお、各ピクセルは被写体の表面上の１点に相当する。
【００４２】
図６は、特徴点の抽出を説明するための説明図である。特徴点は、例えば図６に示すように、コマ３０２、３０３および３０４内の被写体２０１、すなわち直方体において、その頂角に位置するピクセルとして抽出される。
【００４３】
つぎに、奥行き画像演算部１８は、３枚の静止画ごとに抽出された特徴点同士の対応付けをおこなう特徴点マッチングと呼ばれる処理をおこなう（ステップＳ１０２）。この対応付けは、被写体の表面上の同じ１点を示している特徴点同士の間でおこなわれる。図７（ａ）は、特徴点マッチングを説明するための説明図である。特徴点マッチングでは、図７（ａ）に示すように、例えば、コマ３０２、３０３および３０４内の被写体２０１、すなわち直方体間において、特徴点同士、すなわち同位置となる頂角のピクセル同士が対応付けられる。
【００４４】
また、この特徴点マッチングにおいては、同時に、静止画が撮影された際のカメラの位置と向きが算出される（ステップＳ１０２）。図７（ｂ）は、カメラの位置と向きの算出を説明するための説明図である。カメラの位置は、図７（ｂ）に示すように、例えば、図３に示した上方からみた撮影位置をＸＹ座標軸上に展開して特定され、カメラの向きはその座標軸を用いて表わされるベクトルとして特定される。
【００４５】
つづいて、奥行き画像演算部１８は、ステップＳ１０２において求められたカメラの位置と向きとから三角測量の原理で、カメラから各特徴点までの距離を算出する（ステップＳ１０３）。図８は、カメラから各特徴点までの距離の算出を説明するための説明図である。カメラの距離は、図８に示すように、図６に示した特徴点の情報と図７（ｂ）に示したＸＹ座標軸上のカメラ位置の情報とを用いて特定される。
【００４６】
そして、奥行き画像演算部１８は、特徴点同士を適当につなぎ合わせて面を構成することで被写体２０１の三次元構造を復元し、静止画についての奥行き情報を得る（ステップＳ１０４）。図９は、奥行き画像の生成を説明するための説明図である。奥行き画像の生成は、例えば図９に示すように、コマ３０３に相当する静止画に対して、特徴点同士のつなぎ合わせにより面を構成し、被写体の三次元形状を取得するとともに、上記した特徴点とカメラとの距離から、最終的に図４に説明したような奥行き画像を演算する。
【００４７】
なお、奥行き画像演算部１８による奥行き画像の生成は、本発明における構成手段の一つに過ぎず、同様の処理方法は広く知られているので、処理の詳細については省略する。奥行き画像の生成を述べた公知文献として、例えば「P. A. Beardsley, A. Zisserman, D. W. Murray: "Sequential Updating of Projective and Affine Structure from Motion", International Journal of Computer Vision, 23(3), pp235-259, 1997」がある。
【００４８】
この奥行き画像の生成において要求されることは、互いに適当な視差のある３枚の静止画が入力されることである。なお、視差とは、三次元構造物体をカメラ撮影する際に、カメラの撮影位置が異なることによって生じる、画像間の差異のことである。例えば、図３に示した例では、カメラの位置はすべてのコマにおいて異なっているので、地点ｐ１〜ｐ１２のすべてのコマの間には視差が生じている。
【００４９】
しかしながら、上記した公知の奥行き画像の生成処理において正確な奥行き画像を得るには、視差は、大きすぎても小さすぎても良くない。これは、視差が大きすぎる場合は、画像間の差異が大きくなるために抽出される特徴点の相違も大きくなり、特徴点の対応付けが成功しない場合が多く発生するようになるからである。一方、視差が小さすぎる場合は、カメラから、対応付けされた特徴点と対応する被写体上の１点までの距離を三角測量の原理によって計算する際の計算誤差が大きくなってしまうからである。
【００５０】
このため、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法では、図３において、例えば地点ｐ４のコマについて奥行き画像を演算するために選択すべきコマは、視差の小さすぎる地点ｐ３またはｐ５ではなく、また視差の大きすぎる地点ｐ１、ｐ７〜ｐ１２ではなく、地点ｐ２およびｐ６としている。
【００５１】
以上に説明したとおり、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法によれば、動画像データを動画像記憶部１２に記憶し、静止画取得部１４が動画像記憶部１２から動画像データを構成する一つの静止画（コマ）を取り出し、静止画選択部１６がその静止画に対して時間的に前後する静止画を動画像記憶部１２からさらに取り出して、奥行き画像演算部１８がこれら二次元の静止画の各ピクセルに対して被写体上の領域とカメラとの距離を関連付けることにより奥行き画像を生成するので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができる。
【００５２】
また、静止画選択部１６が、奥行き画像演算部１８において十分に正確な奥行き画像が演算されるための視差を考慮して、動画像記憶部１２から静止画を取り出すので、最終的に得られた奥行き画像の精確性を向上させることができる。
【００５３】
なお、以上に説明した実施の形態１においては、奥行き画像演算部１８に入力する静止画の枚数を３枚としたが、２枚とした場合でも上記同様の作用および効果を享受することができる。
【００５４】
実施の形態２．
つぎに、実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法は、静止画選択部１６が奥行き画像演算部１８による演算結果に基づいて静止画を再選択することを特徴としている。他の構成および動作は実施の形態１と同様である。
【００５５】
図１０は、実施の形態２にかかる奥行き画像生成装置の概略構成を示すブロック図である。なお、図１０において、図１と共通する部分には同一の符号を付してその説明を省略する。図１０に示す奥行き画像生成装置２０において、図１と異なる点は、静止画選択部１６と奥行き画像演算部１８との間でデータの送受信をおこなう点である。
【００５６】
図１１は、直方体形状の被写体２０１を撮影したときのビデオカメラ２０２の撮影状態を説明するための説明図である。図３に示した例では、ビデオカメラ２０２は、向きを固定にしてほぼ等距離で向かって左から右へ移動していたが、図１１に示す例では、ビデオカメラ２０２の移動の速度／移動方向／向きが一定ではない例が示されている。一般に、ユーザがビデオカメラを使って被写体を撮影するときの撮影状態は、図１１に示すような状態であると考えられる。
【００５７】
実施の形態２にかかる奥行き画像生成装置２０では、まず、実施の形態１でおこなったように、静止画選択部１６が、静止画取得部１４において取得された動画像のコマ、すなわち静止画から前後２コマ目を、動画像記憶部１２から取得して静止画として出力する。例えば、図１１において、コマｐ３を静止画取得部１４が取得したとすると、静止画選択部１６は、コマｐ１およびコマｐ５を選択して静止画として出力する。
【００５８】
同様に、静止画取得部１４がコマｐ４またはコマｐ５を選択した場合にも、静止画選択部１６は、奥行き画像演算部１８の処理に適した適当な視差のある静止画を出力することができる。
【００５９】
しかしながら、図１１においてコマｐ７の２コマ前のコマｐ５と２コマ後のコマｐ９とでは、撮影時間間隔が異なるため、このコマｐ７が静止画取得部１４によって取得された場合、静止画選択部１６が実施の形態１に説明した方法でコマを選択したとしても、適当な視差を持つ静止画を出力することができなくなる。
【００６０】
すなわち、実施の形態１に基づく静止画選択部１６における静止画の選択方法によれば、コマｐ７に対してはコマｐ５およびコマｐ９が選択されるが、このときｐ７〜ｐ１１の区間におけるビデオカメラ２０２の移動速度が小さいので、コマｐ７に対してコマｐ９は視差が小さすぎて適当でない。図１１に示す例では、コマｐ７に対しては、コマｐ９の代わりにコマｐ１１を選択することがより適している。
【００６１】
また、静止画取得部１４によってコマｐ１５が取得された場合は、コマｐ１３とコマｐ１７は視差が大きすぎるので適当でなく、代わりにコマｐ１２およびコマｐ１６が選択される必要がある。同様に、コマｐ２１が取得された場合はコマｐ１８およびｐ２５、コマｐ２２が取得された場合はコマｐ１９およびｐ２６が、それぞれ静止画選択部１６によって選択される必要がある。
【００６２】
そこで、実施の形態２においては、適当な視差のある静止画を得るための第１の条件として、静止画取得部１４によって取得された静止画が撮影されたときのビデオカメラ２０２の位置と、静止画選択部１６によって選択された静止画が撮影されたときのビデオカメラ２０２の位置との間の距離を考える。図１２は、実施の形態２にかかる奥行き画像生成装置において、上記第１の条件、すなわちカメラ位置に基づいて静止画を選択する処理を示したフローチャートである。
【００６３】
まず、静止画選択部１６は、変数ｉの初期値を１として（ステップＳ２０１）、静止画選択部１６が取得した静止画（コマ）のｉ個前のコマ、すなわち初期状態においては１個前の静止画（コマ）を仮選択する（ステップＳ２０２）。なお、この仮選択は、実施の形態１の静止画選択部１６による静止画選択処理に相当する。
【００６４】
そして、この仮選択したコマと、静止画取得部１４が取得した静止画（コマ）は、奥行き画像演算部１８に入力される。これにより、奥行き画像演算部１８において奥行き画像の演算がおこなわれる際に、それぞれの静止画が撮影されたときのビデオカメラ２０２の位置（カメラ間距離）が算出される（ステップＳ２０３）。静止画選択部１６は、奥行き画像演算部１８から上記したカメラ間距離を受け取り、その距離が最小距離α以上、最大距離β以下であるかどうかを調べる（ステップＳ２０４）。なお、この距離は小さすぎても大きすぎても良くないので、最小距離αおよび最大距離βは経験的な値として定めるものとする。
【００６５】
ステップＳ２０４において、カメラ間距離が最小距離α以上かつ最大距離β以下である場合は、静止画取得部１４が取得した静止画（コマ）からｉ個前のコマ、すなわちステップＳ２０２において仮選択された静止画（コマ）を、あらためて奥行き画像演算部１８に入力する（ステップＳ２０５）。ステップＳ２０４において、カメラ間距離が最小距離α以上かつ最大距離β以下でない場合は、静止画選択部１６は、ｉ個前のコマが動画像の最初のコマであるか否かを調べる（ステップＳ２０６）。
【００６６】
ステップＳ２０６において、ｉ個前のコマが動画像の最初のコマでなければ、ｉを１だけインクリメントしてステップＳ２０２からの処理を繰り返す（ステップＳ２０７）。一方、ｉ個前のコマが動画像の最初のコマである場合は、コマの選択に失敗したものとして終了する。なお、αとβの値を固定値とせずに、条件を満足するコマが見つからない場合は、αを減少、βを増加してステップＳ２０２からの処理をやり直すようにしてもよい。
【００６７】
静止画取得部１４が取得したコマの後方にあるコマについても、上記同様の方法によって選択し、奥行き画像演算部１８に入力する。このように、静止画選択部１６が、カメラ位置間を考慮した第１の条件を満たすように静止画を選択して奥行き画像演算部１８に入力するので、例えば図１１に示したコマｐ３〜ｐ２１に対して、正しいコマを選択することができるようになる。
【００６８】
つぎに、適当な視差のある静止画を得るための第２の条件として、静止画取得部１４によって取得された静止画が撮影されたときのビデオカメラ２０２の向きと、静止画選択部１６によって選択された静止画が撮影されたときのビデオカメラ２０２の向きとの相違を考える。これは、静止画を撮影したビデオカメラのそれぞれの向きが異なると、静止画中における被写体の写っている位置や、被写体の写っている範囲が大きく異なり、マッチング処理のおこえない特徴点が多く発生してしまうという事態を回避するためのものである。ここでは、二つのビデオカメラの向きを原点から伸ばした２本のベクトルとみなし、それのなす有効な最大角度γを定めるものとする。
【００６９】
図１３は、実施の形態２にかかる奥行き画像生成装置において、上記第２の条件、すなわちカメラの向きに基づいて静止画を選択する処理を示したフローチャートである。まず、静止画選択部１６は、変数ｉの初期値を１として（ステップＳ３０１）、静止画選択部１６が取得した静止画（コマ）のｉ個前のコマ、すなわち初期状態においては１個前の静止画（コマ）を仮選択する（ステップＳ３０２）。なお、この仮選択は、実施の形態１の静止画選択部１６による静止画選択処理に相当する。
【００７０】
そして、この仮選択したコマと、静止画取得部１４が取得した静止画（コマ）は、奥行き画像演算部１８に入力される。これにより、奥行き画像演算部１８において奥行き画像の演算がおこなわれる際に、それぞれの静止画が撮影されたときのビデオカメラ２０２の向きが算出される（ステップＳ３０３）。静止画選択部１６は、奥行き画像演算部１８から上記したカメラの向きについての情報を受け取り、二つのビデオカメラ２０２の向きを原点から伸ばした２本のベクトルとみなして、それのなす角度が最大角度γ以下であるかどうかを調べる（ステップＳ３０４）。
【００７１】
ステップＳ３０４において、カメラの向きが最大角度γ以下である場合は、静止画取得部１４が取得した静止画（コマ）からｉ個前のコマ、すなわちステップＳ３０２において仮選択された静止画（コマ）を、あらためて奥行き画像演算部１８に入力する（ステップＳ３０５）。一方、ステップＳ２０４において、カメラの向きが最大角度γより大きい場合は、静止画選択部１６は、ｉ個前のコマが動画像の最初のコマであるか否かを調べる（ステップＳ３０６）。
【００７２】
ステップＳ３０６において、ｉ個前のコマが動画像の最初のコマでなければ、ｉを１だけインクリメントしてステップＳ３０２からの処理を繰り返す（ステップＳ３０７）。一方、ｉ個前のコマが動画像の最初のコマである場合は、コマの選択に失敗したものとして終了する。なお、γの値を固定値とせずに、条件を満足するコマが見つからない場合は、γを増加してステップＳ３０２からの処理をやり直すようにしてもよい。
【００７３】
静止画取得部１４が取得したコマの後方にあるコマについても、上記同様の方法によって選択し、奥行き画像演算部１８に入力する。このように、静止画選択部１６が、カメラの向きを考慮した第２の条件を満たすように静止画を選択して奥行き画像演算部１８に入力するので、例えば図１１に示したコマｐ１７〜ｐ２２に対して、正しいコマを選択することができるようになる。
【００７４】
なお、静止画選択部１６は、上記した第１の条件および第２の条件の一方のみを満たすように静止画の選択をおこなってもよいし、第１の条件および第２の条件をともに満たすように静止画の選択をおこなってもよい。
【００７５】
以上に説明したとおり、実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法によれば、動画像データを動画像記憶部１２に記憶し、静止画取得部１４が動画像記憶部１２から動画像データを構成する一つの静止画（コマ）を取り出し、静止画選択部１６が、その静止画に基づいて動画像記憶部１２から静止画を取り出し、取り出した静止画を奥行き画像演算部１８に入力して得られるカメラの位置や向きに応じてより最適な静止画を選択して、奥行き画像演算部１８がこれら二次元の静止画の各ピクセルに対して被写体上の領域とカメラとの距離を関連付けることにより奥行き画像を生成するので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像をより正確に得ることができる。
【００７６】
また、静止画選択部１６が、正確な奥行き画像が演算されるための視差を考慮して、奥行き画像演算部１８によって得られるカメラの位置や向きに応じて静止画を再選択するので、最終的に得られた奥行き画像の精確性を向上させることができる。
【００７７】
なお、以上に説明した実施の形態２においては、奥行き画像演算部１８に入力する静止画の枚数を３枚としたが、２枚とした場合でも上記同様の作用および効果を享受することができる。
【００７８】
また、実施の形態２において、適当な視差のある静止画を得るために、取得された静止画が撮影されたときのビデオカメラ２０２と、選択された静止画が撮影されたときのビデオカメラ２０２の位置を利用する方法として、ビデオカメラ間の距離を評価していたが、他の方法で利用してもよい。例えば、二つのビデオカメラから被写体の特定の位置（重心など）へ伸ばした線分の夾角について、最大値と最小値を定義してもよい。
【００７９】
さらに、実施の形態２において、条件を満足するコマが見つかるまで処理を繰り返すという方法でコマの選択を行っていたが、この代わりに例えば前後の１０コマのすべてについてビデオカメラの位置と向きを計算し、最も理想的な位置と向きに近い条件で撮影されたコマを選択するようにすることもできる。
【００８０】
実施の形態３．
つぎに、実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法は、奥行き画像演算部において生成された奥行き画像データを記憶し、記憶した奥行き画像データに基づいて奥行き動画像データを生成することを特徴としている。他の構成および動作は実施の形態２と同様である。
【００８１】
図１４は、実施の形態３にかかる奥行き画像生成装置の概略構成を示すブロック図である。なお、図１４において、図１０と共通する部分には同一の符号を付してその説明を省略する。図１４に示す奥行き画像生成装置３０において、図１０と異なる点は、奥行き画像演算部１８によって生成された奥行き画像データを記憶する奥行き画像記憶部３２と、奥行き画像記憶部３２に記憶された奥行き画像データに基づいて奥行き動画像データを生成する奥行き動画像生成部３４とを備えた点である。
【００８２】
つぎに、実施の形態３にかかる奥行き画像生成装置の動作について説明する。
ここでは、図１１に示したビデオカメラの移動経路に従って動画像の撮影がおこなわれたものとする。なお、奥行き画像演算部１８において奥行き画像データが生成されるまでの動作については、実施の形態２に示したとおりであるのでここではその説明を省略する。
【００８３】
図１５は、実施の形態３にかかる奥行き画像生成装置において、奥行き動画像を生成する処理を示したフローチャートである。まず、奥行き画像生成装置３０は、変数ｉの初期値を１に設定する（ステップＳ４０１）。そして、静止画取得部１４が、動画像記憶部１２からｉコマ目のコマｐｉを静止画として取得し（ステップＳ４０２）、静止画選択部１６が、コマｐｉに対して実施の形態２に示したように二つのコマを静止画として選択する（ステップＳ４０３）。そして、奥行き画像演算部１８が、これら三枚の静止画に基づいて上述したような奥行き画像を演算する（ステップＳ４０４）。
【００８４】
奥行き画像演算部１８において生成された奥行き画像データは、外部に出力されるとともに、奥行き画像記憶部３２に記憶されていく（ステップＳ４０５）。
つづいて、奥行き動画像生成部３４が、コマｐｉが動画像の最後のコマであるか否かを調べる（ステップＳ４０６）。
【００８５】
ステップＳ４０６において、コマｐｉが動画像の最後のコマでなければ、ｉを１だけインクリメントしてステップＳ４０２からの処理を繰り返す（ステップＳ４０８）。一方、コマｐｉが動画像の最後のコマである場合は、奥行き動画像生成部３４が、奥行き画像記憶部３２に記憶されている奥行き画像をつなぎ合わせて奥行き動画像を生成する（ステップＳ４０７）。
【００８６】
ところで、静止画取得部１４がコマｐ１を選択したとき、静止画選択部１６が図１１に示したフローチャートに従うと、コマの選択に失敗して終了する。従って、コマｐ１については、奥行き画像の計算がおこなわれず、奥行き画像記憶部３２にはコマｐ１に相当する奥行き画像が記憶されない。同様に、コマｐ２、コマｐ２４〜ｐ２６についても、相当する奥行き画像は記憶されない。
【００８７】
そこで、奥行き動画像生成部３４には、つぎのような例外処理がおこなわれるものとする。あるコマｐｊについて、静止画選択部１６がコマの選択に失敗し奥行き画像の生成がおこなわれない場合は、奥行き画像の生成に成功したコマのうち、コマｐｊが撮影されたときのカメラ位置に最も近い位置から撮影されたコマに対応する奥行き画像を代用する。以上のようにして、動画像記憶部１２に記憶された動画像の各コマに対応して作成された奥行き画像をつなぎ合わせて生成した奥行き動画像を得ることができる。
【００８８】
以上に説明したとおり、実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法によれば、実施の形態２に示した構成に加えて、奥行き画像演算部１８によって生成された奥行き画像を記憶する奥行き画像記憶部３２と、奥行き画像記憶部３２に記憶された奥行き画像をつなげて動画像を生成する奥行き動画像生成部３４と、を備えているので、奥行き動画像データを得ることが可能になる。
【００８９】
なお、実施の形態３において、あるコマｐｊについて、静止画選択部１６がコマの選択に失敗し奥行き画像の生成がおこなわれない場合は、奥行き画像の生成に成功したコマのうち、コマｐｊが撮影されたときのカメラ位置に最も近い位置から撮影されたコマに対応する奥行き画像を代用するとしたが、別の方法で選択した奥行き画像を代用してもよい。例えば、前後のコマについての奥行き画像を近い順に見つけていき、最初に見つかった奥行き画像を代用することもできる。
【００９０】
また、以上に説明した実施の形態１〜３にかかる奥行き画像生成方法は、ハードディスクやＣＤ−ＲＯＭ等の記憶媒体にコンピュータプログラムとして記録することにより提供することが可能であり、その場合は、そのコンピュータプログラムが、実施の形態１〜３に説明した処理を実現する。
【００９１】
【発明の効果】
以上、説明したとおり、この発明によれば、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶手段と、前記動画像記憶手段に記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得手段と、前記静止画取得手段によって取り出された第１の二次元静止画に基づいて、前記動画像記憶手段に記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択手段と、を備え、奥行き情報演算手段は前記静止画取得手段および静止画選択手段によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算するようにしたので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができるという効果を奏する。
【００９２】
また、本発明では、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶工程と、前記動画像記憶工程によって記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得工程と、前記静止画取得工程によって取り出された第１の二次元静止画に基づいて、前記動画像記憶工程によって記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択工程と、を備え、奥行き情報演算工程では、前記静止画取得工程および静止画選択工程によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算するようにしたので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図２】実施の形態１にかかる奥行き画像生成装置において、直方体形状の被写体をビデオカメラで撮影する場合の撮影状態を表した説明図である。
【図３】実施の形態１にかかる奥行き画像生成装置において、直方体形状の被写体をビデオカメラで撮影する場合の撮影状態を上方からみた場合の説明図である。
【図４】実施の形態１にかかる奥行き画像生成装置の奥行き画像演算部において生成された奥行き画像の例を示す図である。
【図５】実施の形態１にかかる奥行き画像生成装置の奥行き画像演算部における処理を示すフローチャートである。
【図６】実施の形態１にかかる奥行き画像生成装置において、特徴点の抽出を説明するための説明図である。
【図７】実施の形態１にかかる奥行き画像生成装置において、特徴点マッチングおよびカメラの位置と向きの算出を説明するための説明図である。
【図８】実施の形態１にかかる奥行き画像生成装置において、カメラから各特徴点までの距離の算出を説明するための説明図である。
【図９】実施の形態１にかかる奥行き画像生成装置において、奥行き画像の生成を説明するための説明図である。
【図１０】実施の形態２にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図１１】実施の形態２にかかる奥行き画像生成装置において、直方体形状の被写体を撮影したときのビデオカメラ２０２の撮影状態を説明するための説明図である。
【図１２】実施の形態２にかかる奥行き画像生成装置において、カメラ位置に基づいて静止画を選択する処理を示したフローチャートである。
【図１３】実施の形態２にかかる奥行き画像生成装置において、カメラの向きに基づいて静止画を選択する処理を示したフローチャートである。
【図１４】実施の形態３にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図１５】実施の形態３にかかる奥行き画像生成装置において、奥行き動画像を生成する処理を示したフローチャートである。
【符号の説明】
１０，２０，３０ 画像生成装置、１２ 動画像記憶部、１４ 静止画取得部１６ 静止画選択部、１８ 奥行き画像演算部、３２ 奥行き画像記憶部、３４奥行き動画像生成部、２０１ 被写体、２０２ ビデオカメラ。
【発明の属する技術分野】
この発明は、カメラで撮影した画像から被写体の三次元形状を自動的に復元する三次元復元技術に関するものであり、特に、画像中の各ピクセルが示している被写体上の領域とカメラとの距離を記録する奥行き情報として、三次元形状を出力する技術に関するものである。
【０００２】
【従来の技術】
カメラで撮影した画像から被写体の三次元形状を自動的に復元する三次元復元技術に関する研究は１９７０年代に始まり、画像からどのように三次元形状を復元するかについての基礎的な理論は１９８０年代に既に確立されている。最もよく知られた方法は、ステレオカメラを使って撮影した２枚組みの静止画を使う方法である。現在では、安定した三次元復元をおこなうためにはどのように被写体を撮影すべきか、または三次元復元技術をどのように応用すべきかが、新しい研究課題となっている。
【０００３】
これら三次元復元技術の代表的なものとして、例えば特開平５−１４９７２７号公報に開示の「三次元形状認識装置」、特開平５−３１４２４３号公報に開示の「３次元形状復元方法」、特開平６−１０２０２７号公報に開示の「３次元形状復元方法」、特開平１０−９３９５４号公報に開示の「物体検知方法及びシステム」および特開平１０−２３９０５４号公報に開示の「視点・物点位置計測方法及び装置」が知られている。
【０００４】
特開平５−１４９７２７号公報に開示の「三次元形状認識装置」は、物体にスリット光を照射し、その反射パターンから三次元形状を復元する装置において、物体の形状に起因して反射パターンが正しく捉えられない場合、カメラを移動させることによって、従来よりも確実に三次元形状を得ようとするものである。
【０００５】
また、特開平５−３１４２４３号公報に開示の「３次元形状復元方法」は、三次元復元処理をおこなう２枚の画像を得るために、まずカメラを物体に向けた状態で１枚目の画像を撮影し、つぎにカメラを移動してカメラの向きを物体の方に向け直して２枚目の画像を撮影する方法である。特に、この方法は、カメラの移動距離と回転角の数値を三次元復元処理で利用することで、カメラの移動のみで回転をともなわない従来の撮影方法よりも、正確な三次元復元を実現するものである。
【０００６】
また、特開平６−１０２０２７号公報に開示の「３次元形状復元方法」は、上記した特開平５−１４９７２７号公報および特開平５−３１４２４３号公報に開示された方法のように、三次元復元に使用する画像を取得するためにカメラを移動する際に、そのカメラの移動により画像の輝度情報等の特徴量の変化が最も大きくなる方向を検出し、その方向にカメラを移動することで、従来よりも正確に三次元形状を求めるものである。
【０００７】
また、特開平１０−９３９５４号公報に開示の「物体検知方法及びシステム」は、レール上を移動するカメラによって異なる時刻に撮影された２枚の画像を取得し、取得した２枚の画像を用いてカメラから画像中の物体までの距離を計測して（三次元形状の推定に類似）、常設物体以外の物体を検知するものである。
【０００８】
また、特開平１０−２３９０５４号公報に開示の「視点・物点位置計測方法及び装置」は、被写体についての１組のステレオ画像（相対位置が既知である２つのカメラから撮影した２枚の画像）と複数の画像を用いて、被写体の三次元形状を計測するものである。
【０００９】
また、上述した特許公報に開示の技術以外にも、ビデオカメラによって撮影した映像を入力して、被写体の三次元形状を出力することのできるソフトウェアが各種提供されている。例えば、オージス総研（株）提供の製品「ＶｉｒｔｕａｌＧＡＩＡ」は、家庭用ビデオカメラで撮影した画像やデジタルカメラ等でコマ撮りした画像から、三次元形状を復元することができる。特に、この「Ｖｉｒｔｕａｌ ＧＡＩＡ」は、被写体の周囲を旋回するようにビデオカメラを移動しながら被写体を撮影したビデオ映像をデジタル入力し、三次元形状のデータをＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）形式で出力することができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した特許公報に開示の従来技術では、カメラの位置や移動速度などが既知であるような特定の条件下での撮影を対象としており、撮影状況が不定である普通のビデオ映像を利用することができないという問題があった。
特に近年、家庭でも利用できるような安価で操作の容易なビデオカメラが販売されており、ビデオ映像、すなわち連続的に撮影された複数の実写静止画像が誰でも容易に得られるようになった背景を考えると、被写体の三次元形状の計測を上述した従来技術で充足することは困難である。
【００１１】
また、上記したソフトウェア製品「Ｖｉｒｔｕａｌ ＧＡＩＡ」は、家庭で撮影したビデオ映像を利用することができるが、撮影時のカメラ移動が滑らかにおこなわれているという条件を要求しており、ビデオ映像中に、カメラが静止したり、パンまたはチルトだけがおこなわれたり、カメラが大きく移動されているような部分があってはならないという制限があった。
【００１２】
本発明は上記問題点を解決するためになされたもので、カメラが静止したり、パンまたはチルトだけがおこなわれたり、カメラが大きく移動されているような部分のあるビデオ映像に対しても、被写体の三次元形状の算出を可能にするとともに、その三次元形状を用いて、ビデオ映像から取り出した二次元静止画に対応する奥行き画像を生成することが可能な奥行き画像生成装置および奥行き画像生成方法を得ることを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、この発明にかかる奥行き画像生成装置にあっては、被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算手段を備える奥行き画像生成装置において、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶手段と、前記動画像記憶手段に記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得手段と、前記静止画取得手段によって取り出された第１の二次元静止画に基づいて、前記動画像記憶手段に記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択手段と、を備え、前記奥行き情報演算手段は前記静止画取得手段および静止画選択手段によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算することを特徴とする。
【００１４】
また、この発明では、被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算工程を備える奥行き画像生成方法において、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶工程と、前記動画像記憶工程によって記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得工程と、前記静止画取得工程によって取り出された第１の二次元静止画に基づいて、前記動画像記憶工程によって記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択工程と、を備え、前記奥行き情報演算工程では、前記静止画取得工程および静止画選択工程によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算することを特徴とする。
【００３４】
【発明の実施の形態】
以下に、この発明にかかる奥行き画像生成装置および奥行き画像生成方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００３５】
実施の形態１．
まず、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。図１は、実施の形態１にかかる奥行き画像生成装置の概略構成を示すブロック図である。図１において、奥行き画像生成装置１０は、ビデオカメラ撮影によって生成された動画像データを入力して記憶する動画像記憶部１２と、動画像記憶部１２に記憶された動画像データのうちその動画像データを構成する一つのコマ（画像フレーム）に着目してそれを静止画として取得する静止画取得部１４と、静止画取得部１４において取得されたコマに基づいて他のコマを動画像記憶部１２から選択して静止画として取得する静止画選択部１６と、静止画取得部１４および静止画選択部１６においてそれぞれ取得された静止画から奥行き画像を演算して生成する奥行き画像演算部１８と、を備えて構成される。
【００３６】
なお、この奥行き画像生成装置１０は、コンピュータによって代替することもできる。すなわち、上記した動画像記憶部１２をコンピュータ上のＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や磁気ディスク記憶装置によって実現し、静止画取得部１４、静止画選択部１６および奥行き画像演算部１８によって実行される処理をそれぞれコンピュータプログラムで実現することもできる。
【００３７】
つぎに、実施の形態１にかかる奥行き画像生成装置の動作について説明する。
図２は、直方体形状の被写体２０１をビデオカメラ２０２で撮影する場合の撮影状態を表した説明図である。図２に示すように、ビデオカメラ２０２は、被写体２０１の正面に対して、ほぼ垂直方向にカメラを向けた状態で撮影しつつ、点線に示すように移動するものとする。
【００３８】
また、図３は、図２に示した撮影状態を上方からみた場合の説明図である。図３に示すように、ビデオカメラ２０２は、地点ｐ１〜ｐ１２上に示した矢印方向にカメラを向け、かつ地点ｐ１〜ｐ１２で結ばれる点線上を移動するものとする。特にここでは、ビデオカメラ２０２が各地点ｐ１〜ｐ１２を撮影位置として撮影がおこなわれたものとする。すなわち、全部で１２枚のコマが撮影されることになる。また、図３においては、地点ｐ１、ｐ２、ｐ４、ｐ６およびｐ１２において撮影されたコマの内容が、それぞれコマ３０１、３０２、３０３、３０４および３０５として示されている。以下の説明においては、便宜上、地点ｐｉで撮影されたコマのことを、コマｐｉと呼ぶ。
【００３９】
このように撮影されたコマｐ１〜ｐ１２により構成される動画像は、動画像記憶部１２に記憶される。そして、静止画取得部１４は、この動画像記憶部１２から、例えばコマｐ４を取得してこのコマに対応する静止画を出力し、また静止画選択部１６は、動画像記憶部１２からコマｐ４の前後２コマ目、すなわちコマｐ２およびコマｐ６を選択してこれらのコマに対応する静止画を出力する。
【００４０】
静止画取得部１４および静止画選択部１６から出力されたコマｐ４、ｐ２およびｐ６に相当する３枚の静止画３０３、３０２および３０４は、奥行き画像演算部１８に入力される。奥行き画像演算部１８は、３枚の静止画３０３、３０２および３０４に基づいて奥行き画像を生成し、奥行き画像データとして出力する。
図４は、奥行き画像演算部１８において生成された奥行き画像の例を示す図である。図４に奥行き画像は、画像の１ピクセル毎に、撮影時におけるビデオカメラとの距離が大きいほど白に、近いほど黒になるような多段階の値で構成されている。すなわち、図４の例では、被写体２０１のビデオカメラに向き合う面については距離が小さく、それ以外の面は徐々に距離が大きくなっていることが示されている。
【００４１】
つぎに、奥行き画像演算部１８における処理について説明する。特にここでは、３枚の静止画を入力して奥行き画像データを出力するまでの処理について説明する。図５は、奥行き画像演算部１８における処理を示すフローチャートである。まず、奥行き画像演算部１８では、上記した撮影位置の異なる３枚の静止画のそれぞれに対して、特徴点と呼ばれる２００〜３００程度のピクセルを抽出する（ステップＳ１０１）。特徴点の抽出とは、静止画を構成するピクセルの色情報に着目し、周囲のピクセルに比較して大きく異なった色情報を持つピクセルを自動的に抽出する処理をいう。なお、各ピクセルは被写体の表面上の１点に相当する。
【００４２】
図６は、特徴点の抽出を説明するための説明図である。特徴点は、例えば図６に示すように、コマ３０２、３０３および３０４内の被写体２０１、すなわち直方体において、その頂角に位置するピクセルとして抽出される。
【００４３】
つぎに、奥行き画像演算部１８は、３枚の静止画ごとに抽出された特徴点同士の対応付けをおこなう特徴点マッチングと呼ばれる処理をおこなう（ステップＳ１０２）。この対応付けは、被写体の表面上の同じ１点を示している特徴点同士の間でおこなわれる。図７（ａ）は、特徴点マッチングを説明するための説明図である。特徴点マッチングでは、図７（ａ）に示すように、例えば、コマ３０２、３０３および３０４内の被写体２０１、すなわち直方体間において、特徴点同士、すなわち同位置となる頂角のピクセル同士が対応付けられる。
【００４４】
また、この特徴点マッチングにおいては、同時に、静止画が撮影された際のカメラの位置と向きが算出される（ステップＳ１０２）。図７（ｂ）は、カメラの位置と向きの算出を説明するための説明図である。カメラの位置は、図７（ｂ）に示すように、例えば、図３に示した上方からみた撮影位置をＸＹ座標軸上に展開して特定され、カメラの向きはその座標軸を用いて表わされるベクトルとして特定される。
【００４５】
つづいて、奥行き画像演算部１８は、ステップＳ１０２において求められたカメラの位置と向きとから三角測量の原理で、カメラから各特徴点までの距離を算出する（ステップＳ１０３）。図８は、カメラから各特徴点までの距離の算出を説明するための説明図である。カメラの距離は、図８に示すように、図６に示した特徴点の情報と図７（ｂ）に示したＸＹ座標軸上のカメラ位置の情報とを用いて特定される。
【００４６】
そして、奥行き画像演算部１８は、特徴点同士を適当につなぎ合わせて面を構成することで被写体２０１の三次元構造を復元し、静止画についての奥行き情報を得る（ステップＳ１０４）。図９は、奥行き画像の生成を説明するための説明図である。奥行き画像の生成は、例えば図９に示すように、コマ３０３に相当する静止画に対して、特徴点同士のつなぎ合わせにより面を構成し、被写体の三次元形状を取得するとともに、上記した特徴点とカメラとの距離から、最終的に図４に説明したような奥行き画像を演算する。
【００４７】
なお、奥行き画像演算部１８による奥行き画像の生成は、本発明における構成手段の一つに過ぎず、同様の処理方法は広く知られているので、処理の詳細については省略する。奥行き画像の生成を述べた公知文献として、例えば「P. A. Beardsley, A. Zisserman, D. W. Murray: "Sequential Updating of Projective and Affine Structure from Motion", International Journal of Computer Vision, 23(3), pp235-259, 1997」がある。
【００４８】
この奥行き画像の生成において要求されることは、互いに適当な視差のある３枚の静止画が入力されることである。なお、視差とは、三次元構造物体をカメラ撮影する際に、カメラの撮影位置が異なることによって生じる、画像間の差異のことである。例えば、図３に示した例では、カメラの位置はすべてのコマにおいて異なっているので、地点ｐ１〜ｐ１２のすべてのコマの間には視差が生じている。
【００４９】
しかしながら、上記した公知の奥行き画像の生成処理において正確な奥行き画像を得るには、視差は、大きすぎても小さすぎても良くない。これは、視差が大きすぎる場合は、画像間の差異が大きくなるために抽出される特徴点の相違も大きくなり、特徴点の対応付けが成功しない場合が多く発生するようになるからである。一方、視差が小さすぎる場合は、カメラから、対応付けされた特徴点と対応する被写体上の１点までの距離を三角測量の原理によって計算する際の計算誤差が大きくなってしまうからである。
【００５０】
このため、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法では、図３において、例えば地点ｐ４のコマについて奥行き画像を演算するために選択すべきコマは、視差の小さすぎる地点ｐ３またはｐ５ではなく、また視差の大きすぎる地点ｐ１、ｐ７〜ｐ１２ではなく、地点ｐ２およびｐ６としている。
【００５１】
以上に説明したとおり、実施の形態１にかかる奥行き画像生成装置および奥行き画像生成方法によれば、動画像データを動画像記憶部１２に記憶し、静止画取得部１４が動画像記憶部１２から動画像データを構成する一つの静止画（コマ）を取り出し、静止画選択部１６がその静止画に対して時間的に前後する静止画を動画像記憶部１２からさらに取り出して、奥行き画像演算部１８がこれら二次元の静止画の各ピクセルに対して被写体上の領域とカメラとの距離を関連付けることにより奥行き画像を生成するので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができる。
【００５２】
また、静止画選択部１６が、奥行き画像演算部１８において十分に正確な奥行き画像が演算されるための視差を考慮して、動画像記憶部１２から静止画を取り出すので、最終的に得られた奥行き画像の精確性を向上させることができる。
【００５３】
なお、以上に説明した実施の形態１においては、奥行き画像演算部１８に入力する静止画の枚数を３枚としたが、２枚とした場合でも上記同様の作用および効果を享受することができる。
【００５４】
実施の形態２．
つぎに、実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法は、静止画選択部１６が奥行き画像演算部１８による演算結果に基づいて静止画を再選択することを特徴としている。他の構成および動作は実施の形態１と同様である。
【００５５】
図１０は、実施の形態２にかかる奥行き画像生成装置の概略構成を示すブロック図である。なお、図１０において、図１と共通する部分には同一の符号を付してその説明を省略する。図１０に示す奥行き画像生成装置２０において、図１と異なる点は、静止画選択部１６と奥行き画像演算部１８との間でデータの送受信をおこなう点である。
【００５６】
図１１は、直方体形状の被写体２０１を撮影したときのビデオカメラ２０２の撮影状態を説明するための説明図である。図３に示した例では、ビデオカメラ２０２は、向きを固定にしてほぼ等距離で向かって左から右へ移動していたが、図１１に示す例では、ビデオカメラ２０２の移動の速度／移動方向／向きが一定ではない例が示されている。一般に、ユーザがビデオカメラを使って被写体を撮影するときの撮影状態は、図１１に示すような状態であると考えられる。
【００５７】
実施の形態２にかかる奥行き画像生成装置２０では、まず、実施の形態１でおこなったように、静止画選択部１６が、静止画取得部１４において取得された動画像のコマ、すなわち静止画から前後２コマ目を、動画像記憶部１２から取得して静止画として出力する。例えば、図１１において、コマｐ３を静止画取得部１４が取得したとすると、静止画選択部１６は、コマｐ１およびコマｐ５を選択して静止画として出力する。
【００５８】
同様に、静止画取得部１４がコマｐ４またはコマｐ５を選択した場合にも、静止画選択部１６は、奥行き画像演算部１８の処理に適した適当な視差のある静止画を出力することができる。
【００５９】
しかしながら、図１１においてコマｐ７の２コマ前のコマｐ５と２コマ後のコマｐ９とでは、撮影時間間隔が異なるため、このコマｐ７が静止画取得部１４によって取得された場合、静止画選択部１６が実施の形態１に説明した方法でコマを選択したとしても、適当な視差を持つ静止画を出力することができなくなる。
【００６０】
すなわち、実施の形態１に基づく静止画選択部１６における静止画の選択方法によれば、コマｐ７に対してはコマｐ５およびコマｐ９が選択されるが、このときｐ７〜ｐ１１の区間におけるビデオカメラ２０２の移動速度が小さいので、コマｐ７に対してコマｐ９は視差が小さすぎて適当でない。図１１に示す例では、コマｐ７に対しては、コマｐ９の代わりにコマｐ１１を選択することがより適している。
【００６１】
また、静止画取得部１４によってコマｐ１５が取得された場合は、コマｐ１３とコマｐ１７は視差が大きすぎるので適当でなく、代わりにコマｐ１２およびコマｐ１６が選択される必要がある。同様に、コマｐ２１が取得された場合はコマｐ１８およびｐ２５、コマｐ２２が取得された場合はコマｐ１９およびｐ２６が、それぞれ静止画選択部１６によって選択される必要がある。
【００６２】
そこで、実施の形態２においては、適当な視差のある静止画を得るための第１の条件として、静止画取得部１４によって取得された静止画が撮影されたときのビデオカメラ２０２の位置と、静止画選択部１６によって選択された静止画が撮影されたときのビデオカメラ２０２の位置との間の距離を考える。図１２は、実施の形態２にかかる奥行き画像生成装置において、上記第１の条件、すなわちカメラ位置に基づいて静止画を選択する処理を示したフローチャートである。
【００６３】
まず、静止画選択部１６は、変数ｉの初期値を１として（ステップＳ２０１）、静止画選択部１６が取得した静止画（コマ）のｉ個前のコマ、すなわち初期状態においては１個前の静止画（コマ）を仮選択する（ステップＳ２０２）。なお、この仮選択は、実施の形態１の静止画選択部１６による静止画選択処理に相当する。
【００６４】
そして、この仮選択したコマと、静止画取得部１４が取得した静止画（コマ）は、奥行き画像演算部１８に入力される。これにより、奥行き画像演算部１８において奥行き画像の演算がおこなわれる際に、それぞれの静止画が撮影されたときのビデオカメラ２０２の位置（カメラ間距離）が算出される（ステップＳ２０３）。静止画選択部１６は、奥行き画像演算部１８から上記したカメラ間距離を受け取り、その距離が最小距離α以上、最大距離β以下であるかどうかを調べる（ステップＳ２０４）。なお、この距離は小さすぎても大きすぎても良くないので、最小距離αおよび最大距離βは経験的な値として定めるものとする。
【００６５】
ステップＳ２０４において、カメラ間距離が最小距離α以上かつ最大距離β以下である場合は、静止画取得部１４が取得した静止画（コマ）からｉ個前のコマ、すなわちステップＳ２０２において仮選択された静止画（コマ）を、あらためて奥行き画像演算部１８に入力する（ステップＳ２０５）。ステップＳ２０４において、カメラ間距離が最小距離α以上かつ最大距離β以下でない場合は、静止画選択部１６は、ｉ個前のコマが動画像の最初のコマであるか否かを調べる（ステップＳ２０６）。
【００６６】
ステップＳ２０６において、ｉ個前のコマが動画像の最初のコマでなければ、ｉを１だけインクリメントしてステップＳ２０２からの処理を繰り返す（ステップＳ２０７）。一方、ｉ個前のコマが動画像の最初のコマである場合は、コマの選択に失敗したものとして終了する。なお、αとβの値を固定値とせずに、条件を満足するコマが見つからない場合は、αを減少、βを増加してステップＳ２０２からの処理をやり直すようにしてもよい。
【００６７】
静止画取得部１４が取得したコマの後方にあるコマについても、上記同様の方法によって選択し、奥行き画像演算部１８に入力する。このように、静止画選択部１６が、カメラ位置間を考慮した第１の条件を満たすように静止画を選択して奥行き画像演算部１８に入力するので、例えば図１１に示したコマｐ３〜ｐ２１に対して、正しいコマを選択することができるようになる。
【００６８】
つぎに、適当な視差のある静止画を得るための第２の条件として、静止画取得部１４によって取得された静止画が撮影されたときのビデオカメラ２０２の向きと、静止画選択部１６によって選択された静止画が撮影されたときのビデオカメラ２０２の向きとの相違を考える。これは、静止画を撮影したビデオカメラのそれぞれの向きが異なると、静止画中における被写体の写っている位置や、被写体の写っている範囲が大きく異なり、マッチング処理のおこえない特徴点が多く発生してしまうという事態を回避するためのものである。ここでは、二つのビデオカメラの向きを原点から伸ばした２本のベクトルとみなし、それのなす有効な最大角度γを定めるものとする。
【００６９】
図１３は、実施の形態２にかかる奥行き画像生成装置において、上記第２の条件、すなわちカメラの向きに基づいて静止画を選択する処理を示したフローチャートである。まず、静止画選択部１６は、変数ｉの初期値を１として（ステップＳ３０１）、静止画選択部１６が取得した静止画（コマ）のｉ個前のコマ、すなわち初期状態においては１個前の静止画（コマ）を仮選択する（ステップＳ３０２）。なお、この仮選択は、実施の形態１の静止画選択部１６による静止画選択処理に相当する。
【００７０】
そして、この仮選択したコマと、静止画取得部１４が取得した静止画（コマ）は、奥行き画像演算部１８に入力される。これにより、奥行き画像演算部１８において奥行き画像の演算がおこなわれる際に、それぞれの静止画が撮影されたときのビデオカメラ２０２の向きが算出される（ステップＳ３０３）。静止画選択部１６は、奥行き画像演算部１８から上記したカメラの向きについての情報を受け取り、二つのビデオカメラ２０２の向きを原点から伸ばした２本のベクトルとみなして、それのなす角度が最大角度γ以下であるかどうかを調べる（ステップＳ３０４）。
【００７１】
ステップＳ３０４において、カメラの向きが最大角度γ以下である場合は、静止画取得部１４が取得した静止画（コマ）からｉ個前のコマ、すなわちステップＳ３０２において仮選択された静止画（コマ）を、あらためて奥行き画像演算部１８に入力する（ステップＳ３０５）。一方、ステップＳ２０４において、カメラの向きが最大角度γより大きい場合は、静止画選択部１６は、ｉ個前のコマが動画像の最初のコマであるか否かを調べる（ステップＳ３０６）。
【００７２】
ステップＳ３０６において、ｉ個前のコマが動画像の最初のコマでなければ、ｉを１だけインクリメントしてステップＳ３０２からの処理を繰り返す（ステップＳ３０７）。一方、ｉ個前のコマが動画像の最初のコマである場合は、コマの選択に失敗したものとして終了する。なお、γの値を固定値とせずに、条件を満足するコマが見つからない場合は、γを増加してステップＳ３０２からの処理をやり直すようにしてもよい。
【００７３】
静止画取得部１４が取得したコマの後方にあるコマについても、上記同様の方法によって選択し、奥行き画像演算部１８に入力する。このように、静止画選択部１６が、カメラの向きを考慮した第２の条件を満たすように静止画を選択して奥行き画像演算部１８に入力するので、例えば図１１に示したコマｐ１７〜ｐ２２に対して、正しいコマを選択することができるようになる。
【００７４】
なお、静止画選択部１６は、上記した第１の条件および第２の条件の一方のみを満たすように静止画の選択をおこなってもよいし、第１の条件および第２の条件をともに満たすように静止画の選択をおこなってもよい。
【００７５】
以上に説明したとおり、実施の形態２にかかる奥行き画像生成装置および奥行き画像生成方法によれば、動画像データを動画像記憶部１２に記憶し、静止画取得部１４が動画像記憶部１２から動画像データを構成する一つの静止画（コマ）を取り出し、静止画選択部１６が、その静止画に基づいて動画像記憶部１２から静止画を取り出し、取り出した静止画を奥行き画像演算部１８に入力して得られるカメラの位置や向きに応じてより最適な静止画を選択して、奥行き画像演算部１８がこれら二次元の静止画の各ピクセルに対して被写体上の領域とカメラとの距離を関連付けることにより奥行き画像を生成するので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像をより正確に得ることができる。
【００７６】
また、静止画選択部１６が、正確な奥行き画像が演算されるための視差を考慮して、奥行き画像演算部１８によって得られるカメラの位置や向きに応じて静止画を再選択するので、最終的に得られた奥行き画像の精確性を向上させることができる。
【００７７】
なお、以上に説明した実施の形態２においては、奥行き画像演算部１８に入力する静止画の枚数を３枚としたが、２枚とした場合でも上記同様の作用および効果を享受することができる。
【００７８】
また、実施の形態２において、適当な視差のある静止画を得るために、取得された静止画が撮影されたときのビデオカメラ２０２と、選択された静止画が撮影されたときのビデオカメラ２０２の位置を利用する方法として、ビデオカメラ間の距離を評価していたが、他の方法で利用してもよい。例えば、二つのビデオカメラから被写体の特定の位置（重心など）へ伸ばした線分の夾角について、最大値と最小値を定義してもよい。
【００７９】
さらに、実施の形態２において、条件を満足するコマが見つかるまで処理を繰り返すという方法でコマの選択を行っていたが、この代わりに例えば前後の１０コマのすべてについてビデオカメラの位置と向きを計算し、最も理想的な位置と向きに近い条件で撮影されたコマを選択するようにすることもできる。
【００８０】
実施の形態３．
つぎに、実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法について説明する。実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法は、奥行き画像演算部において生成された奥行き画像データを記憶し、記憶した奥行き画像データに基づいて奥行き動画像データを生成することを特徴としている。他の構成および動作は実施の形態２と同様である。
【００８１】
図１４は、実施の形態３にかかる奥行き画像生成装置の概略構成を示すブロック図である。なお、図１４において、図１０と共通する部分には同一の符号を付してその説明を省略する。図１４に示す奥行き画像生成装置３０において、図１０と異なる点は、奥行き画像演算部１８によって生成された奥行き画像データを記憶する奥行き画像記憶部３２と、奥行き画像記憶部３２に記憶された奥行き画像データに基づいて奥行き動画像データを生成する奥行き動画像生成部３４とを備えた点である。
【００８２】
つぎに、実施の形態３にかかる奥行き画像生成装置の動作について説明する。
ここでは、図１１に示したビデオカメラの移動経路に従って動画像の撮影がおこなわれたものとする。なお、奥行き画像演算部１８において奥行き画像データが生成されるまでの動作については、実施の形態２に示したとおりであるのでここではその説明を省略する。
【００８３】
図１５は、実施の形態３にかかる奥行き画像生成装置において、奥行き動画像を生成する処理を示したフローチャートである。まず、奥行き画像生成装置３０は、変数ｉの初期値を１に設定する（ステップＳ４０１）。そして、静止画取得部１４が、動画像記憶部１２からｉコマ目のコマｐｉを静止画として取得し（ステップＳ４０２）、静止画選択部１６が、コマｐｉに対して実施の形態２に示したように二つのコマを静止画として選択する（ステップＳ４０３）。そして、奥行き画像演算部１８が、これら三枚の静止画に基づいて上述したような奥行き画像を演算する（ステップＳ４０４）。
【００８４】
奥行き画像演算部１８において生成された奥行き画像データは、外部に出力されるとともに、奥行き画像記憶部３２に記憶されていく（ステップＳ４０５）。
つづいて、奥行き動画像生成部３４が、コマｐｉが動画像の最後のコマであるか否かを調べる（ステップＳ４０６）。
【００８５】
ステップＳ４０６において、コマｐｉが動画像の最後のコマでなければ、ｉを１だけインクリメントしてステップＳ４０２からの処理を繰り返す（ステップＳ４０８）。一方、コマｐｉが動画像の最後のコマである場合は、奥行き動画像生成部３４が、奥行き画像記憶部３２に記憶されている奥行き画像をつなぎ合わせて奥行き動画像を生成する（ステップＳ４０７）。
【００８６】
ところで、静止画取得部１４がコマｐ１を選択したとき、静止画選択部１６が図１１に示したフローチャートに従うと、コマの選択に失敗して終了する。従って、コマｐ１については、奥行き画像の計算がおこなわれず、奥行き画像記憶部３２にはコマｐ１に相当する奥行き画像が記憶されない。同様に、コマｐ２、コマｐ２４〜ｐ２６についても、相当する奥行き画像は記憶されない。
【００８７】
そこで、奥行き動画像生成部３４には、つぎのような例外処理がおこなわれるものとする。あるコマｐｊについて、静止画選択部１６がコマの選択に失敗し奥行き画像の生成がおこなわれない場合は、奥行き画像の生成に成功したコマのうち、コマｐｊが撮影されたときのカメラ位置に最も近い位置から撮影されたコマに対応する奥行き画像を代用する。以上のようにして、動画像記憶部１２に記憶された動画像の各コマに対応して作成された奥行き画像をつなぎ合わせて生成した奥行き動画像を得ることができる。
【００８８】
以上に説明したとおり、実施の形態３にかかる奥行き画像生成装置および奥行き画像生成方法によれば、実施の形態２に示した構成に加えて、奥行き画像演算部１８によって生成された奥行き画像を記憶する奥行き画像記憶部３２と、奥行き画像記憶部３２に記憶された奥行き画像をつなげて動画像を生成する奥行き動画像生成部３４と、を備えているので、奥行き動画像データを得ることが可能になる。
【００８９】
なお、実施の形態３において、あるコマｐｊについて、静止画選択部１６がコマの選択に失敗し奥行き画像の生成がおこなわれない場合は、奥行き画像の生成に成功したコマのうち、コマｐｊが撮影されたときのカメラ位置に最も近い位置から撮影されたコマに対応する奥行き画像を代用するとしたが、別の方法で選択した奥行き画像を代用してもよい。例えば、前後のコマについての奥行き画像を近い順に見つけていき、最初に見つかった奥行き画像を代用することもできる。
【００９０】
また、以上に説明した実施の形態１〜３にかかる奥行き画像生成方法は、ハードディスクやＣＤ−ＲＯＭ等の記憶媒体にコンピュータプログラムとして記録することにより提供することが可能であり、その場合は、そのコンピュータプログラムが、実施の形態１〜３に説明した処理を実現する。
【００９１】
【発明の効果】
以上、説明したとおり、この発明によれば、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶手段と、前記動画像記憶手段に記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得手段と、前記静止画取得手段によって取り出された第１の二次元静止画に基づいて、前記動画像記憶手段に記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択手段と、を備え、奥行き情報演算手段は前記静止画取得手段および静止画選択手段によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算するようにしたので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができるという効果を奏する。
【００９２】
また、本発明では、移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶工程と、前記動画像記憶工程によって記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得工程と、前記静止画取得工程によって取り出された第１の二次元静止画に基づいて、前記動画像記憶工程によって記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択工程と、を備え、奥行き情報演算工程では、前記静止画取得工程および静止画選択工程によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算するようにしたので、ソースとなる動画像データに対してカメラの移動速度や移動形態等の撮影条件を要求することなく、被写体の三次元形状情報および奥行き画像を正確に得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図２】実施の形態１にかかる奥行き画像生成装置において、直方体形状の被写体をビデオカメラで撮影する場合の撮影状態を表した説明図である。
【図３】実施の形態１にかかる奥行き画像生成装置において、直方体形状の被写体をビデオカメラで撮影する場合の撮影状態を上方からみた場合の説明図である。
【図４】実施の形態１にかかる奥行き画像生成装置の奥行き画像演算部において生成された奥行き画像の例を示す図である。
【図５】実施の形態１にかかる奥行き画像生成装置の奥行き画像演算部における処理を示すフローチャートである。
【図６】実施の形態１にかかる奥行き画像生成装置において、特徴点の抽出を説明するための説明図である。
【図７】実施の形態１にかかる奥行き画像生成装置において、特徴点マッチングおよびカメラの位置と向きの算出を説明するための説明図である。
【図８】実施の形態１にかかる奥行き画像生成装置において、カメラから各特徴点までの距離の算出を説明するための説明図である。
【図９】実施の形態１にかかる奥行き画像生成装置において、奥行き画像の生成を説明するための説明図である。
【図１０】実施の形態２にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図１１】実施の形態２にかかる奥行き画像生成装置において、直方体形状の被写体を撮影したときのビデオカメラ２０２の撮影状態を説明するための説明図である。
【図１２】実施の形態２にかかる奥行き画像生成装置において、カメラ位置に基づいて静止画を選択する処理を示したフローチャートである。
【図１３】実施の形態２にかかる奥行き画像生成装置において、カメラの向きに基づいて静止画を選択する処理を示したフローチャートである。
【図１４】実施の形態３にかかる奥行き画像生成装置の概略構成を示すブロック図である。
【図１５】実施の形態３にかかる奥行き画像生成装置において、奥行き動画像を生成する処理を示したフローチャートである。
【符号の説明】
１０，２０，３０ 画像生成装置、１２ 動画像記憶部、１４ 静止画取得部１６ 静止画選択部、１８ 奥行き画像演算部、３２ 奥行き画像記憶部、３４奥行き動画像生成部、２０１ 被写体、２０２ ビデオカメラ。
Claims (5)
- 被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算手段を備える奥行き画像生成装置において、
移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶手段と、
前記動画像記憶手段に記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得手段と、
前記静止画取得手段によって取り出された第１の二次元静止画に基づいて、前記動画像記憶手段に記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択手段と、
を備え、
前記奥行き情報演算手段は前記静止画取得手段および静止画選択手段によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算し、
前記奥行き画像演算手段は、前記第１および第２の二次元静止画のそれぞれが撮影されたときのカメラ間距離およびカメラの向きのなす角度を算出し、
前記静止画選択手段は、前記奥行き画像演算手段において算出されたカメラ間距離が所定の範囲内に入ってないときでかつ前記奥行き画像演算手段において算出されたカメラの向きのなす角度が所定の最大角度より大きいときに、前記第２の二次元静止画を再選択することを特徴とする奥行き画像生成装置。 - 前記奥行き画像演算手段によって生成された奥行き画像を記憶する奥行き画像記憶手段と、
前記奥行き画像記憶手段に記憶された奥行き画像をつなぎ合わせて奥行き動画像を生成する奥行き動画像生成手段と、
を備えたことを特徴とする請求項１に記載の奥行き画像生成装置。 - 被写体を含む少なくとも２つの静止画に基づいて各静止画が撮影された際のカメラの位置および向きを算出し、該算出したカメラの位置および向きに基づき三角測量の原理を用いてカメラから被写体を形成するピクセルまでの距離を算出することにより被写体の奥行き情報を演算する奥行き情報演算工程を備える奥行き画像生成方法において、
移動するカメラによって撮影された被写体を含む動画像を記憶する動画像記憶工程と、
前記動画像記憶工程によって記憶された動画像から被写体を含む第１の二次元静止画を取り出す静止画取得工程と、
前記静止画取得工程によって取り出された第１の二次元静止画に基づいて、前記動画像記憶工程によって記憶された動画像から前記第１の二次元静止画とは視差が所定の範囲内となる前記被写体を含む第２の二次元静止画を選択して取り出す静止画選択工程と、
を備え、前記奥行き情報演算工程では、前記静止画取得工程および静止画選択工程によって取り出された第１および第２の二次元静止画に基づいて被写体の奥行き情報を演算し、
前記奥行き画像演算工程は、さらに前記第１および第２の二次元静止画のそれぞれが撮影されたときのカメラ間距離およびカメラの向きのなす角度を算出し、
前記静止画選択工程は、前記奥行き画像演算工程によって算出されたカメラ間距離が所定の範囲内に入ってないときでかつ前記奥行き画像演算工程において算出されたカメラの向きのなす角度が所定の最大角度より大きいときに、前記第２の二次元静止画を再選択することを特徴とする奥行き画像生成方法。 - 前記奥行き画像演算工程によって生成された奥行き画像を記憶する奥行き画像記憶工程と、
前記奥行き画像記憶工程によって記憶された奥行き画像をつなぎ合わせて奥行き動画像を生成する奥行き動画像生成工程と、
を備えたことを特徴とする請求項３に記載の奥行き画像生成方法。 - 前記請求項３、４のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000254024A JP4578653B2 (ja) | 2000-08-24 | 2000-08-24 | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000254024A JP4578653B2 (ja) | 2000-08-24 | 2000-08-24 | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077941A JP2002077941A (ja) | 2002-03-15 |
| JP4578653B2 true JP4578653B2 (ja) | 2010-11-10 |
Family
ID=18743041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000254024A Expired - Lifetime JP4578653B2 (ja) | 2000-08-24 | 2000-08-24 | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4578653B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006113807A (ja) * | 2004-10-14 | 2006-04-27 | Canon Inc | 多視点画像の画像処理装置および画像処理プログラム |
| JP4819834B2 (ja) * | 2008-03-03 | 2011-11-24 | 株式会社エヌ・ティ・ティ・ドコモ | 立体映像処理装置及び立体映像処理方法 |
| KR100957129B1 (ko) * | 2008-06-12 | 2010-05-11 | 성영석 | 영상 변환 방법 및 장치 |
| US9843789B2 (en) | 2014-09-08 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Still-image extracting method and image processing device for implementing the same |
| JP2017049052A (ja) * | 2015-08-31 | 2017-03-09 | 日本ユニシス株式会社 | 対象物の３次元画像データを生成するためのシステム、方法、プログラム |
| JP7071088B2 (ja) * | 2017-10-24 | 2022-05-18 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法、及びプログラム |
| KR20230152661A (ko) * | 2021-03-03 | 2023-11-03 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
-
2000
- 2000-08-24 JP JP2000254024A patent/JP4578653B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002077941A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264509B (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| KR102135770B1 (ko) | 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 | |
| CN101630406B (zh) | 摄像机的标定方法及摄像机标定装置 | |
| KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
| KR101518531B1 (ko) | 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법 | |
| JP5153940B2 (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
| US8345961B2 (en) | Image stitching method and apparatus | |
| JP2874710B2 (ja) | 三次元位置計測装置 | |
| KR101804205B1 (ko) | 영상 처리 장치 및 방법 | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| WO2010061956A1 (en) | Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus | |
| CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
| KR20100109525A (ko) | 촬상 장치, 촬상 제어 방법, 및 기록 매체 | |
| JP2017220715A (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2018207252A (ja) | 画像処理システム、画像処理システムの制御方法、及び、プログラム | |
| KR20120046802A (ko) | 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| JP4578653B2 (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2008217593A (ja) | 被写体領域抽出装置及び被写体領域抽出プログラム | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| KR20110133677A (ko) | 3ｄ 영상 처리 장치 및 그 방법 | |
| CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
| WO2017166081A1 (zh) | 终端的图像配准方法、装置和终端 | |
| CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060802 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4578653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |