JP3992607B2

JP3992607B2 - 距離画像生成装置および方法並びにそのためのプログラムおよび記録媒体

Info

Publication number: JP3992607B2
Application number: JP2002370109A
Authority: JP
Inventors: 康雄石榑; 一夫木村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2007-10-17
Anticipated expiration: 2022-12-20
Also published as: JP2004201204A

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元動画像中の動き情報を元に距離画像を生成する装置並びにそのためのプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
２次元動画像を用いてステレオ表示する方法に、片眼の画像を被写体の動きベクトルの大きさに依存してフレーム単位で遅延させることにより、立体視させる方法が提案されている（特許文献１）。この方法は簡便なステレオ表示が可能であるが、距離情報を生成できない。また、距離情報を生成するためには、ステレオ画像間の対応点マッチングが必要となり、計算量が増加する欠点がある。
【０００３】
また、画像処理の分野では、２次元動画像中の物体の動きベクトルから計算により３次元構造を再構成する方法も検討されている（例えば、非特許文献１）。しかし、この方法は、物体の３次元的な動き情報（オプティカルフロー）を画像上の各点で正確に求める必要があり、自然画像のような静止している領域が遠景にも前景にも存在するような場合には、適用が困難である。
【０００４】
また、奥行き位置の異なった２面の像の各々の輝度比のみを変化させることにより奥行きを連続的に表現できる新たな原理に基づく３次元表示方式［Depth-Fused 3-D（DFD）方式］が提案されている（非特許文献２）。この表示方式の表示装置は、観察者から見て奥行き方法に重なり合う２面のディスプレイ面を備える。表示したい３次元像をそれぞれのディスプレイ面に観察者の位置から見て重なり合うような投影像として表示し、３次元像の奥行き位置に応じて２面間の像の輝度比を変化させる。すなわち、表示したい３次元像が観察者に近い場合には前面の輝度を高くし、後面の輝度を低くする。観察者から遠い場合には、前面の輝度を低くし、後面の輝度を高くする。また、奥行き方向に連続的な像では連続的な輝度を付加する。その結果、観察者は奥行き方向が連続的な３次元像を知覚することができる。
【０００５】
【特許文献１】
特許第２５９４２３５号明細書
【非特許文献１】
尾上守夫編、「画像処理ハンドブック」、昭晃堂、１９８７年６月８日、ｐ．３８２
【非特許文献２】
高田英明、陶山史朗、大塚作一、上平員丈、酒井重信、「新方式メガネなし３次元ディスプレイ」、３次元画像コンファレンス２０００講演論文集、４−５、ｐｐ．９９−１０２（２０００）
【０００６】
【発明が解決しようとする課題】
現在、２次元動画像からステレオ画像や距離画像を生成する方法について、上記のような方法が検討されているが、簡便に距離情報を出力していないため、距離情報を必要とする３Ｄ表示装置（例えば、非特許文献２）に出力することができない。また、２次元動画像を元に距離情報を取得して、その情報をＣＧ等の手法を用いて加工することができない。そのため、２次元動画像から距離画像を生成することを目的とする。
【０００７】
【課題を解決するための手段】
動画像圧縮（ＭＰＥＧ）などに用いられる動きベクトル検出機能を使用して、２次元動画像の距離情報を生成する。例えば、アニメ画像のように、複数枚のセル画、またはこれに相当する画像の重ね合わせから生成された動画については、複数の奥行きレベル（例えば、前景と背景の２レベル）に分割し、その後、より立体的に表示するための画像処理（例えば、前景には丸みを持たせ、背景は前景の奥の距離情報を持たせるなど）を行うことで、画面全体の距離情報（距離画像）を生成する。
【０００８】
【発明の実施の形態】
動画像の圧縮を行う場合、各フレームを静止画として圧縮することも可能であるが、例えば代表的な動画圧縮方式であるＭＰＥＧ（http://mpeg.telecomitalialab.com/）のように、各フレーム間の動きベクトル情報を用いることはデータ量の削減に有効である。さらに、本実施例で示すように、この動きベクトル情報を元に距離情報を生成できれば、３Ｄの表示や加工においても効果的である。
【０００９】
ここでは、簡単のため、アニメ画像のように背景と前景の２面で構成される２次元動画像について説明する。図１は距離画像生成装置の構成図である。同図において、距離画像生成装置１０は、動きベクトル検出部１、動きベクトル処理部２、移動物体抽出部３、距離データ生成部４、距離画像生成部５を備える。２次元動画像６が距離画像生成装置１０に入力されると、動きベクトル検出部１、動きベクトル処理部２、移動物体抽出部３、距離データ生成部４、距離画像生成部５で順次処理され、距離画像７が出力される。
【００１０】
前記の通り、この装置の入力は２次元動画像であり、出力は距離画像である。この装置の動作原理を図２に示す。本原理は撮影対象が移動することを前提とする。図３に本実施例のフローチャートを示す。
【００１１】
図２（ａ）が距離画像生成装置１０の動きベクトル検出部１に入力される２次元動画像６であり、この例では顔が右方向へ移動している２次元動画像である。まず、動きベクトル検出部１で図２（ｂ）に示すように動きベクトルの検出を行う（図３のＳ１）。これは上記の通り、ＭＰＥＧ等で汎用的に使用されている方法で行うことができる。動きベクトルは撮影画像中のエッジ部は正確に検出されるが、移動物体の面内のように比較的均一な画像については特徴量が不足するため、検出精度が低下する可能性がある。これを回避するため、動きベクトル処理部２において、図２（ｃ）に示すように、移動物体抽出の為の前処理を行う（Ｓ２）。これは、比較的大きい動きベクトルで囲まれた領域を補間するなどの方法で実現できる。具体的には、動きベクトルの値に関して、２次元平滑化フィルタをかけることにより、移動物体の領域にある程度の値を持たせることができるので、その後の移動物体の抽出が容易となる。この前処理は、さまざまな方法で実現可能であり、動きベクトルのみでなく、２次元動画像の対象フレームの色情報を用いることも有効である。
【００１２】
その後、移動物体抽出部３において、図２（ｄ）に示すように、動きベクトルの大きさの閾値処理等を行うことで、移動物体の抽出を行う（Ｓ３）。この移動物体が背景（移動物体以外）に対して手前に存在するという仮定を設けることで、通常の風景撮影時における距離画像の生成が可能となる。移動物体は実際には平面ではない可能性が高いので、距離データ生成部４において、図２（ｅ）に示すように、距離データの生成を行う（Ｓ４）。ここでは、移動物体については、例えば、物体の重心座標を求め、この重心から移動物体中の各点までの距離を変数とした関数として、球形の距離データを付すことなどの方法で、移動物体に丸みを持たせることが実現可能である。また、図４（Ａ）に示すように、移動物体（前景）の重心と境界を検出し、背景の奥行き値をｍｉｎ、移動物体（前景）の重心の奥行き値をｍａｘとして、移動物体の境界でｍｉｎ、重心でｍａｘを通る２次関数で置換してもよい。このような簡便な処理によって擬似的な奥行き値を与えることにより、計測を行うことなく丸みを持たせた３次元画像が作成可能になる。また、図４（Ｂ）のように、重心を中心とした例えば３０％の長さまでをｍａｘとしそこから移動物体（前景）の境界までを２次曲面で補間する方法などがある。また、物体の厚みを任意に指定できるようにするなどの設定も可能である。さらに、この距離データを画像として出力する方が距離情報の可視化の点で扱いやすいので、距離画像生成部５において、図２（ｆ）に示すように、距離データを画像、すなわち、ある階調数（通常２５６階調）を持った距離画像（濃淡画像）７に変換する（Ｓ５）。
【００１３】
以上により、２次元動画像の動き情報に基づき、距離画像の生成が可能となる。
【００１４】
本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通じて提供することも可能である。
【００１５】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００１６】
【発明の効果】
動画圧縮等に用いる動きベクトルを大まかな距離情報として利用し、画像処理を行うことで、簡便に安価な構成で、ある程度自然に見える距離画像を生成可能である。また、ＭＰＥＧを使用したような場合は、エンコーダ側には変更を加える必要がなく、デコーダ側の処理の変更のみで実現可能である。
【図面の簡単な説明】
【図１】本発明の実施例の距離画像生成装置の構成図である。
【図２】本発明の実施例の距離画像生成装置の動作原理を示す図である。
【図３】本発明の実施例のフローチャートである。
【図４】距離データの例を示す図である。
【符号の説明】
１…動きベクトル検出部、２…動きベクトル処理部、３…移動物体抽出部、４…距離データ生成部、５…距離画像生成部、６…２次元動画像、７…距離画像、１０…距離画像生成装置、２０，３０…距離データの例

Claims

２次元動画像中の動き情報を元に距離画像を生成する装置であって、
前記２次元動画像から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された動きベクトルに対して、補間処理を行う動きベクトル処理手段と、
前記動きベクトル処理手段によって処理された動きベクトルに対して、動きベクトルの大きさの閾値処理を行うことにより移動物体を抽出する移動物体抽出手段と、
前記移動物体抽出手段で抽出された移動物体の重心座標を求め、重心から移動物体中の各点までの距離を変数とした関数を用いて、移動体中の各点に奥行き値を与えて距離データの生成を行う距離データ生成手段と、
前記距離データ生成手段により決定された距離データを距離画像に変換する距離画像生成手段と
を備えることを特徴とする距離画像生成装置。
２次元動画像中の動き情報を元に距離画像を生成する装置であって、
前記２次元動画像から動きベクトルを検出する動きベクトル検出過程と、
前記動きベクトル検出過程で検出された動きベクトルに対して、補間処理を行う動きベクトル処理過程と、
前記動きベクトル処理過程によって処理された動きベクトルに対して、動きベクトルの大きさの閾値処理を行うことにより移動物体を抽出する移動物体抽出過程と、
前記移動物体抽出過程で抽出された移動物体の重心座標を求め、重心から移動物体中の各点までの距離を変数とした関数を用いて、移動体中の各点に奥行き値を与えて距離データの生成を行う距離データ生成過程と、
前記距離データ生成過程により決定された距離データを距離画像に変換する距離画像生成過程と
を備えることを特徴とする距離画像生成方法。
２次元動画像中の動き情報を元に距離画像を生成するプログラムであって、コンピュータを、
前記２次元動画像から動きベクトルを検出する動きベクトル検出手段、
前記動きベクトル検出手段で検出された動きベクトルに対して、補間処理を行う動きベクトル処理手段、
前記動きベクトル処理手段によって処理された動きベクトルに対して、動きベクトルの大きさの閾値処理を行うことにより移動物体を抽出する移動物体抽出手段、および、
前記移動物体抽出手段で抽出された移動物体の重心座標を求め、重心から移動物体中の各点までの距離を変数とした関数を用いて、移動体中の各点に奥行き値を与えて距離データの生成を行う距離データ生成手段、
前記距離データ生成手段により決定された距離データを距離画像に変換する距離画像生成手段
として機能させるための距離画像生成プログラム。
請求項３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。