JPH1198533A - ２次元映像を３次元映像に変換する方法 - Google Patents

Abstract

(57)【要約】 【課題】 動きが微小な映像であっても立体感を出すこ
とができるようにする。 【解決手段】 すべての検出領域３４の動きベクトルを
ＣＰＵ３０に与える。ＣＰＵ３０では、動きがある検出
領域３４があるか、すべての動きベクトルの絶対値は１
画素以下か、外側領域３６に動きはないか、動きのある
すべての検出領域３４が隣接しているか、動きのある検
出領域３４の数は１０以下か、１２０フィールド内に動
きの方向が変わったかが判断される。これらのすべての
条件を充足すれば、動き領域３８すなわちキャスタが検
出される。動き領域３８と同等の領域をはみ出さない範
囲で動き領域３８の下部に位置する検出領域３４にまで
動き領域３８を拡張し、拡張された動き領域４０を設定
する。そして、拡張された動き領域４０を水平位相制御
を用いて飛び出させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は２次元映像を３次
元映像に変換する方法に関し、特にたとえば、２次元映
像における動きベクトルを検出する検出領域を２次元映
像を構成する画面内に複数個所設け、各検出領域で検出
された動きベクトルに応じて３次元映像を生成する、２
次元映像を３次元映像に変換する方法に関する。

【０００２】

【従来の技術】この種の従来技術では、背景が完全に静
止しており、中央付近で人物の顔が少し動いた場合（ニ
ュースや天気予報等のキャスタなど）には、背景判別が
不定になり、動きベクトルを平均した平均ベクトルは０
近くになる。

【０００３】

【発明が解決しようとする課題】従来では、このような
場合には、遅延による変換は行われず、したがって、立
体感のある映像が得られないという問題点があった。

【０００４】それゆえにこの発明の主たる目的は、動き
が微小な映像、とりわけ静止画像中にあり動き方向が一
定しない微小な動きの映像であっても立体感を出すこと
ができる、２次元映像を３次元映像に変換する方法を提
供することである。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の２次元映像を３次元映像に変換す
る方法は、２次元映像における動きベクトルを検出する
検出領域を２次元映像を構成する画面内に複数個所設
け、各検出領域で検出された動きベクトルに応じて３次
元映像を生成する、２次元映像を３次元映像に変換する
方法であって、微小な動きベクトルが存在する動き領域
を検出するステップ（ａ）、および動き領域について水
平位相制御するステップ（ｂ）を備える。

【０００６】請求項２に記載の２次元映像を３次元映像
に変換する方法は、請求項１に記載の２次元映像を３次
元映像に変換する方法において、ステップ（ａ）は、す
べての検出領域の中に動きのある検出領域があるかを判
断するステップ（ａー１）、すべての動きベクトルの絶
対値が所定値以下であるかを判断するステップ（ａー
２）、および動きのあるすべての検出領域が隣接してい
るかを判断するステップ（ａー３）を含み、ステップ
（ａー１）ないし（ａー３）のすべての条件を充足する
ときに動き領域を検出するものである。

【０００７】請求項３に記載の２次元映像を３次元映像
に変換する方法は、請求項２に記載の２次元映像を３次
元映像に変換する方法において、ステップ（ａ）は、検
出領域の中の外側領域に動きはないかを判断するステッ
プ（ａー４）をさらに含み、ステップ（ａー１）ないし
（ａー４）のすべての条件を充足するときに動き領域を
検出するものである。

【０００８】請求項４に記載の２次元映像を３次元映像
に変換する方法は、請求項２または３に記載の２次元映
像を３次元映像に変換する方法において、ステップ
（ａ）は、各検出領域の動きの方向が所定期間内に変わ
ったかを判断するステップ（ａー５）をさらに含み、ス
テップ（ａー１）ないし（ａー５）のすべての条件を充
足するときに動き領域を検出するものである。

【０００９】請求項５に記載の２次元映像を３次元映像
に変換する方法は、請求項２ないし４のいずれかに記載
の２次元映像を３次元映像に変換する方法において、ス
テップ（ａ）は、動きのある検出領域の数が所定数以下
であるかを判断するステップ（ａー６）をさらに含み、
ステップ（ａー１）ないし（ａー６）のすべての条件を
充足するときに動き領域を検出するものである。

【００１０】請求項６に記載の２次元映像を３次元映像
に変換する方法は、請求項１ないし５のいずれかに記載
の２次元映像を３次元映像に変換する方法において、ス
テップ（ａ）において動き領域を検出した後、動き領域
の下部に位置する検出領域にまで動き領域を拡張し、拡
張された動き領域を設定するステップ（ｃ）をさらに含
み、その後、ステップ（ｂ）において、拡張された動き
領域について水平位相制御するものである。

【００１１】請求項７に記載の２次元映像を３次元映像
に変換する方法は、請求項６に記載の２次元映像を３次
元映像に変換する方法において、ステップ（ｃ）は、動
き領域と同等の領域をはみ出さない範囲で動き領域を拡
張し、拡張された動き領域を設定するものである。

【００１２】請求項１に記載の２次元映像を３次元映像
に変換する方法では、まず、動き領域が検出される（ス
テップ（ａ））。このとき、たとえば、請求項２に記載
するように、すべての検出領域の中に動きのある検出領
域があるか（ステップ（ａー１））、すべての動きベク
トルの絶対値が所定値以下であるか（ステップ（ａー
２））、動きのあるすべての検出領域が隣接しているか
（ステップ（ａー３））が判断される。

【００１３】ステップ（ａー１）では、画面内に動く被
写体があるか否かが判断され、ステップ（ａー２）で
は、被写体の動きは微小か否かが判断され、ステップ
（ａー３）では、動いている被写体は同一物か否かが判
断される。

【００１４】ステップ（ａー１）ないし（ａー３）のす
べての条件を充足すれば、動きのある一群の検出領域が
動き領域として検出される。

【００１５】請求項３に記載するように、ステップ
（ａ）において、さらに、検出領域の中の外側領域に動
きはないかが判断されてもよい（ステップ（ａー
４））。たとえばキャスタなどは、通常、画面の外側で
はなく中央付近に映出されるので、外側領域の動きベク
トルが０でなく外側領域に動きがある場合を除外するの
である。

【００１６】したがって、さらにステップ（ａー４）の
条件を充足すれば、外側領域には動く被写体はないと判
断され、中央付近に存在しかつ動きのある一群の検出領
域が、動き領域として検出される。

【００１７】請求項４に記載するように、ステップ
（ａ）において、さらに、各検出領域の動きの方向が所
定期間内に変わったかが判断されてもよい（ステップ
（ａー５））。たとえばキャスタなどは、通常、一定方
向にだけ継続するような動きを行わず左右両方向に動く
ので、一定方向にだけ継続するような動きがある場合を
除外するのである。

【００１８】したがって、さらにステップ（ａー５）の
条件を充足すれば、被写体は左右両方向に動くと判断さ
れて、中央付近に存在しかつ左右両方向の動きがある一
群の検出領域が、動き領域として検出される。

【００１９】請求項５に記載するように、ステップ
（ａ）において、さらに、動きのある検出領域の数が所
定数以下であるかが判断されてもよい（ステップ（ａー
６））。たとえばキャスタなどは、通常、画面全体に映
出されるのではなく、画面内にほぼ所定の大きさで映出
されるので、動きのある検出領域が所定数以上ある場合
を除外するのである。

【００２０】したがって、さらにステップ（ａー６）の
条件を充足すれば、被写体は画面内にほぼ所定の大きさ
で映出されていると判断されて、中央付近に所定の大き
さで存在しかつ左右両方向の動きがある一群の検出領域
が、動き領域として検出される。

【００２１】請求項６に記載するように、動き領域はそ
の下部に位置する検出領域にまで拡張されてもよい（ス
テップ（ｃ））。たとえばキャスタなどは、通常、発言
中には顔を動かすので、動く被写体が人物ならば、上述
のステップにおいて検出されるのは、人物の顔であると
考えられる。したがって、人物全体を検出するために、
すなわち、顔と胴体とを検出するために、動き領域の下
部に位置する検出領域にまで動き領域が拡張され、拡張
された動き領域が設定されるのである。

【００２２】請求項７に記載するように、ステップ
（ｃ）において、動き領域と同等の領域をはみ出さない
範囲で動き領域が拡張されるようにしてもよい。たとえ
ばキャスタなどは、通常、画面内では顔と上半身とが映
出され、その割合は１：１程度である場合が多いので、
人物と考えられる領域にまで動き領域が拡張され、拡張
された動き領域が設定されるのである。

【００２３】そして、請求項１ないし５のいずれかに記
載の２次元映像を３次元映像に変換する方法では、それ
ぞれ、検出された動き領域について水平位相制御し（ス
テップ（ｂ））、動き領域の映像を飛び出させる。請求
項６または７に記載の２次元映像を３次元映像に変換す
る方法では、それぞれ、拡張された動き領域について水
平位相制御し（ステップ（ｂ））、拡張された動き領域
の映像を飛び出させる。

【００２４】

【発明の実施の形態】以下、この発明の実施の形態につ
いて、図面を参照して説明する。

【００２５】図１に、この発明の２次元映像を３次元映
像に変換する方法が使用される３次元映像ソフト変換シ
ステム１０の要部概略ブロック図を示す。

【００２６】３次元映像ソフト変換システム１０では、
入力端子１２に２次元映像を表示するための通常の２次
元映像信号が入力される。入力端子１２から入力された
２次元映像信号は、映像切換回路１４およびフィールド
メモリ１６に供給される。

【００２７】フィールドメモリ１６は入力された２次元
映像信号を所定フィールドだけ遅延して出力し、映像切
換回路１４に供給する。フィールドメモリ１６の遅延量
はメモリ制御回路１８により１フィールド単位で可変制
御される。

【００２８】映像切換回路１４の出力側は、位相制御回
路２０および２２を介して、それぞれ左目用映像信号Ｌ
を出力する出力端子２４および右目用映像信号Ｒを出力
する出力端子２６に接続される。映像切換回路１４は、
被写体の動きの方向に応じて出力状態が切り換わるよう
に制御される。

【００２９】位相制御回路２０および２２は、被写体の
飛び出し位置を調節するために、それぞれ、左目用映像
信号Ｌおよび右目用映像信号Ｒを水平位相制御して、出
力する。

【００３０】また、入力端子１２から入力された２次元
映像信号は、動きベクトル検出回路２８に供給される。
動きベクトル検出回路２８では、フィールド間の動き、
すなわち２次元映像信号によって映し出されている被写
体の移動量（移動速度）に応じた動きベクトルが検出さ
れ、検出された動きベクトルがＣＰＵ３０に供給され
る。

【００３１】なお、動きベクトルとは、画面３２内のあ
る検出領域３４（ともに後述）において、前フィールド
の代表点の画像信号と現フィールドの画像信号との相関
を取ることによって、前フィールドの代表点が現フィー
ルドのどこに動いたかを表すベクトルである。このよう
な動きベクトルの検出方法を代表点マッチング法とい
う。

【００３２】ＣＰＵ３０は、動きベクトル検出回路２８
で検出された動きベクトルのうち左右方向である水平成
分（以下、この水平成分を単に「動きベクトル」とい
う）を抽出し、これに応じてメモり制御回路１８を制御
する。すなわち、被写体の動きが大きく、動きベクトル
が大きい場合、フィールドメモリ１６の遅延量が少なく
なるように制御し、被写体の動きが小さいか、あるいは
スローモーション再生時のように動きベクトルが小さい
場合、遅延量が多くなるように制御する。

【００３３】さらに、ＣＰＵ３０は動きベクトルの方向
が左から右の場合、その動きベクトルが検出された被写
体が背景の前方に位置する被写体であると判断すると、
遅延された映像信号を右目用映像信号Ｒとし、また、動
きベクトルが検出された被写体が他の被写体の後方に位
置する背景であると判断すると、遅延された映像信号を
左目用映像信号Ｌとする。また、ＣＰＵ３０は、動きベ
クトルの方向が右から左の場合、その動きベクトルが検
出された被写体が背景の前方に位置する被写体であると
判断すると、遅延された映像信号を左目用映像信号Ｌと
し、また、動きベクトルが検出された被写体が他の被写
体の後方に位置する背景であると判断すると、遅延され
た映像信号を右目用映像信号Ｒとするように映像切換回
路１４を制御する。

【００３４】また、ＣＰＵ３０は、被写体の飛び出し位
置を調節するために、水平位相量を決定し、その水平位
相量に応じて位相制御回路２０および２２は、それぞれ
左目用映像信号Ｌおよび右目用映像信号Ｒを水平位相制
御する。

【００３５】そして、出力端子２４および２６からそれ
ぞれ出力される左目用映像信号Ｌおよび右目用映像信号
Ｒを、たとえばレンチキュラレンズ方式等の３次元映像
表示ディスプレイに供給することにより、観察者は立体
感のある３次元映像を鑑賞することができる。

【００３６】このような３次元映像ソフト変換システム
１０のキャスタ検出動作を、図２を参照して説明する。
前提として、画面３２内に、（縦）６×（横）８＝４８
個の検出領域３４が形成されているとする。

【００３７】キャスタ検出動作が開始されると、まず、
動きベクトル検出回路２８によって検出されたすべての
検出領域３４の動きベクトルがＣＰＵ３０へ入力される
（ステップＳ１）。

【００３８】ＣＰＵ３０では、入力された動きベクトル
に基づいて、以下のような処理が行われる。なお、動き
ベクトルが０より大きければ、動きがあると判断し、動
きベクトルが０であれば、動きはないと判断する。

【００３９】まず、すべての検出領域３４の中で動きの
ある検出領域３４があるか否かが判断される（ステップ
Ｓ３）。これによって、画面３２内に動く映出体がある
か否かが判断される。動きのある検出領域３４があれ
ば、すべての動きベクトルの絶対値が１画素以下か否か
が判断される（ステップＳ５）。これによって、被写体
の動きは微小か否かが判断される。すべての動きベクト
ルの絶対値が１画素以下であれば、外側領域３６（図３
において斜線で示す）に動きがないか否かが判断される
（ステップＳ７）。たとえばキャスタなどは、通常、画
面３２の外側ではなく中央付近に映出されるので、外側
領域３６の動きベクトルが０でなく外側領域３６に動き
がある場合を除外するのである。

【００４０】外側領域３６に動きがなければ、動きのあ
るすべての検出領域３４が隣接しているか否かが判断さ
れる（ステップＳ９）。これによって、動いている被写
体は同一物か否かが判断される。動きのあるすべての検
出領域３４が隣接していれば、動きのある検出領域３４
の数は１０以下か否かが判断される（ステップＳ１
１）。たとえばキャスタなどは、通常、画面３２全体に
映出されるのではなく、画面３２内にほぼ所定の大きさ
で映出されるので、動きのある検出領域３４が所定数以
上ある場合を除外するのである。

【００４１】動きのある検出領域３４の数が１０以下で
あれば、各検出領域３４の動きの方向が記録されて、履
歴が追加され（ステップＳ１３）、１２０フィールド内
に動きの方向が変わったか否かが判断される（ステップ
Ｓ１５）。たとえばキャスタなどは、通常、一定方向に
だけ継続するような動きを行わず左右両方向に動くの
で、一定方向にだけ継続するような動きがある場合を除
外するのである。

【００４２】１２０フィールド内に動きの方向が変われ
ば、動き領域３８（後述）が検出され、キャスタが検出
されたとする（ステップＳ１７）。すなわち、中央付近
に所定の大きさで存在しかつ左右両方向の動きがある一
群の検出領域３４にキャスタが検出される。

【００４３】そして、動き領域３８と同等の領域をはみ
出さない範囲で、動き領域３８の下部に位置する検出領
域３４にまで動き領域３８が拡張され、拡張された動き
領域４０（後述）が設定される（ステップＳ１９）。た
とえばキャスタなどは、通常、発言中には顔を動かすの
で、動く被写体が人物ならば、上述のステップにおいて
検出されるのは、人物の顔であると考えられる。したが
って、人物全体を検出するために、すなわち、顔と胴体
とを検出するために、動き領域３８の下部に位置する検
出領域３４にまで動き領域３８を拡張し、拡張された動
き領域４０を設定するのである。さらに、キャスタなど
は、通常、画面３２内では顔と上半身とが映出され、そ
の割合は１：１程度である場合が多いので、動き領域３
８と同等の領域をはみ出さない範囲で、動き領域３８を
拡張し、拡張された動き領域４０を設定するのである。

【００４４】そして、拡張された動き領域４０を水平位
相制御を用いて飛び出させる。すなわち、拡張された動
き領域４０に含まれる左目用映像信号Ｌおよび右目用映
像信号Ｒを、それぞれ、位相制御回路２０および２２に
よって水平位相制御して、拡張された動き領域４０を飛
び出させる（ステップＳ２１）。そして、終了する。

【００４５】一方、ステップＳ３、Ｓ５、Ｓ７、Ｓ９、
Ｓ１１、Ｓ１５のいずれかがＮＯであれば、キャスタは
検出されないとして（ステップＳ２３）、動きの方向の
記録すなわち履歴がクリアされ（ステップＳ２５）、終
了する。

【００４６】さらに、図３を参照して、３次元映像ソフ
ト変換システム１０の具体的なキャスタ検出動作を説明
する。

【００４７】図３（ａ）に示すように、画面３２には、
（縦）６×（横）８＝４８個の検出領域３４が形成さ
れ、静止画像の中でキャスタの顔の微小な動きを検出す
る場合について説明する。前提として、キャスタの顔の
動きベクトルの絶対値は１画素以下であり、１２０フィ
ールド内に動きの方向が変わったとする。

【００４８】この場合には、図３（ｂ）に示す６個の検
出領域３４が、図２のステップＳ３〜Ｓ１１、およびス
テップＳ１５の条件を充足する。したがって、ステップ
Ｓ１７において、これらの６個の検出領域３４が、上述
の判定条件によりキャスタと思われる部分すなわち動き
領域３８として抽出され、キャスタの存在が検出され
る。

【００４９】そして、ステップＳ１９において、動き領
域３８が拡張され、拡張された動き領域４０が設定され
ることによって、図３（ｃ）に示すように、キャスタ全
体が予測される。

【００５０】その後、ステップＳ２１において、図３
（ｄ）に示すように、拡張された動きベクトル４０、す
なわちキャスタの部分を水平位相制御で飛び出させる。

【００５１】３次元映像ソフト変換システム１０をこの
ように動作させることによって、中央付近に微小かつ一
定方向に継続しない動きがありその他の領域は完全に静
止していると判断された場合には、微小動きの部分とそ
の下部を人体であるとみなして部分的に水平位相制御で
飛び出させることができる。

【００５２】したがって、たとえば、ニュースや天気予
報等のキャスタが解説する映像において、立体感がなく
なるのを防ぐことができる。

【００５３】なお、図２に示す動作におけるステップＳ
５、Ｓ１１、Ｓ１５における閾値は一例であり、これら
の値に限定されないことはいうまでもない。たとえば、
ステップＳ５における動きベクトルの絶対値は０．５画
素以下か、ステップＳ１１における動きのある検出領域
３４の数は５以下か、ステップＳ１５における一定方向
動き時間は１８０フィールド内か、にそれぞれ設定され
てもよい。

【発明の効果】この発明によれば、動きが微小な映像、
とりわけ静止画像中にあり、動き方向が一定しない微小
な動きの映像であっても立体感のある３次元映像を生成
できる。

【図面の簡単な説明】

【図１】この発明の２次元映像を３次元映像に変換する
方法が使用される３次元映像ソフト変換システムを示す
要部概要ブロック図である。

【図２】この発明の動作の一例を示すフロー図である。

【図３】この発明の動作を具体的に説明するための図解
図である。

【符号の説明】

１０ ３次元映像ソフト変換システム １４ 映像切換回路 １６ フィールドメモリ １８ メモリ制御回路 ２０、２２ 位相制御回路 ２８ 動きベクトル検出回路 ３０ ＣＰＵ ３２ 画面 ３４ 検出領域 ３６ 外側領域 ３８ 動き領域 ４０ 拡張された動き領域

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ２次元映像における動きベクトルを検出
   する検出領域を前記２次元映像を構成する画面内に複数
   個所設け、前記各検出領域で検出された動きベクトルに
   応じて３次元映像を生成する、２次元映像を３次元映像
   に変換する方法であって、 微小な動きベクトルが存在する動き領域を検出するステ
   ップ（ａ）、および前記動き領域について水平位相制御
   するステップ（ｂ）を備える、２次元映像を３次元映像
   に変換する方法。
2. 【請求項２】 前記ステップ（ａ）は、前記すべての検
   出領域の中に動きのある検出領域があるかを判断するス
   テップ（ａー１）、すべての動きベクトルの絶対値が所
   定値以下であるかを判断するステップ（ａー２）、およ
   び動きのあるすべての検出領域が隣接しているかを判断
   するステップ（ａー３）を含み、前記ステップ（ａー
   １）ないし（ａー３）のすべての条件を充足するときに
   前記動き領域を検出する、請求項１に記載の２次元映像
   を３次元映像に変換する方法。
3. 【請求項３】 前記ステップ（ａ）は、前記検出領域の
   中の外側領域に動きはないかを判断するステップ（ａー
   ４）をさらに含み、前記ステップ（ａー１）ないし（ａ
   ー４）のすべての条件を充足するときに前記動き領域を
   検出する、請求項２に記載の２次元映像を３次元映像に
   変換する方法。
4. 【請求項４】 前記ステップ（ａ）は、前記各検出領域
   の動きの方向が所定期間内に変わったかを判断するステ
   ップ（ａー５）をさらに含み、前記ステップ（ａー１）
   ないし（ａー５）のすべての条件を充足するときに前記
   動き領域を検出する、請求項２または３に記載の２次元
   映像を３次元映像に変換する方法。
5. 【請求項５】 前記ステップ（ａ）は、動きのある検出
   領域の数が所定数以下であるかを判断するステップ（ａ
   ー６）をさらに含み、前記ステップ（ａー１）ないし
   （ａー６）のすべての条件を充足するときに前記動き領
   域を検出する、請求項２ないし４のいずれかに記載の２
   次元映像を３次元映像に変換する方法。
6. 【請求項６】 前記ステップ（ａ）において前記動き領
   域を検出した後、前記動き領域の下部に位置する検出領
   域にまで前記動き領域を拡張し、拡張された動き領域を
   設定するステップ（ｃ）をさらに含み、 その後、前記ステップ（ｂ）において、前記拡張された
   動き領域について水平位相制御する、請求項１ないし５
   のいずれかに記載の２次元映像を３次元映像に変換する
   方法。
7. 【請求項７】 前記ステップ（ｃ）は、前記動き領域と
   同等の領域をはみ出さない範囲で前記動き領域を拡張
   し、前記拡張された動き領域を設定する、請求項６に記
   載の２次元映像を３次元映像に変換する方法。