JPH0898210A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明はレターボックス映像に対しても正確
に動きベクトルの検出を行うことを目的とする。 【構成】 入力端子８に入力される映像信号に基づき複
数の検出ブロック毎に動きベクトルが検出される。一
方、前記映像信号の一部は映像判別回路１６に供給され
る。この映像判別回路１６は黒レベル領域と映像領域の
境界を判別し、境界を垂直アドレスとしてマイクロコン
ピュータ１４に供給する。マイクロコンピュータ１４は
前記垂直アドレスに基ずいて黒レベル領域と検出ブロッ
クが重ならないように検出ブロックの位置を変更する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は２次元画像から視差を有
する３次元画像に変換する３次元画像変換装置等に用い
て好適な動きベクトル検出装置に関する。

【０００２】

【従来の技術】従来、左右の視差を有する３次元画像を
得るには、専用の立体撮像装置で撮像して得た２チャン
ネルの立体画像信号（３次元画像信号）を立体ＶＴＲ等
で記録し、これを再生して専用の３次元ディスプレイ等
で再生する必要があった。

【０００３】従って、この方式によれば、既存の２次元
画像ソフトを使用することができず新たに３次元画像ソ
フトを製作する必要があったため立体画像再生システム
のコストアップの原因となっていた。

【０００４】このため、本願出願人は、先に、特願平６
−１０５８３号にて、２次元画像を画像の動きに応じて
遅延させ、例えば、元の信号を右目用画像、遅延画像を
左目画像とすることにより、水平方向に動きのある画像
に対しては視差を有する３次元画像が得られる方法を提
案している。

【０００５】まず、この方法の原理について説明する。
図４Ａのように背景は変化せず被写体が左から右へ移動
する映像シ−ンにおいて、同図Ｂのように再生された右
目映像と左目映像との間に一定の時間差を設けた場合、
被写体の動きの分だけ位置が異なり、これが同図Ｃのよ
うに視差となり立体視が可能となる。尚、図４Ｂ及びＣ
の数字はフィールド番号を表している。

【０００６】次に、この原理に基づいた３次元画像変換
装置を図５に従い説明する。入力端子１には２次元映像
信号が入力される。この２次元映像信号の一方は映像切
換え回路２に供給される。

【０００７】また、２次元映像信号の他方はフィールド
メモリ５に供給される。このフィールドメモリ５はメモ
リ制御回路６により遅延量０から最大６０フィールド
（ＮＴＳＣ方式で約１秒）までの範囲でフィールド単位
で可変制御される。

【０００８】そして、このフィールドメモリ出力は前記
映像切換え回路２に供給される。この映像切換え回路２
出力はそれぞれ左目映像信号Ｌを出力する出力端子３及
び右目映像信号Ｒを出力する出力端子４に接続されてお
り、被写体の動きの方向に応じて出力状態が切り替わる
様に制御される。

【０００９】２次元映像信号の更に他方は、動きベクト
ル検出回路７に供給され、フィールド間の動きに応じた
動きベクトルが検出された後、ＣＰＵ８に供給される。
このＣＰＵ８は前記動きベクトルのうち水平成分を抽出
しこれに応じてメモリ制御回路６を制御する。即ち、被
写体の動きが大きく動きベクトルが大きい場合、フィー
ルドメモリ５の遅延量が少なくなるよう制御し、被写体
の動きが小さいか、あるいはスローモション再生時のよ
うに動きベクトルが小さい場合、遅延量が多くなるよう
に制御される。

【００１０】更に、ＣＰＵ８は動きベクトルの方向が左
から右の場合は２次元映像信号を左目映像信号とし、逆
の場合は遅延させた２次元映像信号を左目映像信号とす
るように映像切換え回路２を制御する。

【００１１】従って、２次元映像信号において被写体が
水平方向に移動するようなシーンについては動きの速さ
に応じた視差が発生する。そして、この出力端子３、４
からの左右映像信号は例えば、特開平３−６５９４３号
に記載のようなレンチキュラー方式のメガネ無しディス
プレイに供給すれば、２次元映像信号であっても部分的
に立体感のある立体画像が疑似的に再現できる。

【００１２】上記３次元画像変換装置に必要な動きベク
トル検出には、ビデオカメラの手ぶれ補正装置に使用さ
れている代表点マッチング法を用いることができる。こ
の代表点マッチング法については例えば、National Tec
hnical Report Vol.37 No.3Jun.1991のＰ４８〜５４に
示されており、以下に説明する。

【００１３】この代表点マッチング法とは、固定の複数
の代表点における１フィールド（あるいは１フレーム）
前の映像信号レベルと代表点を含む検出エリア内のサン
プリング点の映像信号レベルとを比較し、その差がもっ
とも少ない相関性の高い現フィールドのサンプリング点
を求め、このサンプリング点と代表点との位置の差（偏
移）を被写体の動き、即ち、動きベクトルとして特定す
るものである。

【００１４】次にこの代表点マッチング法を具体的に説
明する。図６は有効画面を示し、この有効画面内には１
２個の検出ブロックが設定されている。更に、各検出ブ
ロックは１５個の検出エリアに分割されている。そし
て、図７に拡大して示す様に各検出エリアには複数のサ
ンプリング点が存在し、その中のほぼ中央の一つが代表
点として定められている。

【００１５】図８に代表点マッチング法による動きベク
トル検出装置のブロック図を示す。入力端子８に入力さ
れるデジタル映像信号は代表点メモリ９及び相関値演算
回路１０に供給される。この代表点メモリ９には各代表
点の輝度レベルに応じたデジタルデータが保存される。
相関値演算回路１０では現フレームの映像信号の輝度レ
ベルに応じたデジタルデータと前記代表点メモリ９から
の１フレーム（或るいは１フィールド）前のデジタルデ
ータとの差の絶対値、即ち代表点と検出エリア内におけ
る代表点に対して偏移したサンプリング点との輝度の相
関値が演算される。この相関値は相関値メモリ及び加算
器を含む累積加算回路１１において、検出ブロック内の
代表点に対して同一偏移を有するサンプリング点毎に累
積加算される。この累積加算は各検出ブロック毎に行わ
れる。

【００１６】累積加算回路出力は最小値検出回路１２及
び平均値算出回路１３に供給される。最小値検出回路１
２は相関累積値が最小のサンプリング点の位置及びその
最小値を検出する。また、平均値算出回路１３は相関累
積値の平均を算出する。そして、求められた最小位置、
最小値及び平均値はマイクロコンピュータ１４に供給さ
れる。このマイクロコンピュータ１４は、そのソフトウ
ェア処理により、まず、各検出ブロック毎に最小位置に
基づいて動きベクトルを抽出する。次に、この動きベク
トルの内、最小値／平均値が所定の閾値より小さいもの
を信頼度の低いものとして除去し、残りのものから１個
の動きベクトルを特定する。尚、代表点メモリ９、累積
加算回路１１及び平均値算出回路１３は制御回路１５に
よりアドレス及びタイミング等が制御され、代表点の位
置及び検出エリアが設定される。

【００１７】上述の動きベクトル検出装置を３次元画像
変換装置に使用する場合は、有効画面全体にわたって、
動きベクトルを検出する必要から、検出ブロックを有効
画面全体にわたって多数配置している。

【００１８】しかしながら、映画等の映像ソフトにおい
ては、ＮＴＳＣ方式とはアスペクト比が異なる図９によ
うな横長のいわゆるレターボックス映像がある。このレ
ターボックス映像では上下に映像が存在しない黒レベル
領域Ｂが現れる。このため、この黒レベル領域Ｂと検出
ブロックが重なると、この検出ブロックからは正確な動
きベクトルの検出ができないという欠点があった。

【００１９】

【発明が解決しようとする課題】本発明は、上述の点に
鑑みなされたものであり、入力映像ソフトがレターボッ
クス映像であっても、正確に動きベクトルの検出が行え
る動きベクトル検出装置を提供するものである。

【００２０】

【課題を解決するための手段】本発明は、画面中に複数
の検出領域を設け、この各検出領域について、所定の変
移における相関値を演算する相関値演算手段と、前記相
関値に基づいて前記各検出領域毎に動きベクトルを求め
る手段と、この動きベクトルから画面全体の動きベクト
ルを特定する動きベクトル特定手段とからなる動きベク
トル検出装置において、入力映像信号の黒レベル領域を
判別する映像判別手段と、この手段の出力により前記検
出領域を変更する検出領域変更手段とを設けてなる動き
ベクトル検出装置である。

【００２１】また、前記映像判別手段は、映像信号の輝
度レベルに基づいて前記黒レベル領域を判別する。ま
た、前記映像判別手段は、前記各検出領域における相関
値の信頼性に基づき黒レベル領域を判別する。

【００２２】

【作用】本発明によれば、映像判別手段は、レターボッ
クス映像入力時、黒レベル領域と映像領域との境界を判
別する。この判別手段出力に基づき、検出領域変更手段
は、検出領域を黒レベル領域と重ならないようにその位
置を変更する。

【００２３】また、前記検出領域変更手段は、黒レベル
領域と重なる検出領域から検出される動きベクトルを無
効とし、画面全体の動きベクトルの特定には使用しない
ようにする。

【００２４】

【実施例】以下、図面に従い本発明の一実施例を説明す
る。図１は本実施例における動きベクトル検出回路の概
略ブロック図を示し、図８と同一部分には同一符号を付
し説明を省略する。

【００２５】本実施例の特徴は、入力映像信号のレベル
を判別すると共に検出ブロックの設定可能範囲を示す垂
直アドレスを出力する映像判別回路１６を設け、この出
力に基づきマイクロコンピュータ１４が検出ブロックの
位置設定を自動的に変更する点である。

【００２６】即ち、通常の映像入力時は、検出ブロック
は画面の全体にわたって設定されているが、レターボッ
クス映像入力時は、このままの設定であると図９の様に
検出ブロックと黒レベル領域とが重なってしまう。この
とき、映像判別回路１６は黒レベル領域と映像領域の境
界を判別し、その境界を垂直アドレスとして出力する。
この垂直アドレスにより、マイクロコンピュータは図３
に示すように検出ブロックが中央に集中するよう位置の
設定変更を行う。また、次に、入力映像が通常に戻る
と、再度検出ブロックは上下に広がる。

【００２７】次に、図２に従い映像判別回路１６の詳細
を説明する。まず、入力映像信号は映像検出回路１６１
で所定の基準レベルと比較され、入力が、基準レベルよ
り高い場合ハイ、基準レベルより低い場合ローを出力す
る。これにより、レターボックス映像入力時に画面上下
の黒レベル領域を検出する。即ち、上下の黒レベル領域
ではロー、映像信号領域ではハイの検出出力が出力され
る。この検出出力は、それぞれ映像開始垂直アドレス検
出回路１６２及び映像終了垂直アドレス検出回路１６３
に供給される。映像開始垂直アドレス検出回路１６２は
入力がローからハイに切り変わるとき、即ち、画面上部
の黒レベル領域から映像領域に変化するときの垂直アド
レスを検出する。また、映像終了垂直アドレス検出回路
１６３は、入力がハイからローに切り変わるとき、即
ち、映像領域から画面下部の黒レベル領域に変化すると
きの垂直アドレスを検出する。そして、この各垂直アド
レスがマイクロコンピュータ１４に供給される。

【００２８】一方、黒レベル領域を持たない通常の入力
映像の場合、映像開始垂直アドレス検出回路１６２は垂
直ブランキング期間から映像領域に変化したときの垂直
アドレスを検出するとともに、映像終了垂直アドレス検
出回路１６３は映像領域から垂直ブランキング期間に変
化したときの垂直アドレスを検出する。

【００２９】このようにして、マイクロコンピュータ１
４は映像領域と黒レベル領域とが判別できるため、レタ
ーボックス映像入力時は、検出ブロックの分布を垂直方
向に集中させることにより、図３の如く検出ブロックを
黒レベル領域と重ならないように自動的に設定変更す
る。即ち、マイクロコンピュータ１４は制御回路１５に
対して、検出ブロックの位置を示すデータ及び代表点の
位置を示すデータを出力し、検出ブロック位置及び代表
点位置の設定を行う。

【００３０】尚、上述の実施例では、レターボックス映
像時は、検出ブロックを移動させていたが、黒レベル領
域と重なる検出ブロックにて検出される動きベクトルを
無効とし、画面全体の動きベクトルの特定には使用しな
い様にすることもできる。

【００３１】更に、レターボックス映像の判別は、上述
の実施例のように映像信号レベルによる方法の他に、水
平方向に並ぶ１行の検出ブロックのうち上端または下端
の一連のブロックにおける相関値の信頼性を判断するこ
とにより、その検出ブロックが黒レベル領域にあるか否
かを判別するようにしてもよい。

【００３２】

【発明の効果】上述の如く、本発明によれば、入力映像
ソフトがレターボックス映像であっても、これを検出し
て自動的に代表点及び検出ブロックを変更することによ
り、黒レベル領域から検出した動きベクトルを誤って採
用することを防止でき、画面全体の動きベクトルを正確
に検出することができる。

【図面の簡単な説明】

【図１】本発明の一実施例における動きベクトル検出装
置のブロック図である。

【図２】本実施例における映像判別回路のブロック図で
ある。

【図３】本実施例における検出ブロックと黒レベル領域
との関係の説明図である。

【図４】３次元画像変換の原理図である。

【図５】３次元画像変換装置の概略ブロック図である。

【図６】代表点マッチング法における検出ブロックの説
明図である。

【図７】代表点マッチング法における検出エリアの説明
図である。

【図８】従来の動きベクトル検出装置のブロック図であ
る。

【図９】従来の検出ブロックと黒レベル領域との関係の
説明図である。

【符号の説明】

９ 代表点メモリ １０ 相関値演算回路 １１ 累積加算回路 １２ 最小値検出回路 １３ 平均値算出回路 １４ マイクロコンピュータ（検出領域変更手段） １５ 制御回路 １６ 映像判別回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 幸夫 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画面中に複数の検出領域を設け、この各
   検出領域について、所定の変移における相関値を演算す
   る相関値演算手段と、前記相関値に基づいて前記各検出
   領域毎に動きベクトルを求める手段と、この動きベクト
   ルから画面全体の動きベクトルを特定する動きベクトル
   特定手段とからなる動きベクトル検出装置において、 前記検出領域を変更する検出領域変更手段を設けてなる
   動きベクトル検出装置。
2. 【請求項２】 画面中に複数の検出領域を設け、この各
   検出領域について、所定の変移における相関値を演算す
   る相関値演算手段と、前記相関値に基づいて前記各検出
   領域毎に動きベクトルを求める手段と、この各動きベク
   トルから画面全体の動きベクトルを特定する動きベクト
   ル特定手段とからなる動きベクトル検出装置において、 入力映像信号の黒レベル領域を判別する映像判別手段
   と、この手段の出力に基づいて前記検出領域を変更する
   検出領域変更手段とを設けてなる動きベクトル検出装
   置。
3. 【請求項３】 前記映像判別手段は、映像信号の輝度レ
   ベルに基づいて黒レベル領域を判別してなる請求項２記
   載の動きベクトル検出装置。
4. 【請求項４】 前記映像判別手段は、前記各検出領域に
   おける相関値の信頼性に基づいて黒レベル領域を判別し
   てなる請求項２記載の動きベクトル検出装置。