JPH10210473A

JPH10210473A - 動きベクトル検出装置

Info

Publication number: JPH10210473A
Application number: JP559597A
Authority: JP
Inventors: Tsuyoshi Nishikawa; 川剛志西
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-01-16
Filing date: 1997-01-16
Publication date: 1998-08-07
Also published as: US6148108A

Abstract

(57)【要約】（修正有）【課題】通常の動きベクトル検出に加えて、画像の全
画面から特徴の有無とその座標を抽出して動きベクトル
を検出し、検索の初期で正しい動きベクトルを検索す
る。【解決手段】原画像記憶手段１、参照画像記憶手段
２、参照画像に対する原画像の動きを検出する動きベク
トル検出回路３を備え、さらに、画像内の主要物体にお
ける他の部分と区別可能な特徴領域を設定して記録する
特徴設定手段１１、原画像の中から特徴を探し出してそ
の特徴座標を抽出する特徴座標抽出手段１２、特徴座標
を記憶する特徴座標記憶手段１３を少なくとも含む大域
動きベクトル検出回路１０を備え、特徴座標抽出手段１
２が原画像の中から特徴座標を抽出した場合に出力する
特徴有無情報に基づいて、記憶手段１３に記憶されてい
る特徴座標と抽出された特徴座標との差分から大域動き
ベクトルを検出し、特徴座標抽出手段が特徴を抽出でき
ない場合には、通常の動きベクトルの検出を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像圧縮技術分
野に係り、特に動画像圧縮などで用いられる動きベクト
ルの検出のための演算を低コストにより行なうようにし
た動きベクトル検出装置に関する。

【０００２】

【従来の技術】一般に、テレビ電話などに用いられてい
る動画像圧縮技術においては、動きベクトルの検出が必
須な技術であるが、汎用のパターンに対応させる必要
上、探索範囲が広くなるにつれ、演算量、消費電力など
のコストが非常に大きくなるプロセスである。また、移
動体テレビ電話のような用途においては、情報量削減の
ために、例えば人物の顔などの特定物体の画像情報を全
体画像から切り出して送るという技術も提案されてい
る。しかし、スタジオ内における撮影画像とは異なり、
自然画像を背景としている画像から特定物体を切り出す
ことは技術的に難しいのが現状である。

【０００３】動画像圧縮などにおける動きベクトルの抽
出においては、入力された原画像の画面を部分領域へ細
分化し（以後、この細分化された部分領域をマクロブロ
ックと呼ぶ。）、このマクロブロックの座標を（＋ｘ，
＋ｙ）ずらし、その時の参照画像の画面との輝度信号差
（以後ＳＡＤと呼ぶ）をマクロブロック内部の各画素
（ピクセル）毎に累積加算し、累積加算値が最小であっ
た時の（ｘ，ｙ）を動きベクトルとして採用するという
手順を踏んでいる。この操作は動きベクトルの探索範囲
の２乗に比例して負荷が大きくなるものであるので、画
面全体に存在する各マクロブロックにおいて動きベクト
ルの抽出を行なう場合、動きベクトルの探索範囲を大き
くとることは難しい。

【０００４】一方、一般的な動きベクトルの検出とは異
なり、簡易な画像特徴で表される特徴的な画像パター
ン、例えば紫と黄色の二重円などであれば、全画面を探
索して画面中におけるその特徴の存在の有無もしくは大
域的な座標の特定を行なうことは容易である。連続する
画像における特徴画像の大域的な位置のトレースによっ
て作成されるベクトルを以後便宜上、大域動きベクトル
と呼ぶことにする。

【０００５】

【発明が解決しようとする課題】この発明は上記事情に
鑑み、動きベクトル検出の際に通常の動きベクトル検出
を行なうばかりでなく、画像の全画面から特徴の有無と
その座標を特定することにより正しい動きベクトルに近
い動きベクトル候補をベクトル検索の初期に検出して電
力エネルギの節約と検出時間の短縮とを図ることのでき
る動きベクトル検出装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、この発明に係る動きベクトル検出装置は、原画像記
憶手段、参照画像記憶手段、参照画像に対する前記原画
像の動きを検出する動きベクトル検出回路を備え、さら
に、画像内の主要物体における他の部分と区別可能な部
分領域である特徴を設定して記録する特徴設定手段、原
画像の中から特徴を探し出してその特徴座標を抽出する
特徴座標抽出手段、この特徴座標を記憶する特徴座標記
憶手段、を少なくとも含む大域動きベクトル検出回路を
備え、特徴座標抽出手段が原画像の中から座標により特
徴を抽出した場合、特徴座標抽出手段が出力する特徴有
無情報に基づいて、記憶手段に記憶されている特徴座標
と抽出された特徴座標との差分をとって大域動きベクト
ルを検出し、特徴座標抽出手段が特徴を抽出できなかっ
た場合には、通常の動きベクトルの検出を行なうもので
ある。

【０００７】すなわち、請求項１に記載の動きベクトル
検出装置は、入力動画像情報である原画像を記憶する原
画像記憶手段と、参照画像情報を記憶する参照画像記憶
手段と、前記参照画像記憶手段に記憶されている前記参
照画像に対する前記原画像記憶手段に記憶されている前
記原画像における動きを検出する動きベクトル検出回路
とを備える動きベクトル検出装置において、画像内の主
要物体における他の部分と区別可能な部分領域である特
徴を設定して記録する特徴設定手段と、前記原画像記憶
手段に記憶されている前記原画像の中から前記特徴設定
手段に記録されている特徴を探し出して、この特徴の座
標上の位置を特徴座標として特定する特徴座標抽出手段
と、前記特徴座標抽出手段により抽出された前記特徴座
標を記憶する特徴座標記憶手段と、を少なくとも含む大
域動きベクトル検出回路を備え、この動きベクトル検出
回路は、前記特徴座標抽出手段が前記原画像の中から前
記特徴設定手段により設定された特徴を座標により抽出
した場合には、前記特徴座標抽出手段より出力される特
徴有無情報に基づいて前記特徴座標記憶手段に記憶され
ている特徴座標と、前記特徴座標抽出手段により抽出さ
れた特徴座標との差分をとって大域動きベクトルを検出
し、前記特徴座標抽出手段が前記原画像の中から前記特
徴を抽出できなかった場合には、通常の動きベクトルの
検出を行なうことを特徴とするものである。

【０００８】次に、請求項２に係る動きベクトル検出装
置は、請求項１に記載のものにおいて、前記大域動きベ
クトル検出回路は、前記特徴を記述する前記特徴設定手
段としての特徴記述回路と、前記原画像記憶手段として
の原画像フレームメモリから供給された原画像画面から
前記特徴を抽出してその画面内における前記特徴の有無
と前記特徴の座標とを出力する特徴座標抽出回路と、前
記特徴座標抽出回路の出力した特徴座標を一時記憶する
特徴座標情報バッファと、この特徴座標記憶バッファに
今回の原画像の特徴座標が出力されてきたときにそれま
で記憶されていた前回の原画像の特徴を記憶する前・画
像特徴座標情報バッファと、を備えているものである。

【０００９】請求項３に係る動きベクトル検出装置は、
請求項２に記載のものにおいて、特徴としての所定形状
のマーカーを前記主要物体の画像上の任意の箇所に記述
する前記特徴記述回路が前記大域動きベクトル検出回路
に設けられていると共に、外部より供給される特徴位置
固定要求信号が活性な場合に、前記大域動きベクトル検
出回路が出力する特徴位置固定処理に関する補正情報に
基づいて前記原画像フレームメモリから前記原画像情報
を読み出す際に画素座標に関する補正を行ない、前記特
徴が原画像内に存在するか否かを示す特徴有無情報を出
力する原画像画素位置補正回路と、前記大域動きベクト
ル検出回路より出力される座標情報と前記原画像画素位
置補正回路より出力される特徴有無情報とに基づいて前
記特徴記述回路により記述された前記マーカーを画像上
から消去して出力するマーカー消去回路とを備えること
を特徴としている。

【００１０】請求項４に係る動きベクトル検出装置は、
請求項２に記載のものにおいて、前記動きベクトル検出
回路が、前記原画像を部分領域に細分化した単位である
マクロブロック毎の動きベクトル情報、前記特徴有無情
報および特徴座標情報を用いて前記原画像フレームメモ
リより供給される原画像の画像処理を行なうと共に、各
マクロブロックに対する動きベクトルの検出を中止させ
る動きベクトル検出中止信号が活性なときに動きベクト
ルがない場合の画像処理を行なう動画像処理装置内に設
けられていることを特徴としている。

【００１１】請求項５に係る動きベクトル検出装置は、
請求項４に記載のものにおいて、前記動画像処理装置
が、動画像専門家グループの設定した規格であるＭＰＥ
Ｇ２の基準に即して動画像を処理するＭＰＥＧ２エンコ
ーダ内に設けられていることを特徴としている。

【００１２】請求項６に係る動きベクトル検出装置は、
請求項１に記載のものにおいて、前記主要物体上の任意
箇所に設定される特徴となる特定画像であるマーカーを
記述する特徴記述回路と、前述特定画像の特徴を記録し
た記憶手段を備える特徴座標抽出手段と、を備え、前記
主要物体の特徴を画像フレームまたはフィールド全域か
ら抽出し、主要物体の特徴の大域的座標を抽出すること
により、主要物体の特徴のフレームまたはフィールド間
の移動量を測定して前記主要物体の大域的な動きベクト
ルを算出することを特徴としている。

【００１３】請求項７に係る動きベクトル検出装置は、
請求項１に記載のものにおいて、前記主要物体の大域動
きベクトルの大きさが動画像圧縮規格上不適当な場合に
は、細分化された画面の各部分領域としてのマクロブロ
ックに対する動きベクトルの検出動作を中止させること
を特徴としている。

【００１４】請求項８に係る動きベクトル検出装置は、
請求項７に記載のものにおいて、細分化された画面の各
部分領域である前記マクロブロックにおいて、大域動き
ベクトルに近い動きベクトルを優先的に計算することを
特徴としている。

【００１５】

【発明の実施の形態】以下、添付図面を参照しながら本
発明に係る動きベクトル検出装置の好適な実施形態につ
いて詳細に説明する。まず、図１はこの発明の基本概念
を含む第１実施形態に係る動きベクトル検出装置を示す
ブロック図である。

【００１６】図１において、第１実施形態に係る動きベ
クトル検出装置は、入力動画像情報である原画像を記憶
する原画像記憶手段１と、参照画像情報を記憶する参照
画像記憶手段２と、前記参照画像記憶手段２に記憶され
ている前記参照画像に対する前記原画像記憶手段１に記
憶されている前記原画像における動きを検出する動きベ
クトル検出回路３とを備えている。この動きベクトル検
出装置は大域動きベクトル検出回路１０を備えており、
大域動きベクトル検出回路は、画像内の主要物体におけ
る他の部分と区別可能な部分領域である特徴を設定して
記録する特徴設定手段１１と、前記原画像記憶手段１に
記憶されている前記原画像の中から前記特徴設定手段１
１に設定されている特徴を探し出して、この特徴の座標
上の位置を特徴座標として特定する特徴座標抽出手段１
２と、前記特徴座標抽出手段１２により抽出された前記
特徴座標を記憶する特徴座標記憶手段１３と、を少なく
とも備えている。前記動きベクトル検出回路３は、前記
特徴座標抽出手段１２が前記原画像の中から前記特徴設
定手段１１により設定された特徴を座標により抽出した
場合には、前記特徴座標抽出手段１２より出力される特
徴有無情報に基づいて前記特徴座標記憶手段１３に記憶
されている特徴座標と、前記特徴座標抽出手段１２によ
り抽出された特徴座標との差分をとって大域動きベクト
ルを検出し、前記特徴座標抽出手段１２が前記原画像の
中から前記特徴を抽出できなかった場合には、通常の動
きベクトルの検出を行なうものである。

【００１７】この第１実施形態に係る大域動きベクトル
検出回路を備える動きベクトル検出装置が大域動きベク
トルを検出した場合、次のような方法で、動きベクトル
検出コストを低減させ、もしくは画像の品質劣化を防止
できる。

【００１８】１）大域動きベクトルの大きさが、動画像
圧縮方式の規格範囲を超える場合、マクロブロックごと
の動きベクトル抽出を中止し、非動き補償画像を選択す
る。もしくは圧縮率を低下させ、画像品質を保つ。

【００１９】２）大域動きベクトルが動画像圧縮方式の
規格範囲内であった場合、大域動きベクトルおよび大域
動きベクトルに近い動きベクトルを、各マクロブロック
に関する動きベクトル検索の初期に検索することによ
り、正しい動きベクトルを初期に発見する確率を上げ、
電力的、時間的なコストを低減する。

【００２０】これらの他に、大域動きベクトルの検出に
より、以下に示す処理を行なうことができ、産業上の利
用性が高く有効である。特に、携帯端末などの非固定端
末からの画像を処理する場合、入力画像の各画素の座標
に関して大域動きベクトルによる補正を行なうことによ
り、画面全体を主要物体に追従させることができ、カメ
ラの手ぶれや不要な画像の乱れをデジタル処理で補正す
ることができる。

【００２１】主要物体の動きベクトルが明示的に示され
るので、各マクロブロックの動きベクトル、ＳＡＤ累積
結果のグループ分けにより、主要物体の切り出しを行な
うことが容易になる。また、大域動きベクトル検出装置
は、主要物体の特徴点を記述する情報を、ＲＡＭまたは
ＲＯＭの形式で保持する。ＲＡＭの場合は、画像情報の
一部を指定することにより、特徴点のデータを取り込む
ことができる。ＲＯＭの場合は逆に、ＲＯＭに記述され
た特徴を示すマーカーを、主要物体にセットすることで
大域動きベクトルの抽出が可能となる。特徴点を記述し
やすいマーカーを使用することで、大域動きベクトル検
出に必要な回路を容易に構成することができる。ＲＯＭ
と特徴点指定マーカーを用いて、人間の顔などの画像処
理を行なった場合は、マーカーの存在により違和感が生
じるので、フレームメモリ参照時にマーカー消去回路を
通し、マーカーとして認識された部位を、マーカー周辺
のピクセルのパターンによって置き換えるようにして、
見かけ上マーカーがない状態にして違和感を除くことが
できる。

【００２２】任意の画像パターンを特徴点として登録
し、大域的な特徴点座標検出を行なうことができる。特
徴点情報を適宜入れ替える手法によって、リアルタイム
動画像圧縮を行なう際の、周囲の環境変化による、背景
色、光量の変化などに対して迅速に対応できる。

【００２３】次に、本発明の第２実施形態に係る動きベ
クトル検出装置について、図２を参照しながら説明す
る。図２は本発明の第２実施形態に係る動きベクトル検
出装置の構成を示すブロック図であり、同図において、
動きベクトル検出装置は、原画像フレームメモリ１、参
照画像フレームメモリ２、マクロブロック単位動きベク
トル検出回路３、大域動きベクトル検出回路１０、によ
り構成されている。大域動きベクトル検出回路１０は、
原画像画面の主要物体に特徴となるような例えばマーク
等を記述する特徴記述回路１１と、前記原画像フレーム
メモリ１を参照して特徴記述回路１１に示される小領域
画像を全画面中から検索する特徴座標抽出回路１２と、
この特徴座標抽出回路１２により抽出された今回の特徴
座標を記憶する特徴座標情報バッファ１３ａと、前回の
特徴画像を記憶する前画像特徴座標情報バッファ１３ｂ
と、を備えている。

【００２４】上記構成を備える動きベクトル検出装置の
動作を説明する。特徴座標抽出回路１２は、原画像フレ
ームメモリ１を参照し、特徴記述回路１１に示される特
徴をもつ小領域画像を全画面中から検索する。特徴の一
致する小領域を発見した場合、これを特徴画面としてマ
クロブロック動きベクトル検出回路３に現在特徴有無情
報Ｓ4 を出力すると共に、この情報Ｓ4 および特徴座標
情報Ｓ5 を特徴座標情報バッファ１３ａに出力する。特
徴座標情報バッファ１３ａは一旦情報Ｓ5 を格納してか
らマクロブロック単位動きベクトル検出回路３に送出す
ると共に、この現在の特徴座標情報を次の特徴座標情報
Ｓ5 が発見されたときのために、前画像特徴座標情報バ
ッファ１３ｂに出力してここに格納させる。前画像特徴
座標情報バッファ１３ｂは、今回の現在特徴座標情報Ｓ
5 が入力されるまで前回の特徴座標情報Ｓ6 を保持して
おり、今回の現在特徴座標情報Ｓ5 が入力されるとそれ
まで保持していた情報を、前画像特徴点座標情報Ｓ6 と
してマクロブロック単位動きベクトル検出回路３に出力
する。

【００２５】特徴座標バッファ１３ａは大域動きベクト
ル検出信号Ｓ7 を大域動きベクトル検出回路１０の外部
に出力し、また、前画像特徴座標情報バッファ１３ｂは
特長座標情報を大域動きベクトル検出回路１０の外部に
出力している。また、マクロブロック動きベクトル検出
回路１０には、前述した原画像情報Ｓ1,参照画像情報Ｓ
2,現在特徴有無情報Ｓ4,特徴座標情報Ｓ5,前画像特徴座
標情報Ｓ6 の他にも、特徴固定処理要求信号Ｓ9 が供給
されており、またマクロブロック動きベクトル検出回路
３からは、動きベクトル情報Ｓ10，動きベクトル抽出中
止信号Ｓ11，特徴固定処理に関する補正情報Ｓ12等が出
力されている。

【００２６】上記特徴座標抽出回路１２は特徴を発見し
た場合には、新しく発見した特徴の座標および特徴発見
フラグを特徴座標情報バッファ１３ａに転送し、これを
格納する。逆に特徴点を発見できなかった場合は、特徴
点無しとしてフラグを消す。しかる後にマクロブロック
単位動きベクトル検出回路３に対して動作命令を出力す
る。マクロブロック動きベクトル検出回路３は特徴座標
情報バッファ１３ａを参照し、特徴が存在しない場合は
平常の動作手順に従って各マクロブロックに関する動き
ベクトルの抽出を行なう。特徴が存在する場合は、前画
像特徴座標情報バッファ１３ｂの前画像特徴有無情報を
参照し、前画像中に特徴が存在していたか確認する。前
画像中に特徴が存在していた場合は、特徴のトレースが
可能であるので、前画像特徴座標情報バッファ１３ｂに
格納されている前画面の特徴座標と、特徴座標情報バッ
ファ１３ａに格納されている入力画面の特徴座標の差分
をとることにより大域動きベクトルを算出する。

【００２７】この時、特徴位置固定処理要求信号Ｓ9 が
活性になっているかどうか判断し、特徴位置固定処理要
求がなされている場合は、原画像フレームメモリ１から
のデータ読み出しの際に、読出し画素（ピクセル）の座
標に関して、大域動きベクトルに応じた補正を行ない、
各マクロブロック毎の動きベクトル情報を抽出し、Ｓ10
に出力する。この時入力画像に対して行なった座標に関
する補正に関する情報を、画像表示および次画像入力の
際の参照画像に反映する必要があるため、特徴点固定処
理に関する補正情報Ｓ12を出力する。

【００２８】大域動きベクトルが検出でき、特徴固定処
理要求が出ていない場合、以下のような動作を行なう。

【００２９】１）大域動きベクトルが動画像圧縮方式
の定める範囲を逸脱している場合、各マクロブロックに
対する動きベクトル抽出を中止し、各マクロブロックに
対する動きベクトル抽出中止信号Ｓ11を出力する。

【００３０】２）大域動きベクトルが動画像圧縮方式
の定める範囲内であった場合、大域動きベクトルおよび
大域動きベクトルに近い動きベクトルを、各マクロブロ
ックに関する動きベクトル検索の初期に検索することに
より、正しい動きベクトルを初期に発見する確率を上
げ、電力的、時間的なコストを低減することができる。
原画像フレームメモリ１の各マクロブロックに対して、
参照画像フレームメモリ２から動きベクトルを求め、各
マクロブロックに関する動きベクトル情報Ｓ10を出力す
る。このとき動きベクトル情報Ｓ10は用途に応じて前記
輝度差（ＳＡＤ）の累積結果を伴うものである。

【００３１】次に、本発明の第３実施形態について図３
を用いて説明する。図３は、図２に示す第２実施形態の
大域動きベクトル検出回路１０を備える動画像圧縮装置
２０を示すブロック図である。

【００３２】図３において、動画像圧縮装置２０は、原
画像フレームメモリ１と、参照画像フレームメモリ２
と、大域動きベクトル検出回路１０と、原画像画素位置
補正回路２１と、マーカー消去回路２２と、動画像圧縮
などの用途に応じて画像情報を処理する動きベクトル検
出装置を含む動画像処理装置２３とにより構成されてい
る。

【００３３】この第３実施形態に係る動画像圧縮装置２
０は第１および第２実施形態に係る大域動きベクトル検
出回路１０を含む構成を備えるものである。第１および
第２実施形態に係る動きベクトル検出装置においては、
特徴を画像情報の中の例えば眼鏡等の特徴を抽出するこ
とにより大域動きベクトルを検出するようにしていた
が、本第３実施形態においては、重要物体にわかりやす
い特徴がない場合を考慮して、動画像撮影の際に、重要
物体にマーカー用シールを貼付するなどし、物理的に特
徴点を追加するようにし、画像処理のときには、この追
加した特徴（マーカー）を消去するという新規な概念を
含むものである。

【００３４】マーカー消去回路２２は必要に応じて、特
徴有無情報Ｓ4 および特徴座標情報Ｓ5 あるいは、前特
徴有無情報Ｓ4 および前特徴座標情報Ｓ5 を参照し、原
画像フレームメモリ１および参照画像フレームメモリ２
に蓄積されている画像情報上の特徴指定マーカーを、動
画像処理装置２３から見えないように消去する。

【００３５】原画像画素位置補正装置２１は、特徴固定
処理要求信号Ｓ9 が活性な場合、特徴固定処理に関する
補正情報Ｓ12を参照して、原画像フレームメモリ１から
情報を読み出す際の、画素（ピクセル）の座標に関する
補正を行なう。

【００３６】動画像処理装置２３は、特徴有無情報Ｓ4
および特徴座標情報Ｓ5 および各マクロブロック毎の動
きベクトル情報Ｓ10を用い、マーカー消去装置２２を通
じて得られる原画像フレームメモリ１および参照画像フ
レームメモリ２の情報Ｓ1 およびＳ2 を用いた画像処理
を行ない、結果Ｓ13を出力する。各マクロブロックに対
する動きベクトル抽出中止信号Ｓ11が活性なときは、動
きベクトルがない場合の処理を行なう。また、次画像入
力に対して必要となる参照画像情報Ｓ14( Ｓ2) を参照
画像フレームメモリ２に対して転送する。

【００３７】次に、本発明の第４実施形態について図４
を用いて説明する。図４は、図３に示される第３実施形
態の画像処理装置２３として、差分画像生成、ＤＣＴ変
換、およびＭＰＥＧ２の符号化を行なうＭＰＥＧ２エン
コーダ２５を付加して、ＭＰＥＧ２用動画像圧縮装置と
して構成した場合の実施形態を示している。したがって
図３と同一符号を付した構成要素は第３実施形態に係る
動画像圧縮装置と同様の構成および動作を司るものとし
て重複説明を省略する。

【００３８】次に、本発明の第５実施形態に係る動きベ
クトル検出装置について図５を参照しながら説明する。
この第５実施形態に係る動きベクトル検出装置は、第３
実施形態に係る動きベクトル検出装置を使用して、主要
物体切り出しを行なう時の、画像処理ブロックの動作を
説明するためのものである。入力画像全体３０は、各マ
クロブロック３１に切り分けられ、それぞれのマクロブ
ロック３１に関して動きベクトル３２が算出されてお
り、特定点座標および大域動きベクトル３３も算出され
ているものとする。

【００３９】このとき、特定点を含むマクロブロック３
４を開始点として、周囲のマクロブロックに対して、輝
度差信号（ＳＡＤ）の値が規定値以上あるいは動きベク
トルと、大域動きベクトルとの差が大きいマクロブロッ
ク３６にぶつかるまでグループ分けしてゆく。この手順
により、特徴点を含み、大域動きベクトルに近い動きベ
クトルを持つマクロブロックのグループ３５を容易にグ
ループ分けすることができ、その際に、境界となるマク
ロブロックを高速で発見することができ、動画像中から
の主要物体を切り出す際の動作を大幅に迅速化すること
ができる。

【００４０】次に、本発明の第６実施形態について図６
を参照しながら説明する。この第６実施形態は図１およ
び図２の第１および第２実施形態における特徴設定手段
または特徴記述回路１１の動作の一例を示す実施形態で
ある。図６において、主要物体の画像４０の一部４１を
切り出し、部分的な画像情報４２を、特徴記述情報とし
てＲＡＭ４３に記録し、特徴記述情報として参照する。
特徴記述には、より変形可能性の低い物体が望ましいた
め、本実施形態では人物の顔画像の中から眼鏡のフレー
ム４４の形を選択して部分的に記録している。

【００４１】次に、本発明の第７実施形態について図７
を参照しながら説明する。図７は、図１または図３の第
１または第３実施形態における特徴設定手段または特徴
記述回路の一例を示す説明図である。図７において、記
述しやすい特徴情報４５を有するシール４６を、主要物
体４７にはりつけ、特徴情報４５を記述したＲＯＭ４９
を参照して、画像４８から特徴の検出を行なう。特定点
を示すシール４６と特徴記述ＲＯＭ４９を組とした特徴
点検出装置は、シール４６のパターンを複数作成し、利
用者が状況によって使い分けることにより、背景色、輝
度の異なる状況でも使用容易である。また、特定パター
ンに関するものであるため、ＲＯＭ４９に複数のパター
ンを用意すること、全画面中からパターンを発見するこ
との双方に関して、プログラマブル特徴点記述装置より
も容易に実現できる。

【００４２】なお、シールと同様に、ＲＯＭ４９に記さ
れた画像パターンに合致する画像パターンを、スタン
プ、ワッペン、ペナント、帽子のマーク、眼鏡の付属品
などにセットして、ＲＯＭを参照する特徴点記述装置と
組で用いた時にも同様な効果が得られる。

【００４３】最後に、本発明の第８実施形態について図
８を参照しながら説明する。第８実施形態は、図３およ
び図４により説明した第３および第４実施形態に係る動
きベクトル検出装置の詳細な例を示している。図８は、
図３におけるマーカー消去回路２２の実施形態を示す。
マーカー消去回路２２は主として、第７実施形態におけ
る特徴情報シール４６を人物の顔に貼着した場合の画像
上の違和感を低減するためのものである。マーカー消去
回路２２は、特徴有無および座標情報入力Ｓ15( Ｓ4 お
よびＳ5 ）を受け入れて、原画像（もしくは参照画像）
５０中におけるマーカー４６が存在している部分の読み
出しの際には、マーカー周囲の画素（ピクセル）の値の
平均値で置き換え、読み出し画像５５においてはマーカ
ー４６が見えないようにするものである。

【００４４】

【発明の効果】動きベクトル検出装置は、原画像記憶手
段、参照画像記憶手段、参照画像に対する前記原画像の
動きを検出する動きベクトル検出回路を備え、さらに、
画像内の主要物体における他の部分と区別可能な部分領
域である特徴を設定して記録する特徴設定手段、原画像
の中から特徴を探し出してその特徴座標を抽出する特徴
座標抽出手段、この特徴座標を記憶する特徴座標記憶手
段、を少なくとも含む大域動きベクトル検出回路を備
え、特徴座標抽出手段が原画像の中から座標により特徴
を抽出した場合、特徴座標抽出手段が出力する特徴有無
情報に基づいて、記憶手段に記憶されている特徴座標と
抽出された特徴座標との差分をとって大域動きベクトル
を検出し、特徴座標抽出手段が特徴を抽出できなかった
場合には、通常の動きベクトルの検出を行なうようにし
ているので、動きベクトル検出の際に通常の動きベクト
ル検出に加えて、画像の全画面から特徴の有無とその座
標を抽出して動きベクトルを検出し、検索の初期に正し
い動きベクトルを検索することにより、電力エネルギの
節約と検出時間の短縮とを図ることができる。

【００４５】したがって、記述しやすく、また、発見し
やすい画像パターンをマーカーとして選択することで、
特徴点座標を検出するための回路を容易に構成でき、高
速化できる。ＲＯＭを使用するので経済的に有利とな
る。マーカーのパターンをＲＯＭ中に複数用意してお
き、状況変化にともなって発見しやすいマーカーを主要
物体に設置しなおすという手法により、リアルタイム動
画像圧縮を行なう際の、周囲の環境変化による、背景
色、光量の変化などに対して迅速に対応できる。

【００４６】また、主要物体の大域動きベクトルの大き
さが動画像圧縮規格上不適当な場合は、圧縮が困難とみ
なして、動きベクトル検出を中止することで使用電力、
処理時間を節約できる。画素輝度差の絶対値を累積する
過程において、適切な動きベクトルを初期に発見するこ
とで、不適切な動きベクトルに対する累積計算を早めに
打ち切ることが可能となり、動きベクトル検出に要する
使用電力、時間を節約できる。

【００４７】さらに、機械的装置を使わず電子的に手ぶ
れ補正が可能となるばかりでなく、背景を青で統一する
などの特別な設備を使うことなく、主要物体を切り出す
ことが可能となる。特定パターンを有する人工物である
ため、機械的な検出が容易であるため、検出装置の構成
が容易である。また、貼り付け式であることで、使用面
において容易である。顔などにマーカーを貼り付けた時
の使用上の違和感を低減できる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動きベクトル検出
装置を示すブロック図。

【図２】本発明の第２実施形態に係る動きベクトル検出
装置を示すブロック図。

【図３】本発明の第３実施形態に係る動きベクトル検出
装置を示すブロック図。

【図４】本発明の第４実施形態に係る動きベクトル検出
装置を示すブロック図。

【図５】本発明の第５実施形態に係る動きベクトル検出
装置の動作の説明図。

【図６】本発明の第６実施形態に係る動きベクトル検出
装置の動作の説明図。

【図７】本発明の第７実施形態に係る動きベクトル検出
装置の動作の説明図。

【図８】本発明の第８実施形態に係る動きベクトル検出
装置の動作の説明図。

【符号の説明】

１原画像記憶手段、２参照画像記憶手段、３動きベクトル検出回路、１０大域動きベクトル検出回路、１１特徴設定手段１２特徴座標抽出手段１３特徴座標記憶手段１３ａ特徴座標情報バッファ１３ｂ前画像特徴座標情報バッファ

Claims

【特許請求の範囲】

【請求項１】入力された動画像情報である原画像を記憶
する原画像記憶手段と、参照画像情報を記憶する参照画
像記憶手段と、前記参照画像記憶手段に記憶されている
前記参照画像に対する前記原画像記憶手段に記憶されて
いる前記原画像における動きを検出する動きベクトル検
出回路とを備える動きベクトル検出装置において、画像内の主要物体における他の部分と区別可能な部分領
域である特徴を設定して記録する特徴設定手段と、前記原画像記憶手段に記憶されている前記原画像の中か
ら前記特徴設定手段に記録されている特徴を探し出し
て、この特徴の座標上の位置を特徴座標として特定する
特徴座標抽出手段と、前記特徴座標抽出手段により抽出された前記特徴座標を
記憶する特徴座標記憶手段と、を少なくとも含む大域動きベクトル検出回路を備え、前記動きベクトル検出回路は、前記特徴座標抽出手段が
前記原画像の中から前記特徴設定手段により設定された
特徴を座標により抽出した場合には、前記特徴座標抽出
手段より出力される特徴有無情報に基づいて前記特徴座
標記憶手段に記憶されている特徴座標と、前記特徴座標
抽出手段により抽出された特徴座標との差分をとって大
域動きベクトルを検出を行なうことを特徴とする動きベ
クトル検出装置。
【請求項２】前記大域動きベクトル検出回路は、前記特
徴を記述する前記特徴設定手段としての特徴記述回路
と、前記原画像記憶手段としての原画像フレームメモリ
から供給された原画像画面から前記特徴を抽出してその
画面内における前記特徴の有無と前記特徴の座標とを出
力する特徴座標抽出回路と、前記特徴座標抽出回路の出
力した特徴座標を一時記憶する特徴座標情報バッファ
と、この特徴座標記憶バッファに今回の原画像の特徴座
標が出力されてきたときにそれまで記憶されていた前回
の原画像の特徴を記憶する前画像特徴座標情報バッファ
と、を備えていることを特徴とする請求項１に記載の動
きベクトル検出装置。
【請求項３】前記特徴としての所定形状のマーカーを前
記主要物体の画像上の任意の箇所に記述する前記特徴記
述回路が前記大域動きベクトル検出回路に設けられてい
ると共に、外部より供給される特徴位置固定要求信号が活性な場合
に、前記大域動きベクトル検出回路が出力する特徴位置
固定処理に関する補正情報に基づいて前記原画像フレー
ムメモリから前記原画像情報を読み出す際に画素座標に
関する補正を行ない、前記特徴が原画像内に存在するか
否かを示す特徴有無情報を出力する原画像画素位置補正
回路と、前記大域動きベクトル検出回路より出力される
座標情報と前記原画像画素位置補正回路より出力される
特徴有無情報とに基づいて前記特徴記述回路により記述
された前記マーカーを画像上から消去して出力するマー
カー消去回路と、を備えることを特徴とする請求項２に
記載の動きベクトル検出装置。
【請求項４】前記動きベクトル検出回路は、前記原画像
を部分領域に細分化した単位であるマクロブロック毎の
動きベクトル情報、前記特徴有無情報および特徴座標情
報を用いて前記原画像フレームメモリより供給される原
画像の画像処理を行なうと共に、各マクロブロックに対
する動きベクトルの検出を中止させる動きベクトル検出
中止信号が活性なときに動きベクトルがない場合の画像
処理を行なう動画像処理装置内に設けられていることを
特徴とする請求項２に記載の動きベクトル検出装置。
【請求項５】前記動画像処理装置は、動画像専門家グル
ープの設定した規格であるＭＰＥＧ２の基準に即して動
画像を処理するＭＰＥＧ２エンコーダ内に設けられてい
ることを特徴とする請求項４に記載の動きベクトル検出
装置。
【請求項６】前記主要物体上の任意箇所に設定される特
徴となる特定画像であるマーカーを記述する特徴記述回
路と、前述特定画像の特徴を記録した記憶手段を備える
特徴座標抽出手段と、を備え、前記主要物体の特徴を画
像フレームまたはフィールド全域から抽出し、主要物体
の特徴の大域的座標を抽出することにより、主要物体の
特徴点のフレームまたはフィールド間の移動量を測定し
て前記主要物体の大域的な動きベクトルを算出すること
を特徴とする請求項１に記載の動きベクトル検出装置。
【請求項７】前記主要物体の大域動きベクトルの大きさ
が動画像圧縮規格上不適当な場合には、細分化された画
面の各部分領域としてのマクロブロックに対する動きベ
クトルの検出動作を中止させることを特徴とする請求項
１に記載の動きベクトル検出装置。
【請求項８】細分化された画面の各部分領域である前記
マクロブロックにおいて、大域動きベクトルに近い動き
ベクトルを優先的に計算することを特徴とする請求項７
に記載の動きベクトル検出装置。