JPH02159893A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、低ビツトレートの動画像符号化装置に関する
。

（従来の技術） 国際電信電話諮問委員会（ＣＣＩＴＴ）において、ｎＸ
３８４ｋｂｐｓの動画像符号化方式の標準案が検討され
ている。この方式は、画像を８×８もしくは１６Ｘ１６
程度のブロックに分割し、それぞれのブロック毎に動き
補償フレーム間予測により時間変化に関わる冗長度を取
り除き、その後、直交変換符号化によりフレーム内の空
間的変化に関わる冗・長度を取り除き、各ブロックの動
き補償から得られる動静判定、直交変換後の量子化から
得られる有効無効判定結果を基に、ブロック単位に付加
情報を付けて符号化するものである。また、より低いビ
ットレートを対象としてｍ　Ｘ　６４ｋｂｐｓの符号化
方式も同様な方式で検討されている。この様なフレーム
間符号化方式では、背景は静止したものであり、符号化
対象である人物のみが動きを伴うと仮定している。子な
わち、対象物体と背景は動き情報をキーとして判定して
いる。

従来動画像に対して、対象物体と背景とを識別する手法
としては、クロマキーが広く知られている。クロマキー
とは、対象物体に無い色を背景全面に描くことによって
、人力された動画信号のから背景の色度成分をキー情報
として識別するものである。例えば、鮮やかなブルーの
壁の前に立つ人物が、壁のブルーとは異なる色の服を着
ていれば、カメラから人力された信号の各画素毎にその
色度を測定し、背景の壁か、対象の人物かを識別できる
。

またロボッ！・視覚の分野では、複数のカメラから取り
込まれた画像情報から三角測量によって、実世界上での
カメラから対象物体までの距離情報を抽出する手法とし
て、ステレオスコープと呼ばれる技術がある。左右に配
置された２台のカメラから入力された左右画像から特徴
点どうしの対応づけや、画素毎の対応づけを行なうこと
によりカメラからの距離を得ることができる。カメラ位
置は既知であるため、画面上のずれを計算した後、三角
測量の容量でカメラから物体のエツジまでの距離を算出
することができる。

（発明が解決しようとする課題） 従来の動画符号化装置は、テレビ会議室内で背景の管理
された環境下で使用されることを想定している。すなわ
ち、人力される画像内で動きのある部分は、人物等の動
きによって発生したものであり、符号化の対象であると
考えている。しがしながら、より低ビツトレートの動画
像符号化装置はオフィスやホーム等で用いられることに
なるため、背景の管理はできない。そのため、符号化対
象でない人物が通話者の後を通り過ぎたりすることが起
こり得る。従来の符号化装置では、この様な場合は想定
されていないため、符号化対象の人物と同様に背後を通
り過ぎるものも符号化してしまい、実際に送りたい人物
の信号対雑音比や符号化フレームレートが低下するとい
う問題がある。

クロマキー技術は、背景を特殊な色にすることによって
はじめて適用できることがら、符号化対象の人物と背景
とを分離する手法として用いることができない。また、
ステレオスコープでは、左右画像の特徴点対応づけや画
素毎の対応づけがむずかしく、実用化されていない。

（課題を解決するための手段） 第１の本発明は２つの視点から画像を入力する手段と、
前記入力手段から得られた２枚の画像に対して、一方を
主画像として小領域に分割し、他方の副画像に対して前
記主画像の小領域毎に最大の相関がある小領域を副画像
内から探索することによって得られる画面上でのずれか
ら、前記主画像の小領域に映る物体までのカメラからの
距離を求める手段と、前記距離情報により、前記入力手
段の一方から得られた主画像に対して、背景マスク処理
を施す手段とを有し、前記マスク処理出力をフレーム間
符号化装置の入力信号とし、カメラからの距離情報によ
って得られた背景部分を符号化しないことを特徴とする
。

また第２の発明は、第１の発明における背景マスク処理
を施す手段を、背景フィルタリング処理に置き換え、前
記フィルタリング処理出力をフレーム間符号化装置の入
力信号とし、カメラからの距離情報によって得られた背
景部分の空間解像度もしくは、時間方向解像度を落とし
て符号化することを特徴とする。

第３の発明は、第１の発明における背景マスク処理を施
す手段を、別途設けられた背景メモリをスーパーインポ
ーズする手段に置き換え、前記スーパーインポーズされ
た画像をフレーム間符号化装置の入力信号とし、カメラ
からの距離情報によって得られた背景部分を前記背景メ
モリの内容と置き換えた画像を符号化することを特徴と
す′る。

（作用） ２枚の入力画像をもとに、カメラから対象物体までの距
離を算出する手法を、まず説明する。第２図に示すよう
に、２つの性能の等しいカメラをレンズ中心間隔を２ａ
、中心軸がＰＯで交わるように置く。

その時ＰＯでの交角は２αとする。

レンズ中心ＣＬ、　ＣＲの中点を原点０として、ＰＱ−
ＣＬ。

ＰＯ−ＣＲがＸＹ平面′にのるようにｘＹｚ軸をとる。

両カメラの像面とレンズの距離をＬとし、像面と中心軸
との交点をＯＬ、ＯＲとする。ＯＬ、ＯＲを原点として
像面にｒｌｘ、ｒｌｙ、ζ工、ξ、座標をとる。像面の
座標とテレビ画面上の量子化されたスクリーン座標とは
、（１）式で関係付けられる。

ｒ１ｘ＝Ｍｘ（ｈＬ−ｈｏ） 諏＝　Ｍ、（Ｖｏ−ＶＬ） 娠＝Ｍｘ（ｈＲ−ｈｏ） ξｙ＝　Ｍｙ（ＶＯ−ＶＲ）・・・・・・・・・・・・
・・・・・・・・・・・・・・（１）ここで、（ｈＬ、
　ＶＬ）は点Ｐの左画面でのスクリーン座標、（ｈＲ，
ＶＲ）は点Ｐの右が面でのスクリーン座標、（ｈｏ、ｖ
。）は、ＣＬ、ＣＲのスクリーン座標、Ｍｘ、Ｍｙは変
換係数である。次に、任意の点Ｐの（ｘ、　ｙ、　ｚ）
座標と像座標（ｒｌｘ、ｒｌｙ）、島、ξ、）との関係
を考えると、カメラの視野の関係で、ｘ、　ｚ、　ｒｌ
、ξ、座標は無視できる。

従ってＰの左画像をｒｌｘとすると、ｘＹ座標ではＰＬ
（−ａ　＋　Ｌｓｉｎａ　＋ｒｌｘＣＯ８ＣＩ、　Ｌｃ
ｏｓａ　−ｒｌｘｓｉｎａ）となる。同様にＰＲは（−
ａ−Ｌｓｉｎａ＋ξｘｃｏｓａ、　Ｌｃｏｓａ−Ｆ、ｘ
ｓｉｎ（−ａ））となる。

両交軸ＣＩ、−ＰＬ、　ＣＲ−ＰＲの交点としてＰのＹ
座標を求めると、（２）式になる。

Ｙ＝２ａ−（Ｌ−１１ｘ　ｔａｎａ）・（Ｌ＋ξｘｔａ
ｎａ）／（２−（Ｌ　＋ｒｌｘＦ、ｘ）　ｔａｎａ＋Ｌ
−（ξｘ　　”１ｘ）ｔａｎ　ａ−１））　　（２）こ
れがスクリーン座標と物体の距離情報を結び付けており
、α＝０、すなわちａ＜＜Ｙとすればカメラ光軸が平行
なモデルとなり、（３）式になる。

Ｙ＝２ａＬ／（ｒｌｘ−ξｘ）＝２ａＬ／Ｍｘ（ｈＬ−
ｈＲ）　、−０−、、−、（３）すなわち、スクリーン
の位置に関係なく、左画像と右画像のずれ（ｈＬ−ｈＲ
）のみに依存することになる。

次に、左画像と右画像のずれを求める手法について説明
する。従来のロボット視覚の研究では、各画素毎に距離
情報を抽出しようと試みられていた。このため、左右画
像の対応をとるのが非常に困難であった。ところで、動
画像符号化では画面を８画素×８ラインや１６画素Ｘ１
６ラインの小ブロックに分割しブロック単位で符号化を
行なっている。このことに注目すると、画素毎に距離情
報を求める必要はなく、小ブロックの平均距離が算出で
きれば、背景分離が可能となる。そこで、左画像を主画
像、右画像を副画像と考え、主画像を小領域のブロック
に分割する。主画像での物体の像と、副画像での物体の
像は一般的には異なり、主画像で正方形のブロックが副
画像で必ずしも同じ大きさの正方形ブロックとならない
が、カメラ中心の距離がかなり近くなれば、主画像上の
ブロックを物体の距離に応じて平行移動したものが副画
像の対応する小領域と仮定できる。そこで、主画像のブ
ロックに最も距離が小さい領域を副画像内から探索する
ことで、その副画像内での位置からずれを求めることが
できる。このずれは、主画像のブロック毎に求まるので
、そのずれから（２）式あるいは（３）式を用いてカメ
ラからの距離が算出される。そこで、符号化対象となる
人物がカメラ前の１ｍ以内に存在すると仮定すると、そ
のブロック毎の距離から１ｍ以上の距離をもつブロック
は背景としてマスク処理を施した後、フレーム間符号化
装置の入力とする。

また第２の発明では、符号化対象となる人物がカメラ前
の１ｍ以内に存在すると仮定すると、そのブロック毎の
距離から１ｍ以上の距離をもつブロックは背景として空
間的な低域通過フィルタリングを行なったのち、フレー
ム間符号化装置の入力とする。もしくは、背景となった
ブロックについては、時間軸フィルタリングを行ない、
時間方向の低域通過特性を持たせた後、フレーム間符号
化装置の入力とする。

また第３の発明では、符号化対象となる人物がカメラ前
の１ｍ以内に存在すると仮定すると、そのブロック毎の
距離から１ｍ以上の距離をもつブロックは背景として、
別途設けられた背景記憶用メモリの内容に置き換える処
理を行なった後、フレーム間符号化装置の入力とする。

（実施例） 本発明の特許請求の範囲１の対応する一実施例を図面を
参照しながら説明する。第１図において、１００は主画
像入力部、１０１は副画像入力部、１０２は距離計測部
、１０３は背景マスク部、１０４はフレーム間符号化部
である。カメラは１０ｃｍ程離れて２つあり、４ｍ程度
前方の壁で光軸が一致するように設定されているとする
。カメラから壁に向かって左にあるカメラ出力が主画像
入力部１００へ、右にあるカメラ出力が副画像入力部１
０１へ接続されている。主画像人力部１００では、左カ
メラ出力を入力しん０変換、色輝度分離を行なう。同様
に、副画像入力部１０１では、右カメラ出力を人力しＡ
／Ｄ変換、色輝度分離を行なう。主画像入力部１００お
よび副画像入力部１０１の出力のうち輝度成分はそれぞ
れ距離計測部１０２へ送られる。また、主画像入力部１
００の出力である色・輝度成分はそれぞれ背景マスク部
１０３へ送られる。

距離計測部１０２では、主画像入力部１００から送られ
てきた輝度成分ＰＬ（ｘ、　ｙ）を、また、副画像入力
部１０１から送られてきた輝度成分ＰＲ（ｘ、　ｙ）を
それぞれのメモリに格納する。その後、主画像輝度成分
ＰＬ（ｘ、ｙ）を１６画素×１６ライン毎のブロックに
分割し、水平方向ｉ番目、垂直方向ｊ番目のブロックと
して以後参照する。いま、カメラの光軸が一致する壁よ
り手前にのみ対象物体が存在し、両カメラの視野内に促
えられていると仮定できるので、主画像が左に置かれた
カメラ人力であることから、それに対応する副画像（右
カメラ）は同じ水平垂直位置のブロックよりも左側にし
か現れない。このことを利用し、ｉｊブロックのずれＵ
での距離Ｄｉｊ（ｕ）を（４）式で計算する。

−ＰＬ（１６ｉ＋Ｘ、１６ｊ＋Ｙｉ　　　（４）この時
、−１６ｉ＜　＝ｕ＜　＝０が探索範囲である。この探
索範囲内で最も距離Ｄｉｊ（ｕ）が小さかったＵがずれ
として算出される。本実施例では、カメラ間距離に較べ
て光軸が一致する点までのカメラ距離が十分大きいため
、複雑な（２）式を用いる必要なく、（３）式で計算が
できる。算出されたずれＵから先に示した（３）式を用
い、カメラからの距離Ｙ＝２ａＬｌｕＭｘトする。ここ
で、ａはレンズ中心の距離の半分、Ｌはレンズ焦点距離
、Ｍｘはスクリーン座標と像座標との変換係数である。

この様に各ブロック毎に求まった距離情報は背景マスク
部１０３に送られる。

背景マスク部１０３では、距離計測部１０２から送られ
たブロック毎のカメラ距離を用いて、予め定められた一
定値を越える距離ブロックについては０、その他は１の
マスクを生成し、主画像入力部１００から送られてくる
輝度および色信号の各対応するブロックが０の場合は通
さず、１の場合のみ通し、フレーム間符号化部１０４に
送出する。

フレーム間符号化装置１０４では、背景マスク部１０３
が送出した、背景が消去された輝度、色信号を入力し、
動き補償フレーム間予測信号に対して、８×８の直交変
換（離散コサイン変換）を行ない、ブロック内の低シー
ケンシ−データから順次量子化、可変長符号割当てを行
ない伝送路に５送出する。

以上説明した様に、第１の本発明が実施される。

尚、距離計測部１０２は毎符号化フレーム毎に行なうの
が好ましいが、処理が間に合わない場合は、距離計算は
複数符号化フレームに１回とすることが、可能である。

但、この場合の背景との分離精度は、劣化を生じる。

同様に、第２の発明に対応する一実施例を図面を参照し
て説明する。第３図において、１００は主画像人力部、
１０１は副画像入力部、１０２は距離計測部、２０３は
背景フィルタリング部、１０４はフレーム間符号化部で
ある。まず、主画像の各ブロックに対応したカメラ距離
を算出する仮定までは、第１図での説明と重複するため
、省略する。距離計測部１２０で求まったブロック毎の
距離情報は、背景フィルタリング部２０３へ送られ、背
景フィルタリング部２０３では、主画像人力部１００よ
り送られた入力画像に対して距離計測部１０２か送られ
たブロック毎の距離情報により、予め定められた距離以
上をもったブロックに対しては３×３画素の空間フィル
タリング・を行なう。この時のフィルタリング係数は中
央が０．２５、上下左右４近傍が０．１２５、残りの斜
方向４近傍が０．０６２５である。このフィルタリング
により、入力信号内の背景ブロックの空間方向の高周波
数成分を除去し、ぼかしを行ない、フレーム間符号化装
置１０４に送出する。

また、背景フィルタリング部２０３では、フレームメモ
リを持つことにより、時間軸フィルタリングに変更して
も良い。この場合、低域通過特性を持つ時間軸フィルタ
リングを行なうことにより、空間方向の解像度は劣化さ
せずに、動きに対しては大きな帯域制限を行なうことが
できる。

フレーム間符号化装置１０４では、背景フィルタリング
部２０３が送出した、背景が空間的もしくは時間的に帯
域制限された輝度、色信号を入力し、動き補償フレーム
間予測信号に対して、８Ｘ８の直交変換（離散コサイン
変換）を行ない、ブロック内の低シーケンシ−データか
ら順次量子化、可変長符号割当てを行ない伝送路に送出
する。以上説明したように、第２の本発明が実施される
。

同様に第３のに対応する一実施例を図面を参照して説明
する。第４図において、１００は主画像入力部、２０１
は副画像入力部、１０２は距離計測部、３０３は背景メ
モリ、３０４はスーパーインポーズ部、１０４はフレー
ム間符号化部である。まず、主画像の各ブロックに対応
したカメラ距離を算出する仮定までは、第１図での説明
と重複するため、省略する。距離計測部１０２で求まっ
たブロック毎の距離情報は、スーパーインポーズ部３０
４へ送られ、スーパーインポーズ処理部３０４では、主
が像入力部１００から人力された信号に対し、距離計測
部１０２から送られたブロック毎の距離情報に従い、背
景に相当する部分は背景メモリ３０３からの出力に置き
換える。背景メモリ３０３からの入力はディジタル表現
された静止画であるため、後段のフレーム間符号化装置
１０４では、初期のシーンチェンジ時のみ符号化するこ
とにより、通常動作時は差分が現れずに符号化対象にな
らない。

フレーム間符号化装置１０４では、スーパーインポーズ
部３０４が送出した、背景部分を背景メモリ３０３の内
容に置き換えた輝度、色信号を人力し、動き補償フレー
ム間予測信号に対して、８×８の直交変換（離散コサイ
ン変換）を行ない、ブロック内の低シーケンシ−データ
から順次量子化、可変長符号割当てを行ない伝送路に送
出する。以上説明したように、本発明の特許請求の範囲
３が実施できる。

（発明の効果） 本発明を用いることによって、テレビ電話や、テレビ会
議の対象人物と背景を分離することができ、第１の発明
を用いれば、たとえ背景に動く物体が存在した場合でも
、符号化効率の劣化を生じない。また、第２の発明を用
いれば、背景部分の空間的あるいは時間的な帯域制限が
行なわれることから、背景よりも符号化対象部により符
号が割当てられた符号化装置を提供できる。また、第３
の発明を用いれば、第１の発明の効果の上に、ユーザの
好みに合わせた背景を復号側に提示することが可能とな
る。

【図面の簡単な説明】

第１図、第３図、第４図は本発明の実施例を示す図。第
２図は本発明の詳細な説明する図である。第１図におい
て、１００は主画像入力部、１０１は副画像入力部、１
０２は距離計測部、１０３は背景マスク部、１０４はフ
レーム間符号化部である。第３図において、１００は主
画像入力部、１０１は副画像入力部、１０２は距離計測
部、２０３は背景フィルタリング部、１０４はフレーム
間符号化部である。第４図において、１００は主画像入
力部、１０１は副画像入力部、１０２は距離計測部、３
０３は背景メモリ部、３０４はスーパーインポーズ部、
１０４はフレーム間符号化部である。

Claims (3)

【特許請求の範囲】
1. （１）２つの視点から画像を入力する手段と、前記入力
   手段から得られた２枚の画像に対して、一方を主画像と
   して小領域に分割し、他方の副画像に対して前記主画像
   の小領域毎に最大の相関がある小領域を副画像内から探
   索することによって得られる画面上でのずれから、前記
   主画像の小領域に映る物体までのカメラからの距離を求
   める手段と、前記距離情報により、前記主画像に対して
   、背景マスク処理を施す手段とを有し、前記マスク処理
   出力をフレーム間符号化装置の入力信号とし、カメラか
   らの距離情報によって得られた背景部分を符号化しない
   ことを特徴とする動画像符号化装置。
2. （２）特許請求の範囲１に記載の背景マスク処理を施す
   手段を、背景フィルタリング処理に置き換え、前記フィ
   ルタリング処理出力をフレーム間符号化装置の入力信号
   とし、カメラからの距離情報によって得られた背景部分
   の空間解像度もしくは、時間方向解像度を落として符号
   化することを特徴とする動画像符号化装置。
3. （３）特許請求の範囲１に記載の背景マスク処理を施す
   手段を、別途設けられた背景メモリをスーパーインポー
   ズする手段に置き換え、前記スーパーインポーズされた
   画像をフレーム間符号化装置の入力信号とし、カメラか
   らの距離情報によって得られた背景部分を前記背景メモ
   リの内容と置き換えた画像を符号化することを特徴とす
   る動画符号化装置。