JP3187586B2 - 動画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力動画像を分析した
結果に基づいて起動、および、停止が制御される動画像
符号化装置に関するものである。

【０００２】

【従来の技術】従来の動画像の符号化装置として、例え
ばテレビ会議用符号化装置がある。符号化方式は、一般
に国際標準であるＣＣＩＴＴ勧告Ｈ．２６１符号化方式
が用いられる。

【０００３】Ｈ．２６１方式の符号化器は、図１１の様
に、フレーム間／内制御部１１０１、動き補償部１１０
２、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａ
ｎｓｆｏｒｍ：離散コサイン変換）と量子化を施す変換
量子化部１１０３、逆量子化とＩＤＣＴ（Ｉｎｖｅｒｓ
ｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ：逆離散コサイン変換）を施す逆量子化逆変換部１
１０４、可変長符号化部１１０５で構成される。

【０００４】入力動画像に対して、フレーム間／内制御
部１１０１では入力動画像の現フレームと前フレームの
差分情報量の値に応じてフレーム間符号化とフレーム内
符号化を切り替え、フレーム内符号化の場合には入力画
像をそのまま変換量子化部１１０３へ、フレーム間符号
化の場合には動き補償部１１０２で動き補償を施して前
フレームとの差分情報を変換量子化部１１０３へ送る。
変換量子化部１１０３で変化された情報は可変長符号化
部１１０５へ送られ、属性情報とともに符号化される。
また、変換量子化部１１０３で変化された情報は逆量子
化逆変換部１１０４で逆量子化逆変換され、フレーム内
符号化の場合には入力画像をそのまま、フレーム間符号
化の場合には動き補償部１１０２で動き補償に送られ、
次フレームの画像の予測情報として用いられる。

【０００５】なお、フレーム間符号化、フレーム内符号
化、および、動き補償については後述する。

【０００６】

【発明が解決しようとする課題】この様な装置を用いて
動画像の符号化を行う場合、通常、利用者が装置の利用
（通信）を開始した時点で符号化器が起動され、装置の
利用（通信）を終了した時点で符号化装置は停止され
る。すなわち、装置の利用開始から終了まで符号化器は
動作し、通信が行われることになる。しかしながら、実
際には動きがある場合等にのみ符号化および送信を行え
ば十分であり、静止しているシーンを符号化および送信
することは装置使用の効率上問題である。

【０００７】本発明は、以上の問題を解決するためにな
されたもので、その目的とするところは、入力された動
画像情報を分析し、該分析結果に応じて符号化器の起
動、および、停止を制御して、必要な部分だけ符号化す
ることにより装置使用の効率を高めることにある。

【０００８】

【課題を解決するための手段】本発明の動画像符号化装
置は、前記目的を達成するため、入力動画像の動きを分
析する分析手段と、前記入力動画像を符号化する符号化
手段と、前記分析手段の分析結果に応じて前記符号化手
段の起動または停止を制御するための符号化制御手段と
を備え、前記分析手段が、前記入力動画像のフレーム間
の差分情報量を算出するものであり、前記符号化制御手
段が、前記差分情報量が予め設定した閾値を越えたフレ
ームから前記符号化手段を起動させ、前記差分情報量が
前記閾値以下になったフレームで前記符号化手段を停止
させ、さらに前記符号化手段の起動および停止を前記フ
レームの情報量の増減が特定の増減パタンに一致した場
合に行うものであることを特徴とする。また、本発明
は、入力動画像の動きを分析する分析手段と、前記入力
動画像を符号化する符号化手段と、前記分析手段の分析
結果に応じて前記符号化手段の起動または停止を制御す
るための符号化制御手段とを備え、前記分析手段が、前
記入力動画像の動きベクトルを検出するものであり、前
記符号化制御手段が、非零の動きベクトルが出現したフ
レームから前記符号化手段を起動させ、非零の動きベク
トルが存在しなくなったフレームで前記符号化手段を停
止させるものであり、前記符号化制御手段が、前記符号
化手段の起動および停止を前記フレームの情報量の増減
が特定の増減パタンに一致した場合に行うものであるこ
とを特徴とする。

【０００９】

【作用】本発明の作用を、図１を参照して具体的に例を
挙げて説明する。

【００１０】本発明の動画像符号化装置は、動画像情報
を分析する分析手段１０１と、動画像情報を符号化する
符号化手段１０２と、前記符号化手段１０２の制御を行
う符号化制御手段１０３とを有する。

【００１１】入力動画像情報を分析手段１０１によって
分析し、該分析結果に基づいて符号化手段１０２によっ
て符号化する。前記符号化手段１０２の起動、および、
停止は前記分析手段１０１の分析結果に応じて符号化制
御手段１０３が制御するため、画像の内容に変化がある
符号化が必要なシーンだけを符号化することにより符号
化の効率化を図ることが可能となる。

【００１２】

【実施例】以下、図面を参照しながら実施例に基づいて
本発明の特徴を具体的に説明する。

【００１３】図２は、図１に示す本発明の動画像符号化
装置の概略の構成と信号の流れを示し、図３は本発明の
動画像符号化装置の１実施例の詳細な構成を示してい
る。

【００１４】図２において、１は本装置に入力される入
力動画像情報、２は入力動画像情報１を分析し分析結果
に応じて符号化部４の起動および停止を制御する分析／
符号化制御部、３は分析部／符号化制御部２から出力さ
れる分析結果、４は分析結果に基づいて符号化を行う符
号化部、５は符号化部４を制御するための制御信号、６
は符号情報である。

【００１５】図３に示す実施例においては、符号化方式
として、動き補償フレーム間／内適応予測符号化手法を
用いている。これは、前フレームとの差分情報を符号化
するフレーム間符号化手法と符号化対象フレームの情報
をそのまま符号化するフレーム内符号化手法とを適応的
に切り替えて適用する手法であり、フレーム間符号化の
場合にはさらに動き補償が適用される。フレーム間／内
符号化方式の切り替えは、前フレームとの差分情報の情
報量によって決定する。

【００１６】図３において、７はフレーム内符号化／フ
レーム間符号化を切り替えるフレーム間／内制御部、８
はフレーム間／内制御部７から出力されるフレーム間／
内制御信号、９はフレーム間／内制御部７から出力され
るフレーム間／内情報、１０は動き補償部、１１は動き
補償部１０から出力される動き補償済み情報、１２は動
き補償部１０から出力される動き補償情報、１３は入力
情報、１４は入力情報１３にＤＣＴ（Ｄｉｓｃｒｅｔｅ
Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変
換）と量子化を施す変換量子化部、１５は変換量子化情
報、１６は変換量子化情報１５に逆量子化とＩＤＣＴ
（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ
Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）を施す逆量
子化逆変換部、１７は逆量子化逆変換情報、１８は前フ
レーム情報、１９は可変長符号化部である。ただし、フ
レーム間／内制御信号８、フレーム間／内情報９、動き
補償済み情報１１、および、動き補償情報１２は、図２
の分析結果３に相当する。

【００１７】次に動作について説明する。図２におい
て、入力動画像情報１は分析／符号化制御部２に入力さ
れ、分析される。分析の結果が予め設定された条件を満
たしていれば、分析／符号化制御部２から符号化部４を
起動、または、停止させるための制御信号５が符号化部
４に送られる。符号化部４が起動されると符号情報６が
出力される。

【００１８】図３において、分析／符号化制御部２の中
のフレーム間／内制御部７では、入力動画像情報１の現
フレームと前フレームの差分情報量が算出され、該差分
情報量の値に応じて、フレーム内符号化とフレーム間符
号化の切り替え、および、符号化部４の制御が行われ
る。フレーム内符号化とフレーム間符号化の切り替え
は、現フレームと前フレームの差分情報量（変数ａｍｏ
ｕｎｔで表す）と予め設定した閾値Ｔｈ１との間に、ａ
ｍｏｕｎｔ＞Ｔｈ１の関係が成立している場合はフレー
ム内符号化を、それ以外の場合はフレーム間符号化を適
用するとして行う。一般に、ａｍｏｕｎｔの値が大とな
る、すなわち、ａｍｏｕｎｔ＞Ｔｈ１の関係が成立する
のは、前フレームからの変化が大きく、前フレームを用
いた予測が殆ど当たらない場合であるため、フレーム内
符号化が適用される。

【００１９】フレーム間／内制御部７において、符号化
部４を制御する際の処理の流れを図４に示す。ただし、
フレーム間／内制御部７における以下の処理は予め指定
した時間間隔で行われる。すなわち、一旦符号化部４が
起動されると、予め指定した時間Ｔ１が経過するまでは
停止させるための判定処理は行われず、一旦符号化部４
が停止されると、予め指定した時間Ｔ２が経過するまで
は起動させるための判定処理は行われない。このように
一定の不感時間を設けるのは、起動／停止の頻発を防ぐ
ためである。

【００２０】まず、符号化部４が起動されているか否か
を調べる。（ステップ４０１）。

【００２１】ステップ４０１において符号化部４が起動
されていなければ、ａｍｏｕｎｔと予め設定した閾値Ｔ
ｈ２との間にａｍｏｕｎｔ＞Ｔｈ２の関係が成立してい
るか否かを調べ、成立していれば起動を指示する制御信
号５を符号化部４に送り、成立していなければ制御信号
５は送らない（ステップ４０２）。 ステップ４０１に
おいて符号化部４が既に起動されていれば、ａｍｏｕｎ
ｔと予め設定した閾値Ｔｈ３との間にａｍｏｕｎｔ≦Ｔ
ｈ３の関係が成立しているか否かを調べ、成立していれ
ば停止を指示する制御信号５を符号化部４に送り、成立
していなければ制御信号５は送らない（ステップ４０
３）。上述の閾値Ｔｈ２と閾値Ｔｈ３は、それぞれ任意
に設定できる必要がある。一般的には、Ｔｈ２≧Ｔｈ３
に設定され、この場合には、差分情報量が閾値Ｔｈ２を
超したときに符号化部４が起動され、次に差分情報量が
閾値Ｔｈ３以下になったときに符号化部４が停止され
る。なお、閾値Ｔｈ２，Ｔｈ３と前述の符号化の方式を
切り換えるための閾値Ｔｈ１とは無関係である。

【００２２】次に、動き補償符号化手法の原理を図５に
示す。この手法では、現フレームＦ_n と前フレームＦ
_n-1 との差分を算出する際に、物体の動きを考慮して、
すなわち、動きベクトルＶ_m を検出して、現フレームＦ
_n の画像の位置を動きベクトルＶ_m と逆方向にシフトさ
せて前フレームＦ_n-1 との差分を最小となるようにす
る。

【００２３】図３に示す動き補償部１０において、符号
化部４を制御する際の処理の流れを図６に示す。ただ
し、図４の場合と同様に、フレーム間／内制御部７にお
ける以下の処理は予め指定した時間間隔で行われる。

【００２４】まず、符号化部４が起動されているか否か
を調べる（ステップ６０１）。

【００２５】ステップ６０１において符号化部４が起動
されていなければ、フレーム内での動きベクトルの大き
さが非零であるベクトルの個数（変数ｎｕｍｂｅｒで表
す）が０であるか否かを調べ、ｎｕｍｂｅｒ＝０が成立
していなければ起動を指示する制御信号５を符号化部４
に送り、ｎｕｍｂｅｒ＝０が成立していれば制御信号５
は送らない（ステップ６０２）。

【００２６】ステップ６０１において符号化部４が既に
起動されていれば、ステップ６０２と同様にｎｕｍｂｅ
ｒが０であるか否かを調べ、ｎｕｍｂｅｒ＝０が成立し
ていれば停止を指示する制御信号５を符号化部４に送
り、ｎｕｍｂｅｒ＝０が成立していなければ制御信号５
は送らない（ステップ６０３）。

【００２７】さらに図３において、フレーム間／内制御
部７によってフレーム内符号化が指示された場合には、
入力情報１３としては入力動画像１の現フレームがその
まま変換量子化部１４に送られ変換・量子化され変換量
子化情報１５が可変長符号化部１９に送られる。また、
変換量子化情報１５は、逆量子化逆変換部１６に送られ
て逆量子化・逆変換され、逆量子化逆変換情報１７はそ
のまま前フレーム情報１８として次フレームの予測に用
いられる。

【００２８】フレーム間／内制御部７によってフレーム
間符号化が指示された場合には、動き補償部１０におい
て前フレームからの動き補償が行われ、入力情報１３と
しては入力動画像情報１の現フレームと前フレームの動
き補償済み情報１１との差分情報が変換量子化部１４に
送られ変換・量子化され変換量子化情報１５が可変長符
号化部１９に送られる。また、変換量子化情報１５は、
逆量子化逆変換部１６に送られて逆量子化・逆変換さ
れ、逆量子化逆変換情報１７に前述の前フレームの動き
補償済み情報１１を加算したものが前フレーム情報１８
として次フレームの予測に用いられる。

【００２９】但し、図３において符号化部４が停止して
いる場合には、入力画像情報がそのまま動き補償部１０
に記憶され、前フレームの情報として次フレームの予測
に用いられる。

【００３０】上述した実施例においては、分析／符号化
制御部２の動き補償部１０における制御方式として図６
に示したような、フレーム内での動きベクトルの大きさ
が非零であるベクトルの個数ｎｕｍｂｅｒを閾値処理す
る手法を用いたが、これに代えて、動きベクトルの個数
の変化が予め設定したパタンに概ね合致する場合に、起
動、および、停止を行うよう制御する手法を用いること
も可能である。

【００３１】たとえば、手を振るシーンのような画像の
中に左右に周期的に移動する絵柄がある場合、手の振れ
の中心では手が最も速く移動するため動きベクトルの個
数が多いが、手の位置が振れの両端に近づくにしたがっ
て手の移動速度が遅くなるので動きベクトルの個数は減
少する。そして、手の動く方向が反転する振れの両端で
は手の動きが一瞬停止し、動きベクトルの個数が極端に
少なくなる。すなわち、このような手を振るシーンで
は、動きベクトルの個数が略一定の周期的で大きく変動
するという特定のパタンが発生する。

【００３２】また、ロゴマークのような静止画像が一定
時間継続した後に動画像が続き、更に動画像の後に一定
時間だけ静止画像が続くような場合には、最初の静止画
像が出現した瞬間に動きベクトルの個数が急激に増加
し、その直後に殆ど０となる。一定時間だけこの０の状
態が続いたのち動画像の出現に同期して動きベクトルの
個数が増加する。そして動画像が終わって次の静止画像
が出現すると、再度動きベクトルの個数が急激に増加
し、その直後に殆ど０となる。すなわち、静止画像が動
画像の間に挿入された場合には、動きベクトルの個数が
急激に増加し、その直後に殆ど０となるという特定のパ
タンが発生する。

【００３３】したがって、この特定のパタンを予め設定
しておき、入力画像の動きベクトルの個数の変化と比較
することにより、特定のシーンを検出したときに、符号
化動作を起動させることも可能である。たとえば、手を
振るシーンの場合は、最初の手を振るシーンで符号化動
作を起動させ、次の手を振るシーンで符号化動作を停止
させる。また、静止画像が挿入されたシーンの場合に
は、最初の静止画像が検出されてから一定時間後に符号
化動作を起動させ、次の静止画像が検出されてから一定
時間後に符号化動作を停止させる。

【００３４】特定のパタンを検出する場合の処理の流れ
を図７に示す。

【００３５】まず、符号化部４が起動されているか否か
を調べる（ステップ７０１）。

【００３６】ステップ７０１において符号化部４が起動
されていなければ、フレーム内での動きベクトルの大き
さが非零であるベクトルの個数ｎｕｍｂｅｒと予め設定
した閾値Ｔｈ４との間にｎｕｍｂｅｒ＞Ｔｈ４の関係が
成立しているか否かを調べ、成立していなければ制御信
号５は送らず一旦制御ループを抜け、成立していれば次
の処理を行う（ステップ７０２）。

【００３７】ステップ７０２においてｎｕｍｂｅｒ＞Ｔ
ｈ４の成立した時点から時間（変数ｔｉｍｅで表す）を
測定し、予め設定した時間Ｔ３との間にｔｉｍｅ＜Ｔ３
が成立している間は次の処理を行わない（ステップ７０
３）。

【００３８】さらに、ｎｕｍｂｅｒ≦Ｔｈ４が成立して
いるか否かを調べ、成立していれば起動を指示する制御
信号５を符号化部４に送り、成立していなければ制御信
号５は送らず制御ループを抜ける（ステップ７０４）。

【００３９】ステップ７０１において符号化部４が起動
されていれば、ｎｕｍｂｅｒと予め設定した閾値Ｔｈ５
との間にｎｕｍｂｅｒ＞Ｔｈ５の関係が成立しているか
否かを調べ、成立していなければ制御信号５は送らず一
旦制御ループを抜け、成立していれば次の処理を行う
（ステップ７０５）。

【００４０】ステップ７０５においてｎｕｍｂｅｒ＞Ｔ
ｈ５の成立した時点からｔｉｍｅを測定し、予め設定し
た時間Ｔ４との間にｔｉｍｅ＜Ｔ４が成立している間は
次の処理を行わない（ステップ７０６）。

【００４１】さらに、ｎｕｍｂｅｒ≦Ｔｈ５が符号化部
４が成立しているか否かを調べ、成立していれば停止を
指示する制御信号５を符号化部４に送り、成立していな
ければ制御信号５は送らず制御ループを抜ける（ステッ
プ７０７）。

【００４２】図８に、上述した制御によって、符号化部
４が起動される場合のｎｕｍｂｅｒとＴｈ４とＴ３の間
の関係を示す。すなわち、図７に示す処理では、ｎｕｍ
ｂｅｒがＴｈ４より大となり、一定時間Ｔ３後にＴｈ４
以下となるようなパタンのときに符号化部４が起動され
る。

【００４３】同様に、差分情報量の変化が予め設定した
パタンに概ね合致する場合に、起動、および、停止を行
うよう制御する手法を用いることも可能である。

【００４４】また、その他の実施例として図９に示すよ
うに、可変調符号化部１９のみを符号化部４とみなし、
分析／符号化制御部２における処理は従来の符号化方式
と全く同一にすることも可能である。

【００４５】さらにその他の実施例として、図１０に示
すように、動画像符号化を適用して地点Ａの動画像通信
装置２１と地点１〜ｎの動画像通信装置２１との間の通
信を伝送路２２を介して行う通信装置のような、１対多
地点間の通信を行う通信装置において、本発明における
動画像符号化装置の符号化制御手段によって各端末の切
替えを実現することが可能となる。すなわち、図１０に
おいて、地点１，２，・・・ｎの各端末の動画像符号化
装置２１内の符号化制御手段２３（図１の符号化制御手
段１０３に対応）において符号化開始の条件が成立すれ
ば地点Ａの動画像符号化装置２１との通信権が与えら
れ、伝送路切り替え装置２４によって伝送路に接続され
る。

【００４６】

【発明の効果】以上の様に本発明によれば、符号化の際
に用いる入力動画像情報の分析結果を利用して符号化器
の起動、および、停止を制御することができる。したが
って、入力された全ての画像を符号化するのではなく必
要なシーンだけを符号化することができ、符号化効率を
高めることができる。

【図面の簡単な説明】

【図１】 本発明における動画像符号化装置の基本構成
図である。

【図２】 本発明の一実施例における動画像符号化装置
の概略の構成と信号の流れを示す図である。

【図３】 本発明の動画像符号化装置の実施例を示すブ
ロック図である。

【図４】 図３の実施例におけるフレーム間／内制御部
が符号化部を制御する際の処理の流れを示す図である。

【図５】 動き補償符号化手法の原理図である。

【図６】 図３の実施例における動き補償部が符号化部
を制御する際の処理の流れを示す図である。

【図７】 本発明の他の実施例における動き補償部が符
号化部を制御する際の処理の流れを示す図である。

【図８】 図７の例における符号化部が起動される場合
のｎｕｍｂｅｒとＴｈ４とＴ３の間の関係を示す図であ
る。

【図９】 本発明の更に他の例における動画像符号化装
置の構成図である。

【図１０】 本発明において使用される符号化制御手段
を、多地点間通信端末切り替え装置に適用した例を示す
構成図である。

【図１１】 従来例における動画像符号化装置の構成図
である。

【符号の説明】

１…入力画像情報、２…分析／符号化制御部、３…分析
結果、４…符号化部、５…制御信号、６…符号情報、７
…フレーム間／内制御部、８…フレーム間／内制御信
号、９…フレーム間／内情報、１０…動き補償部、１１
…動き補償済み情報、１２…動き補償情報、１３…入力
情報、１４…変換量子化部、１５…変換量子化情報、１
６…逆量子化逆変換部、１７…逆量子化逆変換情報、１
８…前フレーム情報、１９…可変長符号化部、２１…動
画通信装置、２２…伝送路、２３…符号化制御手段、２
４…伝送路切り替え装置、１０１…分析手段、１０２…
符号化手段、１０３…符号化制御手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−231583（ＪＰ，Ａ) 特開 平５−22710（ＪＰ，Ａ) 特開 昭50−114914（ＪＰ，Ａ) 特開 昭63−116581（ＪＰ，Ａ) 特開 平４−341081（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 7/00 - 9/40

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 入力動画像の動きを分析する分析手段
   と、 前記入力動画像を符号化する符号化手段と、 前記分析手段の分析結果に応じて前記符号化手段の起動
   または停止を制御するための符号化制御手段とを備え、前記分析手段が、前記入力動画像のフレーム間の差分情
   報量を算出するものであり、 前記符号化制御手段が、前記差分情報量が予め設定した
   閾値を越えたフレームから前記符号化手段を起動させ、
   前記差分情報量が前記閾値以下になったフレームで前記
   符号化手段を停止させ、さらに前記符号化手段の起動お
   よび停止を前記フレームの情報量の増減が特定の増減パ
   タンに一致した場合に行うものであること を特徴とする
   動画像符号化装置。
2. 【請求項２】 入力動画像の動きを分析する分析手段
   と、 前記入力動画像を符号化する符号化手段と、 前記分析手段の分析結果に応じて前記符号化手段の起動
   または停止を制御するための符号化制御手段とを備え、 前記分析手段が、前記入力動画像の動きベクトルを検出
   するものであり、前記符号化制御手段が、非零の動きベ
   クトルが出現したフレームから前記符号化手段を起動さ
   せ、非零の動きベクトルが存在しなくなったフレームで
   前記符号化手段を停止させるものであり、 前記符号化制御手段が、前記符号化手段の起動および停
   止を前記フレームの情報量の増減が特定の増減パタンに
   一致した場合に行うものであること を特徴とする動画像
   符号化装置。