JPH11252570A - 動画通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の動画オブジェクトから構成される動画
を対象として、それぞれの動画オブジェクトごとに動画
符号モードの選択について良好な利用画質を与えるモー
ドを選択して動画通信を行う動画通信装置を提供する。 【解決手段】 符号データ部32は、動画エンコーダ10の
生成する動画符号を動画受信部31を介し、動画オブジェ
クト分析部41、42、43・・に送出する。動画オブジェク
ト分析部41、42、43・・は、それぞれ対応する動画オブ
ジェクトに関する動画符号を入力して分析する。動画シ
ステム制御部400は、動画エンコーダ10に対して動画オ
ブジェクトごとに動画符号モードを指定することによ
り、動画オブジェクトごとの動画符号モードの評価の実
行を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画通信装置に関
し、特にネットワークにおいてディジタル動画を送受信
する動画通信装置に関する。

【０００２】

【従来の技術】コンピュータの処理速度の向上、ネット
ワークの高速化が進展し、ディジタル動画を送受信する
ことが普及しつつある。従来、この種の動画通信装置
は、ネットワークの伝送容量に関する資産を有効に利用
する。そのため、ディジタル動画は、送信の際に符号化
されて、情報量を圧縮されて伝送され、受信側で、復号
処理により、伸張されて、おおむね元の画像が復元され
る。符号化の方法、符号化後の符号レート、伝送エラー
などの要因により、元の画質に対する受信後、すなわち
復号した画像の画質の低下の程度が異なるという特質が
ある。符号化の方法、符号化後の符号レートなどは、複
数の選択肢から送信までに選択されるので、選択肢のう
ち、最も良い復号画質を与える符号化の方法、符号化後
の符号レートなどを選択することが重要となる。

【０００３】動画通信の符号化の選択を評価する装置
は、同発明者によって、例えば特願平０９−２１６８１
４号で案出されている。

【０００４】まず、動画通信の符号化の選択を評価する
装置について、本明細書中で用いられている用語の定義
を行い、その後、動画通信の符号化の選択を評価する装
置の説明を簡単に行う。

【０００５】以下、本明細書では、「動画符号化方式」
とは、動画の通信を目的とした符号化・情報圧縮・送信
・受信・伸張・復号・表示、およびネットワーク機器ま
たは通信機器間で取り決められた規約を含む方法を指す
意味で用いる。動画符号化方式には、代表的な例を挙げ
ると、国際標準化機構であるISO(International Organi
zation for Standardization)およびIEC(International
Electrotechnical Commission)によるMPEG（ISO/IEC-1
1172）、MPEG-2(ISO/IEC-13818)、MPEG-4(ISO/IEC-1449
6)、ITU(International Telecommunication Union)勧告
H.320、H.324、H.261、H.263などがある。また、本明細
書では、「動画符号化方式」とは、前記MPEGなどに準拠
した符号を通信するためのプロトコルについても、特に
区別をしないで、含めた意味で用いられている。例え
ば、UDP/IP(User Diagram Protocol／Internet Protoco
l)に準拠したパケットでMPEG-4符号を伝送する方法など
を含む場合である。

【０００６】また、本明細書において、「動画符号モー
ド」とは、動画符号化方式において、複数の方式の選択
肢のひとつを指す意味で用いる。前記の標準・勧告に
は、動画符号の複数の方式の組み合わせが記述されてい
る。例えば、MPEG-4をはじめとして、時間予測モードが
複数選択でき、双方向予測モード（Ｂモード）、単方向
予測モード（Ｐモード）とよばれる動画符号化方式を選
んで用いる。「B」は「Bidirectional Prediction」、
「P」は単に「Prediction」である。したがって、前述
の標準のうちのひとつに準拠するエンコーダ（符号
器）、デコーダ（復号器）においても、Pモードか、Bモ
ードを用いるかの選択など、複数の方式の選択肢から選
んで通信に用いることになる。

【０００７】一般に、たとえ動画の一部でもBモードを
用いるには大きな処理規模が必要なため、Pモードの機
能しかもたない機器があったり、またBモードを選択し
ていても同じ動画の一部ではPモード、別の一部ではBモ
ードが用いられたりする。逆にPモードを選択すると、B
モードは一切用いない場合が多い。本明細書において、
「Pモードを選択」するとは、Bモードを用いない場合を
いい、「Bモードを選択」するとは、PモードとBモード
を併用することをいう。

【０００８】また本明細書では簡単のために、この「動
画符号モード」は、異なるパラメータの中からある値を
選んで用いることも含む意味でも用いる。例えば前記の
標準・勧告において、量子化係数は、ある範囲の整数値
から選択する。その値を量子化係数として用いて符号化
するので、複数の動画符号化方式の選択肢のひとつを指
す意味に含める。

【０００９】次に動画符号モードの使い分けについて述
べる。動画通信において、どの動画符号モードが最も適
しているかは、利用目的、利用状況に応じてさまざまで
ある。

【００１０】前述のBモードは符号化効率が高く少ない
符号量で済むという特徴を有し、一方、Pモードは復号
処理遅延時間が短くて済むという特質がある。ここで、
映像素材によって、BモードとPモードの符号量の違いは
さまざであるが、一般的な傾向を述べる。例えばテレビ
会議のような用途には、復号遅延量の小さいPモードが
多くの場合有効であり、復号遅延量が許容できる用途で
は、符号量が少ないBモードが有効な場合もある。

【００１１】利用しているネットワークの利用可能な帯
域幅の制限で、符号量を制御するために、量子化係数を
用いる場合がある。画像濃度の空間周波数を表す数値を
符号化する際、高精度な算定では一般に桁数の多い少数
を多数含むことになるが、実用的な画質が得られる程度
の符号量に制限するために、符号化される係数は、間隔
をおいた代表値のいずれかの値を表す整数に変換するこ
とにより、符号量を抑えることが行われる。

【００１２】このようなとびとびの代表値のいずれかを
求めることを量子化といい、量子化を行うために用いる
係数を量子化係数という。量子化係数の選択によって、
間隔を大きくとって粗い量子化を行うと、画質が劣化す
る代わりに符号量が減少したり、一方、間隔を小さくし
て細かい量子化を行うと、符号量が増加する代わりに画
質が向上する。

【００１３】ネットワークの利用可能な帯域幅の上限が
ある場合は、符号化効率と量子化精度を組み合わせて符
号化する場合がある。復号遅延が許容できて符号化効率
の高いBモードを利用すれば細かい量子化ができ、画質
が向上するが、一方、復号遅延が小さくて符号化効率の
低いPモードでは粗い量子化で符号量を抑制するので、
画質が劣化する。

【００１４】さらに、利用するネットワークの持つ伝送
エラーの発生状況による動画符号モードの使い分けを説
明する。動画通信が、文書などのデータ通信と比べて異
なる点は、動画符号の到着時間に制限がある代わりに、
伝送エラーの許容レベルが緩和される点である。

【００１５】動画符号に伝送エラーがあると、対応する
動画の画面の一部が短時間に欠損したりする。欠損の許
容レベルが、テレビ電話のような非鑑賞用途では緩く、
鑑賞用途では比較的厳しい。

【００１６】伝送エラーが引き起こす画像欠損の程度
は、動画符号モードによっておのおの異なる。Bモード
は、Pモードに対して、復号時にすでに復号済みの値を
多く参照して復号する。このため、参照値に伝送エラー
が発生した場合は、多くの復号値がエラーを含むことに
なる。従って、Bモードの方がPモードより画像欠損への
伝送エラーの影響が顕著である。

【００１７】このように、BモードまたはPモードのどち
らを選択するかは、伝送エラーの状況、復号遅延時間、
符号量制限などから、利用目的・利用状況に応じて決定
する必要がある。

【００１８】従来は、送信側の装置、例えば動画エンコ
ーダの内部で、BモードとPモードとの符号量を比較する
か、利用目的によって予めモード選択を決めていた。そ
のため、前述の特願平０９−２１６８１４号において
は、受信した動画符号を分析し、複数の動画符号モード
に対する画質を比較する。そして、前述の特願平０９−
２１６８１４号は、比較結果を送信側の装置へ出力する
手段を備えることにより、利用状況に応じた動画符号モ
ードを選択して通信する動画通信管理装置を提案してい
る。

【００１９】図３を用いて、特願平０９−２１６８１４
号の動画通信管理装置について簡単に説明する。図３
は、従来技術の説明の便宜のため、特願平０９−２１６
８１４号の動画通信管理装置のブロックの構成の詳細を
統合または分割し、再構成したブロック図である。

【００２０】動画エンコーダ110と動画送信部111とは、
動画通信装置の送信側の装置である。動画受信部131と
動画デコーダ130とは、動画通信装置の受信側の装置で
ある。ここで、動画エンコーダ110、動画送信部111、動
画受信部131および動画デコーダ130は、それぞれ別々の
機器であったり、統合された機器であったりする。その
ため、動画エンコーダ110、動画送信部111、動画受信部
131および動画デコーダ130は、図３において説明のた
め、便宜上分けて図示されている。

【００２１】動画エンコーダ110は、動画符号を生成
し、動画送信部111に出力する。動画送信部111は、入力
された動画符号を動画受信部131に出力する。動画受信
部131は、入力された動画符号を動画デコーダ130へ出力
する。動画デコーダ130は、入力された動画符号を複合
する。動画送信部111と動画受信部131とは、動画符号の
到着時間を制御するなどの動画通信のための通信プロト
コルを用いて通信する。

【００２２】ここで、動画受信部131で受信された動画
符号は、符号データ部132に一部またはすべてが入力さ
れる。符号データ部132の動画符号は、動画符号分析部1
40に対して、データとして出力される。動画符号分析部
140は、入力した動画符号を分析処理して、動画の画質
の比較などを行い、動画符号方式を評価する。例えば、
動画符号分析部140は、動画エンコーダ110から原画を入
力して、比較評価を行う。

【００２３】次に図４を用いて、従来の動画通信管理装
置が、複数の動画符号モードに対する画質を比較し、結
果を送信側の装置へ出力する動作例を説明する。この例
ではPモード／Bモードの選択を行う。

【００２４】図４の横軸は時間の経過を表す。まず(a)
では、動画エンコーダ110は、Pモードにて動画符号を生
成し、動画通信を行う。動画送信部111と動画受信部131
とを経て、符号データ部132は、動画符号分析部140へP
モードの動画符号を送出する。動画符号分析部140は、P
モードにより動画符号を復号し、例えば入力されている
原画と画質の比較を行い、評価Aを算定する。

【００２５】次に、図４の(b)において、動画エンコー
ダ110は、Bモードにより動画符号を生成し、動画通信を
行う。符号データ部132は、動画送信部111と動画受信部
131とを経て、Bモードの動画符号を動画符号分析部140
へ送出する。動画符号分析部140は、Bモードにより動画
符号を復号し、例えば入力されている原画と画質とを比
較して評価Bを算定する。

【００２６】ここで、画質の算定は、例えば、符号デー
タ部132から入力される動画符号を復号して得られる画
像と、原画との差分で得られる画像の画素値の画素当た
りの自乗平均値を求める。そして、この自乗平均値が小
さいほど、複合した画像は、原画に近いので画質が良い
とされる。

【００２７】さらに、図４の(c)では、評価Aと評価Bと
が比較され、PモードかBモードのうち、良好な画質を与
える方の動画符号モードが選択され、動画エンコーダ11
0が最適な方式で動画伝送を運用する。

【００２８】

【発明が解決しようとする課題】この従来の動画通信管
理装置、あるいは動画送信装置、動画受信装置を含む動
画通信装置では、例えば、縦横が352画素×288画素に代
表される矩形の画面の動画に対して、Bモード／Pモード
のどちらか一方を選択する方式が用いられている。図５
を用いて従来の動画通信管理装置の複合方式を説明す
る。図５は、従来の動画通信管理装置の複合方式を説明
する概念図である。図５の動画エンコーダ１１０におけ
る画像は、縦横が352画素×288画素の矩形の画面１０１
の動画であり、人物１０１ａ、四角形１０１ｂおよび背
景１０１ｃが映っている。動画エンコーダ１１０は、こ
の矩形の画面１０１の動画に対して、PモードかBモード
かを選択部１０２により選択して符号化する。符号化さ
れた動画符号は、動画送信部１１１を介して動画デコー
ダ１３０へ出力する。動画デコーダ１３０は、動画受信
部１３１を介して入力された動画符号を動画エンコーダ
１００において符号化されたモードと同じモードで選択
部１０３により復号し、元の矩形の画面１０４に人物１
０１ａ'、四角形１０１ｂ'および背景１０１ｃ'の動画
を再生する。

【００２９】ところが近年、MPEG-4をはじめとした動画
符号化方式には、さらに前述のような画面の中の物体や
背景などの構成要素を別々に分割して符号化の処理を行
い、復号処理する方式がある。

【００３０】ここで、別々に処理される物体や背景など
の構成要素をそれぞれ動画オブジェクトとする。図６を
用いて動画オブジェクトの説明を行う。図６は、動画通
信管理装置の複合方式を説明する概念図である。図６の
動画エンコーダ２００における画像は、縦横が352画素
×288画素の矩形の画面の動画であり、人物２０１、四
角形の物体２０２および背景２０３が合成されて映って
いる。例えば、人物２０１は、図示しないが模様のない
青色の壁を背景にしてビデオカメラで撮像されたディジ
タル動画像から青色の背景を削除した合成ディジタル画
像である。例えば、四角形の物体２０２は、コンピュー
タグラフィクスにより実在しない箱の映像を生成した合
成ディジタル画像である。例えば、背景２０３は、別の
場所で別のビデオカメラにより予め撮像された風景の遠
景映像である。これらを合成した画像は、この背景２０
３の前に、前述の四角形の物体２０２と人物２０１を配
置した映像とする。

【００３１】これら３種の人物２０１、四角形の物体２
０２および背景２０３は、それぞれ別の動画オブジェク
トである。たとえば、仮に四角形の物体２０２を動画オ
ブジェクト0とし、人物２０１を動画オブジェクト1と
し、背景２０３を動画オブジェクト2とする。そして、
これら動画オブジェクト0、動画オブジェクト1および動
画オブジェクト２は、動画エンコーダ２００において別
々に符号化されて、動画デコーダ２０５へ送信部２０４
を介して送信される。受信側の動画デコーダ２０５で
は、受信部２０６を介して動画符号を受信する。そし
て、受信された動画符号は、動画オブジェクト0、動画
オブジェクト1および動画オブジェクト２の動画オブジ
ェクトごとに復号処理される。これにより、これら３種
の動画オブジェクトは、前述の背景２０３'の前に、前
述の四角形の物体２０２'と人物２０１'を配置するよう
に合成される。

【００３２】上述したように、動画オブジェクト別に符
号化の処理及び復号処理を行う方式では、動画符号モー
ドの選択を動画オブジェクトごとに行う。例えば、動画
オブジェクト0については、選択部210によりPモードかB
モードの選択を行う。また、動画オブジェクト1につい
ては、選択部２１１によりPモードかBモードの選択を行
う。さらに、動画オブジェクト2については、選択部212
によりPモードかBモードの選択を行う。そして、動画オ
ブジェクト0、動画オブジェクト1および動画オブジェク
ト２は、選択部215、選択部216および選択部217におい
てそれぞれPモードかBモードかの選択が行われる。

【００３３】次に、前述の図６の動画の送信処理および
受信処理における動画オブジェクト別の選択を説明す
る。例えばこの人物201があまり動きのない四角形の物
体202を説明している映像だとする。この場合、四角形
の物体202については、細かい部分まで精細に符号化す
るが、一方、あまり動きがないので復号遅延の許容量が
大きい。人物201については、主題ではないので、細か
い部分までは符号化する必要がないが、一方、発話中の
唇など顔の表情および物体を指し示す手指の動きがある
ため、復号遅延の許容量が小さい。また、背景203につ
いては、細かい部分の符号化が必要でもないし、動きを
忠実に再生する必要もない。以上の利用目的から推奨さ
れる時間予測モードは、この段階において、四角形の物
体202がBモード、人物202がPモードとして選択される可
能性がある。ここで、背景203はどちらのモードともい
えない。

【００３４】さらに、この後、前述と同様に、符号量の
制限および伝送エラーの影響と、映像素材の違いにより
良好な受信画質を与える動画符号モードとを比較分析に
よって知るため、動画デコーダ１３０は、動画の一部を
伝送する。すなわち、動画デコーダ130は、符号データ
部132で取得した動画符号を動画符号分析部１４０へ出
力する。そして、動画符号分析部140は、入力された動
画符号の比較分析を行い、前記動画オブジェクトごとに
最適なモードを選択する必要が生じる。

【００３５】上述した状態において、全体の上記選択の
数は、動画オブジェクトそれぞれに対する動画符号モー
ドの選択肢について、すべての動画オブジェクトにわた
る直積で求められる。前述の例は簡単な場合であるが、
全体の上記選択の数は、3個の動画オブジェクトについ
て、それぞれPモードかBモードかの選択があるため、2
×2×2=8通りの選択が必要である。

【００３６】したがって、モードの選択を行うために動
画エンコーダ200を人手により操作する方法は、画像の
送信処理および受信処理が非常に繁雑であり、比較分析
して選択肢が決定するまでの時間が長い。

【００３７】また、動画オブジェクトごとの比較分析方
法は同じであるが、ディジタルデータの数値処理である
ために、前述の比較分析に利用できる計算機には、制約
が少ないので、一般に複数台利用できる場合が多い。一
台の計算機のみで処理を行うと負荷が集中し分析結果の
でるまでの時間が長くなる。そのため、複数台の計算機
への負荷の分散が課題となっている。

【００３８】また、動画符号分析部は、動画エンコーダ
と連携した動作が必要である。また、特に原画との比較
を行う場合には、情報量が一般に大きい。そのため、動
画符号分析部と動画エンコーダとは、情報量の点で接続
方法が課題となる。

【００３９】

【課題を解決するための手段】前述した問題点を解決す
るため、本発明による動画通信装置は、次のような特徴
を有する。

【００４０】請求項１記載の発明は、動画通信装置にお
いて、複数の動画オブジェクトからなるディジタル動画
を符号化して動画符号を出力する動画エンコーダと、前
記動画符号が入力され、この動画符号をネットワークに
送信する動画送信部と、前記ネットワークから前記動画
符号を受信する動画受信部と、前記動画受信部が受信し
た前記動画符号を復号する動画デコーダとからなる動画
送受信装置において、前記動画受信部が受信した前記動
画符号の一部またはすべてを一時記憶して出力する符号
データ部と、前記符号データ部が出力する前記動画符号
が入力され、かつ動画符号を生成する動画エンコーダと
接続された動画通信分析部とからなり、前記動画通信分
析部は、前記動画エンコーダに対して、前記動画オブジ
ェクトごとに前記動画符号モードを変えて出力し、２種
以上の前記動画符号モードを、前記動画オブジェクトご
とに比較分析する比較分析手段と、前記動画オブジェク
トごとの前記比較分析結果を前記動画エンコーダへ送出
する手段を備え、前記動画エンコーダは、前記比較分析
結果に基づいて、前記動画オブジェクトごとに、２種以
上の前記動画符号モードの中から対応する動画符号モー
ドを選択する第１の選択手段を備え、前記動画オブジェ
クトごとに選択した前記動画符号モードを用いて前記動
画を送信することを特徴とする。

【００４１】請求項２記載の発明は、請求項１記載の動
画通信装置において、前記動画通信分析部が複数の動画
オブジェクト分析部からなり、前記動画オブジェクト分
析部が前記動画オブジェクトに対して、おのおの２種以
上の前記動画符号モードを比較分析する第２の比較分析
手段と、比較分析結果を前記動画エンコーダへ送出する
第２の送出手段とを備え、複数の前記動画オブジェクト
分析部が、ネットワークによりそれぞれ互いに接続され
ていることを特徴とする。

【００４２】請求項３記載の発明は、請求項１記載の動
画通信装置において、前記動画通信分析部が複数の動画
オブジェクト分析部からなり、前記動画オブジェクト分
析部が前記動画オブジェクトについて、２種以上の前記
動画符号モードを比較分析する第３の比較分析手段と、
この比較分析結果を前記動画エンコーダへ送出する第３
の送出手段を備え、すべての前記動画オブジェクト分析
部が、前期ネットワークを介さず、前記動画エンコーダ
と接続されていることを特徴とする。

【００４３】請求項４記載の発明は、請求項１乃至請求
項３のいずれかに記載の動画通信装置において、前記動
画オブジェクト分析部が前記動画エンコーダから対応す
る原画符号を入力する手段と、前記符号データ部から対
応する前記動画符号を入力する入力手段を備え、前記動
画エンコーダが符号化損失が無いか無視できる大きさの
小さい原画符号を生成する原画符号生成手段を備え、前
記原画符号と前記動画符号とを比較分析することによ
り、２種以上の前記動画符号モードと前記比較分析の結
果とを前記動画エンコーダへ送出することを特徴とす
る。

【００４４】請求項５記載の発明は、請求項１乃至請求
項４のいずれかに記載の動画通信装置において、前記動
画通信分析部が動画利用パラメータを取得する取得手段
と、一部またはすべての前記動画オブジェクトにおいて
２種以上の前記動画符号モードを比較分析する第３の比
較分析手段とを備え、前記比較分析結果に基づいて、前
記動画オブジェクトごとに２種以上の前記動画符号モー
ドの中から対応する動画符号モードを選択する第２の選
択手段を備え、他の前記動画オブジェクトについて、前
記動画利用パラメータから前記動画符号モードを選択す
る第３の選択手段を備え、前記動画オブジェクトごとに
選択した前記動画符号モードを用いて前記動画を送信す
ることを特徴とする。

【００４５】

【発明の実施の形態】次に、図面を参照して、本発明の
実施形態の構成について説明する。図１は、本発明の一
実施形態を示す動画通信装置の構成を示すブロック図で
ある。

【００４６】動画エンコーダ10は、複数の動画オブジェ
クトからなる動画符号を生成し、動画送信部11に出力す
る。動画送信部11は、入力された動画符号を動画受信部
31に出力する。動画受信部31は、入力された動画符号を
動画デコーダ30へ出力する。動画デコーダ30は、入力さ
れた動画符号を復号す。動画送信部11と動画受信部31
は、通信網20を用いて、動画符号の到着時間を制御する
など動画通信のための通信プロトコルにより通信の制御
を行う。

【００４７】動画エンコーダ10と動画送信部11は、動画
通信装置の送信側の装置であり、動画受信部31と動画デ
コーダ30は、動画通信装置の受信側の装置である。動画
エンコーダ10、動画送信部11、動画受信部31および動画
デコーダ30は、それぞれ別々の機器であったり、統合さ
れた機器であったりする。図1では説明の便宜のため、
動画エンコーダ10、動画送信部11、動画受信部31および
動画デコーダ30は、分けられて図示されている。

【００４８】次に、動画受信部31は、受信された動画符
号の一部またはすべてを符号データ部32に出力する。符
号データ部32は、動画符号分析部40に対して、入力され
た動画符号をデータとして出力する。すなわち、動画復
号上の時間制約を課す必要はなく、例えば伝送エラーが
発生した場合には、エラーが発生したデータの再送を行
うなど行い、確実にデータの受け渡しを行う。図1にお
いては、符号データ部32と動画符号分析部40とを接続網
21により接続している例を示す。また、符号データ部32
と動画符号分析部40との接続は、別の伝送路を用いて行
ってもよい。さらに、符号データ部32と動画符号分析部
40との接続は、通信網20を一部共有して行ってもよい。

【００４９】動画符号分析部40は、入力された動画符号
を分析処理して、動画符号モードを評価する。また、動
画符号分析部40は、動画エンコーダ10から原画または原
画符号を入力して比較評価を行う。さらに、 動画符号
分析部40は、動画符号モードの評価結果を動画エンコー
ダ10に出力する。原画符号を入力する場合には、動画符
号分析部40において動画符号が原画に復号される。ま
た、動画符号分析部40は、上述したような動画符号モー
ドに関する評価のため、動画通信のシステム全体の制御
を行う。

【００５０】さらに、動画符号分析部40における動画符
号モードの評価方法には、前述の特願平０９−２１６８
１４号による方法を用いてもよい。ここでは、2種以上
の動画符号モードについて、動画符号分析部40は、符号
データ部32から入力した動画符号を復号した画像と、動
画エンコーダ10から入力した原画との差分画像を求め
る。また、動画符号分析部40は、複数の動画符号モード
の評価において、画素当たりの自乗平均値が最小値とな
る動画符号モードを最適な動画符号モードとして、動画
エンコーダ10に出力する。

【００５１】例えば、図1において、動画符号分析部40
と動画エンコーダ10とを実線で示す接続網21により接続
している例を示すが、接続網21でなく別の伝送路を用い
てもよい。また、動画符号分析部40と動画エンコーダ10
とは、通信網20を一部共有して接続されてもよい。特
に、動画エンコーダ10から原画を入力するため、動画符
号分析部40と動画エンコーダ10とは、点線の示すような
伝送路Lを用いて接続してもよい。

【００５２】また、動画符号分析部40は、動画システム
制御部400と、複数の動画オブジェクト分析部41、42、4
3・・とから構成されている例を示している。さらに、
動画符号分析部40、動画システム制御部400、動画オブ
ジェクト分析部41、42、43・・は、それぞれディジタル
数値処理を行う計算機を用いることもできる。

【００５３】動画オブジェクト分析部41、42、43・・
は、符号データ部32から複数の動画オブジェクトからな
る動画符号を、動画オブジェクト単位で入力する。ま
た、原画との比較のため動画エンコーダ10から原画符号
を入力する場合は、動画オブジェクト分析部41、42、43
・・は、動画エンコーダ10から対応する動画オブジェク
トに関する原画符号を入力する。 さらに、動画オブジ
ェクト分析部41、42、43・・は、それぞれの動画オブジ
ェクトについて、２種以上の動画符号モードの比較評価
結果を動画システム制御部400に出力する。また、動画
システム制御部400は、複数の動画符号モードの比較評
価の中で最もよい評価を与える動画符号モードを動画エ
ンコーダ10へ出力する。

【００５４】例えば、符号データ部32からの動画符号が
５種の動画オブジェクトから構成されており、動画符号
分析部４０が動画オブジェクト分析部41、42、43により
構成されている場合を説明する。動画オブジェクト分析
部41には、はじめの動画オブジェクトの2種類が入力さ
れる。また、動画オブジェクト分析部42には、次の動画
オブジェクトの2種類が入力される。さらに、動画オブ
ジェクト分析部43には、残りの動画オブジェクト1種類
が入力される。また、例えば、他の例において、動画エ
ンコーダ10から原画符号を入力する場合、動画オブジェ
クト分析部41には、はじめの動画オブジェクト2種類が
入力される。また、動画オブジェクト分析部42には、次
の動画オブジェクト2種類が入力される。さらに、動画
オブジェクト分析部43には、残りの動画オブジェクト1
種類が入力される。

【００５５】次に、図1において、動画システム制御部4
00と動画オブジェクト分析部41、42、43・・とは、接続
網21により、動画エンコーダ部10および符号データ部32
と接続されている。また、動画システム制御部400と動
画オブジェクト分析部41、42、43・・とは、接続網21が
通信網20と一部共有して接続されてもよい。さらに、動
画システム制御部400は、符号データ部32および動画エ
ンコーダ部10とそれぞれ別に接続されてもよい。また、
動画システム制御部400は、それぞれ動画オブジェクト
分析部41、42、43・・と別々に接続されてもよい。

【００５６】また、動画オブジェクト分析部41、42、43
・・は、符号データ部32および動画エンコーダ10とそれ
ぞれ別途接続されてもよい。

【００５７】遠隔通信において、通信網20の通信料が高
い場合、図1の構成において、通信コストを低減する接
続が行なえればよい。例えば、動画符号分析部40が動画
エンコーダ10の原画データを入力する場合、原画データ
は、動画符号量に比べて非常に大きなデータ量である。
このため、一般に、音声通信やデータ通信用途に普及し
ている10Mbit/秒以下の帯域の伝送路では、転送に非常
に長い時間がかかる。大容量のネットワークによる転送
は、原画データの転送が短時間で済むが、コストが高い
欠点がある。また、動画エンコーダ10と動画符号分析部
40とを同一の機器内に内蔵して、数十cm程度の長さの機
器内バスにより接続する方法がある。

【００５８】一方、動画符号分析部40が動画エンコーダ
10から原画符号を入力する方法がある。動画エンコーダ
10が前原画符号を生成する手段は、符号化損失が無いか
無視できる程度に小さい原画符号を生成する。例えば、
各動画フレームごとに静止画圧縮を行うか、あるいは、
前述の動画符号化方式における量子化において、量子化
の間隔を細かくするように量子化係数を設定して動画符
号を生成する方法がある。

【００５９】原画符号のデータ量は、動画送信部11と動
画受信部31とで通信される動画符号のデータ量とほぼ同
程度であるので、通信網20かまたは同程度の帯域を持つ
伝送路で接続されればよい。動画符号分析部40、動画シ
ステム制御部400および動画オブジェクト分析部41、4
2、43・・は、計算機を用いて構成され、接続網21、た
とえば、公衆電話回線またはLAN(Local Area Network)/
WAN(Wide Area Network)によって接続されてもよい。

【００６０】次に、上述した動画通信装置の動作につい
て、図１および図2を用いて詳細に説明する。図2は、n
番目の動画オブジェクトがPモードまたはBモードのいず
れかであるかの選択を行う例を示している。

【００６１】図2（a）において、Pモードの動画伝送と
その評価Aとを説明する。たとえば、n番目の動画オブジ
ェクトに関する分析は、動画オブジェクト分析部42が行
うものとする。動画オブジェクト分析部42は、動画エン
コーダ10からn番目の動画オブジェクトに関する動画符
号を入力し、復号してn番目の動画オブジェクトに関す
る原画を一時記憶する。

【００６２】動画システム制御部400は、動画エンコー
ダ10にn番目の動画オブジェクトをPモードで動画符号を
生成する制御信号を送出する。この制御信号が入力され
ることにより、動画エンコーダ10は、n番目の動画オブ
ジェクトをPモードで動画符号を生成し、この動画符号
を動画送信部10へ出力する。そして、動画送信部10は、
入力された動画符号を動画電送として出力する。次に、
動画受信部31は、入力される動画符号を符号データ部32
に出力する。そして、符号データ部32は、この入力され
た動画符号をデータ通信により、動画符号分析部40へ出
力する。これにより、動画符号分析部40において、動画
オブジェクト分析部42は、n番目の動画オブジェクトに
対応するPモードの動画符号を復号する。そして、動画
オブジェクト分析部42は、複合された動画とn番目の動
画オブジェクトに対応する原画との差分画像を求める。
これにより、動画オブジェクト分析部42は、画素当たり
の複合された動画とn番目の動画オブジェクトに対応す
る原画との自乗平均値を算定し、n番目の動画オブジェ
クトのPモードに対する品質を評価Ａとする。

【００６３】次に、 図2（ｂ）において、Pモードの動
画伝送とその評価Bとを説明する。たとえば、たとえ
ば、n番目の動画オブジェクトに関する分析は、動画オ
ブジェクト分析部42が行うものとする。動画オブジェク
ト分析部42は、動画エンコーダ10からn番目の動画オブ
ジェクトに関する動画符号を入力し、復号してn番目の
動画オブジェクトに関する原画を一時記憶する。動画シ
ステム制御部400は、n番目の動画オブジェクトをBモー
ドで動画符号を生成する制御信号を動画エンコーダ10へ
送出する。この制御信号が入力されることにより、動画
エンコーダ10は、入力されたn番目の動画オブジェクト
をBモードで動画符号を生成し、この動画符号を動画送
信部10へ出力する。そして、動画送信部１０は、入力さ
れた動画符号を動画通信として出力する。次に、動画受
信部31は、入力される動画符号を符号データ部32へ出力
する。そして、符号データ部32は、この入力された動画
符号をデータ通信により、動画符号分析部40へ出力す
る。これにより、動画符号分析部40において、動画オブ
ジェクト分析部42は、n番目の動画オブジェクトに対応
するBモードの動画符号を復号する。そして、動画オブ
ジェクト分析部42は、複合された動画とn番目の動画オ
ブジェクトに対応する原画との差分画像を求める。これ
により、動画オブジェクト分析部42は、画素当たりの複
合された動画とn番目の動画オブジェクトに対応する原
画との自乗平均値を算定し、n番目の動画オブジェクト
のBモードに対する品質を評価Bとする。

【００６４】次に、動画オブジェクト分析部42は、入力
された画素当たりの自乗平均値をPモードおよびBモード
で比較し、小さい値を与える方のモードを、n番目の動
画オブジェクトに対応するる最適動画符号モードとし
て、動画エンコーダ10に出力する。

【００６５】上述した処理と同様の動作を複数の動画オ
ブジェクトについて実行した後、図2(ｚ)に示す様に、
動画エンコーダ10は、複数の動画オブジェクトについ
て、それぞれ最適な動画符号モードで動画符号を生成し
て動画転送を行う。

【００６６】しかしながら、動画を構成する動画オブジ
ェクトの数と動画符号モードの選択肢の組み合わせ大き
い場合は、図２に示す動画伝送による評価をすべて実行
すると、長い時間を要してしまう。このような場合、一
実施形態の動画通信装置は、次のように動作する。

【００６７】動画システム制御部400は、接続網２１を
介して動画利用パラメータを取得する。そして、動画シ
ステム制御部400は、動画利用パラメータに基づいて一
部またはすべての動画オブジェクトに対する適当な動画
符号モードを選択し、また、変更が必要な場合にこの動
画利用パラメータを動画エンコーダ10へ出力する。この
ため、動画利用パラメータにより選択できなかった動画
オブジェクトに対して、前述した動画伝送による比較評
価を実行してもよい。動画伝送による評価をすべて実行
する場合に比べて、短い時間で最適な動画符号の伝送モ
ードを選択することができる。

【００６８】ここで、動画利用パラメータとは、通信網
21における利用可能な帯域、動画通信に用いる通信プロ
トコルの種類、ネットワークプロトコルの種類などの
他、動画利用目的のうち動画符号評価に関係するパラメ
ータで、テレビ会議やデレビ電話など双方向の会話のた
め小さな遅延を必要とする目的かどうか、高画質を必要
とする映像の鑑賞を目的とするかどうかなどを示すパラ
メータである。また、必要に応じて、動画利用パラメー
タには、動画オブジェクトごとにパラメータを指定して
もよい。さらに、動画利用パラメータは、動画送信側と
動画受信側とを含めた装置から取得されたり、または、
ユーザにより入力されたりする。

【００６９】また、動画利用パラメータは、前述の特願
平０９−２１６８１４号に記載されている評価方法にお
ける動画符号を利用しない方法に使用されるものを用い
てもよい。たとえば、動画利用パラメータには、表示処
理におけるコンシールメント処理などに関するアクショ
ン情報、受信表示端末の型名・CPU処理速度情報を用い
てよい。ここでコンシールメント処理とは、複合された
動画の特定の小さな部分が伝送エラー等により欠損して
いる場合、画像の隣接した部分を複写して、欠損部には
め込むことにより、表面画像の上で欠損を隠して目立た
なくすることである。

【００７０】また、例えば、動画利用パラメータには、
通信網21における伝送エラー率、再送率、廃棄データ
長、伝送遅延時間、符号レート・課金量などのパラメー
タを用いてよい。さらに、例えば、動画利用パラメータ
には、別の動画通信装置において実験によって得られた
動画符号モードの特性に関するパラメータ、当該の動画
通信装置において過去の伝送によって得られた動画符号
モードの選択結果に関するパラメータなどを用いてよ
い。このような動画利用パラメータを用いた動画符号モ
ードの選択は、いわゆる知識処理とソフトウェアとによ
って、評価結果を導き出す構成を用いてもよい。ここ
で、知識処理とは、例えば、利用目的がテレビ会議であ
ることを示す動画パラメータが入力された場合、動画符
号モードに対する評価を算定するにあたり、原画との差
分画像の画素当たりの自乗平均の重要度に比べて、復号
遅延時間の重要度を大きくするように、評価算定方法を
変更するような処理を行う。これにより、多少の画質劣
化を許容し復号遅延の小さな動画符号モードが選択され
ることになる。

【００７１】次に、図６の動画オブジェクトを用いて応
用例の動作を説明する。動画オブジェクト2の背景203を
背にして、動画オブジェクト1である人物201が、動画オ
ブジェクト0である四角形の物体202について説明してい
る例である。動画システム制御部400は、動画利用パラ
メータとして、テレビ会議のため小さな遅延を必要とす
ることを示すパラメータと、非鑑賞用途であることを示
すパラメータとを取得する。同時に、動画システム制御
部400は、動画オブジェクト1である人物201について小
さな遅延が必要である。そして、動画システム制御部40
0は、精細な画質は不要であることを示すパラメータを
取得して、BモードよりPモードが適しているという選択
を行う。

【００７２】同時に、動画システム制御部400は、動画
オブジェクト2の背景203については非鑑賞用途であるこ
とを示すパラメータを取得して、画像符号のデータ量の
小さなBモードを選択する。動画オブジェクト0である四
角形の物体202についてのみ、PモードまたはBモードの
どちらが良好な画質を提供するかについて、動画伝送に
よる評価が行なわれる。図2の動作例において、動画オ
ブジェクトnをこの場合、動画オブジェクト0とすること
に相当する。

【００７３】上述のように動画利用パラメータを利用す
ることによって、動画符号分析部４０における画像符号
の評価時間を短縮することができる。

【００７４】

【発明の効果】請求項１記載の発明によれば、複数の動
画オブジェクトからなるディジタル動画を符号化して動
画符号を出力する動画エンコーダと、前記動画符号が入
力され、この動画符号をネットワークに送信する動画送
信部と、前記ネットワークから前記動画符号を受信する
動画受信部と、前記動画受信部が受信した前記動画符号
を復号する動画デコーダとからなる動画送受信装置にお
いて、前記動画受信部が受信した前記動画符号の一部ま
たはすべてを一時記憶して出力する符号データ部と、前
記符号データ部が出力する前記動画符号が入力され、か
つ動画符号を生成する動画エンコーダと接続された動画
通信分析部とからなり、前記動画通信分析部は、前記動
画エンコーダに対して、前記動画オブジェクトごとに前
記動画符号モードを変えて出力し、２種以上の前記動画
符号モードを、前記動画オブジェクトごとに比較分析す
る比較分析手段と、前記動画オブジェクトごとの前記比
較分析結果を前記動画エンコーダへ送出する手段を備
え、前記動画エンコーダは、前記比較分析結果に基づい
て、前記動画オブジェクトごとに、２種以上の前記動画
符号モードの中から対応する動画符号モードを選択する
第１の選択手段を備え、前記動画オブジェクトごとに選
択した前記動画符号モードを用いて前記動画を送信する
ため、前記動画符号モードについて、前記動画オブジェ
クトごとに並行して比較分析の上、動画符号モードを選
択して動画通信が行われるので、動画符号モードを選択
する時間が短縮できる効果がある。

【００７５】請求項２記載の発明によれば、前記動画通
信分析部が複数の動画オブジェクト分析部からなり、前
記動画オブジェクト分析部が前記動画オブジェクトに対
して、おのおの２種以上の前記動画符号モードを比較分
析する第２の比較分析手段と、比較分析結果を前記動画
エンコーダへ送出する第２の送出手段とを備え、複数の
前記動画オブジェクト分析部が、ネットワークによりそ
れぞれ互いに接続されているため、動画オブジェクトご
との比較分析方法が同じであり、ディジタルデータの数
値処理であるので、前述の比較分析に利用できる計算機
に、制約が少ないので、容易に複数台の計算機が利用で
き、一台の計算機のみで処理を行うのに比べて、複数台
の計算機への負荷が分散でき、比較的低コストで小規模
の計算機を用いることができ、かつ並列処理ができるの
で、分析結果が得られるまでの時間が短く、また、相互
に接続するネットワークの制約が少ないので、比較的低
い接続コストで利用できるという効果がある。

【００７６】請求項３記載の発明によれば、前記動画通
信分析部が複数の動画オブジェクト分析部からなり、前
記動画オブジェクト分析部が前記動画オブジェクトにつ
いて、２種以上の前記動画符号モードを比較分析する第
３の比較分析手段と、この比較分析結果を前記動画エン
コーダへ送出する第３の送出手段を備え、すべての前記
動画オブジェクト分析部が、前期ネットワークを介さ
ず、前記動画エンコーダと接続されているため、前記動
画通信分析部が等価な機能の数値処理モジュールを複製
でき、動画エンコーダと同一の機器内バスを用いて接続
することができ、連携した動作が容易となり、かつ一体
化した開発が行えるので、開発効率が向上する効果があ
る。

【００７７】請求項４記載の発明によれば、前記動画オ
ブジェクト分析部が前記動画エンコーダから対応する原
画符号を入力する手段と、前記符号データ部から対応す
る前記動画符号を入力する入力手段を備え、前記動画エ
ンコーダが符号化損失が無いか無視できる大きさの小さ
い原画符号を生成する原画符号生成手段を備え、前記原
画符号と前記動画符号とを比較分析することにより、２
種以上の前記動画符号モードと前記比較分析の結果とを
前記動画エンコーダへ送出するため、前記動画オブジェ
クト分析部が該当する動画オブジェクト符号のみを入力
すればよいので、原画情報の伝送に要するインターフェ
ースの帯域幅と伝送時間とについて、原画の全情報を伝
送する場合に比べて、制約が小さくなるため、動画符号
の開発効率が向上し、さらに低コストで制作できる効果
がある。

【００７８】請求項５記載の発明によれば、前記動画通
信分析部が動画利用パラメータを取得する取得手段と、
一部またはすべての前記動画オブジェクトにおいて２種
以上の前記動画符号モードを比較分析する第３の比較分
析手段とを備え、前記比較分析結果に基づいて、前記動
画オブジェクトごとに２種以上の前記動画符号モードの
中から対応する動画符号モードを選択する第２の選択手
段を備え、他の前記動画オブジェクトについて、前記動
画利用パラメータから前記動画符号モードを選択する第
３の選択手段を備え、前記動画オブジェクトごとに選択
した前記動画符号モードを用いて前記動画を送信するた
め、前記動画オブジェクトの数および前記動画符号モー
ドの選択肢の数が増えても、前記動画オブジェクトの数
と前記動画符号モードとのあらゆる組み合わせにおい
て、すべての組み合わせに対して動画伝送による比較分
析を行わなくても、動画利用パラメータに基づきもっと
も対応する選択肢を精選することができ、限られた時間
内で、総合適に良好な動画の品質を与える動画符号モー
ドを選択して動画通信が行える効果がある。

【図面の簡単な説明】

【図１】 本発明の一実施形態による動画通信装置の構
成を示すブロック図である。

【図２】 図１に示す一実施形態の動画通信装置の動作
を示す概念図である。

【図３】 従来の動画通信装置の構成を示すブロック図
である。

【図４】 図３の動画通信装置の動作を示す概念図であ
る。

【図５】 従来の動画符号化方式の動作を示す概念図で
ある。

【図６】 動画オブジェクトを用いた動画符号化方式の
動作を示す概念図である。

【符号の説明】

10 動画エンコーダ 41、42、43 動画オブジェク
ト分析部 11 動画送信部 400 動画システム制御部 20 通信網 30 動画デコーダ 31 動画受信部 32 符号データ部 40 動画符号分析部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の動画オブジェクトからなるディジ
   タル動画を符号化して動画符号を出力する動画エンコー
   ダと、 前記動画符号が入力され、この動画符号をネットワーク
   に送信する動画送信部と、 前記ネットワークから前記動画符号を受信する動画受信
   部と、 前記動画受信部が受信した前記動画符号を復号する動画
   デコーダとからなる動画送受信装置において、 前記動画受信部が受信した前記動画符号の一部またはす
   べてを一時記憶して出力する符号データ部と、 前記符号データ部が出力する前記動画符号が入力され、
   かつ動画符号を生成する動画エンコーダと接続された動
   画通信分析部とからなり、 前記動画通信分析部は、 前記動画エンコーダに対して、前記動画オブジェクトご
   とに前記動画符号モードを変えて出力し、２種以上の前
   記動画符号モードを、前記動画オブジェクトごとに比較
   分析する比較分析手段と、 前記動画オブジェクトごとの前記比較分析結果を前記動
   画エンコーダへ送出する手段を備え、 前記動画エンコーダは、前記比較分析結果に基づいて、
   前記動画オブジェクトごとに、２種以上の前記動画符号
   モードの中から対応する動画符号モードを選択する第１
   の選択手段を備え、 前記動画オブジェクトごとに選択した前記動画符号モー
   ドを用いて前記動画を送信することを特徴とする動画通
   信装置。
2. 【請求項２】 前記動画通信分析部が複数の動画オブジ
   ェクト分析部からなり、 前記動画オブジェクト分析部が前記動画オブジェクトに
   対して、おのおの２種以上の前記動画符号モードを比較
   分析する第２の比較分析手段と、比較分析結果を前記動
   画エンコーダへ送出する第２の送出手段とを備え、 複数の前記動画オブジェクト分析部が、ネットワークに
   よりそれぞれ互いに接続されていることを特徴とする請
   求項１記載の動画通信装置。
3. 【請求項３】 前記動画通信分析部が複数の動画オブジ
   ェクト分析部からなり、 前記動画オブジェクト分析部が前記動画オブジェクトに
   ついて、２種以上の前記動画符号モードを比較分析する
   第３の比較分析手段と、この比較分析結果を前記動画エ
   ンコーダへ送出する第３の送出手段を備え、 すべての前記動画オブジェクト分析部が、前期ネットワ
   ークを介さず、前記動画エンコーダと接続されているこ
   とを特徴とする請求項１記載の動画通信装置。
4. 【請求項４】 前記動画オブジェクト分析部が前記動画
   エンコーダから対応 する原画符号を入力する手段と、前記符号データ部から
   対応する前記動画符号を入力する入力手段を備え、 前記動画エンコーダが符号化損失が無いか無視できる大
   きさの小さい原画符号を生成する原画符号生成手段を備
   え、 前記原画符号と前記動画符号とを比較分析することによ
   り、 ２種以上の前記動画符号モードと前記比較分析の結果と
   を前記動画エンコーダへ送出することを特徴とする請求
   項１乃至請求項３のいずれかに記載の動画通信装置。
5. 【請求項５】 前記動画通信分析部が動画利用パラメー
   タを取得する取得手段と、 一部またはすべての前記動画オブジェクトにおいて２種
   以上の前記動画符号モードを比較分析する第３の比較分
   析手段とを備え、 前記比較分析結果に基づいて、前記動画オブジェクトご
   とに２種以上の前記動画符号モードの中から対応する動
   画符号モードを選択する第２の選択手段を備え、 他の前記動画オブジェクトについて、前記動画利用パラ
   メータから前記動画符号モードを選択する第３の選択手
   段を備え、 前記動画オブジェクトごとに選択した前記動画符号モー
   ドを用いて前記動画を送信することを特徴とする請求項
   １乃至請求項４のいずれかに記載の動画通信装置。