JPH07135651A - 映像通信システム - Google Patents

Abstract

(57)【要約】 【目的】 受信映像のうち注目する領域を高精細に得る
ことで経済的な映像通信を実現する。 【構成】 注目領域検出装置１４は視線位置データ１０
３から注目領域データ１０４を検出し伝送路１６を介し
相手局へ送信する。映像符号化制御装置１９は、映像伝
送装置１５が受信した注目領域データ１０７と伝送路か
ら検出した輻輳程度データ１０８から入力される旧符号
化パラメータを再生成し、新符号化パラメータ１１０と
して映像符号化装置１７へ入力する。映像符号化装置１
７は入力される新符号化パラメータ１１０を用いて映像
信号１０６を映像データ１０５へ符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、圧縮した映像データを
あらゆる種類の伝送路を介して通信する映像通信システ
ムに関するものである。

【０００２】

【従来の技術】従来の映像通信システムは、伝送路の利
用効率を最も重視し映像の内容と品質を考慮せずに、伝
送路の帯域幅に送信できるビットレートで映像全体を高
効率圧縮し通信している。受信する映像の注目する部分
を鮮明に得ようとする場合には伝送路の帯域幅を大きく
するしかなく、また伝送路において輻輳の発生する場合
には通信が出来なくなるか映像全体の品質が落ちること
になる。

【０００３】以下図５を参照しながら、従来の映像通信
システムにおける映像符号化制御の一例について説明す
る。

【０００４】図５は従来の映像通信システムにおける映
像符号化制御の構成を示すブロック図である。図５で５
１は復号化された映像を表示する映像表示装置、５２は
受信した映像データを復号化する映像復号化装置、５３
は符号化された映像データを送受信する映像伝送装置、
５４は映像伝送装置５３が送信または受信するデータを
伝送する伝送路、５５は送信する映像を符号化する映像
符号化装置、５６は送信する映像を入力する映像入力装
置、５０１は映像復号化装置５２によって復号化された
映像信号、５０２は映像伝送装置５３によって受信され
た映像データ、５０３は映像符号化装置５５によって符
号化された映像データ、５０４は映像入力装置５６によ
って入力された映像信号である。

【０００５】以上のように構成された従来の映像通信シ
ステムについて、以下にその動作を説明する。映像入力
装置５６から入力された映像信号５０４は、あらかじめ
予約されている伝送路５４の使用帯域に送信可能なビッ
トレートになるように映像符号化装置５５で映像データ
５０３へ符号化され、映像伝送装置５３から伝送路５４
へ送信される。映像伝送装置５３が受信した映像データ
５０２は映像復号化装置５２で映像信号５０１へ復号化
され映像表示装置５１に表示される。

【０００６】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の映像通信システムでは、一度予約した伝送路
の使用帯域を変更しない間は受信映像の注目する領域を
精細に伝送することは困難であり、満足する映像の精細
度を得るためには必要以上の伝送路の使用帯域の予約ま
たは変更が伴い、得る映像の品質に対し伝送路の有効利
用の観点から無駄が多くなる。

【０００７】また伝送路に輻輳が生じた場合、実時間で
の伝送路の使用帯域変更が不可能なシステムでは映像の
伝送自体が出来なくなり、実時間での伝送路の使用帯域
変更が可能なシステムにおいても伝送ビットレートの減
少によって得られる映像全体の品質が劣化するか、少な
くとも受信者の注目する映像領域の品質は保証されない
という課題を有していた。

【０００８】本発明は上記課題を解決し、受信者の注目
する映像領域を精細に伝送することにより伝送路の効果
的利用及び経済的映像通信を可能とし、また伝送路の輻
輳に対し受信映像の品質を極端に落とすことなく実時間
で対応することを可能とする映像通信システムを提供す
るものである。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、第１の本発明の映像通信システムは映像を入力する
映像入力装置と、入力された映像信号を符号化する映像
符号化装置と、映像伝送装置から得る注目領域データや
輻輳程度データから符号化パラメータを再生成する映像
符号化制御装置と、符号化された映像データと注目領域
データを伝送路へ送受信する映像伝送装置と、受信した
映像データを復号化する映像復号化装置と、復号化され
た映像データを表示する映像表示装置と、表示された映
像に対し注目する視線を入力する視線入力装置と、捕ら
えた視線の位置データから映像の注目領域を検出する注
目領域検出装置を備えている。

【００１０】また第２の本発明は、映像伝送装置に伝送
路の輻輳程度を検出する手段を備え、映像伝送装置から
得る輻輳程度データからも符号化パラメータの生成が可
能な映像符号化制御装置を備えている。

【００１１】また第３の本発明の映像通信システムは第
１の映像通信システムの伝送路と映像伝送装置以外の装
置を備えている。

【００１２】

【作用】第１の本発明は、上記の構成によって、自局で
は映像表示装置に表示された受信映像を見ると同時に視
線入力装置へ入力された視線から検出した注目領域デー
タを相手局へ送信し、相手局では自局から送られてきた
注目領域データと映像符号化装置から得られる現在の符
号化パラメータを基に送信映像の注目領域がより精細に
なるように新しい符号化パラメータを再生成し、再生成
された符号化パラメータによって符号化された映像デー
タが相手局から自局へ送信されることにより、自局が受
信映像の中から自局の注目する領域の品質を重視した映
像を見ることができる。

【００１３】また第２の本発明は、映像伝送装置が伝送
路の輻輳を検出し、その程度によって注目する映像領域
の品質を急激に劣化させることなく、伝送路の使用帯域
を増減しながら映像通信することができる。

【００１４】また双方の局に送信系と受信系の２つを兼
ね備えたシステムを考えた場合、自局が自局の入力映像
を表示し、注目する視線から検出した映像領域を高品質
符号化した映像データを相手局へ送信することも同様に
可能である。

【００１５】第３の本発明は、上記の構成によって、映
像表示装置に表示された映像を見ると同時に視線入力装
置へ入力された視線から検出した注目領域データと映像
符号化装置から得られる現在の符号化パラメータを基
に、表示映像の注目領域または非注目領域またはその両
方に特殊効果を施す新しい符号化パラメータを再生成
し、再生成された符号化パラメータによって符号化され
た映像データを復号化し表示することで、表示映像を見
る行為によって実時間で表示映像に特殊効果をかけるこ
とができる。

【００１６】

【実施例】

（実施例１）以下第１の本発明の映像通信システムの一
実施例について、図面を参照しながら説明する。

【００１７】図１は第１の本発明の映像通信システムの
構成を示すブロック図である。図１で１１は復号化され
た映像を表示するテレビやコンピュータディスプレイ等
の映像表示装置、１２は受信した入力映像データを復号
化する映像復号化装置、１３は映像表示装置１１に表示
される映像を見る視線を入力する視線入力装置、１４は
入力された視線の位置から注目領域を検出する注目領域
検出装置、１５は映像データと注目領域データを送受信
する映像伝送装置、１６は映像伝送装置１５が送信また
は受信するデータを伝送する伝送路、１７は送信する映
像を符号化する映像符号化装置、１８は送信する映像を
入力する映像入力装置、１９は映像符号化装置１７にお
ける符号化パラメータを制御する映像符号化制御装置、
１０１は映像復号化装置１２によって復号化された映像
信号、１０２は映像伝送装置１５によって受信された映
像データ、１０３は視線入力装置１３から入力された視
線位置データ、１０４は注目領域検出装置１４によって
検出された注目領域データ、１０５は映像符号化装置１
７によって符号化された映像データ、１０６は映像入力
装置１８から入力された映像信号、１０７は注目領域検
出装置１４の出力で映像伝送装置１５によって受信され
た注目領域データ、１０８は映像伝送装置１５が検出す
る伝送路１６の輻輳程度データ、１０９は映像符号化装
置１７によって生成される旧符号化パラメータ、１１０
は映像符号化制御装置１９が再生成する新符号化パラメ
ータである。

【００１８】図２は映像表示装置１１の表示映像におけ
る注目領域の例図である。図２で２１は第１の注目領
域、２２は第２の注目領域、２３は非注目領域、２４は
映像符号化制御装置１９で再生成する新符号化パラメー
タ１１０の再生成手段を説明する画素領域である。

【００１９】図３は映像符号化制御装置１９で再生成す
る新符号化パラメータ１１０の再生成手段を説明する説
明図である。図３で３１は画素領域２４の各画素に画素
値を表示した４×４画素の元画素領域、３２は注目領域
データ１０７を基に元画素領域３１と空間的に同等の画
素領域の非注目領域２３及び第２の注目領域２２に含ま
れる画素にそれぞれ２及び１／２の重み付け値を表した
重み付けマトリックス、３３は従来の量子化マトリック
スである旧符号化パラメータ、３４は本発明における新
符号化パラメータ再生成手段によって再生成された量子
化マトリックスである新符号化パラメータ、３５は元画
素領域３１の各画素値を新符号化パラメータ３４の各量
子化ステップで割り小数点以下を四捨五入した量子化後
の画素領域、３６は量子化後の画素領域３５の各画素値
に新符号化パラメータ３４の各量子化ステップをかけた
逆量子化後の画素領域、３７は元画素領域３１の各画素
値と逆量子化後の画素領域３６の各画素値の差分を表す
量子化誤差画素領域である。

【００２０】以上のように構成された第１の本発明の映
像通信システムついて、以下にその動作を説明する。自
局は、映像伝送装置１５で受信した映像データ１０２を
映像復号化装置１２で映像信号１０１へ復号化し映像表
示装置１１に表示する。映像表示装置１１に表示された
映像を見ながら、その視線を眼球運動測定装置などを用
いて視線入力装置１３に入力し視線位置データ１０３と
して注目領域検出装置１４へ入力する。

【００２１】注目領域検出装置１４は、入力された視線
位置データ１０３から第１の注目領域２１及び第２の注
目領域２２そして非注目領域２３の３領域を示す注目領
域データ１０４を実時間で検出し映像伝送装置１５から
伝送路１６を介し相手局へ送信する。相手局は、映像入
力装置１８から入力された映像信号１０６を基に映像符
号化装置１７で伝送路１６の使用帯域に送信可能なビッ
トレートになるように映像信号の符号化パラメータを生
成し旧符号化パラメータ１０９として映像符号化制御装
置１９に入力する。

【００２２】映像符号化制御装置１９は、映像伝送装置
１５が自局から受信した注目領域データ１０７を基に新
符号化パラメータ１１０を再生成する手段を用いて第１
の注目領域２１に最大の重み付け、第２の注目領域２２
に中間の重み付け、非注目領域２３には最小の重み付け
を施し、映像伝送装置１５が検出した伝送路１６の輻輳
程度データ１０８を基に映像全体のビットレートの上限
を変化させ、新符号化パラメータ１１０を出力する。

【００２３】映像符号化装置１７は映像符号化制御装置
１９で再生成された新符号化パラメータ１１０を使用し
入力される映像信号１０６を符号化し映像データ１０５
として映像伝送装置１５から伝送路を介し自局へ送信す
る。

【００２４】次に新符号化パラメータ１１０を再生成す
る手段を説明する。非注目領域２３と第２の注目領域２
２を８画素ずつ持つ４×４画素の画素領域２４に各画素
値を表したものが元画素領域３１である。

【００２５】また旧符号化パラメータ３３は、映像符号
化装置１７で元画素領域３１の各画素値と目標符号化量
から生成されるかまたはあらかじめ決められたデフォル
ト値である。映像符号化制御装置１９で、注目領域デー
タ１０７を基に元画素領域３１と空間的に同等の画素領
域の非注目領域３３及び第２の注目領域３２にそれぞれ
２及び１／２の重み付け値を表した重み付けマトリック
ス３２を作成し、旧符号化パラメータ３３の各量子化ス
テップに重み付けマトリックス３２の各重み付け値をか
けることで旧符号化パラメータから新符号化パラメータ
３４を再生成する。

【００２６】映像符号化装置１７では、元画素領域３１
の各画素値を新符号化パラメータ３４の各量子化ステッ
プでわり小数点以下を四捨五入することで量子化後の画
素領域３５を作成し、量子化後の画素領域３５と新符号
化パラメータ３４を映像データ１０５として送信する。

【００２７】受信した映像データ１０２は映像復号化装
置１２において量子化後の画素領域３５と新符号化パラ
メータ３４に分けられ、量子化後の画素領域３５と新符
号化パラメータ３４をかけて逆量子化後の画素領域３６
を再生する。

【００２８】また逆量子化後の画素領域３６の各画素値
と元画素領域３１の各画素値の差分をとった量子化誤差
画素領域３７をみれば、第２の注目領域２２が非注目領
域２３に比べて画素の誤差値が小さく精細に符号化され
ていることが分かる。

【００２９】さらに量子化誤差画素領域３７の各量子化
誤差値を符号化し逆量子化後の画素領域３６の各画素値
と足しあわせればさらに精細な符号化制御が可能とな
る。

【００３０】以上のように本実施例によれば、自局は自
局の注目する映像領域の品質を重視した映像を相手局か
ら受信することが出来、伝送路の輻輳に対して注目領域
の品質を極端に落とさずに実時間で対応し、伝送路の有
効かつ経済的利用が可能となる映像通信が行えるもので
ある。

【００３１】なお、第１の本発明の実施例において注目
領域を３つの領域にしたが、１つ以上の任意の領域を注
目領域とすることも可能であり、注目領域の位置と大き
さも実施例に示した限りではない。また、送信系と受信
系の双方の機能を兼ね備えること及び、自局に表示した
自局の映像の注目領域を検出し自局の映像符号化制御装
置を制御することも可能である。

【００３２】また、輻輳程度データのみによる映像符号
化制御、注目領域データのみによる映像符号化制御、輻
輳程度データと注目領域データの両方による映像符号化
制御と映像符号化制御を行わない場合及びそれらのあら
ゆる組み合わせも考えられる。また、視線入力において
眼球運動測定装置を用いたがマウス、キーボードその他
の入力装置でも可能である。

【００３３】また、新符号化パラメータの再生成手段の
説明において画素領域の画素数、画素値、旧符号化パラ
メータの量子化ステップ、新符号化パラメータの量子化
ステップ、重み付けマトリックスの重み付け値は実施例
に示した限りではなく、実施例以外の新符号化パラメー
タの再生成手段も考えられる。さらに映像として動画を
例としたが、静止画であってもよい。

【００３４】（実施例２）次に本発明の第２の実施例に
ついて図面を参照しながら説明する。図４は本発明の第
２の実施例における映像通信システムの構成を示すブロ
ック図である。図４で４１は復号化された映像を表示す
るテレビやコンピュータディスプレイ等の映像表示装
置、４２は符号化された映像データを復号化する映像復
号化装置、４３は映像表示装置４１に表示される映像を
見る視線を入力する視線入力装置、４４は入力された視
線の位置から注目領域を検出する注目領域検出装置、４
５は表示映像を符号化する映像符号化装置、４６は表示
映像を入力する映像入力装置、４７は映像符号化装置４
５における符号化パラメータを制御する映像符号化制御
装置、４０１は映像復号化装置４２によって復号化され
た映像信号、４０２は映像符号化装置４５によって符号
化された映像データ、４０３は視線入力装置４３から入
力された視線位置データ、４０４は注目領域検出装置４
４によって検出された注目領域データ、４０５は映像入
力装置４６から入力された映像信号、４０６は映像符号
化装置４５によって生成される旧符号化パラメータ、４
０７は映像符号化制御装置４７が再生成する新符号化パ
ラメータである。

【００３５】以上のように構成された映像通信システム
ついて、以下にその動作を実施例１で用いた注目領域で
ある図２を用いて説明する。映像表示装置４１は映像復
号化装置４２が復号化した映像信号４０１を表示する。
表示される映像を見ながら、その視線を視線入力装置４
３に入力し視線位置データ４２０３として注目領域検出
装置４４へ入力する。注目領域検出装置４４は、入力さ
れた視線位置データ４０３から第１の注目領域２１及び
第２の注目領域２２そして非注目領域２３の３領域を示
す注目領域データ４０４を実時間で検出し映像符号化制
御装置４７へ入力する。

【００３６】映像符号化装置４５は、映像入力装置４６
から入力された映像信号４０５を基に映像信号の符号化
パラメータを生成し旧符号化パラメータ４０６として映
像符号化制御装置４７に入力する。映像符号化制御装置
４７は、注目領域検出装置４４から入力された注目領域
データ４０４を基に第１の注目領域２１に最大の重み付
け、第２の注目領域２２に中間の重み付け、非注目領域
２３には最小の重み付けを施し、新符号化パラメータ４
０７を出力する。

【００３７】映像符号化装置４５は映像符号化制御装置
４７で再生成された新符号化パラメータ４０７を使用し
入力される映像信号４０５を符号化し映像データ４０２
として映像復号化装置４２に入力する。映像復号化装置
４２は入力された映像データ４０２を復号化し映像デー
タ４０１として映像表示装置に入力する。

【００３８】以上のように本実施例によれば、第１の実
施例の構成から伝送路及び映像伝送装置を外すことによ
って、表示映像に表示映像を見る行為を以て特殊効果を
かけることが可能となる。例として、テレビゲームに応
用すればゲームに参加する人が見ている部分を精細にす
るだけでなく、ぼかしたりモザイク処理をかけたり場合
によって処理を切り換えたりする新しいゲームアプリケ
ーションが可能となり、モンタージュに応用すれば数人
の容疑者の静止画像の中から目撃者の注目する部分だけ
を取り出し電子的に足しあわせ補間することで犯人の予
測画像が作成できる。

【００３９】なお、本実施例において注目領域を３つの
領域にしたが、１つ以上の任意の領域を注目領域とする
ことも可能であり、注目領域の位置と大きさ及び各注目
領域の重み付けも実施例に示した限りではない。また、
映像符号化制御を行わない場合や行わない場合との組み
合わせの動作も考えられる。さらに映像として動画を例
としたが、静止画であってもよい。

【００４０】

【発明の効果】以上のように本発明によれば、第１に、
視線入力装置と注目領域検出装置と映像符号化制御装置
を設けることにより、実時間で注目領域の品質を重視し
た受信映像を見ること及び伝送路の輻輳に対し全体の使
用帯域を増減させつつ受信映像の注目領域の品質を極端
に落とさずに映像通信を行うことができ、伝送路の有効
利用及び経済的な映像通信を実現できる。

【００４１】また第２に、視線入力装置と注目領域検出
装置と映像符号化制御装置を設けることにより、表示映
像を見る行為によって、その注目領域または非注目領域
またはその両方に実時間で特殊効果をかけることがで
き、娯楽的または芸術的または心理的映像通信を実現で
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における映像通信システ
ムの実施例の構成を示すブロック図

【図２】本発明の表示映像における注目領域例図

【図３】本発明の新符号化パラメータの再生成手段を説
明する概念図

【図４】本発明の第２の実施例における映像通信システ
ムの構成を示すブロック図

【図５】従来の映像通信システムの構成を示すブロック
図

【符号の説明】

１１ 映像表示装置 １２ 映像復号化装置 １３ 視線入力装置 １４ 注目領域検出装置 １５ 映像伝送装置 １６ 伝送路 １７ 映像符号化装置 １８ 映像入力装置 １９ 映像符号化制御装置 １０１ 映像信号 １０２ 映像データ １０３ 視線位置データ １０４ 注目領域データ １０５ 映像データ １０６ 映像信号 １０７ 注目領域データ １０８ 輻輳程度データ １０９ 旧符号化パラメータ １１０ 新符号化パラメータ ２１ 第１の注目領域 ２２ 第２の注目領域 ２３ 非注目領域 ２４ 画素領域 ３１ 元画素領域 ３２ 重み付けマトリックス ３３ 旧符号化パラメータ ３４ 新符号化パラメータ ３５ 量子化後の画素領域 ３６ 逆量子化後の画素領域 ３７ 量子化誤差画素領域 ４１ 映像表示装置 ４２ 映像復号化装置 ４３ 視線入力装置 ４４ 注目領域検出装置 ４５ 映像符号化装置 ４６ 映像入力装置 ４７ 映像符号化制御装置 ４０１ 映像信号 ４０２ 映像データ ４０３ 視線位置データ ４０４ 注目領域データ ４０５ 映像信号 ４０６ 旧符号化パラメータ ４０７ 新符号化パラメータ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 映像データと注目領域データを送受信す
   る映像伝送装置と、受信した映像データを復号化する映
   像復号化装置と、復号化された映像を表示する映像表示
   装置と、前記映像表示装置に表示される映像を見る視線
   の位置を捕らえる視線入力装置と、入力された視線の位
   置から注目する映像領域を検出する注目領域検出装置
   と、送信する映像を入力する映像入力装置と、入力され
   た送信映像を符号化する映像符号化装置と、映像符号化
   における符号化パラメータを制御する映像符号化制御装
   置を備え、前記映像符号化制御装置が前記映像伝送装置
   から得る注目領域データと前記映像符号化装置から得る
   現在の符号化パラメータから新しい符号化パラメータを
   再生成する映像通信システム。
2. 【請求項２】 映像伝送装置に伝送路の輻輳程度を検出
   する手段を備え、映像符号化制御装置が前記映像伝送装
   置から得る輻輳程度データと注目領域データ及び映像符
   号化装置から得る現在の符号化パラメータから、新しい
   符号化パラメータを再生成し前記映像符号化装置を制御
   することを特徴とする請求項１記載の映像通信システ
   ム。
3. 【請求項３】 符号化した映像データを復号化する映像
   復号化装置と、復号化された映像を表示する映像表示装
   置と、前記映像表示装置に表示される映像を見る視線の
   位置を捕らえる視線入力装置と、入力された視線の位置
   から注目する映像領域を検出する注目領域検出装置と、
   表示する映像を入力する映像入力装置と、入力された映
   像を符号化する映像符号化装置と、映像符号化における
   符号化パラメータを制御する映像符号化制御装置を備
   え、前記映像符号化制御装置が前記注目領域検出装置か
   ら得る注目領域データと前記映像符号化装置から得る現
   在の符号化パラメータから新しい符号化パラメータを再
   生成する映像通信システム。