JPH1169355A - 画像伝送装置 - Google Patents

Abstract

(57)【要約】 【課題】 可変長復号不可能な誤りのある受信画像符号
を受け取ってからリフレッシュ要求を出すまでの時間を
可及的に短くし、リフレッシュ要求及びリフレッシュ要
求に応じて行われるリフレッシュ動作を速やかに効率良
く行うようにした画像伝送装置を提供する。 【解決手段】 分離／多重部１１０で伝送路から受け取
り分離した受信画像符号データＳ５１をバッファ５０３
と誤り検出用可変長復号器５０４とに入力し、可変長復
号化する過程で画像受信符号に誤りがあると、復号が不
可能になるが、誤り検出用可変長復号化器５０４は、復
号不可能な状態を検出することにより、復号化制御部５
０５に誤り通知Ｓ５２を行う。これは、従来バッファ蓄
積後に行っていた検出を早く行うことになる。復号化制
御部５０５は、誤り通知Ｓ５２を受けると、分離／多重
部１１０へ、リフレッシュ要求信号Ｓ５３を出力し、送
信元へ送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を伝送する装
置に関し、より詳細には、誤りが大きな伝送路を用い伝
送を行う場合に、伝送誤りを検出し、リフレッシュを行
う機能を備えるようにした画像伝送装置に関する。

【０００２】

【従来の技術】動画に３次元予測を用い、かつ、符号化
し伝送する方式の画像伝送装置の従来技術として、リフ
レッシュ要求を通知する手段を備えた画像伝送装置が知
られている。図３は、リフレッシュ機能を備えた従来の
画像伝送装置を例示するブロック図である。図３を参照
して、この従来例を以下に説明する。送信画像データＳ
４６は１つ以上の画像フレームの情報からなり、自装置
１００，相手装置２００として示される伝送装置におい
て、画像符号化部１４５での符号化方式は、１フレーム
分の送信画像データＳ４６を送信画像符号Ｓ４２として
出力するフレーム内符号化であるＩＮＴＲＡ符号化器１
４６による符号化と、符号化対象となる画像フレームと
これに先行する画像フレームとの差分情報を送信画像符
号として出力するフレーム間予測符号化であるＩＮＴＥ
Ｒ符号化器１４７による符号化を用いている。１つのフ
レームの情報は、ＩＮＴＲＡ符号化により生成された送
信画像符号よりも、ＩＮＴＥＲ符号化により生成された
送信画像符号の方が符号量が小さくなる。

【０００３】画像符号化部１４５で符号化され伝送され
るべき画像符号は、図４のデータ構成をとる。画像符号
（図３のＳ４３で示す）は、図４に示されるようにフレ
ームヘッダとフレームデータの繰り返しで構成される。
フレームデータは、さらに、ＧＯＢ(Group Of Blocks)
ヘッダとＧＯＢデータの繰り返しで構成される。ＧＯＢ
データは、さらに、マクロブロックヘッダと、マクロブ
ロックデータの繰り返しで構成される。１フレーム内の
ＧＯＢとマクロブロックの組合せからなるフレームにお
けるブロックの関係を、図５に示す。図５に示すよう
に、１フレームはｎ個（ｎは整数）のＧＯＢで構成さ
れ、ＧＯＢはｍ個（ｍは整数）のマクロブロックで構成
される。

【０００４】画像符号化部１４５がＩＮＴＲＡ符号化さ
れた画像符号を出力するか、ＩＮＴＥＲ符号化された画
像符号を出力するかは、符号化制御部１４２の制御に従
ってフレーム，ＧＯＢ，マクロブロックいずれかの単位
で選択することができる。画像符号化部１４５がＩＮＴ
ＲＡ符号化された画像符号を出力するか、ＩＮＴＥＲ符
号化された画像符号を出力するかは、符号化制御部１４
２が判断し、選択する。通常、前記符号化方式は、フレ
ーム毎に選択され、ＩＮＴＲＡ符号化するフレームは、
間欠的に選択され、１つのフレームをＩＮＴＲＡ符号化
した送信符号の後にＩＮＴＥＲ符号化した複数フレーム
の送信符号がつづくという、符号化シーケンスで送信画
像データの符号化が行われている。

【０００５】画像符号化部１４５で符号化された画像符
号は、可変長符号化器１４１で、エントロピー符号化と
して知られている方法により可変長符号化し、送信画像
符号Ｓ４２としてそのデータを分離／多重部１１０へ渡
す。分離／多重部１１０は、送信画像符号Ｓ４２や、音
声符号（図示せず）など、その他の符号を多重して、伝
送路３００から相手装置２００に送信し、また、相手装
置２００から伝送路３００より受信した符号を受信画像
符号Ｓ４０や、音声符号（図示せず）など、その他の符
号に分離する。

【０００６】受信系について説明すると、受信し、分離
／多重部１１０で分離した受信画像符号Ｓ４０を復号化
部１２０におけるバッファ１２３に一時蓄える。可変長
復号化器１２２は、受信画像符号Ｓ４０をバッファ１２
３から読み出し、可変長復号化をして可変長復号化され
たデータを、画像復号化器１２１に渡す。画像復号化器
１２１は、可変長復号化されたデータを復号化し、受信
画像データＳ４５を出力する。可変長復号化器１２２に
おいて、可変長複合化する過程で画像受信符号の復号が
不可能となった場合、その受信画像符号内に誤りがある
ことがわかり、可変長復号化器１２２は復号化制御部１
２４に、誤り通知Ｓ４７を行う。

【０００７】復号化制御部１２４は、可変長復号化器１
２２から誤り通知を受けると、分離／多重部１１０へ、
リフレッシュ要求信号Ｓ４１を出力する。分離／多重化
部１１０は、リフレッシュ要求信号Ｓ４１を他のデータ
と多重し、相手装置２００へ送信する。これを受信する
相手装置において、分離／多重部１１０が受信データを
分離した結果、リフレッシュ要求信号Ｓ４１があれば、
それを符号化制御部１４２へ出力する。符号化制御部１
４２は、リフレッシュ要求信号Ｓ４４を受けると、画像
符号化部１４５にＩＮＴＲＡ符号化を選択させ、フレー
ムの送信画像データをＩＮＴＲＡ符号化器１４６でＩＮ
ＴＲＡ符号化して送信するようになる。

【０００８】

【発明が解決しようとする課題】上記した従来の画像伝
送装置では、復号化部において、受信画像符号を一時バ
ッファに蓄えた後に、可変長復号化を行っているため、
自装置が可変長復号不可能な誤りのある受信画像符号を
受け取ってからリフレッシュ要求を出すまでに長い時間
が掛かるという問題点があった。

【０００９】本発明は、こうした従来技術における問題
点に鑑みてなされたもので、可変長復号不可能な誤りの
ある受信画像符号を受け取ってからリフレッシュ要求を
出すまでの時間を可及的に短くし、リフレッシュ要求及
びリフレッシュ要求に応じて行われるリフレッシュ動作
を速やかに効率良く行うようにした画像伝送装置を提供
することをその解決すべき課題とする。

【００１０】

【課題を解決するための手段】本発明の画像伝送装置の
復号化部において、受信画像符号をバッファに蓄えるよ
りも前、あるいは同時に可変長復号を行うことにより、
可変長復号不可能な誤りのある受信データを検知するタ
イミングを早め、自装置が可変長復号不可能な誤りのあ
る受信画像符号を受け取ってから、リフレッシュ要求信
号を出すまでの時間を短くする。

【００１１】そして、各請求項の発明は、以下の解決手
段をなすものである。請求項１の発明は、動画像にフレ
ーム間予測を含む３次元予測を用い、かつ、可変長符号
化して伝送される画像符号を受信後に可変長復号し、該
復号の過程で受信画像符号に誤りがあることを検出した
とき、リフレッシュ要求信号を生成し、送信元に伝送す
る画像伝送装置において、伝送信号の分離／多重部から
出力される受信画像符号を一時蓄えるバッファと、該バ
ッファから読み出した受信画像符号を可変長復号する可
変長復号化器と、該可変長復号化器の出力を復号化して
受信画像データを出力する画像復号化器と、前記分離／
多重部から出力され前記バッファへの入力と並列に入力
される前記受信画像符号に符号誤りが含まれることを検
出する誤り検出用可変長復号化器と、該誤り検出用可変
長復号化器による誤りの検出結果を受けてリフレッシュ
要求信号を生成する復号化制御部とを備える復号化部及
び前記復号化制御部で生成したリフレッシュ要求信号を
前記伝送画像符号の送信元に送信する送信部を有するよ
うにしたものである。

【００１２】請求項２の発明は、請求項１の発明におい
て、前記誤り検出用可変長復号化器は、画面をブロック
化して画像データを構成する伝送画像符号に対する誤り
の検出を、誤った受信画像符号を含んだブロックの位置
として検出し、該検出結果の誤りブロックの位置情報を
前記復号化制御部に通知し、前記復号化制御部は、前記
リフレッシュ要求信号とともに前記誤りブロックの位置
情報を伝送画像符号の送信元に送信し、前記リフレッシ
ュ要求信号を受け取った伝送画像符号の送信元の符号化
制御部は、誤りブロックと、該誤りブロックと関連のあ
るブロックをリフレッシュする機能を備えることを特徴
としたものである。

【００１３】請求項３の発明は、動画像にフレーム間予
測を含む３次元予測を用い、かつ、可変長符号化して伝
送される画像符号を受信後に可変長復号し、該復号の過
程で受信画像符号に誤りがあることを検出したとき、リ
フレッシュ要求信号を生成し、送信元に伝送する画像伝
送装置において、伝送信号の分離／多重部から出力され
る受信画像符号を可変長復号し、かつ、該受信画像符号
が符号誤りを含んでいることを検出する機能をもつ可変
長復号化器と、該可変復号化器による可変長復号結果を
一時蓄えるバッファと、該バッファから読み出した可変
長復号化データを復号化して受信画像データを出力する
画像復号化器と、前記可変長復号化による誤りの検出結
果を受けてリフレッシュ要求信号を生成する復号化制御
部とを備える復号化部及び前記復号化制御部で生成した
リフレッシュ要求信号を前記伝送画像符号の送信元に送
信する送信部を有するようにしたものである。

【００１４】請求項４の発明は、請求項３の発明におい
て、前記可変長復号化器は、画面をブロック化して画像
データを構成する伝送画像符号に対する誤りの検出を、
誤った受信画像符号を含んだブロックの位置として検出
し、該検出結果の誤りブロックの位置情報を前記復号化
制御部に通知し、前記復号化制御部は、前記リフレッシ
ュ要求信号とともに前記誤りブロックの位置情報を伝送
画像符号の送信元に送信し、前記リフレッシュ要求信号
を受け取った伝送画像符号の送信元の符号化制御部は、
誤りブロックと、該誤りブロックと関連のあるブロック
をリフレッシュする機能を備えることを特徴としたもの
である。

【００１５】請求項５の発明は、請求項２又は４の発明
において、誤りブロック位置情報としてＧＯＢ番号ある
いはマクロブロック番号を用いるとともに、伝送画像符
号の送信元の前記符号化制御部は、受信したリフレッシ
ュ要求信号に付けた前記ＧＯＢ番号あるいはマクロブロ
ック番号で指定され番号を有するＧＯＢあるいはマクロ
ブロックについてＩＮＴＲＡ符号化を行うことにより前
記リフレッシュを機能させ、得たリフレッシュされた画
像符号の送信を制御することを特徴としたものである。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。図１は、本発明による画
像伝送装置の実施例の構成を示すブロック図であり、同
図にもとづき、本装置の構成及び動作を説明する。図１
において、分離／多重部１１０で伝送路から受け取り分
離した受信画像符号データＳ５１をバッファ５０３と誤
り検出用可変長復号器５０４とに入力する。バッファ５
０３に一時蓄えられる受信画像符号データを可変長復号
化器５０２は、バッファ５０３から読み出し、可変長復
号化をして可変長復号化されたデータを、画像符号化器
５０１に渡す。画像符号化器５０１では、可変長復号化
されたデータを復号し、受信画像データＳ５４として出
力し、利用機器に提供する。

【００１７】一方、誤り検出用可変長復号化器５０４
は、分離／多重部１１０から受け取る受信画像符号Ｓ５
１を可変長復号化する過程で画像受信符号に誤りがある
と、復号が不可能になるが、誤り検出用可変長復号化器
５０４は、この復号が不可能な状態を検出することによ
り、復号化制御部５０５に誤り通知Ｓ５２を行う。そし
て、復号化制御部５０５は、誤り検出用可変長復号化器
５０４から誤り通知Ｓ５２を受けると、分離／多重部１
１０へ、リフレッシュ要求信号Ｓ５３を出力する。

【００１８】図２は、本発明による画像伝送装置のもう
１つの実施例の構成を示すブロック図である。図２にお
いて、分離／多重部１１０で伝送路から受け取り分離し
た受信画像符号Ｓ６１を可変長復号化器６０３に入力す
る。可変長復号化器６０３は、分離／多重部１１０から
受け取る受信画像符号Ｓ６１を可変長復号化し、可変長
復号化されたデータをバッファ６０２に一時蓄えた後、
画像復号化器６０１に渡す。画像復号化器６０１は、可
変長復号化されたデータを復号し、受信画像データＳ６
４として出力し利用機器に供給する。

【００１９】一方、可変長復号化器６０３は、可変長復
号化する過程で受信画像符号Ｓ６１に誤りがあると、復
号が不可能になるが、可変長復号化器６０３はこの状態
を検出することにより、復号化制御部６０４に、誤り通
知Ｓ６２を行う。そして、復号化制御部６０４は、可変
長復号化器６０３から誤り通知Ｓ６２を受けると、分離
／多重部１１０へ、リフレッシュ要求信号Ｓ６３を出力
する。

【００２０】出力されるリフレッシュ要求信号の形態及
びその要求信号に応答するリフレッシュ動作は、前述の
従来技術と同様の手法により行うことができ、それによ
ればフレーム単位でリフレッシュを行うことになる。ま
た、従来技術のように１フレーム分リフレッシュを行う
のではなく、他の方法を用いることができ、それは、誤
りを含んだＧＯＢあるいはマクロブロックの部分だけリ
フレッシュを行う方法であり、下記の手段を用い実行す
る。図１の誤り検出用可変長復号化器５０４あるいは図
２の可変長復号化器６０３で、可変長復号化した結果の
ＧＯＢヘッダあるいはマクロブロックヘッダをカウント
し、現在、復号しているＧＯＢあるいはマクロブロック
の位置（図４参照）を検出し、これよりＧＯＢ番号ある
いはマクロブロック番号を生成する。可変復号化を行う
過程で画像受信符号に誤りがあり、復号が不可能になっ
たときに、誤り検出用可変長復号化器５０４、或いは、
可変長復号化器６０３は復号化制御部５０５，６０４
に、誤り通知Ｓ５２，Ｓ６２として、ＧＯＢ番号、ある
いはマクロブロック番号を通知する。

【００２１】復号化制御部５０５，６０４は、誤り検出
用可変長復号化器５０４、或いは可変長復号化器６０３
からＧＯＢ番号あるいはマクロブロック番号の誤り通知
Ｓ５２，Ｓ６２を受けると、分離／多重部１１０へ、Ｇ
ＯＢ番号あるいはマクロブロック番号付きリフレッシュ
要求信号Ｓ５３，Ｓ６３を出力する。符号化制御部５０
５，６０４は、ＧＯＢ番号あるいはマクロブロック番号
付きリフレッシュ要求信号Ｓ５３，Ｓ６３を受け、指定
された番号を有するＧＯＢあるいはマクロブロックだ
け、ＩＮＴＲＡ符号化された画像符号を出力するよう
に、画像符号化部（図１，図２に図示せず，図３参照）
を切り換える。

【００２２】

【発明の効果】請求項１に対応する効果：動画像を３次
元予測を用いて符号化して伝送する方式において、伝送
されてきた受信画像符号をバッファに一時蓄えるよりも
前に誤り検出用の可変長復号を行い、この過程で受信画
像符号に誤りが検出されたときに、相手装置にリフレッ
シュ要求信号を出すことにより、自装置が可変長復号不
可能な誤りのある受信画像符号を受け取ってから、リフ
レッシュ要求信号を出すまでの時間を短くし、リフレッ
シュ要求信号への対応を速やかに行うことにより、誤り
が含まれた受信画像データを出力する時間を短くするこ
とができる。

【００２３】請求項２に対応する効果：請求項１に対応
する効果に加えて、リフレッシュとして１画面（フレー
ム）分の符号を送る方法に比べ、誤りに影響されるブロ
ックだけ送るので、リフレッシュに用いる符号量が少な
くなり、従来のシステムに比べて伝送量の削減ができ
る。

【００２４】請求項３に対応する効果：動画像を３次元
予測を用いて符号化して伝送する方式において、伝送さ
れてきた受信画像符号をバッファに一時蓄えるよりも前
に可変長復号を行い、この過程で受信画像符号に誤りを
検出するようにし、誤りが検出されたときに相手装置に
リフレッシュ要求信号を出すことにより、自装置が可変
長復号不可能な誤りのある受信画像符号を受け取ってか
ら、リフレッシュ要求信号を出すまでの時間を短くし、
リフレッシュ要求信号への対応を速やかに行うことによ
り、誤りが含まれた受信画像データを出力する時間を短
くすることができる。請求項１の発明による効果におい
て、誤り検出用の可変長復号化器を別に設けることを要
件としたが、本発明ではこれを受信画像符号の可変長復
号化用の可変長復号化器と共用させることにより、装置
構成を簡素化できる。

【００２５】請求項４に対応する効果：請求項３に対応
する効果に加えて、リフレッシュとして１画面（フレー
ム）分の符号を送る方法に比べ、誤りに影響されるブロ
ックだけ送るので、リフレッシュに用いる符号量が少な
く、従来のシステムに比べて伝送量の削減ができる。

【００２６】請求項５に対応する効果：請求項２又は４
に対応する効果に加えて、誤りブロック位置情報として
用いるデータをＧＯＢ番号あるいはブロック番号と特定
し、さらに、これらのブロック単位でリフレッシュをＩ
ＮＴＲＡ符号化により行うことを特定することにより有
効な実施化手段を提供するものである。

【図面の簡単な説明】

【図１】本発明による画像伝送装置の実施例の構成を示
すブロック図である。

【図２】本発明による画像伝送装置のもう１つの実施例
の構成を示すブロック図である。

【図３】リフレッシュ機能を備えた従来の画像伝送装置
を例示するブロック図である。

【図４】伝送信号としての画像符号データの一般的な構
成について説明するための図である。

【図５】ブロックの組合せからなるフレームの構成を示
す概念図である。

【符号の説明】

１００…自装置、１１０…分離／多重部、１２０，５０
０，６００…復号化部、１２１，５０１，６０１…画像
復号化器、１２２，６０３…可変長復号化器、１２３，
５０３，６０２…バッファ、１２４，５０５，６０４…
復号化制御部、１４０…符号化部、１４１…可変長符号
化器、１４２…符号化制御部、１４５…画像符号化部、
１４６…ＩＮＴＲＡ符号化器、１４７…ＩＮＴＥＲ符号
化器、２００…相手装置、３００…伝送路、５０２…可
変長復号化器、５０４…誤り検出用可変長復号化器、Ｓ
４０，Ｓ５１，Ｓ６１…受信画像符号、Ｓ４１，Ｓ４
４，Ｓ５３，Ｓ６３…リフレッシュ要求信号、Ｓ４２…
送信画像符号、Ｓ４３…画像符号、Ｓ４５，Ｓ５４，Ｓ
６４…受信画像データ、Ｓ４６…送信画像データ、Ｓ４
７，Ｓ５２，Ｓ６２…誤り通知。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画像にフレーム間予測を含む３次元予
   測を用い、かつ、可変長符号化して伝送される画像符号
   を受信後に可変長復号し、該復号の過程で受信画像符号
   に誤りがあることを検出したとき、リフレッシュ要求信
   号を生成し、送信元に伝送する画像伝送装置において、
   伝送信号の分離／多重部から出力される受信画像符号を
   一時蓄えるバッファと、該バッファから読み出した受信
   画像符号を可変長復号する可変長復号化器と、該可変長
   復号化器の出力を復号化して受信画像データを出力する
   画像復号化器と、前記分離／多重部から出力され前記バ
   ッファへの入力と並列に入力される前記受信画像符号に
   符号誤りが含まれることを検出する誤り検出用可変長復
   号化器と、該誤り検出用可変長復号化器による誤りの検
   出結果を受けてリフレッシュ要求信号を生成する復号化
   制御部とを備える復号化部及び前記復号化制御部で生成
   したリフレッシュ要求信号を前記伝送画像符号の送信元
   に送信する送信部を有する画像伝送装置。
2. 【請求項２】 請求項１記載の画像伝送装置において、
   前記誤り検出用可変長復号化器は、画面をブロック化し
   て画像データを構成する伝送画像符号に対する誤りの検
   出を、誤った受信画像符号を含んだブロックの位置とし
   て検出し、該検出結果の誤りブロックの位置情報を前記
   復号化制御部に通知し、前記復号化制御部は、前記リフ
   レッシュ要求信号とともに前記誤りブロックの位置情報
   を伝送画像符号の送信元に送信し、前記リフレッシュ要
   求信号を受け取った伝送画像符号の送信元の符号化制御
   部は、誤りブロックと、該誤りブロックと関連のあるブ
   ロックをリフレッシュする機能を備えることを特徴とす
   る画像伝送装置。
3. 【請求項３】 動画像にフレーム間予測を含む３次元予
   測を用い、かつ、可変長符号化して伝送される画像符号
   を受信後に可変長復号し、該復号の過程で受信画像符号
   に誤りがあることを検出したとき、リフレッシュ要求信
   号を生成し、送信元に伝送する画像伝送装置において、
   伝送信号の分離／多重部から出力される受信画像符号を
   可変長復号し、かつ、該受信画像符号が符号誤りを含ん
   でいることを検出する機能をもつ可変長復号化器と、該
   可変復号化器による可変長復号結果を一時蓄えるバッフ
   ァと、該バッファから読み出した可変長復号化データを
   復号化して受信画像データを出力する画像復号化器と、
   前記可変長復号化による誤りの検出結果を受けてリフレ
   ッシュ要求信号を生成する復号化制御部とを備える復号
   化部及び前記復号化制御部で生成したリフレッシュ要求
   信号を前記伝送画像符号の送信元に送信する送信部を有
   する画像伝送装置。
4. 【請求項４】 請求項３記載の画像伝送装置において、
   前記可変長復号化器は、画面をブロック化して画像デー
   タを構成する伝送画像符号に対する誤りの検出を、誤っ
   た受信画像符号を含んだブロックの位置として検出し、
   該検出結果の誤りブロックの位置情報を前記復号化制御
   部に通知し、前記復号化制御部は、前記リフレッシュ要
   求信号とともに前記誤りブロックの位置情報を伝送画像
   符号の送信元に送信し、前記リフレッシュ要求信号を受
   け取った伝送画像符号の送信元の符号化制御部は、誤り
   ブロックと、該誤りブロックと関連のあるブロックをリ
   フレッシュする機能を備えることを特徴とする画像伝送
   装置。
5. 【請求項５】 請求項２又は４記載の画像伝送装置にお
   いて、誤りブロック位置情報としてＧＯＢ番号あるいは
   マクロブロック番号を用いるとともに、伝送画像符号の
   送信元の前記符号化制御部は、受信したリフレッシュ要
   求信号に付けた前記ＧＯＢ番号あるいはマクロブロック
   番号で指定され番号を有するＧＯＢあるいはマクロブロ
   ックについてＩＮＴＲＡ符号化を行うことにより前記リ
   フレッシュを機能させ、得たリフレッシュされた画像符
   号の送信を制御することを特徴とする画像伝送装置。