JPH11164296A - 映像表示方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 遠隔地からの符号化映像を復号化して表示す
るにあたり、エラー発生による歪みや不自然な画像表示
を軽減する。 【解決手段】 受信する映像素材の性質や伝送誤りの程
度に応じて各映像フレームの中を複数のグループに分類
する手段（１８０）、各映像フレームの復号化が正常に
処理できたか判別する手段（１２０）、映像フレームの
グループ分類に基づいて映像復号化が正常に処理できな
かったグループについて、フレームバッファ中の以前に
表示された復号化映像又はあらかじめ定めた特定の映像
などを利用して、あらたに表示すべき映像を作成する手
段（１３０）を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔地等から送ら
れてくる符号化映像を復号し、コンピュータディスプレ
ィやＴＶモニタに表示する技術分野に係り、詳しくは、
伝送途中でのエラーの発生に左右されることなく、本来
の映像素材を損わない映像表示を実現する映像表示方法
及び装置に関する。

【０００２】

【従来の技術】通信媒体を介して映像を伝送する場合、
有線区間においては外部雑音や周期性雑音、無線区間に
おいては天候やフェージング等の影響が通信データにエ
ラーを発生させる。このことにより、遠隔地から送られ
てくる符号化映像を復号して表示する映像に歪みや不自
然な画像が発生する。

【０００３】従来、復号側の表示方法としては、エラー
が発生した情報に対して表示をするかしないかの方法し
かなかった。このため、エラーをそのまま表示させた時
には、エラー個所によっては映像情報の歪みを表示をす
ることとなり、例えば図３のように、符号化処理単位で
あるマクロブロック又は、ＧＯＢ又は、スライス毎に異
なる時刻の画像を表示するしかなく、ちぐはぐな画面と
なっていた。図３は、ＧＯＢで処理する場合に、従来得
られたちぐはぐな表示画像を示したものである。一方、
エラー情報を表示させないとしたときには、目視で分か
らない程度の映像情報までも破棄していたため、フレー
ム枚数が減少したり、１フレーム中でも情報が欠落して
不自然な映像となっていた。

【０００４】ここで、マクロブロックとは１６画素×１
６ラインの正方形の輝度成分と画像中の空間位置が対応
する８画素×８ラインの２つの色差成分で構成され、Ｇ
ＯＢとは長方形の形状をした複数個のマクロブロックの
集まりで構成され、スライスとは画像の左上から始まっ
てラスタスキャン順序に右下に続く一連の任意個のマク
ロブロックの集まりで構成されることを意味する。これ
に関しては、例えば「ＭＰＥＧ／マルチメディア符号化
の国際標準」（平成６年９月３０日丸善株式会社発行）
１５ページに記載されている。

【０００５】

【発明が解決しようとする課題】上述のように、遠隔地
等から送られてくる符号化映像を復号化し、これをコン
ピュータディスプレィやＴＶモニタに表示する場合、復
号側での従来の表示方法としては、エラーが発生した情
報に対して表示をするかしないかの方法しかなかったた
め、次のような問題があった。

【０００６】（１）エラー情報をそのまま表示させた場
合、符号側の処理単位がフレーム単位であれば、復号側
でエラー情報による映像情報の歪みは１フレームすべて
に影響し、その影響をリフレッシュしない限り、いつま
でもエラー情報を引きずったままになる。また、符号側
の処理単位がＧＯＢやスライス単位であれば、復号側で
エラー情報による映像の歪みは、１フレームの中のある
一部分がエラーとなって表示されるため、場所によって
は本来の映像と掛け離れた情報で表示される（図３）。

【０００７】（２）エラー情報を表示させない場合、符
号側の処理単位がフレーム単位であれば、復号側でエラ
ー情報が発生したらそのフレームを破棄していているの
で、表示しても目視では分からない軽微なエラー情報で
も破棄される。そのため、フレーム枚数が軽微なエラー
環境下でも重度な環境と同じフレーム枚数しか表示させ
ることができない。また、符号側の処理単位がＧＯＢや
スライス単位であれば、復号側でエラー情報による歪み
は、１フレームの中のある一部分が表示されないので、
エラー情報以外は動いているのにエラー情報のところだ
け前画面が表示され、１フレームの映像情報としては不
自然な映像となる。

【０００８】本発明の目的は、このように従来のエラー
情報を表示することによる映像情報の歪みやエラー情報
を表示させないことによる不自然な映像表示を回避する
映像表示方法及び装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、遠隔地等から送られてくる符号
化映像を復号化して表示する方法において、各映像フレ
ームの復号化が正常に処理できたかを判別するステップ
と、受信する映像素材の性質や伝送誤りの程度に応じて
各映像フレームの中を複数のグループに分類するステッ
プと、前記分類に基づいて映像復号化が正常に処理でき
なかったグループについて表示すべき映像を作成するス
テップとを有することを特徴とする。

【００１０】また、請求項２の発明は、上記グループ分
類の単位としては、符号化処理単位のマクロブロック、
複数個のマクロブロックの集まりのＧＯＢあるいはスラ
イスを単位とすることを特徴とする。

【００１１】また、請求項３の発明は、上記映像復号化
が正常に処理できなかったグループについて表示すべき
映像の作成では、該当するグループの以前に復号化した
映像又は復号化映像でない特定の映像を利用することを
特徴とする。

【００１２】請求項４の発明は、遠隔地等から送られて
くる符号化映像を復号化して表示する装置において、各
映像フレームの復号化が正常に処理できたかを判別する
手段と、受信する映像素材の性質や伝送誤りの程度に応
じて各映像フレームの中を複数のグループに分類する手
段と、前記分類に基づいて映像復号化が正常に処理でき
なかったグループについて表示すべき映像を作成する手
段と、各グループ毎の映像表示を行った最新の復号化映
像を蓄積するフレームバッファとを有することを特徴と
する。

【００１３】このように、本発明では、１フレーム内に
おいて映像素材の性質や１フレーム内のエラー数の程度
によりグループ分けを行い、そのグループ単位で、エラ
ーが発生したら、当該グループの以前に表示した復号化
映像、復号化映像でない特定の映像などを表示すること
で、映像の歪みや不自然な画像を表示させないようにす
ることが可能になる。つまり、人物とか物といった一個
体として映像に意味があるものをひとつのグループにま
とめ、エラー情報の存在（１フレーム内の場所も含む）
に左右されないようにすることによって、本来ある映像
素材の構成を保つことができたり、エラーの少ない環境
で効率的なフレーム枚数の確保に役立つこととなる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図１、図２及び図４により説明する。図１は、本発明
の一実施の形態を示す構成図である。遠隔地等から送ら
れてくる符号化映像信号は復号化部１１０で復号され、
エラー判別部１２０へ送られる。エラー判別部１２０で
は、映像クレームの復号化が正常に処理できたか否か判
別し、エラーが検出されなければ、そのまま復号化映像
クレームをフレームバッファ１４０に書き込む。フレー
ムバッファ１４０に書き込まれた復号化映像フレーム
は、コンピュータディスプレイやＴＶモニタなどの表示
部１５０に表示される。即ち、フレームバッファ１４０
には、映像表示の行われた最新の復号化映像フレームが
蓄積される。

【００１５】一方、エラー判別部１２０でエラーが検出
されれば、当該復号化映像フレームは復号化映像制作部
１３０にも送られる。復号化映像制作部１３０では、グ
ループ分類部１８０によるグループ分けにもとづいて、
復号化映像フレームの中の正常に復号化処理できなかっ
たグループについて、フレームバッファ１４０内の該当
グループの直前に表示された復号化映像や該復号化映像
でない特定の映像などを利用して表示すべき復号化映像
を制作し、あたらめてフレームバッファ１４０に書き込
む。この結果、表示部１５０には、歪や不自然さのない
映像が表示される。

【００１６】次に、復号化映像制作部１３０とグループ
分類部１８０での処理について詳述する。グループ分類
部１８０は、伝送誤り指定部１６０や映像素材指定部１
７０からのグループ分けの指定に応じて復号画像フレー
ムの中を複数のグループに分類する。伝送誤り指定部１
６０は伝送路上の誤り発生の程度によりグループ分けを
指定する機構、映像素材指定部１７０は受信する映像素
材の性質によりグループ分けを指定する機構である。本
実施例では、該伝送誤り指定部１６０や映像素材指定部
１７０に対する指示はＧＵＩ（グラフィカル・ユーザ・
インタフェース）１９０を通して行われるとする。例え
ば、テレビ会議などでは受信される映像素材（人物）は
あらかじめ既知であり、ユーザはフレーム中の該当位置
を指示する。また、伝送誤りの程度はモニタ映像を監視
して確認し、フレーム中の該当エラー位置を指示する。
なお、伝送誤り指定部１６０では、エラー判別部１２０
からエラー検出情報を入力することにより、自動的にフ
レーム中のエラー位置を指示することも可能である。

【００１７】グループ分類部１８０では、伝送誤り指定
部１６０及び映像素材指定部１７０から入力される情報
を基にして復号化画像フレーム中をその位置に応じて複
数のグループに分類する。グループ分類部１８０で分割
される単位は、受信する復号化映像信号のエラー判別単
位、すなわちＧＯＢ単位又は、スライス単位又は、マク
ロブロック単位である。また、グループ分けは、伝送誤
り指定部１６０又は映像素材指定部１７０の一方の情報
あるいは両方の情報のいずれに基づいてもよいが、両方
の情報を利用する場合には両者のＡＮＤ条件とすればよ
い。図２の（Ａ），（Ｂ），（Ｃ）にそれぞれＧＯＢ単
位、スライス単位、マクロブロック単位でのグループ分
類例を示す。ここで、例えば（Ａ）のＧＯＢ単位の例に
ついて言えば、ＧＯＢ１，２，８，９を一つのグルー
プ、さらにＧＯＢ３，４，５，６，７を別の一つのグル
ープとして分類することを示している。ここでは、説明
を簡潔にするために受信する映像信号がＱＣＩＦ（１７
６×１４４画素）形式についてのみ例示しているが、異
なる画素数からなる映像信号についても同様に各種画像
符号化方式で定義されているマクロブロック、ＧＯＢ、
スライスを単位としたグループに分類できることは言う
までもない。この様にして決定されたグループ分類の内
容は、復号化映像制作部１３０に通知される。

【００１８】復号化映像制作部１３０では、グループ分
類部１８０により通知されたグループ分類に従ってエラ
ーが発生した各グループの映像を制作する。具体的に
は、復号化映像制作部１３０は、例えばグループ毎に、
１）エラーが発生したら復号できた映像も復号できない
映像もすべて表示させる機構、２）エラーが発生したら
復号できた映像も復号できない映像もすべて表示させ
ず、以前表示した映像を表示する機構、３）エラーが発
生したら復号できた映像も復号できない映像もすべて、
復号化映像でない特定の映像を表示させる機構、４）エ
ラーが発生したら復号できた映像のみ表示させ、復号に
失敗した映像については以前表示した映像を表示する機
構、５）エラーが発生したら復号できた映像のみ表示さ
せ、復号に失敗した映像について復号化映像でない特定
の映像を表示させる機構などを有し、これらを必要に応
じて使い分けるものとする。これにより、グループ分類
部１８０から通知されたグループ分類に乗っ取り、受信
した映像素材の性質ならびに伝送誤りの程度に最も適し
た映像を制作することができる。ここで、以前表示した
映像にはフレームバッファ１４０に蓄積されている復号
化映像を利用する（例えば、図３中の人物を以前に表示
したものに替える）。また、特定の映像としては、例え
ば黒情報などを利用する（例えば、図３中のブラインド
のずれている部分を黒画像でうめる）。なお、ここでは
説明を簡潔にするため、各グループ毎の映像制作内容と
して５種類を挙げたが、これに限定されるものでなく、
これら５つの機構とは異なる映像制作内容を有する機構
を更に並列に用意することで、更に最適な映像制作がで
きることは言うまでもない。

【００１９】以上の様にして表示される本発明による映
像表示例を図４に示す。図４からわかるように、映像素
材の性質を考慮しＧＯＢ３〜ＧＯＢ９までをグループ化
し、例えば、エラーが発生したら復号できた映像も復号
できない映像もすべて表示させず、以前表示した映像を
表示することにより、不自然な映像を回避し映像品質を
確保することができる。また、その他のＧＯＢ１，２に
ついては、エラーを含んだまま表示することにより、人
物を取り巻く状況が変化する映像を表示することができ
る。

【００２０】なお、図４の表示例ではＧＯＢ単位として
グループ化しているが、受信画像がスライスあるいはマ
クロブロックを単位としてエラーが検出できる場合につ
いては、図２の（Ｂ），（Ｃ）で例示したようにスライ
スあるいはマクロブロックを単位としてグループ化でき
るので、同様に所望した映像品質の確保が出来たことは
言うまでもない。

【００２１】さらに以上では、説明を簡潔にするため
に、受信映像のエラー処理単位を判別してこれを適合す
るグループ分類を行なう場合について述べたが、予め受
信画像のエラー処理単位がわかつていれば、そのエラー
処理単位のみ、すなわちＧＯＢ単位のみ、又はスライス
単位のみ又は、マクロブロック単位のみでのグループ分
類をグループ分類部で実行させるようにすることで処理
内容がより簡単になることは言うまでもない。

【００２２】

【発明の効果】以上の述べた発明によれば、映像の歪み
や不自然な画像を表示させないこと、つまり人物とか物
といった一個体として映像に意味があるものは、エラー
情報に左右されず、本来ある映像素材の構成を保つこと
ができ、映像素材の構成を損なわず、エラー情報が含ま
れていても効率的な表示を可能とすることが出来るよう
になる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の全体構成図である。

【図２】グループ分類部でのグループ分けの具体例であ
る。

【図３】処理単位がＧＯＢで行われている時の１フレー
ム分を表示する従来例である。

【図４】処理単位がＧＯＢで行われている時の１フレー
ム分を表示する本発明の一例である。

【符号の説明】

１１０ 復号化部 １２０ エラー判別部 １３０ 復号化映像制作部 １４０ フレームバッファ １５０ 表示部 １６０ 伝送誤り指定部 １７０ 映像素材指定部 １８０ グループ分類部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 遠隔地等から送られてくる符号化映像を
   復号化して表示する方法において、 各映像フレームの復号化が正常に処理できたかを判別す
   るステップと、 受信する映像素材の性質や伝送誤りの程度に応じて各映
   像フレームの中を複数のグループに分類するステップ
   と、 前記分類に基づいて映像復号化が正常に処理できなかっ
   たグループについて表示すべき映像を作成するステップ
   と、 を有することを特徴とする映像表示方法。
2. 【請求項２】 前記グループ分類の単位は符号化処理単
   位のマクロブロック、複数個のマクロブロックの集まり
   のＧＯＢあるいはスライスを単位とすることを特徴とす
   る請求項１記載の映像表示方法。
3. 【請求項３】 前記映像復号化が正常に処理できなかっ
   たグループについて表示すべき映像の作成は、該当する
   グループの以前に復号化した映像又は復号化映像でない
   特定の映像を利用して行うことを特徴とする請求項１記
   載の映像表示方法。
4. 【請求項４】 遠隔地等から送られてくる符号化映像を
   復号化して表示する装置において、 各映像フレームの復号化が正常に処理できたかを判別す
   る手段と、 受信する映像素材の性質や伝送誤りの程度に応じて各映
   像フレームの中を複数のグループに分類する手段と、 前記分類に基づいて映像復号化が正常に処理できなかっ
   たグループについて表示すべき映像を作成する手段と、 各グループ毎の映像表示を行った最新の復号化映像を蓄
   積するフレームバッファと、 を有することを特徴とする映像表示装置。