JPH09154061A - 特殊効果装置及び画像伝送システム - Google Patents

Abstract

(57)【要約】 【課題】 送信側で圧縮符号化された画像信号に受信側
で必要なハードウエアを削減して良好に特殊効果が施せ
る特殊効果装置を提供する。 【解決手段】 画像信号を動き補償を用いたディジタル
圧縮符号化装置１００で符号化し、ビットストリームを
出力する際、動きベクトルが多重される。この動きベク
トルを抜き出す可変長符号化器１３と、ビットストリー
ムを復号して、復号画像信号を出力する復号回路１０１
と、復号画像信号を記憶し、メモリ制御回路１８からの
制御信号に応じて、記憶した復号画像信号を処理し、特
殊効果画像信号を出力するメモリ１９と、動きベクトル
情報を入力して、制御信号を発生する、メモリ制御回路
１８とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、受信側で画像に対
して特殊効果を施すための特殊効果装置及びその特殊効
果を得るための画像伝送システムに関するものである。

【０００２】

【従来の技術】従来の特殊効果装置において、例えば、
特公昭６３−６２９４５号公報（テレビジョンストロボ
効果発生装置（１９８８年１２月））に開示されている
ように、テレビジョン画像中の移動画像をある一定期間
記憶し、その画像を画面内に次々に残して、移動画像部
分の軌跡を、同一画面内に表示して、ストロボ効果を得
るストロボ効果発生装置があった。

【０００３】このようなストロボ効果は、例えば、野球
放送において、投手が投げたボールの軌跡を、飛び飛び
に表示し、ボールの飛んだコースを視聴者に示すことな
どに用いる。

【０００４】この従来の特殊効果装置においては、ディ
ジタルテレビジョンにおける映像信号の１フィールドま
たは１フレーム分に対応するデータを記憶するディジタ
ル画像メモリを有しており、入力された映像信号におい
て画像の変化を検出して、その映像信号から画像中の移
動部分の画面上における位置情報を得て、この位置情報
に基づいてディジタル画像メモリを制御することによ
り、ストロボ効果を実現している。

【０００５】そして、画像中の移動部分の画面上におけ
る位置情報は、映像信号を１フレーム毎に前フレームと
レベル比較して映像信号におけるフレーム間のレベル変
化を検出し、これを所定のスライスレベルと比較して、
その変化のレベルによって、変化のあった位置が画像中
の移動部分であるかどうかを判定し、移動部分と判定し
た場合には、その映像信号における変化の位置が画面上
のどの位置に対応しているかを演算し、その演算結果に
基づいて得ている。

【０００６】また、近年では、放送された画像を受信し
た視聴者側が、この受信画像から得られたデータをパー
ソナルコンピュータ内に画像データとして取り込み、こ
の画像データに基づいて、これに対応する画像に拡大な
どの特殊効果を施した上で、ディスプレイ、プリンタ、
外部記憶装置などに出力することが行われるようになっ
てきた（例えば、「パソコンがテレビと融合」日経エレ
クトロニクス、１９９４年１０月２４日号（第６２０
号）、１２５頁〜１３６頁（１９９４年）に掲載）。こ
の特殊効果として、上述したストロボ効果のような特殊
効果を、視聴者側において用いることもできる。

【０００７】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の特殊効果装置では、映像信号のレベル変化の
みを用いて画像中の移動部分の位置情報を得ているた
め、周囲との信号レベルの異なる画像部分がある場合の
みにしか特殊効果を施すことができなかった。また、信
号レベルの近い画像部分が静止した背景部分にあった場
合には、この画像部分を移動画像とは判定できないこと
があり、移動画像の位置情報としては、必ずしも正確に
その情報を得ることができないという問題点を有してい
た。

【０００８】このような問題点に対し、近年では、動き
補償フレーム間予測符号化において用いるために盛んに
開発されている動き検出手法、たとえば全探索法などを
用いて、移動画像の位置情報を得るようにすることが可
能である。

【０００９】しかし、一般にこれらの動き検出手法を実
現するためには、構成規模が大きく、かつ高速動作がで
きるハードウエアを必要とし、したがって、このような
動き検出手法を、受信側である視聴者側で、パーソナル
コンピュータ内に取り込んだ画像データに対するストロ
ボ特殊効果を得るために用いることを考えると、ハード
ウエアの負担が大きすぎるという問題点を有していた。
また、これをソフトウエアで処理した場合には、処理に
時間が掛かりすぎるため、実用的でないという問題点を
も有していた。

【００１０】また、送信側である放送局側で用いていた
従来のディジタルテレビジョン映像信号に対応する特殊
効果装置を受信側で用いた場合には、隣り合ったフィー
ルド間で移動画像部分の位置が異なるために、多重表示
した移動画像において、ちらつきが発生するという問題
点も有していた。

【００１１】また、従来のディジタルテレビジョン映像
信号に対する特殊効果装置を、送信側の放送局やパッケ
ージメディアの作成側で用いた場合には、受信側の視聴
者としては、たとえ希望しなくても、特殊効果の施され
た画像を見なければならないという問題点も有してい
た。

【００１２】本発明は、上記の問題点に鑑み、コスト負
担が少なく小規模に構成したハードウエアで、移動画像
の位置情報を正確に得ることができ、画像において受信
側の視聴者が期待した通りの特殊効果を効果的に得るこ
とができる特殊効果装置を提供する。

【００１３】また、多重表示した移動画像においても、
上記のような特殊効果装置によるちらつきのない良質な
特殊効果画像の取得を可能にすることができるととも
に、受信側において、送信側で特殊効果を施した画像に
対して、視聴者の希望に応じて、特殊効果を施した画像
と特殊効果のない画像とを選択して出力することができ
る画像伝送システムを提供する。

【００１４】

【課題を解決するための手段】上記課題を解決するため
に、本発明の請求項１に記載の特殊効果装置は、画像信
号が圧縮符号化され前記画像信号から抽出された画像特
性情報が多重されて伝送されたビットストリームを復号
し、この復号画像信号に対して、前記画像信号に対応す
る画像における特殊効果を得るための操作を施す特殊効
果取得操作手段を備えた特殊効果装置であって、前記特
殊効果取得操作手段を、前記復号の際にビットストリー
ムから抜き出した前記画像特性情報に基づいて、復号画
像信号に対する前記操作を施すよう構成する。

【００１５】請求項２に記載の特殊効果装置は、請求項
１の画像特性情報は、移動画像の移動方向とその量を示
す動きベクトル情報とする。請求項３に記載の特殊効果
装置は、請求項１または請求項２の特殊効果として、復
号画像信号の所定の１フレームに移動画像の軌跡情報を
多重し、この画像信号に基づいて画像表示するストロボ
効果とする。

【００１６】請求項４に記載の特殊効果装置は、画像信
号から抽出され移動画像の移動方向とその量を示す動き
ベクトル情報が、前記画像信号が圧縮符号化された符号
化画像信号に多重され、伝送路を通じて伝送されたビッ
トストリームを復号し、この復号画像信号に対して、前
記画像信号に対応する画像における特殊効果を得るため
の操作を施す特殊効果装置であって、前記ビットストリ
ームから動きベクトル情報を抜き出す分離手段と、前記
ビットストリームを復号して得られた復号画像信号を出
力する復号手段と、前記復号手段から出力された復号画
像信号を記憶し、所定の制御信号に応じて、記憶した復
号画像信号を処理して特殊効果画像信号を出力するメモ
リと、前記分離手段からの動きベクトル情報に基づい
て、前記メモリを制御する所定の制御信号を発生するメ
モリ制御手段とを備えた構成とする。

【００１７】請求項５に記載の特殊効果装置は、請求項
４のメモリ制御手段に、動きベクトル情報の動き量の絶
対値を所定の基準動き量と比較する比較手段と、比較手
段による比較の結果、動きベクトル情報の動き量の絶対
値が基準動き量より大きい復号画像信号の部分に対して
は記憶内容を更新し、動きベクトル情報の動き量の絶対
値が基準動き量より小さい復号画像信号の部分に対して
は記憶内容を更新しないように、メモリを制御する制御
信号を発生する制御信号発生手段とを備えた構成とす
る。

【００１８】請求項６に記載の特殊効果装置は、請求項
５の制御信号発生手段を、メモリの記憶内容を更新する
制御信号は、復号画像信号の所定のフレーム数おきに間
欠的に発生するよう構成する。

【００１９】これらの構成によると、圧縮符号化した画
像信号を送信側から伝送し、その圧縮符号化された画像
信号を受信側で復号し、その復号画像信号に対して受信
側で特殊効果を施すように構成することにより、送信側
が、画像信号の圧縮符号化を行う際に、その画像信号か
ら動きベクトル情報などの画像特性情報を抽出し、受信
側が、送信側で抽出された画像特性情報に基づいて、送
信側から伝送された画像に対して特殊効果を施す。

【００２０】また、本発明の請求項７に記載の画像伝送
システムは、入力された順次走査画像信号を圧縮し、前
記順次走査画像信号から抽出した移動画像の移動方向と
その量を示す動きベクトル情報を多重して、ビットスト
リームを形成する圧縮符号化装置と、前記圧縮符号化装
置により形成されたビットストリームを送信する送信装
置と、前記送信装置から送信されたビットストリームを
受信する受信装置と、前記受信装置により受信されたビ
ットストリームを復号して復号画像信号を得るととも
に、前記ビットストリームから動きベクトル情報を抜き
出し、この動きベクトル情報を用いて、復号画像信号の
所定の１フレームに移動画像の軌跡情報を多重し、この
画像信号に基づいて画像表示するストロボ効果を施す特
殊効果装置とで構成する。

【００２１】そして、請求項７の構成によると、送信側
において、入力された順次走査画像信号を圧縮し、この
画像信号から抽出した動きベクトル情報を多重して形成
したビットストリームを出力する圧縮符号化装置を用い
ることにより、従来に比べて、動きベクトルの検出もよ
り正確に行う。

【００２２】請求項８に記載の画像伝送システムは、入
力された画像信号を圧縮し、前記画像信号に対応する画
像における特殊効果の取得を制御する制御信号及び画像
信号から抽出した移動画像の特性を示す画像特性情報を
多重して、ビットストリームを形成する圧縮符号化装置
と、前記圧縮符号化装置により形成されたビットストリ
ームを送信する送信装置と、前記送信装置から送信され
たビットストリームを受信する受信装置と、前記受信装
置により受信されたビットストリームを復号して復号画
像信号を得るとともに、ビットストリームから前記制御
信号及び画像特性情報を抜き出し、この制御信号及び画
像特性情報に基づいて、前記復号画像信号に対応する画
像に特殊効果を施す特殊効果装置とで構成する。

【００２３】そして、請求項８の構成によると、送信側
が意図する特殊効果を受信側で復号画像に施すことを可
能とする同時に、受信側では、視聴者が希望しない場合
には、特殊効果を施さない画像の出力を可能とする。

【００２４】さらに、上記の各請求項に記載の構成によ
ると、画像信号に対する圧縮符号化を効率良く行うため
には、その画像信号から画像特性情報である動きベクト
ル情報として正確なものを抽出する必要があるが、この
正確な画像特性情報の画像信号からの抽出を予め送信側
にて行う。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態を示す
特殊効果装置及び画像伝送システムについて、図面を参
照しながら説明する。

【００２６】始めに、送信側である放送局側での装置の
構成及び動作について説明する。図１は本発明の実施の
形態に係る特殊効果装置及びその特殊効果装置を用いた
画像伝送システムのブロック図である。本実施の形態に
おいては、画像伝送システムに入力される画像信号とし
て、順次走査画像信号を用いる。

【００２７】入力端子１に入力された順次走査画像信号
は、動きベクトル検出回路２及び減算器３に入力され
る。動きベクトル検出回路２は、先に入力されていた前
フレームの入力画像信号と新たに入力された現フレーム
の入力画像信号とから、移動画像の移動方向とその量を
示す動きベクトルを検出して、動き補償予測器１０及び
可変長符号化器６に出力する。ここで、動きベクトル
は、入力画像信号を複数個の画素からなる小ブロック
（以下、マクロブロックと呼ぶ）に区切り、それぞれの
マクロブロックの動き方向及び動き量の情報を示すもの
とする。

【００２８】この際、入力信号が飛び越し走査画像信号
であれば、奇数フィールドと偶数フィールドで、動いて
いる画面部分の位置が変わってしまう。このため、フレ
ーム動きベクトルでは、両方のフィールドに対して、最
適な動きベクトルを得ることができない。また、動きベ
クトルとしてフィールド動きベクトルを用いた場合、フ
ィールド画面では、フレーム画面に対して、垂直方向の
画素間の距離が遠くなる。このため、フレーム単位の検
出を行った場合に対して、垂直方向の動き検出精度が落
ちる。

【００２９】本実施の形態では、順次走査画像信号を入
力とすることにより、全ての画面がフレーム画面とな
る。このため、動きベクトルとしてフレーム動きベクト
ルを検出するフレーム動きベクトル検出を用いて、全て
のフレームに対して最適で、かつ、垂直方向の動き検出
精度の高い、動きベクトル検出を行うことができる。こ
れにより、動き補償予測器１０での予測精度が向上する
とともに、後述の比較手段としての比較回路３１におけ
る、動き量の比較が正確に行える。

【００３０】一方、減算器３は、入力された順次走査画
像信号から、動き補償予測器１０において作成された予
測信号を減算し、予測誤差信号を出力する。直交変換器
４は入力された予測誤差信号を、複数個のサンプルから
なる小ブロック（以下、ＤＣＴブロックと呼ぶ）に区切
り、その各ＤＣＴブロックに対して、離散的コサイン変
換等の直交変換を施し、その変換係数を量子化器５に出
力する。

【００３１】量子化器５は、入力された変換係数を、割
り当てられた伝送ビットレートで符号化できるように量
子化を行い、量子化変換係数を出力する。すなわち、画
像信号のように、ＤＣＴブロック内で強い相関性を有す
る信号では、直交変換を施した場合、そのほとんどは低
次の変換係数に集中し、次数の高い変換係数になるほど
信号電力成分が大きく減衰する。従って、低次の変換係
数には、きめ細かい量子化を施し、逆に高次の変換係数
を、粗く量子化することにより、出力する量子化変換係
数のビット量を削減する。この量子化の粗さを制御する
ことで、割り当てられた伝送ビットレートで、伝送符号
を出力できるようにする。

【００３２】量子化器５から出力された量子化変換係数
は、可変長符号化器６により、いわゆるエントロピー符
号化を施され、動きベクトル検出回路２からの動きベク
トルを多重されて送信装置１１に出力される。

【００３３】一方、量子化器５から出力された量子化変
換係数は、逆量子化器７に入力され、量子化前の変換係
数の近似値に復元される。逆量子化器７から出力された
変換係数の近似値は、逆直交変換器８で復号化予測誤差
信号に戻される。復号化予測誤差信号は、加算器９によ
り、動き補償予測器１０において作成された予測信号と
加算されて、復号化画像信号として出力される。

【００３４】動き補償予測器１０は、加算器９から入力
された復号化画像信号と、動きベクトル検出回路２から
入力された動きベクトルを用いて、次のフレームの予測
信号を作成して、減算器３及び加算器９に出力する。

【００３５】以上のように構成された画像符号化装置１
００は以上に述べた動作により、フレーム間予測を用い
た画像符号化を行い、検出した動きベクトルを多重した
ビットストリームを送信装置１１に出力する。送信装置
１１は、伝送路を通してビットストリームを視聴者に送
信する。

【００３６】次に、受信側である視聴者側での装置の構
成及び動作について説明する。視聴者側では、送信装置
１１から送信されたビットストリームが、受信装置１２
で受信され、特殊効果取得操作手段としての特殊効果装
置１０２の中の復号化回路１０１の分離手段としての可
変長復号化器１３に入力される。

【００３７】可変長復号化器１３は、入力されたビット
ストリームを、エントロピー復号化して、動きベクト
ル、量子化変換係数などの情報データに戻し、量子化変
換係数を復号手段としての逆量子化器１４に、また動き
ベクトル情報を、動き補償予測器１７及びメモリ制御手
段としてのメモリ制御回路１８に入力する。逆量子化器
１４は、入力された量子化変換係数を量子化前の変換係
数の近似値に復元する。逆量子化器１４から出力された
変換係数の近似値は、逆直交変換器１５で復号予測誤差
信号に戻される。復号予測誤差信号は、加算器１６によ
り、動き補償予測器１７において作成された予測信号と
加算されて、復号画像信号として、メモリ１９に出力さ
れる。

【００３８】動き補償予測器１７は、加算器１６から入
力された復号画像信号と、可変長復号化器１３から入力
された動きベクトル情報とを用いて、次のフレームの予
測信号を作成して、加算器１６に出力する。

【００３９】復号化回路１０１は以上に述べた動作によ
り、入力されたビットストリームから復号画像信号を復
号化して、メモリ１９に出力する。メモリ１９は、入力
された復号画像信号を記憶し、メモリ制御回路１８から
の制御信号に応じて、記憶した復号画像信号を処理し、
特殊効果画像信号を出力端子２０から出力する。

【００４０】メモリ制御回路１８は、入力された動きベ
クトル情報を用いて、メモリ１９を制御して、復号画像
信号に特殊効果を施して出力させるための制御信号を発
生する。

【００４１】図２は本実施の形態の特殊効果装置及び画
像伝送システムに係るメモリ制御回路１８の一構成例を
示すブロック図である。復号化回路１０１からの動きベ
クトル情報は、入力端子３０を介して、比較回路３１に
入力される。また、基準値発生回路３２は、入力された
動きベクトルと対応する画像信号のマクロブロックを、
メモリ１９に新たに記憶させるかどうかを決めるための
基準値信号を発生し、その基準値信号を比較回路３１に
入力する。

【００４２】比較回路３１は、入力された動きベクトル
情報の動き量の絶対値、すなわち動きベクトル情報が示
すマクロブロックの移動距離を、基準値発生回路３２か
らの基準値信号によって表される基準動き量と比較し、
比較結果を更新位置メモリ３３に出力する。

【００４３】本実施の形態では、更新位置メモリ３３
は、動きベクトル情報が示すマクロブロックのそれぞれ
の画像フレーム上での位置に対応したアドレスを持つも
のとする。そして、比較回路３１からの比較結果を入力
し、入力された動きベクトル情報の動き量の絶対値が、
基準動き量より大きいときは、その動きベクトルが示す
マクロブロックを、更新マクロブロックとし、その更新
マクロブロックの位置に対応したアドレスに例えば”
１”を記憶する。また、比較結果が逆であった場合に
は、その動きベクトルが示すマクロブロックを、更新せ
ずに、前のフレームの復号画像信号を保持するマクロブ
ロックとし、そのマクロブロックの位置に対応したアド
レスに”０”を記憶する。そして、その結果を制御信号
発生手段としての制御信号発生回路３５に出力する。制
御信号発生回路３５は、更新位置メモリ３３の記憶内容
に応じて、メモリ１９への復号画像信号の書き込みを制
御する制御信号を発生し、出力端子３６からメモリ１９
に出力する。

【００４４】図３に更新位置メモリ３３の記憶内容の一
例を示す。この例では、１フレームの画像を縦６および
横６の合計３６個のマクロブロックに分割した場合を示
している。

【００４５】図３（ａ）は、特殊効果の１つであるスト
ロボ効果を開始する効果開始フレームにおける更新位置
メモリ３３の記憶内容である。斜線を施した位置（マク
ロブロック）にボールの画像があり、これが画面上を右
方向に移動する場合について説明する。

【００４６】最初のフレームでは、制御信号発生回路３
５は、全フレームに渡って、メモリ１９に復号画像信号
を記憶させるような制御信号を発生する。この際には、
更新位置メモリ３３の内容を参照しないため、図３
（ａ）に示すように、内容としては”０”であっても”
１”であってもよい。この状態を各マクロブロックに対
して”×”で示した。

【００４７】次のフレームにおいては、動いているボー
ルが図３（ｂ）に示す斜線を施した位置に動いたものと
する。また、他の部分は静止していたものとする。この
とき、動きベクトル情報は、斜線を施したマクロブロッ
クに対して、図中に矢印で示した動きベクトルがビット
ストリームに多重されて伝送されてくる。他のマクロブ
ロックにおいては、動きベクトルの値は０である。ここ
で、基準値発生回路３２において、基準値として、１マ
クロブロックの横幅に相当する距離を出力するように設
定しているものとする。このことにより、比較回路３１
は、斜線を施したマクロブロックにおいてのみ、基準値
以上の動き量を持つことを検出する。

【００４８】その結果、更新位置メモリ３３は、図３
（ｂ）に示すように、ボールのある位置、すなわち斜線
の施されたマクロブロックに対応したアドレスにのみ”
１”を記憶し、ほかのマクロブロックでは”０”を記憶
する。この更新位置メモリ３３の内容は、制御信号発生
回路３５に出力される。制御信号発生回路３５は、更新
位置メモリ３３の内容が”１”であったマクロブロック
においてのみ、メモリ１９に対して、復号画像信号を新
たに記憶するよう制御信号を出力する。

【００４９】さらに、次のフレームでの更新位置メモリ
３３の内容は、上記と同様の動作により、図３（ｃ）に
示したようになる。このフレームにおいても、制御信号
発生回路３５は、更新位置メモリ３３の内容が”１”で
あったマクロブロックにおいてのみ、メモリ１９に対し
て、復号画像信号を新たに記憶するよう制御信号を出力
する。

【００５０】従って、図３（ｃ）に示したフレームの復
号画像信号が記憶された後のメモリ１９から出力されて
いる特殊効果画像信号は、図３（ｄ）に示したように、
図３（ａ）の時点の復号画像信号のフレーム上に、移動
したボールの軌跡が、多重表示されたものになる。

【００５１】以上のように、本実施の形態においては、
放送局側からビットストリームに多重されて伝送されて
くる動きベクトル情報から、復号画像信号の動き量を得
ることにより、特殊効果装置１０２において、移動画像
の画面上の位置情報を、ハードウエア規模の小さい比較
回路３１により、得ることができる。

【００５２】また、従来の技術で述べたように、信号レ
ベル変化のみを用いて移動画像の位置情報を得る方法と
比較して、周囲との信号レベルがより近い画像部分にも
用いることができる。また、信号レベルの近い画像部分
が静止した背景部分にあった場合でも、移動画像の位置
情報を正確に得ることができる。この改善は、信号レベ
ル検出ではなく動きベクトル検出を用いたことによって
得られたものであるが、動きベクトルの検出は、画像符
号化装置１００においては、画像圧縮符号化を行うため
に必要なものであり、特殊効果を施すために改めて付加
したものではない。従って、画像伝送システム全体とし
ても、ハードウエア規模を削減して構成することができ
る。

【００５３】さらに、本実施の形態においては、先に述
べたように、順次走査画像信号を入力とすることによ
り、全ての画面に対して精度よく検出されたフレーム動
きベクトルが伝送されるため、比較回路３１での比較動
作が正確かつ簡単になる。これに対し、入力信号が飛び
越し走査画像信号の場合、フィールド動きベクトルが伝
送されれば、垂直方向の精度が落ちるため、その分、画
像の動き部分の検出が不正確になる。さらに、圧縮符号
化時に、フィールド動きベクトルとフレーム動きベクト
ルの適応処理が行われた場合は、この適応処理に対応す
る必要があるため、メモリ制御回路１８の構成が複雑に
なり、ハードウエアの負担が増加する。

【００５４】また、入力信号が飛び越し走査画像信号で
あれば、奇数フィールドと偶数フィールドで動き画面の
位置が変わってしまうため、出力する特殊効果画像信号
において、多重表示されたボールの軌跡にちらつきが生
じる。これは、片フィールドのみを多重表示しても解消
できない。

【００５５】これに対し、本実施の形態においては、順
次走査画像信号を入力とすることにより、全ての画面が
静止画像であるため、そこから一部を切り出して、多重
表示したボールの軌跡に、ちらつきは生じない。

【００５６】なお、上記の説明においては、毎フレーム
において、比較回路３１の比較結果を、更新位置メモリ
３３に記憶した。しかし、移動する画像の動きが遅い場
合には、メモリ１９において、動きに対応して新しく記
憶した復号画像信号どおしがくっついてしまい、画面上
でのストロボ効果が薄れてしまう。この現象をさけるた
めに、図２に示したように、メモリ制御回路１８に、フ
レームカウンタ３４を設けることができる。これによ
り、更新位置メモリ３３において、復号画像信号の所定
のフレーム数おきに比較回路３１からの比較結果を記憶
し、それ以外のフレームでは、更新位置メモリ３３の内
容をすべて”０”にクリアする。

【００５７】この動作により、復号画像信号を新しくメ
モリに記憶する制御信号を、復号画像信号の所定のフレ
ーム数おきに間欠的に発生することができ、ストロボ周
期を制御することができる。

【００５８】なお、上記実施の形態においては、順次走
査画像信号を入力としたが、飛び越し走査画像信号を入
力としてもよい。この場合、本実施の形態の説明で述べ
たような欠点が生じる。しかし、ビットストリームに多
重されて伝送されてくる動きベクトル情報から、移動画
像の画面上の位置情報を得るという構成を持つことで、
従来の技術では得られなかった新規な効果を得ることが
できる。

【００５９】すなわち、特殊効果装置１０２において、
移動画像の画面上の位置情報を、ハードウエア規模の小
さい比較回路３１により、得ることができる。また、従
来の技術で述べた、信号レベル変化のみを用いて移動画
像の位置情報を得る方法と比較して、周囲との信号レベ
ルがより近い画像部分にも用いることができる。また、
信号レベルの近い画像部分が静止した背景部分にあった
場合でも、移動画像の位置情報を正確に得ることができ
る。

【００６０】また、上記実施の形態においては、動きベ
クトル情報を用いて、視聴者側で特殊効果を施す場合に
ついて述べた。しかし、本実施の形態では、画像信号を
圧縮符号化して得られたビットストリームから、圧縮符
号化時に画像信号から抽出された画像特性情報を抜き出
し、この画像特性情報を用いて復号画像信号に特殊効果
を施すものであれば、動きベクトルもしくはストロボ効
果に限られるものではない。例えば、従来の技術のよう
に、レベル変化を検出してストロボ効果を得る際に、ビ
ットストリームから、ＤＣＴなどの直交変換におけるＤ
Ｃ成分に相当する変換係数の値を用いて、レベルの検出
を行うことが出来る。これにより、レベル検出のために
復号画像信号を小ブロックに分割して、そのレベルの平
均値を計算するといった処理に要するハードウエアを削
減できる。あるいは、上記のＤＣ成分に相当する変換係
数のみを用いて、復号画像信号を得る際に用いるように
すれば、モザイク効果を施すことが出来る。

【００６１】また、上記実施の形態においては、単に視
聴者側で特殊効果を施す場合について述べたが、特殊効
果自体は、視聴者側で行うようにした上で、放送局や、
パッケージメディアの作成側で、その特殊効果を行う画
面などを指定することもできる。例えば、上述したスト
ロボ効果を施す際に、ストロボ効果を開始する画面、即
ち、図３（ａ）に相当するフレームが、どの時点である
かを示す開始時刻信号を多重して伝送もしくは記録する
ことが出来る。このとき、視聴者側では、この開始時刻
信号を用いて、ストロボ効果の施された復号画像を見る
ことが可能であると同時に、開始時刻信号を無視して通
常の画像を見ることも可能である。

【００６２】また、上記実施の形態においては、直交変
換と可変長符号化の組み合わせを用いた圧縮符号化を行
っているが、ベクトル符号化あるいはサブバンド符号化
などの他の手法の符号化を行うものでもよい。

【００６３】また、上記各実施の形態においては、１フ
レームの画像を縦６および横６の合計３６個のマクロブ
ロックに分割した場合について述べたが、これらの数
は、任意に設定できる。

【００６４】さらに、上記各実施の形態における画像伝
送システムにおいては、入力された画像信号を圧縮し、
その画像信号に対応する画像における特殊効果の取得を
制御する制御信号及び画像信号から抽出した移動画像の
特性を示す画像特性情報を多重して、ビットストリーム
を形成する圧縮符号化装置と、その圧縮符号化装置によ
り形成されたビットストリームを送信する送信装置と、
その送信装置から送信されたビットストリームを受信す
る受信装置と、その受信装置により受信されたビットス
トリームを復号して復号画像信号を得るとともに、ビッ
トストリームから上記の制御信号及び画像特性情報を抜
き出し、この制御信号及び画像特性情報に基づいて、復
号画像信号に対応する画像に特殊効果を施す特殊効果装
置とで構成することができる。

【００６５】この構成によっても、同様の効果が得られ
る。

【００６６】

【発明の効果】以上のように本発明の特殊効果装置によ
れば、圧縮符号化した画像信号を送信側から伝送し、そ
の圧縮符号化された画像信号を受信側で復号し、その復
号画像信号に対して受信側で特殊効果を施すように構成
することにより、送信側において、画像信号の圧縮符号
化を行う際に、その画像信号から動きベクトル情報など
の画像特性情報を抽出し、受信側において、送信側で抽
出された画像特性情報に基づいて、送信側から伝送され
た画像に対して特殊効果を施すことができる。

【００６７】そのため、受信側において、コスト負担が
少なく小規模に構成したハードウエアで、移動画像の位
置情報を正確に得ることができ、送信側から伝送された
画像において視聴者が期待した通りの特殊効果を効果的
に得ることができる。

【００６８】また、本発明の画像伝送システムによれ
ば、送信側において、入力された順次走査画像信号を圧
縮し、この画像信号から抽出した動きベクトル情報を多
重して形成したビットストリームを出力する圧縮符号化
装置を用いることにより、従来に比べて、動きベクトル
の検出もより正確に行うことができる。

【００６９】また、送信側が意図する特殊効果を受信側
で復号画像に施すことができると同時に、受信側では、
視聴者が希望しない場合には、特殊効果を施さない画像
を出力することができる。

【００７０】そのため、多重表示した移動画像において
も、上記のような特殊効果装置によるちらつきのない良
質な特殊効果画像の取得を可能にすることができるとと
もに、受信側において、送信側で特殊効果を施した画像
に対して、視聴者の希望に応じて、特殊効果を施した画
像と特殊効果のない画像とを選択して出力することがで
きる。

【００７１】さらに、本発明の特殊効果装置及び画像伝
送システムによれば、画像信号に対する圧縮符号化を効
率良く行うためには、その画像信号から画像特性情報で
ある動きベクトル情報として正確なものを抽出する必要
があるが、この正確な画像特性情報の画像信号からの抽
出を予め送信側にて行うことができる。

【００７２】そのため、ディジタルテレビジョン放送や
ディジタルパッケージメディアの販売およびレンタルな
どにおいて、一般の視聴者が受信側であって、放送局や
パッケージメディアの作成側が送信側である場合には、
画像信号からの正確な画像特性情報の抽出を、予め、視
聴者側に比べてハードウエアの構成規模に対する制限が
少ない放送局やパッケージメディアの作成側にて行うこ
とができる。

【００７３】その結果、視聴者側においては、そのハー
ドウエアをコスト負担が少なく小規模に構成することが
でき、このように構成されたハードウエアを用いるだけ
で、放送局やパッケージメディアの作成側から伝送され
た画像に対して特殊効果を施すことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像伝送システムの
ブロック図

【図２】同実施の形態におけるメモリ制御回路１８の一
構成例のブロック図

【図３】同実施の形態における更新位置メモリ３３の動
作説明図

【符号の説明】

１１ 送信装置 １２ 受信装置 １３ 可変長復号化器 １４ 逆量子化器 １８ メモリ制御回路 １９ メモリ ３１ 比較回路 ３５ 制御信号発生回路 １０２ 特殊効果装置

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像信号が圧縮符号化され前記画像信号
   から抽出された画像特性情報が多重されて伝送されたビ
   ットストリームを復号し、この復号画像信号に対して、
   前記画像信号に対応する画像における特殊効果を得るた
   めの操作を施す特殊効果取得操作手段を備えた特殊効果
   装置であって、前記特殊効果取得操作手段を、前記復号
   の際にビットストリームから抜き出した前記画像特性情
   報に基づいて、復号画像信号に対する前記操作を施すよ
   う構成した特殊効果装置。
2. 【請求項２】 画像特性情報は、移動画像の移動方向と
   その量を示す動きベクトル情報とする請求項１に記載の
   特殊効果装置。
3. 【請求項３】 特殊効果として、復号画像信号の所定の
   １フレームに移動画像の軌跡情報を多重し、この画像信
   号に基づいて画像表示するストロボ効果とする請求項１
   または請求項２に記載の特殊効果装置。
4. 【請求項４】 画像信号から抽出され移動画像の移動方
   向とその量を示す動きベクトル情報が、前記画像信号が
   圧縮符号化された符号化画像信号に多重され、伝送路を
   通じて伝送されたビットストリームを復号し、この復号
   画像信号に対して、前記画像信号に対応する画像におけ
   る特殊効果を得るための操作を施す特殊効果装置であっ
   て、前記ビットストリームから動きベクトル情報を抜き
   出す分離手段と、前記ビットストリームを復号して得ら
   れた復号画像信号を出力する復号手段と、前記復号手段
   から出力された復号画像信号を記憶し、所定の制御信号
   に応じて、記憶した復号画像信号を処理して特殊効果画
   像信号を出力するメモリと、前記分離手段からの動きベ
   クトル情報に基づいて、前記メモリを制御する所定の制
   御信号を発生するメモリ制御手段とを備えた特殊効果装
   置。
5. 【請求項５】 メモリ制御手段に、動きベクトル情報の
   動き量の絶対値を所定の基準動き量と比較する比較手段
   と、比較手段による比較の結果、動きベクトル情報の動
   き量の絶対値が基準動き量より大きい復号画像信号の部
   分に対しては記憶内容を更新し、動きベクトル情報の動
   き量の絶対値が基準動き量より小さい復号画像信号の部
   分に対しては記憶内容を更新しないように、メモリを制
   御する制御信号を発生する制御信号発生手段とを備えた
   請求項４に記載の特殊効果装置。
6. 【請求項６】 制御信号発生手段を、メモリの記憶内容
   を更新する制御信号は、復号画像信号の所定のフレーム
   数おきに間欠的に発生するよう構成した請求項５に記載
   の特殊効果装置。
7. 【請求項７】 入力された順次走査画像信号を圧縮し、
   前記順次走査画像信号から抽出した移動画像の移動方向
   とその量を示す動きベクトル情報を多重して、ビットス
   トリームを形成する圧縮符号化装置と、前記圧縮符号化
   装置により形成されたビットストリームを送信する送信
   装置と、前記送信装置から送信されたビットストリーム
   を受信する受信装置と、前記受信装置により受信された
   ビットストリームを復号して復号画像信号を得るととも
   に、前記ビットストリームから動きベクトル情報を抜き
   出し、この動きベクトル情報を用いて、復号画像信号の
   所定の１フレームに移動画像の軌跡情報を多重し、この
   画像信号に基づいて画像表示するストロボ効果を施す特
   殊効果装置とからなる画像伝送システム。
8. 【請求項８】 入力された画像信号を圧縮し、前記画像
   信号に対応する画像における特殊効果の取得を制御する
   制御信号及び画像信号から抽出した移動画像の特性を示
   す画像特性情報を多重して、ビットストリームを形成す
   る圧縮符号化装置と、前記圧縮符号化装置により形成さ
   れたビットストリームを送信する送信装置と、前記送信
   装置から送信されたビットストリームを受信する受信装
   置と、前記受信装置により受信されたビットストリーム
   を復号して復号画像信号を得るとともに、ビットストリ
   ームから前記制御信号及び画像特性情報を抜き出し、こ
   の制御信号及び画像特性情報に基づいて、前記復号画像
   信号に対応する画像に特殊効果を施す特殊効果装置とか
   らなる画像伝送システム。