WO2000027132A1 - Encoding/decoding of video signal - Google Patents

Description

明 細 書 映像信号の符号化 復号化 技術分野

映像信号を帯域圧縮して伝送する伝送機器において、 特にステレオ 映像信号、 つまり同じ被写体を同時刻に撮影し、 且つ、 立体視のため の所定の距離だけ撮影位置をずらした角度を有することによる両眼立 体視を成立する複数の映像信号の伝送に関する。

なお、 上記立体視のための所定の距離の一例と しては、 人間の目の 間隔である 6 5 m m程度が望ましい。 背景技術

ステレオ映像信号の左の映像信号と右の映像信号を帯域圧縮して伝 送する際には、 それぞれの信号を個別に帯域圧縮していた。

ここでステレオ映像信号とは、 両眼視差を持つ 2種類の二次元画像 を左右の眼に別々に分離提示して立体視することにより、 立体感 （画 像に奥行きがついて感じられること） や奥行き感 （S e n s a t i o n o f D e p t h ) が感じられることができる両眼立体視を成立 する複数の映像信号であり、 三次元映像信号若しくは立体映像信号と も呼ばれている。

また人間は、 左右の眼から得られた角度の異なる同時刻の映像を見 ることによっても立体感や奥行き感が感じられる。 左右の眼に与えら れる画像のずれ量がある範囲以内ならば、 これらは、 二重像ではなく 1つのものと して見え、 このずれ量により立体感や奥行き感が得られ る。 左右の眼が離れた所にあるため、 ある物体を観たときの両眼の網膜 の像は同じとはならず、 注視点より離れた位置では一般にずれを生じ る。 両眼におけるこのようなずれ量の差異が両眼視差と呼ばれる。 ところで、 この右の映像と左の映像とは非常に相関関係が強く锆域 圧縮には適している。

ステレオ信号を個別に帯域圧縮した場合、 1 チャンネルの伝送路で 賄える程十分に圧縮されない場合がある。 このよ うな場合、 モノ ラル の信号伝送を行う、 高速な伝送路を用意する、 さらには 2チャンネル の伝送路を用意するという対策が必要となる。 すなわち、 ステレオ信 号、 特にステレオ映像信号をより少ない情報量で表現できる圧縮技術 が望まれていた。

本発明は以上の問題を解決するためになされたもので、 左右のチヤ ンネルを個別にそれぞれ圧縮した場合より も、 少ない情報量でステレ ォ映像信号を表現することが可能な帯域圧縮処理のための符号化方法、 復号化方法、 これらの処理プログラム、 及びそのような処理プロダラ ムにより帯域圧縮された圧縮信号を提供することを目的とする。 発明の開示

本発明の映像信号を帯域圧縮する手段は、 ステレオ映像信号の L c h (左の映像信号） と R c h (右の映像信号） との相関関係をも帯域 圧縮を行う際に利用するものである。 その詳細を以下に説明する。 請求項 1記載の発明は、 外部からの複数の映像信号がそれぞれ入力 される複数の入力部と、 複数の映像信号を、 それぞれ一時記憶する記 憶部を含み、 当該記憶部に記憶された信号を、 それぞれ帯域圧縮する ための符号化を行う複数の符号化部を有する符号化手段と、 当該符号 化手段からの帯域圧縮された映像信号を出力する出力部とを有し、 同 時刻に同一被写体が撮影されて生成された両眼立体視を成立させるた めの複数の映像信号を並行して帯域圧縮する符号化装置において、 前記符号化手段は、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の信号の何れか一つである映像信号 1を単独で符号化 処理を行って生帯域圧縮信号を生成する主符号化手段と、

前記符号化手段に入力されている前記複数の映像信号の内の映像信 号 1以外の信号である映像信号 2を二重に符号化するための符号化手 段、 つまり、 映像信号 2と映像信号 1 との相関関係から映像信号 1 を 参照データとして用いて、 映像信号 2 と映像信号 1 とのフレーム間符 号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って得 られた情報に対して、 さらに画面内の相関関係や時間軸方向の相関関 係や符号の出現率の偏りを利用した符号化を単独若しくは組み合わせ た符号化処理を行うことにより、 二重に帯域圧縮した二重帯域圧縮信 号を生成する二重符号化手段と、

を備えたことを特徴とする映像符号化装置である。

この装置によると、 ステレオ映像を帯域圧縮する際、 映像信号をチ ャンネル毎に個別に帯域圧縮した場合より も少ない情報量で、 ステレ ォ映像を表現できる。 すなわち、 より高い圧縮率を実現できる。

請求項 2記載の発明は、 外部からの帯域圧縮された複数の映像信号 が入力される入力部と、 前記入力部からの当該複数の映像信号をそれ ぞれ復号化する複数の復号化部と、 当該複号化部からの信号をそれぞ れ一時記憶する複数の記憶部とを有する復号化手段と、 当該復号化手 段からの複数の映像信号をそれぞれ出力する複数の出力部とを有し、 帯域圧縮された複数の映像信号を並行して復号化する復号化装置であ つて、

前記復号化手段は、

前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に復号化が可能な主 帯域圧縮信号の復号化を行う主復号化手段と、

前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを復号化し、 その後、 さらに前記主復号化部で 主帯域圧縮信号を複号化して得られた情報を参照して、 前記二重帯域 圧縮信号を復号化して得られた情報とのフレーム間複号化を行って、 前記二重帯域圧縮信号の復号化を行う二重復号化手段と、 を備えたこ とを特徴とする映像復号化装置である。

この装置によると、 ステレオ映像信号をチャンネル毎に個別に帯域 圧縮した場合よりもより少ない情報量の信号を基に、 元のステレオ映 像信号を再現、 すなわち複号化することができる。

請求項 3記載の発明は、 請求項 1に記載の符号化装置と請求項 2に 記載の復号化装置が通信回線を介して結合されたことを特徴とする伝 送システムである。

この装置によると、 ステレオ映像信号をチャンネル毎に個別に帯域 圧縮して伝送する場合より もより少ない情報量の伝送にて、 元のステ レオ映像信号を伝送することができる。

請求項 4記載の発明は、 外部からの複数の映像信号がそれぞれ入力 される複数の入力工程と、 当該複数の映像信号をそれぞれ一時記憶す る記憶工程を含み、 当該記憶工程に記憶された信号をそれぞれ帯域圧 縮するための符号化を行う複数の符号化処理を行う符号化工程と、 当 該符号化工程で帯域圧縮された映像信号を出力する出力工程とを有し、 同時刻に同一被写体が撮影されて生成された両眼立体視を成立させる ための複数の映像信号を並行して帯域圧縮する符号化方法におい 、 前記符号化工程は、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1 を単独で符 号化処理を行って主帯域圧縮信号を生成する主符号化工程と、

前記符号化工程に入力されている前記複数の映像信号の内の映像信 号 1以外の信号である映像信号 2を二重に帯域圧縮するための符号化 工程、 つまり、 映像信号 2 と映像信号 1 との相関関係から映像信号 1 を参照データとして用いて、 映像信号 2と映像信号 1 とのフレーム間 符号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って 得られた情報に対して、 さらに画面内の相関関係や時間軸方向の相関 関係や符号の出現率の偏りを利用した符号化を単独若しくは組み合わ せた符号化処理を行うことにより、 二重に帯域圧縮した二重帯域圧縮 信号を生成する二重符号化工程と、

を備えたことを特徴とする映像符号化方法である。

このステレオ映像帯域圧縮符号化方法によると、 ステレオ映像を帯 域圧縮する際、 映像信号をチャンネル毎に個別に帯域圧縮した場合よ りも少ない情報量で、 ステレオ映像を表現できる。 すなわち、 より高 い圧縮率を実現できる。

請求項 5記載の発明は、 外部からの帯域圧縮された複数の映像信号 が入力される入力工程と、 前記入力工程からの当該複数の映像信号を それぞれ復号化する複数の複号化工程と、 当該復号化工程からの信号 をそれぞれ一時記憶する複数の記憶工程と、 当該記憶工程からの複数 の映像信号をそれぞれ出力する複数の出力工程とを有し、 帯域圧縮さ れた複数の映像信号を並行して復号化する複号化方法であって、 前記復号化方法は、 、 前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に復号化が可能な主 帯域圧縮信号の複号化を行う主複号化工程と、

前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを復号化し、 その後、 さらに前記主複号化工程 で主帯域圧縮信号を復号化して得られた情報を参照して、 前記二重帯 域圧縮信号を復号化して得られた情報とのフレーム間複号化を行って、 前記二重帯域圧縮信号の復号化を行う二重復号化工程と、

を備えたことを特徴とする映像複号化方法である。

このステレオ映像帯域圧縮複号化方法によると、 ステレオ映像信号 をチャンネル毎に個別に帯域圧縮した場合よりもより少ない情報量の 信号を基に、 元のステレオ映像信号を再現、 すなわち復号化すること ができる。

請求項 6記載の発明は、 同時刻に同一被写体が撮影されて生成され た両眼立体視を成立させるための複数の映像信号を並行して符号化す る符号化処理プログラムを記録したコンピュータ読取り可能な記録媒 体であって、

前記符号化処理プログラムは、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1を単独で符 号化処理を行って主帯域圧縮信号を生成する主符号化ルーチンと、 前記複数の映像信号の内の映像信号 1以外の映像信号である映像信 号 2を二重に帯域圧縮するための符号化ルーチン、 つまり、 映像信号 2と映像信号 1 との相関関係から映像信号 1 を参照データと して用い て、 前記映像信号 2と映像信号 1 とのフレーム間符号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って得られた情報に対し て、 さらに画面内の相関関係や時間軸方向の相関関係や符号の出現率 の偏りを利用した符号化を単独若しくは組み合わせた符号化処理を行 うことにより、 二重に帯域圧縮した二重帯域圧縮信号を生成する二重 符号化ルーチンと、

を備えたことを特徴とするコンピュータ読取り可能な記録媒体である。 この記録媒体に記録された処理プログラム.によると、 ステレオ映像 を帯域圧縮する際、 映像信号をチャンネル毎に個別に帯域圧縮した場 合よりも少ない情報量で、 ステレオ映像を表現できる。 すなわち、 よ り高い圧縮率を実現できる。

請求項 7記載の発明は、 両眼立体視を成立させるための複数の映像 信号であって二重に帯域圧縮されたものを並行して復号化する復号化 処理プログラムを記録したコンピュータ読取り可能な記録媒体であつ て、

前記複号化処理プログラムは、

前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に復号化が可能な主 帯域圧縮信号の復号化を行う主復号化ルーチンと、 前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを復号化し、 その後、 さらに前記主復号化ルー チンで主帯域圧縮信号を復号化して得られた情報を参照して、 前記二 重帯域圧縮信号を復号化して得られた情報とのフレーム間複号化を行 つて、 前記二重帯域圧縮信号の複号化を行う二重復号化ルーチンと、 を備えたことを特徴とするコンピュータ読取り可能な記録媒体である。 この記録媒体に記録された処理プログラムによると、 ステレオ映像 信号をチャンネル毎に個別に帯域圧縮した場合よりもより少ない情報 量の信号を基に、 元のステレオ映像信号を再現、 すなわち復号化する ことができる。

請求項 8記載の発明は、 両眼立体視を成立させるための複数の映像 信号であって二重に帯域圧縮されたデータ構造の映像帯域圧縮信号が 記録されたコンピュータ読取り可能な記録媒体であって、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1 を単独で符 号化処理を行って生成された主帯域圧縮信号と、

前記複数の映像信号の内の映像信号 1以外の映像信号である映像信 号 2が二重に符号化された信号、 つまり、 映像信号 2 と映像信号 1 と の相関関係から映像信号 1 を参照データと して用いて、 前記映像信号 2と映像信号 1 とのフレーム間符号化処理を行い、 その映像信号 2の フレ一ム間符号化処理を行って得られた情報に対して、 さらに画面内 の相関関係や時間軸方向の相関関係や符号の出現率の偏りを利用した 符号化を単独若しくは組み合わせた符号化処理を行うことにより、 二 重に帯域圧縮された二重帯域圧縮信号と、

により構成されたデータ構造の映像帯域圧縮信号が記録された、 コン ピュータ読取り可能な記録媒体である。

この記録媒体に記録された圧縮信号によると、 ステレオ映像信号を チャンネル毎に個別に帯域圧縮した場合よりもより少ない情報量の信 号を基に、 元のステレオ映像信号を再現、 すなわち復号化することが できる。 従って、 記録媒体の容量が小さいもので済むようになる。 図面の簡単な説明

第 1図は、 本発明の第 1の実施の形態例の回路の構成例を示す機能 ブロック図であり、 第 2図は、 本発明の第 1の実施の形態例の動作状 態を示すフロ一チャートであり、 第 3図は、 本発明に係る映像フレー ムの概念図である。 発明を実施するための最良の形態

以下に、 本発明の実施の形態例を詳細に説明する。 まず、 本発明に 係る伝送システムの一例を示す概念図と しての図 1を参照して説明を 行う。

図 1 に示した伝送システム 1 0は、 符号化装置 2 0 と復号化装置 1 4 0と通信回線 2 6 0 とから構成される。

符号化装置 2 0は、 入力端子 3 0、 8 0 と、 A / D部 4 0， 9 0と、 フレームメモリ部 6 0、 1 1 0 と符号化部 7 0、 1 2 0 とを含む符号 化手段 5 0、 1 0 0と、 通信部 1 3 0 とから構成される。

入力端子 3 0は、 A Z D部 4 0に接続され、 外部から入力したアナ ログ信号を A Z D部 4 0へ出力する。

A Z D部 4 0は、 入力端子 3 0と符号化手段 5 0 との間に介在され、 入力端子 3 0から入力した信号をアナログ信号からディジタル信号に 変換し符号化手段 5 0へ出力する。

符号化手段 （主符号化手段） 5 0は、 AZD部 4 0 と通信部 1 3 0 との間に介在されて、 フレームメモリ部 6 0 と符号化部 7 0 とから構 成される。 フレームメモリ部 6 0は、 A/D部 4 0 と符号化部 7 0の 間に介在され、 且つ、 符号化手段 （二重符号化手段） 1 0 0の符号化 部 1 2 0にも接続される。 符号化部 70は、 フレームメモリ部 6 0と 通信部 1 3 0との間に介在される。

フレームメモリ部 6 0は、 AZD部 4 0から入力された情報を符号 化処理を行うためのデータとするため、 符号化処理に必要なフレーム 数を一時記憶する。 符号化部 7 0は、 フレームメモリ部 6 0に記憶さ れた情報に基づいて帯域圧縮を行うために、 フレームメモリ部 6 0か ら情報を読み出して符号化処理を行う。 その結果の帯域圧縮された映 像信号を通信部 1 3 0へ出力する。

入力端子 8 0は、 A/D部 9 0に接続され、 外部から入力したアナ 口グ信号を AZD部 9 0へ出力する。

AZD部 9 0は、 入力端子 8 0 と符号化手段 1 0 0 との問に介在さ れ、 入力端子 8 0から入力した信号をアナログ信号からディジタル信 号に変換し符号化手段 1 0 0へ出力する。

符号化手段 （二重符号化手段） 1 0 0は、 AZD部 9 0と通信部 1 3 0との間に介在されて、 フレームメモリ部 1 1 0と符号化部 1 2 0 とから構成される。 フレームメモリ部 1 1 0は、 A ZD部 9 0 と符号 化部 1 2 0の間に介在される。 符号化部 1 2 0は、 フレームメモリ部 1 1 0 と通信部 1 3 0 との間に介在され、 且つ、 フレームメモリ部 6 0 とに接続されている。

フレ一ムメモリ部 1 1 0は、 A/D部 9 0から入力された情報を符 号化処理を行うためのデータとするため、 符号化処理に必要なフレ一 ム数を一時記憶する。 符号化部 1 2 0は、 フレームメモリ部 6 0 とフ レームメモリ部 1 1 0 とに記憶された情報に基づいて帯域圧縮するた め、 フレームメモリ部 6 0 とフレームメモリ部 1 1 0から情報を読み 出して符号化処理を行う。 その結果の帯域圧縮された映像信号を通信 部 1 3 0へ出力する。

通信部 1 3 0は、 符号化手段 5 0 , 1 0 0 と通信回線 2 6 0 との間 に介在され、 符号化手段 5 0、 1 0 0からの信号を、 例えば多重化し て外部の復号化装匱へ出力する。 なお、 通信回線 2 6 0が、 複数の回 線 （チャンネル） を有する場合は多重化する必要は無い。

復号化装置 1 4 0は、 通信部 1 5 0と、 復号化部 1 7 0、 2 2 0と フレームメモリ部 1 8 0、 2 3 0とを含む復号化手段 1 6 0、 2 1 0 と、 Dノ A部 1 9 0、 2 4 0と、 出力端子 2 0 0、 2 5 0とから構成 される。

通信部 1 5 0は、 通信回線 2 6 0 と複号化手段 1 6 0及び復号化手 段 2 1 0との間に介在され、 外部の符号化装置 2 0からの信号を通信 回線 2 6 0より受信して複号化手段 1 6 0 と復号化手段 2 1 0に出力 する。

複号化手段 （主復号化手段） 1 6 0は、 通信部 1 5 0 と D/A部 1 9 0 との間に介在されて、 複号化部 1 7 0 とフレームメモリ部 1 8 0 とから構成される。 複号化部 1 7 0は、 通信部 1 5 0 とフレームメモ リ部 1 8 0 との間に介在される。 フレームメモリ部 1 8 0は、 複号化 部 1 7 0と DZA部 1 9 0 との問に介在され、 且つ、 復号化手段 （二 重複号化手段） 2 1 0の複号化部 2 2 0に接続される。 復号化部 1 7 0は、 通信部 1 5 0からの情報に基づいて複号化を行い、 フレームメ モリ部 1 8 0へ出力する。 フレームメモリ部 1 8 0は、 復号化部 1 7 0からの複号化処理が完了した情報を一時記憶し、 D/A部 1 90へ 出力する。

DZA部 1 90は、 復号化手段 1 60と出力端子 200との間に介 在され、 復号化手段 1 60のフレームメモリ部 1 80からのディジタ ル信号をアナログ信号に変換し、 出力端子 200へ出力する。

出力端子 200は、 D/A部 1 90に接続され、 DZA部 1 90か らの信号を外部へ出力する。

複号化手段 （二重復号化手段） 2 1 0は、 通信部 1 50と DZA部 240との間に介在されて、 複号化部 2 20とフレームメモリ部 23 0とから構成される。 復号化部 2 20は、 通信部 1 50とフレームメ モリ部 2 3 0との間に介在され、 且つ、 フレームメモリ部 1 80とに 接続される。 フレームメモリ部 23 0は、 復号化部 2 20と DZA部 240との間に介在される。

複号化部 2 20は、 通信部 1 50からの情報とフレームメモリ部 1 80との情報に基づいて複号化処理を行い、 その結果をフレームメモ リ部 2 3 0へ出力する。 フレームメモリ部 23 0は、 複号化部 2 20 からの復号化処理を完了した情報を一時記憶し、 DZA部 24 0へ出 力する。

DZA部 240は、 複号化手段 2 1 0と出力端子 2 5 0との間に介 在され、 復号化手段 2 1 0のフレームメモリ部 2 3 0からのディジタ ル信号をアナログ信号に変換し、 出力端子 2 50へ出力する。

出力端子 2 50は、 D/A部 24 0に接続され、 DZA部 240か らの信号を外部へ出力する。

なお、 映像信号は一般的にテレビジョ ン放送で使用されている NT S Cや P A Lや S E C AM等の通常解像度のテレビジョ ン信号や、 H D T V信号といった高解像度のテレビジョン信号を指すものであるた め、 映像信号自体の詳細についての説明は省略する。

また、 この実施の形態例では、 アナログ方式のテレビジョン信号か らなる映像信号で説明を行うが、 ディジタルのテレビジョン信号に対 して本発明を適用することも可能である。 、 また、 帯域圧縮のための圧縮法と しては、 自然画は隣接画素間の値 が近い値であること、 つまり、 画面内 （空間的） の相関関係が強いこ とを利用した情報圧縮を行う方法と、 時間的に前後 （過去と未来） の 画面の情報を記憶しておき、 現画面を記録した前後の画面との差分値 で表すことによって、 時間軸方向 （画面間） の相関関係を利用した情 報圧縮を行う方法と、 上記の二つの方法で符号化する際に、 符号の出 現率の偏りを利用した情報圧縮を行う方法とがある。

また、 映像信号を帯域圧縮の方式の規格は、 H. 2 6 1 、 MP E G 1 さらに MP E G 2等といった圧縮方式が I S O/ I E C J T C 1 (国際標準化機構 国際電気標準会議 合同技術委員会 1 ) にて規格 化されているが、 いずれも前記の情報圧縮法が基礎となっており、 そ れらを組み合わせて圧縮効率を上げているいる。 従って、 帯域圧縮方 式についての詳細説明は省略する。

さらに、 符号化装置 2 0の通信部 1 3 0 と、 復号化装置 1 4 0の通 信部 1 5 0との間の伝送に関しても、 MP E G 2の T S (トランスポ —ト . ス トリーム） 多重化方式 （勧告 H 2 2 2 ) 等の勧告に準じる。 このため伝送路上や通信部やその他の回路による伝送データの遅延が 発生しても、 復号化処理では何ら問題にならない。

なぜなら、 符号化処理が行われ通信部から出力される際には、 MP E G 2の T S多重化方式 （勧告 H 2 2 2 ) の勧告に準じるため DT S と P T S情報が付加される。 復号化側はこの D T S情報に基づいて復 号化を開始し、 P T S情報に基づいてフレームメモリ部 1 8 0、 2 3 0 と D/A部 1 9 0、 2 4 0から外部に出力され T Vモユタ等にて表 示される。

この DT S情報は D e c o d i n g T i m e S t a m pであり 複号化の時刻管理情報であり、 この DT S情報により復号化処理を開 始する。 P T S情報は、 P r e s e n t a t i o n T i m e S t a m pであり、 再生出力の時刻管理情報であり、 この P T S情報によ り表示を開始する。

複号化手段 1 6 0が複号化処理するデータの DT S情報と、 複号化 手段 2 1 0の復号化処理するデータの DT S情報は、 復号化手段 1 6 0の復号化処理が先に処理が完了するような関係である。

従って、 映像信号 1 は複号化処理が完了し一時フレームメモリ部 1 8 0に記憶され、 P T S情報により表示を開始するまで記憶される。 同時に、 復号化手段 2 1 0から映像信号 2を複号化するためにも読み 出される。

さ らに、 T S多重化されるそれぞれの情報には、 異なる P I D (Packet identification) 情報が付与される。 この P I D情報は、 T

S多重化されたバケツ ト情報の属性を示すバケツ ト識別子である。 復 号化側は、 この P I D情報により 目的の情報をそれぞれの複号化手段 に伝送することができる。

ここで、 図 1および図 2並びに図 3を参照しながら本発明について 説明する。

図 3は本発明における符号化される映像フレームを時間経過に伴つ て表した図である。 このように映像信号は、 複数の映像フレームを連 続して伝送することにより動画映像を伝えている。

本発明の詳細を以下に説明する。 符号化装置 2 0の入力端子 3 0に 入力された映像信号 1は、 A/D部 4 0へ伝送される。 （図 2 S 1 ) A/D部 4 0は、 入力端子 3 0から入力した信号をアナログ信号か らディジタル信号に変換し符号化手段 5 0へ出力する。 （図 2 S 2) 符号化手段 5 0は、 AZD部 4 0から伝送された情報を、 内蔵する フレームメモリ部 6 0へ一時記憶し （図 2 S 3 )、 符号化部 7 0 と符 号化部 1 2 0へ出力する。

符号化部 7 0は、 フレームメモリ部 6 0に記憶された情報に基づい て帯域圧縮するため、 読み出して符号化、 つまり画面内 （空間的） の 相関関係を利用した圧縮方法と、 時間軸方向 （画面間） の相関関係を 利用した圧縮方法と、 上記の二つの方法で符号化する際に、 符号の出 現率の偏りを利用した圧縮方法の組み合わせにより符号化を行う。（図 2 S 4 )

その後、 符号化された情報に DT S情報と PT S情報を付加した主 圧縮信号を通信部 1 3 0へ出力する。 （図 2 S 5)

同時に符号化装置 2 0の入力端子 8 0に入力された映像信号 2は、 A ZD部 9 0へ伝送される。 （図 2 S 1 1 )

AZD部 9 0は、 入力端子 8 0から入力した信号をアナログ信号か らディジタル信号に変換し （図 2 S 1 2 )、 符号化手段 1 0 0へ出力 する。

符号化手段 1 0 0は、 A/D部 9 0から伝送された情報を、 内蔵す るフレームメモリ部 1 1 0 ^ ^—時記憶する。 （図 2 S 1 3 )

符号化部 1 20は、 符号化手段 5 0に内蔵するフレームメモリ部 6 0の情報とフレームメモリ部 1 1 0に記憶された情報から差分をとつ た後に得られるカ またはフレームメモリ部 6 0の情報を元にフレー ムメモリ部 1 1 0に記憶された情報とのフレーム間予測符号化を行い 映像信号 3を得る。

さらに映像信号 3に対して従来の符号化、 つまり画面内 （空間的） の相関関係を利用した圧縮方法と、 時間軸方向 （画面間） の相関関係 を利用した圧縮方法と、 上記の二つの方法で符号化する際に、 符号の 出現率の偏りを利用した圧縮方法の組み合わせにより符号化を行い、 二重に帯域圧縮された信号である二重圧縮信号を生成して （図 2 S 1 4 )、 通信部 1 3 0へ出力する。

通信部 1 3 0は、 符号化手段 5 0から受け入れた主圧縮信号と符号 化手段 1 0 0から受け入れた二重圧縮信号とに異なる P I D情報を付 与し （図 2 S 5、 図 2 S 1 5 )、 通信回線 2 6 0によつて外部の復号 化装置 1 4 0へ出力する。

以上の部分が映像符号化装置、 映像符号化方法、 および、 映像符号 化処理プログラムの処理手順である。

一方、 複号化装置 1 4 0の通信部 1 5 0は、 通信回線 2 6 0より受 信した映像信号 1 の情報 （主圧縮信号） を復号化手段 1 6 0に、 映像 信号 3の情報 （二重圧縮信号） を復号化手段 2 1 0へ出力する。 この 際、 映像信号 1 の情報と、 映像信号 3の情報とは、 P I D情報にて判 別され、 それぞれの複号化手段に出力される。

複号化手段 1 6 0は、 通信部 1 5 0から伝送された映像信号 1 の情 報を、復号化部 1 7 0により D T S情報に基づき複号化処理を行う（図 2 S 7 )。 このときの復号化処理は、 画面内 （空間的） の相関関係が 強いことを利用した圧縮方法と、 時間軸方向 （画面間） の相関関係を 利用した圧縮方法と、 上記の二つの方法で符号化する際に、 符号の出 現率の偏りを利用した情報圧縮を行う方法の組み合わせにより符号化 された情報に対しての複号化処理である。

次に複号化処理を完了した情報をフレームメモリ部 1 8 0へ出力し 一時記憶する。 （図 2 S 8 )

フレームメモリ部 1 8 0は復号化部 1 7 0から受信した情報を、 復 号化処理に必要なフレーム数分を P T S情報に示される時間まで記憶 し、 且つ、 映像信号 1用の P T S情報に示される時間になったら D/ A部 1 9 0へ出力する。

D/A部 1 9 0は、 復号化手段 1 6 0のフレームメモリ部 1 8 りか ら受信したディジタル信号をアナログ信号に変換し （図 2 S 9 )、 出 力端子 2 0 0へ出力する。

そして、 出力端子 2 0 0から、 映像信号 1が出力される。 （図 2 S 1 0)

同時に復号化手段 2 1 0は、 通信部 1 5 0から伝送された映像信号 3の情報を、 復号化部 2 2 0により DT S情報に基づき第 1の復号化 処理を行い映像信号 3を複号化する。 このときの第 1の復号化処理は、 画面内 （空間的） の相関関係が強いことを利用した圧縮方法と、 時間 軸方向 （画面間） の相関関係を利用した圧縮方法と、 上記の二つの方 法で符号化する際に、 符号の出現率の偏りを利用した圧縮方法の組み 合わせの方法により符号化された情報に対してのみの復号化処理であ る。

次に第 2の復号化処理である、 復号化手段 1 6 0のフレームメモリ 部 1 80からの復号化が完了した映像信号 1の情報と、 複号化部 2 2 0にて復号化処理中の映像信号 3 とのフレーム間復号化を行い映像信 号 2への復号化を完了させる。 （図 2 S 1 7)

第 2の復号化処理を完了した映像信号 2の信号をフレームメモリ部 2 3 0へ出力し、 フレームメモリ部で一時記憶する。 （図 2 S 1 8) フレームメモリ部 2 3 0は復号化部 2 2 0から受信した情報を、 復 号化処理に必要なフレーム数分を P T S情報により示される時間まで 記憶し、 且つ、 映像信号 2用の P T S情報により示される時間になつ たら DZA部 24 0へ出力する。 DZA部 24 0は、 復号化手段 2 1 0のフレームメモリ部 2 3 0か ら受信したディジタル信号をアナログ信号に変換し （図 2 S 1 9 )、 出力端子 2 5 0へ出力する。

そして、 出力端子 2 5 0から、 映像信号 2が出力される。 （図 2 S 2 0 )

以上の部分が映像復号化装置、 映像復号化方法、 および、 映像復号 化処理プログラムの処理手順である。

なお、 P T S情報と D T S情報との関係は、 例えば N T S Cの場合 は 1秒間に約 3 0フレームの映像を表示している。 この場合符号化手 段 50、 1 0 0で付加する P T S情報と DT S情報は、 復号化手段 1 6 0 , 2 1 0側が複号化処理を完了する時間以上をみなした P T S情 報を付加すれば良い。 従って、 P T S情報と DT S情報との具体的な 内容は NT S Cの場合、 次の様になる。

例えば、 映像信号の n番目のフレームを帯域圧縮して伝送すること に着目 して考えてみると、 復号化部 1 7 0、 2 1 0で行う復号化処理 は、少なく とも約 3 3 m s e c以内に完了しなければならなレ、。なぜな ら、 約 3 3 m s e c後には次の n + 1番目のフレームの情報を複号化 して表示出力しなければならない。 つまり、 復号化部 2 2 0で行う復 号化処理は第一の複号化処理を完了し、 その後、 第 2の復号化処理を 完了させるまで約 3 3 m s e c以内に完了すればよい。 ただし、 映像 信号 2を複号化処理する際の映像信号 1の情報と映像信号 3 とのフレ 一ム間復号化処理以前には、 映像信号 1の復号化処理は、 完了してい なければならない。

以上のことにより、 映像信号 2を伝送する際の帯域圧縮の効率が改 善され、 伝送に必要な情報量は映像信号 1の情報量より少なくできる。 なお、 符号化装置 2 0に入力される映像信号 1の n番目のフレーと 映像信号 2の n番目のフレームとは、 N T S Cの場合、 約 1ノ 3 0秒 = 3 3 m s e cの単位で同期しているものであり、 ほぼ同時刻の映像 信号といえる。

また、 本実施例での説明では、 入力される映像信号はアナログ信号 であるが、 ディジタル信号を入力しても良い。 ディジタル入力信号の 場合は、 A Z D部 4 0， 9 0は不要である。

同様に、 出力端子 2 0 0、 2 5 0から出力される映像信号はアナ口 グ信号であるが、 ディジタル信号を出力しても良い。 ディジタル出力 信号の場合は、 D / A部 1 9 0、 2 4 0は不要である。

さらに本発明は、 ステレオ動画映像信号に限られず、 ステレオ静止 映像にも同様に適用でき、 圧縮効率の改善になる。

なお、 以上の説明における映像符号化装置および映像複号化装置の動 作説明は、 映像符号化方法および映像復号化方法の発明の説明でもあ る。 その場合、 符号化手段は符号化工程と読み替え、 同様に、 複号化 手段は復号化工程と読み替えるものとする。

また、 以上の説明における映像符号化装置および映像複号化装置の 動作説明は、 映像符号化処理プログラムおよび映像複号化処理プログ ラムの発明の説明でもある。 その場合、 符号化手段は符号化処理プロ グラムと読み替え、 同様に、 複号化手段は復号化処理プログラムと読 み替えるものとする。 この場合において、 装置の各部は、 プログラム のルーチンに相当する。

さらに、 以上の説明における映像符号化装置および映像複号化装置 の動作説明によって生成された所定のデータ構造の映像帯域圧縮信号 が記録された記録媒体も、 本発明の範囲に含まれる。 産業上の利用可能性 以上実施の形態例と共に詳細に説明した本願発明によると、 以下の ような効果が得られる。

相関関係の強い複数の映像信号を、 並行して符号化 （帯域圧縮のた めの時間軸方向の相関関係や画面内の相関関係や符号の出現率の偏り を利用した符号化） を行う際に、 その複数の信号のうちの一つを符号 化する際には、 先ず、 他方の 1つの信号をフレーム間予測符号化する ための参照データと して用いてフレーム間予測符号化を行って得られ た結果を、 さらに符号化を行うことにより、 圧縮効率の改善をするこ とができる。

この結果、 左の映像と右の映像を個別にそれぞれ圧縮した場合より も、 少ない情報量でステレオ映像信号を表現することが可能な帯域圧 縮処理のための符号化装置、 符号化方法、 複号化装置、 復号化方法、 これらの処理プログラム、 及びそのような処理プログラムにより帯域 圧縮された圧縮信号を実現することができる。

Claims

請 求 の 範 囲

1 . 外部からの複数の映像信号がそれぞれ入力される複数の入力部と、 複数の映像信号を、 それぞれ一時記憶する記憶部を含み、 当該記憶部 に記憶された信号を、 それぞれ帯域圧縮するための符号化を行う複数 の符号化部を有する符号化手段と、 当該符号化手段からの帯域圧縮さ れた映像信号を出力する出力部とを有し、 同時刻に同一被写体が撮影 されて生成された両眼立体視を成立させるための複数の映像信号を並 行して帯域圧縮する符号化装置において、

前記符号化手段は、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の信号の何れか一つである映像信号 1 を単独で符号化 処理を行って主帯域圧縮信号を生成する主符号化手段と、

前記符号化手段に入力されている前記複数の映像信号の内の映像信 号 1以外の信号である映像信号 2を二重に符号化するための符号化手 段、 つまり、 映像信号 2 と映像信号 1 との相関関係から映像信号 1 を 参照データとして用いて、 映像信号 2と映像信号 1 とのフレーム間符 号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って得 られた情報に対して、 さらに画面内の相関関係や時間軸方向の相関関 係や符号の出現率の偏りを利用した符号化を単独若しくは組み合わせ た符号化処理を行うことにより、 二重に帯域圧縮した二重帯域圧縮信 号を生成する二重符号化手段と、

を備えたことを特徴とする映像符号化装置。

2 . 外部からの帯域圧縮された複数の映像信号が入力される入力部と、 前記入力部からの当該複数の映像信号をそれぞれ復号化する複数の復 号化部と、 当該複号化部からの信号をそれぞれ一時記憶する複数の記 憶部とを有する複号化手段と、 当該複号化手段からの複数の映像信号 をそれぞれ出力する複数の出力部とを有し、 帯域圧縮された複数の映 像信号を並行して復号化する復号化装置であって、 、 前記複号化手段は、

前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に複号化が可能な主 帯域圧縮信号の復号化を行う主複号化手段と、

前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを複号化し、 その後、 さらに前記主複号化部で 主帯域圧縮信号を復号化して得られた情報を参照して、 前記二重帯域 圧縮信号を複号化して得られた情報とのフレーム間復号化を行って、 前記二重帯域圧縮信号の複号化を行う二重復号化手段と、 を備えたこ とを特徴とする映像複号化装置。

3 . 請求項 1に記載の符号化装置と請求項 2に記載の復号化装置が通 信回線を介して結合されたことを特徴とする伝送システム。

4 . 外部からの複数の映像信号がそれぞれ入力される複数の入力工程 と、 当該複数の映像信号をそれぞれ一時記憶する記憶工程を含み、 当 該記憶工程に記憶された信号をそれぞれ帯域圧縮するための符号化を 行う複数の符号化処理を行う符号化工程と、 当該符号化工程で帯域圧 縮された映像信号を出力する出力工程とを有し、 同時刻に同一被写体 が撮影されて生成された両眼立体視を成立させるための複数の映像信 号を並行して帯域圧縮する符号化方法において、 前記符号化工程は、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1 を単独で符 号化処理を行って主帯域圧縮信号を生成する主符号化工程と、 前記符号化工程に入力されている前記複数の映像信号の内の映像信 号 1以外の信号である映像信号 2を二重に帯域圧縮するための符号化 工程、 つまり、 映像信号 2と映像信号 1 との相関関係から映像信号 1 を参照データと して用いて、 映像信号 2 と映像信号 1 とのフレーム間 符号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って 得られた情報に対して、 さらに画面内の相関関係や時間軸方向の相関 関係や符号の出現率の偏りを利用した符号化を単独若しくは組み合わ せた符号化処理を行うことにより、 二重に帯域圧縮した二重帯域圧縮 信号を生成する二重符号化工程と、

を備えたことを特徴とする映像符号化方法。

5 . 外部からの帯域圧縮された複数の映像信号が入力される入力工程 と、 前記入力工程からの当該複数の映像信号をそれぞれ複号化する複 数の復号化工程と、 当該復号化工程からの信号をそれぞれ一時記憶す る複数の記憶工程と、 当該記憶工程からの複数の映像信号をそれぞれ 出力する複数の出力工程とを有し、 帯域圧縮された複数の映像信号を 並行して復号化する復号化方法であって、

前記復号化方法は、

前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に複号化が可能な主 帯域圧縮信号の復号化を行う主復号化工程と、 前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを復号化し、 その後、 さらに前記主複号化工程 で主帯域圧縮信号を複号化して得られた情報を参照して、 前記二重帯 域圧縮信号を復号化して得られた情報とのフレーム問復号化を行って, 前記二重帯域圧縮信号の複号化を行う二重復号化工程と、

を備えたことを特徴とする映像複号化方法。

6 . 同時刻に同一被写体が撮影されて生成された両眼立体視を成立さ せるための複数の映像信号を並行して符号化する符号化処理プロダラ ムを記録したコンピュータ読取り可能な記録媒体であって、

前記符号化処理プログラムは、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1 を単独で符 号化処理を行って主帯域圧縮信号を生成する主符号化ルーチンと、 前記複数の映像信号の内の映像信号 1以外の映像信号である映像信 号 2を二重に帯域圧縮するための符号化ルーチン、 つまり、 映像信号 2と映像信号 1 との相関関係から映像信号 1 を参照データと して用い て、 前記映像信号 2 と映像信号 1 とのフレーム間符号化処理を行い、 その映像信号 2のフレーム間符号化処理を行って得られた情報に対し て、 さらに画面内の相関関係や時間軸方向の相関関係や符号の出現率 の偏りを利用した符号化を単独若しくは組み合わせた符号化処理を行 うことにより、 二重に帯域圧縮した二重帯域圧縮信号を生成する二重 符号化ルーチンと、

を備えたことを特徴とするコンピュータ読取り可能な記録媒体。

7 . 両眼立体視を成立させるための複数の映像信号であって二重に帯 域圧縮されたものを並行して復号化する復号化処理プログラムを記録 したコンピュータ読取り可能な記録媒体であって、

前記復号化処理プログラムは、 、 前記帯域圧縮された複数の映像信号のうち、 画面内の相関関係、 時 間軸方向の相関関係や符号の出現率の偏りを利用した符号化を単独若 しくは組み合わせて符号化処理された情報で単独に復号化が可能な主 帯域圧縮信号の復号化を行う主複号化ル一チンと、

前記帯域圧縮された複数の映像信号のうち、 二重に帯域圧縮された 二重帯域圧縮信号の、 画面内の相関関係や時間軸方向の相関関係ゃ符 号の出現率の偏りを利用した符号化を単独若しくは組み合わせて符号 化処理された情報のみを複号化し、 その後、 さらに前記主復号化ルー チンで主帯域圧縮信号を復号化して得られた情報を参照して、 前記二 重帯域圧縮信号を複号化して得られた情報とのフレーム間複号化を行 つて、 前記二重帯域圧縮信号の復号化を行う二重複号化ルーチンと、 を備えたことを特徴とするコンピュータ読取り可能な記録媒体。

8 . 両眼立体視を成立させるための複数の映像信号であって二重に帯 域圧縮されたデータ構造の映像帯域圧縮信号が記録されたコンビユー タ読取り可能な記録媒体であって、

画面内の相関関係や時間軸方向の相関関係や符号の出現率の偏りを 利用した符号化を単独若しくは組み合わせた符号化処理を行うことに より、 前記複数の映像信号の何れか一つである映像信号 1を単独で符 号化処理を行って生成された主帯域圧縮信号と、

前記複数の映像信号の内の映像信号 1以外の映像信号である映像信 号 2が二重に符号化された信号、 つまり、 映像信号 2と映像信号 1 と の相関関係から映像信号 1 を参照データと して用いて、 前記映像信号 2 と映像信号 1 とのフレーム間符号化処理を行い、 その映像信号 2の フレーム間符号化処理を行って得られた情報に対して、 さらに画面内 の相関関係や時間軸方向の相関関係や符号の出現率の偏りを利用した 符号化を単独若しくは組み合わせた符号化処理を行うことにより、 二 重に帯域圧縮された二重帯域圧縮信号と、

により構成されたデータ構造の映像帯域圧縮信号が記録された、 コン ピュータ読取り可能な記録媒体。