JPH08130733A - 動画像処理装置及び方法 - Google Patents
動画像処理装置及び方法Info
- Publication number
- JPH08130733A JPH08130733A JP29221194A JP29221194A JPH08130733A JP H08130733 A JPH08130733 A JP H08130733A JP 29221194 A JP29221194 A JP 29221194A JP 29221194 A JP29221194 A JP 29221194A JP H08130733 A JPH08130733 A JP H08130733A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- lower layer
- data
- area
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 ＭＰＥＧ−２の階層符号化に於いて、画像中
の或る部分領域を階層符号化して送り、受信者側で好み
等に応じて選択できるようにする。 【構成】 階層符号化される画像の部分領域を指定可能
にし、その指定に対応するデータ（座標、原画サイズ、
拡大画サイズ）をＭＰＥＧ−２のビットストリームのユ
ーザデータ領域に書き込み、これに応じて対応する上位
階層の符号化を行い、これを、下位階層符号と全領域の
上位階層符号（ＭＰＥＧ−２で規定されている上位階層
符号）に多重して送り、デコード側で上記ユーザデータ
領域のデータを読み出し、それに応じてデコードを行
い、好みの画像を選択する。
の或る部分領域を階層符号化して送り、受信者側で好み
等に応じて選択できるようにする。 【構成】 階層符号化される画像の部分領域を指定可能
にし、その指定に対応するデータ（座標、原画サイズ、
拡大画サイズ）をＭＰＥＧ−２のビットストリームのユ
ーザデータ領域に書き込み、これに応じて対応する上位
階層の符号化を行い、これを、下位階層符号と全領域の
上位階層符号（ＭＰＥＧ−２で規定されている上位階層
符号）に多重して送り、デコード側で上記ユーザデータ
領域のデータを読み出し、それに応じてデコードを行
い、好みの画像を選択する。
Description
【０００１】
【産業上の利用分野】本発明は、高解像度動画像と該高
解像度動画像のダウンサンプリングで得られる低解像度
動画像を階層符号化して成るビットストリームの処理に
関する。
解像度動画像のダウンサンプリングで得られる低解像度
動画像を階層符号化して成るビットストリームの処理に
関する。
【０００２】
【従来の技術】動画像符号化標準のＭＰＥＧ−２では、
空間スケーラビリティの機能が導入されている。即ち、
エンコード側では、高解像度動画像（＝上位階層原画
像）のダウンサンプリングで得られる低解像度動画像
（＝下位階層原画像）を、図５のように、下位階層用Ｍ
ＰＥＧエンコーダにて非可逆符号化（動き補償，ＤＣ
Ｔ，量子化）して下位階層符号を生成し、この下位階層
符号を復号（逆量子化，逆ＤＣＴ）した後、アップサン
プリング（画像サイズ変換）することで高解像度動画像
データ（＝高解像度復号動画像データ）を生成し、この
高解像度復号動画像データの画面を上位階層用ＭＰＥＧ
エンコーダに於いて予測画像として適応的に用いること
で、前記高解像度動画像を符号化している。即ち、上位
階層用ＭＰＥＧエンコーダでは、前記高解像度動画像の
前画面と後画面、及び前記下位階層用ＭＰＥＧエンコー
ダから供給される前記画面の中から、最適な画面が選択
されて、動き補償が行われる。なお、下位階層用ＭＰＥ
Ｇエンコーダから出力される下位階層ビットストリーム
と上位階層用ＭＰＥＧエンコーダから出力される上位階
層ビットストリームとは、後段のマルチプレクサ（不図
示）にて多重され、ＭＰＥＧ−２標準規格に準拠した多
重化ビットストリームとして出力される。
空間スケーラビリティの機能が導入されている。即ち、
エンコード側では、高解像度動画像（＝上位階層原画
像）のダウンサンプリングで得られる低解像度動画像
（＝下位階層原画像）を、図５のように、下位階層用Ｍ
ＰＥＧエンコーダにて非可逆符号化（動き補償，ＤＣ
Ｔ，量子化）して下位階層符号を生成し、この下位階層
符号を復号（逆量子化，逆ＤＣＴ）した後、アップサン
プリング（画像サイズ変換）することで高解像度動画像
データ（＝高解像度復号動画像データ）を生成し、この
高解像度復号動画像データの画面を上位階層用ＭＰＥＧ
エンコーダに於いて予測画像として適応的に用いること
で、前記高解像度動画像を符号化している。即ち、上位
階層用ＭＰＥＧエンコーダでは、前記高解像度動画像の
前画面と後画面、及び前記下位階層用ＭＰＥＧエンコー
ダから供給される前記画面の中から、最適な画面が選択
されて、動き補償が行われる。なお、下位階層用ＭＰＥ
Ｇエンコーダから出力される下位階層ビットストリーム
と上位階層用ＭＰＥＧエンコーダから出力される上位階
層ビットストリームとは、後段のマルチプレクサ（不図
示）にて多重され、ＭＰＥＧ−２標準規格に準拠した多
重化ビットストリームとして出力される。
【０００３】一方、デコード側では、まず、前記多重化
ビットストリームから下位階層ビットストリームと上位
階層ビットストリームが分離される。図６のように、下
位階層ビットストリームは下位階層用ＭＰＥＧデコーダ
に入力され、可変長復号、逆量子化及び逆ＤＣＴ、動き
補償を施されて、下位階層復号画像に復号される。ま
た、下位階層用ＭＰＥＧデコーダにて復号された画像
は、上位階層用ＭＰＥＧデコーダへ送られ、画像サイズ
変換部にてアップサンプリングされて高解像度復号動画
像データとされ、この画面が予測画像として適応的に用
いられて前記上位階層ビットストリームが復号され、上
位階層復号画像として出力される。即ち、上位階層用Ｍ
ＰＥＧデコーダでは、前記上位階層ビットストリームに
基づく前画面と後画面、及び前記下位階層用ＭＰＥＧデ
コーダから供給される画面の中から最適な画面が選択さ
れて動き補償が行われる。なお、上位階層用ＭＰＥＧデ
コーダを有しない装置では、下位階層復号画像が出力さ
れる。
ビットストリームから下位階層ビットストリームと上位
階層ビットストリームが分離される。図６のように、下
位階層ビットストリームは下位階層用ＭＰＥＧデコーダ
に入力され、可変長復号、逆量子化及び逆ＤＣＴ、動き
補償を施されて、下位階層復号画像に復号される。ま
た、下位階層用ＭＰＥＧデコーダにて復号された画像
は、上位階層用ＭＰＥＧデコーダへ送られ、画像サイズ
変換部にてアップサンプリングされて高解像度復号動画
像データとされ、この画面が予測画像として適応的に用
いられて前記上位階層ビットストリームが復号され、上
位階層復号画像として出力される。即ち、上位階層用Ｍ
ＰＥＧデコーダでは、前記上位階層ビットストリームに
基づく前画面と後画面、及び前記下位階層用ＭＰＥＧデ
コーダから供給される画面の中から最適な画面が選択さ
れて動き補償が行われる。なお、上位階層用ＭＰＥＧデ
コーダを有しない装置では、下位階層復号画像が出力さ
れる。
【０００４】上述のような空間スケーラビリティ機能
は、例えば、ＩＴＵ−Ｒ勧告６０１の１／４の画像サイ
ズをＭＰＥＧ−１で符号化するとともにＩＴＵ−Ｒ勧告
６０１画像をＭＰＥＧ−２で階層的に符号化する場合
や、或いは、ＩＴＵ−Ｒ勧告６０１画像と４倍サイズの
ＨＤＴＶ画像を階層的に符号化する際等に用いられる。
なお、下位階層の動画像と上位階層の動画像の解像度比
は任意である。
は、例えば、ＩＴＵ−Ｒ勧告６０１の１／４の画像サイ
ズをＭＰＥＧ−１で符号化するとともにＩＴＵ−Ｒ勧告
６０１画像をＭＰＥＧ−２で階層的に符号化する場合
や、或いは、ＩＴＵ−Ｒ勧告６０１画像と４倍サイズの
ＨＤＴＶ画像を階層的に符号化する際等に用いられる。
なお、下位階層の動画像と上位階層の動画像の解像度比
は任意である。
【０００５】
【発明が解決しようとする課題】ＭＰＥＧ−２では、例
えば、通常の画質のテレビ放送と高画質のＨＤＴＶ放送
とを同時に送り、受信端末側の性能に応じて何れかを選
ぶという使い方を想定している。このため、階層符号化
される各画像は、その解像度は異なるものの、表示対象
となる画像範囲は略同一（≒全範囲）である。また、そ
のためのデータはＭＰＥＧ−２標準規格のビットストリ
ーム中で規定されており、且つ、その数は１つとされて
いる。このため、図３のように、当該画像中の或る部分
領域を階層符号化して送り、受信者側で好み等に応じて
選択（高画質の全領域と高画質の部分領域の何れかを選
択）するという使い方は、そのままではできない。
えば、通常の画質のテレビ放送と高画質のＨＤＴＶ放送
とを同時に送り、受信端末側の性能に応じて何れかを選
ぶという使い方を想定している。このため、階層符号化
される各画像は、その解像度は異なるものの、表示対象
となる画像範囲は略同一（≒全範囲）である。また、そ
のためのデータはＭＰＥＧ−２標準規格のビットストリ
ーム中で規定されており、且つ、その数は１つとされて
いる。このため、図３のように、当該画像中の或る部分
領域を階層符号化して送り、受信者側で好み等に応じて
選択（高画質の全領域と高画質の部分領域の何れかを選
択）するという使い方は、そのままではできない。
【０００６】本発明は、図３のように、画像中の或る部
分領域（１つ以上の部分領域）を階層符号化して送るこ
とにより、受信者側に於いて、好みの画像を選択できる
ようにすることを目的とする。
分領域（１つ以上の部分領域）を階層符号化して送るこ
とにより、受信者側に於いて、好みの画像を選択できる
ようにすることを目的とする。
【０００７】
【課題を解決するための手段】本発明は、高解像度動画
像データのダウンサンプリングで得られる低解像度動画
像データを非可逆符号化して下位階層符号を生成する手
段と、前記動画像の所望の複数の領域を各々指定する指
定手段と、前記指定手段により指定された各指定領域を
前記低解像度動画像データに関する領域データと前記高
解像度動画像データに関する領域データとに各々変換し
て前記下位階層符号に多重する書込手段と、前記下位階
層符号に前記領域データが多重された場合は該下位階層
符号の中の前記各領域に対応する符号を復号した後にア
ップサンプリングして得られる各高解像度復号動画像デ
ータを各々予測画像として適応的に用いることで前記高
解像度動画像データ中の前記各領域に対応するデータを
各々非可逆符号化して前記各領域に対応する複数の上位
階層符号を各々生成する手段と、前記下位階層符号と前
記複数の上位階層符号を各々可変長符号化して下位階層
ビットストリームと複数の上位階層ビットストリームを
各々生成する手段と、を有する動画像処理装置である。
上記に於いて、複数の上位階層ビットストリームをＭＰ
ＥＧ−２に準拠したビットストリームとし、書込手段は
複数の指定領域の中の２番目以降の指定領域に関するデ
ータを下位階層符号中のユーザデータ領域のデータとし
て多重するようにしてもよい。なお、この場合、１番目
の指定領域に関するデータは、ＭＰＥＧ−２のビットス
トリーム中に元々規定されている。
像データのダウンサンプリングで得られる低解像度動画
像データを非可逆符号化して下位階層符号を生成する手
段と、前記動画像の所望の複数の領域を各々指定する指
定手段と、前記指定手段により指定された各指定領域を
前記低解像度動画像データに関する領域データと前記高
解像度動画像データに関する領域データとに各々変換し
て前記下位階層符号に多重する書込手段と、前記下位階
層符号に前記領域データが多重された場合は該下位階層
符号の中の前記各領域に対応する符号を復号した後にア
ップサンプリングして得られる各高解像度復号動画像デ
ータを各々予測画像として適応的に用いることで前記高
解像度動画像データ中の前記各領域に対応するデータを
各々非可逆符号化して前記各領域に対応する複数の上位
階層符号を各々生成する手段と、前記下位階層符号と前
記複数の上位階層符号を各々可変長符号化して下位階層
ビットストリームと複数の上位階層ビットストリームを
各々生成する手段と、を有する動画像処理装置である。
上記に於いて、複数の上位階層ビットストリームをＭＰ
ＥＧ−２に準拠したビットストリームとし、書込手段は
複数の指定領域の中の２番目以降の指定領域に関するデ
ータを下位階層符号中のユーザデータ領域のデータとし
て多重するようにしてもよい。なお、この場合、１番目
の指定領域に関するデータは、ＭＰＥＧ−２のビットス
トリーム中に元々規定されている。
【０００８】また、本発明は、低解像度動画像データに
対応する下位階層ビットストリームと高解像度動画像デ
ータに対応する複数の上位階層ビットストリームの多重
された多重化ビットストリームを下位階層ビットストリ
ームと複数の上位階層ビットストリームに分離する手段
と、前記下位階層ビットストリームと前記複数の上位階
層ビットストリームを各々可変長復号して下位階層符号
と複数の上位階層符号を各々生成する手段と、前記下位
階層符号から前記動画像の複数の領域を示す領域データ
を各々読み出す読出手段と、前記下位階層符号の中の前
記各領域データに対応する符号を復号してアップサンプ
リングして得られる各高解像度復号動画像データを各々
予測画像として適応的に用いることで前記複数の上位階
層符号を各々復号して前記各領域に対応する複数の高解
像度復号動画像データを各々生成する手段と、を有する
動画像処理装置である。上記に於いて、複数の上位階層
ビットストリームをＭＰＥＧ−２に準拠のビットストリ
ームとし、読出手段は下位階層符号のユーザデータ領域
から複数の領域中の２番目以降の領域を示す領域データ
を読み出すようにしてもよい。なお、この場合、１番目
の指定領域に関するデータは、ＭＰＥＧ−２のビットス
トリーム中の非ユーザデータ領域に元々規定されている
中から読み出される。また、上記に於いて、さらに、複
数の高解像度復号動画像データの何れを選択して表示出
力すべきかを指定するための入力手段を付加してもよ
い。
対応する下位階層ビットストリームと高解像度動画像デ
ータに対応する複数の上位階層ビットストリームの多重
された多重化ビットストリームを下位階層ビットストリ
ームと複数の上位階層ビットストリームに分離する手段
と、前記下位階層ビットストリームと前記複数の上位階
層ビットストリームを各々可変長復号して下位階層符号
と複数の上位階層符号を各々生成する手段と、前記下位
階層符号から前記動画像の複数の領域を示す領域データ
を各々読み出す読出手段と、前記下位階層符号の中の前
記各領域データに対応する符号を復号してアップサンプ
リングして得られる各高解像度復号動画像データを各々
予測画像として適応的に用いることで前記複数の上位階
層符号を各々復号して前記各領域に対応する複数の高解
像度復号動画像データを各々生成する手段と、を有する
動画像処理装置である。上記に於いて、複数の上位階層
ビットストリームをＭＰＥＧ−２に準拠のビットストリ
ームとし、読出手段は下位階層符号のユーザデータ領域
から複数の領域中の２番目以降の領域を示す領域データ
を読み出すようにしてもよい。なお、この場合、１番目
の指定領域に関するデータは、ＭＰＥＧ−２のビットス
トリーム中の非ユーザデータ領域に元々規定されている
中から読み出される。また、上記に於いて、さらに、複
数の高解像度復号動画像データの何れを選択して表示出
力すべきかを指定するための入力手段を付加してもよ
い。
【０００９】また、本発明は、高解像度動画像データの
ダウンサンプリングで得られる低解像度動画像データを
非可逆符号化して下位階層符号を生成し、前記動画像に
関して指定された複数の指定領域を前記低解像度動画像
データに関する領域データと前記高解像度動画像データ
に関する領域データとに各々変換して前記下位階層符号
に多重し、前記下位階層符号の中の前記各領域に対応す
る符号を復号した後にアップサンプリングして得られる
各高解像度復号動画像データを各々予測画像として適応
的に用いることで前記高解像度動画像データ中の前記各
領域に対応するデータを各々非可逆符号化して前記各領
域に対応する複数の上位階層符号を各々生成し、前記下
位階層符号と前記複数の上位階層符号を各々可変長符号
化して下位階層ビットストリームと複数の上位階層ビッ
トストリームを各々生成する、動画像処理方法である。
上記に於いて、複数の上位階層ビットストリームをＭＰ
ＥＧ−２に準拠のビットストリームとし、複数の指定領
域中の２番目以降の指定領域のデータを下位階層符号中
のユーザデータ領域のデータとして多重するようにして
もよい。
ダウンサンプリングで得られる低解像度動画像データを
非可逆符号化して下位階層符号を生成し、前記動画像に
関して指定された複数の指定領域を前記低解像度動画像
データに関する領域データと前記高解像度動画像データ
に関する領域データとに各々変換して前記下位階層符号
に多重し、前記下位階層符号の中の前記各領域に対応す
る符号を復号した後にアップサンプリングして得られる
各高解像度復号動画像データを各々予測画像として適応
的に用いることで前記高解像度動画像データ中の前記各
領域に対応するデータを各々非可逆符号化して前記各領
域に対応する複数の上位階層符号を各々生成し、前記下
位階層符号と前記複数の上位階層符号を各々可変長符号
化して下位階層ビットストリームと複数の上位階層ビッ
トストリームを各々生成する、動画像処理方法である。
上記に於いて、複数の上位階層ビットストリームをＭＰ
ＥＧ−２に準拠のビットストリームとし、複数の指定領
域中の２番目以降の指定領域のデータを下位階層符号中
のユーザデータ領域のデータとして多重するようにして
もよい。
【００１０】また、本発明は、低解像度動画像データに
対応する下位階層ビットストリームと高解像度動画像デ
ータに対応する複数の上位階層ビットストリームの多重
された多重化ビットストリームを下位階層ビットストリ
ームと複数の上位階層ビットストリームに分離し、前記
下位階層ビットストリームと前記複数の上位階層ビット
ストリームを各々可変長復号して下位階層符号と複数の
上位階層符号を各々生成し、前記下位階層符号から前記
動画像について指定された複数の領域を示す領域データ
を各々読み出し、前記下位階層符号の中の前記各領域デ
ータに対応する符号を復号してアップサンプリングして
得られる各高解像度復号動画像データを各々予測画像と
して適応的に用いることで前記複数の上位階層符号を各
々復号して前記各領域に対応する複数の高解像度復号動
画像データを各々生成する、動画像処理方法である。上
記に於いて、複数の上位階層ビットストリームをＭＰＥ
Ｇ−２に準拠のビットストリームとし、下位階層符号の
ユーザデータ領域から複数の領域中の２番目以降の領域
を示す領域データを読み出すようにしてもよい。
対応する下位階層ビットストリームと高解像度動画像デ
ータに対応する複数の上位階層ビットストリームの多重
された多重化ビットストリームを下位階層ビットストリ
ームと複数の上位階層ビットストリームに分離し、前記
下位階層ビットストリームと前記複数の上位階層ビット
ストリームを各々可変長復号して下位階層符号と複数の
上位階層符号を各々生成し、前記下位階層符号から前記
動画像について指定された複数の領域を示す領域データ
を各々読み出し、前記下位階層符号の中の前記各領域デ
ータに対応する符号を復号してアップサンプリングして
得られる各高解像度復号動画像データを各々予測画像と
して適応的に用いることで前記複数の上位階層符号を各
々復号して前記各領域に対応する複数の高解像度復号動
画像データを各々生成する、動画像処理方法である。上
記に於いて、複数の上位階層ビットストリームをＭＰＥ
Ｇ−２に準拠のビットストリームとし、下位階層符号の
ユーザデータ領域から複数の領域中の２番目以降の領域
を示す領域データを読み出すようにしてもよい。
【００１１】
【作用】エンコード側では、高解像度動画像データのダ
ウンサンプリングで得られる低解像度動画像データが非
可逆符号化されて下位階層符号が生成される。また、当
該動画像に関して複数の領域が指定され、該複数の指定
領域が、前記低解像度動画像データ用の領域データと前
記高解像度動画像データ用の領域データとに変換され
て、前記下位階層符号に多重される。その一方で、前記
下位階層符号の中の上記各指定領域に対応する符号が復
号された後にアップサンプリングされ、これによって得
られる各高解像度復号動画像データが高解像度動画像デ
ータ用のエンコーダにて各々予測画像として適応的に用
いられ、上記各指定領域に対応する高解像度動画像デー
タが各々非可逆符号化されて、複数の上位階層符号が各
々生成される。また、こうして生成された下位階層符号
と複数の上位階層符号は、各々可変長符号化され、これ
により、下位階層ビットストリームと複数の上位階層ビ
ットストリームが各々生成される。
ウンサンプリングで得られる低解像度動画像データが非
可逆符号化されて下位階層符号が生成される。また、当
該動画像に関して複数の領域が指定され、該複数の指定
領域が、前記低解像度動画像データ用の領域データと前
記高解像度動画像データ用の領域データとに変換され
て、前記下位階層符号に多重される。その一方で、前記
下位階層符号の中の上記各指定領域に対応する符号が復
号された後にアップサンプリングされ、これによって得
られる各高解像度復号動画像データが高解像度動画像デ
ータ用のエンコーダにて各々予測画像として適応的に用
いられ、上記各指定領域に対応する高解像度動画像デー
タが各々非可逆符号化されて、複数の上位階層符号が各
々生成される。また、こうして生成された下位階層符号
と複数の上位階層符号は、各々可変長符号化され、これ
により、下位階層ビットストリームと複数の上位階層ビ
ットストリームが各々生成される。
【００１２】デコード側では、まず、多重化ビットスト
リームから下位階層ビットストリームと複数の上位階層
ビットストリームが分離される。また、分離された下位
階層ビットストリームと複数の上位階層ビットストリー
ムは、可変長復号されて各々下位階層符号と複数の上位
階層符号とされる。この下位階層符号から複数の指定領
域に関する領域データが各々読み出され、該複数の指定
領域に対応する下位階層符号中の符号が復号される。ま
た、復号されたデータはアップサンプリングされ、これ
によって得られる各高解像度復号動画像データが上位階
層用のデコーダにて各々予測画像として適応的に用いら
れて、上記各指定領域に対応する複数の上位階層符号が
各々復号される。即ち、複数の高解像度復号動画像デー
タが各々生成される。
リームから下位階層ビットストリームと複数の上位階層
ビットストリームが分離される。また、分離された下位
階層ビットストリームと複数の上位階層ビットストリー
ムは、可変長復号されて各々下位階層符号と複数の上位
階層符号とされる。この下位階層符号から複数の指定領
域に関する領域データが各々読み出され、該複数の指定
領域に対応する下位階層符号中の符号が復号される。ま
た、復号されたデータはアップサンプリングされ、これ
によって得られる各高解像度復号動画像データが上位階
層用のデコーダにて各々予測画像として適応的に用いら
れて、上記各指定領域に対応する複数の上位階層符号が
各々復号される。即ち、複数の高解像度復号動画像デー
タが各々生成される。
【００１３】
【実施例】以下、本発明の実施例を説明する。図１は実
施例のＭＰＥＧエンコーダ、図２はＭＰＥＧデコーダで
ある。本実施例では、図３のように、対象となる動画像
の中の部分領域が複数領域（図３では２領域）指定され
て全領域の画像とともに階層符号化される。なお、図１
と図２では２個の部分領域についての処理のみが示され
ており、全領域の上位階層を符号化する処理については
図５と同様であるため省略されている。
施例のＭＰＥＧエンコーダ、図２はＭＰＥＧデコーダで
ある。本実施例では、図３のように、対象となる動画像
の中の部分領域が複数領域（図３では２領域）指定され
て全領域の画像とともに階層符号化される。なお、図１
と図２では２個の部分領域についての処理のみが示され
ており、全領域の上位階層を符号化する処理については
図５と同様であるため省略されている。
【００１４】まず、図１を参照して、エンコード側につ
いて説明する。高解像度動画像（＝上位階層原画像）の
ダウンサンプリングで得られる低解像度動画像（＝下位
階層原画像）が、下位階層用ＭＰＥＧエンコーダにて非
可逆符号化（動き補償，ＤＣＴ，量子化）されて下位階
層符号が生成される。この下位階層符号は当該下位階層
での予測画像を作製するために復号（逆量子化，逆ＤＣ
Ｔ）され、また、ユーザデータ領域に前述の各部分領域
に関するデータが書き込まれる。この各部分領域に関す
るデータは、不図示の入力装置から入力された後に、不
図示の変換部でユーザデータ領域への書き込みに適した
フォーマット（図４参照）に変換されたデータである。
いて説明する。高解像度動画像（＝上位階層原画像）の
ダウンサンプリングで得られる低解像度動画像（＝下位
階層原画像）が、下位階層用ＭＰＥＧエンコーダにて非
可逆符号化（動き補償，ＤＣＴ，量子化）されて下位階
層符号が生成される。この下位階層符号は当該下位階層
での予測画像を作製するために復号（逆量子化，逆ＤＣ
Ｔ）され、また、ユーザデータ領域に前述の各部分領域
に関するデータが書き込まれる。この各部分領域に関す
るデータは、不図示の入力装置から入力された後に、不
図示の変換部でユーザデータ領域への書き込みに適した
フォーマット（図４参照）に変換されたデータである。
【００１５】即ち、各部分領域に関するデータは、図４
のように、下位階層復号画像中の座標、下位階層復号画
像中のサイズ、上位階層復号画像中のサイズから成る。
例えば、部分領域１のデータは、下位階層復号画像中の
座標(x1,y1）、下位階層復号画像中の水平サイズsx1 、
垂直サイズsy1 、上位階層復号画像中の水平サイズtx1
、垂直サイズty1 から成り、部分領域２のデータは、
下位階層復号画像中の座標(x2,y2) 、下位階層復号画像
中の水平サイズsx2 、垂直サイズsy2 、上位階層復号画
像中の水平サイズtx2 、垂直サイズty2 から成る。な
お、図４の（ａ）では部分領域が２個の場合が示されて
いるが、（ｂ）ではＮ個の場合が示されている。また、
ユーザデータ領域に書き込まれるデータとしては、各部
分領域に関する上記のデータの他に、指定された部分領
域数Ｎがある。
のように、下位階層復号画像中の座標、下位階層復号画
像中のサイズ、上位階層復号画像中のサイズから成る。
例えば、部分領域１のデータは、下位階層復号画像中の
座標(x1,y1）、下位階層復号画像中の水平サイズsx1 、
垂直サイズsy1 、上位階層復号画像中の水平サイズtx1
、垂直サイズty1 から成り、部分領域２のデータは、
下位階層復号画像中の座標(x2,y2) 、下位階層復号画像
中の水平サイズsx2 、垂直サイズsy2 、上位階層復号画
像中の水平サイズtx2 、垂直サイズty2 から成る。な
お、図４の（ａ）では部分領域が２個の場合が示されて
いるが、（ｂ）ではＮ個の場合が示されている。また、
ユーザデータ領域に書き込まれるデータとしては、各部
分領域に関する上記のデータの他に、指定された部分領
域数Ｎがある。
【００１６】上記部分領域１，２に関するデータが前述
の如く下位階層符号のユーザデータ領域に書き込まれる
と、下位階層用ＭＰＥＧエンコーダのユーザ領域書き込
み部は、部分領域１，２用の各ＭＰＥＧエンコーダの各
画像サイズ変換部へ、当該各部分領域に対応する下位階
層符号を各々復号して得た動画像（下位階層復号動画像
＝低解像度復号動画像）データを送る。
の如く下位階層符号のユーザデータ領域に書き込まれる
と、下位階層用ＭＰＥＧエンコーダのユーザ領域書き込
み部は、部分領域１，２用の各ＭＰＥＧエンコーダの各
画像サイズ変換部へ、当該各部分領域に対応する下位階
層符号を各々復号して得た動画像（下位階層復号動画像
＝低解像度復号動画像）データを送る。
【００１７】これに対応して、各画像サイズ変換部で
は、当該部分領域に対応する下位階層復号動画像データ
が各々アップサンプリングされて、上位階層の動画像
（上位階層復号動画像＝高解像度復号動画像）データが
各々生成される。この上位階層復号動画像データの画面
が、前述の図５の場合と同様に、当該部分領域用のＭＰ
ＥＧエンコーダに於いて予測画像として適応的に用いら
れて、当該部分領域の上位階層符号が生成される。こう
して生成された各部分領域の各上位階層符号は各々可変
長符号化されて上位階層１，２のビットストリームとさ
れ、その後、不図示の多重化器で下位階層のビットスト
リームと多重される。
は、当該部分領域に対応する下位階層復号動画像データ
が各々アップサンプリングされて、上位階層の動画像
（上位階層復号動画像＝高解像度復号動画像）データが
各々生成される。この上位階層復号動画像データの画面
が、前述の図５の場合と同様に、当該部分領域用のＭＰ
ＥＧエンコーダに於いて予測画像として適応的に用いら
れて、当該部分領域の上位階層符号が生成される。こう
して生成された各部分領域の各上位階層符号は各々可変
長符号化されて上位階層１，２のビットストリームとさ
れ、その後、不図示の多重化器で下位階層のビットスト
リームと多重される。
【００１８】次に、図２を参照して、デコード側につい
て説明する。図２のデコーダでは、図１のエンコーダに
より符号化された多重化ビットストリームが、まず、不
図示のデマルチプレクサにより、下位階層ビットストリ
ームと上位階層１ビットストリームと上位階層２ビット
ストリームに分離される。また、分離された各ビットス
トリームは、各々対応するＭＰＥＧデコーダに入力され
て、前述の図６の場合と略同様にして復号される。
て説明する。図２のデコーダでは、図１のエンコーダに
より符号化された多重化ビットストリームが、まず、不
図示のデマルチプレクサにより、下位階層ビットストリ
ームと上位階層１ビットストリームと上位階層２ビット
ストリームに分離される。また、分離された各ビットス
トリームは、各々対応するＭＰＥＧデコーダに入力され
て、前述の図６の場合と略同様にして復号される。
【００１９】即ち、まず、下位階層ビットストリームが
下位階層用ＭＰＥＧデコーダに入力され、可変長復号、
逆量子化及び逆ＤＣＴ、さらに、動き補償されて、下位
階層復号画像に復号される。また、前述の部分領域１，
２に関するデータが下位階層符号のユーザデータ領域か
らユーザ領域読み込み部によって読み出される。
下位階層用ＭＰＥＧデコーダに入力され、可変長復号、
逆量子化及び逆ＤＣＴ、さらに、動き補償されて、下位
階層復号画像に復号される。また、前述の部分領域１，
２に関するデータが下位階層符号のユーザデータ領域か
らユーザ領域読み込み部によって読み出される。
【００２０】部分領域１，２に関するデータが読み出さ
れると、下位階層用ＭＰＥＧデコーダのユーザ領域読み
込み部は、部分領域１，２用の各ＭＰＥＧデコーダの各
画像サイズ変換部へ、当該各部分領域に対応する下位階
層符号を各々復号して得た動画像（下位階層復号動画像
＝低解像度復号動画像）データを送る。
れると、下位階層用ＭＰＥＧデコーダのユーザ領域読み
込み部は、部分領域１，２用の各ＭＰＥＧデコーダの各
画像サイズ変換部へ、当該各部分領域に対応する下位階
層符号を各々復号して得た動画像（下位階層復号動画像
＝低解像度復号動画像）データを送る。
【００２１】これに対応して、各画像サイズ変換部で
は、当該部分領域に対応する下位階層復号動画像データ
が各々アップサンプリングされて、上位階層の動画像
（上位階層復号動画像＝高解像度復号動画像）データが
各々生成される。この上位階層復号動画像データの画面
が、前述の図６の場合と同様に、当該部分領域用のＭＰ
ＥＧデコーダに於いて予測画像として適応的に用いられ
て、当該部分領域の上位階層復号動画像が生成される。
は、当該部分領域に対応する下位階層復号動画像データ
が各々アップサンプリングされて、上位階層の動画像
（上位階層復号動画像＝高解像度復号動画像）データが
各々生成される。この上位階層復号動画像データの画面
が、前述の図６の場合と同様に、当該部分領域用のＭＰ
ＥＧデコーダに於いて予測画像として適応的に用いられ
て、当該部分領域の上位階層復号動画像が生成される。
【００２２】なお、図２では図示されていないが、各Ｍ
ＰＥＧデコーダ（下位階層ＭＰＥＧデコーダ，上位階層
１ＭＰＥＧデコーダ，上位階層２ＭＰＥＧデコーダ）と
全領域用ＭＰＥＧデコーダ（不図示の上位階層０ＭＰＥ
Ｇデコーダ）の後段に、何れかのデコーダからの復号動
画像を表示出力用に選択する回路を付加し、その回路の
動作を、操作入力等で選択できるように構成してもよ
い。
ＰＥＧデコーダ（下位階層ＭＰＥＧデコーダ，上位階層
１ＭＰＥＧデコーダ，上位階層２ＭＰＥＧデコーダ）と
全領域用ＭＰＥＧデコーダ（不図示の上位階層０ＭＰＥ
Ｇデコーダ）の後段に、何れかのデコーダからの復号動
画像を表示出力用に選択する回路を付加し、その回路の
動作を、操作入力等で選択できるように構成してもよ
い。
【００２３】上記実施例ではＭＰＥＧ−２に準拠したビ
ットストリームについて説明しているが、本発明は、他
の方式の画像データを階層符号化する場合についても同
様に適用できる。また、静止画を階層符号化する場合に
ついても適用できる。
ットストリームについて説明しているが、本発明は、他
の方式の画像データを階層符号化する場合についても同
様に適用できる。また、静止画を階層符号化する場合に
ついても適用できる。
【００２４】
【発明の効果】以上、本発明では、複数の領域を指定し
て階層符号化するため、当該画像の全領域の画像ばかり
でなく部分領域の画像も送ることができる。このため、
受信者側で好みの画像を選択して表示することができ
る。また、ＭＰＥＧ−２のビットストリームでは、ユー
ザデータ領域に２番目以降の指定領域に関するデータを
多重するため、ＭＰＥＧ−２の中で、上記の効果を達成
できる。
て階層符号化するため、当該画像の全領域の画像ばかり
でなく部分領域の画像も送ることができる。このため、
受信者側で好みの画像を選択して表示することができ
る。また、ＭＰＥＧ−２のビットストリームでは、ユー
ザデータ領域に２番目以降の指定領域に関するデータを
多重するため、ＭＰＥＧ−２の中で、上記の効果を達成
できる。
【図１】実施例のエンコーダの回路構成を示すブロック
図。
図。
【図２】実施例のデコーダの回路構成を示すブロック
図。
図。
【図３】本発明の概念を示す説明図。
【図４】実施例で指定される部分領域（ａ）と、該指定
に基づいてユーザデータ領域に書き込まれるデータの例
（ｂ）を示す説明図。
に基づいてユーザデータ領域に書き込まれるデータの例
（ｂ）を示す説明図。
【図５】ＭＰＥＧ２に準拠したビットストリームを生成
するエンコーダの回路構成例を示すブロック図。
するエンコーダの回路構成例を示すブロック図。
【図６】図５の回路で生成されたビットストリームを復
号するデコーダの回路構成例を示すブロック図。
号するデコーダの回路構成例を示すブロック図。
Claims (9)
- 【請求項１】 高解像度動画像データのダウンサンプリ
ングで得られる低解像度動画像データを非可逆符号化し
て下位階層符号を生成する手段と、 前記動画像の所望の複数の領域を各々指定する指定手段
と、 前記指定手段により指定された各指定領域を、前記低解
像度動画像データに関する領域データと、前記高解像度
動画像データに関する領域データとに各々変換して、前
記下位階層符号に多重する書込手段と、 前記下位階層符号に前記領域データが多重された場合
は、該下位階層符号の中の前記各領域に対応する符号を
復号した後にアップサンプリングして得られる各高解像
度復号動画像データを各々予測画像として適応的に用い
ることで前記高解像度動画像データ中の前記各領域に対
応するデータを各々非可逆符号化して前記各領域に対応
する複数の上位階層符号を各々生成する手段と、 前記下位階層符号と前記複数の上位階層符号を各々可変
長符号化して下位階層ビットストリームと複数の上位階
層ビットストリームを各々生成する手段と、 を有する動画像処理装置。 - 【請求項２】 請求項１に於いて、 前記複数の上位階層ビットストリームは動画像符号化標
準のＭＰＥＧ−２に準拠したビットストリームであり、 前記書込手段は前記複数の指定領域の中の２番目以降の
指定領域に関するデータを前記下位階層符号中のユーザ
データ領域のデータとして多重する、 動画像処理装置。 - 【請求項３】 低解像度動画像データに対応する下位階
層ビットストリームと高解像度動画像データに対応する
複数の上位階層ビットストリームの多重された多重化ビ
ットストリームを下位階層ビットストリームと複数の上
位階層ビットストリームに分離する手段と、 前記下位階層ビットストリームと前記複数の上位階層ビ
ットストリームを各々可変長復号して下位階層符号と複
数の上位階層符号を各々生成する手段と、 前記下位階層符号から前記動画像の複数の領域を示す領
域データを各々読み出す読出手段と、 前記下位階層符号の中の前記各領域データに対応する符
号を復号してアップサンプリングして得られる各高解像
度復号動画像データを各々予測画像として適応的に用い
ることで前記複数の上位階層符号を各々復号して前記各
領域に対応する複数の高解像度復号動画像データを各々
生成する手段と、 を有する動画像処理装置。 - 【請求項４】 請求項３に於いて、 前記複数の上位階層ビットストリームは動画像符号化標
準のＭＰＥＧ−２に準拠したビットストリームであり、 前記読出手段は前記下位階層符号のユーザデータ領域か
ら前記複数の領域の中の２番目以降の領域を示す領域デ
ータを読み出す、 動画像処理装置。 - 【請求項５】 請求項３、又は請求項４に於いて、さら
に、 前記複数の高解像度復号動画像データの何れを選択して
表示出力すべきかを指定するための入力手段、 を有する動画像処理装置。 - 【請求項６】 高解像度動画像データのダウンサンプリ
ングで得られる低解像度動画像データを非可逆符号化し
て下位階層符号を生成し、 前記動画像に関して指定された複数の指定領域を、前記
低解像度動画像データに関する領域データと、前記高解
像度動画像データに関する領域データとに各々変換し
て、前記下位階層符号に多重し、 前記下位階層符号の中の前記各領域に対応する符号を復
号した後にアップサンプリングして得られる各高解像度
復号動画像データを各々予測画像として適応的に用いる
ことで前記高解像度動画像データ中の前記各領域に対応
するデータを各々非可逆符号化して前記各領域に対応す
る複数の上位階層符号を各々生成し、 前記下位階層符号と前記複数の上位階層符号を各々可変
長符号化して下位階層ビットストリームと複数の上位階
層ビットストリームを各々生成する、 動画像処理方法。 - 【請求項７】 請求項６に於いて、 前記複数の上位階層ビットストリームは動画像符号化標
準のＭＰＥＧ−２に準拠したビットストリームであり、 前記複数の指定領域の中の２番目以降の指定領域に関す
るデータを前記下位階層符号中のユーザデータ領域のデ
ータとして多重する、 動画像処理方法。 - 【請求項８】 低解像度動画像データに対応する下位階
層ビットストリームと高解像度動画像データに対応する
複数の上位階層ビットストリームの多重された多重化ビ
ットストリームを下位階層ビットストリームと複数の上
位階層ビットストリームに分離し、 前記下位階層ビットストリームと前記複数の上位階層ビ
ットストリームを各々可変長復号して下位階層符号と複
数の上位階層符号を各々生成し、 前記下位階層符号から前記動画像について指定された複
数の領域を示す領域データを各々読み出し、 前記下位階層符号の中の前記各領域データに対応する符
号を復号してアップサンプリングして得られる各高解像
度復号動画像データを各々予測画像として適応的に用い
ることで前記複数の上位階層符号を各々復号して前記各
領域に対応する複数の高解像度復号動画像データを各々
生成する、 動画像処理方法。 - 【請求項９】 請求項８に於いて、 前記複数の上位階層ビットストリームは動画像符号化標
準のＭＰＥＧ−２に準拠したビットストリームであり、 前記複数の領域の中の２番目以降の領域を示す領域デー
タを前記下位階層符号のユーザデータ領域から読み出
す、 動画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29221194A JPH08130733A (ja) | 1994-10-31 | 1994-10-31 | 動画像処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29221194A JPH08130733A (ja) | 1994-10-31 | 1994-10-31 | 動画像処理装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08130733A true JPH08130733A (ja) | 1996-05-21 |
Family
ID=17778961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29221194A Pending JPH08130733A (ja) | 1994-10-31 | 1994-10-31 | 動画像処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08130733A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271499A (ja) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム |
| JP2007174568A (ja) * | 2005-12-26 | 2007-07-05 | Sanyo Electric Co Ltd | 符号化方法 |
| JP2008515273A (ja) * | 2004-09-27 | 2008-05-08 | タンドベルク・テレコム・エイ・エス | 部分的ビデオ画像を符号化する方法 |
| WO2009014230A1 (en) * | 2007-07-20 | 2009-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing system and program |
| JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2010177828A (ja) * | 2009-01-28 | 2010-08-12 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル画像符号化方法、スケーラブル画像符号化装置、スケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7889974B2 (en) | 2002-12-10 | 2011-02-15 | Sony Computer Entertainment Inc. | Method and apparatus for editing images, and method and apparatus for reproducing the edited images |
| JP2011244403A (ja) * | 2010-05-21 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、及びプログラム |
| WO2015132881A1 (ja) * | 2014-03-04 | 2015-09-11 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
-
1994
- 1994-10-31 JP JP29221194A patent/JPH08130733A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271499A (ja) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム |
| US7889974B2 (en) | 2002-12-10 | 2011-02-15 | Sony Computer Entertainment Inc. | Method and apparatus for editing images, and method and apparatus for reproducing the edited images |
| JP2008515273A (ja) * | 2004-09-27 | 2008-05-08 | タンドベルク・テレコム・エイ・エス | 部分的ビデオ画像を符号化する方法 |
| JP2007174568A (ja) * | 2005-12-26 | 2007-07-05 | Sanyo Electric Co Ltd | 符号化方法 |
| WO2009014230A1 (en) * | 2007-07-20 | 2009-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing system and program |
| US8345983B2 (en) | 2007-07-20 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing system and computer readable medium |
| JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2010177828A (ja) * | 2009-01-28 | 2010-08-12 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル画像符号化方法、スケーラブル画像符号化装置、スケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2011244403A (ja) * | 2010-05-21 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、及びプログラム |
| WO2015132881A1 (ja) * | 2014-03-04 | 2015-09-11 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
| GB2538196A (en) * | 2014-03-04 | 2016-11-09 | Mitsubishi Electric Corp | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and program |
| JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100657268B1 (ko) | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| KR100574184B1 (ko) | 비디오 인코더, 비디오 디코더, 비디오 처리기 및 그 방법 | |
| JPH09182084A (ja) | 動画像符号化装置および動画像復号化装置 | |
| WO2009054596A1 (en) | Method, medium, and apparatus for encoding and/or decoding video | |
| KR20040091686A (ko) | 더 높은 질의 참조 프레임을 사용하는 ｆｇｓｔ 코딩 방법 | |
| WO2003047260A2 (en) | Method and apparatus for decoding spatially scaled fine granular encoded video signals | |
| US6128041A (en) | Method and apparatus for binary shape encoding | |
| JP2007235314A (ja) | 符号化方法 | |
| JPH08130733A (ja) | 動画像処理装置及び方法 | |
| KR20060063619A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| US20060120459A1 (en) | Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information | |
| JP2007266750A (ja) | 符号化方法 | |
| KR100708209B1 (ko) | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 | |
| JPH10276437A (ja) | 階層的動画像信号符号化／復号化方法及び装置 | |
| JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
| KR102312668B1 (ko) | 비디오 트랜스코딩 시스템 | |
| JP2000092485A (ja) | 符号化装置、復号装置、画像処理装置、及び画像処理システム | |
| JP2000092486A (ja) | 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| KR100988622B1 (ko) | 영상 부호화 방법, 복호화 방법, 영상 표시 장치 및 그기록 매체 | |
| JP2001238220A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH07336681A (ja) | 画像変換装置 | |
| JP2001309378A (ja) | 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050118 |