JP3232080B2 - 画像符号化方法 - Google Patents
画像符号化方法Info
- Publication number
- JP3232080B2 JP3232080B2 JP2001101253A JP2001101253A JP3232080B2 JP 3232080 B2 JP3232080 B2 JP 3232080B2 JP 2001101253 A JP2001101253 A JP 2001101253A JP 2001101253 A JP2001101253 A JP 2001101253A JP 3232080 B2 JP3232080 B2 JP 3232080B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- display
- frame
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像符号化方法に
関し、特に、画像の各フレームに対応する表示タイミン
グに関する情報を含む画像符号化信号を生成する処理に
関するものである。
関し、特に、画像の各フレームに対応する表示タイミン
グに関する情報を含む画像符号化信号を生成する処理に
関するものである。
【０００２】
【従来の技術】近年、音声，画像，その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
【０００３】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kbits（電話品質）、さ
らに動画については１秒当たり１００Mbits（現行テレ
ビ放送品質）以上の情報量が必要となり、上記テレビ等
の情報メディアではその膨大な情報をディジタル形式で
そのまま扱うことは現実的ではない。例えば、テレビ電
話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス
総合ディジタル網（ＩＳＤＮ:Integrated Services Dig
ital Network）によってすでに実用化されているが、テ
レビ・カメラの映像をそのままＩＳＤＮで送ることは不
可能である。
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kbits（電話品質）、さ
らに動画については１秒当たり１００Mbits（現行テレ
ビ放送品質）以上の情報量が必要となり、上記テレビ等
の情報メディアではその膨大な情報をディジタル形式で
そのまま扱うことは現実的ではない。例えば、テレビ電
話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス
総合ディジタル網（ＩＳＤＮ:Integrated Services Dig
ital Network）によってすでに実用化されているが、テ
レビ・カメラの映像をそのままＩＳＤＮで送ることは不
可能である。
【０００４】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。
【０００５】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group) とは、動画像に対する画像信号の圧縮伸長技
術に関する国際規格であり、ＭＰＥＧ１は、動画データ
を１．５Mbpsまで、つまりテレビ信号の情報を約１００
分の１にまで圧縮する規格である。また、ＭＰＥＧ１規
格を対象とする伝送速度が主として約１．５Mbpsに制限
されていることから、さらなる高画質化の要求をみたす
べく規格化されたＭＰＥＧ２では、動画データが２〜１
５Mbpsに圧縮される。
ts Group) とは、動画像に対する画像信号の圧縮伸長技
術に関する国際規格であり、ＭＰＥＧ１は、動画データ
を１．５Mbpsまで、つまりテレビ信号の情報を約１００
分の１にまで圧縮する規格である。また、ＭＰＥＧ１規
格を対象とする伝送速度が主として約１．５Mbpsに制限
されていることから、さらなる高画質化の要求をみたす
べく規格化されたＭＰＥＧ２では、動画データが２〜１
５Mbpsに圧縮される。
【０００６】このように現在すでに実用化されているＭ
ＰＥＧ１，２の規格に対応する、画像信号の圧縮伸長技
術では、基本的に各フレームに対する画像表示タイミン
グの間隔，つまりフレームレートとして、固定フレーム
レートのみを採用しているため、フレームレートは高々
数種類しかなく、このためＭＰＥＧ２では、符号化デー
タとともに伝送されてくるフラグ（frame rate code）
に基づいて、図１３に示すテーブルを参照して、数通り
のフレームレート（frame rate value）の中からフラグ
により指定されるものを選択するようにしている。
ＰＥＧ１，２の規格に対応する、画像信号の圧縮伸長技
術では、基本的に各フレームに対する画像表示タイミン
グの間隔，つまりフレームレートとして、固定フレーム
レートのみを採用しているため、フレームレートは高々
数種類しかなく、このためＭＰＥＧ２では、符号化デー
タとともに伝送されてくるフラグ（frame rate code）
に基づいて、図１３に示すテーブルを参照して、数通り
のフレームレート（frame rate value）の中からフラグ
により指定されるものを選択するようにしている。
【０００７】ところで、現在、ＩＳＯ（International
Organization for Standardization: 国際標準化機構）
によって、具体的には、ＭＰＥＧ１，ＭＰＥＧ２と標準
化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG1
1)によって、最新の画像符号化方式であるＭＰＥＧ４の
標準化作業が進められている。このＭＰＥＧ４は、物体
単位での符号化処理や信号操作を可能とし、マルチメデ
ィア時代に必要な新しい機能を実現するものである。こ
のＭＰＥＧ４では、当初、低ビットレートの画像処理の
標準化を目指してきたが、現在はその標準化の対象は、
インタレース画像にも対応した高ビットレートの画像処
理も含む、より汎用的な画像処理に拡張されている。
Organization for Standardization: 国際標準化機構）
によって、具体的には、ＭＰＥＧ１，ＭＰＥＧ２と標準
化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG1
1)によって、最新の画像符号化方式であるＭＰＥＧ４の
標準化作業が進められている。このＭＰＥＧ４は、物体
単位での符号化処理や信号操作を可能とし、マルチメデ
ィア時代に必要な新しい機能を実現するものである。こ
のＭＰＥＧ４では、当初、低ビットレートの画像処理の
標準化を目指してきたが、現在はその標準化の対象は、
インタレース画像にも対応した高ビットレートの画像処
理も含む、より汎用的な画像処理に拡張されている。
【０００８】このＭＰＥＧ４においても、ビデオ・オブ
ジェクト・レイア（ＭＰＥＧ２のビデオシーケンスに相
当）の先頭にＭＰＥＧ２のテーブル（図１３参照）と同
様なテーブルを追加すれば、該テーブルによりフレーム
レートは表現できるが、ＭＰＥＧ４では、低ビットレー
トの画像信号から高ビットレートの高画質の画像信号ま
での幅広い範囲の画像信号を処理対象とするため、必要
となるフレームレートは無数にあり、このため、ＭＰＥ
Ｇ４では、実際問題としてフレームレートの判定をテー
ブルを用いて行うことは困難である。
ジェクト・レイア（ＭＰＥＧ２のビデオシーケンスに相
当）の先頭にＭＰＥＧ２のテーブル（図１３参照）と同
様なテーブルを追加すれば、該テーブルによりフレーム
レートは表現できるが、ＭＰＥＧ４では、低ビットレー
トの画像信号から高ビットレートの高画質の画像信号ま
での幅広い範囲の画像信号を処理対象とするため、必要
となるフレームレートは無数にあり、このため、ＭＰＥ
Ｇ４では、実際問題としてフレームレートの判定をテー
ブルを用いて行うことは困難である。
【０００９】そこで、ＭＰＥＧ４では、無数とも言える
固定フレームレートに対応し、しかも各フレームに対す
る画像表示タイミングや復号化処理のタイミングの間隔
が可変である画像に対応するために、フレーム毎に挿入
された各フレームの表示時刻データを含むデータ構造を
採用している。
固定フレームレートに対応し、しかも各フレームに対す
る画像表示タイミングや復号化処理のタイミングの間隔
が可変である画像に対応するために、フレーム毎に挿入
された各フレームの表示時刻データを含むデータ構造を
採用している。
【００１０】図１４は、従来の画像符号化信号２００の
データ構造の一例を示す。従来のデータ構造を有する画
像符号化信号２００は、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像を構成するフレーム系
列）に対応するものであり、先頭のヘッダＨに続いて、
各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・
・，Ｓａｎを伝送順に配列した構造となっている。ここ
で、ｎは１つの画像を構成するフレーム系列における、
各フレームのデータの伝送順序に対応する番号であり、
先頭フレームの番号ｎを０としている。
データ構造の一例を示す。従来のデータ構造を有する画
像符号化信号２００は、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像を構成するフレーム系
列）に対応するものであり、先頭のヘッダＨに続いて、
各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・
・，Ｓａｎを伝送順に配列した構造となっている。ここ
で、ｎは１つの画像を構成するフレーム系列における、
各フレームのデータの伝送順序に対応する番号であり、
先頭フレームの番号ｎを０としている。
【００１１】この例では、各フレームの符号列Ｓａ０，
Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレ
ームの表示時刻を示す表示時刻データＤｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが配置されており、各表示時刻
データに続いて画像符号化データＣｇ０，Ｃｇ１，Ｃｇ
２，・・・，Ｃｇｎが配置されている。この表示時刻デ
ータは、基準時刻に対する相対的な時刻を表しているた
め、画像を構成するフレームの数（フレーム数）が多く
なるにつれて、この表示時刻を表すのに必要な情報量，
つまり表示時刻データのビット数は多くなる。
Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレ
ームの表示時刻を示す表示時刻データＤｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが配置されており、各表示時刻
データに続いて画像符号化データＣｇ０，Ｃｇ１，Ｃｇ
２，・・・，Ｃｇｎが配置されている。この表示時刻デ
ータは、基準時刻に対する相対的な時刻を表しているた
め、画像を構成するフレームの数（フレーム数）が多く
なるにつれて、この表示時刻を表すのに必要な情報量，
つまり表示時刻データのビット数は多くなる。
【００１２】また、上記画像符号化信号の復号化側で
は、上記各フレームに対応する符号列Ｓａ０〜Ｓａｎ中
に挿入されている上記表示時刻データＤｔ０〜Ｄｔｎに
基づいて、該表示時刻データが指示する時刻にそのフレ
ームに対する画像表示が行われる。
は、上記各フレームに対応する符号列Ｓａ０〜Ｓａｎ中
に挿入されている上記表示時刻データＤｔ０〜Ｄｔｎに
基づいて、該表示時刻データが指示する時刻にそのフレ
ームに対する画像表示が行われる。
【００１３】図１５は、１つの画像を構成するフレーム
系列における、各フレームに対応する画像符号化データ
の伝送順序と表示順序とを示している。ここで、ｎは上
記のように伝送順序を示す番号であり、ｎ′は表示順序
を示す番号（先頭フレームの番号ｎ′を０とする）であ
る。また、フレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））
は、図１４に示すデータ構造におけるフレームの順序
（つまり伝送順序）に基づいて配列したものであり、フ
レームＦ′（ｎ′）（Ｆ′（０）〜Ｆ′（１８））は、
上記伝送順に並ぶ各フレームＦ（ｎ）を、図１５で矢印
により示すようにその配列順序が表示順になるよう並べ
替えて配列したものである。従って、矢印で対応付けら
れたフレームＦ（ｎ）とフレームＦ′（ｎ′）は同一の
ものであり、例えば、フレームＦ（０），Ｆ（１），Ｆ
（２），Ｆ（３）はそれぞれ、フレームＦ′（０），
Ｆ′（３），Ｆ′（１），Ｆ′（２）と同じフレームで
ある。
系列における、各フレームに対応する画像符号化データ
の伝送順序と表示順序とを示している。ここで、ｎは上
記のように伝送順序を示す番号であり、ｎ′は表示順序
を示す番号（先頭フレームの番号ｎ′を０とする）であ
る。また、フレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））
は、図１４に示すデータ構造におけるフレームの順序
（つまり伝送順序）に基づいて配列したものであり、フ
レームＦ′（ｎ′）（Ｆ′（０）〜Ｆ′（１８））は、
上記伝送順に並ぶ各フレームＦ（ｎ）を、図１５で矢印
により示すようにその配列順序が表示順になるよう並べ
替えて配列したものである。従って、矢印で対応付けら
れたフレームＦ（ｎ）とフレームＦ′（ｎ′）は同一の
ものであり、例えば、フレームＦ（０），Ｆ（１），Ｆ
（２），Ｆ（３）はそれぞれ、フレームＦ′（０），
Ｆ′（３），Ｆ′（１），Ｆ′（２）と同じフレームで
ある。
【００１４】ここでは、伝送順に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））のうち、フレームＦ
（０），Ｆ（１３）はＩ（Intra-Picture）フレーム
（以下Ｉ−ＶＯＰともいう。）であり、フレームＦ
（１），Ｆ（４），Ｆ（７），Ｆ（１０），Ｆ（１６）
は、Ｐ（Predictive-Picture）フレーム（以下Ｐ−ＶＯ
Ｐともいう。）であり、フレームＦ（２），Ｆ（３），
Ｆ（５），Ｆ（６），Ｆ（８），Ｆ（９），Ｆ（１
１），Ｆ（１２），Ｆ（１４），Ｆ（１５），Ｆ（１
７），Ｆ（１８）は、Ｂ（Bidirectionally predictive
-Picture）フレーム（以下Ｂ−ＶＯＰともいう。）であ
る。
（ｎ）（Ｆ（０）〜Ｆ（１８））のうち、フレームＦ
（０），Ｆ（１３）はＩ（Intra-Picture）フレーム
（以下Ｉ−ＶＯＰともいう。）であり、フレームＦ
（１），Ｆ（４），Ｆ（７），Ｆ（１０），Ｆ（１６）
は、Ｐ（Predictive-Picture）フレーム（以下Ｐ−ＶＯ
Ｐともいう。）であり、フレームＦ（２），Ｆ（３），
Ｆ（５），Ｆ（６），Ｆ（８），Ｆ（９），Ｆ（１
１），Ｆ（１２），Ｆ（１４），Ｆ（１５），Ｆ（１
７），Ｆ（１８）は、Ｂ（Bidirectionally predictive
-Picture）フレーム（以下Ｂ−ＶＯＰともいう。）であ
る。
【００１５】また、上記のように伝送順（ＩＰＢＢＰＢ
ＢＰＢＢＰＢＢＩＢＢＰＢＢ）に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））を表示順（ＩＢＢＰＢ
ＢＰＢＢＰＢＢＰＢＢＩＢＢＰ）に並べ替えたときの順
番ｎ′が、各フレームＦ（ｎ）に対応するフレーム番号
Ｂ（ｎ）（Ｂ（０）〜Ｂ（１８））により表される。つ
まり、このフレーム番号Ｂ（ｎ）の値は、表示順序を示
す番号ｎ′を表しており、具体的には図１５に示すよう
に、Ｂ（０）＝０，Ｂ（１）＝３，・・・，Ｂ（１７）
＝１６，Ｂ（１８）＝１７となる。従って、ここでは、
画像表示におけるＩ−ＶＯＰの周期ＬはＬ＝１５、画像
表示におけるＩ−ＶＯＰとＰ−ＶＯＰを含めたＶＯＰの
周期ＭはＭ＝３となっている。
ＢＰＢＢＰＢＢＩＢＢＰＢＢ）に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））を表示順（ＩＢＢＰＢ
ＢＰＢＢＰＢＢＰＢＢＩＢＢＰ）に並べ替えたときの順
番ｎ′が、各フレームＦ（ｎ）に対応するフレーム番号
Ｂ（ｎ）（Ｂ（０）〜Ｂ（１８））により表される。つ
まり、このフレーム番号Ｂ（ｎ）の値は、表示順序を示
す番号ｎ′を表しており、具体的には図１５に示すよう
に、Ｂ（０）＝０，Ｂ（１）＝３，・・・，Ｂ（１７）
＝１６，Ｂ（１８）＝１７となる。従って、ここでは、
画像表示におけるＩ−ＶＯＰの周期ＬはＬ＝１５、画像
表示におけるＩ−ＶＯＰとＰ−ＶＯＰを含めたＶＯＰの
周期ＭはＭ＝３となっている。
【００１６】そして、上記フレーム番号Ｂ（ｎ）＝ｎ′
は、ｎを用いて次式（１）〜（３）により表される。 Ｂ（ｎ）＝ｎ＝０ （ｎ＝０のとき） …（１） Ｂ（ｎ）＝ｎ＋Ｍ−１ （ｎ＝Ｍ×ｉ＋１のとき） …（２） ただし、ｉ，Ｍは０以上の整数（０，１，２，・・・）
である。 Ｂ（ｎ）＝ｎ−１ （ｎがその他の値であるとき） …（３） ここで、上記条件（ｎ＝０）は最初のＩ−ＶＯＰに対応
するもの、上記条件（ｎ＝Ｍ×ｉ＋１）は、最初のＩ−
ＶＯＰ以外のＩ−ＶＯＰとＰ−ＶＯＰの両ＶＯＰに対応
するもの、上記条件（ｎがその他の値であるとき）は、
Ｂ−ＶＯＰに対応するものである。
は、ｎを用いて次式（１）〜（３）により表される。 Ｂ（ｎ）＝ｎ＝０ （ｎ＝０のとき） …（１） Ｂ（ｎ）＝ｎ＋Ｍ−１ （ｎ＝Ｍ×ｉ＋１のとき） …（２） ただし、ｉ，Ｍは０以上の整数（０，１，２，・・・）
である。 Ｂ（ｎ）＝ｎ−１ （ｎがその他の値であるとき） …（３） ここで、上記条件（ｎ＝０）は最初のＩ−ＶＯＰに対応
するもの、上記条件（ｎ＝Ｍ×ｉ＋１）は、最初のＩ−
ＶＯＰ以外のＩ−ＶＯＰとＰ−ＶＯＰの両ＶＯＰに対応
するもの、上記条件（ｎがその他の値であるとき）は、
Ｂ−ＶＯＰに対応するものである。
【００１７】ただし、上記式（１）〜（３）は、各Ｉ−
ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの
符号列が周期的に伝送されてくる場合における上記表示
順序ｎ′と伝送順序ｎの関係Ｂ（ｎ）＝ｎ′を定義する
ものであり、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに
相当するフレームの符号列が一定周期で伝送されてくる
場合以外の場合は、表示順序ｎ′と伝送順序ｎは、上記
式（１）〜（３）とは別の関係式あるいは方法により一
対一に対応付けられることとなる。
ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの
符号列が周期的に伝送されてくる場合における上記表示
順序ｎ′と伝送順序ｎの関係Ｂ（ｎ）＝ｎ′を定義する
ものであり、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに
相当するフレームの符号列が一定周期で伝送されてくる
場合以外の場合は、表示順序ｎ′と伝送順序ｎは、上記
式（１）〜（３）とは別の関係式あるいは方法により一
対一に対応付けられることとなる。
【００１８】図１６は、各フレームに対応する画像表示
タイミングの間隔が可変である画像表示方法の一例を説
明するための図である。図中、ｔ’(n’)（ｔ’(1),
ｔ’(2), ｔ’(3), ｔ’(4) ・・・） は、フレーム
Ｆ’(n’-1) の画像表示が行われる時刻と、フレーム
Ｆ’(n’) の画像表示が行われる時刻との時間間隔を示
し、ｈ’(1)，ｈ’(2)，ｈ’(3) は、フレームＦ’(0)
の画像表示が行われる時刻ｈ’(0)を基準として、フレ
ームＦ’(1)，Ｆ’(2)， Ｆ’(3) の画像表示が行われ
る時刻を示している。また、ｈ(n)（ｈ(1)，ｈ(2)，ｈ
(3)，ｈ(4)，・・・） は、フレームＦ(0) ＝Ｆ’(0)の
画像表示が行われる時刻ｈ’(0)を基準として、フレー
ムＦ(n)（Ｆ(1)， Ｆ(2)， Ｆ(3)，Ｆ(4)，・・・） の
画像表示が行われる時刻を示している。従って、ここで
は、表示順に配列されたフレームＦ’(n’)の表示時刻
ｈ’(n’)は、ｈ’(n’)＝ｈ’(n’-1)+t’(n’)であ
る。なおｈ’(0)はｈ’(0) ＝０としている。
タイミングの間隔が可変である画像表示方法の一例を説
明するための図である。図中、ｔ’(n’)（ｔ’(1),
ｔ’(2), ｔ’(3), ｔ’(4) ・・・） は、フレーム
Ｆ’(n’-1) の画像表示が行われる時刻と、フレーム
Ｆ’(n’) の画像表示が行われる時刻との時間間隔を示
し、ｈ’(1)，ｈ’(2)，ｈ’(3) は、フレームＦ’(0)
の画像表示が行われる時刻ｈ’(0)を基準として、フレ
ームＦ’(1)，Ｆ’(2)， Ｆ’(3) の画像表示が行われ
る時刻を示している。また、ｈ(n)（ｈ(1)，ｈ(2)，ｈ
(3)，ｈ(4)，・・・） は、フレームＦ(0) ＝Ｆ’(0)の
画像表示が行われる時刻ｈ’(0)を基準として、フレー
ムＦ(n)（Ｆ(1)， Ｆ(2)， Ｆ(3)，Ｆ(4)，・・・） の
画像表示が行われる時刻を示している。従って、ここで
は、表示順に配列されたフレームＦ’(n’)の表示時刻
ｈ’(n’)は、ｈ’(n’)＝ｈ’(n’-1)+t’(n’)であ
る。なおｈ’(0)はｈ’(0) ＝０としている。
【００１９】次に、図１４に示す画像データ構造を有す
る画像符号化信号が復号化されて画像表示が行われる状
況を図１６を用いて簡単に説明する。復号化側では、図
１４に示す該画像符号化信号２００が入力されると、該
画像符号化信号２００を構成する各フレームＦ(0)，Ｆ
(1)，Ｆ(2)，・・・の画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・に対して復号化処理施されるととも
に、各フレームＦ(０)，Ｆ(１)，Ｆ(２)，・・・に対応
する画像表示が、各フレームの表示時刻データＤｔ０，
Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)
，ｈ(1) ，ｈ(2)・・・に行われる。
る画像符号化信号が復号化されて画像表示が行われる状
況を図１６を用いて簡単に説明する。復号化側では、図
１４に示す該画像符号化信号２００が入力されると、該
画像符号化信号２００を構成する各フレームＦ(0)，Ｆ
(1)，Ｆ(2)，・・・の画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・に対して復号化処理施されるととも
に、各フレームＦ(０)，Ｆ(１)，Ｆ(２)，・・・に対応
する画像表示が、各フレームの表示時刻データＤｔ０，
Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)
，ｈ(1) ，ｈ(2)・・・に行われる。
【００２０】このようにして、符号化された画像信号
（画像符号化信号）が各フレームに対する画像表示タイ
ミングの間隔（画像表示周期）が固定であるものだけで
なく、可変であるものについても、復号化側で画像符号
化信号が復号化されて所定のタイミングで画像表示が行
われるようにしている。
（画像符号化信号）が各フレームに対する画像表示タイ
ミングの間隔（画像表示周期）が固定であるものだけで
なく、可変であるものについても、復号化側で画像符号
化信号が復号化されて所定のタイミングで画像表示が行
われるようにしている。
【００２１】なお、符号化された画像信号が各フレーム
に対する画像表示の間隔が固定であるものである場合に
は、上記の画像表示周期が可変である場合と同様、上記
各フレームＦ(0)，Ｆ(1) ，Ｆ(2) ，・・・に対応する
画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ
１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)，ｈ
(1)，ｈ(2)，・・・に行われることは言うまでもない。
に対する画像表示の間隔が固定であるものである場合に
は、上記の画像表示周期が可変である場合と同様、上記
各フレームＦ(0)，Ｆ(1) ，Ｆ(2) ，・・・に対応する
画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ
１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)，ｈ
(1)，ｈ(2)，・・・に行われることは言うまでもない。
【００２２】ところで、フレームレート(１秒間に表示
されるフレームの数)は、これを単純にｋ(自然数)ビッ
トで表現しようとしても、テレビジョン放送で使用され
る周波数、例えば２９．９７・・・Ｈｚ，正確には３０
０００／１００１Ｈｚのような値については表現するこ
とができない。
されるフレームの数)は、これを単純にｋ(自然数)ビッ
トで表現しようとしても、テレビジョン放送で使用され
る周波数、例えば２９．９７・・・Ｈｚ，正確には３０
０００／１００１Ｈｚのような値については表現するこ
とができない。
【００２３】そこで、このようなフレームレートは以下
のように表現することができる。つまり、所定の時間間
隔（１modulo time ）を例えば１秒とし、これをＮ（Ｎ
は自然数）等分した微小単位時間（１／Ｎ）を１単位時
間（１time tick ）として、フレームレートが可変であ
る画像についても、またフレームレートが固定である画
像についても、各フレームの表示時刻を表すようにして
いる。
のように表現することができる。つまり、所定の時間間
隔（１modulo time ）を例えば１秒とし、これをＮ（Ｎ
は自然数）等分した微小単位時間（１／Ｎ）を１単位時
間（１time tick ）として、フレームレートが可変であ
る画像についても、またフレームレートが固定である画
像についても、各フレームの表示時刻を表すようにして
いる。
【００２４】具体的には、図１７(a) に示すように、表
示順に並ぶ各フレームＦ’(0),Ｆ’(1)’，Ｆ’(2)，
Ｆ’(3)の画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ
３の表示時刻は、例えば、時刻Ｘを基準として、微小単
位時間（１／Ｎ）をｙ（ＶＯＰrate increment ）個集
めたもの（ｙ／Ｎ）により表す。例えば、画像ＶＯＰ
０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３については、それぞ
れ上記値ｙは、ｙ＝ｙ’０，ｙ＝ｙ’１，ｙ＝ｙ’２，
ｙ＝ｙ’３となっている。
示順に並ぶ各フレームＦ’(0),Ｆ’(1)’，Ｆ’(2)，
Ｆ’(3)の画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ
３の表示時刻は、例えば、時刻Ｘを基準として、微小単
位時間（１／Ｎ）をｙ（ＶＯＰrate increment ）個集
めたもの（ｙ／Ｎ）により表す。例えば、画像ＶＯＰ
０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３については、それぞ
れ上記値ｙは、ｙ＝ｙ’０，ｙ＝ｙ’１，ｙ＝ｙ’２，
ｙ＝ｙ’３となっている。
【００２５】図１７(c)は、上記微小単位時間（１／Ｎ
秒）と上記値ｙとにより、各フレームの画像表示タイミ
ングを示すデータ構造の画像符号化信号２００ａを示し
ている。この画像符号化信号２００ａでは、微小単位時
間に相当するＮ（自然数）を示す微小単位時間データＤ
ｋを含むヘッダＨに続いて、各フレームＦ（ｎ）（Ｆ
（０），Ｆ（１），Ｆ（２），・・・）に対応する符号
列Ｓｂｎ（Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・）が配列さ
れており、各符号列Ｓｂｎには、基準時刻ｘを基準とし
て上記微小単位時間（１／Ｎ）とその個数ｙを用いて測
定した表示時刻ｈ(n)(ｈ(0)，ｈ(1)，ｈ(2)，・・・)を
示す表示周期乗数データＤｙｎ（Ｄｙ０，Ｄｙ１，Ｄｙ
２，・・・）が含まれている。
秒）と上記値ｙとにより、各フレームの画像表示タイミ
ングを示すデータ構造の画像符号化信号２００ａを示し
ている。この画像符号化信号２００ａでは、微小単位時
間に相当するＮ（自然数）を示す微小単位時間データＤ
ｋを含むヘッダＨに続いて、各フレームＦ（ｎ）（Ｆ
（０），Ｆ（１），Ｆ（２），・・・）に対応する符号
列Ｓｂｎ（Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・）が配列さ
れており、各符号列Ｓｂｎには、基準時刻ｘを基準とし
て上記微小単位時間（１／Ｎ）とその個数ｙを用いて測
定した表示時刻ｈ(n)(ｈ(0)，ｈ(1)，ｈ(2)，・・・)を
示す表示周期乗数データＤｙｎ（Ｄｙ０，Ｄｙ１，Ｄｙ
２，・・・）が含まれている。
【００２６】なお、図１７(c)中、Ｃｇｎ（Ｃｇ０，Ｃ
ｇ１，Ｃｇ２，・・・）は、上記各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
画像符号化データである。但し、図１７(b)に示すよう
に、画像ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ
１，２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−Ｖ
ＯＰ（Ｐフレーム）である場合、画像符号化信号２００
ａとしてのビットストリームでは、図１７(c)に示すよ
うに、Ｉ−ＶＯＰ（ＶＯＰ０）に相当するフレームＦ
（０）の符号列に続くフレームＦ（１），Ｆ（２）の符
号列としては、Ｐ−ＶＯＰ（ＶＯＰ３），Ｂ−ＶＯＰ
（ＶＯＰ１）に相当するものが配列されている。
ｇ１，Ｃｇ２，・・・）は、上記各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
画像符号化データである。但し、図１７(b)に示すよう
に、画像ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ
１，２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−Ｖ
ＯＰ（Ｐフレーム）である場合、画像符号化信号２００
ａとしてのビットストリームでは、図１７(c)に示すよ
うに、Ｉ−ＶＯＰ（ＶＯＰ０）に相当するフレームＦ
（０）の符号列に続くフレームＦ（１），Ｆ（２）の符
号列としては、Ｐ−ＶＯＰ（ＶＯＰ３），Ｂ−ＶＯＰ
（ＶＯＰ１）に相当するものが配列されている。
【００２７】
【発明が解決しようとする課題】以下まず、図１４〜図
１６を用いて説明した画像信号データ構造における問題
点について説明する。上述したように、画像符号化信号
が、フレームの表示間隔が一定値Ｔである画像信号を符
号化したものである場合は、各フレームに対応する画像
表示タイミングｈ(n) は、ｈ(n) ＝ｎ′×Ｔとなってい
る。ここでｎ′は表示時順序を示す番号であり、ｎ′＝
Ｂ（ｎ）となっている。言い換えると、このようなフレ
ームの表示間隔が一定値Ｔである画像符号化信号（つま
りフレームレートが固定である画像に対応する符号化信
号）は、復号化側で上記一定な表示間隔である時間Ｔが
分かれば、伝送順序におけるｎ番目のフレームＦ(n) の
表示時刻h(n)は、上記一定な表示間隔Ｔをｎ′(＝Ｂ
（ｎ）)倍することにより一意に定めることができるに
も拘わらず、復号化の際には、フレームＦ(n)（Ｆ(0)
，Ｆ(1) ，Ｆ(2) ，・・・）に対応する画像符号化信
号に挿入されている、図１４に示すような表示時刻デー
タＤｔｎ（Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・）を用い
て、複雑な表示処理を行わざるを得ないという問題があ
った。
１６を用いて説明した画像信号データ構造における問題
点について説明する。上述したように、画像符号化信号
が、フレームの表示間隔が一定値Ｔである画像信号を符
号化したものである場合は、各フレームに対応する画像
表示タイミングｈ(n) は、ｈ(n) ＝ｎ′×Ｔとなってい
る。ここでｎ′は表示時順序を示す番号であり、ｎ′＝
Ｂ（ｎ）となっている。言い換えると、このようなフレ
ームの表示間隔が一定値Ｔである画像符号化信号（つま
りフレームレートが固定である画像に対応する符号化信
号）は、復号化側で上記一定な表示間隔である時間Ｔが
分かれば、伝送順序におけるｎ番目のフレームＦ(n) の
表示時刻h(n)は、上記一定な表示間隔Ｔをｎ′(＝Ｂ
（ｎ）)倍することにより一意に定めることができるに
も拘わらず、復号化の際には、フレームＦ(n)（Ｆ(0)
，Ｆ(1) ，Ｆ(2) ，・・・）に対応する画像符号化信
号に挿入されている、図１４に示すような表示時刻デー
タＤｔｎ（Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・）を用い
て、複雑な表示処理を行わざるを得ないという問題があ
った。
【００２８】次に、図１７を用いて説明した画像信号デ
ータ構造の問題点について説明する。上記のように、現
在のＭＰＥＧ４で提案されている画像信号のデータ構造
では、フレームレートが固定であっても、フレームレー
トの値（大きさ）は、数フレームをデコードしないと分
からない構造となっており、このため、実際の復号化処
理を実現するための回路構成を簡略化するのが困難であ
るといった問題がある。
ータ構造の問題点について説明する。上記のように、現
在のＭＰＥＧ４で提案されている画像信号のデータ構造
では、フレームレートが固定であっても、フレームレー
トの値（大きさ）は、数フレームをデコードしないと分
からない構造となっており、このため、実際の復号化処
理を実現するための回路構成を簡略化するのが困難であ
るといった問題がある。
【００２９】簡単に説明すると、図１７(b)に示すよう
に、ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，
２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ
（Ｐフレーム）である場合、画像符号化信号２００ａと
してのビットストリームでは、図１７(c)に示すよう
に、Ｉ−ＶＯＰ（Ｉフレーム）に相当するフレームＦ
（０）に続いて、Ｐ−ＶＯＰ（Ｐフレーム）に相当する
フレームＦ（１）及びＢ−ＶＯＰ（Ｂフレーム）に相当
するフレームＦ（２）が配列されているため、このＢ−
ＶＯＰ（Ｂフレーム）に対応するフレームＦ（２）が伝
送されてくるまでは、フレーム表示周期（１fixed ＶＯ
Ｐ increment），つまりこの場合はＩ−ＶＯＰの表示タ
イミングとその次に表示されるＢ−ＶＯＰ（Ｂフレー
ム）の表示タイミングの間隔が分からないという問題が
ある。
に、ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，
２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ
（Ｐフレーム）である場合、画像符号化信号２００ａと
してのビットストリームでは、図１７(c)に示すよう
に、Ｉ−ＶＯＰ（Ｉフレーム）に相当するフレームＦ
（０）に続いて、Ｐ−ＶＯＰ（Ｐフレーム）に相当する
フレームＦ（１）及びＢ−ＶＯＰ（Ｂフレーム）に相当
するフレームＦ（２）が配列されているため、このＢ−
ＶＯＰ（Ｂフレーム）に対応するフレームＦ（２）が伝
送されてくるまでは、フレーム表示周期（１fixed ＶＯ
Ｐ increment），つまりこの場合はＩ−ＶＯＰの表示タ
イミングとその次に表示されるＢ−ＶＯＰ（Ｂフレー
ム）の表示タイミングの間隔が分からないという問題が
ある。
【００３０】本発明は、上記のような問題点を解消する
ためになされたもので、復号化側にて、フレームレート
（各フレームに対する画像表示の周期）が固定である画
像符号化信号に対して、簡単なハードウエア構成により
表示処理を施し、しかもフレームレートが可変である画
像符号化信号に対する表示処理も簡単に行うことが可能
となるよう、画像符号化処理を行う画像符号化方法を得
ることを目的とする。
ためになされたもので、復号化側にて、フレームレート
（各フレームに対する画像表示の周期）が固定である画
像符号化信号に対して、簡単なハードウエア構成により
表示処理を施し、しかもフレームレートが可変である画
像符号化信号に対する表示処理も簡単に行うことが可能
となるよう、画像符号化処理を行う画像符号化方法を得
ることを目的とする。
【００３１】
【００３２】
【課題を解決するための手段】この発明に係る画像符号
化方法は、複数のフレームに対応する画像信号を符号化
する画像符号化方法であって、前記画像信号を符号化し
て画像符号化データを生成し、前記画像信号に含まれる
全てのフレームの画像表示間隔が固定であるか可変であ
るかを示す表示周期識別子を生成し、前記表示周期識別
子が前記画像表示間隔が固定であることを示す場合、前
記画像表示間隔を示す表示周期データを生成し、生成し
た前記表示周期データと前記表示周期識別子と前記画像
符号化データとを多重化して画像符号化信号を生成し、
前記表示周期識別子が前記画像表示間隔が可変であるこ
とを示す場合、前記複数のフレームの表示タイミングを
示す表示タイミングデータを生成し、生成した表示タイ
ミングデータと前記表示周期識別子と前記画像符号化デ
ータとを多重化した画像符号化信号であって、前記表示
タイミングデータが前記複数のフレームのそれぞれに付
随した画像符号化信号を生成することを特徴とするもの
である。
化方法は、複数のフレームに対応する画像信号を符号化
する画像符号化方法であって、前記画像信号を符号化し
て画像符号化データを生成し、前記画像信号に含まれる
全てのフレームの画像表示間隔が固定であるか可変であ
るかを示す表示周期識別子を生成し、前記表示周期識別
子が前記画像表示間隔が固定であることを示す場合、前
記画像表示間隔を示す表示周期データを生成し、生成し
た前記表示周期データと前記表示周期識別子と前記画像
符号化データとを多重化して画像符号化信号を生成し、
前記表示周期識別子が前記画像表示間隔が可変であるこ
とを示す場合、前記複数のフレームの表示タイミングを
示す表示タイミングデータを生成し、生成した表示タイ
ミングデータと前記表示周期識別子と前記画像符号化デ
ータとを多重化した画像符号化信号であって、前記表示
タイミングデータが前記複数のフレームのそれぞれに付
随した画像符号化信号を生成することを特徴とするもの
である。
【００３３】
【００３４】
【００３５】
【００３６】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 実施の形態１．図１(a) は、本発明の実施の形態１によ
る、フレーム表示周期が固定（一定）である画像符号化
信号１００ａのデータ構造を示し、図１(b) は本発明の
実施の形態１による、フレーム表示周期が可変である画
像符号化信号１００ｂのデータ構造を示している。
て説明する。 実施の形態１．図１(a) は、本発明の実施の形態１によ
る、フレーム表示周期が固定（一定）である画像符号化
信号１００ａのデータ構造を示し、図１(b) は本発明の
実施の形態１による、フレーム表示周期が可変である画
像符号化信号１００ｂのデータ構造を示している。
【００３７】上記画像符号化信号１００ａ（図１(a)参
照）は、１つの画像（ＭＰＥＧ４では１つのオブジェク
トに対応する画像）に対応する、フレーム表示周期が固
定である画像信号を符号化して得られるものであり、先
頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配
列した構造となっている。ここで、ｎは１つの画像を構
成するフレーム系列における、各フレームのデータ伝送
順序に対応する番号である。
照）は、１つの画像（ＭＰＥＧ４では１つのオブジェク
トに対応する画像）に対応する、フレーム表示周期が固
定である画像信号を符号化して得られるものであり、先
頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配
列した構造となっている。ここで、ｎは１つの画像を構
成するフレーム系列における、各フレームのデータ伝送
順序に対応する番号である。
【００３８】この画像符号化信号１００ａでは、ヘッダ
Ｈ内にフレーム表示周期が固定であることを示す表示周
期識別子（表示周期固定識別子）Ｄｆ及びフレーム表示
周期を示す表示周期データＤｐが挿入され、各フレーム
に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓ
ａｎの先頭には、そのフレームが表示される順番ｎ′に
相当するフレーム番号Ｂ（ｎ）を示すフレーム番号デー
タＢ０，Ｂ１，Ｂ２，・・・，Ｂｎが挿入されている。
また、上記各フレームに対応する符号列Ｓａ０，Ｓａ
１，Ｓａ２，・・・，Ｓａｎには、各フレームの画像信
号を符号化して得られる画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・，Ｃｇｎが含まれている。
Ｈ内にフレーム表示周期が固定であることを示す表示周
期識別子（表示周期固定識別子）Ｄｆ及びフレーム表示
周期を示す表示周期データＤｐが挿入され、各フレーム
に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓ
ａｎの先頭には、そのフレームが表示される順番ｎ′に
相当するフレーム番号Ｂ（ｎ）を示すフレーム番号デー
タＢ０，Ｂ１，Ｂ２，・・・，Ｂｎが挿入されている。
また、上記各フレームに対応する符号列Ｓａ０，Ｓａ
１，Ｓａ２，・・・，Ｓａｎには、各フレームの画像信
号を符号化して得られる画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・，Ｃｇｎが含まれている。
【００３９】図２は、各フレームに対応する画像表示タ
イミングの間隔が固定である画像表示方法の一例を説明
するための図であり、図中、図１６と同一符号は同一の
ものを示しており、Ｔは各フレームの表示タイミングの
間隔が固定である画像のフレーム表示周期である。この
画像符号化信号１００ａでは、図２に示すように、伝送
順に並ぶフレームＦ（ｎ）（ｎ＝０，１，２，・・・）
の表示時刻ｈ(n)は、フレームＦ（０）の表示時刻ｈ(0)
(＝ｈ’(0))をｈ(0)＝０とすると、ｈ（ｎ）＝Ｂ(n)×
Ｔで表される。具体的には、フレームＦ（２）の表示時
刻h(2)はh(2)＝Ｂ(2)×Ｔ、フレームＦ（３）の表示時
刻h(3)はh(3)＝Ｂ(3)×Ｔ、フレームＦ（１）の表示時
刻h(1)はh(1)＝Ｂ(1)×Ｔ、フレームＦ（４）の表示時
刻h(4)はh(4)＝Ｂ(4)×Ｔとなる。
イミングの間隔が固定である画像表示方法の一例を説明
するための図であり、図中、図１６と同一符号は同一の
ものを示しており、Ｔは各フレームの表示タイミングの
間隔が固定である画像のフレーム表示周期である。この
画像符号化信号１００ａでは、図２に示すように、伝送
順に並ぶフレームＦ（ｎ）（ｎ＝０，１，２，・・・）
の表示時刻ｈ(n)は、フレームＦ（０）の表示時刻ｈ(0)
(＝ｈ’(0))をｈ(0)＝０とすると、ｈ（ｎ）＝Ｂ(n)×
Ｔで表される。具体的には、フレームＦ（２）の表示時
刻h(2)はh(2)＝Ｂ(2)×Ｔ、フレームＦ（３）の表示時
刻h(3)はh(3)＝Ｂ(3)×Ｔ、フレームＦ（１）の表示時
刻h(1)はh(1)＝Ｂ(1)×Ｔ、フレームＦ（４）の表示時
刻h(4)はh(4)＝Ｂ(4)×Ｔとなる。
【００４０】従って、この画像符号化信号１００ａの再
生処理では、各フレームに対応する画像符号化データの
復号化により得られる画像復号化データが表示時刻ｈ
（ｎ）に順次表示されることとなる。なおここで、表示
の順番を示す番号ｎ′を表すフレーム番号Ｂ（ｎ）は、
従来技術で説明したように上記（１）〜（３）式によ
り、伝送の順番を示す番号ｎの関数として決定される。
生処理では、各フレームに対応する画像符号化データの
復号化により得られる画像復号化データが表示時刻ｈ
（ｎ）に順次表示されることとなる。なおここで、表示
の順番を示す番号ｎ′を表すフレーム番号Ｂ（ｎ）は、
従来技術で説明したように上記（１）〜（３）式によ
り、伝送の順番を示す番号ｎの関数として決定される。
【００４１】一方、上記画像符号化信号１００ｂ（図１
(b)参照）は、１つの画像（ＭＰＥＧ４では１つのオブ
ジェクトに対応する画像）に対応する、フレーム表示周
期が可変である画像信号を符号化して得られるものであ
り、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎを伝送順に配
列した構造となっている。
(b)参照）は、１つの画像（ＭＰＥＧ４では１つのオブ
ジェクトに対応する画像）に対応する、フレーム表示周
期が可変である画像信号を符号化して得られるものであ
り、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎを伝送順に配
列した構造となっている。
【００４２】この画像符号化信号１００ｂでは、ヘッダ
Ｈ内にフレーム表示周期が可変であることを示す表示周
期識別子（表示周期可変識別子）Ｄｆが挿入され、各フ
レームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・
・，Ｓｂｎの先頭には、そのフレームが表示される表示
時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n) を示す表示
時刻データ（表示タイミングデータ）Ｄｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが挿入されている。また、上記
画像符号化信号１００ｂにおける各フレームに対応する
符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎには、
各フレームの画像信号を符号化して得られる画像符号化
データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含ま
れている。この画像符号化信号１００ｂの再生処理によ
る画像表示は、図１４に示す従来のデータ構造を有する
画像符号化信号２００の画像表示と同様に行われる。
Ｈ内にフレーム表示周期が可変であることを示す表示周
期識別子（表示周期可変識別子）Ｄｆが挿入され、各フ
レームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・
・，Ｓｂｎの先頭には、そのフレームが表示される表示
時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n) を示す表示
時刻データ（表示タイミングデータ）Ｄｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが挿入されている。また、上記
画像符号化信号１００ｂにおける各フレームに対応する
符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎには、
各フレームの画像信号を符号化して得られる画像符号化
データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含ま
れている。この画像符号化信号１００ｂの再生処理によ
る画像表示は、図１４に示す従来のデータ構造を有する
画像符号化信号２００の画像表示と同様に行われる。
【００４３】次に作用効果について説明する。本発明の
実施の形態１では、フレーム表示周期が固定である画像
符号化信号１００ａは、図１(a) に示すように、その画
像データ全体のヘッダ部分に、フレーム表示周期が固定
であることを示す表示周期固定識別子Ｄｆと、フレーム
表示周期を示す表示周期データＤｐを挿入するととも
に、フレーム毎に、各フレーム番号Ｂ（０），Ｂ
（１），Ｂ（２），・・・，Ｂ（ｎ）を示すフレーム番
号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎを挿入したデ
ータ構造となっている。このようなデータ構造の画像符
号化信号１００ａでは、上記表示周期データＤｐからフ
レーム表示周期Ｔが分かり、フレーム番号データＢｎか
ら、１つの画像における各フレームが表示順に数えて何
番目のフレームに相当するかが分かるので、これらのデ
ータＤｐ及びＢｎにより各フレームＦ（ｎ）の表示時刻
ｈ(n)を一意に定めることができる。
実施の形態１では、フレーム表示周期が固定である画像
符号化信号１００ａは、図１(a) に示すように、その画
像データ全体のヘッダ部分に、フレーム表示周期が固定
であることを示す表示周期固定識別子Ｄｆと、フレーム
表示周期を示す表示周期データＤｐを挿入するととも
に、フレーム毎に、各フレーム番号Ｂ（０），Ｂ
（１），Ｂ（２），・・・，Ｂ（ｎ）を示すフレーム番
号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎを挿入したデ
ータ構造となっている。このようなデータ構造の画像符
号化信号１００ａでは、上記表示周期データＤｐからフ
レーム表示周期Ｔが分かり、フレーム番号データＢｎか
ら、１つの画像における各フレームが表示順に数えて何
番目のフレームに相当するかが分かるので、これらのデ
ータＤｐ及びＢｎにより各フレームＦ（ｎ）の表示時刻
ｈ(n)を一意に定めることができる。
【００４４】一方、フレーム表示周期が可変である画像
符号化信号１００ｂは、図１(b) に示すように、その画
像データ全体のヘッダ部分に、表示間隔が可変であるこ
とを示す表示周期可変識別子Ｄｆを挿入し、さらに従来
の画像符号化信号２００のデータ構造と同様に、フレー
ム毎に各フレームの表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・
・・，ｈ(n)を示す表示時刻データＤｔ０，Ｄｔ１，Ｄ
ｔ２ ，・・・，Ｄｔｎを挿入したデータ構造となって
いる。
符号化信号１００ｂは、図１(b) に示すように、その画
像データ全体のヘッダ部分に、表示間隔が可変であるこ
とを示す表示周期可変識別子Ｄｆを挿入し、さらに従来
の画像符号化信号２００のデータ構造と同様に、フレー
ム毎に各フレームの表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・
・・，ｈ(n)を示す表示時刻データＤｔ０，Ｄｔ１，Ｄ
ｔ２ ，・・・，Ｄｔｎを挿入したデータ構造となって
いる。
【００４５】このため、上記画像符号化信号１００ｂを
再生する際には、各フレームＦ（０）〜Ｆ（ｎ）に対応
する画像表示を、該表示時刻データＤｔ０〜Ｄｔｎの示
す表示時刻ｈ(0)〜ｈ(n)に行うことができる。
再生する際には、各フレームＦ（０）〜Ｆ（ｎ）に対応
する画像表示を、該表示時刻データＤｔ０〜Ｄｔｎの示
す表示時刻ｈ(0)〜ｈ(n)に行うことができる。
【００４６】以上のように、画像符号化信号のヘッダ部
分にフレーム表示周期が固定であるか可変であるかを示
す表示周期識別子Ｄｆを挿入することにより、フレーム
表示周期が可変である画像にも対応できる。さらに、フ
レーム表示周期が固定である画像に対しては、情報量の
多い各フレームの表示時刻データＤｔ０〜Ｄｔｎを参照
せずに、表示周期データＤｐと情報量の少ないフレーム
番号データＢｎに基づいて各フレームの画像表示を行う
ことがき、復号化側における画像処理回路を簡単な回路
構成とすることができる。
分にフレーム表示周期が固定であるか可変であるかを示
す表示周期識別子Ｄｆを挿入することにより、フレーム
表示周期が可変である画像にも対応できる。さらに、フ
レーム表示周期が固定である画像に対しては、情報量の
多い各フレームの表示時刻データＤｔ０〜Ｄｔｎを参照
せずに、表示周期データＤｐと情報量の少ないフレーム
番号データＢｎに基づいて各フレームの画像表示を行う
ことがき、復号化側における画像処理回路を簡単な回路
構成とすることができる。
【００４７】以下、上記のような画像符号化信号１００
ａ，１００ｂを生成する画像信号の符号化処理、及びそ
の復号化処理について説明する。図３は上記符号化処理
のフローを示す図である。まず、上記符号化処理では、
入力された所定の画像に対応する画像信号のフレーム表
示周期が固定であるか否かの判定が行われる（ステップ
Ｓ１１）。この判定の結果、フレーム表示周期が固定で
ある場合は、上記フレーム表示周期が固定であることを
示す表示周期固定識別子Ｄｆが、上記画像信号に対応す
るビットストリームのヘッダＨに付加され（ステップＳ
１１ａ）、さらに各フレームの伝送順序を示す番号ｎが
カウンタ値として用いられ、このカウンタ値ｎがｎ＝０
にセットされる（ステップＳ１２ａ）。続いて、上記固
定のフレーム表示周期Ｔを示す表示周期データＤｐが、
上記画像信号に対応するビットストリームのヘッダＨに
付加される（ステップＳ１３ａ）。
ａ，１００ｂを生成する画像信号の符号化処理、及びそ
の復号化処理について説明する。図３は上記符号化処理
のフローを示す図である。まず、上記符号化処理では、
入力された所定の画像に対応する画像信号のフレーム表
示周期が固定であるか否かの判定が行われる（ステップ
Ｓ１１）。この判定の結果、フレーム表示周期が固定で
ある場合は、上記フレーム表示周期が固定であることを
示す表示周期固定識別子Ｄｆが、上記画像信号に対応す
るビットストリームのヘッダＨに付加され（ステップＳ
１１ａ）、さらに各フレームの伝送順序を示す番号ｎが
カウンタ値として用いられ、このカウンタ値ｎがｎ＝０
にセットされる（ステップＳ１２ａ）。続いて、上記固
定のフレーム表示周期Ｔを示す表示周期データＤｐが、
上記画像信号に対応するビットストリームのヘッダＨに
付加される（ステップＳ１３ａ）。
【００４８】次に、上記所定の画像の、伝送順序におけ
る最初のフレームＦ（０）に対応する符号列Ｓａ０とし
て、対応するフレーム番号データＢｎ（＝Ｂ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダＨ
に付加される（ステップＳ１４ａ，Ｓ１５ａ）。その
後、上記画像信号の符号化処理における処理対象フレー
ムが上記所定の画像の、伝送順序における最終のフレー
ムであるか否かの判定が行われ（ステップＳ１６ａ）、
該処理対象フレームが最終フレームでなければ、上記カ
ウンタ値ｎが１つインクリメントされて（ステップＳ１
７ａ）、続くフレームＦ（１）に対して、上記ステップ
Ｓ１４ａ〜Ｓ１７ａにおける処理が行われる。
る最初のフレームＦ（０）に対応する符号列Ｓａ０とし
て、対応するフレーム番号データＢｎ（＝Ｂ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダＨ
に付加される（ステップＳ１４ａ，Ｓ１５ａ）。その
後、上記画像信号の符号化処理における処理対象フレー
ムが上記所定の画像の、伝送順序における最終のフレー
ムであるか否かの判定が行われ（ステップＳ１６ａ）、
該処理対象フレームが最終フレームでなければ、上記カ
ウンタ値ｎが１つインクリメントされて（ステップＳ１
７ａ）、続くフレームＦ（１）に対して、上記ステップ
Ｓ１４ａ〜Ｓ１７ａにおける処理が行われる。
【００４９】上記ステップＳ１４ａ〜Ｓ１７ａにおける
処理は、ステップＳ１６ａにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。
処理は、ステップＳ１６ａにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。
【００５０】一方、上記ステップＳ１１での判定の結
果、フレーム表示周期が可変である場合は、上記フレー
ム表示周期が可変であることを示す表示周期可変識別子
Ｄｆが、上記画像信号に対応するビットストリームのヘ
ッダＨに付加され（ステップＳ１１ｂ）、さらに各フレ
ームの伝送順序を示す番号ｎがカウンタ値ｎとして用い
られ、このカウンタ値ｎがｎ＝０にセットされる（ステ
ップＳ１２ｂ）。次に、上記所定の画像の、伝送順序に
おける最初のフレームＦ（０）に対応する符号列とし
て、対応する表示時刻データＤｔｎ（＝Ｄｔ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダに
付加される（ステップＳ１３ｂ，Ｓ１４ｂ）。その後、
上記画像信号の符号化処理における処理対象フレームが
上記所定の画像における、最終のフレームであるか否か
の判定が行われ（ステップＳ１５ｂ）、該処理対象フレ
ームが最終フレームでなければ、上記カウンタ値ｎが１
つインクリメントされて（ステップＳ１６ｂ）、続くフ
レームＦ（１）に対して、上記ステップＳ１３ｂ〜Ｓ１
６ｂにおける処理が行われる。
果、フレーム表示周期が可変である場合は、上記フレー
ム表示周期が可変であることを示す表示周期可変識別子
Ｄｆが、上記画像信号に対応するビットストリームのヘ
ッダＨに付加され（ステップＳ１１ｂ）、さらに各フレ
ームの伝送順序を示す番号ｎがカウンタ値ｎとして用い
られ、このカウンタ値ｎがｎ＝０にセットされる（ステ
ップＳ１２ｂ）。次に、上記所定の画像の、伝送順序に
おける最初のフレームＦ（０）に対応する符号列とし
て、対応する表示時刻データＤｔｎ（＝Ｄｔ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダに
付加される（ステップＳ１３ｂ，Ｓ１４ｂ）。その後、
上記画像信号の符号化処理における処理対象フレームが
上記所定の画像における、最終のフレームであるか否か
の判定が行われ（ステップＳ１５ｂ）、該処理対象フレ
ームが最終フレームでなければ、上記カウンタ値ｎが１
つインクリメントされて（ステップＳ１６ｂ）、続くフ
レームＦ（１）に対して、上記ステップＳ１３ｂ〜Ｓ１
６ｂにおける処理が行われる。
【００５１】上記ステップＳ１３ｂ〜Ｓ１６ｂにおける
処理は、ステップＳ１５ｂにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。図
４(a)は、上記実施の形態１における符号化処理を行う
ハードウエアとしての画像符号化装置１０００の構成を
示すブロック図である。
処理は、ステップＳ１５ｂにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。図
４(a)は、上記実施の形態１における符号化処理を行う
ハードウエアとしての画像符号化装置１０００の構成を
示すブロック図である。
【００５２】この画像符号化装置１０００は、入力され
る画像信号Ｓｇを符号化して画像符号化データＣｇｎを
生成する符号化器１１１０と、上記入力される画像信号
Ｓｇに基づいて、フレーム表示周期が一定であるか否か
（つまり、表示周期が固定であるか可変であるか）を判
定して、表示周期が一定であるか否かを示す表示周期識
別子Ｄｆを出力する判定器１１３１と、上記入力された
画像信号Ｓｇに基づいて、一定のフレーム表示周期Ｔを
示す表示周期データＤｆを生成する表示周期データ生成
器（第１のデータ生成器）１１３２とを有している。
る画像信号Ｓｇを符号化して画像符号化データＣｇｎを
生成する符号化器１１１０と、上記入力される画像信号
Ｓｇに基づいて、フレーム表示周期が一定であるか否か
（つまり、表示周期が固定であるか可変であるか）を判
定して、表示周期が一定であるか否かを示す表示周期識
別子Ｄｆを出力する判定器１１３１と、上記入力された
画像信号Ｓｇに基づいて、一定のフレーム表示周期Ｔを
示す表示周期データＤｆを生成する表示周期データ生成
器（第１のデータ生成器）１１３２とを有している。
【００５３】また、上記画像符号化装置１０００は、上
記入力された画像信号Ｓｇに基づいて、伝送順序におけ
る各フレームの順番（フレーム番号Ｂ（ｎ））を示すフ
レーム番号データＢｎを生成する番号データ生成器（第
２のデータ生成器）１１３３と、上記入力された画像信
号Ｓｇに基づいて、各フレームＦ（ｎ）の表示時刻ｈ
(n)を示す表示時刻データＤｔｎを生成する表示時刻デ
ータ生成器（第３のデータ生成器）１１３４とを有して
いる。
記入力された画像信号Ｓｇに基づいて、伝送順序におけ
る各フレームの順番（フレーム番号Ｂ（ｎ））を示すフ
レーム番号データＢｎを生成する番号データ生成器（第
２のデータ生成器）１１３３と、上記入力された画像信
号Ｓｇに基づいて、各フレームＦ（ｎ）の表示時刻ｈ
(n)を示す表示時刻データＤｔｎを生成する表示時刻デ
ータ生成器（第３のデータ生成器）１１３４とを有して
いる。
【００５４】さらに、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記データ生成器１１３２からの表示周期データＤ
ｐを導通させる導通状態と該表示周期データＤｐを遮断
する遮断状態との間で切り替わる開閉スイッチ１１４１
と、上記判定器１１３１からの表示周期識別子Ｄｆに基
づいて、上記データ発生器１１３３からのフレーム番号
データＢｎと上記データ発生器１１３４からの表示時刻
データＤｔｎの一方を選択して出力する選択スイッチ１
１４２とを有している。
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記データ生成器１１３２からの表示周期データＤ
ｐを導通させる導通状態と該表示周期データＤｐを遮断
する遮断状態との間で切り替わる開閉スイッチ１１４１
と、上記判定器１１３１からの表示周期識別子Ｄｆに基
づいて、上記データ発生器１１３３からのフレーム番号
データＢｎと上記データ発生器１１３４からの表示時刻
データＤｔｎの一方を選択して出力する選択スイッチ１
１４２とを有している。
【００５５】そして、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆ，上記符
号化器１１１０からの符号化データＣｇｎ，上記開閉ス
イッチ１１４１からの表示周期データＤｐ，及び上記選
択スイッチ１１４２の出力を多重化して多重ビットスト
リームＭ１を生成する多重化器（ＭＵＸ）１１２０を有
しており、該多重ビットストリームＭ１を、フレーム表
示周期が固定である画像符号化信号１００ａ、あるいは
フレーム表示周期が可変である画像符号化信号１００ｂ
として出力する構成となっている。
上記判定器１１３１からの表示周期識別子Ｄｆ，上記符
号化器１１１０からの符号化データＣｇｎ，上記開閉ス
イッチ１１４１からの表示周期データＤｐ，及び上記選
択スイッチ１１４２の出力を多重化して多重ビットスト
リームＭ１を生成する多重化器（ＭＵＸ）１１２０を有
しており、該多重ビットストリームＭ１を、フレーム表
示周期が固定である画像符号化信号１００ａ、あるいは
フレーム表示周期が可変である画像符号化信号１００ｂ
として出力する構成となっている。
【００５６】以下簡単に上記画像符号化装置１０００の
動作について説明する。まず、上記画像符号化装置１０
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇのフレー
ム表示周期が可変である否かの判定が行われ、判定結果
を示す表示周期識別子Ｄｆが出力される。また、このと
き、上記画像信号Ｓｇに基づいて、第１〜第３のデータ
生成器１１３２〜１１３４では、それぞれ上記表示周期
データＤｐ，フレーム番号データＢｎ，及び表示時刻デ
ータＤｔｎが生成され、上記符号化器１１１０では、上
記画像信号Ｓｇが符号化されて画像符号化データＣｇｎ
として出力される。
動作について説明する。まず、上記画像符号化装置１０
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇのフレー
ム表示周期が可変である否かの判定が行われ、判定結果
を示す表示周期識別子Ｄｆが出力される。また、このと
き、上記画像信号Ｓｇに基づいて、第１〜第３のデータ
生成器１１３２〜１１３４では、それぞれ上記表示周期
データＤｐ，フレーム番号データＢｎ，及び表示時刻デ
ータＤｔｎが生成され、上記符号化器１１１０では、上
記画像信号Ｓｇが符号化されて画像符号化データＣｇｎ
として出力される。
【００５７】そして、上記表示周期識別子Ｄｆ及び画像
符号化データＣｇｎは多重化器１１２０に出力される。
このとき、上記表示周期データＤｐは、表示周期識別子
Ｄｆに基づいて開閉されるスイッチ１１４１を介して多
重化器１１２０に出力され、フレーム番号データＢｎ及
び表示時刻データＤｔｎは、表示周期識別子Ｄｆに基づ
いてこれらのデータの一方を選択する選択スイッチ１１
４２を介して上記多重化器１１２０に出力される。
符号化データＣｇｎは多重化器１１２０に出力される。
このとき、上記表示周期データＤｐは、表示周期識別子
Ｄｆに基づいて開閉されるスイッチ１１４１を介して多
重化器１１２０に出力され、フレーム番号データＢｎ及
び表示時刻データＤｔｎは、表示周期識別子Ｄｆに基づ
いてこれらのデータの一方を選択する選択スイッチ１１
４２を介して上記多重化器１１２０に出力される。
【００５８】つまり、画像信号Ｓｇとして、上記各フレ
ームＦ（ｎ）に対応する画像表示の周期が固定である画
像信号が入力されたとき、上記表示周期固定識別子Ｄｆ
とともに、上記各フレームに対応する画像表示の周期を
示す表示周期データＤｐと、上記各フレームに対応し
た、フレームの前後関係を示すフレーム番号データＢｎ
とが多重化器１１２０に出力される。すると、該多重化
器１１２０では、上記画像符号化データＣｇｎ、表示周
期固定識別子Ｄｆ、表示周期データＤｐ、及びフレーム
番号データＢｎが多重化されて画像符号化信号１００ａ
として出力される。
ームＦ（ｎ）に対応する画像表示の周期が固定である画
像信号が入力されたとき、上記表示周期固定識別子Ｄｆ
とともに、上記各フレームに対応する画像表示の周期を
示す表示周期データＤｐと、上記各フレームに対応し
た、フレームの前後関係を示すフレーム番号データＢｎ
とが多重化器１１２０に出力される。すると、該多重化
器１１２０では、上記画像符号化データＣｇｎ、表示周
期固定識別子Ｄｆ、表示周期データＤｐ、及びフレーム
番号データＢｎが多重化されて画像符号化信号１００ａ
として出力される。
【００５９】一方、上記画像信号Ｓｇとして、上記各フ
レームＦ（ｎ）に対応する画像表示の周期が可変である
画像信号が入力されたとき、上記表示周期可変識別子Ｄ
ｆとともに、上記各フレームに応じて１つまたは複数の
基準時刻の所要のものに対して相対的に設定された、各
フレームに対応する画像表示が行われるタイミング（表
示時刻）ｈ(n)を示す表示時刻データＤｔｎが上記多重
化器１１２０に出力される。すると該多重化器１１２０
では、上記画像符号化データＣｇｎ、表示周期可変識別
子Ｄｆ、及び表示時刻データＤｔｎが多重化されて、画
像符号化信号１００ｂとして出力される。
レームＦ（ｎ）に対応する画像表示の周期が可変である
画像信号が入力されたとき、上記表示周期可変識別子Ｄ
ｆとともに、上記各フレームに応じて１つまたは複数の
基準時刻の所要のものに対して相対的に設定された、各
フレームに対応する画像表示が行われるタイミング（表
示時刻）ｈ(n)を示す表示時刻データＤｔｎが上記多重
化器１１２０に出力される。すると該多重化器１１２０
では、上記画像符号化データＣｇｎ、表示周期可変識別
子Ｄｆ、及び表示時刻データＤｔｎが多重化されて、画
像符号化信号１００ｂとして出力される。
【００６０】次に、図５を用いて、本実施の形態のデー
タ構造を有する画像符号化信号１００ａ，１００ｂを復
号化する復号化処理について説明する。まず、上記復号
化処理では、符号化側から送られてくる多重ビットスト
リームＭ１（画像符号化信号１００ａあるいは１００
ｂ）における表示周期識別子Ｄｆを検出することによ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ２１）。この判定の結果、表示
周期が固定であると判定されれば、伝送順における各フ
レームＦ（ｎ）の順番に相当するカウント値ｎが０にセ
ットされ（ステップＳ２１ａ）、その後、画像符号化信
号のヘッダ部分Ｈから表示周期Ｔを示す表示周期データ
Ｄｐが読込まれる（ステップＳ２２ａ）。
タ構造を有する画像符号化信号１００ａ，１００ｂを復
号化する復号化処理について説明する。まず、上記復号
化処理では、符号化側から送られてくる多重ビットスト
リームＭ１（画像符号化信号１００ａあるいは１００
ｂ）における表示周期識別子Ｄｆを検出することによ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ２１）。この判定の結果、表示
周期が固定であると判定されれば、伝送順における各フ
レームＦ（ｎ）の順番に相当するカウント値ｎが０にセ
ットされ（ステップＳ２１ａ）、その後、画像符号化信
号のヘッダ部分Ｈから表示周期Ｔを示す表示周期データ
Ｄｐが読込まれる（ステップＳ２２ａ）。
【００６１】次に、各フレームのヘッダ部分から、フレ
ーム番号Ｂ（ｎ）を示すフレーム番号データＢｎが読込
まれ（ステップＳ２３ａ）、各フレームの表示時刻ｈ
（ｎ）が計算式ｈ（ｎ）＝Ｂ（ｎ）×Ｔにより求められ
る（ステップＳ２４ａ）。
ーム番号Ｂ（ｎ）を示すフレーム番号データＢｎが読込
まれ（ステップＳ２３ａ）、各フレームの表示時刻ｈ
（ｎ）が計算式ｈ（ｎ）＝Ｂ（ｎ）×Ｔにより求められ
る（ステップＳ２４ａ）。
【００６２】そして、フレームＦ（ｎ）に対応する画像
符号化データＣｇｎの復号化処理が行われ、フレームＦ
（ｎ）に対応する画像復号化データが、表示時刻ｈ(n)
に表示される画像データとされる（ステップＳ２５
ａ）。その後、処理対象フレームＦ（ｎ）が上記所定の
画像の、伝送順序における最後のフレームであるか否か
が判定され（ステップＳ２６ａ）、処理対象フレームが
上記所定の画像の、伝送順序における最後のフレームで
あれば復号化処理が終了し、これが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２７ａ）、その後、上記ステップＳ２３ａ
〜２６ａの処理が上記ステップＳ２６ａにて処理対象フ
レームが最後のフレームであると判定されるまで行われ
る。
符号化データＣｇｎの復号化処理が行われ、フレームＦ
（ｎ）に対応する画像復号化データが、表示時刻ｈ(n)
に表示される画像データとされる（ステップＳ２５
ａ）。その後、処理対象フレームＦ（ｎ）が上記所定の
画像の、伝送順序における最後のフレームであるか否か
が判定され（ステップＳ２６ａ）、処理対象フレームが
上記所定の画像の、伝送順序における最後のフレームで
あれば復号化処理が終了し、これが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２７ａ）、その後、上記ステップＳ２３ａ
〜２６ａの処理が上記ステップＳ２６ａにて処理対象フ
レームが最後のフレームであると判定されるまで行われ
る。
【００６３】一方、上記ステップＳ２１にて、表示周期
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番に相当するカウント値ｎが０にセット
され（ステップＳ２１ｂ）、その後、各フレームのヘッ
ダ部分からフレームＦ（ｎ）の表示時刻ｈ(n)を示す表
示時刻データＤｔｎが読込まれ（ステップＳ２２ｂ）、
この表示時刻データＤｔｎに基づいてフレームＦ（ｎ）
の表示時刻ｈ(n)が決定される（ステップＳ２３ｂ）。
続いて、フレームＦ（ｎ）に対応する画像符号化データ
Ｃｇｎの復号化処理が行われ、復号化処理が施されたフ
レームＦ（ｎ）の画像復号化データが、表示時刻ｈ
（ｎ）に表示される画像データとされる（ステップＳ２
４ｂ）。
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番に相当するカウント値ｎが０にセット
され（ステップＳ２１ｂ）、その後、各フレームのヘッ
ダ部分からフレームＦ（ｎ）の表示時刻ｈ(n)を示す表
示時刻データＤｔｎが読込まれ（ステップＳ２２ｂ）、
この表示時刻データＤｔｎに基づいてフレームＦ（ｎ）
の表示時刻ｈ(n)が決定される（ステップＳ２３ｂ）。
続いて、フレームＦ（ｎ）に対応する画像符号化データ
Ｃｇｎの復号化処理が行われ、復号化処理が施されたフ
レームＦ（ｎ）の画像復号化データが、表示時刻ｈ
（ｎ）に表示される画像データとされる（ステップＳ２
４ｂ）。
【００６４】その後、処理対象フレームＦ（ｎ）が上記
所定の画像の、伝送順序における最後のフレームである
か否かが判断され（ステップＳ２５ｂ）、該処理対象フ
レームが最後のフレームであれば復号化処理が終了す
る。一方、上記処理対象フレームが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２６ｂ）、その後、上記ステップＳ２２ｂ
〜ステップＳ２６ｂの処理が、ステップＳ２５ｂにて処
理対象フレームが最後のフレームであると判定されるま
で行われる。
所定の画像の、伝送順序における最後のフレームである
か否かが判断され（ステップＳ２５ｂ）、該処理対象フ
レームが最後のフレームであれば復号化処理が終了す
る。一方、上記処理対象フレームが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２６ｂ）、その後、上記ステップＳ２２ｂ
〜ステップＳ２６ｂの処理が、ステップＳ２５ｂにて処
理対象フレームが最後のフレームであると判定されるま
で行われる。
【００６５】以上説明したように図５に示した処理手順
で、図１(a) ，(b) に示すデータ構造を有する画像符号
化信号が復号化される。図６(a)は上記実施の形態１に
おける復号化処理を行うハードウエアとしての画像復号
化装置の構成を示すブロック図である。
で、図１(a) ，(b) に示すデータ構造を有する画像符号
化信号が復号化される。図６(a)は上記実施の形態１に
おける復号化処理を行うハードウエアとしての画像復号
化装置の構成を示すブロック図である。
【００６６】この画像復号化装置２０００は、上記画像
符号化装置１０００から出力された画像符号化信号１０
０ａあるいは１００ｂとしての多重ビットストリームＭ
１に対して、復号化処理及び表示処理を含む再生処理を
行う構成となっている。
符号化装置１０００から出力された画像符号化信号１０
０ａあるいは１００ｂとしての多重ビットストリームＭ
１に対して、復号化処理及び表示処理を含む再生処理を
行う構成となっている。
【００６７】すなわち、この画像復号化装置２０００
は、上記多重ビットストリームＭ１から、画像符号化デ
ータＣｇｎ，表示周期識別子Ｄｆ，表示周期データＤ
ｐ，及びフレーム番号データＢｎあるいは表示時刻デー
タＤｔｎを取り出して出力するデータ分離器（ＤＥＭＵ
Ｘ）２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを有している。
は、上記多重ビットストリームＭ１から、画像符号化デ
ータＣｇｎ，表示周期識別子Ｄｆ，表示周期データＤ
ｐ，及びフレーム番号データＢｎあるいは表示時刻デー
タＤｔｎを取り出して出力するデータ分離器（ＤＥＭＵ
Ｘ）２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを有している。
【００６８】また、上記画像復号化装置２０００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期データ
Ｄｐを導通させる導通状態と該表示周期データＤｐを遮
断する遮断状態との間で切り替わる開閉スイッチ２１４
０と、上記表示周期識別子Ｄｆに基づいて、上記フレー
ム番号データＢｎ及び上記表示時刻データＤｔｎの一方
を選択して出力する選択スイッチ２１５０とを有してい
る。
記表示周期識別子Ｄｆに基づいて、上記表示周期データ
Ｄｐを導通させる導通状態と該表示周期データＤｐを遮
断する遮断状態との間で切り替わる開閉スイッチ２１４
０と、上記表示周期識別子Ｄｆに基づいて、上記フレー
ム番号データＢｎ及び上記表示時刻データＤｔｎの一方
を選択して出力する選択スイッチ２１５０とを有してい
る。
【００６９】さらに、上記画像復号化装置２０００は、
上記画像復号化データＲｇを、表示周期識別子Ｄｆ及び
各スイッチ２１４０，２１５０の出力に基づいて所定の
表示タイミングで表示する表示装置２１３０を有してい
る。
上記画像復号化データＲｇを、表示周期識別子Ｄｆ及び
各スイッチ２１４０，２１５０の出力に基づいて所定の
表示タイミングで表示する表示装置２１３０を有してい
る。
【００７０】以下簡単に上記画像復号化装置２０００の
動作について説明する。まず、上記画像復号化装置２０
００に、上記画像符号化装置１０００からの多重ビット
ストリームＭ１が入力されると、データ分離器２１１０
にて、上記多重ビットストリームＭ１から表示周期識別
子Ｄｆ及び表示周期データＤｐが分離され、さらに各フ
レーム毎に上記多重ビットストリームＭ１から、画像符
号化データＣｇｎ，及びフレーム番号データＢｎあるい
は表示時間データＤｔｎが分離される。
動作について説明する。まず、上記画像復号化装置２０
００に、上記画像符号化装置１０００からの多重ビット
ストリームＭ１が入力されると、データ分離器２１１０
にて、上記多重ビットストリームＭ１から表示周期識別
子Ｄｆ及び表示周期データＤｐが分離され、さらに各フ
レーム毎に上記多重ビットストリームＭ１から、画像符
号化データＣｇｎ，及びフレーム番号データＢｎあるい
は表示時間データＤｔｎが分離される。
【００７１】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２１２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２１３０に出力される。また、
上記表示周期データＤｐは、表示周期識別子Ｄｆにより
開閉される開閉スイッチ２１４０を介して表示装置２１
３０に出力され、各フレームのフレーム番号データＢｎ
あるいは表示時間データＤｔｎは、表示周期識別子Ｄｆ
によりこれらの一方のデータを選択する選択スイッチ２
１５０を介して上記表示装置２１３０に出力される。
ｇｎは復号化器２１２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２１３０に出力される。また、
上記表示周期データＤｐは、表示周期識別子Ｄｆにより
開閉される開閉スイッチ２１４０を介して表示装置２１
３０に出力され、各フレームのフレーム番号データＢｎ
あるいは表示時間データＤｔｎは、表示周期識別子Ｄｆ
によりこれらの一方のデータを選択する選択スイッチ２
１５０を介して上記表示装置２１３０に出力される。
【００７２】そして表示装置２１３０では、表示周期が
固定である画像復号化データＲｇに対応する各フレーム
の画像は、表示周期データＤｐ及びフレーム番号データ
Ｂｎに基づいて所定の表示タイミングで表示され、一方
表示周期が可変である画像復号化データＲｇに対応する
フレームの画像は、表示時刻データＤｔｎに基づいて所
定の表示タイミングで表示される。
固定である画像復号化データＲｇに対応する各フレーム
の画像は、表示周期データＤｐ及びフレーム番号データ
Ｂｎに基づいて所定の表示タイミングで表示され、一方
表示周期が可変である画像復号化データＲｇに対応する
フレームの画像は、表示時刻データＤｔｎに基づいて所
定の表示タイミングで表示される。
【００７３】このように本実施の形態１の画像信号デー
タ構造では、画像信号を符号化して得られる画像符号化
信号を、各フレームに対応する画像表示処理の周期が可
変であるか否かを示す表示周期識別子Ｄｆを含む構成と
したので、各フレームに対する画像表示の周期が固定で
ある場合に、簡単な回路構成により、つまり各フレーム
毎に情報量（ビット数）の多い表示時刻データ（表示タ
イミングデータ）Ｄｔｎを参照することなく、表示周期
データＤｐと情報量（ビット数）の少ないフレーム番号
データＢｎに基づいて、画像復号化データＲｇの表示処
理を行うことができる。
タ構造では、画像信号を符号化して得られる画像符号化
信号を、各フレームに対応する画像表示処理の周期が可
変であるか否かを示す表示周期識別子Ｄｆを含む構成と
したので、各フレームに対する画像表示の周期が固定で
ある場合に、簡単な回路構成により、つまり各フレーム
毎に情報量（ビット数）の多い表示時刻データ（表示タ
イミングデータ）Ｄｔｎを参照することなく、表示周期
データＤｐと情報量（ビット数）の少ないフレーム番号
データＢｎに基づいて、画像復号化データＲｇの表示処
理を行うことができる。
【００７４】また、表示周期が固定である画像符号化信
号１００ａには、画像表示の周期Ｔを示す表示周期デー
タＤｐと、フレームの前後関係を示すフレーム番号Ｂ
（ｎ）を示すデータ（フレーム位置データ）Ｂｎを含む
ので、各フレームに対応する画像表示のタイミングを、
Ｔ×Ｂ（ｎ）という簡単な演算により決定することがで
きる。
号１００ａには、画像表示の周期Ｔを示す表示周期デー
タＤｐと、フレームの前後関係を示すフレーム番号Ｂ
（ｎ）を示すデータ（フレーム位置データ）Ｂｎを含む
ので、各フレームに対応する画像表示のタイミングを、
Ｔ×Ｂ（ｎ）という簡単な演算により決定することがで
きる。
【００７５】また、表示周期が可変である画像符号化信
号１００ｂには、各フレームに応じて１つまたは複数の
基準時刻の所要のものｈ’(0)（図２参照）に対して相
対的に設定された、各フレームに対応する画像表示が行
われる表示時刻（表示タイミング）ｈ(n)を示す表示時
刻データ（表示タイミングデータ）Ｄｔｎを含むので、
各フレームに対応する画像表示の周期が可変である場合
には、従来のデータ構造と同様、表示時刻データＤｔｎ
に基づいて各フレームＦ（ｎ）に対応する画像表示のタ
イミングｈ(n)を確定することができる。
号１００ｂには、各フレームに応じて１つまたは複数の
基準時刻の所要のものｈ’(0)（図２参照）に対して相
対的に設定された、各フレームに対応する画像表示が行
われる表示時刻（表示タイミング）ｈ(n)を示す表示時
刻データ（表示タイミングデータ）Ｄｔｎを含むので、
各フレームに対応する画像表示の周期が可変である場合
には、従来のデータ構造と同様、表示時刻データＤｔｎ
に基づいて各フレームＦ（ｎ）に対応する画像表示のタ
イミングｈ(n)を確定することができる。
【００７６】また、この実施の形態１の画像符号化装置
１０００では、入力される画像信号に基づいて、画像の
表示周期が可変である否かを示す表示周期識別子Ｄｆを
生成する判定器１１３１を備え、表示周期が固定である
画像信号が入力されたとき、上記表示周期識別子Ｄｆ、
画像表示の周期を示す表示周期データＤｐ、フレームの
前後関係を示すフレーム番号データＢｎを画像符号化デ
ータＣｇｎと多重化して出力し、画像表示の周期が可変
である画像信号が入力されたとき、表示周期識別子Ｄｆ
及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時
刻データＤｔｎを、画像符号化データＣｇｎと多重化し
て出力するようにしたので、各フレームに対する画像表
示の周期が可変であっても固定であっても、各フレーム
の表示タイミングを決定するためのデータが画像符号化
データＣｇｎとともに出力されることとなる。これによ
りフレームの表示周期が固定の場合に表示時刻を定める
のに要するビット数を削減することができ、しかも、フ
レームの表示周期が可変である画像の表示も従来と同様
に行うことができる。
１０００では、入力される画像信号に基づいて、画像の
表示周期が可変である否かを示す表示周期識別子Ｄｆを
生成する判定器１１３１を備え、表示周期が固定である
画像信号が入力されたとき、上記表示周期識別子Ｄｆ、
画像表示の周期を示す表示周期データＤｐ、フレームの
前後関係を示すフレーム番号データＢｎを画像符号化デ
ータＣｇｎと多重化して出力し、画像表示の周期が可変
である画像信号が入力されたとき、表示周期識別子Ｄｆ
及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時
刻データＤｔｎを、画像符号化データＣｇｎと多重化し
て出力するようにしたので、各フレームに対する画像表
示の周期が可変であっても固定であっても、各フレーム
の表示タイミングを決定するためのデータが画像符号化
データＣｇｎとともに出力されることとなる。これによ
りフレームの表示周期が固定の場合に表示時刻を定める
のに要するビット数を削減することができ、しかも、フ
レームの表示周期が可変である画像の表示も従来と同様
に行うことができる。
【００７７】さらにこの実施の形態１の画像復号化装置
２０００では、上記画像符号化装置１０００から送られ
てくる多重ビットストリームＭ１に含まれている、表示
周期識別子Ｄｆ、画像表示の周期を示す表示周期データ
Ｄｐ、フレームの前後関係を示すフレーム番号データＢ
ｎ、各フレームの表示時刻ｈ(n)を示す表示時刻データ
Ｄｔｎ及び画像符号化データＣｇｎを分離するデータ分
離器２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを備え、表示周期が固定である画像復号化データＲｇ
を、表示周期データＤｐ及びフレーム番号データＢｎに
基づいて所定の表示タイミングで表示し、表示周期が可
変である画像復号化データＲｇを、表示時刻データＤｔ
ｎに基づいて所定の表示タイミングで表示するので、各
フレームの画像復号化データＲｇを、そのフレーム表示
周期が可変であるか否かに拘わらず正しい表示タイミン
グでもって表示することができる。
２０００では、上記画像符号化装置１０００から送られ
てくる多重ビットストリームＭ１に含まれている、表示
周期識別子Ｄｆ、画像表示の周期を示す表示周期データ
Ｄｐ、フレームの前後関係を示すフレーム番号データＢ
ｎ、各フレームの表示時刻ｈ(n)を示す表示時刻データ
Ｄｔｎ及び画像符号化データＣｇｎを分離するデータ分
離器２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを備え、表示周期が固定である画像復号化データＲｇ
を、表示周期データＤｐ及びフレーム番号データＢｎに
基づいて所定の表示タイミングで表示し、表示周期が可
変である画像復号化データＲｇを、表示時刻データＤｔ
ｎに基づいて所定の表示タイミングで表示するので、各
フレームの画像復号化データＲｇを、そのフレーム表示
周期が可変であるか否かに拘わらず正しい表示タイミン
グでもって表示することができる。
【００７８】なお、上記実施の形態１で説明した画像信
号データ構造においては、画像データ（多重ビットスト
リーム）の先頭に表示周期識別子Ｄｆを、フレームデー
タ（各フレームの符号列）の先頭に、フレーム番号デー
タＢｎ，表示時刻データＤｔｎなどを挿入しているが、
上記表示周期識別子，フレーム番号データ，表示時刻デ
ータ等は、必ずしも対応するヘッダの先頭に挿入される
必要はなく、表示周期識別子及び表示周期データは画像
データ（画像符号化信号）のヘッダ部分に、フレーム番
号データ，表示時刻データ等はフレームに対応するデー
タ（符号列）のヘッダ部分に挿入されていれば、同期信
号などの後に挿入されてもよい。
号データ構造においては、画像データ（多重ビットスト
リーム）の先頭に表示周期識別子Ｄｆを、フレームデー
タ（各フレームの符号列）の先頭に、フレーム番号デー
タＢｎ，表示時刻データＤｔｎなどを挿入しているが、
上記表示周期識別子，フレーム番号データ，表示時刻デ
ータ等は、必ずしも対応するヘッダの先頭に挿入される
必要はなく、表示周期識別子及び表示周期データは画像
データ（画像符号化信号）のヘッダ部分に、フレーム番
号データ，表示時刻データ等はフレームに対応するデー
タ（符号列）のヘッダ部分に挿入されていれば、同期信
号などの後に挿入されてもよい。
【００７９】また、上記実施の形態１では、表示周期デ
ータＤｐは表示周期識別子Ｄｆの直後に挿入している
が、表示周期データＤｐは、必ずしも、表示周期識別子
と連続するようその直後に挿入する必要はなく、表示周
期データは、画像データのヘッダ部分において、表示周
期識別子の後に挿入されていればよい。
ータＤｐは表示周期識別子Ｄｆの直後に挿入している
が、表示周期データＤｐは、必ずしも、表示周期識別子
と連続するようその直後に挿入する必要はなく、表示周
期データは、画像データのヘッダ部分において、表示周
期識別子の後に挿入されていればよい。
【００８０】さらに、上記実施の形態１では、図２にお
ける表示の順番を示す番号ｎ′（＝Ｂ（ｎ））として、
画像データの表示順序での先頭から通し番号を割り当て
ているが、必ずしも通し番号を割り当てる必要はなく、
予め定めた先頭番号から後尾番号までの複数の番号をフ
レーム番号として周期的に割り当てるようにしても構わ
ない。
ける表示の順番を示す番号ｎ′（＝Ｂ（ｎ））として、
画像データの表示順序での先頭から通し番号を割り当て
ているが、必ずしも通し番号を割り当てる必要はなく、
予め定めた先頭番号から後尾番号までの複数の番号をフ
レーム番号として周期的に割り当てるようにしても構わ
ない。
【００８１】例えば、４ビットでフレーム番号を表す場
合は、０から１５の番号を周期的にフレームに割り当て
る。この場合、表示時刻については、ｈ’(n’)＝ｈ
ｐ’（１５）＋（ｎ′＋１）×Ｔで表される。ここでｈ
ｐ’（ｎ’）は、直前の周期におけるフレーム番号Ｂ
（ｎ）（＝ｎ′）に対応する表示時刻を表すものとして
おり、従って、この場合、ｈ’(n’)は、ｈｐ’(n’)の
次の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′） に
対応する表示時刻を示すこととなる。なお、ｈｐ’（１
５）は直前の周期における最後のフレームに対応する表
示時刻を示している。
合は、０から１５の番号を周期的にフレームに割り当て
る。この場合、表示時刻については、ｈ’(n’)＝ｈ
ｐ’（１５）＋（ｎ′＋１）×Ｔで表される。ここでｈ
ｐ’（ｎ’）は、直前の周期におけるフレーム番号Ｂ
（ｎ）（＝ｎ′）に対応する表示時刻を表すものとして
おり、従って、この場合、ｈ’(n’)は、ｈｐ’(n’)の
次の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′） に
対応する表示時刻を示すこととなる。なお、ｈｐ’（１
５）は直前の周期における最後のフレームに対応する表
示時刻を示している。
【００８２】さらに、上記実施の形態１では、フレーム
の特定は、フレーム番号データにより行っているが、こ
れに限るものではなく、フレームの前後関係を規定する
データであれば、所定のルールによりフレームの前後関
係を示すデータ、所定のテーブルを参照してフレームの
前後関係を規定するデータ等でもよい。
の特定は、フレーム番号データにより行っているが、こ
れに限るものではなく、フレームの前後関係を規定する
データであれば、所定のルールによりフレームの前後関
係を示すデータ、所定のテーブルを参照してフレームの
前後関係を規定するデータ等でもよい。
【００８３】また、上記実施の形態１における表示時刻
データは、複数の基準時間に対する相対的な時刻を示す
ものであり、例えば、基準時刻は複数のフレームに対し
て１つ設定してもよく、また前のフレームの表示時刻を
基準時刻としてもよい。さらに、１つまたは複数の基準
時刻を予め設定し、あるルールまたは信号に基づいて、
いずれの基準時刻を参照してフレームの表示時刻を表す
かを決定するようにしてもよい。
データは、複数の基準時間に対する相対的な時刻を示す
ものであり、例えば、基準時刻は複数のフレームに対し
て１つ設定してもよく、また前のフレームの表示時刻を
基準時刻としてもよい。さらに、１つまたは複数の基準
時刻を予め設定し、あるルールまたは信号に基づいて、
いずれの基準時刻を参照してフレームの表示時刻を表す
かを決定するようにしてもよい。
【００８４】さらには、上記実施の形態１では、復号化
側での各フレームに対する再生処理のタイミングを決定
するための付加データとして、各フレームの表示タイミ
ングを設定するための表示周期識別子，表示周期デー
タ，及びフレーム番号データあるいは表示時刻データを
含む画像符号化信号のデータ構造について示したが、画
像符号化信号のデータ構造は、上記各フレームの表示タ
イミングに代えて、各フレームの復号化処理のタイミン
グを決定する付加データ，つまり復号周期識別子，復号
周期データ，及びフレーム番号データあるいは復号時刻
データを含むものであってもよく、以下このようなデー
タ構造を実施の形態１の変形例として説明する。
側での各フレームに対する再生処理のタイミングを決定
するための付加データとして、各フレームの表示タイミ
ングを設定するための表示周期識別子，表示周期デー
タ，及びフレーム番号データあるいは表示時刻データを
含む画像符号化信号のデータ構造について示したが、画
像符号化信号のデータ構造は、上記各フレームの表示タ
イミングに代えて、各フレームの復号化処理のタイミン
グを決定する付加データ，つまり復号周期識別子，復号
周期データ，及びフレーム番号データあるいは復号時刻
データを含むものであってもよく、以下このようなデー
タ構造を実施の形態１の変形例として説明する。
【００８５】（実施の形態１の変形例）この実施の形態
１の変形例のデータ構造は、実施の形態１の画像符号化
信号１００ａにおける表示周期識別子Ｄｆ及び表示周期
データＤｐを、復号周期識別子及び復号周期データに置
き換え、実施の形態１の画像符号化信号１００ｂにおけ
る表示時刻データＤｔｎを、復号時刻データに置き換え
たものである。
１の変形例のデータ構造は、実施の形態１の画像符号化
信号１００ａにおける表示周期識別子Ｄｆ及び表示周期
データＤｐを、復号周期識別子及び復号周期データに置
き換え、実施の形態１の画像符号化信号１００ｂにおけ
る表示時刻データＤｔｎを、復号時刻データに置き換え
たものである。
【００８６】ここで、上記復号周期識別子は、各フレー
ムに対応する、画像符号化信号を復号化する復号化処理
の周期が可変であるか否かを示すものであり、復号化処
理の周期が固定である画像符号化信号には復号化周期固
定識別子として、復号化処理の周期が可変である画像符
号化信号には復号化周期可変識別子として挿入される。
ムに対応する、画像符号化信号を復号化する復号化処理
の周期が可変であるか否かを示すものであり、復号化処
理の周期が固定である画像符号化信号には復号化周期固
定識別子として、復号化処理の周期が可変である画像符
号化信号には復号化周期可変識別子として挿入される。
【００８７】また、上記復号周期データは各フレームに
対応する復号化処理の周期ＤＴを示すデータであり、上
記復号時刻データは、各フレームに応じて１つまたは複
数の基準時刻の所要のものに対して相対的に設定され
た、各フレームに対応する復号化処理が行われるタイミ
ング（復号時刻Ｄｈ（ｎ））を示すデータである。
対応する復号化処理の周期ＤＴを示すデータであり、上
記復号時刻データは、各フレームに応じて１つまたは複
数の基準時刻の所要のものに対して相対的に設定され
た、各フレームに対応する復号化処理が行われるタイミ
ング（復号時刻Ｄｈ（ｎ））を示すデータである。
【００８８】また、実施の形態１の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図３
に示すフローにおけるステップＳ１１、Ｓ１１ａ，Ｓ１
１ｂ，Ｓ１３ａ，Ｓ１３ｂにおける処理を、以下のよう
に置換することにより実現できる。
を有する画像符号化信号を生成する符号化処理は、図３
に示すフローにおけるステップＳ１１、Ｓ１１ａ，Ｓ１
１ｂ，Ｓ１３ａ，Ｓ１３ｂにおける処理を、以下のよう
に置換することにより実現できる。
【００８９】つまり、ステップＳ１１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ１１ａにおける表示周期固
定識別子Ｄｆを付加する処理を、上記復号周期固定識別
子を付加する処理に、ステップＳ１１ｂにおける表示周
期可変識別子Ｄｆを付加する処理を、上記復号周期可変
識別子を付加する処理に置き換える。さらに、ステップ
Ｓ１３ａにおける表示周期データＤｐを付加する処理
を、上記復号周期データを付加する処理に置き換え、ス
テップＳ１３ｂにおける表示時刻データＤｔｎを付加す
る処理を、上記復号時刻データを付加する処理に置き換
える。
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ１１ａにおける表示周期固
定識別子Ｄｆを付加する処理を、上記復号周期固定識別
子を付加する処理に、ステップＳ１１ｂにおける表示周
期可変識別子Ｄｆを付加する処理を、上記復号周期可変
識別子を付加する処理に置き換える。さらに、ステップ
Ｓ１３ａにおける表示周期データＤｐを付加する処理
を、上記復号周期データを付加する処理に置き換え、ス
テップＳ１３ｂにおける表示時刻データＤｔｎを付加す
る処理を、上記復号時刻データを付加する処理に置き換
える。
【００９０】また、図４(b)は、上記実施の形態１の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１０００ａの構成を示している。この画像符号化
装置１０００ａは、上記実施の形態１における画像符号
化装置１０００の判定器１１３１に代えて、上記入力さ
れる画像信号Ｓｇに基づいて、フレームに対応する復号
化処理の周期が一定であるか否か（つまり、復号周期が
固定であるか可変であるか）を判定して、復号周期ＤＴ
が一定であるか否かを示す復号周期識別子ＤＥｆを出力
する判定器１１３１ａを備えている。
形例の符号化処理を行うハードウエアとしての画像符号
化装置１０００ａの構成を示している。この画像符号化
装置１０００ａは、上記実施の形態１における画像符号
化装置１０００の判定器１１３１に代えて、上記入力さ
れる画像信号Ｓｇに基づいて、フレームに対応する復号
化処理の周期が一定であるか否か（つまり、復号周期が
固定であるか可変であるか）を判定して、復号周期ＤＴ
が一定であるか否かを示す復号周期識別子ＤＥｆを出力
する判定器１１３１ａを備えている。
【００９１】また、上記画像符号化装置１０００ａは、
上記実施の形態１の画像符号化装置１０００における表
示周期データ発生器１１３２及び表示時刻生成器１１３
４に代えて、上記入力された画像信号Ｓｇに基づいて、
フレームの復号化処理の周期（固定周期）ＤＴを示す復
号周期データＤＥｐを生成する復号周期データ生成器
（第１のデータ生成器）１１３２ａと、上記入力された
画像信号Ｓｇに基づいて、各フレームの復号時刻を示す
復号時刻データＤＥｔｎを生成する復号時刻データ生成
器（第３のデータ生成器）１１３４ａとを備えたもので
ある。その他の構成は上記実施の形態１の画像符号化装
置１０００と同様となっている。
上記実施の形態１の画像符号化装置１０００における表
示周期データ発生器１１３２及び表示時刻生成器１１３
４に代えて、上記入力された画像信号Ｓｇに基づいて、
フレームの復号化処理の周期（固定周期）ＤＴを示す復
号周期データＤＥｐを生成する復号周期データ生成器
（第１のデータ生成器）１１３２ａと、上記入力された
画像信号Ｓｇに基づいて、各フレームの復号時刻を示す
復号時刻データＤＥｔｎを生成する復号時刻データ生成
器（第３のデータ生成器）１１３４ａとを備えたもので
ある。その他の構成は上記実施の形態１の画像符号化装
置１０００と同様となっている。
【００９２】このような構成の画像符号化装置１０００
ａでは、多重化器（ＭＵＸ）１１２０では、上記判定器
１１３１ａからの復号周期識別子ＤＥｆ，上記符号化器
１１１０からの画像符号化データＣｇｎ，上記開閉スイ
ッチ１１４１からの復号周期データＤＥｐ，及び上記選
択スイッチ１１４２の出力が多重化されて、多重ビット
ストリームＭ１ａが、復号周期が固定である画像符号化
信号、あるいは復号周期が可変である画像符号化信号と
して出力される
ａでは、多重化器（ＭＵＸ）１１２０では、上記判定器
１１３１ａからの復号周期識別子ＤＥｆ，上記符号化器
１１１０からの画像符号化データＣｇｎ，上記開閉スイ
ッチ１１４１からの復号周期データＤＥｐ，及び上記選
択スイッチ１１４２の出力が多重化されて、多重ビット
ストリームＭ１ａが、復号周期が固定である画像符号化
信号、あるいは復号周期が可変である画像符号化信号と
して出力される
【００９３】一方、実施の形態１の変形例のデータ構造
を有する画像符号化信号を復号化する復号化処理は、図
５に示すフローにおけるステップＳ２１，Ｓ２２ａ，Ｓ
２２ｂ，Ｓ２３ａ，Ｓ２３ｂ，Ｓ２４ａ，Ｓ２４ｂ，Ｓ
２５ａの処理を以下のように置き換えることにより実現
できる。
を有する画像符号化信号を復号化する復号化処理は、図
５に示すフローにおけるステップＳ２１，Ｓ２２ａ，Ｓ
２２ｂ，Ｓ２３ａ，Ｓ２３ｂ，Ｓ２４ａ，Ｓ２４ｂ，Ｓ
２５ａの処理を以下のように置き換えることにより実現
できる。
【００９４】具体的には、ステップＳ２１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ２２ａにおける表示周
期Ｔを示す表示周期データＤｐを読み込む処理を、上記
復号周期ＤＴを示す復号周期データＤＥｐを読み込む処
理に置き換え、ステップＳ２２ｂにおける表示時刻ｈ
（ｎ）を示す表示時刻データＤｔｎを読み込む処理を、
上記復号時刻Ｄｈ（ｎ）を示す復号時刻データＤＥｔｎ
を読み込む処理に置き換える。
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ２２ａにおける表示周
期Ｔを示す表示周期データＤｐを読み込む処理を、上記
復号周期ＤＴを示す復号周期データＤＥｐを読み込む処
理に置き換え、ステップＳ２２ｂにおける表示時刻ｈ
（ｎ）を示す表示時刻データＤｔｎを読み込む処理を、
上記復号時刻Ｄｈ（ｎ）を示す復号時刻データＤＥｔｎ
を読み込む処理に置き換える。
【００９５】また、ステップＳ２３ａ及びＳ２４ａにお
ける、フレーム番号データＢｎを読み込んで表示時刻ｈ
（ｎ）を決定する処理を、復号周期データＤＥｐに基づ
いて、順次入力される各フレームの画像符号化データに
対応する復号時刻Ｄｈ（ｎ）を決定するとともに、上記
フレーム番号データＢｎに基づいて各フレームに対する
表示時刻ｈ（ｎ）を決定する処理に置き換える。
ける、フレーム番号データＢｎを読み込んで表示時刻ｈ
（ｎ）を決定する処理を、復号周期データＤＥｐに基づ
いて、順次入力される各フレームの画像符号化データに
対応する復号時刻Ｄｈ（ｎ）を決定するとともに、上記
フレーム番号データＢｎに基づいて各フレームに対する
表示時刻ｈ（ｎ）を決定する処理に置き換える。
【００９６】また、ステップＳ２３ｂにおける、表示時
刻データＤｔｎに基づいて表示時刻ｈ（ｎ）を決定する
処理を、復号時刻データＤＥｔｎに基づいて復号時刻Ｄ
ｈ（ｎ）を決定するとともに、該データＤＥｔｎに基づ
いて表示時刻ｈ（ｎ）を決定する処理に置き換える。
刻データＤｔｎに基づいて表示時刻ｈ（ｎ）を決定する
処理を、復号時刻データＤＥｔｎに基づいて復号時刻Ｄ
ｈ（ｎ）を決定するとともに、該データＤＥｔｎに基づ
いて表示時刻ｈ（ｎ）を決定する処理に置き換える。
【００９７】さらに、ステップＳ２５ａにおける、フレ
ームＦ（ｎ）の画像符号化データＣｇｎを復号化して表
示時刻ｈ（ｎ）に表示する処理を、上記フレームＦ
（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）
に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き
換え、ステップＳ２４ｂにおける、フレームＦ（ｎ）の
画像符号化データＣｇｎを復号化して時刻ｈ（ｎ）に表
示する処理を、上記フレームＦ（ｎ）の画像符号化デー
タＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻
ｈ（ｎ）に表示する処理に置き換える。
ームＦ（ｎ）の画像符号化データＣｇｎを復号化して表
示時刻ｈ（ｎ）に表示する処理を、上記フレームＦ
（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）
に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き
換え、ステップＳ２４ｂにおける、フレームＦ（ｎ）の
画像符号化データＣｇｎを復号化して時刻ｈ（ｎ）に表
示する処理を、上記フレームＦ（ｎ）の画像符号化デー
タＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻
ｈ（ｎ）に表示する処理に置き換える。
【００９８】また、図６(b)は、上記実施の形態１の変
形例の復号化処理を行うハードウエアとしての画像復号
化装置２０００ａの構成を示している。この画像復号化
装置２０００ａは、上記画像符号化装置１０００ａから
出力された多重ビットストリームＭ１ａに対して、復号
化処理及び表示処理を含む再生処理を行う構成となって
いる。
形例の復号化処理を行うハードウエアとしての画像復号
化装置２０００ａの構成を示している。この画像復号化
装置２０００ａは、上記画像符号化装置１０００ａから
出力された多重ビットストリームＭ１ａに対して、復号
化処理及び表示処理を含む再生処理を行う構成となって
いる。
【００９９】すなわち、この画像復号化装置２０００ａ
は、上記実施の形態１における画像復号化装置２０００
のデータ分離器２１１０に代えて、上記多重ビットスト
リームＭ１ａから、画像符号化データＣｇｎ，復号周期
識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番
号データＢｎあるいは復号時間データＤＥｔｎを取り出
して出力するデータ分離器（ＤＥＭＵＸ）２１１０ａを
備えている。
は、上記実施の形態１における画像復号化装置２０００
のデータ分離器２１１０に代えて、上記多重ビットスト
リームＭ１ａから、画像符号化データＣｇｎ，復号周期
識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番
号データＢｎあるいは復号時間データＤＥｔｎを取り出
して出力するデータ分離器（ＤＥＭＵＸ）２１１０ａを
備えている。
【０１００】また、上記画像復号化装置２０００ａは、
上記復号周期識別子ＤＥｆに基づいて、上記復号周期デ
ータＤＥｐを導通させる導通状態と該復号周期データＤ
Ｅｐを遮断する遮断状態との間で切り替わる第１の開閉
スイッチ２１４０ａと、上記復号周期識別子ＤＥｆに基
づいて、上記フレーム番号データＢｎを導通する導通状
態と該フレーム番号データＢｎを遮断する遮断状態との
間で切り替わる第２の開閉スイッチ２１５０ａと、上記
復号周期識別子ＤＥｆに基づいて、上記復号時刻データ
ＤＥｔｎを導通する導通状態と該復号時刻データＤＥｔ
ｎを遮断する遮断状態との間で切り替わる第３の開閉ス
イッチ２１６０ａとを有ししている。
上記復号周期識別子ＤＥｆに基づいて、上記復号周期デ
ータＤＥｐを導通させる導通状態と該復号周期データＤ
Ｅｐを遮断する遮断状態との間で切り替わる第１の開閉
スイッチ２１４０ａと、上記復号周期識別子ＤＥｆに基
づいて、上記フレーム番号データＢｎを導通する導通状
態と該フレーム番号データＢｎを遮断する遮断状態との
間で切り替わる第２の開閉スイッチ２１５０ａと、上記
復号周期識別子ＤＥｆに基づいて、上記復号時刻データ
ＤＥｔｎを導通する導通状態と該復号時刻データＤＥｔ
ｎを遮断する遮断状態との間で切り替わる第３の開閉ス
イッチ２１６０ａとを有ししている。
【０１０１】そしてこの画像復号化装置２０００では、
第１の開閉スイッチ２１４０ａの出力である復号周期デ
ータＤＥｐ、及び第３の開閉スイッチ２１６０ａの出力
である復号時刻データＤＥｔｎが復号化器２１２０ａ及
び表示装置２１３０ａに供給され、上記第２の開閉スイ
ッチ２１５０ａの出力であるフレーム番号データＢｎが
表示装置２１３０ａにのみ供給されるようになってい
る。
第１の開閉スイッチ２１４０ａの出力である復号周期デ
ータＤＥｐ、及び第３の開閉スイッチ２１６０ａの出力
である復号時刻データＤＥｔｎが復号化器２１２０ａ及
び表示装置２１３０ａに供給され、上記第２の開閉スイ
ッチ２１５０ａの出力であるフレーム番号データＢｎが
表示装置２１３０ａにのみ供給されるようになってい
る。
【０１０２】そして、復号化器２１２０ａでは、復号周
期が固定である画像符号化データＣｇｎを、上記復号周
期データＤＥｐに基づいて決まるタイミング（復号時刻
Ｄｈ（ｎ））で各フレーム毎に復号化し、一方、復号周
期が可変である画像符号化データＣｇｎを、上記復号時
刻データＤＥｔｎに基づいて決まるタイミング（復号時
刻Ｄｈ（ｎ））で各フレーム毎に復号化する構成となっ
ている。
期が固定である画像符号化データＣｇｎを、上記復号周
期データＤＥｐに基づいて決まるタイミング（復号時刻
Ｄｈ（ｎ））で各フレーム毎に復号化し、一方、復号周
期が可変である画像符号化データＣｇｎを、上記復号時
刻データＤＥｔｎに基づいて決まるタイミング（復号時
刻Ｄｈ（ｎ））で各フレーム毎に復号化する構成となっ
ている。
【０１０３】さらに、上記表示装置２１３０ａでは、復
号周期が固定である画像復号化データＲｇを、上記復号
周期データＤＥｐとフレーム番号データＢｎに基づいて
決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎
に表示し、一方、復号周期が可変である画像復号化デー
タＲｇを、上記復号時刻データＤＥｔｎに基づいて決ま
るタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表
示する構成となっている。
号周期が固定である画像復号化データＲｇを、上記復号
周期データＤＥｐとフレーム番号データＢｎに基づいて
決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎
に表示し、一方、復号周期が可変である画像復号化デー
タＲｇを、上記復号時刻データＤＥｔｎに基づいて決ま
るタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表
示する構成となっている。
【０１０４】その他の構成は上記実施の形態１の画像復
号化装置２０００と同一である。以下、上記実施の形態
１の変形例による画像復号化装置２０００ａの動作につ
いて簡単に説明する。このような構成の画像復号化装置
２０００ａでは、上記多重ビットストリームＭ１ａが入
力されると、データ分離器２１１０ａにて、画像符号化
データＣｇｎ，復号周期識別子ＤＥｆ，復号周期データ
ＤＥｐ，及びフレーム番号データＢｎあるいは復号時間
データＤＥｔｎが分離される。
号化装置２０００と同一である。以下、上記実施の形態
１の変形例による画像復号化装置２０００ａの動作につ
いて簡単に説明する。このような構成の画像復号化装置
２０００ａでは、上記多重ビットストリームＭ１ａが入
力されると、データ分離器２１１０ａにて、画像符号化
データＣｇｎ，復号周期識別子ＤＥｆ，復号周期データ
ＤＥｐ，及びフレーム番号データＢｎあるいは復号時間
データＤＥｔｎが分離される。
【０１０５】そして、復号化器２１２０ａでは、入力さ
れた画像復号化信号の復号周期が固定であるときは、画
像符号化データＣｇｎが、上記復号周期データＤＥｐに
基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各
フレーム毎に復号化され、該復号化器２１２０ａから出
力された画像復号化データＲｇは、上記復号周期データ
ＤＥｐとフレーム番号データＢｎに基づいて決まるタイ
ミング（表示時刻ｈ（ｎ））で各フレーム毎に表示され
る。
れた画像復号化信号の復号周期が固定であるときは、画
像符号化データＣｇｎが、上記復号周期データＤＥｐに
基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各
フレーム毎に復号化され、該復号化器２１２０ａから出
力された画像復号化データＲｇは、上記復号周期データ
ＤＥｐとフレーム番号データＢｎに基づいて決まるタイ
ミング（表示時刻ｈ（ｎ））で各フレーム毎に表示され
る。
【０１０６】一方、入力された画像復号化信号の復号周
期が可変であるときは、画像符号化データＣｇｎが、上
記復号時刻データＤＥｔｎに基づいて決まるタイミング
（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、
該復号化器２１２０ａから出力された画像復号化データ
Ｒｇは、上記復号時刻データＤＥｔｎに基づいて決まる
タイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示
される。
期が可変であるときは、画像符号化データＣｇｎが、上
記復号時刻データＤＥｔｎに基づいて決まるタイミング
（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、
該復号化器２１２０ａから出力された画像復号化データ
Ｒｇは、上記復号時刻データＤＥｔｎに基づいて決まる
タイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示
される。
【０１０７】このような実施の形態１の変形例では、上
記実施の形態１の同様、画像信号を符号化して得られる
画像符号化信号を、各フレームに対応する画像復号化処
理の周期が可変であるか否かを示す復号周期識別子ＤＥ
ｆを含む構成としたので、各フレームに対する画像復号
化処理の周期が固定である場合に、簡単な回路構成によ
り、つまり各フレーム毎に情報量（ビット数）の多い復
号時刻データＤＥｔｎを参照することなく、復号周期デ
ータＤＥｐにのみ基づいて画像符号化データの復号化処
理を行うことができるといった効果がある。
記実施の形態１の同様、画像信号を符号化して得られる
画像符号化信号を、各フレームに対応する画像復号化処
理の周期が可変であるか否かを示す復号周期識別子ＤＥ
ｆを含む構成としたので、各フレームに対する画像復号
化処理の周期が固定である場合に、簡単な回路構成によ
り、つまり各フレーム毎に情報量（ビット数）の多い復
号時刻データＤＥｔｎを参照することなく、復号周期デ
ータＤＥｐにのみ基づいて画像符号化データの復号化処
理を行うことができるといった効果がある。
【０１０８】なお、上記実施の形態１の変形例の画像復
号化装置では、画像符号化信号に含まれる各フレームに
対する復号化処理のタイミングを決定するためのデータ
に基づいて、各フレームの復号化処理とともに、各フレ
ームの画像表示を行うものを示したが、上記画像復号化
装置は、画像符号化信号に含まれる各フレームに対する
表示処理のタイミングを決定するためのデータに基づい
て、各フレームの表示処理とともに、各フレームの復号
化処理を行うものであってもよい。
号化装置では、画像符号化信号に含まれる各フレームに
対する復号化処理のタイミングを決定するためのデータ
に基づいて、各フレームの復号化処理とともに、各フレ
ームの画像表示を行うものを示したが、上記画像復号化
装置は、画像符号化信号に含まれる各フレームに対する
表示処理のタイミングを決定するためのデータに基づい
て、各フレームの表示処理とともに、各フレームの復号
化処理を行うものであってもよい。
【０１０９】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。
【０１１０】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。
【０１１１】実施の形態２．図７(a)は、本発明の実施
の形態２による、フレーム表示周期が一定である画像符
号化信号１２０ａのデータ構造を示している。上記画像
符号化信号１２０ａは、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像）に対応する、フレー
ム表示周期が固定である画像信号を符号化して得られる
ものであり、先頭のヘッダＨに続いて、各フレームＦ
（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応
する符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎを
伝送順に配列した構造となっている。この画像符号化信
号１２０ａでは、ヘッダＨ内に、フレーム表示周期が固
定であるか否かを示す表示周期識別子Ｄｆ、フレーム表
示周期が微小単位時間（１／Ｎ）のＭ（自然数）倍であ
ることを該乗数Ｍにより示す表示周期乗数データＤｍ、
及び上記微小単位時間（１／Ｎ）を求めるための値Ｎ
（自然数）を示す微小単位時間データＤｋが挿入され、
各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，
Ｓｃｎの先頭に、そのフレームの表示時刻ｙ’０，ｙ’
３，ｙ’１，・・・，ｙ’ｎ’（図１７(a)参照）を示
す表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄ
ｙｎが挿入されている。なお、上記画像符号化信号１２
０ａのヘッダＨ内では、微小単位時間データＤｋ，表示
周期識別子Ｄｆ，及び表示周期乗数データＤｍがこの順
序で伝送されるよう配列されている。
の形態２による、フレーム表示周期が一定である画像符
号化信号１２０ａのデータ構造を示している。上記画像
符号化信号１２０ａは、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像）に対応する、フレー
ム表示周期が固定である画像信号を符号化して得られる
ものであり、先頭のヘッダＨに続いて、各フレームＦ
（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応
する符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎを
伝送順に配列した構造となっている。この画像符号化信
号１２０ａでは、ヘッダＨ内に、フレーム表示周期が固
定であるか否かを示す表示周期識別子Ｄｆ、フレーム表
示周期が微小単位時間（１／Ｎ）のＭ（自然数）倍であ
ることを該乗数Ｍにより示す表示周期乗数データＤｍ、
及び上記微小単位時間（１／Ｎ）を求めるための値Ｎ
（自然数）を示す微小単位時間データＤｋが挿入され、
各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，
Ｓｃｎの先頭に、そのフレームの表示時刻ｙ’０，ｙ’
３，ｙ’１，・・・，ｙ’ｎ’（図１７(a)参照）を示
す表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄ
ｙｎが挿入されている。なお、上記画像符号化信号１２
０ａのヘッダＨ内では、微小単位時間データＤｋ，表示
周期識別子Ｄｆ，及び表示周期乗数データＤｍがこの順
序で伝送されるよう配列されている。
【０１１２】また、各フレームの符号列Ｓｃ０，Ｓｃ
１，Ｓｃ２，・・・，Ｓｃｎには、上記表示時刻データ
Ｄｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎに続いて、画
像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇ
ｎが挿入されている。
１，Ｓｃ２，・・・，Ｓｃｎには、上記表示時刻データ
Ｄｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎに続いて、画
像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇ
ｎが挿入されている。
【０１１３】この画像符号化信号１２０ａでは、基準時
刻をｘとすると（図１７(a) 参照）、ＶＯＰ０，ＶＯＰ
３，ＶＯＰ１，・・・に対応する各フレームＦ（０），
Ｆ（１），Ｆ（２），・・・の表示時刻ｈ(0)，ｈ(1)，
ｈ(2)，・・・は、表示時刻データＤｙ０，Ｄｙ１，Ｄ
ｙ２，・・・に基づいて、ｘ＋ｙ／Ｎ（ｙ＝ｙ’０，
ｙ’３，ｙ’１，・・・）として求めることができる。
刻をｘとすると（図１７(a) 参照）、ＶＯＰ０，ＶＯＰ
３，ＶＯＰ１，・・・に対応する各フレームＦ（０），
Ｆ（１），Ｆ（２），・・・の表示時刻ｈ(0)，ｈ(1)，
ｈ(2)，・・・は、表示時刻データＤｙ０，Ｄｙ１，Ｄ
ｙ２，・・・に基づいて、ｘ＋ｙ／Ｎ（ｙ＝ｙ’０，
ｙ’３，ｙ’１，・・・）として求めることができる。
【０１１４】ところが、この画像符号化信号１２０ａに
は、微小単位時間データＤｋと表示周期乗数データＤｍ
が含まれているため、上記表示時刻データＤｙ０，Ｄｙ
１，Ｄｙ２１，・・・を用いなくても、微小単位時間デ
ータＤｋから得られる微小単位時間（１／Ｎ）と表示周
期乗数データＤｍから得られるＭ（自然数）の値とか
ら、フレームの表示周期Ｔ（＝Ｍ×１／Ｎ）を求め、基
準時刻ｘにより決まる本来の各フレームＦ（ｎ）の表示
時刻ｈ（ｎ）（＝ｘ＋ｙ×Ｍ×１／Ｎ）に各フレームの
画像を表示することができる。
は、微小単位時間データＤｋと表示周期乗数データＤｍ
が含まれているため、上記表示時刻データＤｙ０，Ｄｙ
１，Ｄｙ２１，・・・を用いなくても、微小単位時間デ
ータＤｋから得られる微小単位時間（１／Ｎ）と表示周
期乗数データＤｍから得られるＭ（自然数）の値とか
ら、フレームの表示周期Ｔ（＝Ｍ×１／Ｎ）を求め、基
準時刻ｘにより決まる本来の各フレームＦ（ｎ）の表示
時刻ｈ（ｎ）（＝ｘ＋ｙ×Ｍ×１／Ｎ）に各フレームの
画像を表示することができる。
【０１１５】図７(b)は、本発明の実施の形態２によ
る、フレーム表示周期が可変である画像符号化信号１２
０ｂのデータ構造を示している。この画像符号化信号１
２０ｂは、上記画像符号化信号１２０ａにおけるヘッダ
部分Ｈの表示周期乗数データＤｍを取り除いたデータ構
造となっている。
る、フレーム表示周期が可変である画像符号化信号１２
０ｂのデータ構造を示している。この画像符号化信号１
２０ｂは、上記画像符号化信号１２０ａにおけるヘッダ
部分Ｈの表示周期乗数データＤｍを取り除いたデータ構
造となっている。
【０１１６】以下、上記のような画像符号化信号１２０
ａあるいは１２０ｂを生成する画像信号の符号化処理、
及びその復号化処理について説明する。図８は上記符号
化処理のフローを示す図である。まず、上記符号化処理
では、入力された所定の画像に対応する画像信号に対応
するビットストリームのヘッダ部に上記微小単位時間デ
ータＤｋが付加され（ステップＳ３０）、さらに、該所
定の画像に対応する画像信号の表示周期が固定であるか
否かの判定が行われる（ステップＳ３１）。この判定の
結果、表示周期が固定である場合は、上記画像信号の表
示周期が固定であることを示す表示周期固定識別子Ｄｆ
が、上記ビットストリームのヘッダに、上記微小単位時
間データＤｋに続くよう付加され（ステップＳ３２）、
さらに上記表示周期乗数データＤｍが上記ヘッダに上記
表示周期固定識別子Ｄｆに続くよう付加される（ステッ
プＳ３３）。その後、上記所定の画像を構成する各フレ
ームＦ（ｎ）の伝送順序を示す番号ｎに相当するカウン
タ値ｎがｎ＝０にセットされる（ステップＳ３５）。
ａあるいは１２０ｂを生成する画像信号の符号化処理、
及びその復号化処理について説明する。図８は上記符号
化処理のフローを示す図である。まず、上記符号化処理
では、入力された所定の画像に対応する画像信号に対応
するビットストリームのヘッダ部に上記微小単位時間デ
ータＤｋが付加され（ステップＳ３０）、さらに、該所
定の画像に対応する画像信号の表示周期が固定であるか
否かの判定が行われる（ステップＳ３１）。この判定の
結果、表示周期が固定である場合は、上記画像信号の表
示周期が固定であることを示す表示周期固定識別子Ｄｆ
が、上記ビットストリームのヘッダに、上記微小単位時
間データＤｋに続くよう付加され（ステップＳ３２）、
さらに上記表示周期乗数データＤｍが上記ヘッダに上記
表示周期固定識別子Ｄｆに続くよう付加される（ステッ
プＳ３３）。その後、上記所定の画像を構成する各フレ
ームＦ（ｎ）の伝送順序を示す番号ｎに相当するカウン
タ値ｎがｎ＝０にセットされる（ステップＳ３５）。
【０１１７】次に、上記伝送順序における最初のフレー
ムＦ（０）に対応する符号列として、対応するフレーム
の表示時刻データＤｙｎ（＝Ｄｙ０）及び画像符号化デ
ータＤｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加され
る（ステップＳ３６，Ｓ３７）。その後、上記画像信号
における処理対象フレームが、上記伝送順序における最
終のフレームであるか否かの判定が行われ（ステップＳ
３８）、処理対象フレームが最終フレームでなければ、
上記伝送順序がｎ番目であるフレームＦ（ｎ）（＝Ｆ
（０））に対応するカウンタ値ｎが１つインクリメント
されて（ステップＳ３９）、続くフレームＦ（ｎ＋１）
（＝Ｆ（１））に対して、上記ステップＳ３６〜Ｓ３９
における処理が行われる。
ムＦ（０）に対応する符号列として、対応するフレーム
の表示時刻データＤｙｎ（＝Ｄｙ０）及び画像符号化デ
ータＤｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加され
る（ステップＳ３６，Ｓ３７）。その後、上記画像信号
における処理対象フレームが、上記伝送順序における最
終のフレームであるか否かの判定が行われ（ステップＳ
３８）、処理対象フレームが最終フレームでなければ、
上記伝送順序がｎ番目であるフレームＦ（ｎ）（＝Ｆ
（０））に対応するカウンタ値ｎが１つインクリメント
されて（ステップＳ３９）、続くフレームＦ（ｎ＋１）
（＝Ｆ（１））に対して、上記ステップＳ３６〜Ｓ３９
における処理が行われる。
【０１１８】上記ステップＳ３６〜Ｓ３９における処理
は、ステップＳ３８にて処理対象フレームが最終フレー
ムであると判定されるまで繰り返し行われる。これによ
り上記画像符号化信号１２０ａが生成される。
は、ステップＳ３８にて処理対象フレームが最終フレー
ムであると判定されるまで繰り返し行われる。これによ
り上記画像符号化信号１２０ａが生成される。
【０１１９】一方、上記ステップＳ３１での判定の結
果、表示周期が可変である場合は、上記画像信号の表示
周期が可変であることを示す表示周期可変識別子Ｄｆ
が、上記画像信号に対応するビットストリームのヘッダ
に、上記微小単位時間データＤｋに続くよう付加される
（ステップＳ３４）。その後は、上記ステップＳ３５〜
Ｓ３９の処理が行われて、上記画像符号化信号１２０ｂ
が生成される。
果、表示周期が可変である場合は、上記画像信号の表示
周期が可変であることを示す表示周期可変識別子Ｄｆ
が、上記画像信号に対応するビットストリームのヘッダ
に、上記微小単位時間データＤｋに続くよう付加される
（ステップＳ３４）。その後は、上記ステップＳ３５〜
Ｓ３９の処理が行われて、上記画像符号化信号１２０ｂ
が生成される。
【０１２０】図９(a)は、上記本実施の形態２の符号化
処理を行うハードウエアとしての画像符号化装置１２０
０の構成を示すブロック図である。上記実施の形態２に
おける画像符号化装置１２００は、上記実施の形態１の
画像符号化装置１０００と同様、入力される画像信号Ｓ
ｇを符号化して符号化データＣｇｎを生成する符号化器
１１１０と、上記入力される画像信号Ｓｇに基づいて、
フレームの表示周期が一定であるか否か（つまり、表示
周期が固定であるか可変であるか）を判定して、表示周
期が一定であるか否かを示す表示周期識別子Ｄｆを出力
する判定器１１３１とを有している。
処理を行うハードウエアとしての画像符号化装置１２０
０の構成を示すブロック図である。上記実施の形態２に
おける画像符号化装置１２００は、上記実施の形態１の
画像符号化装置１０００と同様、入力される画像信号Ｓ
ｇを符号化して符号化データＣｇｎを生成する符号化器
１１１０と、上記入力される画像信号Ｓｇに基づいて、
フレームの表示周期が一定であるか否か（つまり、表示
周期が固定であるか可変であるか）を判定して、表示周
期が一定であるか否かを示す表示周期識別子Ｄｆを出力
する判定器１１３１とを有している。
【０１２１】また上記画像符号化装置１２００は、上記
入力された画像信号Ｓｇに基づいて、微小単位時間デー
タＤｋを生成する微小単位時間データ生成器（第１のデ
ータ生成器）１２３２と、上記入力された画像信号Ｓｇ
に基づいて、フレーム表示周期を微小単位時間を単位と
して表現するための数値Ｍを示す表示周期乗数データＤ
ｍを生成する表示周期乗数データ生成器（第２のデータ
生成器）１２３３と、上記入力された画像信号Ｓｇに基
づいて、各フレームの表示時刻ｈ（ｎ）を示す表示時刻
データ（表示タイミングデータ）Ｄｙｎを生成する表示
時刻データ生成器（第３のデータ生成器）１２３４とを
有している。
入力された画像信号Ｓｇに基づいて、微小単位時間デー
タＤｋを生成する微小単位時間データ生成器（第１のデ
ータ生成器）１２３２と、上記入力された画像信号Ｓｇ
に基づいて、フレーム表示周期を微小単位時間を単位と
して表現するための数値Ｍを示す表示周期乗数データＤ
ｍを生成する表示周期乗数データ生成器（第２のデータ
生成器）１２３３と、上記入力された画像信号Ｓｇに基
づいて、各フレームの表示時刻ｈ（ｎ）を示す表示時刻
データ（表示タイミングデータ）Ｄｙｎを生成する表示
時刻データ生成器（第３のデータ生成器）１２３４とを
有している。
【０１２２】さらに、上記画像符号化装置１２００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記表示周期乗数データＤｍを導通させる導通状態
と該表示周期乗数データＤｍを遮断する遮断状態との間
で切り替わる開閉スイッチ１２４１を有している。
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記表示周期乗数データＤｍを導通させる導通状態
と該表示周期乗数データＤｍを遮断する遮断状態との間
で切り替わる開閉スイッチ１２４１を有している。
【０１２３】そして、上記画像符号化装置１２００は、
上記第１のデータ生成器１２３２からの微小単位時間デ
ータＤｋ，上記判定器１１３１からの表示周期識別子Ｄ
ｆ，上記開閉スイッチ１２４１からの表示周期乗数デー
タＤｍ，第３のデータ生成器１２３４からの表示時刻デ
ータＤｙｎ，及び上記符号化器１１１０からの画像符号
化データＣｇｎを多重化して多重ビットストリームＭ２
を生成する多重化器（ＭＵＸ）１２２０を有しており、
該多重ビットストリームＭ２を上記画像符号化信号１２
０ａあるいは画像符号化信号１２０ｂとして出力する構
成となっている。
上記第１のデータ生成器１２３２からの微小単位時間デ
ータＤｋ，上記判定器１１３１からの表示周期識別子Ｄ
ｆ，上記開閉スイッチ１２４１からの表示周期乗数デー
タＤｍ，第３のデータ生成器１２３４からの表示時刻デ
ータＤｙｎ，及び上記符号化器１１１０からの画像符号
化データＣｇｎを多重化して多重ビットストリームＭ２
を生成する多重化器（ＭＵＸ）１２２０を有しており、
該多重ビットストリームＭ２を上記画像符号化信号１２
０ａあるいは画像符号化信号１２０ｂとして出力する構
成となっている。
【０１２４】以下簡単に上記画像符号化装置１２００の
動作について説明する。まず、上記画像符号化装置１２
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇの表示周
期が可変である否かの判定が行われ、判定結果を示す表
示周期識別子Ｄｆが出力される。このとき、上記画像信
号Ｓｇに基づいて、第１〜第３のデータ生成器１２３２
〜１２３４では、それぞれ上記微小単位時間データＤ
ｋ，表示周期乗数データＤｍ，及び表示時刻データＤｙ
ｎが生成され、上記符号化器１１１０では、上記画像信
号Ｓｇが符号化されて画像符号化データＣｇｎとして出
力される。
動作について説明する。まず、上記画像符号化装置１２
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇの表示周
期が可変である否かの判定が行われ、判定結果を示す表
示周期識別子Ｄｆが出力される。このとき、上記画像信
号Ｓｇに基づいて、第１〜第３のデータ生成器１２３２
〜１２３４では、それぞれ上記微小単位時間データＤ
ｋ，表示周期乗数データＤｍ，及び表示時刻データＤｙ
ｎが生成され、上記符号化器１１１０では、上記画像信
号Ｓｇが符号化されて画像符号化データＣｇｎとして出
力される。
【０１２５】またこのとき、上記微小単位時間データＤ
ｋ，表示周期識別子Ｄｆ，表示時刻データＤｙｎ及び画
像符号化データＣｇｎは常に多重化器１２２０に出力さ
れ、上記表示周期乗数データＤｍは、表示周期識別子Ｄ
ｆにより導通状態となった開閉スイッチ１２４１を介し
て多重化器１２２０に出力される。
ｋ，表示周期識別子Ｄｆ，表示時刻データＤｙｎ及び画
像符号化データＣｇｎは常に多重化器１２２０に出力さ
れ、上記表示周期乗数データＤｍは、表示周期識別子Ｄ
ｆにより導通状態となった開閉スイッチ１２４１を介し
て多重化器１２２０に出力される。
【０１２６】つまり、画像信号として、上記各フレーム
に対応する画像表示の周期が固定である画像信号が入力
されたとき、上記微小時間データＤｋ，表示周期識別子
Ｄｆ，表示周期乗数データＤｍ、並びに、各フレームに
対応する表示時刻データＤｔｎ及び画像符号化データＣ
ｇｎが上記多重化器１２２０に出力される。すると、該
多重化器１２２０では、上記微小単位時間データＤｋ、
表示周期識別子Ｄｆ、表示周期乗数データＤｍ、画像符
号化データＣｇｎ、及び表示時刻データＤｙｎが多重化
されて、多重ビットストリームＭ２として画像符号化信
号１２０ａが出力される。
に対応する画像表示の周期が固定である画像信号が入力
されたとき、上記微小時間データＤｋ，表示周期識別子
Ｄｆ，表示周期乗数データＤｍ、並びに、各フレームに
対応する表示時刻データＤｔｎ及び画像符号化データＣ
ｇｎが上記多重化器１２２０に出力される。すると、該
多重化器１２２０では、上記微小単位時間データＤｋ、
表示周期識別子Ｄｆ、表示周期乗数データＤｍ、画像符
号化データＣｇｎ、及び表示時刻データＤｙｎが多重化
されて、多重ビットストリームＭ２として画像符号化信
号１２０ａが出力される。
【０１２７】一方、上記画像信号として、上記各フレー
ムに対応する画像表示の周期が可変である画像信号が入
力されたときは、上記開閉スイッチ１２４１は表示周期
識別子Ｄｆにより遮断状態となり、上記微小単位時間デ
ータＤｆ及び表示周期識別子Ｄｆとともに、上記各フレ
ームの表示時刻データＤｙｎ及び画像符号化データＣｇ
ｎが上記多重化器１２２０に出力される。すると該多重
化器１２２０では、上記微小単位時間データＤｆ及表示
周期識別子Ｄｆとともに、各フレームの表示時刻データ
Ｄｙｎ及び画像符号化データＣｇｎが多重化されて、多
重ビットストリームＭ２として画像符号化信号１２０ｂ
が出力される。
ムに対応する画像表示の周期が可変である画像信号が入
力されたときは、上記開閉スイッチ１２４１は表示周期
識別子Ｄｆにより遮断状態となり、上記微小単位時間デ
ータＤｆ及び表示周期識別子Ｄｆとともに、上記各フレ
ームの表示時刻データＤｙｎ及び画像符号化データＣｇ
ｎが上記多重化器１２２０に出力される。すると該多重
化器１２２０では、上記微小単位時間データＤｆ及表示
周期識別子Ｄｆとともに、各フレームの表示時刻データ
Ｄｙｎ及び画像符号化データＣｇｎが多重化されて、多
重ビットストリームＭ２として画像符号化信号１２０ｂ
が出力される。
【０１２８】次に、図１０を用いて実施の形態２の画像
信号データ構造を有する画像符号化信号を復号化する復
号化処理について説明する。図１０は上記実施の形態２
における復号化処理のフローを示す図である。まず、復
号化処理では、符号化側から送られてくる多重ビットス
トリームＭ２（画像符号化信号１２０ａあるいは１２０
ｂ）における微小単位時間データＤｋが読み込まれ（ス
テップＳ４０）、さらに表示周期識別子Ｄｆの検出によ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ４１）。この判定の結果、表示
周期が固定であると判定されれば、画像符号化信号のヘ
ッダ部分Ｈから、表示周期Ｔが微小単位時間（１／Ｎ）
のＭ（自然数）倍であることを該乗数Ｍにより示す表示
周期乗数データＤｍが読込まれ（ステップＳ４２ａ）、
続いて、上記読み込まれた微小単位時間データＤｋ及び
表示周期乗数データＤｍに基づいて、フレーム表示周期
Ｔが演算Ｔ＝（１／Ｎ）×Ｍにより求められる（ステッ
プＳ４３ａ）。
信号データ構造を有する画像符号化信号を復号化する復
号化処理について説明する。図１０は上記実施の形態２
における復号化処理のフローを示す図である。まず、復
号化処理では、符号化側から送られてくる多重ビットス
トリームＭ２（画像符号化信号１２０ａあるいは１２０
ｂ）における微小単位時間データＤｋが読み込まれ（ス
テップＳ４０）、さらに表示周期識別子Ｄｆの検出によ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ４１）。この判定の結果、表示
周期が固定であると判定されれば、画像符号化信号のヘ
ッダ部分Ｈから、表示周期Ｔが微小単位時間（１／Ｎ）
のＭ（自然数）倍であることを該乗数Ｍにより示す表示
周期乗数データＤｍが読込まれ（ステップＳ４２ａ）、
続いて、上記読み込まれた微小単位時間データＤｋ及び
表示周期乗数データＤｍに基づいて、フレーム表示周期
Ｔが演算Ｔ＝（１／Ｎ）×Ｍにより求められる（ステッ
プＳ４３ａ）。
【０１２９】その後、表示順で示される各フレームＦ’
（ｎ’）の、先頭フレームからの順番ｎ′に相当するカ
ウント値ｎ′が０にセットされ（ステップＳ４４ａ）、
各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算
式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる（ステップ
Ｓ４５ａ）。なおこのとき、伝送順に各フレームＦ
（ｎ）に対応する画像符号化データＣｇｎの復号化処理
が行われ、フレームＦ（ｎ）に対応する画像復号化デー
タＲｇが生成される。
（ｎ’）の、先頭フレームからの順番ｎ′に相当するカ
ウント値ｎ′が０にセットされ（ステップＳ４４ａ）、
各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算
式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる（ステップ
Ｓ４５ａ）。なおこのとき、伝送順に各フレームＦ
（ｎ）に対応する画像符号化データＣｇｎの復号化処理
が行われ、フレームＦ（ｎ）に対応する画像復号化デー
タＲｇが生成される。
【０１３０】その後、表示順にカウントされる処理対象
フレームＦ’（ｎ’）が上記所定の画像における最後の
フレームであるか否かが判定され（ステップＳ４６
ａ）、処理対象フレームが最後のフレームであれば復号
化処理が終了し、最後のフレームでなければ、上記カウ
ンタ値ｎ’が１つインクリメントされ（ステップＳ４７
ａ）、上記ステップＳ４５ａ〜４7ａの処理が、上記ス
テップＳ４６ａにて処理対象フレームが最終フレームで
あると判定されるまで繰り返し行われる。
フレームＦ’（ｎ’）が上記所定の画像における最後の
フレームであるか否かが判定され（ステップＳ４６
ａ）、処理対象フレームが最後のフレームであれば復号
化処理が終了し、最後のフレームでなければ、上記カウ
ンタ値ｎ’が１つインクリメントされ（ステップＳ４７
ａ）、上記ステップＳ４５ａ〜４7ａの処理が、上記ス
テップＳ４６ａにて処理対象フレームが最終フレームで
あると判定されるまで繰り返し行われる。
【０１３１】なお、上記復号化処理では、上記復号化さ
れた各フレームＦ’（ｎ’）に対応する画像復号化デー
タＲｇは、所定の表示順序ｎ’で、対応する表示時刻
ｈ’（ｎ’）に表示される。
れた各フレームＦ’（ｎ’）に対応する画像復号化デー
タＲｇは、所定の表示順序ｎ’で、対応する表示時刻
ｈ’（ｎ’）に表示される。
【０１３２】一方、上記ステップＳ４１にて、表示周期
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番ｎに相当するカウント値ｎが０にセッ
トされる（ステップＳ４２ｂ）。続いて、各フレームＦ
（ｎ）のヘッダ部分ＨからこのフレームＦ（ｎ）の表示
時刻ｈ(n)を示す表示時刻データＤｙｎが読込まれ（ス
テップＳ４３ｂ）、さらにこの表示時刻データＤｙｎに
基づいて各フレームＦ（ｎ）の表示時刻ｈ(n)が求めら
れる（ステップＳ４４ｂ）。なおこのとき、伝送順に各
フレームＦ（ｎ）に対応する画像符号化データＣｇｎの
復号化処理が行われる。
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番ｎに相当するカウント値ｎが０にセッ
トされる（ステップＳ４２ｂ）。続いて、各フレームＦ
（ｎ）のヘッダ部分ＨからこのフレームＦ（ｎ）の表示
時刻ｈ(n)を示す表示時刻データＤｙｎが読込まれ（ス
テップＳ４３ｂ）、さらにこの表示時刻データＤｙｎに
基づいて各フレームＦ（ｎ）の表示時刻ｈ(n)が求めら
れる（ステップＳ４４ｂ）。なおこのとき、伝送順に各
フレームＦ（ｎ）に対応する画像符号化データＣｇｎの
復号化処理が行われる。
【０１３３】その後、伝送順にカウントされる処理対象
フレームＦ（ｎ）が上記所定の画像における最後のフレ
ームであるか否かが判断され（ステップＳ４４ｂ）、該
処理対象フレームが最後のフレームであれば復号化処理
が終了する。一方、上記処理対象フレームが最後のフレ
ームでなければ、この復号化処理におけるカウント値ｎ
が１つインクリメントされ（ステップＳ４６ｂ）、その
後、上記ステップＳ４２ｂ〜ステップＳ４６ｂの処理
が、ステップＳ４５ｂにて処理対象フレームが最後のフ
レームであると判定されるまで行われる。
フレームＦ（ｎ）が上記所定の画像における最後のフレ
ームであるか否かが判断され（ステップＳ４４ｂ）、該
処理対象フレームが最後のフレームであれば復号化処理
が終了する。一方、上記処理対象フレームが最後のフレ
ームでなければ、この復号化処理におけるカウント値ｎ
が１つインクリメントされ（ステップＳ４６ｂ）、その
後、上記ステップＳ４２ｂ〜ステップＳ４６ｂの処理
が、ステップＳ４５ｂにて処理対象フレームが最後のフ
レームであると判定されるまで行われる。
【０１３４】なお、上記復号化処理では、復号化された
各フレームＦ（ｎ）に対応する画像復号化データＲｇ
は、所定の表示順序ｎ’で、該各フレームＦ（ｎ）に対
応する表示時刻ｈ（ｎ）に表示される。
各フレームＦ（ｎ）に対応する画像復号化データＲｇ
は、所定の表示順序ｎ’で、該各フレームＦ（ｎ）に対
応する表示時刻ｈ（ｎ）に表示される。
【０１３５】図１１(a)は上記実施の形態２の復号化処
理を行うハードウエアとしての画像復号化装置の構成を
示すブロック図である。この画像復号化装置２２００
は、上記画像符号化装置２０００から出力された画像符
号化信号１２０ａあるいは１２０ｂである多重ビットス
トリームＭ２を復号化して再生する構成となっている。
理を行うハードウエアとしての画像復号化装置の構成を
示すブロック図である。この画像復号化装置２２００
は、上記画像符号化装置２０００から出力された画像符
号化信号１２０ａあるいは１２０ｂである多重ビットス
トリームＭ２を復号化して再生する構成となっている。
【０１３６】すなわち、この画像復号化装置２２００
は、上記多重ビットストリームＭ２から、微小単位時間
データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データ
Ｄｍ，表示時刻データＤｙｎ，及び画像符号化データＣ
ｇｎを取り出して出力するデータ分割器（ＤＥＭＵＸ）
２２１０と、上記画像符号化データＣｇｎを復号化して
画像復号化データＲｇを出力する復号化器２２２０とを
有している。
は、上記多重ビットストリームＭ２から、微小単位時間
データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データ
Ｄｍ，表示時刻データＤｙｎ，及び画像符号化データＣ
ｇｎを取り出して出力するデータ分割器（ＤＥＭＵＸ）
２２１０と、上記画像符号化データＣｇｎを復号化して
画像復号化データＲｇを出力する復号化器２２２０とを
有している。
【０１３７】また、上記画像復号化装置２２００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期乗数デ
ータＤｍを導通させる導通状態と該データＤｍを遮断す
る遮断状態との間で切り替わる第１の開閉スイッチ２２
４０と、上記表示周期識別子Ｄｆに基づいて、上記表示
時刻データＤｙｎを導通させる導通状態とこのデータＤ
ｙｎを遮断する遮断状態との間で切り替わる第２の開閉
スイッチ２２５０とを有している。
記表示周期識別子Ｄｆに基づいて、上記表示周期乗数デ
ータＤｍを導通させる導通状態と該データＤｍを遮断す
る遮断状態との間で切り替わる第１の開閉スイッチ２２
４０と、上記表示周期識別子Ｄｆに基づいて、上記表示
時刻データＤｙｎを導通させる導通状態とこのデータＤ
ｙｎを遮断する遮断状態との間で切り替わる第２の開閉
スイッチ２２５０とを有している。
【０１３８】さらに、上記画像復号化装置２２００は、
上記微小単位時間データＤｋ及び画像復号化データＲｇ
とともに各スイッチ２２４０及び２２５０を介して表示
周期乗数データＤｍ及び表示時刻データＤｔｙを受け、
これらのデータ基づいて所定の表示タイミングで画像表
示する表示装置２２３０を有している。
上記微小単位時間データＤｋ及び画像復号化データＲｇ
とともに各スイッチ２２４０及び２２５０を介して表示
周期乗数データＤｍ及び表示時刻データＤｔｙを受け、
これらのデータ基づいて所定の表示タイミングで画像表
示する表示装置２２３０を有している。
【０１３９】以下簡単に上記画像復号化装置２２００の
動作について説明する。
動作について説明する。
【０１４０】まず、上記画像復号化装置２２００に、上
記画像符号化装置１２００からの多重ビットストリーム
Ｍ２が入力されると、データ分離器２２１０にて、上記
多重ビットストリームＭ２から微小単位時間データＤ
ｋ，表示周期識別子Ｄｆ及び表示周期乗数データＤｍが
分離され、さらに各フレーム毎に上記多重ビットストリ
ームＭ２から表示時刻データＤｙｎ及び画像符号化デー
タＣｇｎが分離される。
記画像符号化装置１２００からの多重ビットストリーム
Ｍ２が入力されると、データ分離器２２１０にて、上記
多重ビットストリームＭ２から微小単位時間データＤ
ｋ，表示周期識別子Ｄｆ及び表示周期乗数データＤｍが
分離され、さらに各フレーム毎に上記多重ビットストリ
ームＭ２から表示時刻データＤｙｎ及び画像符号化デー
タＣｇｎが分離される。
【０１４１】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２２２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２２３０に出力される。このと
き、上記微小単位時間データＤｋは直接上記表示装置２
２３０に出力され、上記表示周期乗数データＤｍは、表
示周期識別子Ｄｆにより開閉される第１の開閉スイッチ
２２４０を介して表示装置２２３０に出力され、各フレ
ームの表示時刻データＤｙｎは、表示周期識別子Ｄｆに
より開閉される第２の開閉スイッチ２２５０を介して上
記表示装置２２３０に出力される。ここでは、上記多重
ビットストリームＭ２が表示周期が固定である画像符号
化信号１２０ａであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は導通状態となり、上記多重
ビットストリームＭ２が表示周期が可変である画像符号
化信号１２０ｂであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は遮断状態となる。
ｇｎは復号化器２２２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２２３０に出力される。このと
き、上記微小単位時間データＤｋは直接上記表示装置２
２３０に出力され、上記表示周期乗数データＤｍは、表
示周期識別子Ｄｆにより開閉される第１の開閉スイッチ
２２４０を介して表示装置２２３０に出力され、各フレ
ームの表示時刻データＤｙｎは、表示周期識別子Ｄｆに
より開閉される第２の開閉スイッチ２２５０を介して上
記表示装置２２３０に出力される。ここでは、上記多重
ビットストリームＭ２が表示周期が固定である画像符号
化信号１２０ａであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は導通状態となり、上記多重
ビットストリームＭ２が表示周期が可変である画像符号
化信号１２０ｂであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は遮断状態となる。
【０１４２】これにより、上記表示装置２２３０では、
表示周期が固定である画像復号化データＲｇに対応する
各フレームの画像は、微小単位時間データＤｋ及び表示
周期乗数データＤｍに基づいて所定の表示タイミングで
表示される。この場合は、各フレームの表示タイミング
は、演算式Ｔ×ｎ’（Ｔ＝（１／Ｎ）×Ｍ）により決定
される表示時刻ｈ’(n)’＝となる。一方、表示周期が
可変である画像復号化データＲｇに対応するフレームの
画像は、表示時刻データＤｔｙに基づいて所定の表示タ
イミングで表示される。この場合は、所定の表示タイミ
ングは、表示時刻データＤｔｙにより決定される表示時
刻ｈ(n)となる。
表示周期が固定である画像復号化データＲｇに対応する
各フレームの画像は、微小単位時間データＤｋ及び表示
周期乗数データＤｍに基づいて所定の表示タイミングで
表示される。この場合は、各フレームの表示タイミング
は、演算式Ｔ×ｎ’（Ｔ＝（１／Ｎ）×Ｍ）により決定
される表示時刻ｈ’(n)’＝となる。一方、表示周期が
可変である画像復号化データＲｇに対応するフレームの
画像は、表示時刻データＤｔｙに基づいて所定の表示タ
イミングで表示される。この場合は、所定の表示タイミ
ングは、表示時刻データＤｔｙにより決定される表示時
刻ｈ(n)となる。
【０１４３】このように本実施の形態２では、画像符号
化信号を、各フレームに対応する表示周期が可変である
か否かを示す表示周期識別子Ｄｆに加えて、所定の時間
間隔をＮ（自然数）等分して得られる微小単位時間（１
／Ｎ）の大きさを、該自然数Ｎにより示す微小単位時間
データＤｋと、上記固定のフレーム表示周期Ｔを、これ
が微小単位時間（１／Ｎ）の何倍（Ｍ）に相当するかに
より示す表示周期乗数データＤｍとを含むデータ構造と
したので、フレームレートが固定である画像符号化信号
のフレームレートの値（大きさ）を、各フレームのデコ
ード処理を行う前に予め検出することができ、表示処理
を実現するための種々のハードウエア構成を簡単なもの
とすることができるといった効果がある。
化信号を、各フレームに対応する表示周期が可変である
か否かを示す表示周期識別子Ｄｆに加えて、所定の時間
間隔をＮ（自然数）等分して得られる微小単位時間（１
／Ｎ）の大きさを、該自然数Ｎにより示す微小単位時間
データＤｋと、上記固定のフレーム表示周期Ｔを、これ
が微小単位時間（１／Ｎ）の何倍（Ｍ）に相当するかに
より示す表示周期乗数データＤｍとを含むデータ構造と
したので、フレームレートが固定である画像符号化信号
のフレームレートの値（大きさ）を、各フレームのデコ
ード処理を行う前に予め検出することができ、表示処理
を実現するための種々のハードウエア構成を簡単なもの
とすることができるといった効果がある。
【０１４４】なお、上記実施の形態２では、復号化側で
の各フレームに対する再生処理のタイミングを決定する
ための付加データとして、各フレームの表示タイミング
を設定するための微小単位時間データＤｎ，表示周期識
別子Ｄｆ，表示周期乗数データＤｍ，及び表示時刻デー
タＤｙｎを含む画像符号化信号のデータ構造について示
したが、画像符号化信号のデータ構造は、上記各フレー
ムの表示タイミングに代えて、各フレームの復号化処理
のタイミングを決定する付加データ，つまり微小単位時
間データ，復号周期識別子，復号周期乗数データ，及び
復号時刻データを含むものであってもよく、以下このよ
うなデータ構造を実施の形態２の変形例として説明す
る。
の各フレームに対する再生処理のタイミングを決定する
ための付加データとして、各フレームの表示タイミング
を設定するための微小単位時間データＤｎ，表示周期識
別子Ｄｆ，表示周期乗数データＤｍ，及び表示時刻デー
タＤｙｎを含む画像符号化信号のデータ構造について示
したが、画像符号化信号のデータ構造は、上記各フレー
ムの表示タイミングに代えて、各フレームの復号化処理
のタイミングを決定する付加データ，つまり微小単位時
間データ，復号周期識別子，復号周期乗数データ，及び
復号時刻データを含むものであってもよく、以下このよ
うなデータ構造を実施の形態２の変形例として説明す
る。
【０１４５】（実施の形態２の変形例）この実施の形態
２の変形例のデータ構造は、実施の形態２の画像符号化
信号１２０ａにおける表示周期識別子Ｄｆ及び表示周期
乗数データＤｐを、復号周期識別子ＤＥｆ及び復号周期
乗数データＤＥｐに置き換え、実施の形態２の画像符号
化信号１２０ｂにおける表示時刻データＤｙｎを、復号
時刻データＤＥｙｎに置き換えたものである。
２の変形例のデータ構造は、実施の形態２の画像符号化
信号１２０ａにおける表示周期識別子Ｄｆ及び表示周期
乗数データＤｐを、復号周期識別子ＤＥｆ及び復号周期
乗数データＤＥｐに置き換え、実施の形態２の画像符号
化信号１２０ｂにおける表示時刻データＤｙｎを、復号
時刻データＤＥｙｎに置き換えたものである。
【０１４６】ここで、上記復号周期識別子ＤＥｆは、各
フレームに対応する、画像符号化信号を復号化する復号
化処理の周期が可変であるか否かを示すものであり、復
号化処理の周期ＤＴが固定である画像符号化信号には復
号化周期固定識別子として、復号化処理の周期ＤＴが可
変である画像符号化信号には復号化周期可変識別子とし
て挿入される。
フレームに対応する、画像符号化信号を復号化する復号
化処理の周期が可変であるか否かを示すものであり、復
号化処理の周期ＤＴが固定である画像符号化信号には復
号化周期固定識別子として、復号化処理の周期ＤＴが可
変である画像符号化信号には復号化周期可変識別子とし
て挿入される。
【０１４７】また、上記復号周期乗数データＤＥｍは、
各フレームに対応する復号化処理の周期ＤＴを上記微小
単位時間（１／Ｎ）の乗数値Ｍにより、つまり該周期が
微小単位時間の何倍（Ｍ）に相当するかにより示すデー
タであり、上記復号時刻データＤＥｙｎは、各フレーム
に対応する復号化処理が行われるタイミングを示すデー
タである。
各フレームに対応する復号化処理の周期ＤＴを上記微小
単位時間（１／Ｎ）の乗数値Ｍにより、つまり該周期が
微小単位時間の何倍（Ｍ）に相当するかにより示すデー
タであり、上記復号時刻データＤＥｙｎは、各フレーム
に対応する復号化処理が行われるタイミングを示すデー
タである。
【０１４８】また、実施の形態２の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図８
に示すフローにおけるステップＳ３１，Ｓ３２，Ｓ３
３，Ｓ３４，Ｓ３６の処理を以下のように置き換えるこ
とにより実現できる。
を有する画像符号化信号を生成する符号化処理は、図８
に示すフローにおけるステップＳ３１，Ｓ３２，Ｓ３
３，Ｓ３４，Ｓ３６の処理を以下のように置き換えるこ
とにより実現できる。
【０１４９】つまり、ステップＳ３１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ３２，Ｓ３４における表示
周期固定識別子Ｄｆ，表示周期可変識別子Ｄｆを付加す
る処理を、それぞれ復号周期固定識別子ＤＥｆ，復号周
期可変識別子ＤＥｆを付加する処理に置き換える。さら
にステップＳ３３における表示周期乗数データＤｍを付
加する処理を、上記復号周期乗数データＤＥｍを付加す
る処理に置き換え、ステップＳ３６における表示時刻デ
ータＤｙｎを付加する処理を、上記復号時刻データＤＥ
ｙｎを付加する処理に置き換える。
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ３２，Ｓ３４における表示
周期固定識別子Ｄｆ，表示周期可変識別子Ｄｆを付加す
る処理を、それぞれ復号周期固定識別子ＤＥｆ，復号周
期可変識別子ＤＥｆを付加する処理に置き換える。さら
にステップＳ３３における表示周期乗数データＤｍを付
加する処理を、上記復号周期乗数データＤＥｍを付加す
る処理に置き換え、ステップＳ３６における表示時刻デ
ータＤｙｎを付加する処理を、上記復号時刻データＤＥ
ｙｎを付加する処理に置き換える。
【０１５０】また、図９(b)は、上記実施の形態２の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１２００ａの構成を示している。この画像符号化
装置１２００ａでは、上記実施の形態２における画像符
号化装置１２００の判定器１１３１に代えて、上記入力
される画像信号Ｓｇに基づいて、フレームに対応する復
号化処理の周期が一定であるか否か（つまり、復号周期
が固定であるか可変であるか）を判定して、復号周期が
一定であるか否かを示す復号周期識別子ＤＥｆを出力す
る判定器１１３１ａを備えている。
形例の符号化処理を行うハードウエアとしての画像符号
化装置１２００ａの構成を示している。この画像符号化
装置１２００ａでは、上記実施の形態２における画像符
号化装置１２００の判定器１１３１に代えて、上記入力
される画像信号Ｓｇに基づいて、フレームに対応する復
号化処理の周期が一定であるか否か（つまり、復号周期
が固定であるか可変であるか）を判定して、復号周期が
一定であるか否かを示す復号周期識別子ＤＥｆを出力す
る判定器１１３１ａを備えている。
【０１５１】また、上記画像符号化装置１２００ａは、
上記実施の形態２の画像符号化装置１２００における表
示周期乗数データ生成器１２３３と表示時刻データ生成
器１２３４に代えて、それぞれ、上記入力された画像信
号Ｓｇに基づいて、フレームの復号化処理の周期をこれ
が上記微小単位時間（１／Ｎ）の何倍に相当するかを示
す乗数値Ｍとしての復号周期乗数データＤＥｍを生成す
る復号周期乗数データ生成器（第２のデータ生成器）１
２３３ａと、上記入力された画像信号Ｓｇに基づいて、
各フレームＦ（ｎ）の復号時刻Ｄｈ(n)を示す復号時刻
データＤＥｙｎを生成する復号時刻データ生成器（第３
のデータ生成器）１２３４ａとを備えたものである。
上記実施の形態２の画像符号化装置１２００における表
示周期乗数データ生成器１２３３と表示時刻データ生成
器１２３４に代えて、それぞれ、上記入力された画像信
号Ｓｇに基づいて、フレームの復号化処理の周期をこれ
が上記微小単位時間（１／Ｎ）の何倍に相当するかを示
す乗数値Ｍとしての復号周期乗数データＤＥｍを生成す
る復号周期乗数データ生成器（第２のデータ生成器）１
２３３ａと、上記入力された画像信号Ｓｇに基づいて、
各フレームＦ（ｎ）の復号時刻Ｄｈ(n)を示す復号時刻
データＤＥｙｎを生成する復号時刻データ生成器（第３
のデータ生成器）１２３４ａとを備えたものである。
【０１５２】また、この画像符号化装置１２００ａで
は、その多重化器１２２０ａは、上記微小単位時間デー
タＤｋ，復号周期乗数データＤＥｍ，及び復号時刻デー
タＤＥｔｙを各フレームＦ（ｎ）の画像符号化データＣ
ｇｎと多重化し、復号処理の周期が固定である画像符号
化信号，あるいは復号周期が可変である画像符号化信号
を、多重ビットストリームＭ２ａとして出力する構成と
なっている。その他の構成は上記実施の形態２の画像符
号化装置１２００と同様である。
は、その多重化器１２２０ａは、上記微小単位時間デー
タＤｋ，復号周期乗数データＤＥｍ，及び復号時刻デー
タＤＥｔｙを各フレームＦ（ｎ）の画像符号化データＣ
ｇｎと多重化し、復号処理の周期が固定である画像符号
化信号，あるいは復号周期が可変である画像符号化信号
を、多重ビットストリームＭ２ａとして出力する構成と
なっている。その他の構成は上記実施の形態２の画像符
号化装置１２００と同様である。
【０１５３】以下、簡単にこの実施の形態２の変形例に
よる画像符号化装置１２００ａの動作を説明する。この
ような構成の画像符号化装置１２００ａでは、画像信号
Ｓｇが入力されると、上記判定器１１３１ａでは、該画
像信号Ｓｇの復号周期が可変である否かの判定が行われ
て、判定結果を示す復号周期識別子ＤＥｆが出力され、
また、第１のデータ生成器１２３２ａでは上記微小単位
時間データＤｋが、第２，第３のデータ生成器１２３３
ａ，１２３４ａでは、復号周期乗数データＤＥｍ，復号
時刻データＤＥｙｎがそれぞれ生成され、上記符号化器
１１１０では、上記画像信号Ｓｇが符号化されて画像符
号化データＣｇｎとして出力される。
よる画像符号化装置１２００ａの動作を説明する。この
ような構成の画像符号化装置１２００ａでは、画像信号
Ｓｇが入力されると、上記判定器１１３１ａでは、該画
像信号Ｓｇの復号周期が可変である否かの判定が行われ
て、判定結果を示す復号周期識別子ＤＥｆが出力され、
また、第１のデータ生成器１２３２ａでは上記微小単位
時間データＤｋが、第２，第３のデータ生成器１２３３
ａ，１２３４ａでは、復号周期乗数データＤＥｍ，復号
時刻データＤＥｙｎがそれぞれ生成され、上記符号化器
１１１０では、上記画像信号Ｓｇが符号化されて画像符
号化データＣｇｎとして出力される。
【０１５４】そして、多重化器（ＭＵＸ）１２２０ａに
は、上記判定器１２３１ａからの復号周期識別子ＤＥ
ｆ，上記符号化器１１１０からの符号化データＣｇｎ，
及第１，第３のデータ生成器１２３２，１２３４ａから
のデータＤｋ，ＤＥｙｎが入力されるとともに、第２の
データ生成器１２３３ａからの復号周期乗数データＤＥ
ｍが開閉スイッチ１２４１ａを介して入力される。する
と、該多重化器１２２０ａからは、これらのデータが多
重化され、復号周期が固定である画像符号化信号、ある
いは復号周期が可変である画像符号化信号が、上記多重
ビットストリームＭ２ａとして出力される
は、上記判定器１２３１ａからの復号周期識別子ＤＥ
ｆ，上記符号化器１１１０からの符号化データＣｇｎ，
及第１，第３のデータ生成器１２３２，１２３４ａから
のデータＤｋ，ＤＥｙｎが入力されるとともに、第２の
データ生成器１２３３ａからの復号周期乗数データＤＥ
ｍが開閉スイッチ１２４１ａを介して入力される。する
と、該多重化器１２２０ａからは、これらのデータが多
重化され、復号周期が固定である画像符号化信号、ある
いは復号周期が可変である画像符号化信号が、上記多重
ビットストリームＭ２ａとして出力される
【０１５５】一方、実施の形態２の変形例のデータ構造
を有する画像符号化信号を復号化する復号化処理は、図
１０に示すフローにおける所定ステップＳ４１，Ｓ４２
ａ，Ｓ４３ｂ，Ｓ４４ａ，Ｓ４４ｂ，Ｓ４５ａ，Ｓ４７
ａの処理を以下のように置き換えることにより実現でき
る。
を有する画像符号化信号を復号化する復号化処理は、図
１０に示すフローにおける所定ステップＳ４１，Ｓ４２
ａ，Ｓ４３ｂ，Ｓ４４ａ，Ｓ４４ｂ，Ｓ４５ａ，Ｓ４７
ａの処理を以下のように置き換えることにより実現でき
る。
【０１５６】具体的には、ステップＳ４１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ４２ａにおける表示周
期乗数データＤｍを読み込む処理を、上記復号周期乗数
データＤＥｍを読み込む処理に置き換え、ステップ４３
ｂにおける表示時刻ｈ(n)を示すデータＤｙｎを読み込
む処理を、上記復号時刻Ｄｈ(n)を示すデータＤＥｙｎ
を読み込む処理に置き換える。
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ４２ａにおける表示周
期乗数データＤｍを読み込む処理を、上記復号周期乗数
データＤＥｍを読み込む処理に置き換え、ステップ４３
ｂにおける表示時刻ｈ(n)を示すデータＤｙｎを読み込
む処理を、上記復号時刻Ｄｈ(n)を示すデータＤＥｙｎ
を読み込む処理に置き換える。
【０１５７】また、上記ステップＳ４４ｂにおけるデー
タＤｙｎに基づいて表示時刻ｈ(n)を求める処理を、デ
ータＤＥｙｎに基づいて復号時刻Ｄｈ(n)を求める処理
に置き換え、ステップＳ４４ａにおける、表示順にカウ
ントされる各フレームＦ’（ｎ’）の、先頭フレームか
らの順番ｎ′に相当するカウント値ｎ′が０にセットさ
れる処理を、伝送順にカウントされる各フレームＦ
（ｎ）の、先頭フレームからの順番ｎに相当するカウン
ト値ｎが０にセットされる処理に置き換える。
タＤｙｎに基づいて表示時刻ｈ(n)を求める処理を、デ
ータＤＥｙｎに基づいて復号時刻Ｄｈ(n)を求める処理
に置き換え、ステップＳ４４ａにおける、表示順にカウ
ントされる各フレームＦ’（ｎ’）の、先頭フレームか
らの順番ｎ′に相当するカウント値ｎ′が０にセットさ
れる処理を、伝送順にカウントされる各フレームＦ
（ｎ）の、先頭フレームからの順番ｎに相当するカウン
ト値ｎが０にセットされる処理に置き換える。
【０１５８】さらに、ステップＳ４５ａにおける、各フ
レームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式
ｈ’（ｎ’）＝ｎ’×Ｔにより求められる処理を、各フ
レームＦ（ｎ）の復号時刻Ｄｈ（ｎ）が復号周期ＤＴと
そのフレームの伝送順位を示す番号ｎとによりＤｈ
（ｎ）＝ｎ×ＤＴにより求められる処理に置き換え、ス
テップＳ４７ａにおけるカウント値ｎ′がインクリメン
トされる処理を、カウント値ｎがインクリメントされる
処理に置き換える。
レームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式
ｈ’（ｎ’）＝ｎ’×Ｔにより求められる処理を、各フ
レームＦ（ｎ）の復号時刻Ｄｈ（ｎ）が復号周期ＤＴと
そのフレームの伝送順位を示す番号ｎとによりＤｈ
（ｎ）＝ｎ×ＤＴにより求められる処理に置き換え、ス
テップＳ４７ａにおけるカウント値ｎ′がインクリメン
トされる処理を、カウント値ｎがインクリメントされる
処理に置き換える。
【０１５９】また、図１１(b)は、上記実施の形態２の
変形例の復号化処理を行うハードウエアとしての画像復
号化装置２２００ａの構成を示している。この画像復号
化装置２２００ａは、上記画像符号化装置１２００ａか
ら出力された多重ビットストリームＭ２ａに対して、復
号化処理及び表示処理を含む再生処理を行う構成となっ
ている。
変形例の復号化処理を行うハードウエアとしての画像復
号化装置２２００ａの構成を示している。この画像復号
化装置２２００ａは、上記画像符号化装置１２００ａか
ら出力された多重ビットストリームＭ２ａに対して、復
号化処理及び表示処理を含む再生処理を行う構成となっ
ている。
【０１６０】すなわち、この画像復号化装置２２００ａ
は、上記実施の形態２における画像復号化装置２２００
のデータ分離器２２１０に代えて、上記多重ビットスト
リームＭ２ａから、微小単位時間データＤｋ，復号周期
識別子ＤＥｆ，復号周期乗数データＤＥｍ，復号時刻デ
ータＤＥｙｎ，及び画像符号化データＣｇｎを取り出し
て出力するデータ分離器（ＤＥＭＵＸ）２２１０ａを備
えている。
は、上記実施の形態２における画像復号化装置２２００
のデータ分離器２２１０に代えて、上記多重ビットスト
リームＭ２ａから、微小単位時間データＤｋ，復号周期
識別子ＤＥｆ，復号周期乗数データＤＥｍ，復号時刻デ
ータＤＥｙｎ，及び画像符号化データＣｇｎを取り出し
て出力するデータ分離器（ＤＥＭＵＸ）２２１０ａを備
えている。
【０１６１】また、この画像復号化装置２２００ａは、
上記実施の形態２の画像復号化装置２２００における第
１，第２の開閉スイッチ２２４０，２２５０に代えて、
復号周期乗数データＤＥｍの導通，非導通を復号周期識
別子ＤＥｇに基づいて制御する第１の開閉スイッチ２２
４０ａと、復号時刻データＤＥｙｎの導通，非導通を復
号周期識別子ＤＥｇに基づいて制御する第２の開閉スイ
ッチ２２５０ａとを備えている。
上記実施の形態２の画像復号化装置２２００における第
１，第２の開閉スイッチ２２４０，２２５０に代えて、
復号周期乗数データＤＥｍの導通，非導通を復号周期識
別子ＤＥｇに基づいて制御する第１の開閉スイッチ２２
４０ａと、復号時刻データＤＥｙｎの導通，非導通を復
号周期識別子ＤＥｇに基づいて制御する第２の開閉スイ
ッチ２２５０ａとを備えている。
【０１６２】そして、この画像復号化装置２２００ａで
は、データ分離器２２１０ａからの微小単位時間データ
Ｄｆ、第１，第２のスイッチ２２４０ａ，２２５０ａの
出力である復号周期乗数データＤＥｍ，復号時刻データ
ＤＥｙｎが、復号化器２２２０ａ及び表示装置２２３０
ａに供給されるようになっている。
は、データ分離器２２１０ａからの微小単位時間データ
Ｄｆ、第１，第２のスイッチ２２４０ａ，２２５０ａの
出力である復号周期乗数データＤＥｍ，復号時刻データ
ＤＥｙｎが、復号化器２２２０ａ及び表示装置２２３０
ａに供給されるようになっている。
【０１６３】この復号化器２２２０ａは、復号周期が固
定である各フレームＦ（ｎ）の画像符号化データＣｇｎ
を、上記微小単位時間データＤｋ及び復号周期乗数デー
タＤＥｍに基づいて決まるタイミング（復号時刻Ｄｈ
(n)＝ＤＴ×ｎ）で各フレーム毎に復号化し、復号周期
が可変である各フレームＦ（ｎ）の画像符号化データＣ
ｇｎを、上記復号時刻データＤＥｙｎに基づいて決まる
タイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号
化する構成となっている。
定である各フレームＦ（ｎ）の画像符号化データＣｇｎ
を、上記微小単位時間データＤｋ及び復号周期乗数デー
タＤＥｍに基づいて決まるタイミング（復号時刻Ｄｈ
(n)＝ＤＴ×ｎ）で各フレーム毎に復号化し、復号周期
が可変である各フレームＦ（ｎ）の画像符号化データＣ
ｇｎを、上記復号時刻データＤＥｙｎに基づいて決まる
タイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号
化する構成となっている。
【０１６４】また、上記表示装置２２３０ａは、復号周
期が固定である各フレームＦ（ｎ）の画像復号化データ
Ｒｇを、上記微小単位時間データＤｋ及び復号周期乗数
データＤＥｍに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示し、復号周期が可変である各フレームＦ
（ｎ）の画像復号化データＲｇを、上記復号時刻データ
ＤＥｙｎに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示する構成となっている。その他の構成は上
記実施の形態２の画像復号化装置２２００と同一であ
る。
期が固定である各フレームＦ（ｎ）の画像復号化データ
Ｒｇを、上記微小単位時間データＤｋ及び復号周期乗数
データＤＥｍに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示し、復号周期が可変である各フレームＦ
（ｎ）の画像復号化データＲｇを、上記復号時刻データ
ＤＥｙｎに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示する構成となっている。その他の構成は上
記実施の形態２の画像復号化装置２２００と同一であ
る。
【０１６５】以下、簡単に上記実施の形態２の変形例に
よる画像復号化装置２２００ａの動作について説明す
る。このような構成の画像復号化装置２２００ａでは、
上記多重ビットストリームＭ２ａが入力されると、デー
タ分離器２２１０ａにて、微小単位時間データＤｋ，復
号周期乗数データＤＥｍ，復号周期識別子ＤＥｆ，復号
時刻データＤＥｙｎ，及び画像符号化データＣｇｎが分
離される。
よる画像復号化装置２２００ａの動作について説明す
る。このような構成の画像復号化装置２２００ａでは、
上記多重ビットストリームＭ２ａが入力されると、デー
タ分離器２２１０ａにて、微小単位時間データＤｋ，復
号周期乗数データＤＥｍ，復号周期識別子ＤＥｆ，復号
時刻データＤＥｙｎ，及び画像符号化データＣｇｎが分
離される。
【０１６６】そして、上記復号化器２２２０ａでは、入
力された画像符号化信号の復号周期が固定であるとき
は、画像符号化データＣｇｎが、上記微小単位時間デー
タＤｋ及び復号周期乗数データＤＥｍ及びに基づいて決
まるタイミングで各フレーム毎に復号化され、入力され
た画像復号化信号の復号周期が可変であるときは、画像
符号化データＣｇｎが、上記復号時刻データＤＥｙｎに
基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フ
レーム毎に復号化される。ここで復号周期が固定である
画像符号化信号の復号時刻は、伝送順序を示す番号ｎと
復号周期ＤＴ＝（１／Ｎ）×Ｍ）との積により決まり、
復号周期が可変である画像符号化信号の復号時刻は、復
号周期データＤＥｙｎにより決まる。
力された画像符号化信号の復号周期が固定であるとき
は、画像符号化データＣｇｎが、上記微小単位時間デー
タＤｋ及び復号周期乗数データＤＥｍ及びに基づいて決
まるタイミングで各フレーム毎に復号化され、入力され
た画像復号化信号の復号周期が可変であるときは、画像
符号化データＣｇｎが、上記復号時刻データＤＥｙｎに
基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フ
レーム毎に復号化される。ここで復号周期が固定である
画像符号化信号の復号時刻は、伝送順序を示す番号ｎと
復号周期ＤＴ＝（１／Ｎ）×Ｍ）との積により決まり、
復号周期が可変である画像符号化信号の復号時刻は、復
号周期データＤＥｙｎにより決まる。
【０１６７】さらに、上記表示装置２２３０ａでは、復
号周期が固定である画像復号化データＲｇに対応する各
フレームＦ（ｎ）の画像は、微小単位時間データＤｋ及
び復号周期乗数データＤＥｍに基づいて所定の表示タイ
ミングで表示され、一方、復号周期が可変である画像復
号化データＲｇに対応するフレームＦ（ｎ）の画像は、
復号時刻データＤＥｔｙに基づいて所定の表示タイミン
グで表示される。
号周期が固定である画像復号化データＲｇに対応する各
フレームＦ（ｎ）の画像は、微小単位時間データＤｋ及
び復号周期乗数データＤＥｍに基づいて所定の表示タイ
ミングで表示され、一方、復号周期が可変である画像復
号化データＲｇに対応するフレームＦ（ｎ）の画像は、
復号時刻データＤＥｔｙに基づいて所定の表示タイミン
グで表示される。
【０１６８】このような実施の形態２の変形例では、上
記実施の形態２の同様、画像信号を符号化して得られる
画像符号化データＣｇｎを、各フレームに対応する画像
復号化処理の周期が可変であるか否かを示す復号周期識
別子ＤＥｆ，固定の復号周期を表す微小単位時間データ
Ｄｋ及び復号周期乗数データＤＥｍ，並びに復号時刻を
示す復号時刻データＤＥｙｎを含む構成としたので、各
フレームに対する画像復号化処理の周期が固定である場
合には、簡単な回路構成により、つまり各フレーム毎に
情報量（ビット数）の多い復号時刻データＤＥｙｎを参
照することなく、１つの画像に対応する微小単位時間デ
ータＤｋ及び情報量（ビット数）の少ない復号周期乗数
データＤＥｍのみに基づいて画像符号化信号の復号化処
理を簡単に行うことができる。
記実施の形態２の同様、画像信号を符号化して得られる
画像符号化データＣｇｎを、各フレームに対応する画像
復号化処理の周期が可変であるか否かを示す復号周期識
別子ＤＥｆ，固定の復号周期を表す微小単位時間データ
Ｄｋ及び復号周期乗数データＤＥｍ，並びに復号時刻を
示す復号時刻データＤＥｙｎを含む構成としたので、各
フレームに対する画像復号化処理の周期が固定である場
合には、簡単な回路構成により、つまり各フレーム毎に
情報量（ビット数）の多い復号時刻データＤＥｙｎを参
照することなく、１つの画像に対応する微小単位時間デ
ータＤｋ及び情報量（ビット数）の少ない復号周期乗数
データＤＥｍのみに基づいて画像符号化信号の復号化処
理を簡単に行うことができる。
【０１６９】また、各フレームに対する画像復号化処理
の周期が可変である場合には、従来と同様に、各フレー
ム毎に復号時刻データＤＥｙｎを参照して画像符号化信
号の復号化処理を行うことができるといった効果があ
る。
の周期が可変である場合には、従来と同様に、各フレー
ム毎に復号時刻データＤＥｙｎを参照して画像符号化信
号の復号化処理を行うことができるといった効果があ
る。
【０１７０】なお、上記実施の形態２の変形例の画像復
号化装置２２００ａでは、画像符号化信号に含まれる各
フレームに対する復号化処理のタイミングを決定するた
めのデータに基づいて、各フレームの復号化処理ととも
に、各フレームの画像表示を行うものを示したが、この
画像復号化装置は、画像符号化信号に含まれる各フレー
ムに対する表示処理のタイミングを決定するためのデー
タに基づいて、各フレームの表示処理とともに、各フレ
ームの復号化処理を行うものであってもよい。
号化装置２２００ａでは、画像符号化信号に含まれる各
フレームに対する復号化処理のタイミングを決定するた
めのデータに基づいて、各フレームの復号化処理ととも
に、各フレームの画像表示を行うものを示したが、この
画像復号化装置は、画像符号化信号に含まれる各フレー
ムに対する表示処理のタイミングを決定するためのデー
タに基づいて、各フレームの表示処理とともに、各フレ
ームの復号化処理を行うものであってもよい。
【０１７１】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。
【０１７２】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。
【０１７３】さらに、上記各実施の形態及びその変形例
で示した画像符号化装置あるいは画像復号化装置による
画像処理をソフトウエアにより行うための符号化処理プ
ログラムあるいは復号化処理プログラムを、フロッピー
ディスク等のデータ記憶媒体に記録するようにすること
により、上記各実施の形態で示した処理を、独立したコ
ンピュータシステムにおいて簡単に実現することが可能
となる。
で示した画像符号化装置あるいは画像復号化装置による
画像処理をソフトウエアにより行うための符号化処理プ
ログラムあるいは復号化処理プログラムを、フロッピー
ディスク等のデータ記憶媒体に記録するようにすること
により、上記各実施の形態で示した処理を、独立したコ
ンピュータシステムにおいて簡単に実現することが可能
となる。
【０１７４】図１２は、上記各実施の形態及びその変形
例の符号化処理あるいは復号化処理を、上記符号化処理
プログラムあるいは復号化処理プログラムを格納したフ
ロッピーディスクを用いて、コンピュータシステムによ
り実施する場合を説明するための図である。図１２(a)
は、フロッピーディスクの正面からみた外観、断面構
造、及びフロッピーディスク本体を示し、図１２(b)
は、該フロッピーディスク本体の物理フォーマットの例
を示している。
例の符号化処理あるいは復号化処理を、上記符号化処理
プログラムあるいは復号化処理プログラムを格納したフ
ロッピーディスクを用いて、コンピュータシステムによ
り実施する場合を説明するための図である。図１２(a)
は、フロッピーディスクの正面からみた外観、断面構
造、及びフロッピーディスク本体を示し、図１２(b)
は、該フロッピーディスク本体の物理フォーマットの例
を示している。
【０１７５】上記フロッピーディスクＦＤは、上記フロ
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。
【０１７６】また、図１２(c)は、フロッピーディスク
ＦＤに対する上記プログラムの記録、及びフロッピーデ
ィスクＦＤに格納したプログラムを用いたソフトウエア
による画像処理を行うための構成を示している。
ＦＤに対する上記プログラムの記録、及びフロッピーデ
ィスクＦＤに格納したプログラムを用いたソフトウエア
による画像処理を行うための構成を示している。
【０１７７】上記プログラムをフロッピーディスクＦＤ
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記画像符号化装置あるいは画像復号化装置を
コンピュータシステムＣｓ中に構築する場合は、フロッ
ピーディスクドライブＦDDによりプログラムをフロッピ
ーディスクＦＤから読み出し、コンピュータシステムＣ
ｓにロードする。
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記画像符号化装置あるいは画像復号化装置を
コンピュータシステムＣｓ中に構築する場合は、フロッ
ピーディスクドライブＦDDによりプログラムをフロッピ
ーディスクＦＤから読み出し、コンピュータシステムＣ
ｓにロードする。
【０１７８】なお、上記説明では、データ記憶媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、データ記憶媒体は上記光ディス
クやフロッピーディスクに限るものではなく、ＩＣカー
ド、ＲＯＭカセット等、プログラムを記録できるもので
あればどのようなものでもよく、これらのデータ記録媒
体を用いる場合でも、上記フロッピーディスク等を用い
る場合と同様にソフトウェアによる符号化処理あるいは
復号化処理を実施することができる。
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、データ記憶媒体は上記光ディス
クやフロッピーディスクに限るものではなく、ＩＣカー
ド、ＲＯＭカセット等、プログラムを記録できるもので
あればどのようなものでもよく、これらのデータ記録媒
体を用いる場合でも、上記フロッピーディスク等を用い
る場合と同様にソフトウェアによる符号化処理あるいは
復号化処理を実施することができる。
【０１７９】さらに、フロッピーディスク等のデータ記
憶媒体に格納された画像符号化信号を、本実施の形態
１，２あるいはこれらの変形例の画像信号データ構造と
することにより、上記フロッピーディスクからの画像符
号化信号を復号化して画像表示する際には、フレーム表
示周期あるいは復号化処理の周期が固定の場合に簡単な
回路構成により、画像符号化信号の復号化処理及び表示
処理を含む再生処理を行うことができる。
憶媒体に格納された画像符号化信号を、本実施の形態
１，２あるいはこれらの変形例の画像信号データ構造と
することにより、上記フロッピーディスクからの画像符
号化信号を復号化して画像表示する際には、フレーム表
示周期あるいは復号化処理の周期が固定の場合に簡単な
回路構成により、画像符号化信号の復号化処理及び表示
処理を含む再生処理を行うことができる。
【０１８０】
【発明の効果】以上のようにこの発明に係る画像符号化
方法によれば、複数のフレームに対応する画像信号を符
号化する画像符号化方法であって、前記画像信号を符号
化して画像符号化データを生成し、前記画像信号に含ま
れる全てのフレームの画像表示間隔が固定であるか可変
であるかを示す表示周期識別子を生成し、前記表示周期
識別子が前記画像表示間隔が固定であることを示す場
合、前記画像表示間隔を示す表示周期データを生成し、
生成した前記表示周期データと前記表示周期識別子と前
記画像符号化データとを多重化して画像符号化信号を生
成し、前記表示周期識別子が前記画像表示間隔が可変で
あることを示す場合、前記複数のフレームの表示タイミ
ングを示す表示タイミングデータを生成し、生成した表
示タイミングデータと前記表示周期識別子と前記画像符
号化データとを多重化した画像符号化信号であって、前
記表示タイミングデータが前記複数のフレームのそれぞ
れに付随した画像符号化信号を生成することを特徴とす
るので、各フレームに対する表示処理の周期が可変であ
る画像信号と、フレームの表示処理の周期が固定である
画像信号とを、それぞれの画像信号に応じた、各フレー
ムの表示タイミングを示すデータを付加して符号化する
ことができる。これによりフレームの表示周期が固定で
ある場合に、表示時刻を定めるのに要するビット数を削
減することができ、しかも、フレームの表示周期が可変
である画像の表示処理を従来と同様に行うことが可能と
なる。
方法によれば、複数のフレームに対応する画像信号を符
号化する画像符号化方法であって、前記画像信号を符号
化して画像符号化データを生成し、前記画像信号に含ま
れる全てのフレームの画像表示間隔が固定であるか可変
であるかを示す表示周期識別子を生成し、前記表示周期
識別子が前記画像表示間隔が固定であることを示す場
合、前記画像表示間隔を示す表示周期データを生成し、
生成した前記表示周期データと前記表示周期識別子と前
記画像符号化データとを多重化して画像符号化信号を生
成し、前記表示周期識別子が前記画像表示間隔が可変で
あることを示す場合、前記複数のフレームの表示タイミ
ングを示す表示タイミングデータを生成し、生成した表
示タイミングデータと前記表示周期識別子と前記画像符
号化データとを多重化した画像符号化信号であって、前
記表示タイミングデータが前記複数のフレームのそれぞ
れに付随した画像符号化信号を生成することを特徴とす
るので、各フレームに対する表示処理の周期が可変であ
る画像信号と、フレームの表示処理の周期が固定である
画像信号とを、それぞれの画像信号に応じた、各フレー
ムの表示タイミングを示すデータを付加して符号化する
ことができる。これによりフレームの表示周期が固定で
ある場合に、表示時刻を定めるのに要するビット数を削
減することができ、しかも、フレームの表示周期が可変
である画像の表示処理を従来と同様に行うことが可能と
なる。
【０１８１】
【０１８２】
【０１８３】
【図１】本発明の実施の形態１による画像符号化信号の
データ構造を、フレーム表示周期が固定である場合（図
(a) ）とフレーム表示周期が可変である場合（図(b) ）
とを対比して示す図である。
データ構造を、フレーム表示周期が固定である場合（図
(a) ）とフレーム表示周期が可変である場合（図(b) ）
とを対比して示す図である。
【図２】上記実施の形態１の、フレーム表示周期が固定
である画像符号化信号に基づいた画像表示の様子を示す
図である。
である画像符号化信号に基づいた画像表示の様子を示す
図である。
【図３】上記実施の形態１のデータ構造の画像符号化信
号を生成する符号化処理のフローを示す図である。
号を生成する符号化処理のフローを示す図である。
【図４】上記実施の形態１，及びその変形例の符号化処
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
【図５】上記実施の形態１のデータ構造の画像符号化信
号を復号化する復号化処理のフローを示す図である。
号を復号化する復号化処理のフローを示す図である。
【図６】上記実施の形態１、及びその変形例の復号化処
理を行う画像復号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
理を行う画像復号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
【図７】本発明の実施の形態２による、ＭＰＥＧ４に対
応した画像符号化信号のデータ構造を、フレーム表示周
期が固定である場合（図(a)）とフレーム表示周期が可
変である場合（図(b)）とを対比して示す図である。
応した画像符号化信号のデータ構造を、フレーム表示周
期が固定である場合（図(a)）とフレーム表示周期が可
変である場合（図(b)）とを対比して示す図である。
【図８】上記実施の形態２のデータ構造の画像符号化信
号を生成する符号化処理のフローを示す図である。
号を生成する符号化処理のフローを示す図である。
【図９】上記実施の形態２、及びその変形例の符号化処
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。
【図１０】上記実施の形態２のデータ構造の画像符号化
信号を復号化する復号化処理のフローを示す図である。
信号を復号化する復号化処理のフローを示す図である。
【図１１】上記実施の形態２，及びその変形例の復号化
処理を行う画像復号化装置の構成（図(a)，図(b)）を示
すブロック図である。
処理を行う画像復号化装置の構成（図(a)，図(b)）を示
すブロック図である。
【図１２】上記各実施の形態の符号化及び復号化処理を
コンピュータシステムにより行うためのプログラムを格
納したデータ記憶媒体（図(a)，(b)）、及び上記コンピ
ュータシステム（図(c)）を説明するための図である。
コンピュータシステムにより行うためのプログラムを格
納したデータ記憶媒体（図(a)，(b)）、及び上記コンピ
ュータシステム（図(c)）を説明するための図である。
【図１３】従来のＭＰＥＧ２における固定フレームレー
トのテーブルを示す図である。
トのテーブルを示す図である。
【図１４】従来の画像データ構造を有する画像符号化信
号を説明するための概念図である。
号を説明するための概念図である。
【図１５】１つの画像を構成するフレーム系列における
データ伝送順序とデータ表示順序を対比させて示す図で
ある。
データ伝送順序とデータ表示順序を対比させて示す図で
ある。
【図１６】従来の、フレーム表示周期が可変である画像
符号化信号に基づいた画像表示の様子を示す図である。
符号化信号に基づいた画像表示の様子を示す図である。
【図１７】現在のＭＰＥＧ４に対応した各フレーム（Ｖ
ＯＰ）の表示時刻の表現方法（図(a)，(b)）は、及びＭ
ＰＥＧ４に対応した画像符号化信号の現状のデータ構造
（図(c)）を説明するための図である。
ＯＰ）の表示時刻の表現方法（図(a)，(b)）は、及びＭ
ＰＥＧ４に対応した画像符号化信号の現状のデータ構造
（図(c)）を説明するための図である。
１００ａ，１００ｂ，１２０ａ，１２０ｂ 画像符号化
信号 １０００，１０００ａ，１２００，１２００ａ 画像符
号化装置 １１１０ 符号化器 １１２０，１１２０ａ，１２２０，１２２０ａ 多重化
器（ＭＵＸ） １１３１，１１３１ａ 判定器 １１３２ 表示周期データ生成器（第１のデータ生成
器） １１３２ａ 復号周期データ生成器（第１のデータ生成
器） １１３３ 番号データ生成器（第２のデータ生成器） １１３４ 表示時刻データ生成器（第３のデータ生成
器） １１３４ａ 復号時刻データ生成器（第３のデータ生成
器） １１４１，１２４１，１２４１ａ，２１４０ 開閉スイ
ッチ １１４２ 選択スイッチ １２３２ 微小単位時間データ生成器（第１のデータ生
成器） １２３３ 表示周期乗数データ生成器（第２のデータ生
成器） １２３３ａ 復号周期乗数データ生成器（第２のデータ
生成器） １２３４ 表示時刻データ生成器（第３のデータ生成
器） １２３４ａ 復号時刻データ生成器（第３のデータ生成
器） ２０００，２０００ａ，２２００，２２００ａ 画像復
号化装置 ２１１０，２１１０ａ，２２２０，２２２０ａ データ
分離器（ＤＥＭＵＸ） ２１２０，２１２０ａ，２２２０，２２２０ａ 復号化
器 ２１３０，２１３０ａ，２２３０，２２３０ａ 表示装
置 ２１４０ａ，２２４０，２２４０ａ 第１の開閉スイッ
チ ２１５０ａ，２２５０，２２５０ａ 第２の開閉スイッ
チ ２１６０ａ 第３の開閉スイッチ Ｄｆ 表示周期識別子 ＤＥｆ 復号周期識別子 Ｄｐ 表示周期データ ＤＥｐ 復号周期データ Ｄｍ 表示周期乗数データ ＤＥｍ 復号周期乗数データ Ｄｎ 微小単位時間データ Ｄｔｎ 表示時刻データ ＤＥｔｎ 復号時刻データ Ｂ０，Ｂ１，Ｂ２，Ｂｎ フレーム番号データ Ｂ（０）〜Ｂ（１８），Ｂ（ｎ） フレーム番号 Ｃｇ０，Ｃｇ１，Ｃｇ２，Ｃｇｎ 画像符号化データ Ｄｔ０，Ｄｔ１，Ｄｔ２，Ｄｔｎ 表示時刻データ Ｄｙ０，Ｄｙ１，Ｄｙ２，Ｄｙｎ 表示時刻データ ＤＥｔｎ，ＤＥｔｎ′ 復号時刻データ Ｆ（０）〜Ｆ（１８），Ｆ（ｎ） フレーム Ｆ’（０）〜Ｆ’（１８），Ｆ’（ｎ’） フレーム Ｈ ヘッダ ｈ(0)〜ｈ(4)，ｈ’(0)〜ｈ’(3)，ｈ(n)，ｈ’(n’)
表示時刻 Ｍ１，Ｍ１ａ，Ｍ２，Ｍ２ａ 多重ビットストリーム Ｒｇ 画像復号化データ Ｓｇ 画像信号 Ｓａ０，Ｓａ１，Ｓａ２，Ｓａｎ，Ｓｂ０，Ｓｂ１，Ｓ
ｂ２，Ｓｂｎ，Ｓｃ０，Ｓｃ１，Ｓｃ２，Ｓｃｎ 符号
列 ｔ’(1)〜ｔ’(4)，ｔ’(n’) 表示間隔
信号 １０００，１０００ａ，１２００，１２００ａ 画像符
号化装置 １１１０ 符号化器 １１２０，１１２０ａ，１２２０，１２２０ａ 多重化
器（ＭＵＸ） １１３１，１１３１ａ 判定器 １１３２ 表示周期データ生成器（第１のデータ生成
器） １１３２ａ 復号周期データ生成器（第１のデータ生成
器） １１３３ 番号データ生成器（第２のデータ生成器） １１３４ 表示時刻データ生成器（第３のデータ生成
器） １１３４ａ 復号時刻データ生成器（第３のデータ生成
器） １１４１，１２４１，１２４１ａ，２１４０ 開閉スイ
ッチ １１４２ 選択スイッチ １２３２ 微小単位時間データ生成器（第１のデータ生
成器） １２３３ 表示周期乗数データ生成器（第２のデータ生
成器） １２３３ａ 復号周期乗数データ生成器（第２のデータ
生成器） １２３４ 表示時刻データ生成器（第３のデータ生成
器） １２３４ａ 復号時刻データ生成器（第３のデータ生成
器） ２０００，２０００ａ，２２００，２２００ａ 画像復
号化装置 ２１１０，２１１０ａ，２２２０，２２２０ａ データ
分離器（ＤＥＭＵＸ） ２１２０，２１２０ａ，２２２０，２２２０ａ 復号化
器 ２１３０，２１３０ａ，２２３０，２２３０ａ 表示装
置 ２１４０ａ，２２４０，２２４０ａ 第１の開閉スイッ
チ ２１５０ａ，２２５０，２２５０ａ 第２の開閉スイッ
チ ２１６０ａ 第３の開閉スイッチ Ｄｆ 表示周期識別子 ＤＥｆ 復号周期識別子 Ｄｐ 表示周期データ ＤＥｐ 復号周期データ Ｄｍ 表示周期乗数データ ＤＥｍ 復号周期乗数データ Ｄｎ 微小単位時間データ Ｄｔｎ 表示時刻データ ＤＥｔｎ 復号時刻データ Ｂ０，Ｂ１，Ｂ２，Ｂｎ フレーム番号データ Ｂ（０）〜Ｂ（１８），Ｂ（ｎ） フレーム番号 Ｃｇ０，Ｃｇ１，Ｃｇ２，Ｃｇｎ 画像符号化データ Ｄｔ０，Ｄｔ１，Ｄｔ２，Ｄｔｎ 表示時刻データ Ｄｙ０，Ｄｙ１，Ｄｙ２，Ｄｙｎ 表示時刻データ ＤＥｔｎ，ＤＥｔｎ′ 復号時刻データ Ｆ（０）〜Ｆ（１８），Ｆ（ｎ） フレーム Ｆ’（０）〜Ｆ’（１８），Ｆ’（ｎ’） フレーム Ｈ ヘッダ ｈ(0)〜ｈ(4)，ｈ’(0)〜ｈ’(3)，ｈ(n)，ｈ’(n’)
表示時刻 Ｍ１，Ｍ１ａ，Ｍ２，Ｍ２ａ 多重ビットストリーム Ｒｇ 画像復号化データ Ｓｇ 画像信号 Ｓａ０，Ｓａ１，Ｓａ２，Ｓａｎ，Ｓｂ０，Ｓｂ１，Ｓ
ｂ２，Ｓｂｎ，Ｓｃ０，Ｓｃ１，Ｓｃ２，Ｓｃｎ 符号
列 ｔ’(1)〜ｔ’(4)，ｔ’(n’) 表示間隔
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 国際公開95／15659（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68
Claims (1)
- 【請求項１】 複数のフレームに対応する画像信号を符
号化する画像符号化方法であって、 前記画像信号を符号化して画像符号化データを生成し、 前記画像信号に含まれる全てのフレームの画像表示間隔
が固定であるか可変であるかを示す表示周期識別子を生
成し、 前記表示周期識別子が前記画像表示間隔が固定であるこ
とを示す場合、前記画像表示間隔を示す表示周期データ
を生成し、生成した前記表示周期データと前記表示周期
識別子と前記画像符号化データとを多重化して画像符号
化信号を生成し、 前記表示周期識別子が前記画像表示間隔が可変であるこ
とを示す場合、前記複数のフレームの表示タイミングを
示す表示タイミングデータを生成し、生成した表示タイ
ミングデータと前記表示周期識別子と前記画像符号化デ
ータとを多重化した画像符号化信号であって、前記表示
タイミングデータが前記複数のフレームのそれぞれに付
随した画像符号化信号を生成することを特徴とする画像
符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001101253A JP3232080B2 (ja) | 1997-10-31 | 2001-03-30 | 画像符号化方法 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30114897 | 1997-10-31 | ||
| JP9-301148 | 1997-10-31 | ||
| JP10-161096 | 1998-06-09 | ||
| JP16109698 | 1998-06-09 | ||
| JP2001101253A JP3232080B2 (ja) | 1997-10-31 | 2001-03-30 | 画像符号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29843798A Division JP3232052B2 (ja) | 1997-10-31 | 1998-10-20 | 画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001326933A JP2001326933A (ja) | 2001-11-22 |
| JP3232080B2 true JP3232080B2 (ja) | 2001-11-26 |
Family
ID=27321792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001101253A Expired - Lifetime JP3232080B2 (ja) | 1997-10-31 | 2001-03-30 | 画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3232080B2 (ja) |
-
2001
- 2001-03-30 JP JP2001101253A patent/JP3232080B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001326933A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3232052B2 (ja) | 画像復号化方法 | |
| JP3232080B2 (ja) | 画像符号化方法 | |
| JP3232081B2 (ja) | 画像符号化方法 | |
| JP3232082B2 (ja) | 画像復号化方法 | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP2001320706A (ja) | 画像符号化方法，画像符号化装置，及び記憶媒体 | |
| JP2002359840A (ja) | 画像符号化方法及び画像符号化装置 | |
| JP2002359841A (ja) | 画像復号化方法及び画像復号化装置 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP2000224581A (ja) | 放送受信装置及びその方法 | |
| MXPA98009022A (en) | Structure of image signal data, image coding method and ima decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |