JP4510909B2 - 動画像符号化方法 - Google Patents

Description

本発明は、画像符号化方法，画像符号化装置，及び記憶媒体に関し、特に、画像の各フレームに対応する復号化処理及び画像表示処理を含む再生処理のタイミングに関する再生タイミングデータを含む画像符号化信号を生成する符号化処理、並びに上記符号化処理を行う装置をコンピュータにより実現するための画像処理プログラムを格納したデータ記憶媒体に関するものである。

近年、音声，画像，その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ放送品質）以上の情報量が必要となり、上記テレビ等の情報メディアではその膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１規格の動画圧縮技術が用いられている。また、ＭＰＥＧ１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group) とは、動画像に対する画像信号の圧縮伸長技術に関する国際規格であり、ＭＰＥＧ１は、動画データを１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ１規格を対象とする伝送速度が主として約１．５Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ２では、動画データが２〜１５Mbpsに圧縮される。

このように現在すでに実用化されているＭＰＥＧ１，２の規格に対応する、画像信号の圧縮伸長技術では、基本的に各フレームに対する画像表示タイミングの間隔，つまりフレームレートとして、固定フレームレートのみを採用しているため、フレームレートは高々数種類しかなく、このためＭＰＥＧ２では、符号化データとともに伝送されてくるフラグ（frame rate code）に基づいて、図１３に示すテーブルを参照して、数通りのフレームレート（frame rate value）の中からフラグにより指定されるものを選択するようにしている。

ところで、現在、ＩＳＯ（International Organization for Standardization: 国際標準化機構）によって、具体的には、ＭＰＥＧ１，ＭＰＥＧ２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11)によって、最新の画像符号化方式であるＭＰＥＧ４の標準化作業が進められている。このＭＰＥＧ４は、物体単位での符号化処理や信号操作を可能とし、マルチメディア時代に必要な新しい機能を実現するものである。このＭＰＥＧ４では、当初、低ビットレートの画像処理の標準化を目指してきたが、現在はその標準化の対象は、インタレース画像にも対応した高ビットレートの画像処理も含む、より汎用的な画像処理に拡張されている。

このＭＰＥＧ４においても、ビデオ・オブジェクト・レイア（ＭＰＥＧ２のビデオシーケンスに相当）の先頭にＭＰＥＧ２のテーブル（図１３参照）と同様なテーブルを追加すれば、該テーブルによりフレームレートは表現できるが、ＭＰＥＧ４では、低ビットレートの画像信号から高ビットレートの高画質の画像信号までの幅広い範囲の画像信号を処理対象とするため、必要となるフレームレートは無数にあり、このため、ＭＰＥＧ４では、実際問題としてフレームレートの判定をテーブルを用いて行うことは困難である。

そこで、ＭＰＥＧ４では、無数とも言える固定フレームレートに対応し、しかも各フレームに対する画像表示タイミングや復号化処理のタイミングの間隔が可変である画像に対応するために、フレーム毎に挿入された各フレームの表示時刻データを含むデータ構造を採用している。

図１４は、従来の画像符号化信号２００のデータ構造の一例を示す。

従来のデータ構造を有する画像符号化信号２００は、１つの画像（ＭＰＥＧ４では１つのオブジェクトに対応する画像を構成するフレーム系列）に対応するものであり、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配列した構造となっている。ここで、ｎは１つの画像を構成するフレーム系列における、各フレームのデータの伝送順序に対応する番号であり、先頭フレームの番号ｎを０としている。

この例では、各フレームの符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレームの表示時刻を示す表示時刻データＤｔ０，Ｄｔ１，Ｄｔ２，・・・，Ｄｔｎが配置されており、各表示時刻データに続いて画像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが配置されている。

この表示時刻データは、基準時刻に対する相対的な時刻を表しているため、画像を構成するフレームの数（フレーム数）が多くなるにつれて、この表示時刻を表すのに必要な情報量，つまり表示時刻データのビット数は多くなる。

また、上記画像符号化信号の復号化側では、上記各フレームに対応する符号列Ｓａ０〜Ｓａｎ中に挿入されている上記表示時刻データＤｔ０〜Ｄｔｎに基づいて、該表示時刻データが指示する時刻にそのフレームに対する画像表示が行われる。

図１５は、１つの画像を構成するフレーム系列における、各フレームに対応する画像符号化データの伝送順序と表示順序とを示している。ここで、ｎは上記のように伝送順序を示す番号であり、ｎ′は表示順序を示す番号（先頭フレームの番号ｎ′を０とする）である。また、フレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））は、図１４に示すデータ構造におけるフレームの順序（つまり伝送順序）に基づいて配列したものであり、フレームＦ′（ｎ′）（Ｆ′（０）〜Ｆ′（１８））は、上記伝送順に並ぶ各フレームＦ（ｎ）を、図１５で矢印により示すようにその配列順序が表示順になるよう並べ替えて配列したものである。従って、矢印で対応付けられたフレームＦ（ｎ）とフレームＦ′（ｎ′）は同一のものであり、例えば、フレームＦ（０），Ｆ（１），Ｆ（２），Ｆ（３）はそれぞれ、フレームＦ′（０），Ｆ′（３），Ｆ′（１），Ｆ′（２）と同じフレームである。

ここでは、伝送順に配列されたフレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））のうち、フレームＦ（０），Ｆ（１３）はＩ（Intra-Picture）フレーム（以下Ｉ−ＶＯＰともいう。）であり、フレームＦ（１），Ｆ（４），Ｆ（７），Ｆ（１０），Ｆ（１６）は、Ｐ（Predictive-Picture）フレーム（以下Ｐ−ＶＯＰともいう。）であり、フレームＦ（２），Ｆ（３），Ｆ（５），Ｆ（６），Ｆ（８），Ｆ（９），Ｆ（１１），Ｆ（１２），Ｆ（１４），Ｆ（１５），Ｆ（１７），Ｆ（１８）は、Ｂ（Bidirectionally predictive-Picture）フレーム（以下Ｂ−ＶＯＰともいう。）である。

また、上記のように伝送順（ＩＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰＢＢ）に配列されたフレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））を表示順（ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰ）に並べ替えたときの順番ｎ′が、各フレームＦ（ｎ）に対応するフレーム番号Ｂ（ｎ）（Ｂ（０）〜Ｂ（１８））により表される。つまり、このフレーム番号Ｂ（ｎ）の値は、表示順序を示す番号ｎ′を表しており、具体的には図１５に示すように、Ｂ（０）＝０，Ｂ（１）＝３，・・・，Ｂ（１７）＝１６，Ｂ（１８）＝１７となる。従って、ここでは、画像表示におけるＩ−ＶＯＰの周期ＬはＬ＝１５、画像表示におけるＩ−ＶＯＰとＰ−ＶＯＰを含めたＶＯＰの周期ＭはＭ＝３となっている。

そして、上記フレーム番号Ｂ（ｎ）＝ｎ′は、ｎを用いて次式（１）〜（３）により表される。
Ｂ（ｎ）＝ｎ＝０ （ｎ＝０のとき） …（１）
Ｂ（ｎ）＝ｎ＋Ｍ−１ （ｎ＝Ｍ×ｉ＋１のとき） …（２）
ただし、ｉ，Ｍは０以上の整数（０，１，２，・・・）である。
Ｂ（ｎ）＝ｎ−１ （ｎがその他の値であるとき） …（３）

ここで、上記条件（ｎ＝０）は最初のＩ−ＶＯＰに対応するもの、上記条件（ｎ＝Ｍ×ｉ＋１）は、最初のＩ−ＶＯＰ以外のＩ−ＶＯＰとＰ−ＶＯＰの両ＶＯＰに対応するもの、上記条件（ｎがその他の値であるとき）は、Ｂ−ＶＯＰに対応するものである。

ただし、上記式（１）〜（３）は、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの符号列が周期的に伝送されてくる場合における上記表示順序ｎ′と伝送順序ｎの関係Ｂ（ｎ）＝ｎ′を定義するものであり、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの符号列が一定周期で伝送されてくる場合以外の場合は、表示順序ｎ′と伝送順序ｎは、上記式（１）〜（３）とは別の関係式あるいは方法により一対一に対応付けられることとなる。

図１６は、各フレームに対応する画像表示タイミングの間隔が可変である画像表示方法の一例を説明するための図である。

図中、ｔ’(n’)（ｔ’(1), ｔ’(2), ｔ’(3), ｔ’(4) ・・・） は、フレームＦ’(n’-1) の画像表示が行われる時刻と、フレームＦ’(n’) の画像表示が行われる時刻との時間間隔を示し、ｈ’(1)，ｈ’(2)，ｈ’(3) は、フレームＦ’(0) の画像表示が行われる時刻ｈ’(0)を基準として、フレームＦ’(1)， Ｆ’(2)， Ｆ’(3) の画像表示が行われる時刻を示している。また、ｈ(n)（ｈ(1)，ｈ(2)，ｈ(3)，ｈ(4)，・・・） は、フレームＦ(0) ＝Ｆ’(0)の画像表示が行われる時刻ｈ’(0)を基準として、フレームＦ(n)（Ｆ(1)， Ｆ(2)， Ｆ(3) ，Ｆ(4)，・・・） の画像表示が行われる時刻を示している。従って、ここでは、表示順に配列されたフレームＦ’(n’)の表示時刻ｈ’(n’)は、ｈ’(n’)＝ｈ’(n’-1)+t’(n’)である。なおｈ’(0)はｈ’(0) ＝０としている。

次に、図１４に示す画像データ構造を有する画像符号化信号が復号化されて画像表示が行われる状況を図１６を用いて簡単に説明する。

復号化側では、図１４に示す該画像符号化信号２００が入力されると、該画像符号化信号２００を構成する各フレームＦ(0)，Ｆ(1)，Ｆ(2)，・・・の画像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・に対して復号化処理施されるとともに、各フレームＦ(０)，Ｆ(１)，Ｆ(２)，・・・に対応する画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0) ，ｈ(1) ，ｈ(2)・・・に行われる。

このようにして、符号化された画像信号（画像符号化信号）が各フレームに対する画像表示タイミングの間隔（画像表示周期）が固定であるものだけでなく、可変であるものについても、復号化側で画像符号化信号が復号化されて所定のタイミングで画像表示が行われるようにしている。

なお、符号化された画像信号が各フレームに対する画像表示の間隔が固定であるものである場合には、上記の画像表示周期が可変である場合と同様、上記各フレームＦ(0)，Ｆ(1) ，Ｆ(2) ，・・・に対応する画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・に行われることは言うまでもない。

ところで、フレームレート(１秒間に表示されるフレームの数)は、これを単純にｋ(自然数)ビットで表現しようとしても、テレビジョン放送で使用される周波数、例えば２９．９７・・・Ｈｚ，正確には３００００／１００１Ｈｚのような値については表現することができない。

そこで、このようなフレームレートは以下のように表現することができる。つまり、所定の時間間隔（１modulo time ）を例えば１秒とし、これをＮ（Ｎは自然数）等分した微小単位時間（１／Ｎ）を１単位時間（１time tick ）として、フレームレートが可変である画像についても、またフレームレートが固定である画像についても、各フレームの表示時刻を表すようにしている。

具体的には、図１７(a) に示すように、表示順に並ぶ各フレームＦ’(0),Ｆ’(1)’，Ｆ’(2)，Ｆ’(3)の画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３の表示時刻は、例えば、時刻Ｘを基準として、微小単位時間（１／Ｎ）をｙ（ＶＯＰ rate increment ）個集めたもの（ｙ／Ｎ）により表す。例えば、画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３については、それぞれ上記値ｙは、ｙ＝ｙ’０，ｙ＝ｙ’１，ｙ＝ｙ’２，ｙ＝ｙ’３となっている。

図１７(c)は、上記微小単位時間（１／Ｎ秒）と上記値ｙとにより、各フレームの画像表示タイミングを示すデータ構造の画像符号化信号２００ａを示している。

この画像符号化信号２００ａでは、微小単位時間に相当するＮ（自然数）を示す微小単位時間データＤｋを含むヘッダＨに続いて、各フレームＦ（ｎ）（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する符号列Ｓｂｎ（Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・）が配列されており、各符号列Ｓｂｎには、基準時刻ｘを基準として上記微小単位時間（１／Ｎ）とその個数ｙを用いて測定した表示時刻ｈ(n)(ｈ(0)，ｈ(1)，ｈ(2)，・・・)を示す表示周期乗数データＤｙｎ（Ｄｙ０，Ｄｙ１，Ｄｙ２，・・・）が含まれている。

なお、図１７(c)中、Ｃｇｎ（Ｃｇ０，Ｃｇ１，Ｃｇ２，・・・）は、上記各フレームＦ（ｎ）（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する画像符号化データである。

但し、図１７(b)に示すように、画像ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ（Ｐフレーム）である場合、画像符号化信号２００ａとしてのビットストリームでは、図１７(c)に示すように、Ｉ−ＶＯＰ（ＶＯＰ０）に相当するフレームＦ（０）の符号列に続くフレームＦ（１），Ｆ（２）の符号列としては、Ｐ−ＶＯＰ（ＶＯＰ３），Ｂ−ＶＯＰ（ＶＯＰ１）に相当するものが配列されている。

以下まず、図１４〜図１６を用いて説明した画像信号データ構造における問題点について説明する。

上述したように、画像符号化信号が、フレームの表示間隔が一定値Ｔである画像信号を符号化したものである場合は、各フレームに対応する画像表示タイミングｈ(n) は、ｈ(n) ＝ｎ′×Ｔとなっている。ここでｎ′は表示時順序を示す番号であり、ｎ′＝Ｂ（ｎ）となっている。

言い換えると、このようなフレームの表示間隔が一定値Ｔである画像符号化信号（つまりフレームレートが固定である画像に対応する符号化信号）は、復号化側で上記一定な表示間隔である時間Ｔが分かれば、伝送順序におけるｎ番目のフレームＦ(n) の表示時刻h(n)は、上記一定な表示間隔Ｔをｎ′(＝Ｂ（ｎ）)倍することにより一意に定めることができるにも拘わらず、復号化の際には、フレームＦ(n)（Ｆ(0) ，Ｆ(1) ，Ｆ(2) ，・・・）に対応する画像符号化信号に挿入されている、図１４に示すような表示時刻データＤｔｎ（Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・）を用いて、複雑な表示処理を行わざるを得ないという問題があった。

次に、図１７を用いて説明した画像信号データ構造の問題点について説明する。

上記のように、現在のＭＰＥＧ４で提案されている画像信号のデータ構造では、フレームレートが固定であっても、フレームレートの値（大きさ）は、数フレームをデコードしないと分からない構造となっており、このため、実際の復号化処理を実現するための回路構成を簡略化するのが困難であるといった問題がある。

簡単に説明すると、図１７(b)に示すように、ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ（Ｐフレーム）である場合、画像符号化信号２００ａとしてのビットストリームでは、図１７(c)に示すように、Ｉ−ＶＯＰ（Ｉフレーム）に相当するフレームＦ（０）に続いて、Ｐ−ＶＯＰ（Ｐフレーム）に相当するフレームＦ（１）及びＢ−ＶＯＰ（Ｂフレーム）に相当するフレームＦ（２）が配列されているため、このＢ−ＶＯＰ（Ｂフレーム）に対応するフレームＦ（２）が伝送されてくるまでは、フレーム表示周期（１fixed ＶＯＰ increment），つまりこの場合はＩ−ＶＯＰの表示タイミングとその次に表示されるＢ−ＶＯＰ（Ｂフレーム）の表示タイミングの間隔が分からないという問題がある。

本発明は、上記のような問題点を解消するためになされたもので、フレームレート（各フレームに対する画像表示の周期）等の復号化側での各フレームに対する再生処理の周期が固定である画像符号化信号に対して、簡単なハードウエア構成により復号化処理や表示処理を含む再生処理を施すことができ、しかも上記フレームレート等が可変である画像符号化信号に対する再生処理も行うことができる符号化処理を行う画像符号化方法及び画像符号化装置、並びに上記画像符号化方法による処理をコンピュータにより実現するためのプログラムを格納した記憶媒体を得ることを目的とする。

この発明（請求項１）に係る画像符号化方法は、複数のフレームに対応する画像信号を符号化する画像符号化方法であって、前記画像信号を符号化して画像符号化データを生成し、前記画像信号に含まれる全てのフレームの画像表示間隔が固定であるか可変であるかを示す表示周期識別子をビットストリームに付加し、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを前記ビットストリームに付加し、前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記画像表示間隔が前記微小単位時間のＭ（自然数）倍であることを示す表示周期乗数データを前記ビットストリームに付加し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記複数のフレームの表示タイミングを示す、前記微小単位時間の大きさを最小単位とする表示タイミングデータを前記ビットストリームに付加し、前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記表示周期識別子、前記微小単位時間データおよび前記表示周期乗数データが付加された前記ビットストリームと前記画像符号化データを多重化し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記表示周期識別子、前記微小単位時間データおよび前記表示タイミングデータが付加された前記ビットストリームと前記画像符号化データを多重化することを特徴とするものである。

この発明（請求項２）に係る画像符号化装置は、複数のフレームに対応する画像信号を符号化する画像符号化装置であって、前記画像信号を符号化して画像符号化データを生成する手段と、前記画像信号に含まれる全てのフレームの画像表示間隔が固定であるか可変であるかを示す表示周期識別子を生成する手段と、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを生成する手段と、前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記画像表示間隔が前記微小単位時間のＭ（自然数）倍であることを示す表示周期乗数データを生成し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記複数のフレームの表示タイミングを示す、前記微小単位時間の大きさを最小単位とする表示タイミングデータを生成する手段と、前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記表示周期識別子、生成された前記微小単位時間データ、生成された前記表示周期乗数データおよび前記画像符号化データを多重化し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記表示周期識別子、生成された前記微小単位時間データ、生成された前記表示タイミングデータおよび前記画像符号化データを多重化する、多重化手段と、を有することを特徴とするものである。

この発明（請求項３）に係る画像符号化方法は、複数のフレームに対応する画像信号を符号化する画像符号化方法であって、前記画像信号を符号化して画像符号化データを生成し、前記画像信号に含まれる全てのフレームの画像復号化処理の間隔が固定であるか可変であるかを示す復号周期識別子をビットストリームに付加し、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを前記ビットストリームに付加し、前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記画像復号化処理の間隔が前記微小単位時間のＭ（自然数）倍であることを示す復号周期乗数データを前記ビットストリームに付加し、前記復号周期識別子が前記復号化処理の間隔が可変であることを示す場合、前記複数のフレームの復号化処理が行われるタイミングを示す、前記微小単位時間の大きさを最小単位とする復号タイミングデータを前記ビットストリームに付加し、前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記復号周期識別子、前記微小単位時間データおよび前記復号周期乗数データが付加された前記ビットストリームと前記画像符号化データを多重化し、前記復号周期識別子が前記画像復号化処理の間隔が可変であることを示す場合、前記復号周期識別子、前記微小単位時間データおよび前記復号タイミングデータが付加された前記ビットストリームと前記画像符号化データを多重化することを特徴とするものである。

この発明（請求項４）に係る画像符号化装置は、複数のフレームに対応する画像信号を符号化する画像符号化装置であって、前記画像信号を符号化して画像符号化データを生成する手段と、前記画像信号に含まれる全てのフレームの画像復号化処理の間隔が固定であるか可変であるかを示す復号周期識別子を生成する手段と、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを生成する手段と、前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記画像復号化処理の間隔が前記微小単位時間のＭ（自然数）倍であることを示す復号周期乗数データを生成し、前記復号周期識別子が前記復号化処理の間隔が可変であることを示す場合、前記複数のフレームの復号化処理が行われるタイミングを示す、前記微小単位時間の大きさを最小単位とする復号タイミングデータを生成する手段と、前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記復号周期識別子、生成された前記微小単位時間データ、生成された前記復号周期乗数データおよび前記画像符号化データを多重化し、前記復号周期識別子が前記画像復号化処理の間隔が可変であることを示す場合、前記復号周期識別子、生成された前記微小単位時間データ、生成された前記復号タイミングデータおよび前記画像符号化データを多重化する多重化手段と、を有することを特徴とするものである。

以上のようにこの発明に係る画像符号化方法によれば、画像信号を符号化して出力する画像符号化方法であって、前記画像信号を符号化した画像符号化データとともに、前記画像信号に含まれる全てのフレームに対する画像再生処理の周期が固定であるか否かを示す再生周期識別子を出力し、前記再生周期識別子によって前記画像再生処理の周期が固定であることが示される場合、前記再生周期識別子とともに、前記画像再生処理の周期を示す再生周期データを出力するものとしたので、フレームレート（各フレームに対する画像表示の周期）等の復号化側での各フレームに対する再生処理の周期が固定である画像符号化信号に対して、簡単なハードウエア構成により復号化処理や表示処理を含む再生処理を施すことができる効果がある。

この発明によれば、前記画像符号化方法において、前記再生周期識別子は、前記画像信号に含まれる全てのフレームに対応する画像再生の周期が固定であるか、あるいは可変でありうるかを示すものであり、前記再生周期識別子が、前記画像再生処理の周期が可変でありうることを示す場合、前記再生周期識別子とともに、前記画像再生処理を行うタイミングを示す再生タイミングデータを出力するものとしたので、フレームの再生処理周期が固定である場合に、再生処理時刻を定めるのに要するビット数を削減することができ、しかも、フレームの再生処理周期が可変である画像の再生処理を従来と同様に行うことが可能となる。

この発明によれば、前記画像符号化方法において、前記再生周期識別子は、前記フレームに対応する画像表示の周期が固定であるか否かを示す表示周期識別子であり、前記再生周期データは、前記画像表示の周期を示す表示周期データであるものとしたので、フレームの表示周期が固定である場合に、表示時刻を定めるのに要するビット数を削減することができ、しかも、フレームの表示周期が可変である画像の表示処理を従来と同様に行うことが可能となる。

この発明によれば、前記画像符号化方法において、前記再生周期識別子は、前記画像信号を復号化する復号化処理の周期が固定であるか否かを示す復号周期識別子であり、前記再生周期データは、前記前記フレームの復号化処理の周期を示す復号周期データであるものとしたので、フレームの復号化処理の周期が固定である場合に、各フレームの復号化処理の時刻を定めるのに要するビット数を削減することができ、しかも、フレームの復号化処理の周期が可変である画像の復号化処理を簡単に行うことが可能となる。

この発明に係る画像符号化方法によれば、画像に対応した画像信号を符号化して出力する画像符号化方法であって、前記画像信号を符号化した画像符号化データとともに、前記画像信号に含まれる全てのフレームに対する画像再生処理の周期が固定であるか否かを示す再生周期識別子を出力し、前記再生周期識別子によって前記画像再生処理の周期が固定であることが示される場合、前記再生周期識別子とともに、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表すために用いる、自然数Ｎを示す微小単位時間データと、前記フレームに対応した画像再生処理の周期が前記微小単位時間のＭ（自然数）倍であることを表すために用いる、自然数Ｍを示す再生周期乗数データとを出力するものとしたので、フレームレートが固定である画像符号化信号のフレームレートの値（大きさ）を、各フレームのデコード処理を行う前に予め検出することができ、復号化処理及び表示処理を含む再生処理を簡単なハードウエア構成により行うことができる。

この発明によれば、前記画像符号化方法において、前記再生周期識別子は、前記画像信号に含まれる全てのフレームに対応する画像表示の周期が固定であるか否かを示す表示周期識別子であり、前記再生周期乗数データは、前記画像表示の周期が前記微小単位時間のＭ（自然数）倍であることを表すための表示周期乗数データであるものとしたので、復号化側における表示処理を実現するための種々のハードウエア構成を簡単なものとすることができる効果がある。

この発明によれば、前記画像符号化方法において、前記再生周期識別子は、前記画像信号に含まれる全てのフレームに対する復号化処理の周期が固定であるか否かを示す復号周期識別子であり、前記再生周期乗数データは、前記復号化処理の周期が前記微小単位時間のＭ（自然数）倍であることを表すための復号周期乗数データであるものとしたので、復号化処理を実現するための種々のハードウエア構成を簡単なものとすることができる効果がある。

この発明に係る画像符号化装置によれば、画像に対応した画像信号を符号化して出力する画像符号化装置であって、前記画像信号を符号化して画像符号化データを出力する符号化器と、前記画像信号に基づいて、前記画像信号に含まれる全てのフレームに対応する画像再生処理の周期が固定であるか、あるいは可変でありうるかを判定し、前記判定結果を示す再生周期識別子を出力する周期判定手段と、前記画像信号に基づいて、前記フレームに対応する画像再生処理の周期を示す再生周期データを生成する第１のデータ生成器と、前記画像信号に基づいて、前記フレームに対応した、フレームの前後関係を示すフレーム位置データを生成する第２のデータ生成器と、前記画像信号に基づいて、前記フレームに対応する画像再生処理が行われるタイミングを示す再生タイミングデータを生成する第３のデータ生成器と、前記再生周期識別子に基づいて、前記再生周期データを導通させる導通状態と前記再生周期データを遮断する遮断状態との間で切替えを行う開閉スイッチと、前記再生周期識別子に基づいて、前記フレーム位置データと前記再生タイミングデータの一方を選択する選択スイッチと、前記符号化器、前記周期判定手段、前記開閉スイッチ、及び前記選択スイッチの出力を、所定の順序で多重化して画像符号化信号とする多重化器と、を備えたものとしたので、各フレームに対する画像再生処理の周期が可変である画像信号と、フレームの画像再生処理の周期が固定である画像信号とが、それぞれの画像信号に応じた、各フレームの再生処理タイミングを示すデータが付加されて符号化されることとなる。これによりフレームの再生処理周期が固定の場合に再生処理時刻を定めるのに要するビット数を削減することができ、しかも、フレームの再生処理周期が可変である画像の再生処理を簡単に行うことが可能となる。

この発明によれば、前記画像符号化装置において、前記第１のデータ生成器は、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表すために用いる、自然数Ｎを示す微小単位時間データと、前記フレームに対応した画像再生処理の周期が前記微小単位時間のＭ（自然数）倍であることを表すために用いる、自然数Ｍを示す再生周期乗数データとを生成するものとしたので、復号化側では、フレームレートが固定である画像符号化信号のフレームレートの値（大きさ）を、各フレームのデコード処理を行う前に予め検出することができ、復号化処理及び表示処理を含む再生処理を簡単なハードウエア構成により行うことができる効果がある。

この発明に係る記憶媒体によれば、前記画像符号化方法をコンピューターに行わせるための符号化処理プログラムを含むので、該プログラムをコンピュータにロードすることにより、フレームの再生処理周期が固定である場合に、再生処理時刻を定めるのに要するビット数を削減することができ、しかも、フレームの再生処理周期が可変である画像の再生処理を簡単に行うことができる装置をソフトウエアにより実現することができる。

この発明に係る記憶媒体によれば、前記画像符号化方法をコンピューターに行わせるための符号化処理プログラムを含むので、該プログラムをコンピュータにロードすることにより、フレームレートが固定である画像符号化信号のフレームレートの値（大きさ）を、各フレームのデコード処理を行う前に予め検出することができ、復号化処理及び表示処理を含む再生処理を簡単に行うことができる装置をソフトウエアにより実現することができる。

以下、本発明の実施の形態について説明する。
（実施の形態１）
図１(a) は、本発明の実施の形態１による、フレーム表示周期が固定（一定）である画像符号化信号１００ａのデータ構造を示し、図１(b) は本発明の実施の形態１による、フレーム表示周期が可変である画像符号化信号１００ｂのデータ構造を示している。

上記画像符号化信号１００ａ（図１(a)参照）は、１つの画像（ＭＰＥＧ４では１つのオブジェクトに対応する画像）に対応する、フレーム表示周期が固定である画像信号を符号化して得られるものであり、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配列した構造となっている。ここで、ｎは１つの画像を構成するフレーム系列における、各フレームのデータ伝送順序に対応する番号である。

この画像符号化信号１００ａでは、ヘッダＨ内にフレーム表示周期が固定であることを示す表示周期識別子（表示周期固定識別子）Ｄｆ及びフレーム表示周期を示す表示周期データＤｐが挿入され、各フレームに対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレームが表示される順番ｎ′に相当するフレーム番号Ｂ（ｎ）を示すフレーム番号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎが挿入されている。また、上記各フレームに対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎには、各フレームの画像信号を符号化して得られる画像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含まれている。

図２は、各フレームに対応する画像表示タイミングの間隔が固定である画像表示方法の一例を説明するための図であり、図中、図１６と同一符号は同一のものを示しており、Ｔは各フレームの表示タイミングの間隔が固定である画像のフレーム表示周期である。

この画像符号化信号１００ａでは、図２に示すように、伝送順に並ぶフレームＦ（ｎ）（ｎ＝０，１，２，・・・）の表示時刻ｈ(n)は、フレームＦ（０）の表示時刻ｈ(0)(＝ｈ’(0))をｈ(0)＝０とすると、ｈ（ｎ）＝Ｂ(n)×Ｔで表される。具体的には、フレームＦ（２）の表示時刻h(2)はh(2)＝Ｂ(2)×Ｔ、フレームＦ（３）の表示時刻h(3)はh(3)＝Ｂ(3)×Ｔ、フレームＦ（１）の表示時刻h(1)はh(1)＝Ｂ(1)×Ｔ、フレームＦ（４）の表示時刻h(4)はh(4)＝Ｂ(4)×Ｔとなる。

従って、この画像符号化信号１００ａの再生処理では、各フレームに対応する画像符号化データの復号化により得られる画像復号化データが表示時刻ｈ（ｎ）に順次表示されることとなる。なおここで、表示の順番を示す番号ｎ′を表すフレーム番号Ｂ（ｎ）は、従来技術で説明したように上記（１）〜（３）式により、伝送の順番を示す番号ｎの関数として決定される。

一方、上記画像符号化信号１００ｂ（図１(b)参照）は、１つの画像（ＭＰＥＧ４では１つのオブジェクトに対応する画像）に対応する、フレーム表示周期が可変である画像信号を符号化して得られるものであり、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎを伝送順に配列した構造となっている。

この画像符号化信号１００ｂでは、ヘッダＨ内にフレーム表示周期が可変であることを示す表示周期識別子（表示周期可変識別子）Ｄｆが挿入され、各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎの先頭には、そのフレームが表示される表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n) を示す表示時刻データ（表示タイミングデータ）Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・，Ｄｔｎが挿入されている。また、上記画像符号化信号１００ｂにおける各フレームに対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎには、各フレームの画像信号を符号化して得られる画像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含まれている。

この画像符号化信号１００ｂの再生処理による画像表示は、図１４に示す従来のデータ構造を有する画像符号化信号２００の画像表示と同様に行われる。

次に作用効果について説明する。

本発明の実施の形態１では、フレーム表示周期が固定である画像符号化信号１００ａは、図１(a) に示すように、その画像データ全体のヘッダ部分に、フレーム表示周期が固定であることを示す表示周期固定識別子Ｄｆと、フレーム表示周期を示す表示周期データＤｐを挿入するとともに、フレーム毎に、各フレーム番号Ｂ（０），Ｂ（１），Ｂ（２），・・・，Ｂ（ｎ）を示すフレーム番号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎを挿入したデータ構造となっている。

このようなデータ構造の画像符号化信号１００ａでは、上記表示周期データＤｐからフレーム表示周期Ｔが分かり、フレーム番号データＢｎから、１つの画像における各フレームが表示順に数えて何番目のフレームに相当するかが分かるので、これらのデータＤｐ及びＢｎにより各フレームＦ（ｎ）の表示時刻ｈ(n)を一意に定めることができる。

一方、フレーム表示周期が可変である画像符号化信号１００ｂは、図１(b) に示すように、その画像データ全体のヘッダ部分に、表示間隔が可変であることを示す表示周期可変識別子Ｄｆを挿入し、さらに従来の画像符号化信号２００のデータ構造と同様に、フレーム毎に各フレームの表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n)を示す表示時刻データＤｔ０，Ｄｔ１，Ｄｔ２ ，・・・，Ｄｔｎを挿入したデータ構造となっている。

このため、上記画像符号化信号１００ｂを再生する際には、各フレームＦ（０）〜Ｆ（ｎ）に対応する画像表示を、該表示時刻データＤｔ０〜Ｄｔｎの示す表示時刻ｈ(0)〜ｈ(n)に行うことができる。

以上のように、画像符号化信号のヘッダ部分にフレーム表示周期が固定であるか可変であるかを示す表示周期識別子Ｄｆを挿入することにより、フレーム表示周期が可変である画像にも対応できる。さらに、フレーム表示周期が固定である画像に対しては、情報量の多い各フレームの表示時刻データＤｔ０〜Ｄｔｎを参照せずに、表示周期データＤｐと情報量の少ないフレーム番号データＢｎに基づいて各フレームの画像表示を行うことがき、復号化側における画像処理回路を簡単な回路構成とすることができる。

以下、上記のような画像符号化信号１００ａ，１００ｂを生成する画像信号の符号化処理、及びその復号化処理について説明する。

図３は上記符号化処理のフローを示す図である。

まず、上記符号化処理では、入力された所定の画像に対応する画像信号のフレーム表示周期が固定であるか否かの判定が行われる（ステップＳ１１）。この判定の結果、フレーム表示周期が固定である場合は、上記フレーム表示周期が固定であることを示す表示周期固定識別子Ｄｆが、上記画像信号に対応するビットストリームのヘッダＨに付加され（ステップＳ１１ａ）、さらに各フレームの伝送順序を示す番号ｎがカウンタ値として用いられ、このカウンタ値ｎがｎ＝０にセットされる（ステップＳ１２ａ）。続いて、上記固定のフレーム表示周期Ｔを示す表示周期データＤｐが、上記画像信号に対応するビットストリームのヘッダＨに付加される（ステップＳ１３ａ）。

次に、上記所定の画像の、伝送順序における最初のフレームＦ（０）に対応する符号列Ｓａ０として、対応するフレーム番号データＢｎ（＝Ｂ０）及び画像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加される（ステップＳ１４ａ，Ｓ１５ａ）。その後、上記画像信号の符号化処理における処理対象フレームが上記所定の画像の、伝送順序における最終のフレームであるか否かの判定が行われ（ステップＳ１６ａ）、該処理対象フレームが最終フレームでなければ、上記カウンタ値ｎが１つインクリメントされて（ステップＳ１７ａ）、続くフレームＦ（１）に対して、上記ステップＳ１４ａ〜Ｓ１７ａにおける処理が行われる。

上記ステップＳ１４ａ〜Ｓ１７ａにおける処理は、ステップＳ１６ａにて処理対象フレームが最終フレームであると判定されるまで繰り返し行われる。

一方、上記ステップＳ１１での判定の結果、フレーム表示周期が可変である場合は、上記フレーム表示周期が可変であることを示す表示周期可変識別子Ｄｆが、上記画像信号に対応するビットストリームのヘッダＨに付加され（ステップＳ１１ｂ）、さらに各フレームの伝送順序を示す番号ｎがカウンタ値ｎとして用いられ、このカウンタ値ｎがｎ＝０にセットされる（ステップＳ１２ｂ）。次に、上記所定の画像の、伝送順序における最初のフレームＦ（０）に対応する符号列として、対応する表示時刻データＤｔｎ（＝Ｄｔ０）及び画像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダに付加される（ステップＳ１３ｂ，Ｓ１４ｂ）。その後、上記画像信号の符号化処理における処理対象フレームが上記所定の画像における、最終のフレームであるか否かの判定が行われ（ステップＳ１５ｂ）、該処理対象フレームが最終フレームでなければ、上記カウンタ値ｎが１つインクリメントされて（ステップＳ１６ｂ）、続くフレームＦ（１）に対して、上記ステップＳ１３ｂ〜Ｓ１６ｂにおける処理が行われる。

上記ステップＳ１３ｂ〜Ｓ１６ｂにおける処理は、ステップＳ１５ｂにて処理対象フレームが最終フレームであると判定されるまで繰り返し行われる。

図４(a)は、上記実施の形態１における符号化処理を行うハードウエアとしての画像符号化装置１０００の構成を示すブロック図である。

この画像符号化装置１０００は、入力される画像信号Ｓｇを符号化して画像符号化データＣｇｎを生成する符号化器１１１０と、上記入力される画像信号Ｓｇに基づいて、フレーム表示周期が一定であるか否か（つまり、表示周期が固定であるか可変であるか）を判定して、表示周期が一定であるか否かを示す表示周期識別子Ｄｆを出力する判定器１１３１と、上記入力された画像信号Ｓｇに基づいて、一定のフレーム表示周期Ｔを示す表示周期データＤｆを生成する表示周期データ生成器（第１のデータ生成器）１１３２とを有している。

また、上記画像符号化装置１０００は、上記入力された画像信号Ｓｇに基づいて、伝送順序における各フレームの順番（フレーム番号Ｂ（ｎ））を示すフレーム番号データＢｎを生成する番号データ生成器（第２のデータ生成器）１１３３と、上記入力された画像信号Ｓｇに基づいて、各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時刻データＤｔｎを生成する表示時刻データ生成器（第３のデータ生成器）１１３４とを有している。

さらに、上記画像符号化装置１０００は、上記判定器１１３１からの表示周期識別子Ｄｆに基づいて、上記データ生成器１１３２からの表示周期データＤｐを導通させる導通状態と該表示周期データＤｐを遮断する遮断状態との間で切り替わる開閉スイッチ１１４１と、上記判定器１１３１からの表示周期識別子Ｄｆに基づいて、上記データ発生器１１３３からのフレーム番号データＢｎと上記データ発生器１１３４からの表示時刻データＤｔｎの一方を選択して出力する選択スイッチ１１４２とを有している。

そして、上記画像符号化装置１０００は、上記判定器１１３１からの表示周期識別子Ｄｆ，上記符号化器１１１０からの符号化データＣｇｎ，上記開閉スイッチ１１４１からの表示周期データＤｐ，及び上記選択スイッチ１１４２の出力を多重化して多重ビットストリームＭ１を生成する多重化器（ＭＵＸ）１１２０を有しており、該多重ビットストリームＭ１を、フレーム表示周期が固定である画像符号化信号１００ａ、あるいはフレーム表示周期が可変である画像符号化信号１００ｂとして出力する構成となっている。

以下簡単に上記画像符号化装置１０００の動作について説明する。

まず、上記画像符号化装置１０００に所定の画像に対応する画像信号Ｓｇが入力されると、上記判定器１１３１では、該画像信号Ｓｇのフレーム表示周期が可変である否かの判定が行われ、判定結果を示す表示周期識別子Ｄｆが出力される。また、このとき、上記画像信号Ｓｇに基づいて、第１〜第３のデータ生成器１１３２〜１１３４では、それぞれ上記表示周期データＤｐ，フレーム番号データＢｎ，及び表示時刻データＤｔｎが生成され、上記符号化器１１１０では、上記画像信号Ｓｇが符号化されて画像符号化データＣｇｎとして出力される。

そして、上記表示周期識別子Ｄｆ及び画像符号化データＣｇｎは多重化器１１２０に出力される。このとき、上記表示周期データＤｐは、表示周期識別子Ｄｆに基づいて開閉されるスイッチ１１４１を介して多重化器１１２０に出力され、フレーム番号データＢｎ及び表示時刻データＤｔｎは、表示周期識別子Ｄｆに基づいてこれらのデータの一方を選択する選択スイッチ１１４２を介して上記多重化器１１２０に出力される。

つまり、画像信号Ｓｇとして、上記各フレームＦ（ｎ）に対応する画像表示の周期が固定である画像信号が入力されたとき、上記表示周期固定識別子Ｄｆとともに、上記各フレームに対応する画像表示の周期を示す表示周期データＤｐと、上記各フレームに対応した、フレームの前後関係を示すフレーム番号データＢｎとが多重化器１１２０に出力される。すると、該多重化器１１２０では、上記画像符号化データＣｇｎ、表示周期固定識別子Ｄｆ、表示周期データＤｐ、及びフレーム番号データＢｎが多重化されて画像符号化信号１００ａとして出力される。

一方、上記画像信号Ｓｇとして、上記各フレームＦ（ｎ）に対応する画像表示の周期が可変である画像信号が入力されたとき、上記表示周期可変識別子Ｄｆとともに、上記各フレームに応じて１つまたは複数の基準時刻の所要のものに対して相対的に設定された、各フレームに対応する画像表示が行われるタイミング（表示時刻）ｈ(n)を示す表示時刻データＤｔｎが上記多重化器１１２０に出力される。すると該多重化器１１２０では、上記画像符号化データＣｇｎ、表示周期可変識別子Ｄｆ、及び表示時刻データＤｔｎが多重化されて、画像符号化信号１００ｂとして出力される。

次に、図５を用いて、本実施の形態のデータ構造を有する画像符号化信号１００ａ，１００ｂを復号化する復号化処理について説明する。

まず、上記復号化処理では、符号化側から送られてくる多重ビットストリームＭ１（画像符号化信号１００ａあるいは１００ｂ）における表示周期識別子Ｄｆを検出することにより、該画像符号化信号の表示周期が固定であるか否かが判定される（ステップＳ２１）。この判定の結果、表示周期が固定であると判定されれば、伝送順における各フレームＦ（ｎ）の順番に相当するカウント値ｎが０にセットされ（ステップＳ２１ａ）、その後、画像符号化信号のヘッダ部分Ｈから表示周期Ｔを示す表示周期データＤｐが読込まれる（ステップＳ２２ａ）。

次に、各フレームのヘッダ部分から、フレーム番号Ｂ（ｎ）を示すフレーム番号データＢｎが読込まれ（ステップＳ２３ａ）、各フレームの表示時刻ｈ（ｎ）が計算式ｈ（ｎ）＝Ｂ（ｎ）×Ｔにより求められる（ステップＳ２４ａ）。

そして、フレームＦ（ｎ）に対応する画像符号化データＣｇｎの復号化処理が行われ、フレームＦ（ｎ）に対応する画像復号化データが、表示時刻ｈ(n)に表示される画像データとされる（ステップＳ２５ａ）。その後、処理対象フレームＦ（ｎ）が上記所定の画像の、伝送順序における最後のフレームであるか否かが判定され（ステップＳ２６ａ）、処理対象フレームが上記所定の画像の、伝送順序における最後のフレームであれば復号化処理が終了し、これが最後のフレームでなければ、上記カウント値ｎが１つインクリメントされ（ステップＳ２７ａ）、その後、上記ステップＳ２３ａ〜２６ａの処理が上記ステップＳ２６ａにて処理対象フレームが最後のフレームであると判定されるまで行われる。

一方、上記ステップＳ２１にて、表示周期が可変であると判定されれば、伝送順における各フレームＦ（ｎ）の順番に相当するカウント値ｎが０にセットされ（ステップＳ２１ｂ）、その後、各フレームのヘッダ部分からフレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時刻データＤｔｎが読込まれ（ステップＳ２２ｂ）、この表示時刻データＤｔｎに基づいてフレームＦ（ｎ）の表示時刻ｈ(n)が決定される（ステップＳ２３ｂ）。続いて、フレームＦ（ｎ）に対応する画像符号化データＣｇｎの復号化処理が行われ、復号化処理が施されたフレームＦ（ｎ）の画像復号化データが、表示時刻ｈ（ｎ）に表示される画像データとされる（ステップＳ２４ｂ）。

その後、処理対象フレームＦ（ｎ）が上記所定の画像の、伝送順序における最後のフレームであるか否かが判断され（ステップＳ２５ｂ）、該処理対象フレームが最後のフレームであれば復号化処理が終了する。一方、上記処理対象フレームが最後のフレームでなければ、上記カウント値ｎが１つインクリメントされ（ステップＳ２６ｂ）、その後、上記ステップＳ２２ｂ〜ステップＳ２６ｂの処理が、ステップＳ２５ｂにて処理対象フレームが最後のフレームであると判定されるまで行われる。

以上説明したように図５に示した処理手順で、図１(a) ，(b) に示すデータ構造を有する画像符号化信号が復号化される。

図６(a)は上記実施の形態１における復号化処理を行うハードウエアとしての画像復号化装置の構成を示すブロック図である。

この画像復号化装置２０００は、上記画像符号化装置１０００から出力された画像符号化信号１００ａあるいは１００ｂとしての多重ビットストリームＭ１に対して、復号化処理及び表示処理を含む再生処理を行う構成となっている。

すなわち、この画像復号化装置２０００は、上記多重ビットストリームＭ１から、画像符号化データＣｇｎ，表示周期識別子Ｄｆ，表示周期データＤｐ，及びフレーム番号データＢｎあるいは表示時刻データＤｔｎを取り出して出力するデータ分離器（ＤＥＭＵＸ）２１１０と、上記画像符号化データＣｇｎを復号化して画像復号化データＲｇを出力する復号化器２１２０とを有している。

また、上記画像復号化装置２０００は、上記表示周期識別子Ｄｆに基づいて、上記表示周期データＤｐを導通させる導通状態と該表示周期データＤｐを遮断する遮断状態との間で切り替わる開閉スイッチ２１４０と、上記表示周期識別子Ｄｆに基づいて、上記フレーム番号データＢｎ及び上記表示時刻データＤｔｎの一方を選択して出力する選択スイッチ２１５０とを有している。

さらに、上記画像復号化装置２０００は、上記画像復号化データＲｇを、表示周期識別子Ｄｆ及び各スイッチ２１４０，２１５０の出力に基づいて所定の表示タイミングで表示する表示装置２１３０を有している。

以下簡単に上記画像復号化装置２０００の動作について説明する。

まず、上記画像復号化装置２０００に、上記画像符号化装置１０００からの多重ビットストリームＭ１が入力されると、データ分離器２１１０にて、上記多重ビットストリームＭ１から表示周期識別子Ｄｆ及び表示周期データＤｐが分離され、さらに各フレーム毎に上記多重ビットストリームＭ１から、画像符号化データＣｇｎ，及びフレーム番号データＢｎあるいは表示時間データＤｔｎが分離される。

そして、各フレームの画像符号化データＣｇｎは復号化器２１２０にて復号化されて画像復号化データＲｇとして表示装置２１３０に出力される。また、上記表示周期データＤｐは、表示周期識別子Ｄｆにより開閉される開閉スイッチ２１４０を介して表示装置２１３０に出力され、各フレームのフレーム番号データＢｎあるいは表示時間データＤｔｎは、表示周期識別子Ｄｆによりこれらの一方のデータを選択する選択スイッチ２１５０を介して上記表示装置２１３０に出力される。

そして表示装置２１３０では、表示周期が固定である画像復号化データＲｇに対応する各フレームの画像は、表示周期データＤｐ及びフレーム番号データＢｎに基づいて所定の表示タイミングで表示され、一方表示周期が可変である画像復号化データＲｇに対応するフレームの画像は、表示時刻データＤｔｎに基づいて所定の表示タイミングで表示される。

このように本実施の形態１の画像信号データ構造では、画像信号を符号化して得られる画像符号化信号を、各フレームに対応する画像表示処理の周期が可変であるか否かを示す表示周期識別子Ｄｆを含む構成としたので、各フレームに対する画像表示の周期が固定である場合に、簡単な回路構成により、つまり各フレーム毎に情報量（ビット数）の多い表示時刻データ（表示タイミングデータ）Ｄｔｎを参照することなく、表示周期データＤｐと情報量（ビット数）の少ないフレーム番号データＢｎに基づいて、画像復号化データＲｇの表示処理を行うことができる。

また、表示周期が固定である画像符号化信号１００ａには、画像表示の周期Ｔを示す表示周期データＤｐと、フレームの前後関係を示すフレーム番号Ｂ（ｎ）を示すデータ（フレーム位置データ）Ｂｎを含むので、各フレームに対応する画像表示のタイミングを、Ｔ×Ｂ（ｎ）という簡単な演算により決定することができる。

また、表示周期が可変である画像符号化信号１００ｂには、各フレームに応じて１つまたは複数の基準時刻の所要のものｈ’(0)（図２参照）に対して相対的に設定された、各フレームに対応する画像表示が行われる表示時刻（表示タイミング）ｈ(n)を示す表示時刻データ（表示タイミングデータ）Ｄｔｎを含むので、各フレームに対応する画像表示の周期が可変である場合には、従来のデータ構造と同様、表示時刻データＤｔｎに基づいて各フレームＦ（ｎ）に対応する画像表示のタイミングｈ(n)を確定することができる。

また、この実施の形態１の画像符号化装置１０００では、入力される画像信号に基づいて、画像の表示周期が可変である否かを示す表示周期識別子Ｄｆを生成する判定器１１３１を備え、表示周期が固定である画像信号が入力されたとき、上記表示周期識別子Ｄｆ、画像表示の周期を示す表示周期データＤｐ、フレームの前後関係を示すフレーム番号データＢｎを画像符号化データＣｇｎと多重化して出力し、画像表示の周期が可変である画像信号が入力されたとき、表示周期識別子Ｄｆ及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時刻データＤｔｎを、画像符号化データＣｇｎと多重化して出力するようにしたので、各フレームに対する画像表示の周期が可変であっても固定であっても、各フレームの表示タイミングを決定するためのデータが画像符号化データＣｇｎとともに出力されることとなる。これによりフレームの表示周期が固定の場合に表示時刻を定めるのに要するビット数を削減することができ、しかも、フレームの表示周期が可変である画像の表示も従来と同様に行うことができる。

さらにこの実施の形態１の画像復号化装置２０００では、上記画像符号化装置１０００から送られてくる多重ビットストリームＭ１に含まれている、表示周期識別子Ｄｆ、画像表示の周期を示す表示周期データＤｐ、フレームの前後関係を示すフレーム番号データＢｎ、各フレームの表示時刻ｈ(n)を示す表示時刻データＤｔｎ及び画像符号化データＣｇｎを分離するデータ分離器２１１０と、上記画像符号化データＣｇｎを復号化して画像復号化データＲｇを出力する復号化器２１２０とを備え、表示周期が固定である画像復号化データＲｇを、表示周期データＤｐ及びフレーム番号データＢｎに基づいて所定の表示タイミングで表示し、表示周期が可変である画像復号化データＲｇを、表示時刻データＤｔｎに基づいて所定の表示タイミングで表示するので、各フレームの画像復号化データＲｇを、そのフレーム表示周期が可変であるか否かに拘わらず正しい表示タイミングでもって表示することができる。

なお、上記実施の形態１で説明した画像信号データ構造においては、画像データ（多重ビットストリーム）の先頭に表示周期識別子Ｄｆを、フレームデータ（各フレームの符号列）の先頭に、フレーム番号データＢｎ，表示時刻データＤｔｎなどを挿入しているが、上記表示周期識別子，フレーム番号データ，表示時刻データ等は、必ずしも対応するヘッダの先頭に挿入される必要はなく、表示周期識別子及び表示周期データは画像データ（画像符号化信号）のヘッダ部分に、フレーム番号データ，表示時刻データ等はフレームに対応するデータ（符号列）のヘッダ部分に挿入されていれば、同期信号などの後に挿入されてもよい。

また、上記実施の形態１では、表示周期データＤｐは表示周期識別子Ｄｆの直後に挿入しているが、表示周期データＤｐは、必ずしも、表示周期識別子と連続するようその直後に挿入する必要はなく、表示周期データは、画像データのヘッダ部分において、表示周期識別子の後に挿入されていればよい。

さらに、上記実施の形態１では、図２における表示の順番を示す番号ｎ′（＝Ｂ（ｎ））として、画像データの表示順序での先頭から通し番号を割り当てているが、必ずしも通し番号を割り当てる必要はなく、予め定めた先頭番号から後尾番号までの複数の番号をフレーム番号として周期的に割り当てるようにしても構わない。

例えば、４ビットでフレーム番号を表す場合は、０から１５の番号を周期的にフレームに割り当てる。この場合、表示時刻については、ｈ’(n’)＝ｈｐ’（１５）＋（ｎ′＋１）×Ｔで表される。ここでｈｐ’（ｎ’）は、直前の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′）に対応する表示時刻を表すものとしており、従って、この場合、ｈ’(n’)は、ｈｐ’(n’)の次の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′） に対応する表示時刻を示すこととなる。なお、ｈｐ’（１５）は直前の周期における最後のフレームに対応する表示時刻を示している。

さらに、上記実施の形態１では、フレームの特定は、フレーム番号データにより行っているが、これに限るものではなく、フレームの前後関係を規定するデータであれば、所定のルールによりフレームの前後関係を示すデータ、所定のテーブルを参照してフレームの前後関係を規定するデータ等でもよい。

また、上記実施の形態１における表示時刻データは、複数の基準時間に対する相対的な時刻を示すものであり、例えば、基準時刻は複数のフレームに対して１つ設定してもよく、また前のフレームの表示時刻を基準時刻としてもよい。さらに、１つまたは複数の基準時刻を予め設定し、あるルールまたは信号に基づいて、いずれの基準時刻を参照してフレームの表示時刻を表すかを決定するようにしてもよい。

さらには、上記実施の形態１では、復号化側での各フレームに対する再生処理のタイミングを決定するための付加データとして、各フレームの表示タイミングを設定するための表示周期識別子，表示周期データ，及びフレーム番号データあるいは表示時刻データを含む画像符号化信号のデータ構造について示したが、画像符号化信号のデータ構造は、上記各フレームの表示タイミングに代えて、各フレームの復号化処理のタイミングを決定する付加データ，つまり復号周期識別子，復号周期データ，及びフレーム番号データあるいは復号時刻データを含むものであってもよく、以下このようなデータ構造を実施の形態１の変形例として説明する。

（実施の形態１の変形例）
この実施の形態１の変形例のデータ構造は、実施の形態１の画像符号化信号１００ａにおける表示周期識別子Ｄｆ及び表示周期データＤｐを、復号周期識別子及び復号周期データに置き換え、実施の形態１の画像符号化信号１００ｂにおける表示時刻データＤｔｎを、復号時刻データに置き換えたものである。

ここで、上記復号周期識別子は、各フレームに対応する、画像符号化信号を復号化する復号化処理の周期が可変であるか否かを示すものであり、復号化処理の周期が固定である画像符号化信号には復号化周期固定識別子として、復号化処理の周期が可変である画像符号化信号には復号化周期可変識別子として挿入される。

また、上記復号周期データは各フレームに対応する復号化処理の周期ＤＴを示すデータであり、上記復号時刻データは、各フレームに応じて１つまたは複数の基準時刻の所要のものに対して相対的に設定された、各フレームに対応する復号化処理が行われるタイミング（復号時刻Ｄｈ（ｎ））を示すデータである。

また、実施の形態１の変形例のデータ構造を有する画像符号化信号を生成する符号化処理は、図３に示すフローにおけるステップＳ１１、Ｓ１１ａ，Ｓ１１ｂ，Ｓ１３ａ，Ｓ１３ｂにおける処理を、以下のように置換することにより実現できる。

つまり、ステップＳ１１における表示周期の判定処理を、復号周期が固定であるか否かを判定する処理に置き換え、ステップＳ１１ａにおける表示周期固定識別子Ｄｆを付加する処理を、上記復号周期固定識別子を付加する処理に、ステップＳ１１ｂにおける表示周期可変識別子Ｄｆを付加する処理を、上記復号周期可変識別子を付加する処理に置き換える。さらに、ステップＳ１３ａにおける表示周期データＤｐを付加する処理を、上記復号周期データを付加する処理に置き換え、ステップＳ１３ｂにおける表示時刻データＤｔｎを付加する処理を、上記復号時刻データを付加する処理に置き換える。

また、図４(b)は、上記実施の形態１の変形例の符号化処理を行うハードウエアとしての画像符号化装置１０００ａの構成を示している。

この画像符号化装置１０００ａは、上記実施の形態１における画像符号化装置１０００の判定器１１３１に代えて、上記入力される画像信号Ｓｇに基づいて、フレームに対応する復号化処理の周期が一定であるか否か（つまり、復号周期が固定であるか可変であるか）を判定して、復号周期ＤＴが一定であるか否かを示す復号周期識別子ＤＥｆを出力する判定器１１３１ａを備えている。

また、上記画像符号化装置１０００ａは、上記実施の形態１の画像符号化装置１０００における表示周期データ発生器１１３２及び表示時刻生成器１１３４に代えて、上記入力された画像信号Ｓｇに基づいて、フレームの復号化処理の周期（固定周期）ＤＴを示す復号周期データＤＥｐを生成する復号周期データ生成器（第１のデータ生成器）１１３２ａと、上記入力された画像信号Ｓｇに基づいて、各フレームの復号時刻を示す復号時刻データＤＥｔｎを生成する復号時刻データ生成器（第３のデータ生成器）１１３４ａとを備えたものである。

その他の構成は上記実施の形態１の画像符号化装置１０００と同様となっている。

このような構成の画像符号化装置１０００ａでは、多重化器（ＭＵＸ）１１２０では、上記判定器１１３１ａからの復号周期識別子ＤＥｆ，上記符号化器１１１０からの画像符号化データＣｇｎ，上記開閉スイッチ１１４１からの復号周期データＤＥｐ，及び上記選択スイッチ１１４２の出力が多重化されて、多重ビットストリームＭ１ａが、復号周期が固定である画像符号化信号、あるいは復号周期が可変である画像符号化信号として出力される

一方、実施の形態１の変形例のデータ構造を有する画像符号化信号を復号化する復号化処理は、図５に示すフローにおけるステップＳ２１，Ｓ２２ａ，Ｓ２２ｂ，Ｓ２３ａ，Ｓ２３ｂ，Ｓ２４ａ，Ｓ２４ｂ，Ｓ２５ａの処理を以下のように置き換えることにより実現できる。

具体的には、ステップＳ２１における表示周期の判定処理を、復号周期が固定であるか否かを判定する処理に置き換え、ステップＳ２２ａにおける表示周期Ｔを示す表示周期データＤｐを読み込む処理を、上記復号周期ＤＴを示す復号周期データＤＥｐを読み込む処理に置き換え、ステップＳ２２ｂにおける表示時刻ｈ（ｎ）を示す表示時刻データＤｔｎを読み込む処理を、上記復号時刻Ｄｈ（ｎ）を示す復号時刻データＤＥｔｎを読み込む処理に置き換える。

また、ステップＳ２３ａ及びＳ２４ａにおける、フレーム番号データＢｎを読み込んで表示時刻ｈ（ｎ）を決定する処理を、復号周期データＤＥｐに基づいて、順次入力される各フレームの画像符号化データに対応する復号時刻Ｄｈ（ｎ）を決定するとともに、上記フレーム番号データＢｎに基づいて各フレームに対する表示時刻ｈ（ｎ）を決定する処理に置き換える。

また、ステップＳ２３ｂにおける、表示時刻データＤｔｎに基づいて表示時刻ｈ（ｎ）を決定する処理を、復号時刻データＤＥｔｎに基づいて復号時刻Ｄｈ（ｎ）を決定するとともに、該データＤＥｔｎに基づいて表示時刻ｈ（ｎ）を決定する処理に置き換える。

さらに、ステップＳ２５ａにおける、フレームＦ（ｎ）の画像符号化データＣｇｎを復号化して表示時刻ｈ（ｎ）に表示する処理を、上記フレームＦ（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き換え、ステップＳ２４ｂにおける、フレームＦ（ｎ）の画像符号化データＣｇｎを復号化して時刻ｈ（ｎ）に表示する処理を、上記フレームＦ（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き換える。

また、図６(b)は、上記実施の形態１の変形例の復号化処理を行うハードウエアとしての画像復号化装置２０００ａの構成を示している。

この画像復号化装置２０００ａは、上記画像符号化装置１０００ａから出力された多重ビットストリームＭ１ａに対して、復号化処理及び表示処理を含む再生処理を行う構成となっている。

すなわち、この画像復号化装置２０００ａは、上記実施の形態１における画像復号化装置２０００のデータ分離器２１１０に代えて、上記多重ビットストリームＭ１ａから、画像符号化データＣｇｎ，復号周期識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番号データＢｎあるいは復号時間データＤＥｔｎを取り出して出力するデータ分離器（ＤＥＭＵＸ）２１１０ａを備えている。

また、上記画像復号化装置２０００ａは、上記復号周期識別子ＤＥｆに基づいて、上記復号周期データＤＥｐを導通させる導通状態と該復号周期データＤＥｐを遮断する遮断状態との間で切り替わる第１の開閉スイッチ２１４０ａと、上記復号周期識別子ＤＥｆに基づいて、上記フレーム番号データＢｎを導通する導通状態と該フレーム番号データＢｎを遮断する遮断状態との間で切り替わる第２の開閉スイッチ２１５０ａと、上記復号周期識別子ＤＥｆに基づいて、上記復号時刻データＤＥｔｎを導通する導通状態と該復号時刻データＤＥｔｎを遮断する遮断状態との間で切り替わる第３の開閉スイッチ２１６０ａとを有ししている。

そしてこの画像復号化装置２０００では、第１の開閉スイッチ２１４０ａの出力である復号周期データＤＥｐ、及び第３の開閉スイッチ２１６０ａの出力である復号時刻データＤＥｔｎが復号化器２１２０ａ及び表示装置２１３０ａに供給され、上記第２の開閉スイッチ２１５０ａの出力であるフレーム番号データＢｎが表示装置２１３０ａにのみ供給されるようになっている。

そして、復号化器２１２０ａでは、復号周期が固定である画像符号化データＣｇｎを、上記復号周期データＤＥｐに基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化し、一方、復号周期が可変である画像符号化データＣｇｎを、上記復号時刻データＤＥｔｎに基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化する構成となっている。

さらに、上記表示装置２１３０ａでは、復号周期が固定である画像復号化データＲｇを、上記復号周期データＤＥｐとフレーム番号データＢｎに基づいて決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示し、一方、復号周期が可変である画像復号化データＲｇを、上記復号時刻データＤＥｔｎに基づいて決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示する構成となっている。

その他の構成は上記実施の形態１の画像復号化装置２０００と同一である。

以下、上記実施の形態１の変形例による画像復号化装置２０００ａの動作について簡単に説明する。

このような構成の画像復号化装置２０００ａでは、上記多重ビットストリームＭ１ａが入力されると、データ分離器２１１０ａにて、画像符号化データＣｇｎ，復号周期識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番号データＢｎあるいは復号時間データＤＥｔｎが分離される。

そして、復号化器２１２０ａでは、入力された画像復号化信号の復号周期が固定であるときは、画像符号化データＣｇｎが、上記復号周期データＤＥｐに基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、該復号化器２１２０ａから出力された画像復号化データＲｇは、上記復号周期データＤＥｐとフレーム番号データＢｎに基づいて決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示される。

一方、入力された画像復号化信号の復号周期が可変であるときは、画像符号化データＣｇｎが、上記復号時刻データＤＥｔｎに基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、該復号化器２１２０ａから出力された画像復号化データＲｇは、上記復号時刻データＤＥｔｎに基づいて決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示される。

このような実施の形態１の変形例では、上記実施の形態１の同様、画像信号を符号化して得られる画像符号化信号を、各フレームに対応する画像復号化処理の周期が可変であるか否かを示す復号周期識別子ＤＥｆを含む構成としたので、各フレームに対する画像復号化処理の周期が固定である場合に、簡単な回路構成により、つまり各フレーム毎に情報量（ビット数）の多い復号時刻データＤＥｔｎを参照することなく、復号周期データＤＥｐにのみ基づいて画像符号化データの復号化処理を行うことができるといった効果がある。

なお、上記実施の形態１の変形例の画像復号化装置では、画像符号化信号に含まれる各フレームに対する復号化処理のタイミングを決定するためのデータに基づいて、各フレームの復号化処理とともに、各フレームの画像表示を行うものを示したが、上記画像復号化装置は、画像符号化信号に含まれる各フレームに対する表示処理のタイミングを決定するためのデータに基づいて、各フレームの表示処理とともに、各フレームの復号化処理を行うものであってもよい。

この場合は、上記各フレームに対応する復号化処理が行われる復号タイミングは、復号化処理の対象となる対象フレームを含む複数のフレームの表示タイミングデータに基づいて設定する。つまり、上記対象フレームの復号タイミングを、該対象フレームの表示タイミングデータ及びその次にデータが伝送されてくる次フレームの表示タイミングデータに基づいて、該両フレームのうちの早い方の表示タイミングより所定のオフセット時間だけ早いタイミングに設定する。

具体的には、復号化処理の対象となる対象フレームの表示タイミングが、この対象フレームの次にデータが伝送されてくる次フレームの表示タイミングより早いときは、上記オフセット時間を対象フレームに対する復号化処理に要する時間以上の大きさに設定する。一方、復号化処理の対象となる対象フレーム（例えばＰ−ＶＯＰ）の表示タイミングより、この対象フレームの次にデータが伝送されてくる次フレーム（例えばＢ−ＶＯＰ）の表示タイミングの方が早いときは、上記オフセット時間を対象フレームに対する復号化処理に要する時間と、次フレームに対する復号化処理に要する時間の合計時間以上の大きさに設定する。

（実施の形態２）
図７(a)は、本発明の実施の形態２による、フレーム表示周期が一定である画像符号化信号１２０ａのデータ構造を示している。

上記画像符号化信号１２０ａは、１つの画像（ＭＰＥＧ４では１つのオブジェクトに対応する画像）に対応する、フレーム表示周期が固定である画像信号を符号化して得られるものであり、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎを伝送順に配列した構造となっている。この画像符号化信号１２０ａでは、ヘッダＨ内に、フレーム表示周期が固定であるか否かを示す表示周期識別子Ｄｆ、フレーム表示周期が微小単位時間（１／Ｎ）のＭ（自然数）倍であることを該乗数Ｍにより示す表示周期乗数データＤｍ、及び上記微小単位時間（１／Ｎ）を求めるための値Ｎ（自然数）を示す微小単位時間データＤｋが挿入され、各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎの先頭に、そのフレームの表示時刻ｙ’０，ｙ’３，ｙ’１，・・・，ｙ’ｎ’（図１７(a)参照）を示す表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎが挿入されている。なお、上記画像符号化信号１２０ａのヘッダＨ内では、微小単位時間データＤｋ，表示周期識別子Ｄｆ，及び表示周期乗数データＤｍがこの順序で伝送されるよう配列されている。

また、各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎには、上記表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎに続いて、画像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが挿入されている。

この画像符号化信号１２０ａでは、基準時刻をｘとすると（図１７(a) 参照）、ＶＯＰ０，ＶＯＰ３，ＶＯＰ１，・・・に対応する各フレームＦ（０），Ｆ（１），Ｆ（２），・・・の表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・は、表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・に基づいて、ｘ＋ｙ／Ｎ（ｙ＝ｙ’０，ｙ’３，ｙ’１，・・・）として求めることができる。

ところが、この画像符号化信号１２０ａには、微小単位時間データＤｋと表示周期乗数データＤｍが含まれているため、上記表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２１，・・・を用いなくても、微小単位時間データＤｋから得られる微小単位時間（１／Ｎ）と表示周期乗数データＤｍから得られるＭ（自然数）の値とから、フレームの表示周期Ｔ（＝Ｍ×１／Ｎ）を求め、基準時刻ｘにより決まる本来の各フレームＦ（ｎ）の表示時刻ｈ（ｎ）（＝ｘ＋ｙ×Ｍ×１／Ｎ）に各フレームの画像を表示することができる。

図７(b)は、本発明の実施の形態２による、フレーム表示周期が可変である画像符号化信号１２０ｂのデータ構造を示している。

この画像符号化信号１２０ｂは、上記画像符号化信号１２０ａにおけるヘッダ部分Ｈの表示周期乗数データＤｍを取り除いたデータ構造となっている。

以下、上記のような画像符号化信号１２０ａあるいは１２０ｂを生成する画像信号の符号化処理、及びその復号化処理について説明する。

図８は上記符号化処理のフローを示す図である。

まず、上記符号化処理では、入力された所定の画像に対応する画像信号に対応するビットストリームのヘッダ部に上記微小単位時間データＤｋが付加され（ステップＳ３０）、さらに、該所定の画像に対応する画像信号の表示周期が固定であるか否かの判定が行われる（ステップＳ３１）。この判定の結果、表示周期が固定である場合は、上記画像信号の表示周期が固定であることを示す表示周期固定識別子Ｄｆが、上記ビットストリームのヘッダに、上記微小単位時間データＤｋに続くよう付加され（ステップＳ３２）、さらに上記表示周期乗数データＤｍが上記ヘッダに上記表示周期固定識別子Ｄｆに続くよう付加される（ステップＳ３３）。

その後、上記所定の画像を構成する各フレームＦ（ｎ）の伝送順序を示す番号ｎに相当するカウンタ値ｎがｎ＝０にセットされる（ステップＳ３５）。

次に、上記伝送順序における最初のフレームＦ（０）に対応する符号列として、対応するフレームの表示時刻データＤｙｎ（＝Ｄｙ０）及び画像符号化データＤｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加される（ステップＳ３６，Ｓ３７）。その後、上記画像信号における処理対象フレームが、上記伝送順序における最終のフレームであるか否かの判定が行われ（ステップＳ３８）、処理対象フレームが最終フレームでなければ、上記伝送順序がｎ番目であるフレームＦ（ｎ）（＝Ｆ（０））に対応するカウンタ値ｎが１つインクリメントされて（ステップＳ３９）、続くフレームＦ（ｎ＋１）（＝Ｆ（１））に対して、上記ステップＳ３６〜Ｓ３９における処理が行われる。

上記ステップＳ３６〜Ｓ３９における処理は、ステップＳ３８にて処理対象フレームが最終フレームであると判定されるまで繰り返し行われる。これにより上記画像符号化信号１２０ａが生成される。

一方、上記ステップＳ３１での判定の結果、表示周期が可変である場合は、上記画像信号の表示周期が可変であることを示す表示周期可変識別子Ｄｆが、上記画像信号に対応するビットストリームのヘッダに、上記微小単位時間データＤｋに続くよう付加される（ステップＳ３４）。その後は、上記ステップＳ３５〜Ｓ３９の処理が行われて、上記画像符号化信号１２０ｂが生成される。

図９(a)は、上記本実施の形態２の符号化処理を行うハードウエアとしての画像符号化装置１２００の構成を示すブロック図である。

上記実施の形態２における画像符号化装置１２００は、上記実施の形態１の画像符号化装置１０００と同様、入力される画像信号Ｓｇを符号化して符号化データＣｇｎを生成する符号化器１１１０と、上記入力される画像信号Ｓｇに基づいて、フレームの表示周期が一定であるか否か（つまり、表示周期が固定であるか可変であるか）を判定して、表示周期が一定であるか否かを示す表示周期識別子Ｄｆを出力する判定器１１３１とを有している。

また上記画像符号化装置１２００は、上記入力された画像信号Ｓｇに基づいて、微小単位時間データＤｋを生成する微小単位時間データ生成器（第１のデータ生成器）１２３２と、上記入力された画像信号Ｓｇに基づいて、フレーム表示周期を微小単位時間を単位として表現するための数値Ｍを示す表示周期乗数データＤｍを生成する表示周期乗数データ生成器（第２のデータ生成器）１２３３と、上記入力された画像信号Ｓｇに基づいて、各フレームの表示時刻ｈ（ｎ）を示す表示時刻データ（表示タイミングデータ）Ｄｙｎを生成する表示時刻データ生成器（第３のデータ生成器）１２３４とを有している。

さらに、上記画像符号化装置１２００は、上記判定器１１３１からの表示周期識別子Ｄｆに基づいて、上記表示周期乗数データＤｍを導通させる導通状態と該表示周期乗数データＤｍを遮断する遮断状態との間で切り替わる開閉スイッチ１２４１を有している。

そして、上記画像符号化装置１２００は、上記第１のデータ生成器１２３２からの微小単位時間データＤｋ，上記判定器１１３１からの表示周期識別子Ｄｆ，上記開閉スイッチ１２４１からの表示周期乗数データＤｍ，第３のデータ生成器１２３４からの表示時刻データＤｙｎ，及び上記符号化器１１１０からの画像符号化データＣｇｎを多重化して多重ビットストリームＭ２を生成する多重化器（ＭＵＸ）１２２０を有しており、該多重ビットストリームＭ２を上記画像符号化信号１２０ａあるいは画像符号化信号１２０ｂとして出力する構成となっている。

以下簡単に上記画像符号化装置１２００の動作について説明する。

まず、上記画像符号化装置１２００に所定の画像に対応する画像信号Ｓｇが入力されると、上記判定器１１３１では、該画像信号Ｓｇの表示周期が可変である否かの判定が行われ、判定結果を示す表示周期識別子Ｄｆが出力される。このとき、上記画像信号Ｓｇに基づいて、第１〜第３のデータ生成器１２３２〜１２３４では、それぞれ上記微小単位時間データＤｋ，表示周期乗数データＤｍ，及び表示時刻データＤｙｎが生成され、上記符号化器１１１０では、上記画像信号Ｓｇが符号化されて画像符号化データＣｇｎとして出力される。

またこのとき、上記微小単位時間データＤｋ，表示周期識別子Ｄｆ，表示時刻データＤｙｎ及び画像符号化データＣｇｎは常に多重化器１２２０に出力され、上記表示周期乗数データＤｍは、表示周期識別子Ｄｆにより導通状態となった開閉スイッチ１２４１を介して多重化器１２２０に出力される。

つまり、画像信号として、上記各フレームに対応する画像表示の周期が固定である画像信号が入力されたとき、上記微小時間データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データＤｍ、並びに、各フレームに対応する表示時刻データＤｔｎ及び画像符号化データＣｇｎが上記多重化器１２２０に出力される。すると、該多重化器１２２０では、上記微小単位時間データＤｋ、表示周期識別子Ｄｆ、表示周期乗数データＤｍ、画像符号化データＣｇｎ、及び表示時刻データＤｙｎが多重化されて、多重ビットストリームＭ２として画像符号化信号１２０ａが出力される。

一方、上記画像信号として、上記各フレームに対応する画像表示の周期が可変である画像信号が入力されたときは、上記開閉スイッチ１２４１は表示周期識別子Ｄｆにより遮断状態となり、上記微小単位時間データＤｆ及び表示周期識別子Ｄｆとともに、上記各フレームの表示時刻データＤｙｎ及び画像符号化データＣｇｎが上記多重化器１２２０に出力される。すると該多重化器１２２０では、上記微小単位時間データＤｆ及表示周期識別子Ｄｆとともに、各フレームの表示時刻データＤｙｎ及び画像符号化データＣｇｎが多重化されて、多重ビットストリームＭ２として画像符号化信号１２０ｂが出力される。

次に、図１０を用いて実施の形態２の画像信号データ構造を有する画像符号化信号を復号化する復号化処理について説明する。

図１０は上記実施の形態２における復号化処理のフローを示す図である。

まず、復号化処理では、符号化側から送られてくる多重ビットストリームＭ２（画像符号化信号１２０ａあるいは１２０ｂ）における微小単位時間データＤｋが読み込まれ（ステップＳ４０）、さらに表示周期識別子Ｄｆの検出により、該画像符号化信号の表示周期が固定であるか否かが判定される（ステップＳ４１）。この判定の結果、表示周期が固定であると判定されれば、画像符号化信号のヘッダ部分Ｈから、表示周期Ｔが微小単位時間（１／Ｎ）のＭ（自然数）倍であることを該乗数Ｍにより示す表示周期乗数データＤｍが読込まれ（ステップＳ４２ａ）、続いて、上記読み込まれた微小単位時間データＤｋ及び表示周期乗数データＤｍに基づいて、フレーム表示周期Ｔが演算Ｔ＝（１／Ｎ）×Ｍにより求められる（ステップＳ４３ａ）。

その後、表示順で示される各フレームＦ’（ｎ’）の、先頭フレームからの順番ｎ′に相当するカウント値ｎ′が０にセットされ（ステップＳ４４ａ）、各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる（ステップＳ４５ａ）。なおこのとき、伝送順に各フレームＦ（ｎ）に対応する画像符号化データＣｇｎの復号化処理が行われ、フレームＦ（ｎ）に対応する画像復号化データＲｇが生成される。

その後、表示順にカウントされる処理対象フレームＦ’（ｎ’）が上記所定の画像における最後のフレームであるか否かが判定され（ステップＳ４６ａ）、処理対象フレームが最後のフレームであれば復号化処理が終了し、最後のフレームでなければ、上記カウンタ値ｎ’が１つインクリメントされ（ステップＳ４７ａ）、上記ステップＳ４５ａ〜４7ａの処理が、上記ステップＳ４６ａにて処理対象フレームが最終フレームであると判定されるまで繰り返し行われる。

なお、上記復号化処理では、上記復号化された各フレームＦ’（ｎ’）に対応する画像復号化データＲｇは、所定の表示順序ｎ’で、対応する表示時刻ｈ’（ｎ’）に表示される。

一方、上記ステップＳ４１にて、表示周期が可変であると判定されれば、伝送順における各フレームＦ（ｎ）の順番ｎに相当するカウント値ｎが０にセットされる（ステップＳ４２ｂ）。続いて、各フレームＦ（ｎ）のヘッダ部分ＨからこのフレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時刻データＤｙｎが読込まれ（ステップＳ４３ｂ）、さらにこの表示時刻データＤｙｎに基づいて各フレームＦ（ｎ）の表示時刻ｈ(n)が求められる（ステップＳ４４ｂ）。なおこのとき、伝送順に各フレームＦ（ｎ）に対応する画像符号化データＣｇｎの復号化処理が行われる。

その後、伝送順にカウントされる処理対象フレームＦ（ｎ）が上記所定の画像における最後のフレームであるか否かが判断され（ステップＳ４４ｂ）、該処理対象フレームが最後のフレームであれば復号化処理が終了する。一方、上記処理対象フレームが最後のフレームでなければ、この復号化処理におけるカウント値ｎが１つインクリメントされ（ステップＳ４６ｂ）、その後、上記ステップＳ４２ｂ〜ステップＳ４６ｂの処理が、ステップＳ４５ｂにて処理対象フレームが最後のフレームであると判定されるまで行われる。

なお、上記復号化処理では、復号化された各フレームＦ（ｎ）に対応する画像復号化データＲｇは、所定の表示順序ｎ’で、該各フレームＦ（ｎ）に対応する表示時刻ｈ（ｎ）に表示される。

図１１(a)は上記実施の形態２の復号化処理を行うハードウエアとしての画像復号化装置の構成を示すブロック図である。

この画像復号化装置２２００は、上記画像符号化装置２０００から出力された画像符号化信号１２０ａあるいは１２０ｂである多重ビットストリームＭ２を復号化して再生する構成となっている。

すなわち、この画像復号化装置２２００は、上記多重ビットストリームＭ２から、微小単位時間データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データＤｍ，表示時刻データＤｙｎ，及び画像符号化データＣｇｎを取り出して出力するデータ分割器（ＤＥＭＵＸ）２２１０と、上記画像符号化データＣｇｎを復号化して画像復号化データＲｇを出力する復号化器２２２０とを有している。

また、上記画像復号化装置２２００は、上記表示周期識別子Ｄｆに基づいて、上記表示周期乗数データＤｍを導通させる導通状態と該データＤｍを遮断する遮断状態との間で切り替わる第１の開閉スイッチ２２４０と、上記表示周期識別子Ｄｆに基づいて、上記表示時刻データＤｙｎを導通させる導通状態とこのデータＤｙｎを遮断する遮断状態との間で切り替わる第２の開閉スイッチ２２５０とを有している。

さらに、上記画像復号化装置２２００は、上記微小単位時間データＤｋ及び画像復号化データＲｇとともに各スイッチ２２４０及び２２５０を介して表示周期乗数データＤｍ及び表示時刻データＤｔｙを受け、これらのデータ基づいて所定の表示タイミングで画像表示する表示装置２２３０を有している。

以下簡単に上記画像復号化装置２２００の動作について説明する。

まず、上記画像復号化装置２２００に、上記画像符号化装置１２００からの多重ビットストリームＭ２が入力されると、データ分離器２２１０にて、上記多重ビットストリームＭ２から微小単位時間データＤｋ，表示周期識別子Ｄｆ及び表示周期乗数データＤｍが分離され、さらに各フレーム毎に上記多重ビットストリームＭ２から表示時刻データＤｙｎ及び画像符号化データＣｇｎが分離される。

そして、各フレームの画像符号化データＣｇｎは復号化器２２２０にて復号化されて画像復号化データＲｇとして表示装置２２３０に出力される。このとき、上記微小単位時間データＤｋは直接上記表示装置２２３０に出力され、上記表示周期乗数データＤｍは、表示周期識別子Ｄｆにより開閉される第１の開閉スイッチ２２４０を介して表示装置２２３０に出力され、各フレームの表示時刻データＤｙｎは、表示周期識別子Ｄｆにより開閉される第２の開閉スイッチ２２５０を介して上記表示装置２２３０に出力される。ここでは、上記多重ビットストリームＭ２が表示周期が固定である画像符号化信号１２０ａであるときは、上記第１，第２の開閉スイッチ２２４０，２２５０は導通状態となり、上記多重ビットストリームＭ２が表示周期が可変である画像符号化信号１２０ｂであるときは、上記第１，第２の開閉スイッチ２２４０，２２５０は遮断状態となる。

これにより、上記表示装置２２３０では、表示周期が固定である画像復号化データＲｇに対応する各フレームの画像は、微小単位時間データＤｋ及び表示周期乗数データＤｍに基づいて所定の表示タイミングで表示される。この場合は、各フレームの表示タイミングは、演算式Ｔ×ｎ’（Ｔ＝（１／Ｎ）×Ｍ）により決定される表示時刻ｈ’(n)’＝となる。一方、表示周期が可変である画像復号化データＲｇに対応するフレームの画像は、表示時刻データＤｔｙに基づいて所定の表示タイミングで表示される。この場合は、所定の表示タイミングは、表示時刻データＤｔｙにより決定される表示時刻ｈ(n)となる。

このように本実施の形態２では、画像符号化信号を、各フレームに対応する表示周期が可変であるか否かを示す表示周期識別子Ｄｆに加えて、所定の時間間隔をＮ（自然数）等分して得られる微小単位時間（１／Ｎ）の大きさを、該自然数Ｎにより示す微小単位時間データＤｋと、上記固定のフレーム表示周期Ｔを、これが微小単位時間（１／Ｎ）の何倍（Ｍ）に相当するかにより示す表示周期乗数データＤｍとを含むデータ構造としたので、フレームレートが固定である画像符号化信号のフレームレートの値（大きさ）を、各フレームのデコード処理を行う前に予め検出することができ、表示処理を実現するための種々のハードウエア構成を簡単なものとすることができるといった効果がある。

なお、上記実施の形態２では、復号化側での各フレームに対する再生処理のタイミングを決定するための付加データとして、各フレームの表示タイミングを設定するための微小単位時間データＤｎ，表示周期識別子Ｄｆ，表示周期乗数データＤｍ，及び表示時刻データＤｙｎを含む画像符号化信号のデータ構造について示したが、画像符号化信号のデータ構造は、上記各フレームの表示タイミングに代えて、各フレームの復号化処理のタイミングを決定する付加データ，つまり微小単位時間データ，復号周期識別子，復号周期乗数データ，及び復号時刻データを含むものであってもよく、以下このようなデータ構造を実施の形態２の変形例として説明する。

（実施の形態２の変形例）
この実施の形態２の変形例のデータ構造は、実施の形態２の画像符号化信号１２０ａにおける表示周期識別子Ｄｆ及び表示周期乗数データＤｐを、復号周期識別子ＤＥｆ及び復号周期乗数データＤＥｐに置き換え、実施の形態２の画像符号化信号１２０ｂにおける表示時刻データＤｙｎを、復号時刻データＤＥｙｎに置き換えたものである。

ここで、上記復号周期識別子ＤＥｆは、各フレームに対応する、画像符号化信号を復号化する復号化処理の周期が可変であるか否かを示すものであり、復号化処理の周期ＤＴが固定である画像符号化信号には復号化周期固定識別子として、復号化処理の周期ＤＴが可変である画像符号化信号には復号化周期可変識別子として挿入される。

また、上記復号周期乗数データＤＥｍは、各フレームに対応する復号化処理の周期ＤＴを上記微小単位時間（１／Ｎ）の乗数値Ｍにより、つまり該周期が微小単位時間の何倍（Ｍ）に相当するかにより示すデータであり、上記復号時刻データＤＥｙｎは、各フレームに対応する復号化処理が行われるタイミングを示すデータである。

また、実施の形態２の変形例のデータ構造を有する画像符号化信号を生成する符号化処理は、図８に示すフローにおけるステップＳ３１，Ｓ３２，Ｓ３３，Ｓ３４，Ｓ３６の処理を以下のように置き換えることにより実現できる。

つまり、ステップＳ３１における表示周期の判定処理を、復号周期が固定であるか否かを判定する処理に置き換え、ステップＳ３２，Ｓ３４における表示周期固定識別子Ｄｆ，表示周期可変識別子Ｄｆを付加する処理を、それぞれ復号周期固定識別子ＤＥｆ，復号周期可変識別子ＤＥｆを付加する処理に置き換える。さらにステップＳ３３における表示周期乗数データＤｍを付加する処理を、上記復号周期乗数データＤＥｍを付加する処理に置き換え、ステップＳ３６における表示時刻データＤｙｎを付加する処理を、上記復号時刻データＤＥｙｎを付加する処理に置き換える。

また、図９(b)は、上記実施の形態２の変形例の符号化処理を行うハードウエアとしての画像符号化装置１２００ａの構成を示している。

この画像符号化装置１２００ａでは、上記実施の形態２における画像符号化装置１２００の判定器１１３１に代えて、上記入力される画像信号Ｓｇに基づいて、フレームに対応する復号化処理の周期が一定であるか否か（つまり、復号周期が固定であるか可変であるか）を判定して、復号周期が一定であるか否かを示す復号周期識別子ＤＥｆを出力する判定器１１３１ａを備えている。

また、上記画像符号化装置１２００ａは、上記実施の形態２の画像符号化装置１２００における表示周期乗数データ生成器１２３３と表示時刻データ生成器１２３４に代えて、それぞれ、上記入力された画像信号Ｓｇに基づいて、フレームの復号化処理の周期をこれが上記微小単位時間（１／Ｎ）の何倍に相当するかを示す乗数値Ｍとしての復号周期乗数データＤＥｍを生成する復号周期乗数データ生成器（第２のデータ生成器）１２３３ａと、上記入力された画像信号Ｓｇに基づいて、各フレームＦ（ｎ）の復号時刻Ｄｈ(n)を示す復号時刻データＤＥｙｎを生成する復号時刻データ生成器（第３のデータ生成器）１２３４ａとを備えたものである。

また、この画像符号化装置１２００ａでは、その多重化器１２２０ａは、上記微小単位時間データＤｋ，復号周期乗数データＤＥｍ，及び復号時刻データＤＥｔｙを各フレームＦ（ｎ）の画像符号化データＣｇｎと多重化し、復号処理の周期が固定である画像符号化信号，あるいは復号周期が可変である画像符号化信号を、多重ビットストリームＭ２ａとして出力する構成となっている。

その他の構成は上記実施の形態２の画像符号化装置１２００と同様である。

以下、簡単にこの実施の形態２の変形例による画像符号化装置１２００ａの動作を説明する。

このような構成の画像符号化装置１２００ａでは、画像信号Ｓｇが入力されると、上記判定器１１３１ａでは、該画像信号Ｓｇの復号周期が可変である否かの判定が行われて、判定結果を示す復号周期識別子ＤＥｆが出力され、また、第１のデータ生成器１２３２ａでは上記微小単位時間データＤｋが、第２，第３のデータ生成器１２３３ａ，１２３４ａでは、復号周期乗数データＤＥｍ，復号時刻データＤＥｙｎがそれぞれ生成され、上記符号化器１１１０では、上記画像信号Ｓｇが符号化されて画像符号化データＣｇｎとして出力される。

そして、多重化器（ＭＵＸ）１２２０ａには、上記判定器１２３１ａからの復号周期識別子ＤＥｆ，上記符号化器１１１０からの符号化データＣｇｎ，及第１，第３のデータ生成器１２３２，１２３４ａからのデータＤｋ，ＤＥｙｎが入力されるとともに、第２のデータ生成器１２３３ａからの復号周期乗数データＤＥｍが開閉スイッチ１２４１ａを介して入力される。すると、該多重化器１２２０ａからは、これらのデータが多重化され、復号周期が固定である画像符号化信号、あるいは復号周期が可変である画像符号化信号が、上記多重ビットストリームＭ２ａとして出力される

一方、実施の形態２の変形例のデータ構造を有する画像符号化信号を復号化する復号化処理は、図１０に示すフローにおける所定ステップＳ４１，Ｓ４２ａ，Ｓ４３ｂ，Ｓ４４ａ，Ｓ４４ｂ，Ｓ４５ａ，Ｓ４７ａの処理を以下のように置き換えることにより実現できる。

具体的には、ステップＳ４１における表示周期の判定処理を、復号周期が固定であるか否かを判定する処理に置き換え、ステップＳ４２ａにおける表示周期乗数データＤｍを読み込む処理を、上記復号周期乗数データＤＥｍを読み込む処理に置き換え、ステップ４３ｂにおける表示時刻ｈ(n)を示すデータＤｙｎを読み込む処理を、上記復号時刻Ｄｈ(n)を示すデータＤＥｙｎを読み込む処理に置き換える。

また、上記ステップＳ４４ｂにおけるデータＤｙｎに基づいて表示時刻ｈ(n)を求める処理を、データＤＥｙｎに基づいて復号時刻Ｄｈ(n)を求める処理に置き換え、ステップＳ４４ａにおける、表示順にカウントされる各フレームＦ’（ｎ’）の、先頭フレームからの順番ｎ′に相当するカウント値ｎ′が０にセットされる処理を、伝送順にカウントされる各フレームＦ（ｎ）の、先頭フレームからの順番ｎに相当するカウント値ｎが０にセットされる処理に置き換える。

さらに、ステップＳ４５ａにおける、各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる処理を、各フレームＦ（ｎ）の復号時刻Ｄｈ（ｎ）が復号周期ＤＴとそのフレームの伝送順位を示す番号ｎとによりＤｈ（ｎ）＝ｎ×ＤＴにより求められる処理に置き換え、ステップＳ４７ａにおけるカウント値ｎ′がインクリメントされる処理を、カウント値ｎがインクリメントされる処理に置き換える。

また、図１１(b)は、上記実施の形態２の変形例の復号化処理を行うハードウエアとしての画像復号化装置２２００ａの構成を示している。

この画像復号化装置２２００ａは、上記画像符号化装置１２００ａから出力された多重ビットストリームＭ２ａに対して、復号化処理及び表示処理を含む再生処理を行う構成となっている。

すなわち、この画像復号化装置２２００ａは、上記実施の形態２における画像復号化装置２２００のデータ分離器２２１０に代えて、上記多重ビットストリームＭ２ａから、微小単位時間データＤｋ，復号周期識別子ＤＥｆ，復号周期乗数データＤＥｍ，復号時刻データＤＥｙｎ，及び画像符号化データＣｇｎを取り出して出力するデータ分離器（ＤＥＭＵＸ）２２１０ａを備えている。

また、この画像復号化装置２２００ａは、上記実施の形態２の画像復号化装置２２００における第１，第２の開閉スイッチ２２４０，２２５０に代えて、復号周期乗数データＤＥｍの導通，非導通を復号周期識別子ＤＥｇに基づいて制御する第１の開閉スイッチ２２４０ａと、復号時刻データＤＥｙｎの導通，非導通を復号周期識別子ＤＥｇに基づいて制御する第２の開閉スイッチ２２５０ａとを備えている。

そして、この画像復号化装置２２００ａでは、データ分離器２２１０ａからの微小単位時間データＤｆ、第１，第２のスイッチ２２４０ａ，２２５０ａの出力である復号周期乗数データＤＥｍ，復号時刻データＤＥｙｎが、復号化器２２２０ａ及び表示装置２２３０ａに供給されるようになっている。

この復号化器２２２０ａは、復号周期が固定である各フレームＦ（ｎ）の画像符号化データＣｇｎを、上記微小単位時間データＤｋ及び復号周期乗数データＤＥｍに基づいて決まるタイミング（復号時刻Ｄｈ(n)＝ＤＴ×ｎ）で各フレーム毎に復号化し、復号周期が可変である各フレームＦ（ｎ）の画像符号化データＣｇｎを、上記復号時刻データＤＥｙｎに基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号化する構成となっている。

また、上記表示装置２２３０ａは、復号周期が固定である各フレームＦ（ｎ）の画像復号化データＲｇを、上記微小単位時間データＤｋ及び復号周期乗数データＤＥｍに基づいて決まるタイミング（表示時刻ｈ(n)）で表示し、復号周期が可変である各フレームＦ（ｎ）の画像復号化データＲｇを、上記復号時刻データＤＥｙｎに基づいて決まるタイミング（表示時刻ｈ(n)）で表示する構成となっている。

その他の構成は上記実施の形態２の画像復号化装置２２００と同一である。

以下、簡単に上記実施の形態２の変形例による画像復号化装置２２００ａの動作について説明する。

このような構成の画像復号化装置２２００ａでは、上記多重ビットストリームＭ２ａが入力されると、データ分離器２２１０ａにて、微小単位時間データＤｋ，復号周期乗数データＤＥｍ，復号周期識別子ＤＥｆ，復号時刻データＤＥｙｎ，及び画像符号化データＣｇｎが分離される。

そして、上記復号化器２２２０ａでは、入力された画像符号化信号の復号周期が固定であるときは、画像符号化データＣｇｎが、上記微小単位時間データＤｋ及び復号周期乗数データＤＥｍ及びに基づいて決まるタイミングで各フレーム毎に復号化され、入力された画像復号化信号の復号周期が可変であるときは、画像符号化データＣｇｎが、上記復号時刻データＤＥｙｎに基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号化される。ここで復号周期が固定である画像符号化信号の復号時刻は、伝送順序を示す番号ｎと復号周期ＤＴ＝（１／Ｎ）×Ｍ）との積により決まり、復号周期が可変である画像符号化信号の復号時刻は、復号周期データＤＥｙｎにより決まる。

さらに、上記表示装置２２３０ａでは、復号周期が固定である画像復号化データＲｇに対応する各フレームＦ（ｎ）の画像は、微小単位時間データＤｋ及び復号周期乗数データＤＥｍに基づいて所定の表示タイミングで表示され、一方、復号周期が可変である画像復号化データＲｇに対応するフレームＦ（ｎ）の画像は、復号時刻データＤＥｔｙに基づいて所定の表示タイミングで表示される。

このような実施の形態２の変形例では、上記実施の形態２の同様、画像信号を符号化して得られる画像符号化データＣｇｎを、各フレームに対応する画像復号化処理の周期が可変であるか否かを示す復号周期識別子ＤＥｆ，固定の復号周期を表す微小単位時間データＤｋ及び復号周期乗数データＤＥｍ，並びに復号時刻を示す復号時刻データＤＥｙｎを含む構成としたので、各フレームに対する画像復号化処理の周期が固定である場合には、簡単な回路構成により、つまり各フレーム毎に情報量（ビット数）の多い復号時刻データＤＥｙｎを参照することなく、１つの画像に対応する微小単位時間データＤｋ及び情報量（ビット数）の少ない復号周期乗数データＤＥｍのみに基づいて画像符号化信号の復号化処理を簡単に行うことができる。

また、各フレームに対する画像復号化処理の周期が可変である場合には、従来と同様に、各フレーム毎に復号時刻データＤＥｙｎを参照して画像符号化信号の復号化処理を行うことができるといった効果がある。

なお、上記実施の形態２の変形例の画像復号化装置２２００ａでは、画像符号化信号に含まれる各フレームに対する復号化処理のタイミングを決定するためのデータに基づいて、各フレームの復号化処理とともに、各フレームの画像表示を行うものを示したが、この画像復号化装置は、画像符号化信号に含まれる各フレームに対する表示処理のタイミングを決定するためのデータに基づいて、各フレームの表示処理とともに、各フレームの復号化処理を行うものであってもよい。

この場合は、上記各フレームに対応する復号化処理が行われる復号タイミングは、復号化処理の対象となる対象フレームを含む複数のフレームの表示タイミングデータに基づいて設定する。つまり、上記対象フレームの復号タイミングを、該対象フレームの表示タイミングデータ及びその次にデータが伝送されてくる次フレームの表示タイミングデータに基づいて、該両フレームのうちの早い方の表示タイミングより所定のオフセット時間だけ早いタイミングに設定する。

具体的には、復号化処理の対象となる対象フレームの表示タイミングが、この対象フレームの次にデータが伝送されてくる次フレームの表示タイミングより早いときは、上記オフセット時間を対象フレームに対する復号化処理に要する時間以上の大きさに設定する。一方、復号化処理の対象となる対象フレーム（例えばＰ−ＶＯＰ）の表示タイミングより、この対象フレームの次にデータが伝送されてくる次フレーム（例えばＢ−ＶＯＰ）の表示タイミングの方が早いときは、上記オフセット時間を対象フレームに対する復号化処理に要する時間と、次フレームに対する復号化処理に要する時間の合計時間以上の大きさに設定する。

さらに、上記各実施の形態及びその変形例で示した画像符号化装置あるいは画像復号化装置による画像処理をソフトウエアにより行うための符号化処理プログラムあるいは復号化処理プログラムを、フロッピー（登録商標）ディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実現することが可能となる。

図１２は、上記各実施の形態及びその変形例の符号化処理あるいは復号化処理を、上記符号化処理プログラムあるいは復号化処理プログラムを格納したフロッピー（登録商標）ディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。

図１２(a)は、フロッピー（登録商標）ディスクの正面からみた外観、断面構造、及びフロッピー（登録商標）ディスク本体を示し、図１２(b)は、該フロッピー（登録商標）ディスク本体の物理フォーマットの例を示している。

上記フロッピー（登録商標）ディスクＦＤは、上記フロッピー（登録商標）ディスク本体Ｄをフロッピー（登録商標）ディスクケースＦＣ内に収容した構造となっており、該フロッピー（登録商標）ディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピー（登録商標）ディスクＦＤでは、上記フロッピー（登録商標）ディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。

また、図１２(c)は、フロッピー（登録商標）ディスクＦＤに対する上記プログラムの記録、及びフロッピー（登録商標）ディスクＦＤに格納したプログラムを用いたソフトウエアによる画像処理を行うための構成を示している。

上記プログラムをフロッピー（登録商標）ディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フロッピー（登録商標）ディスクドライブＦＤＤを介してフロッピー（登録商標）ディスクＦＤに書き込む。また、フロッピー（登録商標）ディスクＦＤに記録されたプログラムにより、上記画像符号化装置あるいは画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピー（登録商標）ディスクドライブＦＤＤによりプログラムをフロッピー（登録商標）ディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。

なお、上記説明では、データ記憶媒体としてフロッピー（登録商標）ディスクを用いて説明を行ったが、光ディスクを用いても上記フロッピー（登録商標）ディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、データ記憶媒体は上記光ディスクやフロッピー（登録商標）ディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フロッピー（登録商標）ディスク等を用いる場合と同様にソフトウェアによる符号化処理あるいは復号化処理を実施することができる。

さらに、フロッピー（登録商標）ディスク等のデータ記憶媒体に格納された画像符号化信号を、本実施の形態１，２あるいはこれらの変形例の画像信号データ構造とすることにより、上記フロッピー（登録商標）ディスクからの画像符号化信号を復号化して画像表示する際には、フレーム表示周期あるいは復号化処理の周期が固定の場合に簡単な回路構成により、画像符号化信号の復号化処理及び表示処理を含む再生処理を行うことができる。

本発明にかかる画像符号化方法，画像符号化装置，及び記憶媒体は、フレームレート（各フレームに対する画像表示の周期）等の復号化側での各フレームに対する再生処理の周期が固定である画像符号化信号に対して、簡単なハードウエア構成により復号化処理や表示処理を含む再生処理を施すことができ、しかも上記フレームレート等が可変である画像符号化信号に対する再生処理も行うことができ、画像の各フレームに対応する復号化処理及び画像表示処理を含む再生処理のタイミングに関する再生タイミングデータを含む画像符号化信号を生成する符号化処理、並びに上記符号化処理を行う装置をコンピュータにより実現するための画像処理プログラムを格納したデータ記憶媒体等として有用である。

本発明の実施の形態１による画像符号化信号のデータ構造を、フレーム表示周期が固定である場合（図(a)）とフレーム表示周期が可変である場合（図(b)）とを対比して示す図である。 上記実施の形態１の、フレーム表示周期が固定である画像符号化信号に基づいた画像表示の様子を示す図である。 上記実施の形態１のデータ構造の画像符号化信号を生成する符号化処理のフローを示す図である。 上記実施の形態１，及びその変形例の符号化処理を行う画像符号化装置の構成（図(a)，図(b)）を示すブロック図である。 上記実施の形態１のデータ構造の画像符号化信号を復号化する復号化処理のフローを示す図である。 上記実施の形態１、及びその変形例の復号化処理を行う画像復号化装置の構成（図(a)，図(b)）を示すブロック図である。 本発明の実施の形態２による、ＭＰＥＧ４に対応した画像符号化信号のデータ構造を、フレーム表示周期が固定である場合（図(a)）とフレーム表示周期が可変である場合（図(b)）とを対比して示す図である。 上記実施の形態２のデータ構造の画像符号化信号を生成する符号化処理のフローを示す図である。 上記実施の形態２、及びその変形例の符号化処理を行う画像符号化装置の構成（図(a)，図(b)）を示すブロック図である。 上記実施の形態２のデータ構造の画像符号化信号を復号化する復号化処理のフローを示す図である。 上記実施の形態２，及びその変形例の復号化処理を行う画像復号化装置の構成（図(a)，図(b)）を示すブロック図である。 上記各実施の形態の符号化及び復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図(a)，(b)）、及び上記コンピュータシステム（図(c)）を説明するための図である。 従来のＭＰＥＧ２における固定フレームレートのテーブルを示す図である。 従来の画像データ構造を有する画像符号化信号を説明するための概念図である。 １つの画像を構成するフレーム系列におけるデータ伝送順序とデータ表示順序を対比させて示す図である。 従来の、フレーム表示周期が可変である画像符号化信号に基づいた画像表示の様子を示す図である。 現在のＭＰＥＧ４に対応した各フレーム（ＶＯＰ）の表示時刻の表現方法（図(a)，(b)）は、及びＭＰＥＧ４に対応した画像符号化信号の現状のデータ構造（図(c)）を説明するための図である。

符号の説明

１００ａ，１００ｂ，１２０ａ，１２０ｂ 画像符号化信号
１０００，１０００ａ，１２００，１２００ａ 画像符号化装置
１１１０ 符号化器
１１２０，１１２０ａ，１２２０，１２２０ａ 多重化器（ＭＵＸ）
１１３１，１１３１ａ 判定器
１１３２ 表示周期データ生成器（第１のデータ生成器）
１１３２ａ 復号周期データ生成器（第１のデータ生成器）
１１３３ 番号データ生成器（第２のデータ生成器）
１１３４ 表示時刻データ生成器（第３のデータ生成器）
１１３４ａ 復号時刻データ生成器（第３のデータ生成器）
１１４１，１２４１，１２４１ａ，２１４０ 開閉スイッチ
１１４２ 選択スイッチ
１２３２ 微小単位時間データ生成器（第１のデータ生成器）
１２３３ 表示周期乗数データ生成器（第２のデータ生成器）
１２３３ａ 復号周期乗数データ生成器（第２のデータ生成器）
１２３４ 表示時刻データ生成器（第３のデータ生成器）
１２３４ａ 復号時刻データ生成器（第３のデータ生成器）
２０００，２０００ａ，２２００，２２００ａ 画像復号化装置
２１１０，２１１０ａ，２２２０，２２２０ａ データ分離器（ＤＥＭＵＸ）
２１２０，２１２０ａ，２２２０，２２２０ａ 復号化器
２１３０，２１３０ａ，２２３０，２２３０ａ 表示装置
２１４０ａ，２２４０，２２４０ａ 第１の開閉スイッチ
２１５０ａ，２２５０，２２５０ａ 第２の開閉スイッチ
２１６０ａ 第３の開閉スイッチ
Ｄｆ 表示周期識別子
ＤＥｆ 復号周期識別子
Ｄｐ 表示周期データ
ＤＥｐ 復号周期データ
Ｄｍ 表示周期乗数データ
ＤＥｍ 復号周期乗数データ
Ｄｎ 微小単位時間データ
Ｄｔｎ 表示時刻データ
ＤＥｔｎ 復号時刻データ
Ｂ０，Ｂ１，Ｂ２，Ｂｎ フレーム番号データ
Ｂ（０）〜Ｂ（１８），Ｂ（ｎ） フレーム番号
Ｃｇ０，Ｃｇ１，Ｃｇ２，Ｃｇｎ 画像符号化データ
Ｄｔ０，Ｄｔ１，Ｄｔ２，Ｄｔｎ 表示時刻データ
Ｄｙ０，Ｄｙ１，Ｄｙ２，Ｄｙｎ 表示時刻データ
ＤＥｔｎ，ＤＥｔｎ′ 復号時刻データ
Ｆ（０）〜Ｆ（１８），Ｆ（ｎ） フレーム
Ｆ’（０）〜Ｆ’（１８），Ｆ’（ｎ’） フレーム
Ｈ ヘッダ
ｈ(0)〜ｈ(4)，ｈ’(0)〜ｈ’(3)，ｈ(n)，ｈ’(n’) 表示時刻
Ｍ１，Ｍ１ａ，Ｍ２，Ｍ２ａ 多重ビットストリーム
Ｒｇ 画像復号化データ
Ｓｇ 画像信号
Ｓａ０，Ｓａ１，Ｓａ２，Ｓａｎ，Ｓｂ０，Ｓｂ１，Ｓｂ２，Ｓｂｎ，Ｓｃ０，Ｓｃ１，Ｓｃ２，Ｓｃｎ 符号列
ｔ’(1)〜ｔ’(4)，ｔ’(n’) 表示間隔

Claims (4)

1. 複数のフレームに対応する画像信号を符号化する画像符号化方法であって、
   前記画像信号を符号化して画像符号化データを生成し、
   前記画像信号に含まれる全てのフレームの画像表示間隔が固定であるか可変であるかを示す表示周期識別子をビットストリームに付加し、
   所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを前記ビットストリームに付加し、
   前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記画像表示間隔が前記微小単位時間のＭ（自然数）倍であることを示す表示周期乗数データを前記ビットストリームに付加し、
   前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記複数のフレームの表示タイミングを示す、前記微小単位時間の大きさを最小単位とする表示タイミングデータを前記ビットストリームに付加し、
   前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記表示周期識別子、前記微小単位時間データおよび前記表示周期乗数データが付加された前記ビットストリームと前記画像符号化データを多重化し、
   前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記表示周期識別子、前記微小単位時間データおよび前記表示タイミングデータが付加された前記ビットストリームと前記画像符号化データを多重化する、
   ことを特徴とする画像符号化方法。
2. 複数のフレームに対応する画像信号を符号化する画像符号化装置であって、
   前記画像信号を符号化して画像符号化データを生成する手段と、
   前記画像信号に含まれる全てのフレームの画像表示間隔が固定であるか可変であるかを示す表示周期識別子を生成する手段と、
   所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを生成する手段と、
   前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記画像表示間隔が前記微小単位時間のＭ（自然数）倍であることを示す表示周期乗数データを生成し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記複数のフレームの表示タイミングを示す、前記微小単位時間の大きさを最小単位とする表示タイミングデータを生成する手段と、
   前記表示周期識別子が前記画像表示間隔が固定であることを示す場合、前記表示周期識別子、生成された前記微小単位時間データ、生成された前記表示周期乗数データおよび前記画像符号化データを多重化し、前記表示周期識別子が前記画像表示間隔が可変であることを示す場合、前記表示周期識別子、生成された前記微小単位時間データ、生成された前記表示タイミングデータおよび前記画像符号化データを多重化する、多重化手段と、を有する、
   ことを特徴とする画像符号化装置。
3. 複数のフレームに対応する画像信号を符号化する画像符号化方法であって、
   前記画像信号を符号化して画像符号化データを生成し、
   前記画像信号に含まれる全てのフレームの画像復号化処理の間隔が固定であるか可変であるかを示す復号周期識別子をビットストリームに付加し、
   所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを前記ビットストリームに付加し、
   前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記画像復号化処理の間隔が前記微小単位時間のＭ（自然数）倍であることを示す復号周期乗数データを前記ビットストリームに付加し、
   前記復号周期識別子が前記復号化処理の間隔が可変であることを示す場合、前記複数のフレームの復号化処理が行われるタイミングを示す、前記微小単位時間の大きさを最小単位とする復号タイミングデータを前記ビットストリームに付加し、
   前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記復号周期識別子、前記微小単位時間データおよび前記復号周期乗数データが付加された前記ビットストリームと前記画像符号化データを多重化し、
   前記復号周期識別子が前記画像復号化処理の間隔が可変であることを示す場合、前記復号周期識別子、前記微小単位時間データおよび前記復号タイミングデータが付加された前記ビットストリームと前記画像符号化データを多重化する、
   ことを特徴とする画像符号化方法。
4. 複数のフレームに対応する画像信号を符号化する画像符号化装置であって、
   前記画像信号を符号化して画像符号化データを生成する手段と、
   前記画像信号に含まれる全てのフレームの画像復号化処理の間隔が固定であるか可変であるかを示す復号周期識別子を生成する手段と、
   所定の時間間隔をＮ（自然数）等分して得られる微小単位時間の大きさを表わすために用いる自然数Ｎを示す微小単位時間データを生成する手段と、
   前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記画像復号化処理の間隔が前記微小単位時間のＭ（自然数）倍であることを示す復号周期乗数データを生成し、前記復号周期識別子が前記復号化処理の間隔が可変であることを示す場合、前記複数のフレームの復号化処理が行われるタイミングを示す、前記微小単位時間の大きさを最小単位とする復号タイミングデータを生成する手段と、
   前記復号周期識別子が前記画像復号化処理の間隔が固定であることを示す場合、前記復号周期識別子、生成された前記微小単位時間データ、生成された前記復号周期乗数データおよび前記画像符号化データを多重化し、前記復号周期識別子が前記画像復号化処理の間隔が可変であることを示す場合、前記復号周期識別子、生成された前記微小単位時間データ、生成された前記復号タイミングデータおよび前記画像符号化データを多重化する多重化手段と、を有する、
   ことを特徴とする画像符号化装置。

Images