JP4418090B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4418090B2 JP4418090B2 JP2000211592A JP2000211592A JP4418090B2 JP 4418090 B2 JP4418090 B2 JP 4418090B2 JP 2000211592 A JP2000211592 A JP 2000211592A JP 2000211592 A JP2000211592 A JP 2000211592A JP 4418090 B2 JP4418090 B2 JP 4418090B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- image data
- compressed image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に関し、特に、複数のフレームからなる画像に対応する符号化された画像データに対する符号化処理を行う方法に関するものである。
【０００２】
【従来の技術】
デジタル画像情報，つまりデジタル信号により構成された画像データを効率よく蓄積もしくは伝送するには、デジタル画像情報を圧縮符号化する必要があり、現状では、デジタル画像情報を圧縮符号化するための方法として、ＪＰＥＧ(Joint Photographic Coding Experts Group）やＭＰＥＧ(Moving Picture Experts Group)に準拠した画像処理技術に代表される離散コサイン変換（ＤＣＴ：Discrete Cosine transform ）の他に、サブバンド、ウェーブレット、フラクタル等の波形符号化方法がある。
【０００３】
また、隣接するフレーム等の表示画面間における冗長な画像情報を取り除く方法としては、動き補償を用いた画面間予測を行い、つまり現画面の画素の画素値を、これと前画面の画素の画素値との差分を用いて表し、この差分信号を符号化する方法がある。
【０００４】
以下、従来の画像処理方法として、動き補償を伴うＤＣＴ処理が行われるＭＰＥＧ方式の画像符号化方法及び画像復号化方法について簡単に説明する。
この画像符号化方法では、まず、入力された画像信号を、１画面（１フレーム）を構成する複数のブロック（マクロブロック）の各々に対応するよう複数の画像信号に分割し、各マクロブロックに対応する画像信号の符号化処理を上記マクロブロック毎に行う。ここで一つのマクロブロックは、上記１画面における、１６×１６画素からなる画像表示領域となっている。なお、入力される画像信号が任意のオブジェクト画像に対応するものである場合は、該画像信号を、１フレーム中の該オブジェクト画像に対応した表示領域（オブジェクト領域）を構成する複数のブロック（マクロブロック）の各々に対応するよう分割する。
【０００５】
そして、各マクロブロックに対応する画像信号を、さらに８×８画素からなる画像表示領域に相当するサブブロックに対応させて分割し、該サブブロック毎に対応する画像信号にＤＣＴ処理を施して、各サブブロックに対応するＤＣＴ係数を生成する。その後、各サブブロックに対応するＤＣＴ係数を量子化して各サブブロックに対応する量子化係数を生成する。このようにしてサブブロックに対応する画像信号をＤＣＴ処理及び量子化処理により符号化する方法は、フレーム内符号化方法と呼ばれている。
【０００６】
また受信側では、上記各サブブロックに対応する量子化係数に対して逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する画像信号を再生する。なお、上記フレーム内符号化方法により画像信号の符号化処理が施されたフレーム（いわゆるＩピクチャー）に対応する符号化データは、独立再生可能であり、その復号化処理を、他のフレームに対応する画像データを参照することなく行うことができるものである。
【０００７】
これに対して、フレーム間符号化方法と呼ばれる画像信号の符号化方法がある。この符号化方法では、まず、ブロックマッチングをはじめとする、画面（フレーム）上での画像の動きを検出する手法により、符号化の対象となっている被処理フレームに時間的に隣接する符号化処理済のフレームに対応する画像信号から、符号化の対象となっている対象マクロブロックとの間での画素値の誤差が最も小さい１６×１６画素からなる領域を予測マクロブロックとして検出する。
【０００８】
続いて、対象マクロブロックの画像信号から予測マクロブロックの画像信号を引き算して、上記対象マクロブロックに対応する差分信号を生成し、該差分信号を、上記８×８画素からなるサブブロックに対応するよう分割する。その後、該サブブロック毎に、対応する差分信号にＤＣＴ処理を施してＤＣＴ係数を生成し、さらに該ＤＣＴ係数に量子化処理を施して量子化係数を生成する。
なお、このようなフレーム間符号化方法における処理は、入力される画像信号がオブジェクト画像に対応するものである場合でも、上記と同様に行われる。
【０００９】
また、受信側では、上記各サブブロックの量子化係数（量子化されたＤＣＴ係数）に逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する差分信号を復元し、その後、すでに復号化処理が施された復号化処理済フレームの画像信号から動き補償により、復号化処理の対象となる、被処理フレームにおける対象マクロブロックに対応する画像信号の予測信号を生成し、該予測信号と上記復元された差分信号とを加算して、対象マクロブロックの画像信号を再生する。なお、上記フレーム間符号化方法により画像信号の符号化処理が施されたフレーム（いわゆるＰピクチャやＢピクチャ）の符号化データは、独立して、つまり他のフレームの画像信号を参照することなく再生できるものではない。
【００１０】
次に、複数のフレーム（ピクチャ）から構成される動画像に対応する圧縮画像データ（ビットストリーム）の構造について簡単に説明する。
図１０(a) は１つの動画像に対応する画像データ（動画データ）を模式的に示している。上記１つの動画像は、複数のフレーム（ピクチャ）からなり、上記動画データＤは、上記各フレームに対応するフレームデータＰ(1) 〜Ｐ(n) （ｎは自然数）を含んでいる。
また、図１０(b) は、上記動画データＤを構成する各フレームデータＰ(1) 〜Ｐ(n) に上記フレーム内符号化処理を施して得られる画面内圧縮画像データＤａの構造を示している。
【００１１】
この画面内圧縮画像データＤａは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)と、各フレームに共通するデータからなるヘッダＨａとを含んでいる。ここでは、各フレームは、フレーム内符号化処理が施されたＩピクチャとなっている。なお、ＭＰＥＧ４では、上記ヘッダＨはＶＯＬ（Video Object Layer）と呼ばれている。
【００１２】
また、図１０(c) は、上記動画データＤを構成する各フレームデータＰ(1) 〜Ｐ(n) のうちの所定のものに上記フレーム内符号化処理を、その他のものに対してフレーム間符号化処理を施して得られる画面間圧縮画像データＤｂの構造を示している。
【００１３】
なお、上記フレーム間符号化処理は２種類ある。その１つは、符号化処理の対象となっている被処理フレームの符号化処理を、その前のフレームを参照して行う順方向予測符号化処理である。もう１つは、符号化処理の対象となっている被処理フレームの符号化処理を、その前後のフレームを参照して行う双方向予測符号化処理である。
【００１４】
上記画面間圧縮画像データＤｂは、各フレームに対応するフレーム符号化データＰb(1)〜Ｐb(n)と、各フレームに共通するデータからなるヘッダＨｂとを含んでいる。ここでは、上記動画像の最初のフレームのみフレーム内符号化処理が施されたＩピクチャとなっており、その他のフレームは、上記フレーム間符号化処理として順方向予測符号化処理が施されたＰピクチャあるいは双方向予測符号化処理が施されたＢピクチャとなっている。
【００１５】
ところで、上記画面内圧縮画像データＤａは、動画像を構成する全てのフレームに対して、他のフレームを参照しないフレーム内符号化処理を施して得られたものであるため、符号化効率はあまり高くないが、各フレームに対するランダムな再生（復号化）処理に適したものとなっている。つまり、上記画面内圧縮画像データＤａでは、どの画面（フレーム）からでも直ちに復号化処理を開始して画像再生を行うことができるという長所がある。特に、圧縮画像データの編集性（圧縮画像データを編集する際の処理のしやすさ）は、他のフレームのデータに依存しない符号化処理により得られる画面内圧縮画像データの方が、他のフレームのデータに依存する符号化処理により得られる画面間圧縮画像データに比べて優れている。
【００１６】
一方、上記画面間圧縮画像データＤｂは、動画像を構成するほぼ全てのフレームに対して、他のフレームを参照するフレーム間符号化処理を施して得られたものであるため、符号化効率は高い反面、各フレームに対するランダムな再生（復号化）処理に適していない。つまり、上記画面間圧縮画像データＤｂでは、ＰピクチャあるいはＢピクチャとしてのフレームから復号化処理を開始する場合、復号化処理が開始されるフレーム以前の独立して復号化可能なフレームまで遡って復号化処理を施す必要がある。これは、該復号化処理が開始されるフレームが他のフレームを参照して符号化処理が施されたものであるからである。
【００１７】
例えば、画面内圧縮画像データＤａでは、１時間に相当する動画像の最後方の３０秒間に相当するフレーム符号化データＰａe(1)〜Ｐａe(m)（ｍは自然数）の再生は、その先頭のフレーム符号化データＰａe(1)から直ちに行うことができる（図１０(b) 参照）。
【００１８】
これに対して、上記画面間圧縮画像データＤｂでは、１時間に相当する動画像の最後方の３０秒間に相当するフレーム符号化データＰｂe(1)〜Ｐｂe(m)（ｍは自然数）の再生は、その先頭のフレーム符号化データＰｂe(1)から直ちに行うことができない（図１０(c) 参照）。つまり、このデータＰｂe(1)の再生は、以前の独立して再生可能なデータ（ここでは動画像を構成する最初のフレームに相当するフレーム符号化データＰb(1)）からフレーム符号化データＰｂe(1)の直前のフレーム符号化データまでの復号化処理が完了するまで、行うことができない。
これは、先頭のフレーム符号化データＰｂe(1)が他のフレームを参照して符号化されたものであるからである。
【００１９】
また、上記画面内圧縮画像データＤａに対しては、Ｓ（自然数）個のフレームをスキップする早送再生処理を行うことができる（図１１(a) 参照）。これは、早送再生処理における復号化の対象となるフレーム符号化データＰa(1)，Ｐａs(1)〜Ｐａs(f)（ｆは自然数）は、画面内符号化処理が施されたＩピクチャに対応するものであり、すべて、他のフレームのデータを参照することなく独立して再生できるからである。なお、早送再生処理とは逆の早巻戻し再生処理についても、画面内圧縮画像データＤａに対しては、上記早送再生処理と同様に行うことができる。
【００２０】
一方、上記画面間圧縮画像データＤｂに対しては、Ｓ（自然数）個のフレームをスキップする早送再生処理は実質的には行うことはできない（図１１(b) 参照）。これは、早送再生処理における復号化の対象となるフレーム符号化データＰｂs(1)〜Ｐｂs(f)は、画面間符号化処理が施されたＰピクチャあるいはＢピクチャに対応するものであるためである。つまり、上記フレーム符号化データＰｂs(1)，Ｐｂs(2)，Ｐｂs(3)，・・・，Ｐｂs(f)の復号化処理は、該各データ以前の全てのフレーム符号化データの復号化処理に要する待ち時間ｔb1，ｔb2，ｔb3，・・・，ｔbfが経過した後でなければ行うことができない。言い換えると、早送再生処理における復号化の対象となるフレーム符号化データＰｂs(1)〜Ｐｂs(f)の再生時刻は、通常の再生処理における時刻と同一となる。
【００２１】
この結果、上記画面間圧縮画像データＤｂに対して早送再生処理を行っても、上記動画像に対する早送再生画像は、フレーム符号化データＰｂs(1)〜Ｐｂs(f)に対する再生静止画像が一定時間毎に順次表示されるものとなってしまう。
また、早送再生処理とは逆の早巻戻し再生処理については、画面間圧縮画像データＤｂに対しては行うことができない。これは、画面間圧縮画像データＤｂでは、全てのフレーム符号化データに対する復号化処理が完了した後でなければ、最後のフレームに対するフレーム符号化データを再生することができないためである。
【００２２】
なお、上記圧縮画像データＤａ，ＤｂのヘッダＨａ，Ｈｂには、該圧縮画像データが独立再生に適したものであるか否かを示す識別フラグ（独立再生適性フラグ）を含んでいる。
そこで、圧縮画像データにおける符号化効率と早送再生処理等に対する適性との間でのトレードオフの課題を解決するために、以下のような対応が取られている。
【００２３】
その第１の対応策は、図１２に示すように、画像データの記憶媒体Ｍには、１つの動画像に対応する圧縮画像データとして、早送再生処理に適した画面内圧縮画像データＤａと、符号化効率の高い，つまり高画質の再生画像が得られる画面間圧縮画像データＤｂの両方を格納しておくというものである。なお図１２中、Ｄ１〜Ｄｋは、それぞれヘッダＨ１〜Ｈｋを有する他の動画像に対応する圧縮画像データである。ここでは、上記画面内圧縮画像データＤａのヘッダＨａには、該データＤａが独立再生に対する適性が大きいことを示す独立再生適性フラグが含まれている。また画面間圧縮画像データＤｂのヘッダＨｂには、該データＤｂが独立再生に対する適性が小さいことを示す独立再生適性フラグが含まれている。
【００２４】
この場合、早送再生処理の場合には、上記各圧縮画像データＤａ及びＤｂのヘッダＨａ，Ｈｂにおける独立再生適性フラグに基づいて、上記データ記憶媒体Ｍからは１つの動画像に対応する圧縮画像データとして画面内圧縮符号化データＤａが読み出される。一方、通常再生処理の場合には、上記データ記憶媒体Ｍからは上記画面間圧縮画像データＤｂが読み出される。
【００２５】
また、第２の対応策は、画面間圧縮画像データＤｂ中に、Ｉピクチャに対応するフレーム符号化データを、通常の間隔に比べて短い間隔で複数挿入するというものである。通常は、圧縮画像データでは、０．５秒間に再生されるフレームのうち２枚のフレームがＩピクチャに対応するものとなるよう、Ｉピクチャに対応するフレーム符号化データが挿入されている。この画面間圧縮画像データＤｂには、該データＤｂが独立再生に対する適性が大きいことを示す独立再生適性フラグが含まれている。この場合は、早送再生処理は、フレーム符号化データがＩピクチャに対応するものであること示す、各フレーム毎に付与されているピクチャタイプフラグ（図示せず）に基づいて、Ｉピクチャに対応するフレーム符号化データのみを復号化することにより実現することができる。
【００２６】
さらに、第３の対応策は、Ｐピクチャに対応するフレーム符号化データであっても独立再生可能なものがあるため、このようなフレーム符号化データには、独立再生に適していることを示す独立再生適性フラグを付与するというものである。つまり、画面間圧縮画像データＤｂを構成するＰピクチャに対応するフレーム符号化データには、ピクチャタイプフラグによりＰピクチャに対応するものであることが示されているものであっても、Ｉピクチャに対応するフレーム符号化データと同様、他のフレームの画像データを参照せずに符号化されたものがある。
このような特定のＰピクチャに対応するフレーム符号化データは独立して再生可能である。従って、このような特定のＰピクチャに対応するフレーム符号化データに、独立再生に適していることを示す独立再生適性フラグを付与することにより、早送再生処理は、ピクチャタイプフラグ及び独立再生適性フラグ（図示せず）に基づいて、Ｉピクチャ及び特定のＰピクチャに対応するフレーム符号化データのみを復号化することにより実現することができる。
【００２７】
図１１(c) は、特定のＰピクチャに対応するフレーム符号化データに独立再生適性フラグを付与した構造の画面間圧縮画像データを示している。
この画面間圧縮画像データＤｃは、上記独立再生適性フラグを含むヘッダＨc1，Ｈc2，・・・，Ｈcfを、特定のＰピクチャ（図中Ｐ′で表示）に対応するフレーム符号化データＰｃs(1)〜Ｐｃs(f)の直前に挿入したデータ構造となっている。なお、Ｈｃは上記画面間圧縮画像データＤｃのヘッダ、Ｐc(1)〜Ｐc(n)は各フレームに対応するフレーム符号化データである。
【００２８】
次に、上記各圧縮画像データＤａ，Ｄｂにおけるヘッダの構成について図１３を用いて説明する。なお、図１３では、説明を簡単にするため、圧縮画像データＤを、画面内圧縮符号化データＤａと画面内圧縮符号化データＤｂを区別せずに示している。
上記圧縮符号化データＤでは、上述したように、その先頭部分の、各フレームに共通なデータを含むヘッダＨとこれに続くフレーム符号化データＰとから構成されている。
そして、上記ヘッダＨには、１つの動画像の圧縮画像データに対応する同期信号Ｈｓｄと、各フレームに共通なデータＨｃｄと、上記独立再生適性フラグＨｆｄと、これらのデータを整列するための整列データＨａｄとが含まれている。
【００２９】
このように１つの動画像に対応する圧縮画像データは、該動画像を構成するすべてのフレームに対応するフレーム符号化データが独立再生可能かどうかを示すための情報（独立再生適性フラグ）を有している。例えば、１つの動画像を構成するすべてのフレームに対応するフレーム符号化データが独立再生可能である場合には、上記圧縮画像データに対する独立再生適性フラグは、圧縮画像データについて独立再生の適性が大きいことを示す値となっている。一方、１つの動画像に含まれる独立再生可能であるフレーム符号化データが少ない場合には、上記圧縮画像データに対する独立再生適性フラグは、圧縮画像データについて独立再生の適性が小さいことを示す値となっている。
そしてこの独立再生適性フラグは、圧縮画像データの先頭に位置する共通データを含むヘッダ内に記述されいる。
【００３０】
以下、上記圧縮画像データにおける共通データを含むヘッダ内の具体的なデータ配列を、表１ないし表３を用いて説明する。なお、これらの表１〜表３に記載されているデータは、上記ヘッダ内に伝送順に連続して配列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号９０２が配置されており、この同期信号９０２は一意的な３２ビットの固定長符号により表されている。
またこの同期信号９０２に続いて、各フレームに共通する種々の共通データ９０３〜９１３が配置されている。これらの共通データ９０３〜９１３には、固定長符号により表されるデータ９０３〜９０９及び９１１〜９１３の他に、可変長符号により表されるデータ９１０が含まれている。
【００３１】
さらにこれらの共通データ９０３〜９１３に続いて、独立再生適性フラグ９１４及び整列データ９１５が順次配置されている。
この独立再生適性フラグ９１４は、上述したように、圧縮画像データにおける各フレームに対応するフレーム符号化データがランダムに独立して再生可能であるか否かを示すものである。その値が「１」である独立再生適性フラグは、上記動画像を構成するフレームのフレーム符号化データがすべて独立して再生可能であることを示す。一方その値が「０」である独立再生可能フラグは、上記動画像に対応する圧縮画像データに、独立再生が不可能であるフレーム符号化データが多く含まれていることを示す。また、上記整列データ９１５は、上記同期信号９０２から上記独立再生適性フラグ９１４までのデータを整列するためのものである。
【００３２】
そして、上記整列データ９１５の後には、実際の動画像の各フレームに対応する画像データを符号化して得られるフレーム符号化データに関するデータ９１６及びデータ９１７が配置されている。ただし、これらのデータ９１６及び９１７については、実際にはＭＰＥＧ１，２，４等におけるＤＣＴ係数や量子化ステップ等の具体的データが含まれるが、ここでは、これらの具体的データを示さずに１つのデータグループとして示している。
【００３３】
なお、このような共通データを含むヘッダは、１つの動画像に対応する圧縮画像データの先頭部分に必ず置く必要がある。ただし、独立再生不可能なフレーム符号化データを含む画面間圧縮画像データであっても、独立再生可能なフレーム符号化データ（例えばＩピクチャに対応するフレーム符号化データ）が一定周期で繰り返し配列されているものでは、上記独立再生適性フラグに代えて独立再生可能フラグを含む共通データを周期的に挿入することは有効である。この独立再生可能フラグは、対応するフレーム符号化データが他のフレームのデータを参照せずに独立して再生可能か否かを示すものである。
つまり、このように独立再生可能フラグを含む共通データが周期的に挿入された画面間圧縮画像データに対しては、Ｉピクチャに対応する独立再生可能なフレーム符号化データを選択的に復号化して早送再生処理を行うことができる。
【００３４】
【表１】
【００３５】
【表２】
【００３６】
【表３】
【００３７】
【発明が解決しようとする課題】
ところで、圧縮画像データに対する早送再生処理や早巻戻再生処理の際には、圧縮画像データからフレーム符号化データをランダムに選択して復号化処理を行うため、１つの動画像に対応する圧縮画像データが早送再生処理等に適したものであるか否か（独立再生の適性）、あるいは圧縮画像データにおけるフレーム符号化データが独立して再生可能なものであるか否か（独立再生の可否）を素早く判定する必要がある。
しかしながら、従来の圧縮画像データあるいはフレーム符号化データに付与されるヘッダからは、これらのデータの独立再生の適性や独立再生の可否を素早く検知することができないという問題があった。
【００３８】
すなわち、上記圧縮画像データの独立再生の適性等は、上記共通データを含むヘッダにおける独立再生適性フラグ等（表１〜表３に示すデータ９１４）を抽出して解析すれば判定することができる。
【００３９】
ところが、上述したように、上記ヘッダにおける独立再生適性フラグ９１４の値が「１」かどうかを調べるには、該ヘッダにおけるこのフラグ９１４の前に位置する共通データ９０３〜９１３をすべて抽出し、該共通データを解釈しながらその分析を行わないと、ヘッダに対するデータ解析処理が上記独立再生適性フラグ９１４に対する解析処理には到らない。例えば、共通データ９０３ａの値が「１」であるかどうかを調べてからでないと、共通データ９０３ｂ及び９０３ｃが存在するかどうかがわからない。
【００４０】
このように上述した従来の圧縮画像データに付与されているヘッダでは、該圧縮画像データの独立再生の適性を示す独立再生適性フラグの前に、動画の開始を示す同期信号９０２やフレーム符号化データに対する共通データ９０３〜９１３等の多数のデータが配置されている。また、これらの共通データのうちには、スイッチ的な働きをするデータ，つまりそのデータの値によって後のデータ処理が異なるものとなるようなデータも多くある。
このため、上記ヘッダにおけるデータの解析処理を開始してから、上記独立再生適性フラグの解析処理が行われるまでにかなりの時間を要してしまうという問題があった。
【００４１】
本発明は、上記のような問題点を解決するためになされたもので、１つの動画像に対応する圧縮画像データあるいはフレーム符号化データに付与されるヘッダからは、これらのデータの独立再生の適性や独立再生の可否を素早く検知することができるデータ構造を有する圧縮画像データを復号化する画像処理方法を得ることを目的とする。
【００４２】
【課題を解決するための手段】
この発明に係る画像処理方法は、複数の画面からなる画像に対応する画像データを圧縮符号化して得られた圧縮画像データを復号化する画像処理方法であって、前記圧縮符号化して得られた圧縮画像データを受信する受信ステップと、前記圧縮画像データを構成する前記複数の画面に共通する共通データを含むヘッダを解析する解析ステップと、前記圧縮符号化して得られた圧縮画像データを復号化する復号化ステップとを有し、前記解析ステップでは、前記圧縮符号化された圧縮画像データの先頭を示す同期信号を含み、前記同期信号から、前記圧縮画像データ中のすべての画面が他の画面を参照しない圧縮画像符号化を行った画面であることを示す識別フラグの直前までの間に位置する固定長符号データを解析し、前記解析ステップでは、前記同期信号、前記識別フラグ及び前記共通データをこの順序で解析するものである。
【００６２】
【発明の実態の形態】
以下、本発明の実施の形態について説明する。
（実施の形態１）
本発明の実施の形態１による画像伝送方法は、複数の画面（フレーム）からなる動画像に対応するデジタル画像データ（以下単に動画データともいう。）を圧縮符号化して得られる圧縮画像データを伝送する方法である。
なお、本実施の形態では、上記デジタル画像データは、輝度信号と色差信号を含むデジタル画像信号により表されるデータであるとする。また、このデジタル画像信号は、従来の長方形形状の画像空間（表示画面）における画像に対応する画像信号であっても、上記表示画面における、物体（任意形状の画像）を含むオブジェクト領域（ＶＯＰ：Video Object Plane）に対応する画像信号であってもよい。
【００６３】
図１はこの実施の形態１の画像伝送方法を説明するための図であり、図１(a)は特に圧縮画像データのヘッダ部分のデータ構造を示している。
上記圧縮画像データＤｖは、各フレームに対応するフレーム符号化データＤｐと、該フレーム符号化データＤｐの前に付加された、該データＤｐの属性を示すヘッダＨｖを含んでいる。
【００６４】
ここで、上記フレーム符号化データＤｐは、動画像の各フレームに対応する画像データを圧縮符号化して得られるものである。また上記ヘッダＨｖは、上記圧縮画像データＤｖの開始を示す同期信号Ｈsdと、上記圧縮画像データＤｖがランダム再生処理に適しているか否かを示す識別フラグ（ＲＡフラグ）Ｈfdと、各フレームに共通する共通データＨcdと、上記同期信号Ｈsd，識別フラグＨfd，共通データＨcdを整列するための整列データＨadとを含んでいる。なお、上記ランダム再生処理は、任意のフレームに対応するフレーム符号化データをランダムに選択して再生する処理である。
また、上記デジタル画像データに対応する圧縮符号化処理には、従来技術においても説明したように２種類の処理，つまりフレーム内符号化処理とフレーム間符号化処理がある。
【００６５】
図１(b) に示すように、動画データＤのすべてのフレームに対応するフレームデータＰ(1) 〜Ｐ(n) （図１０(a) 参照）に対してフレーム内符号化処理を施して得られる第１の圧縮画像データＤｖａは、上記ランダム再生処理に適したデータである。従って、この第１の圧縮画像データＤｖａにおけるヘッダＨｖａでは、上記識別フラグＨfdの値は、この圧縮画像データＤｖａがランダム再生処理に適していることを示す値「１」となっている。
【００６６】
また、図１(c) に示すように、例えば、動画データＤの先頭フレームに対応するフレームデータＰ(1) に対してフレーム内符号化処理を施し、それ以降のフレームに対応するフレームデータＰ(2) 〜Ｐ(n) に対してフレーム間符号化処理を施して得られる第２の圧縮画像データＤｖｂは、上記ランダム再生処理に適していないデータである。従って、この第２の圧縮画像データＤｖｂにおけるヘッダＨｖｂでは、上記識別フラグＨfdの値は、この圧縮画像データＤｖｂがランダム再生処理に適していないことを示す値「０」となっている。
【００６７】
そして、この実施の形態１の画像伝送方法では、上記圧縮画像データを構成する、上記各画面に共通な共通データを含むヘッダを伝送し、続いて、上記圧縮画像データを構成する、上記各フレームに対応する圧縮画面データが順次伝送される。上記ヘッダＨｖの伝送処理では、まず、上記圧縮画像データの先頭位置を示す同期信号Ｈsdが伝送され、続いて上記圧縮画像データがランダム再生処理に適したものであるか否かを示す識別フラグＨfdが伝送される。その後、上記共通データＨcdと整列データＨadが順次伝送される。
【００６８】
次に、本発明の実施の形態１による画像処理方法について説明する。
この画像処理方法は、上記デジタル画像データＤ（図１０(a) 参照）に圧縮符号化処理を施して、上記圧縮画像データＤｖとして、第１の圧縮画像データＤｖａ及び第２の圧縮画像データＤｖｂの一方を生成する符号化方法である。
【００６９】
図２はこの実施の形態１による画像処理方法を説明するための図であり、該画像処理方法による符号化処理のフローを示している。
まず、符号化処理が開始されると（ステップ１０１）、複数枚の入力画像（フレーム）からなるデジタル動画に対応する圧縮画像データＤｖの開始を示すシーケンス同期信号Ｈsdが生成される（ステップ１０２）。ここでは、該同期信号Ｈsdには一例として３２ビットの一意的な符号を用いている。
【００７０】
続いて、上記デジタル動画に含まれるすべてのフレームに対し、符号化の対象となる被処理フレーム以外のフレームを参照しないで圧縮符号化すべきかどうかを示す識別フラグＨfdの符号が生成される（ステップ１０３）。このステップ１０３では、デジタル動画におけるすべてのフレームに対して他のフレームを参照しない圧縮符号化処理を施すときは、この識別フラグＨfdの値が「１」とされ、そうでないときは「０」とされる。
その後に、再生側で圧縮画像データＤｖを再生するときに必要となる各フレームに共通する共通データ及び整列データ等の符号が生成される（ステップ１０４）。
【００７１】
そして、上記動画像を構成する各フレームのデータ（フレームデータ）を順次圧縮符号化する処理が行われる。
つまり、第１のフレームに対応するフレームデータＰ(1) が入力されると（ステップ１０５）、上記識別フラグＨfdの値に従って、入力されたフレームデータの圧縮符号化処理が行われて、フレーム符号化データＤｐが生成される（ステップ１０６）。
【００７２】
このステップ１０６における具体的な符号化処理について簡単に説明する。
上記識別フラグＨfdの値が「１」であるときには、動画データＤを構成するすべてのフレームデータＰ(1) 〜Ｐ(n) に対してフレーム内符号化処理が施される。
具体的には本実施の形態では、各フレームの画像データは１画面（１フレーム）を構成する複数のマクロブロック（１６×１６画素からなる画像空間）に対応するよう分割される。さらに、各マクロブロックに対応する画像データは、８×８画素からなる画像空間に相当するサブブロックに対応するよう分割される。そして、該サブブロック毎に対応する画像データはＤＣＴ処理が施されて各サブブロックに対応するＤＣＴ係数に変換される。その後、各サブブロックに対応するＤＣＴ係数が量子化されて各サブブロックに対応する量子化係数が生成される。
最後に、量子化係数が可変長符号に変換される。
【００７３】
このような処理が１つのフレームを構成するすべてのマクロブロックに対して行われてフレーム符号化データが出力される。
一方、識別フラグＨfdが「０」のときには、動画データＤを構成する所定のフレームデータＰ(1) に対してフレーム内符号化処理が施され、所定のフレームデータＰ(1) 以外のフレームデータＰ(2) 〜Ｐ(n) に対しては、フレーム間符号化処理が施される。
【００７４】
以下簡単にフレーム間符号化処理について説明する。
まず、ブロックマッチングをはじめとする、画面（フレーム）上での画像の動きを検出する手法により予測マクロブロックが検出される。つまり、符号化の対象となっている被処理フレームに時間的に隣接する符号化処理済フレームに対応する画像データから、符号化の対象となっている対象マクロブロックとの間での画素値の誤差が最も小さい１６×１６画素からなる領域が上記予測マクロブロックとして検出される。
【００７５】
続いて、対象マクロブロックの画像データから上記予測マクロブロックの画像データが引き算されて、上記対象マクロブロックに対応する差分データが生成される。さらにこの差分データが、上記８×８画素からなるサブブロックに対応するよう分割される。その後、該サブブロック毎に、対応する差分データにＤＣＴ処理が施されてＤＣＴ係数が生成される。さらに該ＤＣＴ係数に量子化処理が施されて量子化係数が生成される。最後に、量子化係数が可変長符号に変換される。
【００７６】
このような処理が１つのフレームを構成するすべてのマクロブロックに対して行われてフレーム符号化データが出力される。
そして、上記ステップ１０６における符号化処理の後、入力されたフレームデータがデジタル動画を構成する最後のフレームに対応するものか否かが判定される（ステップ１０７）。この判定の結果、入力フレームデータが最後のフレームに対応するものでなければ、上記ステップ１０６での符号化処理が再度行われ、入力フレームデータが最後のフレームに対応するものであれば、上記動画データに対する符号化処理が終了する（ステップ１０８）。
【００７７】
以上のような符号化処理により、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａあるいは図１(c) に示すランダム再生処理に適さない圧縮画像データＤｖｂが生成される。
このような圧縮画像データは、通信回線を介して復号化装置側に伝送されたり、記録媒体に保存することにより復号化装置側へ供給したりされる。
【００７８】
このような処理にて得られる圧縮画像データの構造，特にヘッダにおけるデータ配列の一例を（表４）（表５）（表６）に示す。なお、これらの表では、図１(a) に示す圧縮画像データＤｖの構造が示されている。つまりこれらの表では、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａと、図１(c) に示すランダム再生処理に適さない圧縮画像データＤｖｂとを区別していない。
【００７９】
【表４】
【００８０】
【表５】
【００８１】
【表６】
【００８２】
なお、これらの表４〜表６に記載されているデータは、上記ヘッダ内に伝送順に連続して配列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号８０２が配置されており、この同期信号８０２は一意的な３２ビットの固定長符号により表されている。
また、この同期信号８０２に続いて、１ビットの識別フラグＨfdに相当するデータ８１４が配置されている。この識別フラグＨfdに相当するデータ８１４に続いて、各フレームに共通する種々の共通データ８０３〜８１３が配置されている。
これらの共通データ８０３〜８１３には、固定長符号により表されるデータ８０３〜８０９及び８１１〜８１３の他に、可変長符号により表されるデータ８１０が含まれている。また、上記共通データに続く整列データ８１５は、上記同期信号８０２，識別フラグ符号８１４，及び共通データ８０３〜８１３までのデータを整列するためのものである。
【００８３】
そして、上記整列データ８１５の後には、実際の動画像の各フレームに対応する画像データを、上記フレーム内符号化方法あるいはフレーム間符号化方法により符号化して得られるフレーム符号化データに関するデータ８１６及びデータ８１７が配置されている。ただし、これらのデータ８１６及び８１７については、実際にはＭＰＥＧ１，２，４等におけるＤＣＴ係数や量子化ステップ等の具体的データが含まれるが、ここでは、これらの具体的データを示さずに１つのデータグループとして示している。
【００８４】
なお、上記識別フラグＨfdに相当するデータ８１４は、シーケンス同期信号（データ８０２）の直後に置いているが、当該シーケンス同期信号を示すデータより所定のＮビットあと、例えばデータ８０３の後においてもよい。好ましくは、判定条件を伴うデータ（固定長符号データ）や可変長符号データの前に置いたほうがよい。いずれの場合にしても、共通データの先頭に近いところに置くのが効果的である。
【００８５】
次に上記実施の形態１の画像処理方法による圧縮符号化処理を行う画像処理装置（画像符号化装置）について説明する。
図３は、この実施の形態１による画像符号化装置を説明するためのブロック図である。
この画像符号化装置１００ａは、複数のフレームからなる動画像に対応するデジタル画像データ（動画データ）を圧縮符号化して圧縮画像データを生成する装置である。
【００８６】
この画像符号化装置１００ａは、被処理フレームに対応する対象フレームデータに基づいてその予測フレームデータ４２０を生成する予測データ生成器４０６と、上記対象フレームデータ４１６と予測フレームデータ４２０の差分値としての差分フレームデータを出力する加算器４０２とを有している。
【００８７】
また上記画像符号化装置１００ａは、上記加算器の出力データ４２１を圧縮して圧縮データ４２３を生成するデータ圧縮器４０３と、該データ圧縮器からの圧縮データ４２３に対して可変長符号化処理を施す可変長符号化器４１４とを有している。ここで上記データ圧縮器４０３は、上記加算器４０２の出力４２１にＤＣＴ処理を施す離散コサイン変換器（ＤＣＴ器）４０４と、該ＤＣＴ器４０４の出力４２２を量子化して上記圧縮データとして出力する量子化器４０５とから構成されている。
【００８８】
なお、この画像符号化装置１００ａでは、第１の入力端子４０１に入力される動画データ４１６は、第１のスイッチ４３４ａを介して上記予測データ生成器４０６に供給され、上記予測フレームデータ４２０は第２のスイッチ４３４ｂを介して上記加算器４０２に供給されるようになっている。また、上記データ圧縮器４０３から出力される圧縮データ４２３は第３のスイッチ４３４ｃを介して上記予測データ生成器４０６に供給され、上記予測データ生成器４０６で生成された動き情報（動きベクトル）４１８は第４のスイッチ４３４ｄを介して上記可変長符号化器４１４に出力されるようになっている。
【００８９】
さらに、上記画像符号化装置１００ａは、上記デジタル画像データに基づいて、各画面に共通する共通データを含むヘッダ情報４３６を生成して上記可変長符号化器４１４に出力するとともに、外部からの制御信号４３５に基づいて、上記スイッチ４３４ａ〜４３４ｄを制御信号４３７ａ〜４３７ｄにより開閉制御する制御器４３３を有している。ここで、上記外部からの制御信号４３５は、上記圧縮画像データを、任意の画面に対応する圧縮画面データを選択して再生するランダム再生処理に適したものとするか否かを示す識別フラグＨfdを含むものである。
【００９０】
そして、上記可変長符号化器４１４は、上記ヘッダ情報４３６，動き情報４１８，及び圧縮データ４２３に可変長符号化処理を施して、上記動画像に対応する
圧縮画像データＤｖとしてのビットストリーム４３１を出力端子４１５に出力する構成となっている。また、上記可変長符号化器４１４は、上記ヘッダ情報４３６に基づいてヘッダＨｖを出力する際、識別フラグＨfdに対応する符号が、ヘッダの先頭位置から上記識別フラグ符号までの間には固定長符号データの符号のみが介在するよう出力する構成となっている。
【００９１】
以下、上記予測データ生成器４０６の具体的な構成について簡単に説明する。
上記予測データ生成器４０６は、上記データ圧縮器４０３からの圧縮データ４２３を第３のスイッチ４３４ｃを介して受け、該圧縮データ４２３に伸長処理を施して伸長データ４２６を出力するデータ伸長器４０７と、該伸長データ４２６を上記予測フレームデータ４２０と加算して再生データ４２７を出力する第２の加算器４０９とを有している。ここで、上記データ伸長器４０７は、上記圧縮データ４２３を逆量子化する逆量子化器４０７ａと、該逆量子化器４０７ａの出力４２５に対して、周波数領域のデータを空間領域のデータに変換する逆ＤＣＴ処理を施して上記伸長データ４２６を出力するＩＤＣＴ器４０７ｂとから構成されている。
【００９２】
また、上記予測データ生成器４０６は、上記第２の加算器４０９の出力（再生データ）４２７を、次処理フレームに対応する参照画像データとして格納するフレームメモリ４１０を有している。このフレームメモリ４１０は、外部からの読出しアドレス信号４２８に基づいて格納データを出力する構成となっている。
【００９３】
さらに、この予測データ生成器４０６は、入力されるデジタル画像データ４１６に基づいて、現処理フレームの対象ブロックに対応する動きベクトルＭＶを求めて出力する動き検出器４１１と、該動き検出器１１４からの動きベクトルＭＶ４１８に基づいて上記フレームメモリ４１０に対する読出しアドレス信号４２８を発生するアドレス生成器４１２と、上記フレームメモリ４１０における、該読出しアドレス信号４２８により指定された領域のデータを取得して上記予測フレームデータ４２０として出力する予測信号取得器４１３とを有している。
【００９４】
次に動作について説明する。
第１入力端子４０１にはデジタル画像データが入力され、一方第２入力端子４３２には上記識別フラグＨfdの情報（フラグ情報）４３５が入力される。すると、フラグ情報４３５に基づいて制御器４３３では、制御信号４３７a 〜４３７ｄが生成され、上記各スイッチ４３４ａ〜４３４ｄが開閉制御される。ここで上記制御信号４３７ａ〜４３７ｄは、同一の制御信号である。
【００９５】
上記識別フラグＨfdが、圧縮画像データＤｖをランダム再生処理に適したものすることを示している場合（つまり上記識別フラグＨfdの値が「１」の場合）、スイッチ４３４ａ〜４３４ｄは制御器４３３からの制御信号４３７a 〜４３７ｄにより開かれる。これにより入力されるデジタル画像データに対しては、すべてのフレームに対応するフレームデータに対してフレーム内符号化処理が施されることとなる。
【００９６】
つまり、デジタル画像データは、加算器４０２をそのまま通過してデータ圧縮器４０３に入力され、該データ圧縮器４０３にてＭＰＥＧに対応したデータ圧縮処理（ＤＣＴ処理と量子化処理）が施される。該データ圧縮器４０３からの圧縮データ（量子化係数）４２３は可変長符号化器４１４にて可変長符号に変換される。このようにして各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)
が生成される。またこのとき、上記可変長符号化器４１４では、シーケンス同期信号（同期信号Ｈsd）、識別フラグＨfd1 （値＝１）、その他の共通データＨcd及び整列データＨad等が符号に変換されて、ヘッダＨｖａが形成される。このとき該ヘッダＨｖａは、上記同期信号Ｈsd，識別フラグＨfd1 ，共通データＨcd，及び整列データＨadがこの順序で伝送されるよう形成される。
そして、ヘッダＨｖａが付加されたフレーム符号化データＰa(1)〜Ｐa(n)が圧縮画像データＤｖａとして上記可変長符号化器４１４から出力される。
【００９７】
一方、上記識別フラグＨfdが、圧縮画像データＤｖをランダム再生処理に適していないものすることを示している場合（つまり上記識別フラグＨfdの値が「０」の場合）、スイッチ４３４ａ〜４３４ｄは制御器４３３からの制御信号４３７a 〜４３７ｄにより開閉制御される。これにより、例えば、入力されるデジタル画像データに対しては、最初のフレームに対応するフレームデータＰ(1) に対してはフレーム内符号化処理が施され、それ以降のフレームに対応するフレームデータＰ(2) 〜Ｐ(n) に対しては、フレーム間符号化処理が施されることとなる。
なお、フレーム内符号化処理は、上述したものと同一であるので、以下にはフレーム間符号化処理について説明する。
上記スイッチ４３４ａ〜４３４ｄが制御器４３３からの制御信号４３７a 〜４３７ｄにより閉じられると、入力されるデジタル画像データに対しては、フレーム間符号化処理が施されることとなる。
【００９８】
すなわち、予測データ生成器４０６では、すでに符号化処理が施されたフレームのデータに基づいて、被処理フレームに対応する予測データ４２０が生成される。すると、第１の加算器４０２にて被処理フレームに対応するフレームデータ４１６から上記予測フレームデータ４２０が引き算されて差分フレームデータ４２１が生成される。この差分フレームデータ４２１は、上記データ圧縮器４０３にて、ＤＣＴ器４０４により周波数領域のデータ４２２に変換され、さらに量子化器４０５により量子化係数に変換されて、圧縮データ４２３として可変長符号化器４１４に出力される。
可変長符号化器４１４では、この圧縮データ（量子化係数）４２３が可変長符号に変換されてフレーム符号化データＰb(2)〜Ｐb(n)が生成される。
【００９９】
また、上記圧縮データ４２３は、第３のスイッチ４３４ｃを介して予測データ生成器４０６に入力される。するとこの圧縮データ（量子化係数）４２３は、データ伸長器４０７にて、逆量子化器４０７ａにより周波数領域のデータ４２５に逆変換され、さらにこのデータ４２５は逆ＩＤＣＴ器４０７ｂにより空間領域のデータ４２６に変換され、復元データとして出力される。
【０１００】
そして第２の加算器４０９にて、この復元データ４２６は上記予測データ４２０と加算されて再生データ４２７として出力される。この再生データ４２７は、次のフレームのデータを符号化するための参照データとしてフレームメモリ４１０に格納される。
【０１０１】
このとき、上記動き検出器４１１では、入力されるデジタル画像データ４１６に基づいて、ブロックマッチング等の方法によりフレーム間での画像の動き情報が検出され、動きベクトル４１８として上記アドレス生成器４１２に出力される。このアドレス生成器４１２では、上記動きベクトル４１８に基づいてフレームメモリ４１０におけるメモリ領域を指定するアドレス信号４２８が生成される。
すると、予測信号取得器４１３により、このアドレス信号４２８に基づいて指定されたフレームメモリ４１０のメモリ領域のデータが予測データ４２０として取得されて上記各加算器に出力される。
また上記動きベクトル４１８は上記第４のスイッチ４３４ｄを介して上記可変長符号化器４１４に出力され、該可変長符号化器４１４にて可変長符号に変換される。
【０１０２】
このようにして各フレームに対応するフレーム符号化データＰb(1)〜Ｐb(n) が生成される。またこのとき、上記可変長符号化器４１４では、シーケンス同期信号（同期信号Ｈsd）、識別フラグＨfd2 （値＝０）、その他の共通データＨcd及び整列データＨad等が符号に変換されて、ヘッダＨｖｂが形成される。なお該ヘッダＨｖｂは、上記同期信号Ｈsd，識別フラグＨfd2 ，共通データＨcd，及び整列データＨadがこの順序で伝送されるよう形成される。
そして、ヘッダＨｖｂが付加されたフレーム符号化データＰb(1)〜Ｐb(n)が圧縮画像データＤｖｂとして上記可変長符号化器４１４から出力される。
【０１０３】
このように本実施の形態１では、１つの動画像に対応するデジタル画像データに圧縮符号化処理を施して圧縮画像データを生成し、その際、この圧縮画像データが任意の画面に対するランダムな独立再生に適したものであるか否かを示す識別フラグを、ヘッダの先頭に位置する同期信号Ｈsdの次に配置したので、１つの動画像に対応する圧縮画像データに付与されているヘッダの解析処理の際には上記識別フラグの解析を素早く行うことができ、該圧縮画像データに対するランダムな独立再生の適性を短時間で検知することができる。
【０１０４】
なお、上記実施の形態１では、圧縮画像データＤｖにおけるヘッダＨｖのデータ構造として、圧縮画像データに対するランダム再生処理の適性を示す識別フラグを、ヘッダ内の同期信号Ｈsdの次に配置したものを示したが、上記ヘッダのデータ構造はこれに限るものてはない。
例えば、上記ヘッダのデータ構造は、図４に示すヘッダＨvmのように、同期信号Ｈsdの後に固定長符号からなる第１の共通データＨcd1 を配置し、その次に上記識別フラグＨfdを配置し、その後に可変長符号からなる第２の共通データＨcd2 及び整列データＨadを順次配置した構造としてもよい。
【０１０５】
（実施の形態１の変形例）
図５及び図６は、上記実施の形態１の変形例による画像伝送方法及び画像処理方法を説明するための図である。
図５は上記実施の形態１の変形例による画像伝送方法を説明するための図である。
図５(a) は、ランダム再生処理に適した第１の圧縮画像データＤｖｃを示し、図５(b) はランダム再生処理に適していない第２の圧縮画像データＤｖｄを示している。
【０１０６】
上記第１の圧縮画像データＤｖｃは、動画データＤのすべてのフレームに対応するフレームデータＰ(1) 〜Ｐ(n) （図１０(a) 参照）に対してフレーム内符号化処理を施して得られるものである。そしてこの圧縮画像データＤｖｃでは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)の前にフレームヘッダ（ＶＯＬ）Ｈｖc(1)〜Ｈｖc(n)が付与されている。また、各フレームヘッダＨｖc(1)〜Ｈｖc(n)には、対応するフレーム符号化データＰa(1)〜Ｐa(n)がランダム再生処理の可能なものであるか否かを示す独立再生可能フラグＨfd1 が含まれている。
【０１０７】
ここでは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)は、フレーム内符号化処理により得られたものであるため、上記各ヘッダＨｖc(1)〜Ｈｖc(n)の独立再生可能フラグＨfd1 の値は、各フレーム符号化データがランダム再生処理が可能であることを示す値「１」となっている。
【０１０８】
なお、上記各フレームヘッダＨｖc(1)〜Ｈｖc(n)では、同期信号Ｈsd，独立再生可能フラグＨfd1 ，共通データＨcd，及び整列データＨadが、図１に示す実施の形態１の圧縮画像データＤｖにおけるヘッダＨｖと同様、この順に配列されている。またここでは、図示していないが、上記圧縮画像データＤｖｃには、実施の形態１と同様、この圧縮画像データＤｖｃがランダム再生処理に適したものであることを示す識別フラグＨfdを含む、圧縮画像デーダＤｖｃ全体に対応するヘッダが付与されている。
【０１０９】
一方、上記第２の圧縮画像データＤｖｄは、動画データＤの所定のフレームに対応するフレームデータに対してフレーム内符号化処理を施し、その他のフレームに対してフレーム間符号化処理を施して得られるものである。
この圧縮画像データＤｖｄにおいても、上記圧縮画像データＤｖｃと同様、各フレームに対応するフレーム符号化データＰd(1)，…，Ｐd(r)，…，Ｐd(n)の前にフレームヘッダ（ＶＯＬ）Ｈｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)が付与されている。また、各フレームヘッダＨｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)には、対応するフレーム符号化データＰd(1)，…，Ｐd(r)，…，Ｐd(n)がランダム再生処理の可能なものであるか否かを示す独立再生可能フラグＨfd1 あるいはＨfd0が含まれている。
【０１１０】
ここでは、フレーム符号化データＰd(1)，Ｐd(r)は、フレーム内符号化処理により得られたものであるため、上記フレームヘッダＨｖｄ(1) ，Ｈｖd(r)の独立再生可能フラグＨfd1 の値は、該フレーム符号化データＰd(1)，Ｐd(r)がランダム再生処理が可能であることを示す値「１」となっている。一方、上記以外のフレーム符号化データＰd(2)，Ｐd(3) ，Ｐd(4), …，Ｐd(n-1) ，Ｐd(n)は、フレーム間符号化処理により得られたものであるため、上記フレームヘッダＨｖｄ(2) ，Ｈｖd(3)，Ｈｖｄ(4) ，…，Ｈｖｄ(n-1) ，Ｈｖd(n)の独立再生可能フラグＨfd0 の値は、これらのフレーム符号化データＰd(2)，Ｐd(3) ，Ｐd(4), …，Ｐd(n-1) ，Ｐd(n)がランダム再生処理が可能でないことを示す値「０」となっている。
【０１１１】
なお、各フレームに対応するヘッダＨｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)では、同期信号Ｈsd，独立再生可能フラグＨfd1 あるいはＨfd0 ，共通データＨcd，及び整列データＨadが、図１に示す実施の形態１の圧縮画像データＤｖにおけるヘッダＨｖと同様、この順に配列されている。またここでは、図示していないが、上記圧縮画像データＤｖｄには、実施の形態１と同様、この圧縮画像データＤｖｄがランダム再生処理に適したものでないことを示す識別フラグＨfdを含む、圧縮画像デーダＤｖｄ全体に対応するヘッダが付与されている。
【０１１２】
そして、この実施の形態１の変形例の画像伝送方法では、上記圧縮画像データ全体に対応するヘッダを伝送し、続いて、上記圧縮画像データを構成する、上記各フレームに対応する圧縮画面データ（フレーム符号化データ）が、各フレームに対応するフレームヘッダとともに順次伝送される。このとき圧縮画像データ全体に対応するヘッダ、あるいは各フレームヘッダＨｖｃあるいはＨｖｄの伝送処理では、まず、上記圧縮画像データの先頭位置を示す同期信号Ｈsdが伝送され、続いて識別フラグＨfdあるいは独立再生可能フラグＨfd1 ，Ｈfd0 が伝送される。その後、上記共通データＨcdと整列データＨadが順次伝送される。
【０１１３】
次に、本発明の実施の形態１の変形例による画像処理方法について説明する。
図６は、上記実施の形態１の変形例による画像処理方法を説明するための図であり、この画像処理方法は、図２に示す実施の形態１の画像処理方法を拡張したものである。
すなわち、この変形例の画像処理方法は、図２に示す実施の形態１の画像処理方法に含まれるステップ１０５〜ステップ１０７の処理を、図６に示すステップ２０５，ステップ２０９，ステップ２１０，ステップ２０７の処理に変更したものである。従って、この変形例の画像処理方法に含まれる他のステップ２０１〜２０４，２０８の処理は、実施の形態１の画像処理方法に含まれるステップ１０１〜１０４，１０８の処理と全く同一である。
【０１１４】
以下、詳述する。
まず、符号化処理が開始されると（ステップ２０１）、複数枚の入力画像（フレーム）からなるデジタル動画に対応する圧縮画像データＤｖの開始を示すシーケンス同期信号Ｈsdが生成される（ステップ２０２）。ここでは、該同期信号Ｈsdには一例として３２ビットの一意的な符号を用いている。
【０１１５】
続いて、上記デジタル動画に含まれるすべてのフレームに対し、符号化の対象となる被処理フレーム以外のフレームを参照しないで圧縮符号化すべきかどうかを示す識別フラグＨfdの符号が生成される（ステップ２０３）。このステップ２０３では、デジタル動画におけるすべてのフレームに対して他のフレームを参照しない圧縮符号化処理を施すときは、この識別フラグＨfdの値が「１」とされ、そうでないときは「０」とされる。
【０１１６】
その後に、再生側で圧縮画像データＤｖを再生するときに必要となる各フレームに共通する共通データ及び整列データ等の符号が生成される（ステップ２０４）。
そして、上記動画像を構成する各フレームのデータ（フレームデータ）を順次圧縮符号化する処理がステップ２０５，２０９，２１０，２０７にて行われる。 具体的には、各フレームデータが入力されると（ステップ２０５）、まず各フレームに対応するフレーム同期信号が生成される（ステップ２０９）。このフレーム同期信号は、ステップ２０２のシーケンス同期信号とは異なる、各フレームの開始を示す一意的な符号である。次いで被処理対象となるフレームに対応するフレーム符号化データが独立再生可能なものか否かを示す独立再生可能フラグが生成される（ステップ２１０）。そして、上記識別フラグＨfd及び独立再生可能フラグの値に従って、入力されたフレームデータの圧縮符号化処理が行われて、フレーム符号化データが生成される（ステップ２０６）。
【０１１７】
なお、このステップ２０６における具体的な符号化処理は、上記実施の形態１の画像処理方法におけるステップ１０６の処理と全く同一である。
つまり、上記識別フラグＨfdの値が「１」であるときには、動画データＤを構成するすべてのフレームデータＰ(1) 〜Ｐ(n) に対してフレーム内符号化処理が施される。一方、識別フラグＨfdが「０」のときには、独立再生可能フラグに応じて、動画データＤを構成する所定のフレームデータに対してフレーム内符号化処理が施され、所定のフレームデータ以外のフレームデータに対しては、フレーム間符号化処理が施される。
【０１１８】
そして、上記ステップ２０６における符号化処理の後、入力されたフレームデータがデジタル動画を構成する最後のフレームに対応するものか否かが判定される（ステップ２０７）。この判定の結果、入力フレームデータが最後のフレームに対応するものでなければ、上記ステップ２０９でのフレーム同期信号の生成，ステップ２１０での独立再生可能フラグの生成，及びステップ２０６での符号化処理が再度行われる。また入力フレームデータが最後のフレームに対応するものであれば、上記動画データに対する符号化処理が終了する（ステップ２０８）。
以上のような符号化処理により、図５(a) に示すランダム再生処理に適した圧縮画像データＤｖｃあるいは図５(d) に示すランダム再生処理に適さないが符号化効率の高い圧縮画像データＤｖｄが生成される。
このような圧縮画像データは、通信回線を介して復号化装置側に伝送されたり、記録媒体に保存することにより復号化装置側へ供給したりされる。
【０１１９】
このような実施の形態１の変形例では、実施の形態１の画像処理方法による符号化処理に加えて、上記圧縮画像データを構成する各フレームに対応するフレーム符号化データ（圧縮画面データ）にフレームヘッダ（補助ヘッダ）を付加し、該フレームヘッダには、各フレームのフレーム符号化データが独立して再生可能であるか否かを示す独立再生可能フラグを含め、該フレームヘッダの先頭位置から該独立再生可能フラグまでの間には固定符号長データのみが介在するようにしたので、圧縮画像データ全体に対応するヘッダにおける識別フラグの解析を素早く行うことができるだけでなく、各フレームに対応するフレーム符号化データに付与されているフレームヘッダの解析処理の際には、上記独立再生可能フラグの解析を素早く行うことができる。この変形例では、特に圧縮画像データの早送再生処理を行う場合には、フレームヘッダにおける独立再生可能フラグに基づいて、各フレームに対応するフレーム符号化データが独立再生可能か否かを素早く検出して、早送再生処理を良好に行うことができる。
【０１２０】
（実施の形態２）
次に、本発明の実施の形態２による画像処理方法について説明する。
この画像処理方法は、複数の画面からなる画像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像データを復号化して、上記画像に対応する再生画像データを生成する方法である。ここで復号化処理の対象となる圧縮画像データは、図１(a) に示すデータ構造を有する圧縮画像データＤｖとする。なお、具体的には、該圧縮画像データＤｖは、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａ及び図１(c) に示すランダム再生処理に適さないが符号化効率の高い圧縮画像データＤｖｂの一方である。
【０１２１】
図７はこの実施の形態２による画像処理方法を説明するための図であり、該画像処理方法による復号化処理のフローを示している。
まず、実施の形態１の画像処理方法により符号化された圧縮画像データＤｖ（表４〜表６で詳細なデータ構造を示すもの）が入力される（ステップ３０１）と、符号化処理の際に圧縮画像データＤｖに付与されたヘッダにおけるシーケンス同期信号が検出される（ステップ３０２）。なお、このシーケンス同期信号は表４におけるデータ８０２に相当する。
【０１２２】
続いて、外部操作による制御信号に基づいて、画像の早送再生，早巻戻し再生，あるいは画像編集のためのランダムアクセス再生処理を行うかどうかが判定される（ステップ３０３）。ここでは上記制御信号は、外部の入力（早送りボタンの押圧操作など）によって与えられる。
【０１２３】
上記ステップ３０３での判定の結果、ランダムアクセス再生処理を行わない場合には、上記ヘッダにおける共通データ（表４〜表６におけるデータ８０３〜８１５）の解読が行われ、各フレームに対応するフレーム符号化データに対する復号化処理の準備が行われる（ステップ３０７）。
その後、各フレーム符号化データが所定の復号化方法により再生される（ステップ３１０）。
【０１２４】
本実施の形態では、Ｉフレームのフレーム符号化データに対しては、各サブブロックに対応する量子化係数に対して逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する画像データを再生する処理が、上記フレームを構成する全てのマクロブロック毎に行われる。
また、ＰフレームあるいはＢフレームに対応するフレーム符号化データに対しては、他のフレームの再生データを参照するフレーム間復号化処理が行われる。
つまり、このフレーム間復号化処理では、各サブブロックの量子化係数（量子化されたＤＣＴ係数）に逆量子化処理及び逆ＤＣＴ処理が順次施されて、各マクロブロックに対応する差分データが復元される。その後、すでに復号化処理が施された復号化処理済フレームの画像データから動き補償により、復号化処理の対象となる、被処理フレームにおける対象マクロブロックに対応する画像データの予測データが生成される。この予測データと上記復元された差分データとが加算されて、対象マクロブロックの画像データが再生される。
【０１２５】
その後、復号化処理の対象となるフレーム符号化データが上記圧縮画像データＤｖにおける最後のフレームに対応するものか否かが判定される（ステップ３１１）。この判定の結果、フレーム符号化データが最後のフレームに対応するものでなければ、上記ステップ３１０での符号化処理が再度行われ、フレーム符号化データが最後のフレームに対応するものであれば、上記圧縮画像データＤｖに対する復号化処理が終了する（ステップ３１２）。
【０１２６】
一方、上記ステップ３０３での判定の結果、ランダムアクセス再生処理を行う場合には、まず、復号化の対象となる圧縮画像データがランダム再生処理に適したものであるか否かが判定される。つまり、上記符号化処理の説明にて述べた識別フラグＨfdが抽出される（ステップ３０４）。本実施の形態２では、データ８０２（シーケンス同期信号）のすぐあとに上記識別フラグＨfdのデータ８１４が存在している。従って、シーケンス同期信号の解読後は、識別フラグＨfdを直ちに抽出できる。
【０１２７】
次に上記識別フラグＨfdの値が調べられて、上記入力された圧縮画像データＤｖがランダムアクセス再生処理（独立再生処理）に適したものであるか否かが判定される（ステップ３０５）。
上記識別フラグＨfdの値が「１」である場合は、該識別フラグＨfdは、上記圧縮画像データＤｖが独立再生処理に適していることを示しており、その値が「０」である場合は、該識別フラグＨfdは、上記圧縮画像データＤｖが独立再生処理に適していないことを示している。
【０１２８】
上記ステップ３０５での判定の結果、上記識別フラグＨfdの値が「１」であった場合には、該識別フラグＨfdの後に続く、各フレームの画像処理に関する共通データが解析される（ステップ３０８）。その後に各フレームに対応する符号化データが復号化により再生される（ステップ３１０）。なお、この場合のステップ３１０による復号化処理は、ランダムアクセスしない場合の復号化処理とは、フレーム間復号化処理が行われない点のみ異なっている。
【０１２９】
その後、復号化処理の対象となるフレーム符号化データが上記圧縮画像データＤｖにおける最後のフレームに対応するものか否かが判定される（ステップ３１１）。この判定の結果、フレーム符号化データが最後のフレームに対応するものでなければ、上記ステップ３１０での符号化処理が再度行われ、フレーム符号化データが最後のフレームに対応するものであれば、上記圧縮画像データＤｖに対する復号化処理が終了する（ステップ３１２）。
【０１３０】
一方、上記ステップＳ３０５での判定の結果、識別フラグＨfdの値が「０」であった場合、すなわち圧縮画像データＤｖが独立再生処理に適したものでない場合には、独立再生処理を行わない旨のメッセージが出力され（ステップ３０６）、入力された圧縮画像データＤｖに対応する復号化処理が終了する（ステップ３１２）。
【０１３１】
このように本実施の形態２の画像復号化処理では、入力される圧縮画像データＤｖのヘッダが、識別フラグＨfdがシーケンス同期信号のすぐあとに置かれている構造となっているので、動画像に対応する圧縮画像データＤｖが独立再生処理に適したものか，つまり該動画像を構成する各フレームに対応するフレーム符号化データがすべて独立再生可能なものであるか否かをすぐに判定することができる。
【０１３２】
なお、上記実施の形態２では、ステップ３０２のシーケンス同期信号の検出処理は、ステップ３０３のランダムアクセス判定処理前に行っているが、ステップ３０２のシーケンス同期信号の検出処理は、ステップ３０３のランダムアクセス判定処理後に行ってもよい。
【０１３３】
また、上記実施の形態２では、復号化対象となる圧縮画像データＤｖとして、そのヘッダには識別フラグＨfdがシーケンス同期信号の直後に配置されているものを示したが、圧縮画像データＤｖのヘッダ内で識別フラグＨfdはＮビットの固定符号長データのあとに配置されていてもよい。この場合には、ランダムアクセス処理の際には、ステップ３０４にて、そのＮビットのデータを飛ばして識別フラグＨfdが抽出され、ステップ３０８では、上記飛ばされたＮビットのデータを含めて解読される。
【０１３４】
また、上記識別フラグＨfdを、判定条件を伴うデータ（固定長符号化データ）または可変長符号化されたデータの前に置いた場合には、条件判定をする必要がなく直ちに独立再生可能フラグを抽出できるのでランダムアクセスに適している。特に、識別フラグＨfdを可変長符号の前に配置した場合、識別フラグＨfdの前のデータの解析処理では、入力されたヘッダのデータとテーブルに用意されたデータと比較する必要がないので、識別フラグＨfdを早く抽出できる。
【０１３５】
また、入力される圧縮画像データＤｖは、該圧縮画像データ全体に対応するヘッダとして、上記識別フラグが同期信号Ｈsdの直後に配置されたヘッダを有するものに限らず、図５に示すように、圧縮画像データを構成する各フレーム符号化データに、独立再生可能フラグを含むフレームヘッダが付加されているものであってもよい。この場合には、各フレーム毎に独立再生可能フラグが存在するため、各フレームに対応するフレーム符号化データをみるだけで、このフレームが独立再生可能なものであるかどうががわかる。この場合も、フレームヘッダ内では、フレーム同期信号のすぐ後に独立再生可能フラグが配置されているので、このフレームが独立再生可能か否かを直ちに判定できる。
【０１３６】
次に上記実施の形態２の画像処理方法による圧縮復号化処理を行う画像処理装置（画像復号化装置）について説明する。
図８は本実施の形態２による画像復号化装置を説明するためのブロック図である。
この画像復号化装置１００ｂは、複数のフレームからなる動画像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像データ５１１を受け、該圧縮画像データを復号化して、上記画像に対応する再生画像データを生成する装置である。ここで上記圧縮画像データは、上記実施の形態１の画像符号化装置１００ａにより生成されたものとする。
【０１３７】
すなわち、上記画像復号化装置１００ｂは、上記圧縮画像データに含まれるヘッダ及びその他のデータを解析して制御情報５２３や動き情報５２４を生成するとともに、上記圧縮画像データ５１１に含まれる各フレームに対応するデータを解析して圧縮フレームデータ５１２を出力する解析器５０２と、上記各フレームに対応する圧縮フレームデータを伸長して伸長フレームデータ５１４を生成するデータ伸長器５０３とを有している。
【０１３８】
本実施の形態２では、上記解析器５０２は、ヘッダの解析処理では、必要に応じてヘッダ先頭位置から上記識別フラグまで続く固定長符号からなる共通データを飛ばして、上記識別フラグの解析を行うよう構成されている。また、該データ伸長器５０３は、上記圧縮画像データに対して逆量子化処理を施して周波数領域のデータ５１３を生成する逆量子化器５０３ａと、該逆量子化器５０３ａの出力に対して、周波数領域のデータを空間領域のデータに変換する逆離散コサイン変換処理（ＩＤＣＴ処理）を施して上記伸長フレームデータ５１４を出力する逆ＩＤＣＴ器５０３ｂとから構成されている。
【０１３９】
また、上記画像復号化装置１００ｂは、上記データ伸長器５０３から出力された伸長フレームデータに基づいて、その予測フレームデータ５２０を生成する予測データ生成器５０６と、上記データ伸長器５０３からの被処理フレームに対応する伸長フレームデータと、これに対応する予測フレームデータ５２０とを加算して再生フレームデータ５１５を出力端子５１０に出力する加算器５０５とを有している。
【０１４０】
なお、この画像復号化装置１００ｂでは、上記解析器５０２での解析により得られた動き情報（動きベクトル）５２４は第１のスイッチ５２２ａを介して上記予測データ生成器５０６に供給され、上記予測フレームデータ５２０は第２のスイッチ５２２ｂを介して上記加算器５０５に供給されるようになっている。また、上記加算器５０５から出力される再生フレームデータ５１５は、第３のスイッチ５２２ｃを介して上記予測データ生成器５０６に供給されるようになっている。
さらに上記画像復号化装置１００ｂは、上記解析器５０２でのヘッダの解析により得られた制御情報５２３に基づいて、上記各スイッチ５２２ａ〜５２２ｃを制御信号５２５ａ〜５２５ｃにより制御する制御器５２１を有している。
【０１４１】
以下、上記予測データ生成器５０６の構成について簡単に説明する。
この予測データ生成器５０６は、上記加算器５０５の出力（再生データ）５１５を、次処理フレームに対応する参照画像データとして格納するフレームメモリ５０７を有している。このフレームメモリ５０７は、読出しアドレス信号５１８に基づいて格納データを出力する構成となっている。
【０１４２】
さらに、この予測データ生成器５０６は、上記解析器５０２からの動きベクトル５１７に基づいて上記フレームメモリ５１０に対する読出しアドレス信号５１８を発生するアドレス生成器５０８と、上記フレームメモリ５１０における、該読出しアドレス信号５１８により指定された領域のデータを取得して上記予測フレームデータ５２０として出力する予測信号取得器５０９とを有している。
【０１４３】
次に動作について説明する。
実施の形態１の画像符号化装置１００ａにより圧縮符号化された、表４〜表６に示したフォーマットの圧縮画像データ５１１が入力端子５０１に入力されると、まず、解析器５０２にて、圧縮画像データにおけるヘッダの解析が行われ、シーケンス同期信号等が検出される。また、外部の入力（早送りボタンの押圧操作など）によって、画像の早送再生，早巻戻し再生，あるいは画像編集のためのランダムアクセスを行うかどうかの外部制御信号（図示せず）が上記解析器５０２に入力される。
【０１４４】
上記ランダムアクセスを行わない場合には、解析器５０２にて共通データ（表４〜表６におけるデータ８０３から８１５）の解読が行われ、各フレームに対応するフレーム符号化データの復号化処理のための準備が行われる。この場合、スイッチ５２２ａ〜５２２ｃは、制御器５２１からの制御信号によりフレームの符号化タイプ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に応じて開閉制御される。
また、上記解析器５０２では、圧縮画像データにおける各フレームに対応するフレーム符号化データに基づいて動きベクトル５２４が抽出され、さらに各フレームに対応する量子化幅や量子化係数が圧縮データ５１２として上記データ伸長器５０３に出力される。
【０１４５】
ここで、上記フレーム符号化データがフレーム内符号化処理により得られたものである場合は、上記圧縮データ（量子化係数）５１２は、上記データ伸長器５０３にて、量子化器５０３ａによる逆量子化処理が施されて周波数領域のデータ５０３に変換され、さらに逆ＤＣＴ処理５０３ｂによる逆ＤＣＴ処理が施されて空間領域のデータ（伸長データ）５１４に変換される。この逆量子化処理及び逆ＤＣＴ処理は、各フレームを構成するマクロブロックにおけるサブブロック毎に行われる。そして、各マクロブロックに対応する伸長データが加算器５０５を介して再生データ５１５として出力端子５１０から出力される。
【０１４６】
また、フレーム符号化データがフレーム間符号化処理により得られたものである場合には、上記データ伸長器５０３では、各サブブロックに対応する量子化係数（圧縮データ）に逆量子化処理及び逆ＤＣＴ処理が順次施されて、各マクロブロックに対応する差分データが上記伸長データとして復元される。そして対象マクロブロックに対応する差分データは、対応する予測データと加算器５０５にて加算されて、再生データとして出力される。
このとき、予測データ生成器５０６では、フレームメモリ５０７に格納されている復号化処理済フレームの再生データが、符号化装置の予測処理と同様に、アドレス生成器５０８と予測信号取得器５０９による動き補償により、被処理フレームにおける対象マクロブロックに対応する予測データとして読み出される。
【０１４７】
つまり、上記予測データ生成器５０６のアドレス生成器５０８では、上記解析器５０２からの動きベクトルに基づいてフレームメモリ５０７のアドレス信号５１８が生成される。すると、予測信号取得器５０９により、フレームメモリにおける、アドレス信号により指定された領域のデータが上記予測データ５２０として取得される。
そして、上記データ伸長器５０３からの差分データと上記予測データとが上記加算器５０５にて加算されて、対象マクロブロックの再生データとして出力される。
【０１４８】
一方、ランダムアクセスをする場合には、復号化の対象となる圧縮画像データが独立再生に適したものであるか否かが、該圧縮画像データにおけるヘッダの識別フラグの解析により判定される。
つまり、上記解析器５０２では、上記識別フラグ５２３が抽出されて制御器５２１へ出力される。
【０１４９】
本実施の形態では、上記圧縮画像データのヘッダでは、シーケンス同期信号に対応するデータ８０２のすぐあとに、識別フラグＨfdに対応するデータ８１４が配置されているので、ヘッダの解析処理では、識別フラグＨfdを短時間で抽出できる。
上記識別フラグが制御器５２１に出力されると、該制御器５２１では、上記識別フラグＨfdの分析が行われて、圧縮画像データがランダム再生処理に適したものであるか否かの判定が行われる。
【０１５０】
この判定の結果、上記圧縮画像データが独立再生に適したものである場合（上記識別フラグＨfdの値が「１」の場合）、解析器５０２にて共通データの解析（可変長復号化）が行われた後、所定のフレームに対応するフレーム符号化データの再生処理が上記データ伸長器５０３にて行われる。この場合の復号化処理では、ランダムアクセスしない場合の復号化処理のようにフレーム間復号化が行われることはないので、スイッチ５２２a 〜５２２c は、制御器５２１からの制御信号により開状態に保持される。
上記識別フラグＨfdの判定の結果、該識別フラグＨfdの値が「０」であった場合、すなわち圧縮画像データが独立再生に適したものでない場合には、制御器５２１からは独立復号化を行わない旨の情報が、上記復号化装置の所要の部分に供給される。
【０１５１】
このように本実施の形態２の画像復号化装置では、圧縮画像データＤｖのヘッダにおけるシーケンス同期信号の解析処理に続いて、識別フラグＨfdの解析処理が行われるので、動画像に対応する圧縮画像データＤｖが独立再生処理に適したものか，つまり該動画像を構成する各フレームに対応するフレーム符号化データがすべて独立再生可能なものであるか否かをすぐに判定することができる。
【０１５２】
さらに、上記各実施の形態及びその変形例で示した画像処理方法による画像処理をソフトウエアにより行うための画像処理プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した画像処理を、独立したコンピュータシステムにおいて簡単に実現することが可能となる。
【０１５３】
図９は、上記各実施の形態及びその変形例における画像処理を、上記画像処理プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図９(a) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスク本体を示し、図９(b) は、該フロッピーディスク本体の物理フォーマットの例を示している。
上記フロッピーディスクＦＤは、上記フロッピーディスク本体ＤをフロッピーディスクケースＦＣ内に収容した構造となっており、該フロッピーディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクＦＤでは、上記フロッピーディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
また、図９(c) は、フロッピーディスクＦＤに対する上記プログラムの記録、及びフロッピーディスクＦＤに格納したプログラムを用いたソフトウエアによる画像処理を行うための構成を示している。
【０１５４】
上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フロッピーディスクドライブＦDDを介してフロッピーディスクＦＤに書き込む。また、フロッピーディスクＦＤに記録されたプログラムにより、上記画像符号化装置あるいは画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１５５】
なお、上記説明では、データ記憶媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても上記フロッピーディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、データ記憶媒体は上記光ディスクやフロッピーディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フロッピーディスク等を用いる場合と同様にソフトウェアによる画像処理を実施することができる。
さらに、フロッピーディスク等のデータ記憶媒体に格納された画像符号化信号を、本実施の形態１あるいはその変形例の画像信号データ構造とすることにより、上記フロッピーディスクからの画像符号化信号を復号化して画像表示する際には、上記実施の形態２の復号化処理と同様な効果が得られる。
【０１５６】
【発明の効果】
以上のように、この発明に係る画像処理方法によれば、複数の画面からなる画像に対応する画像データを圧縮符号化して得られた圧縮画像データを復号化する画像処理方法であって、前記圧縮符号化して得られた圧縮画像データを受信する受信ステップと、前記圧縮画像データを構成する前記複数の画面に共通する共通データを含むヘッダを解析する解析ステップと、前記圧縮符号化して得られた圧縮画像データを復号化する復号化ステップとを有し、前記解析ステップでは、前記圧縮符号化された圧縮画像データの先頭を示す同期信号を含み、前記同期信号から、前記圧縮画像データ中のすべての画面が他の画面を参照しない圧縮画像符号化を行った画面であることを示す識別フラグの直前までの間に位置する固定長符号データを解析し、前記解析ステップでは、前記同期信号、前記識別フラグ及び前記共通データをこの順序で解析するようにしたので、復号化の際には、上記識別フラグの解析処理を同期信号の解析処理後直ちに行うことができ、１つの動画像に対応する圧縮画像データに付与されているヘッダの解析処理の際には上記識別フラグの解析を素早く行うことができ、該圧縮画像データに対するランダムな独立再生の適性を短時間で検知することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像信号データ構造を示す図であり、図(a) はシーケンスヘッダ、図(b) は任意のフレームの独立再生に適したデータ構造の圧縮画像データ、図(c) は圧縮効率の高いデータ構造の圧縮画像データを示している。
【図２】 上記実施の形態１による画像処理方法による画像符号化処理を説明するためのフローチャート図である。
【図３】 上記実施の形態１の画像符号化処理を行う画像処理装置の構成を示すブロック図である。
【図４】 本発明の実施の形態１の圧縮画像データとはデータ構造が異なる圧縮画像データの構造を示す図である。
【図５】 本発明の実施の形態１の変形例による圧縮画像データの構造を示す図であり、図(a) は任意のフレームの独立再生に適したデータ構造の圧縮 画像データ、図(b) は圧縮効率が高くしかも任意のフレームの独立再生にも適したデータ構造の圧縮画像データを示している。
【図６】 上記実施の形態１の変形例による画像処理方法による画像符号化処理を説明するためのフローチャート図である。
【図７】 本発明の実施の形態２による画像処理方法による画像復号化処理を説明するめたのフローチャート図である。
【図８】 上記実施の形態２の画像復号化処理を行う画像処理装置の構成を示すブロック図である。
【図９】 上記各実施の形態の符号化及び復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図(a) ，(b) ）、及び上記コンピュータシステム（図(c) ）を説明するための図である。
【図１０】 従来の画像符号化信号（圧縮データ）のデータ構造を説明するための図であり、図(a) は１つの動画像に対応する圧縮画像データ、図(b) は任意のフレームの独立再生に適した圧縮画像データ、図(c) は圧縮効率の高い圧縮画像データを示している。
【図１１】 従来の画像符号化信号のデータ構造における問題点を説明するための図であり、図(a) は任意のフレームの独立再生に適した圧縮画像データ、図(b) は圧縮効率の高い圧縮画像データ、図(c) は圧縮効率が高くしかも任意のフレームの独立再生にも適した圧縮画像データを示している。
【図１２】 種々の動画像に対応する圧縮画像データを格納しているデータ記憶媒体を説明するための概念図である。
【図１３】 従来の圧縮画像データにおけるシーケンスヘッダの構成を示す図である。
【符号の説明】
１００ａ 画像符号化装置（画像処理装置）
１００ｂ 画像復号化装置（画像処理装置）
４０１ 第一入力端子
４０２ 第１の加算器
４０３ 符号化器
４０４ 離散コサイン変換器
４０５ 量子化器
４０６ 予測信号生成器
４０７ 局所復号化器（データ伸長器）
４０７ａ 逆量子化器
４０７ｂ 逆離散コサイン変換器
４０９ 第２の加算器
４１０ フレームメモリ
４１１ 動き検出器
４１２ アドレス生成器
４１３ 予測信号取得器
４１４ 可変長変換器
４１５ 出力端子
４３２ 第二入力端子
４３３ 制御器
５０１ 入力端子
５０２ 解析器
５０３ 復号化器
５０３ａ 逆量子化器
５０３ｂ 逆離散コサイン変換器
５０５ 加算器
５０６ 予測信号生器
５０７ フレームメモリ
５０８ アドレス生成器
５０９ 予測信号取得器
５１０ 再生画像出力端子
Ｃｓ コンピュータシステム
Ｄ フロッピディスク本体
ＦＣ フロッピディスクケース
ＦＤ フロッピディスク
ＦDD フロッピディスクドライブ
Ｓｅ セクタ
Ｔｒ トラック
【発明の属する技術分野】
本発明は、画像処理方法に関し、特に、複数のフレームからなる画像に対応する符号化された画像データに対する符号化処理を行う方法に関するものである。
【０００２】
【従来の技術】
デジタル画像情報，つまりデジタル信号により構成された画像データを効率よく蓄積もしくは伝送するには、デジタル画像情報を圧縮符号化する必要があり、現状では、デジタル画像情報を圧縮符号化するための方法として、ＪＰＥＧ(Joint Photographic Coding Experts Group）やＭＰＥＧ(Moving Picture Experts Group)に準拠した画像処理技術に代表される離散コサイン変換（ＤＣＴ：Discrete Cosine transform ）の他に、サブバンド、ウェーブレット、フラクタル等の波形符号化方法がある。
【０００３】
また、隣接するフレーム等の表示画面間における冗長な画像情報を取り除く方法としては、動き補償を用いた画面間予測を行い、つまり現画面の画素の画素値を、これと前画面の画素の画素値との差分を用いて表し、この差分信号を符号化する方法がある。
【０００４】
以下、従来の画像処理方法として、動き補償を伴うＤＣＴ処理が行われるＭＰＥＧ方式の画像符号化方法及び画像復号化方法について簡単に説明する。
この画像符号化方法では、まず、入力された画像信号を、１画面（１フレーム）を構成する複数のブロック（マクロブロック）の各々に対応するよう複数の画像信号に分割し、各マクロブロックに対応する画像信号の符号化処理を上記マクロブロック毎に行う。ここで一つのマクロブロックは、上記１画面における、１６×１６画素からなる画像表示領域となっている。なお、入力される画像信号が任意のオブジェクト画像に対応するものである場合は、該画像信号を、１フレーム中の該オブジェクト画像に対応した表示領域（オブジェクト領域）を構成する複数のブロック（マクロブロック）の各々に対応するよう分割する。
【０００５】
そして、各マクロブロックに対応する画像信号を、さらに８×８画素からなる画像表示領域に相当するサブブロックに対応させて分割し、該サブブロック毎に対応する画像信号にＤＣＴ処理を施して、各サブブロックに対応するＤＣＴ係数を生成する。その後、各サブブロックに対応するＤＣＴ係数を量子化して各サブブロックに対応する量子化係数を生成する。このようにしてサブブロックに対応する画像信号をＤＣＴ処理及び量子化処理により符号化する方法は、フレーム内符号化方法と呼ばれている。
【０００６】
また受信側では、上記各サブブロックに対応する量子化係数に対して逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する画像信号を再生する。なお、上記フレーム内符号化方法により画像信号の符号化処理が施されたフレーム（いわゆるＩピクチャー）に対応する符号化データは、独立再生可能であり、その復号化処理を、他のフレームに対応する画像データを参照することなく行うことができるものである。
【０００７】
これに対して、フレーム間符号化方法と呼ばれる画像信号の符号化方法がある。この符号化方法では、まず、ブロックマッチングをはじめとする、画面（フレーム）上での画像の動きを検出する手法により、符号化の対象となっている被処理フレームに時間的に隣接する符号化処理済のフレームに対応する画像信号から、符号化の対象となっている対象マクロブロックとの間での画素値の誤差が最も小さい１６×１６画素からなる領域を予測マクロブロックとして検出する。
【０００８】
続いて、対象マクロブロックの画像信号から予測マクロブロックの画像信号を引き算して、上記対象マクロブロックに対応する差分信号を生成し、該差分信号を、上記８×８画素からなるサブブロックに対応するよう分割する。その後、該サブブロック毎に、対応する差分信号にＤＣＴ処理を施してＤＣＴ係数を生成し、さらに該ＤＣＴ係数に量子化処理を施して量子化係数を生成する。
なお、このようなフレーム間符号化方法における処理は、入力される画像信号がオブジェクト画像に対応するものである場合でも、上記と同様に行われる。
【０００９】
また、受信側では、上記各サブブロックの量子化係数（量子化されたＤＣＴ係数）に逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する差分信号を復元し、その後、すでに復号化処理が施された復号化処理済フレームの画像信号から動き補償により、復号化処理の対象となる、被処理フレームにおける対象マクロブロックに対応する画像信号の予測信号を生成し、該予測信号と上記復元された差分信号とを加算して、対象マクロブロックの画像信号を再生する。なお、上記フレーム間符号化方法により画像信号の符号化処理が施されたフレーム（いわゆるＰピクチャやＢピクチャ）の符号化データは、独立して、つまり他のフレームの画像信号を参照することなく再生できるものではない。
【００１０】
次に、複数のフレーム（ピクチャ）から構成される動画像に対応する圧縮画像データ（ビットストリーム）の構造について簡単に説明する。
図１０(a) は１つの動画像に対応する画像データ（動画データ）を模式的に示している。上記１つの動画像は、複数のフレーム（ピクチャ）からなり、上記動画データＤは、上記各フレームに対応するフレームデータＰ(1) 〜Ｐ(n) （ｎは自然数）を含んでいる。
また、図１０(b) は、上記動画データＤを構成する各フレームデータＰ(1) 〜Ｐ(n) に上記フレーム内符号化処理を施して得られる画面内圧縮画像データＤａの構造を示している。
【００１１】
この画面内圧縮画像データＤａは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)と、各フレームに共通するデータからなるヘッダＨａとを含んでいる。ここでは、各フレームは、フレーム内符号化処理が施されたＩピクチャとなっている。なお、ＭＰＥＧ４では、上記ヘッダＨはＶＯＬ（Video Object Layer）と呼ばれている。
【００１２】
また、図１０(c) は、上記動画データＤを構成する各フレームデータＰ(1) 〜Ｐ(n) のうちの所定のものに上記フレーム内符号化処理を、その他のものに対してフレーム間符号化処理を施して得られる画面間圧縮画像データＤｂの構造を示している。
【００１３】
なお、上記フレーム間符号化処理は２種類ある。その１つは、符号化処理の対象となっている被処理フレームの符号化処理を、その前のフレームを参照して行う順方向予測符号化処理である。もう１つは、符号化処理の対象となっている被処理フレームの符号化処理を、その前後のフレームを参照して行う双方向予測符号化処理である。
【００１４】
上記画面間圧縮画像データＤｂは、各フレームに対応するフレーム符号化データＰb(1)〜Ｐb(n)と、各フレームに共通するデータからなるヘッダＨｂとを含んでいる。ここでは、上記動画像の最初のフレームのみフレーム内符号化処理が施されたＩピクチャとなっており、その他のフレームは、上記フレーム間符号化処理として順方向予測符号化処理が施されたＰピクチャあるいは双方向予測符号化処理が施されたＢピクチャとなっている。
【００１５】
ところで、上記画面内圧縮画像データＤａは、動画像を構成する全てのフレームに対して、他のフレームを参照しないフレーム内符号化処理を施して得られたものであるため、符号化効率はあまり高くないが、各フレームに対するランダムな再生（復号化）処理に適したものとなっている。つまり、上記画面内圧縮画像データＤａでは、どの画面（フレーム）からでも直ちに復号化処理を開始して画像再生を行うことができるという長所がある。特に、圧縮画像データの編集性（圧縮画像データを編集する際の処理のしやすさ）は、他のフレームのデータに依存しない符号化処理により得られる画面内圧縮画像データの方が、他のフレームのデータに依存する符号化処理により得られる画面間圧縮画像データに比べて優れている。
【００１６】
一方、上記画面間圧縮画像データＤｂは、動画像を構成するほぼ全てのフレームに対して、他のフレームを参照するフレーム間符号化処理を施して得られたものであるため、符号化効率は高い反面、各フレームに対するランダムな再生（復号化）処理に適していない。つまり、上記画面間圧縮画像データＤｂでは、ＰピクチャあるいはＢピクチャとしてのフレームから復号化処理を開始する場合、復号化処理が開始されるフレーム以前の独立して復号化可能なフレームまで遡って復号化処理を施す必要がある。これは、該復号化処理が開始されるフレームが他のフレームを参照して符号化処理が施されたものであるからである。
【００１７】
例えば、画面内圧縮画像データＤａでは、１時間に相当する動画像の最後方の３０秒間に相当するフレーム符号化データＰａe(1)〜Ｐａe(m)（ｍは自然数）の再生は、その先頭のフレーム符号化データＰａe(1)から直ちに行うことができる（図１０(b) 参照）。
【００１８】
これに対して、上記画面間圧縮画像データＤｂでは、１時間に相当する動画像の最後方の３０秒間に相当するフレーム符号化データＰｂe(1)〜Ｐｂe(m)（ｍは自然数）の再生は、その先頭のフレーム符号化データＰｂe(1)から直ちに行うことができない（図１０(c) 参照）。つまり、このデータＰｂe(1)の再生は、以前の独立して再生可能なデータ（ここでは動画像を構成する最初のフレームに相当するフレーム符号化データＰb(1)）からフレーム符号化データＰｂe(1)の直前のフレーム符号化データまでの復号化処理が完了するまで、行うことができない。
これは、先頭のフレーム符号化データＰｂe(1)が他のフレームを参照して符号化されたものであるからである。
【００１９】
また、上記画面内圧縮画像データＤａに対しては、Ｓ（自然数）個のフレームをスキップする早送再生処理を行うことができる（図１１(a) 参照）。これは、早送再生処理における復号化の対象となるフレーム符号化データＰa(1)，Ｐａs(1)〜Ｐａs(f)（ｆは自然数）は、画面内符号化処理が施されたＩピクチャに対応するものであり、すべて、他のフレームのデータを参照することなく独立して再生できるからである。なお、早送再生処理とは逆の早巻戻し再生処理についても、画面内圧縮画像データＤａに対しては、上記早送再生処理と同様に行うことができる。
【００２０】
一方、上記画面間圧縮画像データＤｂに対しては、Ｓ（自然数）個のフレームをスキップする早送再生処理は実質的には行うことはできない（図１１(b) 参照）。これは、早送再生処理における復号化の対象となるフレーム符号化データＰｂs(1)〜Ｐｂs(f)は、画面間符号化処理が施されたＰピクチャあるいはＢピクチャに対応するものであるためである。つまり、上記フレーム符号化データＰｂs(1)，Ｐｂs(2)，Ｐｂs(3)，・・・，Ｐｂs(f)の復号化処理は、該各データ以前の全てのフレーム符号化データの復号化処理に要する待ち時間ｔb1，ｔb2，ｔb3，・・・，ｔbfが経過した後でなければ行うことができない。言い換えると、早送再生処理における復号化の対象となるフレーム符号化データＰｂs(1)〜Ｐｂs(f)の再生時刻は、通常の再生処理における時刻と同一となる。
【００２１】
この結果、上記画面間圧縮画像データＤｂに対して早送再生処理を行っても、上記動画像に対する早送再生画像は、フレーム符号化データＰｂs(1)〜Ｐｂs(f)に対する再生静止画像が一定時間毎に順次表示されるものとなってしまう。
また、早送再生処理とは逆の早巻戻し再生処理については、画面間圧縮画像データＤｂに対しては行うことができない。これは、画面間圧縮画像データＤｂでは、全てのフレーム符号化データに対する復号化処理が完了した後でなければ、最後のフレームに対するフレーム符号化データを再生することができないためである。
【００２２】
なお、上記圧縮画像データＤａ，ＤｂのヘッダＨａ，Ｈｂには、該圧縮画像データが独立再生に適したものであるか否かを示す識別フラグ（独立再生適性フラグ）を含んでいる。
そこで、圧縮画像データにおける符号化効率と早送再生処理等に対する適性との間でのトレードオフの課題を解決するために、以下のような対応が取られている。
【００２３】
その第１の対応策は、図１２に示すように、画像データの記憶媒体Ｍには、１つの動画像に対応する圧縮画像データとして、早送再生処理に適した画面内圧縮画像データＤａと、符号化効率の高い，つまり高画質の再生画像が得られる画面間圧縮画像データＤｂの両方を格納しておくというものである。なお図１２中、Ｄ１〜Ｄｋは、それぞれヘッダＨ１〜Ｈｋを有する他の動画像に対応する圧縮画像データである。ここでは、上記画面内圧縮画像データＤａのヘッダＨａには、該データＤａが独立再生に対する適性が大きいことを示す独立再生適性フラグが含まれている。また画面間圧縮画像データＤｂのヘッダＨｂには、該データＤｂが独立再生に対する適性が小さいことを示す独立再生適性フラグが含まれている。
【００２４】
この場合、早送再生処理の場合には、上記各圧縮画像データＤａ及びＤｂのヘッダＨａ，Ｈｂにおける独立再生適性フラグに基づいて、上記データ記憶媒体Ｍからは１つの動画像に対応する圧縮画像データとして画面内圧縮符号化データＤａが読み出される。一方、通常再生処理の場合には、上記データ記憶媒体Ｍからは上記画面間圧縮画像データＤｂが読み出される。
【００２５】
また、第２の対応策は、画面間圧縮画像データＤｂ中に、Ｉピクチャに対応するフレーム符号化データを、通常の間隔に比べて短い間隔で複数挿入するというものである。通常は、圧縮画像データでは、０．５秒間に再生されるフレームのうち２枚のフレームがＩピクチャに対応するものとなるよう、Ｉピクチャに対応するフレーム符号化データが挿入されている。この画面間圧縮画像データＤｂには、該データＤｂが独立再生に対する適性が大きいことを示す独立再生適性フラグが含まれている。この場合は、早送再生処理は、フレーム符号化データがＩピクチャに対応するものであること示す、各フレーム毎に付与されているピクチャタイプフラグ（図示せず）に基づいて、Ｉピクチャに対応するフレーム符号化データのみを復号化することにより実現することができる。
【００２６】
さらに、第３の対応策は、Ｐピクチャに対応するフレーム符号化データであっても独立再生可能なものがあるため、このようなフレーム符号化データには、独立再生に適していることを示す独立再生適性フラグを付与するというものである。つまり、画面間圧縮画像データＤｂを構成するＰピクチャに対応するフレーム符号化データには、ピクチャタイプフラグによりＰピクチャに対応するものであることが示されているものであっても、Ｉピクチャに対応するフレーム符号化データと同様、他のフレームの画像データを参照せずに符号化されたものがある。
このような特定のＰピクチャに対応するフレーム符号化データは独立して再生可能である。従って、このような特定のＰピクチャに対応するフレーム符号化データに、独立再生に適していることを示す独立再生適性フラグを付与することにより、早送再生処理は、ピクチャタイプフラグ及び独立再生適性フラグ（図示せず）に基づいて、Ｉピクチャ及び特定のＰピクチャに対応するフレーム符号化データのみを復号化することにより実現することができる。
【００２７】
図１１(c) は、特定のＰピクチャに対応するフレーム符号化データに独立再生適性フラグを付与した構造の画面間圧縮画像データを示している。
この画面間圧縮画像データＤｃは、上記独立再生適性フラグを含むヘッダＨc1，Ｈc2，・・・，Ｈcfを、特定のＰピクチャ（図中Ｐ′で表示）に対応するフレーム符号化データＰｃs(1)〜Ｐｃs(f)の直前に挿入したデータ構造となっている。なお、Ｈｃは上記画面間圧縮画像データＤｃのヘッダ、Ｐc(1)〜Ｐc(n)は各フレームに対応するフレーム符号化データである。
【００２８】
次に、上記各圧縮画像データＤａ，Ｄｂにおけるヘッダの構成について図１３を用いて説明する。なお、図１３では、説明を簡単にするため、圧縮画像データＤを、画面内圧縮符号化データＤａと画面内圧縮符号化データＤｂを区別せずに示している。
上記圧縮符号化データＤでは、上述したように、その先頭部分の、各フレームに共通なデータを含むヘッダＨとこれに続くフレーム符号化データＰとから構成されている。
そして、上記ヘッダＨには、１つの動画像の圧縮画像データに対応する同期信号Ｈｓｄと、各フレームに共通なデータＨｃｄと、上記独立再生適性フラグＨｆｄと、これらのデータを整列するための整列データＨａｄとが含まれている。
【００２９】
このように１つの動画像に対応する圧縮画像データは、該動画像を構成するすべてのフレームに対応するフレーム符号化データが独立再生可能かどうかを示すための情報（独立再生適性フラグ）を有している。例えば、１つの動画像を構成するすべてのフレームに対応するフレーム符号化データが独立再生可能である場合には、上記圧縮画像データに対する独立再生適性フラグは、圧縮画像データについて独立再生の適性が大きいことを示す値となっている。一方、１つの動画像に含まれる独立再生可能であるフレーム符号化データが少ない場合には、上記圧縮画像データに対する独立再生適性フラグは、圧縮画像データについて独立再生の適性が小さいことを示す値となっている。
そしてこの独立再生適性フラグは、圧縮画像データの先頭に位置する共通データを含むヘッダ内に記述されいる。
【００３０】
以下、上記圧縮画像データにおける共通データを含むヘッダ内の具体的なデータ配列を、表１ないし表３を用いて説明する。なお、これらの表１〜表３に記載されているデータは、上記ヘッダ内に伝送順に連続して配列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号９０２が配置されており、この同期信号９０２は一意的な３２ビットの固定長符号により表されている。
またこの同期信号９０２に続いて、各フレームに共通する種々の共通データ９０３〜９１３が配置されている。これらの共通データ９０３〜９１３には、固定長符号により表されるデータ９０３〜９０９及び９１１〜９１３の他に、可変長符号により表されるデータ９１０が含まれている。
【００３１】
さらにこれらの共通データ９０３〜９１３に続いて、独立再生適性フラグ９１４及び整列データ９１５が順次配置されている。
この独立再生適性フラグ９１４は、上述したように、圧縮画像データにおける各フレームに対応するフレーム符号化データがランダムに独立して再生可能であるか否かを示すものである。その値が「１」である独立再生適性フラグは、上記動画像を構成するフレームのフレーム符号化データがすべて独立して再生可能であることを示す。一方その値が「０」である独立再生可能フラグは、上記動画像に対応する圧縮画像データに、独立再生が不可能であるフレーム符号化データが多く含まれていることを示す。また、上記整列データ９１５は、上記同期信号９０２から上記独立再生適性フラグ９１４までのデータを整列するためのものである。
【００３２】
そして、上記整列データ９１５の後には、実際の動画像の各フレームに対応する画像データを符号化して得られるフレーム符号化データに関するデータ９１６及びデータ９１７が配置されている。ただし、これらのデータ９１６及び９１７については、実際にはＭＰＥＧ１，２，４等におけるＤＣＴ係数や量子化ステップ等の具体的データが含まれるが、ここでは、これらの具体的データを示さずに１つのデータグループとして示している。
【００３３】
なお、このような共通データを含むヘッダは、１つの動画像に対応する圧縮画像データの先頭部分に必ず置く必要がある。ただし、独立再生不可能なフレーム符号化データを含む画面間圧縮画像データであっても、独立再生可能なフレーム符号化データ（例えばＩピクチャに対応するフレーム符号化データ）が一定周期で繰り返し配列されているものでは、上記独立再生適性フラグに代えて独立再生可能フラグを含む共通データを周期的に挿入することは有効である。この独立再生可能フラグは、対応するフレーム符号化データが他のフレームのデータを参照せずに独立して再生可能か否かを示すものである。
つまり、このように独立再生可能フラグを含む共通データが周期的に挿入された画面間圧縮画像データに対しては、Ｉピクチャに対応する独立再生可能なフレーム符号化データを選択的に復号化して早送再生処理を行うことができる。
【００３４】
【表１】
【表２】
【表３】
【発明が解決しようとする課題】
ところで、圧縮画像データに対する早送再生処理や早巻戻再生処理の際には、圧縮画像データからフレーム符号化データをランダムに選択して復号化処理を行うため、１つの動画像に対応する圧縮画像データが早送再生処理等に適したものであるか否か（独立再生の適性）、あるいは圧縮画像データにおけるフレーム符号化データが独立して再生可能なものであるか否か（独立再生の可否）を素早く判定する必要がある。
しかしながら、従来の圧縮画像データあるいはフレーム符号化データに付与されるヘッダからは、これらのデータの独立再生の適性や独立再生の可否を素早く検知することができないという問題があった。
【００３８】
すなわち、上記圧縮画像データの独立再生の適性等は、上記共通データを含むヘッダにおける独立再生適性フラグ等（表１〜表３に示すデータ９１４）を抽出して解析すれば判定することができる。
【００３９】
ところが、上述したように、上記ヘッダにおける独立再生適性フラグ９１４の値が「１」かどうかを調べるには、該ヘッダにおけるこのフラグ９１４の前に位置する共通データ９０３〜９１３をすべて抽出し、該共通データを解釈しながらその分析を行わないと、ヘッダに対するデータ解析処理が上記独立再生適性フラグ９１４に対する解析処理には到らない。例えば、共通データ９０３ａの値が「１」であるかどうかを調べてからでないと、共通データ９０３ｂ及び９０３ｃが存在するかどうかがわからない。
【００４０】
このように上述した従来の圧縮画像データに付与されているヘッダでは、該圧縮画像データの独立再生の適性を示す独立再生適性フラグの前に、動画の開始を示す同期信号９０２やフレーム符号化データに対する共通データ９０３〜９１３等の多数のデータが配置されている。また、これらの共通データのうちには、スイッチ的な働きをするデータ，つまりそのデータの値によって後のデータ処理が異なるものとなるようなデータも多くある。
このため、上記ヘッダにおけるデータの解析処理を開始してから、上記独立再生適性フラグの解析処理が行われるまでにかなりの時間を要してしまうという問題があった。
【００４１】
本発明は、上記のような問題点を解決するためになされたもので、１つの動画像に対応する圧縮画像データあるいはフレーム符号化データに付与されるヘッダからは、これらのデータの独立再生の適性や独立再生の可否を素早く検知することができるデータ構造を有する圧縮画像データを復号化する画像処理方法を得ることを目的とする。
【００４２】
【課題を解決するための手段】
この発明に係る画像処理方法は、複数の画面からなる画像に対応する画像データを圧縮符号化して得られた圧縮画像データを復号化する画像処理方法であって、前記圧縮符号化して得られた圧縮画像データを受信する受信ステップと、前記圧縮画像データを構成する前記複数の画面に共通する共通データを含むヘッダを解析する解析ステップと、前記圧縮符号化して得られた圧縮画像データを復号化する復号化ステップとを有し、前記解析ステップでは、前記圧縮符号化された圧縮画像データの先頭を示す同期信号を含み、前記同期信号から、前記圧縮画像データ中のすべての画面が他の画面を参照しない圧縮画像符号化を行った画面であることを示す識別フラグの直前までの間に位置する固定長符号データを解析し、前記解析ステップでは、前記同期信号、前記識別フラグ及び前記共通データをこの順序で解析するものである。
【００６２】
【発明の実態の形態】
以下、本発明の実施の形態について説明する。
（実施の形態１）
本発明の実施の形態１による画像伝送方法は、複数の画面（フレーム）からなる動画像に対応するデジタル画像データ（以下単に動画データともいう。）を圧縮符号化して得られる圧縮画像データを伝送する方法である。
なお、本実施の形態では、上記デジタル画像データは、輝度信号と色差信号を含むデジタル画像信号により表されるデータであるとする。また、このデジタル画像信号は、従来の長方形形状の画像空間（表示画面）における画像に対応する画像信号であっても、上記表示画面における、物体（任意形状の画像）を含むオブジェクト領域（ＶＯＰ：Video Object Plane）に対応する画像信号であってもよい。
【００６３】
図１はこの実施の形態１の画像伝送方法を説明するための図であり、図１(a)は特に圧縮画像データのヘッダ部分のデータ構造を示している。
上記圧縮画像データＤｖは、各フレームに対応するフレーム符号化データＤｐと、該フレーム符号化データＤｐの前に付加された、該データＤｐの属性を示すヘッダＨｖを含んでいる。
【００６４】
ここで、上記フレーム符号化データＤｐは、動画像の各フレームに対応する画像データを圧縮符号化して得られるものである。また上記ヘッダＨｖは、上記圧縮画像データＤｖの開始を示す同期信号Ｈsdと、上記圧縮画像データＤｖがランダム再生処理に適しているか否かを示す識別フラグ（ＲＡフラグ）Ｈfdと、各フレームに共通する共通データＨcdと、上記同期信号Ｈsd，識別フラグＨfd，共通データＨcdを整列するための整列データＨadとを含んでいる。なお、上記ランダム再生処理は、任意のフレームに対応するフレーム符号化データをランダムに選択して再生する処理である。
また、上記デジタル画像データに対応する圧縮符号化処理には、従来技術においても説明したように２種類の処理，つまりフレーム内符号化処理とフレーム間符号化処理がある。
【００６５】
図１(b) に示すように、動画データＤのすべてのフレームに対応するフレームデータＰ(1) 〜Ｐ(n) （図１０(a) 参照）に対してフレーム内符号化処理を施して得られる第１の圧縮画像データＤｖａは、上記ランダム再生処理に適したデータである。従って、この第１の圧縮画像データＤｖａにおけるヘッダＨｖａでは、上記識別フラグＨfdの値は、この圧縮画像データＤｖａがランダム再生処理に適していることを示す値「１」となっている。
【００６６】
また、図１(c) に示すように、例えば、動画データＤの先頭フレームに対応するフレームデータＰ(1) に対してフレーム内符号化処理を施し、それ以降のフレームに対応するフレームデータＰ(2) 〜Ｐ(n) に対してフレーム間符号化処理を施して得られる第２の圧縮画像データＤｖｂは、上記ランダム再生処理に適していないデータである。従って、この第２の圧縮画像データＤｖｂにおけるヘッダＨｖｂでは、上記識別フラグＨfdの値は、この圧縮画像データＤｖｂがランダム再生処理に適していないことを示す値「０」となっている。
【００６７】
そして、この実施の形態１の画像伝送方法では、上記圧縮画像データを構成する、上記各画面に共通な共通データを含むヘッダを伝送し、続いて、上記圧縮画像データを構成する、上記各フレームに対応する圧縮画面データが順次伝送される。上記ヘッダＨｖの伝送処理では、まず、上記圧縮画像データの先頭位置を示す同期信号Ｈsdが伝送され、続いて上記圧縮画像データがランダム再生処理に適したものであるか否かを示す識別フラグＨfdが伝送される。その後、上記共通データＨcdと整列データＨadが順次伝送される。
【００６８】
次に、本発明の実施の形態１による画像処理方法について説明する。
この画像処理方法は、上記デジタル画像データＤ（図１０(a) 参照）に圧縮符号化処理を施して、上記圧縮画像データＤｖとして、第１の圧縮画像データＤｖａ及び第２の圧縮画像データＤｖｂの一方を生成する符号化方法である。
【００６９】
図２はこの実施の形態１による画像処理方法を説明するための図であり、該画像処理方法による符号化処理のフローを示している。
まず、符号化処理が開始されると（ステップ１０１）、複数枚の入力画像（フレーム）からなるデジタル動画に対応する圧縮画像データＤｖの開始を示すシーケンス同期信号Ｈsdが生成される（ステップ１０２）。ここでは、該同期信号Ｈsdには一例として３２ビットの一意的な符号を用いている。
【００７０】
続いて、上記デジタル動画に含まれるすべてのフレームに対し、符号化の対象となる被処理フレーム以外のフレームを参照しないで圧縮符号化すべきかどうかを示す識別フラグＨfdの符号が生成される（ステップ１０３）。このステップ１０３では、デジタル動画におけるすべてのフレームに対して他のフレームを参照しない圧縮符号化処理を施すときは、この識別フラグＨfdの値が「１」とされ、そうでないときは「０」とされる。
その後に、再生側で圧縮画像データＤｖを再生するときに必要となる各フレームに共通する共通データ及び整列データ等の符号が生成される（ステップ１０４）。
【００７１】
そして、上記動画像を構成する各フレームのデータ（フレームデータ）を順次圧縮符号化する処理が行われる。
つまり、第１のフレームに対応するフレームデータＰ(1) が入力されると（ステップ１０５）、上記識別フラグＨfdの値に従って、入力されたフレームデータの圧縮符号化処理が行われて、フレーム符号化データＤｐが生成される（ステップ１０６）。
【００７２】
このステップ１０６における具体的な符号化処理について簡単に説明する。
上記識別フラグＨfdの値が「１」であるときには、動画データＤを構成するすべてのフレームデータＰ(1) 〜Ｐ(n) に対してフレーム内符号化処理が施される。
具体的には本実施の形態では、各フレームの画像データは１画面（１フレーム）を構成する複数のマクロブロック（１６×１６画素からなる画像空間）に対応するよう分割される。さらに、各マクロブロックに対応する画像データは、８×８画素からなる画像空間に相当するサブブロックに対応するよう分割される。そして、該サブブロック毎に対応する画像データはＤＣＴ処理が施されて各サブブロックに対応するＤＣＴ係数に変換される。その後、各サブブロックに対応するＤＣＴ係数が量子化されて各サブブロックに対応する量子化係数が生成される。
最後に、量子化係数が可変長符号に変換される。
【００７３】
このような処理が１つのフレームを構成するすべてのマクロブロックに対して行われてフレーム符号化データが出力される。
一方、識別フラグＨfdが「０」のときには、動画データＤを構成する所定のフレームデータＰ(1) に対してフレーム内符号化処理が施され、所定のフレームデータＰ(1) 以外のフレームデータＰ(2) 〜Ｐ(n) に対しては、フレーム間符号化処理が施される。
【００７４】
以下簡単にフレーム間符号化処理について説明する。
まず、ブロックマッチングをはじめとする、画面（フレーム）上での画像の動きを検出する手法により予測マクロブロックが検出される。つまり、符号化の対象となっている被処理フレームに時間的に隣接する符号化処理済フレームに対応する画像データから、符号化の対象となっている対象マクロブロックとの間での画素値の誤差が最も小さい１６×１６画素からなる領域が上記予測マクロブロックとして検出される。
【００７５】
続いて、対象マクロブロックの画像データから上記予測マクロブロックの画像データが引き算されて、上記対象マクロブロックに対応する差分データが生成される。さらにこの差分データが、上記８×８画素からなるサブブロックに対応するよう分割される。その後、該サブブロック毎に、対応する差分データにＤＣＴ処理が施されてＤＣＴ係数が生成される。さらに該ＤＣＴ係数に量子化処理が施されて量子化係数が生成される。最後に、量子化係数が可変長符号に変換される。
【００７６】
このような処理が１つのフレームを構成するすべてのマクロブロックに対して行われてフレーム符号化データが出力される。
そして、上記ステップ１０６における符号化処理の後、入力されたフレームデータがデジタル動画を構成する最後のフレームに対応するものか否かが判定される（ステップ１０７）。この判定の結果、入力フレームデータが最後のフレームに対応するものでなければ、上記ステップ１０６での符号化処理が再度行われ、入力フレームデータが最後のフレームに対応するものであれば、上記動画データに対する符号化処理が終了する（ステップ１０８）。
【００７７】
以上のような符号化処理により、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａあるいは図１(c) に示すランダム再生処理に適さない圧縮画像データＤｖｂが生成される。
このような圧縮画像データは、通信回線を介して復号化装置側に伝送されたり、記録媒体に保存することにより復号化装置側へ供給したりされる。
【００７８】
このような処理にて得られる圧縮画像データの構造，特にヘッダにおけるデータ配列の一例を（表４）（表５）（表６）に示す。なお、これらの表では、図１(a) に示す圧縮画像データＤｖの構造が示されている。つまりこれらの表では、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａと、図１(c) に示すランダム再生処理に適さない圧縮画像データＤｖｂとを区別していない。
【００７９】
【表４】
【表５】
【表６】
なお、これらの表４〜表６に記載されているデータは、上記ヘッダ内に伝送順に連続して配列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号８０２が配置されており、この同期信号８０２は一意的な３２ビットの固定長符号により表されている。
また、この同期信号８０２に続いて、１ビットの識別フラグＨfdに相当するデータ８１４が配置されている。この識別フラグＨfdに相当するデータ８１４に続いて、各フレームに共通する種々の共通データ８０３〜８１３が配置されている。
これらの共通データ８０３〜８１３には、固定長符号により表されるデータ８０３〜８０９及び８１１〜８１３の他に、可変長符号により表されるデータ８１０が含まれている。また、上記共通データに続く整列データ８１５は、上記同期信号８０２，識別フラグ符号８１４，及び共通データ８０３〜８１３までのデータを整列するためのものである。
【００８３】
そして、上記整列データ８１５の後には、実際の動画像の各フレームに対応する画像データを、上記フレーム内符号化方法あるいはフレーム間符号化方法により符号化して得られるフレーム符号化データに関するデータ８１６及びデータ８１７が配置されている。ただし、これらのデータ８１６及び８１７については、実際にはＭＰＥＧ１，２，４等におけるＤＣＴ係数や量子化ステップ等の具体的データが含まれるが、ここでは、これらの具体的データを示さずに１つのデータグループとして示している。
【００８４】
なお、上記識別フラグＨfdに相当するデータ８１４は、シーケンス同期信号（データ８０２）の直後に置いているが、当該シーケンス同期信号を示すデータより所定のＮビットあと、例えばデータ８０３の後においてもよい。好ましくは、判定条件を伴うデータ（固定長符号データ）や可変長符号データの前に置いたほうがよい。いずれの場合にしても、共通データの先頭に近いところに置くのが効果的である。
【００８５】
次に上記実施の形態１の画像処理方法による圧縮符号化処理を行う画像処理装置（画像符号化装置）について説明する。
図３は、この実施の形態１による画像符号化装置を説明するためのブロック図である。
この画像符号化装置１００ａは、複数のフレームからなる動画像に対応するデジタル画像データ（動画データ）を圧縮符号化して圧縮画像データを生成する装置である。
【００８６】
この画像符号化装置１００ａは、被処理フレームに対応する対象フレームデータに基づいてその予測フレームデータ４２０を生成する予測データ生成器４０６と、上記対象フレームデータ４１６と予測フレームデータ４２０の差分値としての差分フレームデータを出力する加算器４０２とを有している。
【００８７】
また上記画像符号化装置１００ａは、上記加算器の出力データ４２１を圧縮して圧縮データ４２３を生成するデータ圧縮器４０３と、該データ圧縮器からの圧縮データ４２３に対して可変長符号化処理を施す可変長符号化器４１４とを有している。ここで上記データ圧縮器４０３は、上記加算器４０２の出力４２１にＤＣＴ処理を施す離散コサイン変換器（ＤＣＴ器）４０４と、該ＤＣＴ器４０４の出力４２２を量子化して上記圧縮データとして出力する量子化器４０５とから構成されている。
【００８８】
なお、この画像符号化装置１００ａでは、第１の入力端子４０１に入力される動画データ４１６は、第１のスイッチ４３４ａを介して上記予測データ生成器４０６に供給され、上記予測フレームデータ４２０は第２のスイッチ４３４ｂを介して上記加算器４０２に供給されるようになっている。また、上記データ圧縮器４０３から出力される圧縮データ４２３は第３のスイッチ４３４ｃを介して上記予測データ生成器４０６に供給され、上記予測データ生成器４０６で生成された動き情報（動きベクトル）４１８は第４のスイッチ４３４ｄを介して上記可変長符号化器４１４に出力されるようになっている。
【００８９】
さらに、上記画像符号化装置１００ａは、上記デジタル画像データに基づいて、各画面に共通する共通データを含むヘッダ情報４３６を生成して上記可変長符号化器４１４に出力するとともに、外部からの制御信号４３５に基づいて、上記スイッチ４３４ａ〜４３４ｄを制御信号４３７ａ〜４３７ｄにより開閉制御する制御器４３３を有している。ここで、上記外部からの制御信号４３５は、上記圧縮画像データを、任意の画面に対応する圧縮画面データを選択して再生するランダム再生処理に適したものとするか否かを示す識別フラグＨfdを含むものである。
【００９０】
そして、上記可変長符号化器４１４は、上記ヘッダ情報４３６，動き情報４１８，及び圧縮データ４２３に可変長符号化処理を施して、上記動画像に対応する
圧縮画像データＤｖとしてのビットストリーム４３１を出力端子４１５に出力する構成となっている。また、上記可変長符号化器４１４は、上記ヘッダ情報４３６に基づいてヘッダＨｖを出力する際、識別フラグＨfdに対応する符号が、ヘッダの先頭位置から上記識別フラグ符号までの間には固定長符号データの符号のみが介在するよう出力する構成となっている。
【００９１】
以下、上記予測データ生成器４０６の具体的な構成について簡単に説明する。
上記予測データ生成器４０６は、上記データ圧縮器４０３からの圧縮データ４２３を第３のスイッチ４３４ｃを介して受け、該圧縮データ４２３に伸長処理を施して伸長データ４２６を出力するデータ伸長器４０７と、該伸長データ４２６を上記予測フレームデータ４２０と加算して再生データ４２７を出力する第２の加算器４０９とを有している。ここで、上記データ伸長器４０７は、上記圧縮データ４２３を逆量子化する逆量子化器４０７ａと、該逆量子化器４０７ａの出力４２５に対して、周波数領域のデータを空間領域のデータに変換する逆ＤＣＴ処理を施して上記伸長データ４２６を出力するＩＤＣＴ器４０７ｂとから構成されている。
【００９２】
また、上記予測データ生成器４０６は、上記第２の加算器４０９の出力（再生データ）４２７を、次処理フレームに対応する参照画像データとして格納するフレームメモリ４１０を有している。このフレームメモリ４１０は、外部からの読出しアドレス信号４２８に基づいて格納データを出力する構成となっている。
【００９３】
さらに、この予測データ生成器４０６は、入力されるデジタル画像データ４１６に基づいて、現処理フレームの対象ブロックに対応する動きベクトルＭＶを求めて出力する動き検出器４１１と、該動き検出器１１４からの動きベクトルＭＶ４１８に基づいて上記フレームメモリ４１０に対する読出しアドレス信号４２８を発生するアドレス生成器４１２と、上記フレームメモリ４１０における、該読出しアドレス信号４２８により指定された領域のデータを取得して上記予測フレームデータ４２０として出力する予測信号取得器４１３とを有している。
【００９４】
次に動作について説明する。
第１入力端子４０１にはデジタル画像データが入力され、一方第２入力端子４３２には上記識別フラグＨfdの情報（フラグ情報）４３５が入力される。すると、フラグ情報４３５に基づいて制御器４３３では、制御信号４３７a 〜４３７ｄが生成され、上記各スイッチ４３４ａ〜４３４ｄが開閉制御される。ここで上記制御信号４３７ａ〜４３７ｄは、同一の制御信号である。
【００９５】
上記識別フラグＨfdが、圧縮画像データＤｖをランダム再生処理に適したものすることを示している場合（つまり上記識別フラグＨfdの値が「１」の場合）、スイッチ４３４ａ〜４３４ｄは制御器４３３からの制御信号４３７a 〜４３７ｄにより開かれる。これにより入力されるデジタル画像データに対しては、すべてのフレームに対応するフレームデータに対してフレーム内符号化処理が施されることとなる。
【００９６】
つまり、デジタル画像データは、加算器４０２をそのまま通過してデータ圧縮器４０３に入力され、該データ圧縮器４０３にてＭＰＥＧに対応したデータ圧縮処理（ＤＣＴ処理と量子化処理）が施される。該データ圧縮器４０３からの圧縮データ（量子化係数）４２３は可変長符号化器４１４にて可変長符号に変換される。このようにして各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)
が生成される。またこのとき、上記可変長符号化器４１４では、シーケンス同期信号（同期信号Ｈsd）、識別フラグＨfd1 （値＝１）、その他の共通データＨcd及び整列データＨad等が符号に変換されて、ヘッダＨｖａが形成される。このとき該ヘッダＨｖａは、上記同期信号Ｈsd，識別フラグＨfd1 ，共通データＨcd，及び整列データＨadがこの順序で伝送されるよう形成される。
そして、ヘッダＨｖａが付加されたフレーム符号化データＰa(1)〜Ｐa(n)が圧縮画像データＤｖａとして上記可変長符号化器４１４から出力される。
【００９７】
一方、上記識別フラグＨfdが、圧縮画像データＤｖをランダム再生処理に適していないものすることを示している場合（つまり上記識別フラグＨfdの値が「０」の場合）、スイッチ４３４ａ〜４３４ｄは制御器４３３からの制御信号４３７a 〜４３７ｄにより開閉制御される。これにより、例えば、入力されるデジタル画像データに対しては、最初のフレームに対応するフレームデータＰ(1) に対してはフレーム内符号化処理が施され、それ以降のフレームに対応するフレームデータＰ(2) 〜Ｐ(n) に対しては、フレーム間符号化処理が施されることとなる。
なお、フレーム内符号化処理は、上述したものと同一であるので、以下にはフレーム間符号化処理について説明する。
上記スイッチ４３４ａ〜４３４ｄが制御器４３３からの制御信号４３７a 〜４３７ｄにより閉じられると、入力されるデジタル画像データに対しては、フレーム間符号化処理が施されることとなる。
【００９８】
すなわち、予測データ生成器４０６では、すでに符号化処理が施されたフレームのデータに基づいて、被処理フレームに対応する予測データ４２０が生成される。すると、第１の加算器４０２にて被処理フレームに対応するフレームデータ４１６から上記予測フレームデータ４２０が引き算されて差分フレームデータ４２１が生成される。この差分フレームデータ４２１は、上記データ圧縮器４０３にて、ＤＣＴ器４０４により周波数領域のデータ４２２に変換され、さらに量子化器４０５により量子化係数に変換されて、圧縮データ４２３として可変長符号化器４１４に出力される。
可変長符号化器４１４では、この圧縮データ（量子化係数）４２３が可変長符号に変換されてフレーム符号化データＰb(2)〜Ｐb(n)が生成される。
【００９９】
また、上記圧縮データ４２３は、第３のスイッチ４３４ｃを介して予測データ生成器４０６に入力される。するとこの圧縮データ（量子化係数）４２３は、データ伸長器４０７にて、逆量子化器４０７ａにより周波数領域のデータ４２５に逆変換され、さらにこのデータ４２５は逆ＩＤＣＴ器４０７ｂにより空間領域のデータ４２６に変換され、復元データとして出力される。
【０１００】
そして第２の加算器４０９にて、この復元データ４２６は上記予測データ４２０と加算されて再生データ４２７として出力される。この再生データ４２７は、次のフレームのデータを符号化するための参照データとしてフレームメモリ４１０に格納される。
【０１０１】
このとき、上記動き検出器４１１では、入力されるデジタル画像データ４１６に基づいて、ブロックマッチング等の方法によりフレーム間での画像の動き情報が検出され、動きベクトル４１８として上記アドレス生成器４１２に出力される。このアドレス生成器４１２では、上記動きベクトル４１８に基づいてフレームメモリ４１０におけるメモリ領域を指定するアドレス信号４２８が生成される。
すると、予測信号取得器４１３により、このアドレス信号４２８に基づいて指定されたフレームメモリ４１０のメモリ領域のデータが予測データ４２０として取得されて上記各加算器に出力される。
また上記動きベクトル４１８は上記第４のスイッチ４３４ｄを介して上記可変長符号化器４１４に出力され、該可変長符号化器４１４にて可変長符号に変換される。
【０１０２】
このようにして各フレームに対応するフレーム符号化データＰb(1)〜Ｐb(n) が生成される。またこのとき、上記可変長符号化器４１４では、シーケンス同期信号（同期信号Ｈsd）、識別フラグＨfd2 （値＝０）、その他の共通データＨcd及び整列データＨad等が符号に変換されて、ヘッダＨｖｂが形成される。なお該ヘッダＨｖｂは、上記同期信号Ｈsd，識別フラグＨfd2 ，共通データＨcd，及び整列データＨadがこの順序で伝送されるよう形成される。
そして、ヘッダＨｖｂが付加されたフレーム符号化データＰb(1)〜Ｐb(n)が圧縮画像データＤｖｂとして上記可変長符号化器４１４から出力される。
【０１０３】
このように本実施の形態１では、１つの動画像に対応するデジタル画像データに圧縮符号化処理を施して圧縮画像データを生成し、その際、この圧縮画像データが任意の画面に対するランダムな独立再生に適したものであるか否かを示す識別フラグを、ヘッダの先頭に位置する同期信号Ｈsdの次に配置したので、１つの動画像に対応する圧縮画像データに付与されているヘッダの解析処理の際には上記識別フラグの解析を素早く行うことができ、該圧縮画像データに対するランダムな独立再生の適性を短時間で検知することができる。
【０１０４】
なお、上記実施の形態１では、圧縮画像データＤｖにおけるヘッダＨｖのデータ構造として、圧縮画像データに対するランダム再生処理の適性を示す識別フラグを、ヘッダ内の同期信号Ｈsdの次に配置したものを示したが、上記ヘッダのデータ構造はこれに限るものてはない。
例えば、上記ヘッダのデータ構造は、図４に示すヘッダＨvmのように、同期信号Ｈsdの後に固定長符号からなる第１の共通データＨcd1 を配置し、その次に上記識別フラグＨfdを配置し、その後に可変長符号からなる第２の共通データＨcd2 及び整列データＨadを順次配置した構造としてもよい。
【０１０５】
（実施の形態１の変形例）
図５及び図６は、上記実施の形態１の変形例による画像伝送方法及び画像処理方法を説明するための図である。
図５は上記実施の形態１の変形例による画像伝送方法を説明するための図である。
図５(a) は、ランダム再生処理に適した第１の圧縮画像データＤｖｃを示し、図５(b) はランダム再生処理に適していない第２の圧縮画像データＤｖｄを示している。
【０１０６】
上記第１の圧縮画像データＤｖｃは、動画データＤのすべてのフレームに対応するフレームデータＰ(1) 〜Ｐ(n) （図１０(a) 参照）に対してフレーム内符号化処理を施して得られるものである。そしてこの圧縮画像データＤｖｃでは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)の前にフレームヘッダ（ＶＯＬ）Ｈｖc(1)〜Ｈｖc(n)が付与されている。また、各フレームヘッダＨｖc(1)〜Ｈｖc(n)には、対応するフレーム符号化データＰa(1)〜Ｐa(n)がランダム再生処理の可能なものであるか否かを示す独立再生可能フラグＨfd1 が含まれている。
【０１０７】
ここでは、各フレームに対応するフレーム符号化データＰa(1)〜Ｐa(n)は、フレーム内符号化処理により得られたものであるため、上記各ヘッダＨｖc(1)〜Ｈｖc(n)の独立再生可能フラグＨfd1 の値は、各フレーム符号化データがランダム再生処理が可能であることを示す値「１」となっている。
【０１０８】
なお、上記各フレームヘッダＨｖc(1)〜Ｈｖc(n)では、同期信号Ｈsd，独立再生可能フラグＨfd1 ，共通データＨcd，及び整列データＨadが、図１に示す実施の形態１の圧縮画像データＤｖにおけるヘッダＨｖと同様、この順に配列されている。またここでは、図示していないが、上記圧縮画像データＤｖｃには、実施の形態１と同様、この圧縮画像データＤｖｃがランダム再生処理に適したものであることを示す識別フラグＨfdを含む、圧縮画像デーダＤｖｃ全体に対応するヘッダが付与されている。
【０１０９】
一方、上記第２の圧縮画像データＤｖｄは、動画データＤの所定のフレームに対応するフレームデータに対してフレーム内符号化処理を施し、その他のフレームに対してフレーム間符号化処理を施して得られるものである。
この圧縮画像データＤｖｄにおいても、上記圧縮画像データＤｖｃと同様、各フレームに対応するフレーム符号化データＰd(1)，…，Ｐd(r)，…，Ｐd(n)の前にフレームヘッダ（ＶＯＬ）Ｈｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)が付与されている。また、各フレームヘッダＨｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)には、対応するフレーム符号化データＰd(1)，…，Ｐd(r)，…，Ｐd(n)がランダム再生処理の可能なものであるか否かを示す独立再生可能フラグＨfd1 あるいはＨfd0が含まれている。
【０１１０】
ここでは、フレーム符号化データＰd(1)，Ｐd(r)は、フレーム内符号化処理により得られたものであるため、上記フレームヘッダＨｖｄ(1) ，Ｈｖd(r)の独立再生可能フラグＨfd1 の値は、該フレーム符号化データＰd(1)，Ｐd(r)がランダム再生処理が可能であることを示す値「１」となっている。一方、上記以外のフレーム符号化データＰd(2)，Ｐd(3) ，Ｐd(4), …，Ｐd(n-1) ，Ｐd(n)は、フレーム間符号化処理により得られたものであるため、上記フレームヘッダＨｖｄ(2) ，Ｈｖd(3)，Ｈｖｄ(4) ，…，Ｈｖｄ(n-1) ，Ｈｖd(n)の独立再生可能フラグＨfd0 の値は、これらのフレーム符号化データＰd(2)，Ｐd(3) ，Ｐd(4), …，Ｐd(n-1) ，Ｐd(n)がランダム再生処理が可能でないことを示す値「０」となっている。
【０１１１】
なお、各フレームに対応するヘッダＨｖd(1)，…，Ｈｖd(r)，…，Ｈｖd(n)では、同期信号Ｈsd，独立再生可能フラグＨfd1 あるいはＨfd0 ，共通データＨcd，及び整列データＨadが、図１に示す実施の形態１の圧縮画像データＤｖにおけるヘッダＨｖと同様、この順に配列されている。またここでは、図示していないが、上記圧縮画像データＤｖｄには、実施の形態１と同様、この圧縮画像データＤｖｄがランダム再生処理に適したものでないことを示す識別フラグＨfdを含む、圧縮画像デーダＤｖｄ全体に対応するヘッダが付与されている。
【０１１２】
そして、この実施の形態１の変形例の画像伝送方法では、上記圧縮画像データ全体に対応するヘッダを伝送し、続いて、上記圧縮画像データを構成する、上記各フレームに対応する圧縮画面データ（フレーム符号化データ）が、各フレームに対応するフレームヘッダとともに順次伝送される。このとき圧縮画像データ全体に対応するヘッダ、あるいは各フレームヘッダＨｖｃあるいはＨｖｄの伝送処理では、まず、上記圧縮画像データの先頭位置を示す同期信号Ｈsdが伝送され、続いて識別フラグＨfdあるいは独立再生可能フラグＨfd1 ，Ｈfd0 が伝送される。その後、上記共通データＨcdと整列データＨadが順次伝送される。
【０１１３】
次に、本発明の実施の形態１の変形例による画像処理方法について説明する。
図６は、上記実施の形態１の変形例による画像処理方法を説明するための図であり、この画像処理方法は、図２に示す実施の形態１の画像処理方法を拡張したものである。
すなわち、この変形例の画像処理方法は、図２に示す実施の形態１の画像処理方法に含まれるステップ１０５〜ステップ１０７の処理を、図６に示すステップ２０５，ステップ２０９，ステップ２１０，ステップ２０７の処理に変更したものである。従って、この変形例の画像処理方法に含まれる他のステップ２０１〜２０４，２０８の処理は、実施の形態１の画像処理方法に含まれるステップ１０１〜１０４，１０８の処理と全く同一である。
【０１１４】
以下、詳述する。
まず、符号化処理が開始されると（ステップ２０１）、複数枚の入力画像（フレーム）からなるデジタル動画に対応する圧縮画像データＤｖの開始を示すシーケンス同期信号Ｈsdが生成される（ステップ２０２）。ここでは、該同期信号Ｈsdには一例として３２ビットの一意的な符号を用いている。
【０１１５】
続いて、上記デジタル動画に含まれるすべてのフレームに対し、符号化の対象となる被処理フレーム以外のフレームを参照しないで圧縮符号化すべきかどうかを示す識別フラグＨfdの符号が生成される（ステップ２０３）。このステップ２０３では、デジタル動画におけるすべてのフレームに対して他のフレームを参照しない圧縮符号化処理を施すときは、この識別フラグＨfdの値が「１」とされ、そうでないときは「０」とされる。
【０１１６】
その後に、再生側で圧縮画像データＤｖを再生するときに必要となる各フレームに共通する共通データ及び整列データ等の符号が生成される（ステップ２０４）。
そして、上記動画像を構成する各フレームのデータ（フレームデータ）を順次圧縮符号化する処理がステップ２０５，２０９，２１０，２０７にて行われる。 具体的には、各フレームデータが入力されると（ステップ２０５）、まず各フレームに対応するフレーム同期信号が生成される（ステップ２０９）。このフレーム同期信号は、ステップ２０２のシーケンス同期信号とは異なる、各フレームの開始を示す一意的な符号である。次いで被処理対象となるフレームに対応するフレーム符号化データが独立再生可能なものか否かを示す独立再生可能フラグが生成される（ステップ２１０）。そして、上記識別フラグＨfd及び独立再生可能フラグの値に従って、入力されたフレームデータの圧縮符号化処理が行われて、フレーム符号化データが生成される（ステップ２０６）。
【０１１７】
なお、このステップ２０６における具体的な符号化処理は、上記実施の形態１の画像処理方法におけるステップ１０６の処理と全く同一である。
つまり、上記識別フラグＨfdの値が「１」であるときには、動画データＤを構成するすべてのフレームデータＰ(1) 〜Ｐ(n) に対してフレーム内符号化処理が施される。一方、識別フラグＨfdが「０」のときには、独立再生可能フラグに応じて、動画データＤを構成する所定のフレームデータに対してフレーム内符号化処理が施され、所定のフレームデータ以外のフレームデータに対しては、フレーム間符号化処理が施される。
【０１１８】
そして、上記ステップ２０６における符号化処理の後、入力されたフレームデータがデジタル動画を構成する最後のフレームに対応するものか否かが判定される（ステップ２０７）。この判定の結果、入力フレームデータが最後のフレームに対応するものでなければ、上記ステップ２０９でのフレーム同期信号の生成，ステップ２１０での独立再生可能フラグの生成，及びステップ２０６での符号化処理が再度行われる。また入力フレームデータが最後のフレームに対応するものであれば、上記動画データに対する符号化処理が終了する（ステップ２０８）。
以上のような符号化処理により、図５(a) に示すランダム再生処理に適した圧縮画像データＤｖｃあるいは図５(d) に示すランダム再生処理に適さないが符号化効率の高い圧縮画像データＤｖｄが生成される。
このような圧縮画像データは、通信回線を介して復号化装置側に伝送されたり、記録媒体に保存することにより復号化装置側へ供給したりされる。
【０１１９】
このような実施の形態１の変形例では、実施の形態１の画像処理方法による符号化処理に加えて、上記圧縮画像データを構成する各フレームに対応するフレーム符号化データ（圧縮画面データ）にフレームヘッダ（補助ヘッダ）を付加し、該フレームヘッダには、各フレームのフレーム符号化データが独立して再生可能であるか否かを示す独立再生可能フラグを含め、該フレームヘッダの先頭位置から該独立再生可能フラグまでの間には固定符号長データのみが介在するようにしたので、圧縮画像データ全体に対応するヘッダにおける識別フラグの解析を素早く行うことができるだけでなく、各フレームに対応するフレーム符号化データに付与されているフレームヘッダの解析処理の際には、上記独立再生可能フラグの解析を素早く行うことができる。この変形例では、特に圧縮画像データの早送再生処理を行う場合には、フレームヘッダにおける独立再生可能フラグに基づいて、各フレームに対応するフレーム符号化データが独立再生可能か否かを素早く検出して、早送再生処理を良好に行うことができる。
【０１２０】
（実施の形態２）
次に、本発明の実施の形態２による画像処理方法について説明する。
この画像処理方法は、複数の画面からなる画像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像データを復号化して、上記画像に対応する再生画像データを生成する方法である。ここで復号化処理の対象となる圧縮画像データは、図１(a) に示すデータ構造を有する圧縮画像データＤｖとする。なお、具体的には、該圧縮画像データＤｖは、図１(b) に示すランダム再生処理に適した圧縮画像データＤｖａ及び図１(c) に示すランダム再生処理に適さないが符号化効率の高い圧縮画像データＤｖｂの一方である。
【０１２１】
図７はこの実施の形態２による画像処理方法を説明するための図であり、該画像処理方法による復号化処理のフローを示している。
まず、実施の形態１の画像処理方法により符号化された圧縮画像データＤｖ（表４〜表６で詳細なデータ構造を示すもの）が入力される（ステップ３０１）と、符号化処理の際に圧縮画像データＤｖに付与されたヘッダにおけるシーケンス同期信号が検出される（ステップ３０２）。なお、このシーケンス同期信号は表４におけるデータ８０２に相当する。
【０１２２】
続いて、外部操作による制御信号に基づいて、画像の早送再生，早巻戻し再生，あるいは画像編集のためのランダムアクセス再生処理を行うかどうかが判定される（ステップ３０３）。ここでは上記制御信号は、外部の入力（早送りボタンの押圧操作など）によって与えられる。
【０１２３】
上記ステップ３０３での判定の結果、ランダムアクセス再生処理を行わない場合には、上記ヘッダにおける共通データ（表４〜表６におけるデータ８０３〜８１５）の解読が行われ、各フレームに対応するフレーム符号化データに対する復号化処理の準備が行われる（ステップ３０７）。
その後、各フレーム符号化データが所定の復号化方法により再生される（ステップ３１０）。
【０１２４】
本実施の形態では、Ｉフレームのフレーム符号化データに対しては、各サブブロックに対応する量子化係数に対して逆量子化処理及び逆ＤＣＴ処理を順次施して、各マクロブロックに対応する画像データを再生する処理が、上記フレームを構成する全てのマクロブロック毎に行われる。
また、ＰフレームあるいはＢフレームに対応するフレーム符号化データに対しては、他のフレームの再生データを参照するフレーム間復号化処理が行われる。
つまり、このフレーム間復号化処理では、各サブブロックの量子化係数（量子化されたＤＣＴ係数）に逆量子化処理及び逆ＤＣＴ処理が順次施されて、各マクロブロックに対応する差分データが復元される。その後、すでに復号化処理が施された復号化処理済フレームの画像データから動き補償により、復号化処理の対象となる、被処理フレームにおける対象マクロブロックに対応する画像データの予測データが生成される。この予測データと上記復元された差分データとが加算されて、対象マクロブロックの画像データが再生される。
【０１２５】
その後、復号化処理の対象となるフレーム符号化データが上記圧縮画像データＤｖにおける最後のフレームに対応するものか否かが判定される（ステップ３１１）。この判定の結果、フレーム符号化データが最後のフレームに対応するものでなければ、上記ステップ３１０での符号化処理が再度行われ、フレーム符号化データが最後のフレームに対応するものであれば、上記圧縮画像データＤｖに対する復号化処理が終了する（ステップ３１２）。
【０１２６】
一方、上記ステップ３０３での判定の結果、ランダムアクセス再生処理を行う場合には、まず、復号化の対象となる圧縮画像データがランダム再生処理に適したものであるか否かが判定される。つまり、上記符号化処理の説明にて述べた識別フラグＨfdが抽出される（ステップ３０４）。本実施の形態２では、データ８０２（シーケンス同期信号）のすぐあとに上記識別フラグＨfdのデータ８１４が存在している。従って、シーケンス同期信号の解読後は、識別フラグＨfdを直ちに抽出できる。
【０１２７】
次に上記識別フラグＨfdの値が調べられて、上記入力された圧縮画像データＤｖがランダムアクセス再生処理（独立再生処理）に適したものであるか否かが判定される（ステップ３０５）。
上記識別フラグＨfdの値が「１」である場合は、該識別フラグＨfdは、上記圧縮画像データＤｖが独立再生処理に適していることを示しており、その値が「０」である場合は、該識別フラグＨfdは、上記圧縮画像データＤｖが独立再生処理に適していないことを示している。
【０１２８】
上記ステップ３０５での判定の結果、上記識別フラグＨfdの値が「１」であった場合には、該識別フラグＨfdの後に続く、各フレームの画像処理に関する共通データが解析される（ステップ３０８）。その後に各フレームに対応する符号化データが復号化により再生される（ステップ３１０）。なお、この場合のステップ３１０による復号化処理は、ランダムアクセスしない場合の復号化処理とは、フレーム間復号化処理が行われない点のみ異なっている。
【０１２９】
その後、復号化処理の対象となるフレーム符号化データが上記圧縮画像データＤｖにおける最後のフレームに対応するものか否かが判定される（ステップ３１１）。この判定の結果、フレーム符号化データが最後のフレームに対応するものでなければ、上記ステップ３１０での符号化処理が再度行われ、フレーム符号化データが最後のフレームに対応するものであれば、上記圧縮画像データＤｖに対する復号化処理が終了する（ステップ３１２）。
【０１３０】
一方、上記ステップＳ３０５での判定の結果、識別フラグＨfdの値が「０」であった場合、すなわち圧縮画像データＤｖが独立再生処理に適したものでない場合には、独立再生処理を行わない旨のメッセージが出力され（ステップ３０６）、入力された圧縮画像データＤｖに対応する復号化処理が終了する（ステップ３１２）。
【０１３１】
このように本実施の形態２の画像復号化処理では、入力される圧縮画像データＤｖのヘッダが、識別フラグＨfdがシーケンス同期信号のすぐあとに置かれている構造となっているので、動画像に対応する圧縮画像データＤｖが独立再生処理に適したものか，つまり該動画像を構成する各フレームに対応するフレーム符号化データがすべて独立再生可能なものであるか否かをすぐに判定することができる。
【０１３２】
なお、上記実施の形態２では、ステップ３０２のシーケンス同期信号の検出処理は、ステップ３０３のランダムアクセス判定処理前に行っているが、ステップ３０２のシーケンス同期信号の検出処理は、ステップ３０３のランダムアクセス判定処理後に行ってもよい。
【０１３３】
また、上記実施の形態２では、復号化対象となる圧縮画像データＤｖとして、そのヘッダには識別フラグＨfdがシーケンス同期信号の直後に配置されているものを示したが、圧縮画像データＤｖのヘッダ内で識別フラグＨfdはＮビットの固定符号長データのあとに配置されていてもよい。この場合には、ランダムアクセス処理の際には、ステップ３０４にて、そのＮビットのデータを飛ばして識別フラグＨfdが抽出され、ステップ３０８では、上記飛ばされたＮビットのデータを含めて解読される。
【０１３４】
また、上記識別フラグＨfdを、判定条件を伴うデータ（固定長符号化データ）または可変長符号化されたデータの前に置いた場合には、条件判定をする必要がなく直ちに独立再生可能フラグを抽出できるのでランダムアクセスに適している。特に、識別フラグＨfdを可変長符号の前に配置した場合、識別フラグＨfdの前のデータの解析処理では、入力されたヘッダのデータとテーブルに用意されたデータと比較する必要がないので、識別フラグＨfdを早く抽出できる。
【０１３５】
また、入力される圧縮画像データＤｖは、該圧縮画像データ全体に対応するヘッダとして、上記識別フラグが同期信号Ｈsdの直後に配置されたヘッダを有するものに限らず、図５に示すように、圧縮画像データを構成する各フレーム符号化データに、独立再生可能フラグを含むフレームヘッダが付加されているものであってもよい。この場合には、各フレーム毎に独立再生可能フラグが存在するため、各フレームに対応するフレーム符号化データをみるだけで、このフレームが独立再生可能なものであるかどうががわかる。この場合も、フレームヘッダ内では、フレーム同期信号のすぐ後に独立再生可能フラグが配置されているので、このフレームが独立再生可能か否かを直ちに判定できる。
【０１３６】
次に上記実施の形態２の画像処理方法による圧縮復号化処理を行う画像処理装置（画像復号化装置）について説明する。
図８は本実施の形態２による画像復号化装置を説明するためのブロック図である。
この画像復号化装置１００ｂは、複数のフレームからなる動画像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像データ５１１を受け、該圧縮画像データを復号化して、上記画像に対応する再生画像データを生成する装置である。ここで上記圧縮画像データは、上記実施の形態１の画像符号化装置１００ａにより生成されたものとする。
【０１３７】
すなわち、上記画像復号化装置１００ｂは、上記圧縮画像データに含まれるヘッダ及びその他のデータを解析して制御情報５２３や動き情報５２４を生成するとともに、上記圧縮画像データ５１１に含まれる各フレームに対応するデータを解析して圧縮フレームデータ５１２を出力する解析器５０２と、上記各フレームに対応する圧縮フレームデータを伸長して伸長フレームデータ５１４を生成するデータ伸長器５０３とを有している。
【０１３８】
本実施の形態２では、上記解析器５０２は、ヘッダの解析処理では、必要に応じてヘッダ先頭位置から上記識別フラグまで続く固定長符号からなる共通データを飛ばして、上記識別フラグの解析を行うよう構成されている。また、該データ伸長器５０３は、上記圧縮画像データに対して逆量子化処理を施して周波数領域のデータ５１３を生成する逆量子化器５０３ａと、該逆量子化器５０３ａの出力に対して、周波数領域のデータを空間領域のデータに変換する逆離散コサイン変換処理（ＩＤＣＴ処理）を施して上記伸長フレームデータ５１４を出力する逆ＩＤＣＴ器５０３ｂとから構成されている。
【０１３９】
また、上記画像復号化装置１００ｂは、上記データ伸長器５０３から出力された伸長フレームデータに基づいて、その予測フレームデータ５２０を生成する予測データ生成器５０６と、上記データ伸長器５０３からの被処理フレームに対応する伸長フレームデータと、これに対応する予測フレームデータ５２０とを加算して再生フレームデータ５１５を出力端子５１０に出力する加算器５０５とを有している。
【０１４０】
なお、この画像復号化装置１００ｂでは、上記解析器５０２での解析により得られた動き情報（動きベクトル）５２４は第１のスイッチ５２２ａを介して上記予測データ生成器５０６に供給され、上記予測フレームデータ５２０は第２のスイッチ５２２ｂを介して上記加算器５０５に供給されるようになっている。また、上記加算器５０５から出力される再生フレームデータ５１５は、第３のスイッチ５２２ｃを介して上記予測データ生成器５０６に供給されるようになっている。
さらに上記画像復号化装置１００ｂは、上記解析器５０２でのヘッダの解析により得られた制御情報５２３に基づいて、上記各スイッチ５２２ａ〜５２２ｃを制御信号５２５ａ〜５２５ｃにより制御する制御器５２１を有している。
【０１４１】
以下、上記予測データ生成器５０６の構成について簡単に説明する。
この予測データ生成器５０６は、上記加算器５０５の出力（再生データ）５１５を、次処理フレームに対応する参照画像データとして格納するフレームメモリ５０７を有している。このフレームメモリ５０７は、読出しアドレス信号５１８に基づいて格納データを出力する構成となっている。
【０１４２】
さらに、この予測データ生成器５０６は、上記解析器５０２からの動きベクトル５１７に基づいて上記フレームメモリ５１０に対する読出しアドレス信号５１８を発生するアドレス生成器５０８と、上記フレームメモリ５１０における、該読出しアドレス信号５１８により指定された領域のデータを取得して上記予測フレームデータ５２０として出力する予測信号取得器５０９とを有している。
【０１４３】
次に動作について説明する。
実施の形態１の画像符号化装置１００ａにより圧縮符号化された、表４〜表６に示したフォーマットの圧縮画像データ５１１が入力端子５０１に入力されると、まず、解析器５０２にて、圧縮画像データにおけるヘッダの解析が行われ、シーケンス同期信号等が検出される。また、外部の入力（早送りボタンの押圧操作など）によって、画像の早送再生，早巻戻し再生，あるいは画像編集のためのランダムアクセスを行うかどうかの外部制御信号（図示せず）が上記解析器５０２に入力される。
【０１４４】
上記ランダムアクセスを行わない場合には、解析器５０２にて共通データ（表４〜表６におけるデータ８０３から８１５）の解読が行われ、各フレームに対応するフレーム符号化データの復号化処理のための準備が行われる。この場合、スイッチ５２２ａ〜５２２ｃは、制御器５２１からの制御信号によりフレームの符号化タイプ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に応じて開閉制御される。
また、上記解析器５０２では、圧縮画像データにおける各フレームに対応するフレーム符号化データに基づいて動きベクトル５２４が抽出され、さらに各フレームに対応する量子化幅や量子化係数が圧縮データ５１２として上記データ伸長器５０３に出力される。
【０１４５】
ここで、上記フレーム符号化データがフレーム内符号化処理により得られたものである場合は、上記圧縮データ（量子化係数）５１２は、上記データ伸長器５０３にて、量子化器５０３ａによる逆量子化処理が施されて周波数領域のデータ５０３に変換され、さらに逆ＤＣＴ処理５０３ｂによる逆ＤＣＴ処理が施されて空間領域のデータ（伸長データ）５１４に変換される。この逆量子化処理及び逆ＤＣＴ処理は、各フレームを構成するマクロブロックにおけるサブブロック毎に行われる。そして、各マクロブロックに対応する伸長データが加算器５０５を介して再生データ５１５として出力端子５１０から出力される。
【０１４６】
また、フレーム符号化データがフレーム間符号化処理により得られたものである場合には、上記データ伸長器５０３では、各サブブロックに対応する量子化係数（圧縮データ）に逆量子化処理及び逆ＤＣＴ処理が順次施されて、各マクロブロックに対応する差分データが上記伸長データとして復元される。そして対象マクロブロックに対応する差分データは、対応する予測データと加算器５０５にて加算されて、再生データとして出力される。
このとき、予測データ生成器５０６では、フレームメモリ５０７に格納されている復号化処理済フレームの再生データが、符号化装置の予測処理と同様に、アドレス生成器５０８と予測信号取得器５０９による動き補償により、被処理フレームにおける対象マクロブロックに対応する予測データとして読み出される。
【０１４７】
つまり、上記予測データ生成器５０６のアドレス生成器５０８では、上記解析器５０２からの動きベクトルに基づいてフレームメモリ５０７のアドレス信号５１８が生成される。すると、予測信号取得器５０９により、フレームメモリにおける、アドレス信号により指定された領域のデータが上記予測データ５２０として取得される。
そして、上記データ伸長器５０３からの差分データと上記予測データとが上記加算器５０５にて加算されて、対象マクロブロックの再生データとして出力される。
【０１４８】
一方、ランダムアクセスをする場合には、復号化の対象となる圧縮画像データが独立再生に適したものであるか否かが、該圧縮画像データにおけるヘッダの識別フラグの解析により判定される。
つまり、上記解析器５０２では、上記識別フラグ５２３が抽出されて制御器５２１へ出力される。
【０１４９】
本実施の形態では、上記圧縮画像データのヘッダでは、シーケンス同期信号に対応するデータ８０２のすぐあとに、識別フラグＨfdに対応するデータ８１４が配置されているので、ヘッダの解析処理では、識別フラグＨfdを短時間で抽出できる。
上記識別フラグが制御器５２１に出力されると、該制御器５２１では、上記識別フラグＨfdの分析が行われて、圧縮画像データがランダム再生処理に適したものであるか否かの判定が行われる。
【０１５０】
この判定の結果、上記圧縮画像データが独立再生に適したものである場合（上記識別フラグＨfdの値が「１」の場合）、解析器５０２にて共通データの解析（可変長復号化）が行われた後、所定のフレームに対応するフレーム符号化データの再生処理が上記データ伸長器５０３にて行われる。この場合の復号化処理では、ランダムアクセスしない場合の復号化処理のようにフレーム間復号化が行われることはないので、スイッチ５２２a 〜５２２c は、制御器５２１からの制御信号により開状態に保持される。
上記識別フラグＨfdの判定の結果、該識別フラグＨfdの値が「０」であった場合、すなわち圧縮画像データが独立再生に適したものでない場合には、制御器５２１からは独立復号化を行わない旨の情報が、上記復号化装置の所要の部分に供給される。
【０１５１】
このように本実施の形態２の画像復号化装置では、圧縮画像データＤｖのヘッダにおけるシーケンス同期信号の解析処理に続いて、識別フラグＨfdの解析処理が行われるので、動画像に対応する圧縮画像データＤｖが独立再生処理に適したものか，つまり該動画像を構成する各フレームに対応するフレーム符号化データがすべて独立再生可能なものであるか否かをすぐに判定することができる。
【０１５２】
さらに、上記各実施の形態及びその変形例で示した画像処理方法による画像処理をソフトウエアにより行うための画像処理プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した画像処理を、独立したコンピュータシステムにおいて簡単に実現することが可能となる。
【０１５３】
図９は、上記各実施の形態及びその変形例における画像処理を、上記画像処理プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図９(a) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスク本体を示し、図９(b) は、該フロッピーディスク本体の物理フォーマットの例を示している。
上記フロッピーディスクＦＤは、上記フロッピーディスク本体ＤをフロッピーディスクケースＦＣ内に収容した構造となっており、該フロッピーディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクＦＤでは、上記フロッピーディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
また、図９(c) は、フロッピーディスクＦＤに対する上記プログラムの記録、及びフロッピーディスクＦＤに格納したプログラムを用いたソフトウエアによる画像処理を行うための構成を示している。
【０１５４】
上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フロッピーディスクドライブＦDDを介してフロッピーディスクＦＤに書き込む。また、フロッピーディスクＦＤに記録されたプログラムにより、上記画像符号化装置あるいは画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１５５】
なお、上記説明では、データ記憶媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても上記フロッピーディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、データ記憶媒体は上記光ディスクやフロッピーディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フロッピーディスク等を用いる場合と同様にソフトウェアによる画像処理を実施することができる。
さらに、フロッピーディスク等のデータ記憶媒体に格納された画像符号化信号を、本実施の形態１あるいはその変形例の画像信号データ構造とすることにより、上記フロッピーディスクからの画像符号化信号を復号化して画像表示する際には、上記実施の形態２の復号化処理と同様な効果が得られる。
【０１５６】
【発明の効果】
以上のように、この発明に係る画像処理方法によれば、複数の画面からなる画像に対応する画像データを圧縮符号化して得られた圧縮画像データを復号化する画像処理方法であって、前記圧縮符号化して得られた圧縮画像データを受信する受信ステップと、前記圧縮画像データを構成する前記複数の画面に共通する共通データを含むヘッダを解析する解析ステップと、前記圧縮符号化して得られた圧縮画像データを復号化する復号化ステップとを有し、前記解析ステップでは、前記圧縮符号化された圧縮画像データの先頭を示す同期信号を含み、前記同期信号から、前記圧縮画像データ中のすべての画面が他の画面を参照しない圧縮画像符号化を行った画面であることを示す識別フラグの直前までの間に位置する固定長符号データを解析し、前記解析ステップでは、前記同期信号、前記識別フラグ及び前記共通データをこの順序で解析するようにしたので、復号化の際には、上記識別フラグの解析処理を同期信号の解析処理後直ちに行うことができ、１つの動画像に対応する圧縮画像データに付与されているヘッダの解析処理の際には上記識別フラグの解析を素早く行うことができ、該圧縮画像データに対するランダムな独立再生の適性を短時間で検知することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像信号データ構造を示す図であり、図(a) はシーケンスヘッダ、図(b) は任意のフレームの独立再生に適したデータ構造の圧縮画像データ、図(c) は圧縮効率の高いデータ構造の圧縮画像データを示している。
【図２】 上記実施の形態１による画像処理方法による画像符号化処理を説明するためのフローチャート図である。
【図３】 上記実施の形態１の画像符号化処理を行う画像処理装置の構成を示すブロック図である。
【図４】 本発明の実施の形態１の圧縮画像データとはデータ構造が異なる圧縮画像データの構造を示す図である。
【図５】 本発明の実施の形態１の変形例による圧縮画像データの構造を示す図であり、図(a) は任意のフレームの独立再生に適したデータ構造の圧縮 画像データ、図(b) は圧縮効率が高くしかも任意のフレームの独立再生にも適したデータ構造の圧縮画像データを示している。
【図６】 上記実施の形態１の変形例による画像処理方法による画像符号化処理を説明するためのフローチャート図である。
【図７】 本発明の実施の形態２による画像処理方法による画像復号化処理を説明するめたのフローチャート図である。
【図８】 上記実施の形態２の画像復号化処理を行う画像処理装置の構成を示すブロック図である。
【図９】 上記各実施の形態の符号化及び復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図(a) ，(b) ）、及び上記コンピュータシステム（図(c) ）を説明するための図である。
【図１０】 従来の画像符号化信号（圧縮データ）のデータ構造を説明するための図であり、図(a) は１つの動画像に対応する圧縮画像データ、図(b) は任意のフレームの独立再生に適した圧縮画像データ、図(c) は圧縮効率の高い圧縮画像データを示している。
【図１１】 従来の画像符号化信号のデータ構造における問題点を説明するための図であり、図(a) は任意のフレームの独立再生に適した圧縮画像データ、図(b) は圧縮効率の高い圧縮画像データ、図(c) は圧縮効率が高くしかも任意のフレームの独立再生にも適した圧縮画像データを示している。
【図１２】 種々の動画像に対応する圧縮画像データを格納しているデータ記憶媒体を説明するための概念図である。
【図１３】 従来の圧縮画像データにおけるシーケンスヘッダの構成を示す図である。
【符号の説明】
１００ａ 画像符号化装置（画像処理装置）
１００ｂ 画像復号化装置（画像処理装置）
４０１ 第一入力端子
４０２ 第１の加算器
４０３ 符号化器
４０４ 離散コサイン変換器
４０５ 量子化器
４０６ 予測信号生成器
４０７ 局所復号化器（データ伸長器）
４０７ａ 逆量子化器
４０７ｂ 逆離散コサイン変換器
４０９ 第２の加算器
４１０ フレームメモリ
４１１ 動き検出器
４１２ アドレス生成器
４１３ 予測信号取得器
４１４ 可変長変換器
４１５ 出力端子
４３２ 第二入力端子
４３３ 制御器
５０１ 入力端子
５０２ 解析器
５０３ 復号化器
５０３ａ 逆量子化器
５０３ｂ 逆離散コサイン変換器
５０５ 加算器
５０６ 予測信号生器
５０７ フレームメモリ
５０８ アドレス生成器
５０９ 予測信号取得器
５１０ 再生画像出力端子
Ｃｓ コンピュータシステム
Ｄ フロッピディスク本体
ＦＣ フロッピディスクケース
ＦＤ フロッピディスク
ＦDD フロッピディスクドライブ
Ｓｅ セクタ
Ｔｒ トラック
Claims (1)
- 複数の画面からなる画像に対応する画像データを圧縮符号化して得られた圧縮画像データを復号化する画像処理方法であって、
前記圧縮符号化して得られた圧縮画像データを受信する受信ステップと、
前記圧縮画像データを構成する前記複数の画面に共通する共通データを含むヘッダを解析する解析ステップと、
前記圧縮符号化して得られた圧縮画像データを復号化する復号化ステップとを有し、
前記解析ステップでは、前記圧縮符号化された圧縮画像データの先頭を示す同期信号を含み、前記同期信号から、前記圧縮画像データ中のすべての画面が他の画面を参照しない圧縮画像符号化を行った画面であることを示す識別フラグの直前までの間に位置する固定長符号データを解析し、
前記解析ステップでは、前記同期信号、前記識別フラグ及び前記共通データをこの順序で解析する、
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000211592A JP4418090B2 (ja) | 1998-01-23 | 2000-07-12 | 画像処理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1106898 | 1998-01-23 | ||
| JP10-11068 | 1998-01-23 | ||
| JP2000211592A JP4418090B2 (ja) | 1998-01-23 | 2000-07-12 | 画像処理方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01473599A Division JP3380763B2 (ja) | 1998-01-23 | 1999-01-22 | 画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001057678A JP2001057678A (ja) | 2001-02-27 |
| JP2001057678A5 JP2001057678A5 (ja) | 2006-01-12 |
| JP4418090B2 true JP4418090B2 (ja) | 2010-02-17 |
Family
ID=11767677
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01473599A Expired - Lifetime JP3380763B2 (ja) | 1998-01-23 | 1999-01-22 | 画像処理方法 |
| JP2000211592A Expired - Lifetime JP4418090B2 (ja) | 1998-01-23 | 2000-07-12 | 画像処理方法 |
| JP2000211591A Expired - Lifetime JP3380797B2 (ja) | 1998-01-23 | 2000-07-12 | 画像伝送方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01473599A Expired - Lifetime JP3380763B2 (ja) | 1998-01-23 | 1999-01-22 | 画像処理方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000211591A Expired - Lifetime JP3380797B2 (ja) | 1998-01-23 | 2000-07-12 | 画像伝送方法 |
Country Status (12)
| Country | Link |
|---|---|
| US (4) | US6418268B1 (ja) |
| EP (3) | EP1119199B1 (ja) |
| JP (3) | JP3380763B2 (ja) |
| KR (3) | KR100365259B1 (ja) |
| CN (4) | CN1312937C (ja) |
| BR (1) | BRPI9904785B8 (ja) |
| DE (2) | DE69901866T2 (ja) |
| ES (3) | ES2204777T3 (ja) |
| ID (1) | ID22974A (ja) |
| MY (1) | MY124052A (ja) |
| TW (1) | TW416220B (ja) |
| WO (1) | WO1999038326A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2359918A (en) * | 2000-03-01 | 2001-09-05 | Sony Uk Ltd | Audio and/or video generation apparatus having a metadata generator |
| US20030004992A1 (en) * | 2001-06-29 | 2003-01-02 | Yoshinori Matsui | Data reproduction apparatus and data reproduction method |
| US7483581B2 (en) * | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
| FI114527B (fi) * | 2002-01-23 | 2004-10-29 | Nokia Corp | Kuvakehysten ryhmittely videokoodauksessa |
| KR100931915B1 (ko) | 2002-01-23 | 2009-12-15 | 노키아 코포레이션 | 비디오 코딩시 이미지 프레임들의 그루핑 |
| US20040199660A1 (en) * | 2003-02-14 | 2004-10-07 | Nokia Corporation | Method of multiplexing compressed and uncompressed internet protocol packets |
| US8194751B2 (en) * | 2003-02-19 | 2012-06-05 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
| US7809843B1 (en) * | 2003-09-18 | 2010-10-05 | Intel Corporation | Globally unique identification in communications protocols and databases |
| JP4721258B2 (ja) * | 2005-01-11 | 2011-07-13 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
| JP5200204B2 (ja) | 2006-03-14 | 2013-06-05 | ディブエックス リミテッド ライアビリティー カンパニー | 高信頼性システムを含む連合型デジタル権限管理機構 |
| JP5092459B2 (ja) * | 2006-07-18 | 2012-12-05 | 富士ゼロックス株式会社 | 遠隔指示システム及び遠隔指示システム用のプログラム |
| CN101198052B (zh) * | 2006-12-04 | 2010-05-19 | 华为技术有限公司 | 一种视频编码方法、解码方法及其装置 |
| US20100021142A1 (en) * | 2006-12-11 | 2010-01-28 | Panasonic Corporation | Moving picture decoding device, semiconductor device, video device, and moving picture decoding method |
| KR100813989B1 (ko) * | 2007-06-18 | 2008-03-14 | 삼성전자주식회사 | 복수개의 주사 패턴을 이용한 부호화 방법, 복호화 방법,및 그 장치 |
| US8997161B2 (en) | 2008-01-02 | 2015-03-31 | Sonic Ip, Inc. | Application enhancement tracks |
| US8045836B2 (en) * | 2008-01-11 | 2011-10-25 | Texas Instruments Incorporated | System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization |
| CN102549557B (zh) | 2009-01-07 | 2015-09-09 | 索尼克Ip股份有限公司 | 针对在线内容的媒体指南的特定化、集中式、自动化创建 |
| KR101664125B1 (ko) * | 2009-09-22 | 2016-10-10 | 삼성전자주식회사 | 랜덤 액세스 가능한 영상 인코딩 시스템 및 방법 |
| JP5723888B2 (ja) | 2009-12-04 | 2015-05-27 | ソニック アイピー， インコーポレイテッド | 基本ビットストリーム暗号材料伝送システムおよび方法 |
| US9247312B2 (en) | 2011-01-05 | 2016-01-26 | Sonic Ip, Inc. | Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol |
| WO2012140839A1 (ja) * | 2011-04-11 | 2012-10-18 | パナソニック株式会社 | ストリーム生成装置およびストリーム生成方法 |
| MX2014000048A (es) * | 2011-07-02 | 2014-04-30 | Samsung Electronics Co Ltd | Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video. |
| US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
| US8909922B2 (en) | 2011-09-01 | 2014-12-09 | Sonic Ip, Inc. | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information |
| US8964977B2 (en) | 2011-09-01 | 2015-02-24 | Sonic Ip, Inc. | Systems and methods for saving encoded media streamed using adaptive bitrate streaming |
| KR101921935B1 (ko) * | 2012-02-16 | 2018-11-27 | 삼성전자 주식회사 | 카메라의 동영상 촬영장치 및 방법. |
| US10051264B2 (en) * | 2012-04-20 | 2018-08-14 | Qualcomm Incorporated | Marking reference pictures in video sequences having broken link pictures |
| US9635369B2 (en) * | 2012-07-02 | 2017-04-25 | Qualcomm Incorporated | Video parameter set including HRD parameters |
| WO2014010955A1 (ko) * | 2012-07-11 | 2014-01-16 | 한국전자통신연구원 | Mpeg 데이터를 처리하는 방법 및 시스템 |
| KR102147475B1 (ko) | 2012-07-11 | 2020-08-26 | 한국전자통신연구원 | Mpeg 데이터를 처리하는 방법 및 시스템 |
| US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
| US9313510B2 (en) | 2012-12-31 | 2016-04-12 | Sonic Ip, Inc. | Use of objective quality measures of streamed content to reduce streaming bandwidth |
| US9037001B2 (en) * | 2013-03-14 | 2015-05-19 | Qualcomm Incorporated | Method and apparatus of decoding low-rate visible light communication signals |
| US9906785B2 (en) | 2013-03-15 | 2018-02-27 | Sonic Ip, Inc. | Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata |
| US10397292B2 (en) | 2013-03-15 | 2019-08-27 | Divx, Llc | Systems, methods, and media for delivery of content |
| US9094737B2 (en) | 2013-05-30 | 2015-07-28 | Sonic Ip, Inc. | Network video streaming with trick play based on separate trick play files |
| US9967305B2 (en) | 2013-06-28 | 2018-05-08 | Divx, Llc | Systems, methods, and media for streaming media content |
| EP3036903A4 (en) | 2013-10-25 | 2016-11-09 | Mediatek Inc | METHOD AND APPARATUS FOR CONTROLLING TRANSMISSION OF COMPRESSED IMAGE FROM TRANSMISSION SYNCHRONIZATION EVENTS |
| US9866878B2 (en) | 2014-04-05 | 2018-01-09 | Sonic Ip, Inc. | Systems and methods for encoding and playing back video at different frame rates using enhancement layers |
| US10498795B2 (en) | 2017-02-17 | 2019-12-03 | Divx, Llc | Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming |
| KR102056064B1 (ko) * | 2017-10-27 | 2019-12-16 | (주)유양디앤유 | 광학 카메라 통신 장치 및 방법 |
| US11109041B2 (en) * | 2019-05-16 | 2021-08-31 | Tencent America LLC | Method and apparatus for video coding |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3231833B2 (ja) * | 1992-04-28 | 2001-11-26 | 株式会社東芝 | 帯域圧縮信号処理装置 |
| US5450209A (en) | 1991-09-30 | 1995-09-12 | Kabushiki Kaisha Toshiba | Band-compressed signal processing apparatus |
| JP2785220B2 (ja) * | 1992-09-22 | 1998-08-13 | ソニー株式会社 | データ符号化装置および方法、並びにデータ復号化装置および方法 |
| JP3358835B2 (ja) | 1992-12-14 | 2002-12-24 | ソニー株式会社 | 画像符号化方法及び装置 |
| JP3240017B2 (ja) | 1993-01-11 | 2001-12-17 | ソニー株式会社 | Ｍｐｅｇ信号記録方法およびｍｐｅｇ信号再生方法 |
| US5535008A (en) * | 1993-03-16 | 1996-07-09 | Victor Company Of Japan, Ltd. | Method for jump-reproducing video data of moving picture coded with high efficiency |
| EP0643213B1 (en) | 1993-09-13 | 1998-03-04 | Honda Giken Kogyo Kabushiki Kaisha | Air-fuel ratio detection system for internal combustion engine |
| JP3378345B2 (ja) * | 1994-03-28 | 2003-02-17 | 株式会社東芝 | 再生装置、記録方法および再生方法 |
| JP2931754B2 (ja) * | 1994-04-08 | 1999-08-09 | 株式会社東芝 | 記録媒体、データ記録方法、再生装置およびデータ再生システム |
| JP3359745B2 (ja) * | 1994-07-29 | 2002-12-24 | シャープ株式会社 | 動画像再生装置、及び動画像記録装置 |
| JP3181800B2 (ja) * | 1994-12-05 | 2001-07-03 | 松下電器産業株式会社 | ビデオサーバ装置 |
| JP3248380B2 (ja) * | 1994-12-15 | 2002-01-21 | ソニー株式会社 | データ復号化装置およびデータ復号化方法 |
| JP3270983B2 (ja) * | 1994-12-21 | 2002-04-02 | ソニー株式会社 | 画像データ符号化方法及び装置、画像データ復号化方法及び装置 |
| CA2168327C (en) * | 1995-01-30 | 2000-04-11 | Shinichi Kikuchi | A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium. |
| CA2173812C (en) | 1995-04-11 | 2000-02-08 | Shinichi Kikuchi | Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproduction method for reproducing data from recording medium |
| JPH08339637A (ja) | 1995-04-11 | 1996-12-24 | Toshiba Corp | 記録媒体とこの記録媒体へのデータの記録装置とその記録方法、その記録媒体からのデータの再生装置とその再生方法 |
| DE69601571T2 (de) * | 1995-08-21 | 1999-07-01 | Matsushita Electric Ind Co Ltd | Multimedia optische platte, die in der lage ist den bildinhalt fuer laengere zeit frisch zu halten und wiedergabegeraet und verfahren dafuer |
| JP3060919B2 (ja) * | 1995-11-16 | 2000-07-10 | 松下電器産業株式会社 | 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置 |
| JP4059355B2 (ja) * | 1996-04-04 | 2008-03-12 | パイオニア株式会社 | 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法 |
| US5983229A (en) * | 1997-06-05 | 1999-11-09 | Eastman Kodak Company | Extension persistence mechanism for a digital image format |
| JP3860323B2 (ja) | 1997-10-27 | 2006-12-20 | 三菱電機株式会社 | 画像復号化装置、画像復号化方法 |
| KR100345235B1 (ko) * | 1998-11-08 | 2005-07-29 | 엘지전자 주식회사 | 디지털데이터스트림기록방법및그장치 |
-
1999
- 1999-01-22 TW TW88100989A patent/TW416220B/zh not_active IP Right Cessation
- 1999-01-22 JP JP01473599A patent/JP3380763B2/ja not_active Expired - Lifetime
- 1999-01-23 MY MYPI9900245 patent/MY124052A/en unknown
- 1999-01-25 EP EP20010109244 patent/EP1119199B1/en not_active Expired - Lifetime
- 1999-01-25 CN CNB2004101011298A patent/CN1312937C/zh not_active Expired - Lifetime
- 1999-01-25 ES ES01109244T patent/ES2204777T3/es not_active Expired - Lifetime
- 1999-01-25 EP EP99901158A patent/EP0971543B1/en not_active Expired - Lifetime
- 1999-01-25 KR KR10-1999-7008705A patent/KR100365259B1/ko not_active IP Right Cessation
- 1999-01-25 ES ES99901158T patent/ES2178374T3/es not_active Expired - Lifetime
- 1999-01-25 KR KR10-2001-7009670A patent/KR100394938B1/ko not_active IP Right Cessation
- 1999-01-25 ID ID991077A patent/ID22974A/id unknown
- 1999-01-25 BR BRPI9904785A patent/BRPI9904785B8/pt not_active IP Right Cessation
- 1999-01-25 DE DE1999601866 patent/DE69901866T2/de not_active Expired - Lifetime
- 1999-01-25 CN CNB998000639A patent/CN1135845C/zh not_active Expired - Lifetime
- 1999-01-25 CN CNB011394285A patent/CN1167275C/zh not_active Expired - Lifetime
- 1999-01-25 US US09/381,688 patent/US6418268B1/en not_active Expired - Lifetime
- 1999-01-25 WO PCT/JP1999/000275 patent/WO1999038326A1/ja active IP Right Grant
- 1999-01-25 DE DE1999610805 patent/DE69910805T2/de not_active Expired - Lifetime
- 1999-01-25 KR KR10-2001-7009673A patent/KR100446365B1/ko not_active IP Right Cessation
- 1999-01-25 EP EP01109245.9A patent/EP1119200B1/en not_active Expired - Lifetime
- 1999-01-25 ES ES01109245.9T patent/ES2662593T3/es not_active Expired - Lifetime
-
2000
- 2000-07-12 JP JP2000211592A patent/JP4418090B2/ja not_active Expired - Lifetime
- 2000-07-12 JP JP2000211591A patent/JP3380797B2/ja not_active Expired - Lifetime
- 2000-09-12 US US09/660,442 patent/US6449424B1/en not_active Expired - Lifetime
- 2000-09-12 US US09/660,441 patent/US6400889B1/en not_active Expired - Lifetime
-
2001
- 2001-11-23 CN CN01139429A patent/CN1361633A/zh active Pending
-
2002
- 2002-07-25 US US10/202,026 patent/US7155110B2/en not_active Expired - Lifetime
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4418090B2 (ja) | 画像処理方法 | |
| KR0185932B1 (ko) | 고속재생을 위한 비디오데이타 복호방법 및 그 장치 | |
| JPH08140042A (ja) | 画像データの再生装置及び記録再生装置 | |
| JP3191583B2 (ja) | 情報復号化装置 | |
| JP3852114B2 (ja) | 圧縮画像データ伝送方法及び装置 | |
| JPH10285545A (ja) | ビデオ信号圧縮符号化記録装置、圧縮符号化ビデオ信号再生装置、ビデオ信号記録・再生装置およびこれらの方法 | |
| JP3307163B2 (ja) | 符号化方法と符号化装置、および、復号化方法と復号化装置 | |
| JP3045696B2 (ja) | 復号化方法及びその装置 | |
| JP3825367B2 (ja) | 圧縮映像記録再生装置および圧縮映像記録再生方法 | |
| JP3384563B2 (ja) | 光ディスク、再生装置および再生方法 | |
| MXPA99008689A (en) | Image transmitting method, image processing method, image processor, data storage medium | |
| JP3370659B1 (ja) | 再生装置および再生方法 | |
| JP3370660B1 (ja) | 記録装置および記録方法 | |
| JP4217504B2 (ja) | 画像再生方式及び方法 | |
| JPH07123360A (ja) | ディジタルビデオ信号記録装置、再生装置及び記録再生装置 | |
| JP2002305721A (ja) | 圧縮画像再生方法 | |
| WO2006070567A1 (ja) | 動画像記録方法および動画像記録装置 | |
| JPH11205745A (ja) | 記録再生装置、記録再生方法、記録媒体 | |
| JP2002354417A (ja) | 画像再生装置及び画像再生方法 | |
| JP2001275078A (ja) | 画像記録装置および方法 | |
| JPH08154231A (ja) | ディジタル圧縮された動画像の記録再生方法およびその記録媒体 | |
| JP2002165181A (ja) | 映像記録装置及び映像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131204 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313133 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |