JP4931034B2 - 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体 - Google Patents

復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体 Download PDF

Info

Publication number
JP4931034B2
JP4931034B2 JP2004172430A JP2004172430A JP4931034B2 JP 4931034 B2 JP4931034 B2 JP 4931034B2 JP 2004172430 A JP2004172430 A JP 2004172430A JP 2004172430 A JP2004172430 A JP 2004172430A JP 4931034 B2 JP4931034 B2 JP 4931034B2
Authority
JP
Japan
Prior art keywords
picture
frame
field
pic
struct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004172430A
Other languages
English (en)
Other versions
JP2005354361A (ja
Inventor
邦明 高橋
靖 藤波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Corp
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004172430A priority Critical patent/JP4931034B2/ja
Application filed by Sony Interactive Entertainment Inc, Sony Corp, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to MXPA06013875A priority patent/MXPA06013875A/es
Priority to BRPI0511670-8A priority patent/BRPI0511670A/pt
Priority to CA 2569022 priority patent/CA2569022A1/en
Priority to EP05750895A priority patent/EP1758399A4/en
Priority to PCT/JP2005/010634 priority patent/WO2005122584A1/ja
Priority to NZ551513A priority patent/NZ551513A/en
Priority to AU2005253425A priority patent/AU2005253425B8/en
Priority to US11/570,141 priority patent/US20080019438A1/en
Priority to CN200580019053A priority patent/CN100586177C/zh
Priority to RU2006143643A priority patent/RU2335857C2/ru
Priority to TW94118932A priority patent/TWI277348B/zh
Priority to MYPI20052622 priority patent/MY144601A/en
Publication of JP2005354361A publication Critical patent/JP2005354361A/ja
Priority to IL179242A priority patent/IL179242A/en
Application granted granted Critical
Publication of JP4931034B2 publication Critical patent/JP4931034B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体に関し、特に、例えば、順次走査のピクチャを、その垂直解像度を損なわないように表示することができるようにする復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体に関する。
近年、画像信号を、ディジタルデータで扱い、効率の高い情報の伝送、蓄積を目的として、画像特有の冗長性を利用し、離散コサイン変換等の直交変換と動き補償とにより、画像信号を圧縮／復号するMPEG(Moving Picture Experts Group)などの規格に準拠した画像処理装置が、情報配信を行う放送局などと、情報受信を行う一般家庭などとの双方において普及しつつある。
かかる画像処理装置の普及に伴い、その画像処理装置で扱うことができるコンテンツの充実も図られつつあり、そのようなコンテンツとしては、例えば、映画のコンテンツがある。
映画は、フィルム（映画フィルム）にとられた連続した写真であるから、これを、例えば、テレビジョン放送の番組などとして、放送局から放送し、あるいは、ビデオパッケージにして販売などするためには、テレビジョン放送用の電気信号である画像信号（ビデオ信号）に変換しなければならない。即ち、光学的に映し出されるフィルム上の画像を電気的にとり込み、画像の表示レートの変換その他の処理を行わなければならない。このような技術は、一般に、テレシネと呼ばれる。
通常、画像信号と映画フィルムとでは、１秒あたりに表示されるフレームの数（コマ数）、即ち、表示レートが異なる。現在、多くの映画フィルムでは、１秒間に２４フレームのピクチャが表示されるのに対して、例えば、NTSC(National Television System Committee)方式では、１秒間に３０フレームのピクチャが表示される。従って、テレシネでは、このような表示レートの変換が、その主な処理の１つとして行われる。この表示レートの変換は、2-3プルダウンと呼ばれる。
なお、正確には、NTSC方式の画像信号の表示レートは、29.97Hzであり、映画フィルの表示レートは、23.976Hzである。
ここで、フレームのピクチャは、図１に示すように、フィールドと呼ばれるピクチャに分けることができる。例えば、フレームの奇数ラインの画素（画素値）を集めたものはトップフィールドと、また偶数ラインの画素を集めたものはボトムフィールドと、それぞれ呼ばれる。
また、ピクチャには、その走査方式が飛び越し走査のピクチャと、順次走査のピクチャとがある。飛び越し走査のピクチャと、順次走査のピクチャとでは、画素がサンプルされた時刻が異なる。即ち、飛び越し走査のピクチャでは、１フレーム内の偶数ラインと奇数ラインとでサンプル時刻がずれており、その結果、トップフィールドとボトムフィールドとのサンプル時刻が異なる。一方、順次走査のピクチャでは、トップフィールドとボトムフィールドとのサンプル時刻が同一である。
映画フィルムのピクチャは、順次走査のピクチャであり、フレーム単位で表示される。NTSC方式のピクチャは、飛び越し走査のピクチャであり、フィールド単位で表示される。即ち、順次走査では、フレームの走査が順次行われ、その結果、フレームのピクチャが表示される。また、飛び越し走査では、フレームの走査が飛び越しで行われ、即ち、フレームの走査が、そのフレームを構成するトップフィールドとボトムフィールドとについて交互に行われ、その結果、フレームを構成するトップフィールドのピクチャとボトムフィールドのピクチャとが交互に表示される。
このため、テレシネでは、24Hzの映画フィルムのフレームのピクチャが、2-3プルダウンによって、６０Hz（正確には、59.94Hz）のフィールドからなる30HzのNTSC方式のフレームのピクチャに変換される。
即ち、2-3プルダウンでは、まず最初に、24Hzの映画フィルムのフレームが、図１に示したように、トップフィールドとボトムフィールドに分割される。そして、そのトップフィールドとボトムフィールドとが、30HzのNTSC方式のフレームを構成するフィールドに、適宜割り当てられる。
具体的には、例えば、24Hzの映画フィルムの４フレームを、時系列に、Ａ，Ｂ，Ｃ，Ｄと表し、また、例えば、フレームＡを分割して得られるトップフィールドをＡ（１）と、ボトムフィールドをＡ（２）というように表すとすると、２−３プルダウンでは、例えば、図２に示すように、トップフィールドＡ（１）とボトムフィールドＡ（２）とで、最初の30HzのNTSC方式のフレームが構成され、トップフィールドＢ（１）とボトムフィールドＢ（２）とで、２番目の30HzのNTSC方式のフレームが構成される。さらに、トップフィールドＢ（１）とボトムフィールドＣ（２）とで、３番目の30HzのNTSC方式のフレームが構成され、トップフィールドＣ（１）とボトムフィールドＤ（２）とで、４番目の30HzのNTSC方式のフレームが構成される。そして、トップフィールドＤ（１）とボトムフィールドＤ（２）とで、５番目の30HzのNTSC方式のフレームが構成される。
2-3プルダウンでは、以上のように、24Hzの映画フィルムのフレームＢを構成するフィールドＢ（１）が、２番目の30HzのNTSC方式のフレームのトップフィールドと、その２フィールド先のトップフィールド（３番目のフレームのトップフィールド）との両方に割り当てられるとともに、24Hzの映画フィルムのフレームＤを構成するフィールドＤ（２）が、４番目の30HzのNTSC方式のフレームのボトムフィールドと、その２フィールド先のボトムフィールド（５番目のフレームのボトムフィールド）との両方に割り当てられることで、24Hzの映画フィルムのフレームが、４フレーム単位で、５フレーム単位の30HzのNTSC方式のフレームに変換されていく。
従って、2-3プルダウンでは、映画フィルムの１フレームが、NTSC方式の２フィールドに変換され、映画フィルムの次の１フレームが、NTSC方式の次の３フィールドに変換され、映画フィルムのさらに次の１フレームが、NTSC方式のさらに次の２フィールドに変換され、以下、同様にして、映画フィルムの各フレームが、NTSC方式の２フィールドと３フィールドとに交互に変換されていく。
ところで、近年、当初テレビ会議用の画像符号化を目的として、 H.264またはMPEG AVC(Advanced Video Coding)(ITU-T Q6/16またはISO/IEC 14496-10)（以下、適宜、H.264/AVCと記載する）という標準の規格化が行われた。H.264/AVCでは、MPEG2やMPEG4といった従来の符号化（復号）方式と同様に、直交変換と動き補償とにより、画像信号を圧縮／復号する。さらに、H.264/AVCは、そのような従来の符号化方式に比べ、符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
図３は、映画フィルムのピクチャの2-3プルダウンによって得られるNTSC方式のピクチャを、H.264/AVCの規格に準拠して圧縮符号化する画像符号化装置の一例の構成を示している。
2-3プルダウンによって得られたNTSC方式のピクチャ（の画像信号）は、フィールド単位で、A/D変換装置１に供給され、A/D変換装置１は、そこに供給されるピクチャをA/D(Analog/Digital)変換することにより、ディジタル信号に変換して、2-3検出装置２に供給する。2-3検出装置２は、A/D変換装置１からのピクチャの、２つのフィールドどうしの差分であるフィールド間差分情報等を用いて、2-3韻律の検出を行う。
即ち、上述したように、2-3プルダウンでは、映画フィルムの各フレームが、NTSC方式の２フィールドと３フィールドに交互に変換されるので、NTSC方式のピクチャのシーケンスは、映画フィルムの順次走査の１フレームから得られた２フィールドの組と、映画フィルムの順次走査の１フレームから得られた３フィールドの組とが交互に繰り返される、いわば2-3韻律を有する。2-3検出装置２では、この２フィールドの組と３フィールドの組の検出（2-3韻律の検出）が行われる。
さらに、2-3検出装置２は、フィールド間差分情報や2-3韻律の検出結果に基づき、NTSC方式の各フィールドのピクチャが、順次走査または飛び越し走査のうちのいずれの走査方式のピクチャであるかを判定する。ここで、図３の画像符号化装置に供給されるピクチャが、ある映画フィルムのピクチャの2-3プルダウンによって得られたものであるとすると、2-3検出装置２では、映画フィルムの１フレームから得られた２フィールドのピクチャの組、または３フィールドのピクチャの組が、順次走査のピクチャであると判定される。
そして、2-3検出装置２は、順次走査のピクチャであると判定された２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、即ち、いまの場合、2-3プルダウンされる前の24Hzの映画フィルムのフレームのピクチャを構成し、画面並べ替えバッファ３に供給する。
なお、2-3検出装置２において、例えば、あるフレームを構成する２フィールドが、飛び越し走査のピクチャであると判定された場合、その２フィールドのピクチャは、それぞれフィールドのピクチャとして、または、その２フィールドで構成される１フレームのピクチャとして、画面並べ替えバッファ３に供給される。
飛び越し走査のピクチャ（であると判定された）２フィールドが、フィールドまたはフレームのうちのいずれのピクチャとされるかは、例えば、フィールドまたはフレームのうちのいずれのピクチャとして符号化した方が符号化効率が高いかによって決まる。即ち、フィールドのピクチャとして符号化した方が符号化効率が高い場合には、飛び越し走査のピクチャは、フィールドのピクチャとされ、フレームのピクチャとして符号化した方が符号化効率が高い場合には、飛び越し走査のピクチャは、フレームのピクチャとされる。
画面並べ替えバッファ３は、2-3検出装置２からのピクチャを一時記憶し、その記憶したピクチャを、あらかじめ決まっている符号化順にしたがって並べ替え、符号化対象の注目ピクチャとして、マクロブロック単位で、加算器４に供給する。
注目ピクチャが、イントラ符号化されるイントラ符号化ピクチャである場合には、加算器４は、その注目ピクチャを、そのまま、直交変換装置５に供給する。
また、注目ピクチャが、インター符号化されるインター符号化ピクチャである場合には、加算器４は、注目ピクチャから、動き予測／補償装置１２から供給される予測画像を減算し、直交変換装置５に供給する。
即ち、動き予測／補償装置１２は、画面並べ替えバッファ３に記憶されたピクチャの動きベクトルを検出するとともに、フレームメモリ１１から、既に符号化されて復号された、注目ピクチャの参照画像となるピクチャを読み出し、その参照画像に対して、動きベクトルに基づく動き補償を施すことで、最適な予測モード（符号化効率が最も高い予測モード）による、注目ピクチャの予測画像を生成する。そして、動き予測／補償装置１２は、その予測画像を、加算器４に供給し、加算器４は、このようにして動き予測／補償装置１２から供給される予測画像を、注目ピクチャから減算して、直交変換装置５に供給する。
直交変換装置５は、加算器４から供給される注目ピクチャ、または注目ピクチャから予測画像を減算した減算結果である差分画像（ピクチャ）に対して、例えば、離散コサイン変換等の直交変換を施し、その結果得られる変換係数を、量子化装置６に供給する。
量子化装置６は、後述するレート制御装置１３からの制御にしたがった量子化ステップで、直交変換装置５からの変換係数を量子化し、その結果得られる量子化係数を、可逆符号化装置７と逆量子化装置９に供給する。
可逆符号化装置７は、量子化装置６からの量子化係数、さらには、図示していないが、動き予測／補償装置１２で検出された動きベクトルなどに対して、例えば、可変長符号化や算術符号化等の可逆符号化を施して多重化し、その結果得られる符号化データ（ストリーム）を、蓄積バッファ８に供給する。
なお、可逆符号化装置７において、動きベクトルなどは、符号化データの、いわゆるヘッダ部分に挿入（多重化）される。
蓄積バッファ８は、可逆符号化装置７からの符号化データを一時記憶し、所定のレートで出力する。蓄積バッファ８が出力する符号化データは、例えば、DVD(Digital Versatile Disc)等に記録等される。ここでDVDについては、例えば、非特許文献１に記載されている。
また、蓄積バッファ８の符号化データの記憶量（蓄積量）は、レート制御装置１３に供給されるようになっており、レート制御装置１３は、蓄積バッファ８の記憶量に基づき、蓄積バッファ８がオーバフローまたはアンダフローしないように、量子化装置６の量子化ステップをフィードバック制御する。
一方、逆量子化装置９は、量子化装置６から供給される変換係数を、量子化装置６における量子化ステップと同一の量子化ステップで逆量子化し、その結果得られる変換係数を、逆直交変換装置１０に供給する。逆直交変換装置１０は、逆量子化装置９からの変換係数に逆直交変換処理を施し、これにより、元のイントラ符号化ピクチャを復号、または元のインター符号化ピクチャから予測画像を減算した差分画像を復号して、フレームメモリ１１に供給する。
フレームメモリ１１は、イントラ符号化ピクチャを復号したものを記憶する。また、フレームメモリ１１においては、差分画像を復号したものに対して、その差分画像を得るのにインター符号化ピクチャから減算した予測画像を、動き予測／補償装置１１から得て加算することにより、インター符号化ピクチャを復号して記憶する。
動き予測／補償装置１２では、以上のようにしてフレームメモリ１１に記憶されたピクチャを参照画像として、予測画像が生成される。
次に、図４は、図３の画像符号化装置で得られた符号化データを復号する画像復号装置の一例の構成を示している。
符号化データは、蓄積バッファ２１に供給され、一時記憶される。可逆復号装置２２は、蓄積バッファ２１に記憶された符号化データを、適宜読み出し、その符号化データに含まれる情報を、適宜分離して、例えば、可変長復号や算術復号等する。さらに、可逆復号装置２２は、可変長復号や算出復号等によって得られる量子化係数と動きベクトル等のうちの量子化係数を、逆量子化装置２３に供給するとともに、動きベクトルを、動き予測／補償装置２７に供給する。
逆量子化装置２３は、可逆復号装置２２からの量子化係数を逆量子化することにより、変換係数を得て、逆直交変換装置２４に供給する。逆直交変換装置２４は、逆量子化装置２３からの変換係数に対して、逆離散コサイン変換等の逆直交変換処理を施し、その結果得られるイントラ符号化ピクチャの復号画像、またはインター符号化ピクチャの差分画像の復号結果を、マクロブロック単位で、加算器２５に供給する。
加算器２５は、逆直交変換装置２４の出力が、イントラ符号化ピクチャの復号画像である場合には、その復号画像であるピクチャを、フレームメモリ２６と画面並べ替えバッファ２８に供給する。また、加算器２５は、逆直交変換装置２４の出力が、インター符号化ピクチャの差分画像の復号結果である場合には、その復号結果に対して、動き予測／補償装置２７から供給される予測画像を加算することにより、インター符号化ピクチャを復号し、その結果得られる復号画像であるピクチャを、フレームメモリ２６と画面並べ替えバッファ２８に供給する。
フレームメモリ２６は、加算器２５からの復号画像（ピクチャ）を、参照画像として記憶し、動き予測／補償装置２７は、フレームメモリ２６に記憶された参照画像に対して、可逆復号装置２２から供給される動きベクトルにしたがった動き補償を施すことで、予測画像を生成して、加算器２５に供給する。
一方、画面並べ替えバッファ２８は、加算器２５からの復号画像であるピクチャを、一時記憶し、そのピクチャの並びを、表示順に並べ替える。さらに、ここでは、画面並べ替えバッファ２８に記憶されたピクチャは、24Hzの映画フィルムのピクチャになっているので、画面並べ替えバッファ２８は、その24Hzの映画フィルムのピクチャを、H.264/AVCの符号化データに多重化されている（含まれている）、後述するpic_structにしたがって、2-3プルダウンで得られるのと同一の30HzのNTSC方式のピクチャにして、D/A(Digital/Analog)変換装置２９に供給する。
D/A変換装置２９では、画面並べ替えバッファ２８からのピクチャ（の画像信号）が、ディジタル信号からアナログ信号にD/A変換され、図示せぬディスプレイに供給されて表示される。
ところで、図１の画像符号化装置には、上述したように、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャが、符号化対象として供給される。
いま、画像符号化装置に供給されるピクチャが、例えば、図５の上から１番目に示す24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、図５の上から２番目に示すような、2-3韻律の保たれた30HzのNTSC方式のピクチャであれば、2-3検出装置２（図３）では、そのピクチャは、基本的には、すべて、順次走査のピクチャであると判定される。
ここで、図５において（後述する図１３乃至図１５、図２２、および図２３においても同様）、長方形は、フレームまたはフィールドのピクチャを表す。また、横線がない長方形は、フレームのピクチャを表し、横線がある長方形は、フィールドのピクチャを表す。
しかしながら、図５の上から２番目に示した、2-3韻律の保たれた30HzのNTSC方式のピクチャがカット編集されるなどして、図５の上から３番目に示すように、2-3韻律が不規則なシーケンスのピクチャとされ、画像符号化装置に供給された場合、2-3検出装置２において、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複した判定がされるピクチャが生じる。
即ち、図５では、上から１番目に示す24Hzの映画フィルムの各フレームのピクチャが、上から２番目に示すように、30HzのNTSC方式のピクチャの３フィールド、２フィールド、３フィールド、・・・に変換されている。さらに、その上から２番目に示す30HzのNTSC方式のピクチャの、先頭から３番目と４番目のフィールドがカットされ、上から３番目に示す30HzのNTSC方式のピクチャとされている。
この場合、上から３番目に示す30HzのNTSC方式のピクチャ（フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャ）の１番目と２番目のフィールドは、いずれも、映画フィルムの１番目のフレームから得られたものであるから、順次走査のピクチャと判定される。また、上から３番目に示す30HzのNTSC方式のピクチャの３番目と４番目のフィールドは、それぞれ、映画フィルムの３番目と４番目のフレームから得られたものであるから、飛び越し走査のピクチャと判定される。さらに、上から３番目に示す30HzのNTSC方式のピクチャの４乃至６番目のフィールドは、いずれも、映画フィルムの３番目のフレームから得られたものであるから、順次走査のピクチャと判定される。
以上のように、上から３番目に示す30HzのNTSC方式のピクチャの４番目のフィールドは、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定される。
このような重複判定の原因となる2-3韻律の不規則性は、編集の他、例えば、映画フィルムのピクチャを2-3プルダウンするときに行われるフィルムロールの切り替えによる2-3韻律のリセット、2-3プルダウンの対象となる映画フィルムのピクチャに含まれるノイズに起因する2-3韻律の誤検出などによっても生じる。
DVD Specifications for Read-Only Disc Part 3; Version 1.1 Dcecmber 1997
ところで、H.264/AVCでは、復号側において、符号化の対象となった元のピクチャが、順次走査または飛び越し走査のうちのいずれのピクチャであるかを識別するシンタクス(syntax)（構文）の指定方法が規定されておらず、符号化されたピクチャに、そのピクチャの走査方式が、飛び越し走査または順次走査のいずれであるかを示す識別情報が付随していないため、ピクチャ毎に、そのピクチャが、飛び越し走査のピクチャであるか、順次走査のピクチャであるかを判定する術がなかった。このため、ピクチャが、順次走査のピクチャであっても、復号側において、飛び越し走査されるフィールドとして出力されることがあり、この場合、１フィールド分の垂直解像度が失われる問題を有する。
本発明は、このような状況に鑑みてなされたものであり、順次走査のピクチャを、その垂直解像度を損なわないように表示することができるようにするものである。
本発明の一側面の復号装置、プログラム、又は、プログラム記録媒体は、2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号手段と、前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力手段とを備え、前記認識手段は、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する復号装置、そのような復号装置として、コンピュータを機能させるためのプログラム、又は、そのようなプログラムが記録されているプログラム記録媒体である。
本発明の一側面の復号方法は、2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号ステップと、前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力ステップとを備え、前記認識ステップは、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する復号方法である。
本発明の一側面においては、2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データが復号され、前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかが認識される。そして、前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャが生成されて出力され、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャが、フレームピクチャとして出力される。さらに、前記フレームピクチャは、前記pic_structに対応した回数だけ繰り返し出力される。ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるのかの認識では、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識され、前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識され、前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかが認識される。
本発明によれば、順次走査のピクチャを、その垂直解像度を損なわないように表示することが可能となる。
以下、図面を参照して、本発明の実施の形態について説明する。
図６は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
図６の画像処理システムは、画像符号化装置１０１、画像復号装置（再生装置）１０２、およびディスプレイ１０３から構成されている。
画像符号化装置１０１には、例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30HzのNTSC方式のピクチャが供給されるようになっており、画像符号化装置１０１は、例えば、基本的には、H.264/AVCの規格に準拠して、そこに供給される30HzのNTSC方式のピクチャを符号化し、その結果得られる符号化データを出力する。
即ち、画像符号化装置１０１は、そこに供給されるピクチャを、H.264/AVCの規格に準拠して符号化する。また、画像符号化装置１０１は、符号化対象のピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定し、その判定結果を、ピクチャの走査方式を表す走査フラグにセットする。さらに、画像符号化装置１０１は、符号化対象のピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットし、ピクチャの符号化結果と、ピクチャのごと走査フラグおよび表示方式指示情報とを多重化して、符号化データとして出力する。
画像符号化装置１０１が出力する符号化データは、例えば、光ディスクや、光磁気ディスク、磁気ディスク（ハードディスクを含む）、半導体メモリなどの記録媒体１０４に供給されて記録され、あるいは、インターネットや、電話回線、有線LAN(Local Area Network)、CATV(Cable Television)、または衛星回線や、地上波、無線LANなどの有線または無線の伝送媒体１０５を介して送信される。
画像復号装置１０２は、記録媒体１０４から読み出され、あるいは伝送媒体１０５を介して送信されてくる符号化データを受信して再生する。即ち、画像復号装置１０２は、、その符号化データを、例えば、基本的には、H.264/AVCの規格に準拠して復号する。さらに、画像復号装置１０２は、符号化データを復号することにより得られる復号画像を、後段のディスプレイ１０３に対応した画像に変換し、ディスプレイ１０３に供給する。
即ち、ディスプレイ１０３が、例えば、順次走査により、NTSC方式のフィールドの表示レート（フィールドレート）と同一の60Hz（正確には、59.94Hz）の表示レート（リフレッシュレート）で、画像を表示するディスプレイである場合、画像復号装置１０２は、復号画像を、60Hzの順次走査のフレームの画像（ピクチャ）に変換し、ディスプレイ１０３に供給する。
具体的には、画像復号装置１０２は、復号画像であるピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する。さらに、画像復号装置１０２は、ピクチャが、飛び越し走査のピクチャであると認識した場合、そのピクチャをフィールド補間することにより、フレームのピクチャ（フレームピクチャ）を生成する。また、画像復号装置１０２は、ピクチャが、順次走査のピクチャであると認識した場合、そのピクチャを、そのままフレームピクチャとする。そして、画像復号装置１０２は、フレームピクチャを、必要に応じて、表示方式指示情報に対応した回数だけ繰り返し出力することにより、60Hzの順次走査のフレームの画像（ピクチャ）を、ディスプレイ１０３に供給する。
これにより、ディスプレイ１０３では、60Hzの順次走査の画像（ピクチャ）が表示される。
次に、図６の画像符号化装置１０１と画像復号装置１０２の詳細について説明するが、その前に、H.264/AVCで規定されている幾つかのシンタクスについて説明する。
H.264/AVC(ISO/IEC 14496-10)では、pic_structとct_typeについて、以下のように記述されている。
pic_struct indicates whether a picture should be displayed as a frame or one or more fields, according to Table D-1. Frame doubling (pic_struct equal to 7) indicates that the frame should be displayed two times consecutively, and frame tripling (pic_struct equal to 8) indicates that the frame should be displayed three times consecutively.
NOTE - Frame doubling can facilitate the display, for example, of 25p video on a 50p display and 29.97p video on a 59.94p display. Using frame doubling and frame tripling in combination on every other frame can facilitate the display of 23.98p video on a 59.94p display.
NumClockTS is determined by pic_struct as specified in Table D-1. There are up to NumClockTS sets of clockTimestamp information for a picture, as specified by clock_timestamp_flag[i] for each set. The sets of clockTimestamp information apply to the field(s) or the frame(s) associated with the picture by pic_struct.
The contents of the clockTimestamp syntax elements indicate a time of origin, capture, or alternative ideal display. This indicated time is computed as
clockTimestamp = ( ( hH * 60 + mM ) * 60 + sS ) * time_scale +
nFrames * ( num_units_in_tick * ( 1 + nuit_field_based_flag ) ) + tOffset, (D-1)
in units of clock ticks of a clock with clock frequency equal to time_scale Hz, relative to some unspecified point in time for which clockTimestamp is equal to 0. Output order and DPB output timing are not affected by the value of clockTimestamp. When two or more frames with pic_struct equal to 0 are consecutive in output order and have equal values of clockTimestamp, the indication is that the frames represent the same content and that the last such frame in output order is the preferred representation.
NOTE - clockTimestamp time indications may aid display on devices with refresh rates other than those well-matched to DPB output times.
clock_timestamp_flag[i] equal to 1 indicates that a number of clockTimestamp syntax elements are present and follow immediately. clock_timestamp_flag[i] equal to 0 indicates that the associated clockTimestamp syntax elements are not present. When NumClockTS is greater than 1 and clock_timestamp_flag[i] is equal to 1 for more than one value of i, the value of clockTimestamp shall be non-decreasing with increasing value of i.
ct_type indicates the scan type (interlaced or progressive) of the source material as follows:
Two fields of a coded frame may have different values of ct_type.
When clockTimestamp is equal for two fields of opposite parity that are consecutive in output order, both with ct_type equal to 0 (progressive) or ct_type equal to 2 (unknown), the two fields are indicated to have come from the same original progressive frame. Two consecutive fields in output order shall have different values of clockTimestamp when the value of ct_type for either field is 1 (interlaced).
ここで、図７に、H.264/AVCにおいて記述されているpic_structのテーブルを、図８に、ct_typeのテーブルを示す。
図７のpic_structのテーブルは、上述のH.264/AVCの記述におけるTable D-1であり、図８のct_typeのテーブルは、上述のH.264/AVCのct_typeの記述において記述されているテーブルである。
上述のH.264/AVCの記述によれば、pic_structは、ピクチャをどのように表示するかの表示方式を指示する情報であり、このpic_structが、画像符号化装置１０１（図６）において、表示方式指示情報として使用される。
図７のpic_structのテーブルによれば、ピクチャによって、１フレームを表示することを指示する場合には、そのピクチャのpic_structには、図７の最も左のValueの欄に示されているように、0がセットされる。同様に、ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する場合には、そのピクチャのpic_structには、それぞれ1または2がセットされる。さらに、ピクチャによって、トップフィールドとボトムフィールドをその順で表示することを指示する場合には、そのピクチャのpic_structには、3がセットされ、ボトムフィールドとトップフィールドをその順で表示することを指示する場合には、pic_structには、4がセットされる。また、ピクチャによって、トップフィールド、ボトムフィールド、繰り返しトップフィールドをその順で表示することを指示する場合には、そのピクチャのpic_structには、5がセットされ、ボトムフィールド、トップフィールド、繰り返しボトムフィールドをその順で表示することを指示する場合には、pic_structには、6がセットされる。さらに、ピクチャによって、１フレームを２回繰り返しまたは３回繰り返し表示することを指示する場合には、そのピクチャのpic_structには、それぞれ7または8がセットされる。
従って、H.264/AVCでは、ピクチャがフィールドピクチャ(field picture)である場合には、そのピクチャのpic_structの値は、1または2のいずれかに制約される。また、ピクチャがフレームピクチャ(frame picture)である場合には、そのピクチャのpic_structの値は、0，3乃至8のいずれかに制約される。
一方、上述のH.264/AVCの記述によれば、ct-typeは、clockTimestampの算出に用いられる情報である。また、ct-typeは、H.264/AVCで規定されているclock_timestamp_flag[i]のエレメント(element)の１つである。clock_timestamp_flag[i]は、0または1のいずれかに設定され、clock_timestamp_flag[i]が0である場合、そのclock_timestamp_flag[i]には、エレメントが存在せず、clock_timestamp_flag[i]が1である場合、そのclock_timestamp_flag[i]には、エレメントが存在する。
ここで、clock_timestamp_flag[i]の引数iは、０乃至NumClockTSの範囲の整数値をとる。H.264/AVCにおいて、NumClockTSは、図７の最右欄に示すように、pic_structがとる値に応じて決められている。
図６の画像符号化装置１０１では、1がセットされたclock_timestamp_flag[0]のエレメント中のct_typeが、clockTimestampの算出ではなく、ピクチャの走査方式が、飛び越し走査または順次走査のうちのいずれであるかを表す走査フラグとして使用される。
図９は、以上のように、pic_structを表示方式指示情報として使用するとともに、ct_typeを走査フラグとして使用する図６の画像符号化装置１０１の構成例を示している。
なお、図９において、図３の画像符号化装置における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図９の画像符号化装置１０１は、pic_struct並びに飛び越し走査／順次走査識別装置１１１（以下、適宜、単に、識別装置１１１という）が新たに設けられている他は、図３の画像符号化装置と基本的に同様に構成されている。
識別装置１１１には、2-3検出装置２から、2-3韻律の検出結果やフィールド間差分情報が供給されるようになっている。識別装置１１１は、2-3検出装置２からの2-3韻律の検出結果やフィールド間差分情報に基づき、画面並べ替えバッファ３から加算器４に出力される符号化対象のピクチャである注目ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを、2-3検出装置２と同様にして判定する。そして、識別装置１１１は、その判定結果を、走査フラグとしてのct_typeにセットし、可逆符号化装置７に供給する。
ここで、識別装置１１１では、注目ピクチャの走査方式が、例えば、2-3検出装置２と同様にして判定される。従って、識別装置１１１の判定結果と、2-3検出装置２の判定結果とは、同一になるので、識別装置１１１では、注目ピクチャの走査方式を判定せずに、2-3検出装置２の判定結果を利用するようにしても良い。
識別装置１１１は、さらに、注目ピクチャの表示方式を表す値（図７のValueの欄の値）を、pic_structにセットする。
ここで、H.264/AVCでは、上述したように、ピクチャがフィールドピクチャである場合はpic_structの値は、１または２のいずれかに制約され、ピクチャがフレームピクチャである場合は、pic_structの値は、０，３乃至８のいずれかに制約される。
識別装置１１１は、かかる制約の下、注目ピクチャの表示方式を表す値を、pic_structにセットする。
具体的には、識別装置１１１は、注目ピクチャが飛び越し走査のピクチャであると判定した場合、注目ピクチャの表示方式に応じて、その注目ピクチャによって、トップフィールドを表示することを指示する１か、ボトムフィールドを表示することを指示する２か、トップフィールドとボトムフィールドとをその順で表示することを指示する３か、またはボトムフィールドとトップフィールドとをその順で表示することを指示する４を、pic_structにセットする。即ち、この場合、飛び越し走査のピクチャである注目ピクチャがフィールドピクチャであれば、１または２のうちのいずれかが、pic_structにセットされ、注目ピクチャがフレームピクチャであれば、３または４のうちのいずれかが、pic_structにセットされる。
また、識別装置１１１は、注目ピクチャが順次走査のピクチャであると判定した場合、注目ピクチャの表示方式に応じて、その注目ピクチャによって、フレームを表示することを指示する０か、トップフィールドとボトムフィールドとをその順で表示することを指示する３か、ボトムフィールドとトップフィールドとをその順で表示することを指示する４か、トップフィールド、ボトムフィールド、トップフィールドをその順で表示することを指示する5か、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6をセットする。
識別装置１１１は、以上のように、注目ピクチャのpic_structに、その注目ピクチャの表示方式を表す値をセットし、可逆符号化装置７に供給する。
なお、ここでは、ピクチャによって、２フレームまたは３フレームを表示することをそれぞれ指示する7または8（図７）は、pic_structにセットされないものとする。但し、H.264/AVCで規定されているfixed_frame_rate_flagが１であり、符号化対象のピクチャのシーケンスが固定フレームレートを満たす場合において、順次走査のピクチャを繰り返し表示することを指定するときには、pic_structには、７または８をセットすることができる。
次に、図１０のフローチャートを参照して、図９の画像符号化装置１０１の処理について説明する。
画像符号化装置１０１では、ステップＳ１において、画面並べ替えバッファ３から加算器４に出力されるピクチャが、順次、注目ピクチャとされ、その注目ピクチャが、図３の画像符号化装置における場合と同様にして符号化されていく。
ここで、図３で説明したように、2-3検出装置２は、A/D変換装置１からの２フィールドのピクチャの組または３フィールドのピクチャの組が、順次走査のピクチャであると判定した場合、その２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、画面並べ替えバッファ３に供給する。また、2-3検出装置２は、あるフレームを構成する２フィールドが、飛び越し走査のピクチャであると判定した場合、その２フィールドのピクチャは、符号化効率に応じて、それぞれ、フィールドピクチャとして、または、その２フィールドで構成される１フレームのフレームピクチャとして、画面並べ替えバッファ３に供給する。従って、2-3検出装置２から画面並べ替えバッファ３に供給され、さらに、画面並べ替えバッファ３から加算器４に供給されるピクチャのレートは、20Hz（３フィールドのピクチャの組から１フレームの順次走査のピクチャが構成される場合）から30Hzの範囲の値となる。
画像符号化装置１０１では、ステップＳ１の符号化の処理と並行して、ステップＳ１１において、識別装置１１１が、2-3検出装置２から供給される2-3韻律の検出結果やフィールド間差分情報に基づき、画面並べ替えバッファ３から加算器４に出力される符号化対象のピクチャである注目ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定する。
ステップＳ１１において、注目ピクチャが順次走査のピクチャであると判定された場合、ステップＳ１２に進み、識別装置１１１は、走査フラグとしての、注目ピクチャのct_typeに、「順次走査」を表す値（例えば、０）をセットし、可逆符号化装置７に供給して、ステップＳ１３に進む。
ステップＳ１３では、識別装置１１１は、順次走査のピクチャであると判定した注目ピクチャのpic_structに、０，３乃至６のうちの、注目ピクチャの表示方式に応じた値をセットし、可逆符号化装置７に供給して、ステップＳ１４に進む。
ステップＳ１４では、可逆符号化装置７は、注目ピクチャの符号化結果と、識別装置１１１からの注目ピクチャのct_typeおよびpic_structを多重化し、その多重化結果としての符号化データを、蓄積バッファ８を介して出力する。そして、ステップＳ１４からＳ１１に戻り、次の符号化対象のピクチャを注目ピクチャとして、その注目ピクチャについて、以下、同様の処理が行われる。
ここで、可逆符号化装置７は、ステップＳ１４において、少なくとも、注目ピクチャのclock_timestamp_flag[0]に1をセットし、そのclock_timestamp_flag[0]のエレメントとして、識別装置１１１からの、注目ピクチャのct_typeを多重化する。
なお、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]（kは、１以上の整数値）については、H.264/AVCに準拠した情報をセットしても良いし、また、clock_timestamp_flag[k]=0として、何らの情報もセットしなくても良い。
一方、ステップＳ１１において、注目ピクチャが飛び越し走査のピクチャであると判定された場合、ステップＳ１５に進み、識別装置１１１は、走査フラグとしての、注目ピクチャのct_typeに、「飛び越し走査」を表す値（例えば、１）をセットし、可逆符号化装置７に供給して、ステップＳ１６に進む。
ステップＳ１６では、識別装置１１１は、注目ピクチャが、フィールドピクチャまたはフレームピクチャのいずれであるかを判定する。
ステップＳ１６において、注目ピクチャがフィールドピクチャであると判定された場合、ステップＳ１７に進み、識別装置１１１は、フィールドピクチャであり、かつ飛び越し走査のピクチャであると判定された注目ピクチャのpic_structに、１または２のうちの、注目ピクチャの表示方式に応じた値をセットする。さらに、ステップＳ１７では、識別装置１１１は、注目ピクチャのpic_structを、可逆符号化装置７に供給して、ステップＳ１４に進み、以下、上述した場合と同様の処理が行われる。
また、ステップＳ１６において、注目ピクチャがフレームピクチャであると判定された場合、ステップＳ１８に進み、識別装置１１１は、フレームピクチャであり、かつ飛び越し走査のピクチャであると判定された注目ピクチャのpic_structに、３または４のうちの、注目ピクチャの表示方式に応じた値をセットする。さらに、ステップＳ１８では、識別装置１１１は、注目ピクチャのpic_structを、可逆符号化装置７に供給して、ステップＳ１４に進み、以下、上述した場合と同様の処理が行われる。
以上のようにして、画像符号化装置１０１では、注目ピクチャの走査方式の判定結果がct_typeにセットされ、その注目ピクチャの符号化結果と、ct_typeおよびpic_structとが多重化された符号化データが出力される。
次に、図１１は、図６の画像復号装置１０２の構成例を示している。なお、図１１において、図４の画像復号装置における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１の画像復号装置１０２は、画面並べ替えバッファ２８に代えて、画面並べ替えバッファ１２１が設けられており、さらに、その画面並べ替えバッファ１２１と、D/A変換装置２９との間に、I/P変換装置１２２、表示画像出力バッファ１２３、および画枠サイズ変換装置１２４が新たに設けられている他は、図４の画像復号装置と同様に構成されている。
画面並べ替えバッファ１２１は、加算器２５から供給される復号画像（ピクチャ）を一時記憶し、表示順に並び替えて、I/P変換装置１２２に出力する。
ここで、図４の画像復号装置における画面並べ替えバッファ２８は、前述したように、表示順に並べ替えられた24Hzの映画フィルムのピクチャを、pic_structにしたがって、30HzのNTSC方式のピクチャにして出力するが、画面並べ替えバッファ１２１は、単に、加算器２５から供給されるピクチャを、表示順で、I/P変換装置１２２に出力する。画面並べ替えバッファ１２１からI/P変換装置１２２に出力されるピクチャのレートは、図９の画像符号化装置１０１において、2-3検出装置２から画面並べ替えバッファ３に供給され、さらに、画面並べ替えバッファ３から加算器４に供給されるピクチャのレートと同様に、20Hzから30Hzの範囲の値となる。
I/P変換装置１２２には、上述したように、画面並べ替えバッファ１２１からピクチャ（復号画像）が供給される他、可逆復号装置２２から、画面並べ替えバッファ１２１からの各ピクチャのct_typeとpic_structが供給されるようになっている。
I/P(Interlace/Progressive)変換装置１２２は、画面並べ替えバッファ１２１から供給されるピクチャを、順次、注目ピクチャとして、可逆復号装置２２から供給される注目ピクチャのct_typeとpic_structに基づき、注目ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する。さらに、I/P変換装置１２２は、注目ピクチャが、飛び越し走査のピクチャであると認識した場合、その注目ピクチャをフィールド補間することにより、フレームピクチャを生成して、表示画像出力バッファ１２３に出力して記憶させる。また、I/P変換装置１２２は、注目ピクチャが、順次走査のピクチャであると認識した場合、その注目ピクチャを、そのまま、フレームピクチャとして、表示画像出力バッファ１２３に出力する。
さらに、I/P変換装置１２２は、注目ピクチャのpic_structに応じて、表示画像出力バッファ１２３に記憶されたフレームピクチャの出力回数（表示画像出力バッファ１２３に記憶されたフレームピクチャの読み出し回数）を制御する。
表示画像出力バッファ１２３は、I/P変換装置１２２から供給されるフレームピクチャを記憶する。また、表示画像出力バッファ１２３は、そこに記憶したフレームピクチャを、I/P変換装置１２２の制御にしたがって１回だけ、または複数回繰り返し読み出し、画枠サイズ変換装置１２４に供給する。
画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを、ディスプレイ１０３（図６）の表示画面に対応した画枠サイズに変換し、D/A変換装置２９に供給する。
次に、図１２のフローチャートを参照して、図１１の画像復号装置１０２の処理について説明する。
画像復号装置１０２では、ステップＳ２１において、そこに供給される符号化データが、図４の画像復号装置における場合と同様にして復号され、その結果得られる復号画像（ピクチャ）が、画面並べ替えバッファ１２１に、順次記憶されていく。この画面並べ替えバッファ１２１に記憶されたピクチャは、画面並べ替えバッファ１２１において表示順に並べ替えられ、順次、I/P変換装置１２２に出力されていく。
ここで、可逆復号装置２２は、ステップＳ２１の復号の処理において、図４の画像復号装置における場合と同様の処理を行う他、符号化データから、各ピクチャのct_typeとpic_structを分離し、I/P変換装置１２２に供給する。
なお、可逆復号装置２２は、符号化データに多重化されている、１になっているclock_timestamp_flag[i]、即ち、本実施の形態では、clock_timestamp_flag[0]を解析することにより、そのエレメントとなっているct_typeを得て、I/P変換装置１２２に供給する。また、可逆復号装置２２では、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]（kは、１以上の整数値）は、解析しても良いし、しなくても良い。但し、可逆復号装置２２は、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]を解析し、ct_typeを得た場合であっても、そのct_typeを無視する。
画像復号装置１０２では、ステップＳ２１の復号の処理と並行して、ステップＳ３１において、I/P変換装置１２２が、画面並べ替えバッファ１２１からのピクチャを、注目ピクチャとして、可逆復号装置２２から供給される各ピクチャのct_typeとpic_structから、注目ピクチャのct_typeとpic_structを取得し、ステップＳ３２に進む。
ステップＳ３２では、I/P変換装置１２２は、注目ピクチャのpic_structの値を判定する。
ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、フレームを表示することを指示する０か、トップフィールド、ボトムフィールド、トップフィールドをその順で表示することを指示する5か、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6であると判定された場合、ステップＳ３３に進み、I/P変換装置１２２は、注目ピクチャが、順次走査のピクチャであると認識し、ステップＳ３４に進む。
ステップＳ３４では、I/P変換装置１２２は、順次走査のピクチャである注目ピクチャを、そのままフレームピクチャとして、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３５に進む。
ステップＳ３５では、I/P変換装置１２２は、注目ピクチャのpic_structに対応した回数だけ、直前のステップＳ３４で記憶したフレームピクチャを繰り返し読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがった回数だけ繰り返し読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
即ち、いまの場合、注目ピクチャのpic_structは、０，５、または６のうちのいずれかであり、注目ピクチャのpic_structが０である場合、表示画像出力バッファ１２３に記憶されたフレームピクチャは１回だけ読み出され、画枠サイズ変換装置１２４に供給される。また、注目ピクチャのpic_structが５または６である場合、いずれの場合も、表示画像出力バッファ１２３に記憶されたフレームピクチャは３回だけ繰り返し読み出され、画枠サイズ変換装置１２４に供給される。
なお、符号化データには、図９の画像符号化装置１０１において符号化されたNTSC方式のピクチャのフィールドレートのレート情報が含まれており、表示画像出力バッファ１２３から画枠サイズ変換装置１２４へのフレームピクチャの出力は、レート情報が表すレートで行われる。従って、ここでは、NTSC方式のフィールドレート、即ち、ディスプレイ１０３の表示レートでもある60Hzで、表示画像出力バッファ１２３から画枠サイズ変換装置１２４へのフレームピクチャの出力が行われる。
ステップＳ３５の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
一方、ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、トップフィールドまたはボトムフィールドを表示することをそれぞれ指示する1または2であると判定された場合、ステップＳ３７に進み、I/P変換装置１２２は、注目ピクチャが、飛び越し走査のピクチャであると認識し、ステップＳ３８に進む。
ステップＳ３８では、I/P変換装置１２２は、飛び越し走査のピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３９に進む。
即ち、いまの場合、注目ピクチャのpic_structは、１または２のうちのいずれかであり、従って、飛び越し走査のピクチャである注目ピクチャは、フィールドピクチャである。I/P変換装置１２２は、フィールドピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し（いわゆる、インタレース→プログレッシブ変換を行い）、表示画像出力バッファ１２３に供給して記憶させる。なお、フィールド補間の方法は、特に限定されるものではない。
ステップＳ３９では、I/P変換装置１２２は、直前のステップＳ３８で記憶したフレームピクチャを１回だけ読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがって１回だけ読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
ステップＳ３９の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
一方、ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、トップフィールドとボトムフィールドをその順で表示することを指示する３か、またはボトムフィールドとトップフィールドをその順で表示することを指示する4であると判定された場合、ステップＳ４０に進み、I/P変換装置１２２は、注目ピクチャのct_type（走査フラグ）に基づき、注目ピクチャが、順次走査または飛び越し走査のうちのいずれのピクチャであるかを判定する。
ステップＳ４０において、注目ピクチャが順次走査のピクチャであると判定された場合、即ち、注目ピクチャのct_typeが「順次走査」を表している場合、ステップＳ３３に進み、I/P変換装置１２２は、上述したように、注目ピクチャが、順次走査のピクチャであると認識し、ステップＳ３４に進む。
ステップＳ３４では、I/P変換装置１２２は、順次走査のピクチャである注目ピクチャを、そのままフレームピクチャとして、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３５に進む。
ステップＳ３５では、I/P変換装置１２２は、注目ピクチャのpic_structに対応した回数だけ、直前のステップＳ３４で記憶したフレームピクチャを繰り返し読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがった回数だけ繰り返し読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
即ち、いまの場合、注目ピクチャのpic_structは、３または４のうちのいずれかであり、いずれの値であっても、表示画像出力バッファ１２３に記憶されたフレームピクチャは２回だけ繰り返し読み出され、画枠サイズ変換装置１２４に供給される。
ステップＳ３５の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、次の注目ピクチャについて、以下、同様の処理が行われる。
一方、ステップＳ４０において、注目ピクチャが飛び越し走査のピクチャであると判定された場合、即ち、注目ピクチャのct_typeが「飛び越し走査」を表している場合、ステップＳ３７に進み、I/P変換装置１２２は、上述したように、注目ピクチャが、飛び越し走査のピクチャであると認識し、ステップＳ３８に進む。
ステップＳ３８では、I/P変換装置１２２は、飛び越し走査のピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３９に進む。
即ち、いまの場合、注目ピクチャのpic_structは、３または４のうちのいずれかであるので、飛び越し走査のピクチャである注目ピクチャはフレームピクチャであり、かかる飛び越し走査のフレームピクチャによれば、本来、トップフィールドとボトムフィールドとがその順で表示され、またはボトムフィールドとトップフィールドとがその順で表示される。一方、本実施の形態では、ディスプレイ１０３（図６）は、順次走査のピクチャを表示するディスプレイである。
そこで、I/P変換装置１２２は、フレームピクチャである注目ピクチャのトップフィールドとボトムフィールドそれぞれをフィールド補間することにより、フレームピクチャを生成する。そして、I/P変換装置１２２は、注目ピクチャのpic_structが３である場合には、トップフィールドから生成したフレームピクチャと、ボトムフィールドから生成したフレームピクチャを、その順で、表示画像出力バッファ１２３に供給して記憶させる。また、I/P変換装置１２２は、注目ピクチャのpic_structが４である場合には、ボトムフィールドから生成したフレームピクチャと、トップフィールドから生成したフレームピクチャを、その順で、表示画像出力バッファ１２３に供給して記憶させる。
ステップＳ３９では、I/P変換装置１２２は、直前のステップＳ３８で記憶した２つのフレームピクチャそれぞれを１回だけ読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶された２つのフレームピクチャが、I/P変換装置１２２の制御にしたがって１回ずつ、その記憶順に読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
ステップＳ３９の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
以上のように、画像復号装置１０２では、I/P変換装置１２２において、ピクチャのct_typeとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識し、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に出力して記憶させ、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして、表示画像出力バッファ１２３に出力して記憶させる。さらに、画像復号装置１０２では、表示画像出力バッファ１２３に記憶されたフレームピクチャが、pic_structに対応した回数だけ繰り返し出力される。
従って、順次走査のピクチャのpic_structが３または４である場合に、その順次走査のピクチャが、トップフィールドとボトムフィールドとに分離され、飛び越し走査されるフィールドとして出力されることにより、１フィールド分の垂直解像度が失われることを防止することができる。
ここで、H.264/AVCにおけるpic_structの０乃至８の定義（図７）のうちの、３と４は、飛び越し走査のディスプレイにおいて、フィールドの時間位相差表示を行うことを意識したものであり、順次走査のディスプレイにおいて、どのように表示を行うかは特定されていない。
これに対して、画像復号装置１０２においては、pic_structが３または４の飛び越し走査のフレームピクチャについては、そのトップフィールドとボトムフィールドそれぞれからフレームピクチャが生成され、その２つのフレームピクチャそれぞれが、１回だけ、ディスプレイ１０３に供給される。また、pic_structが３または４の順次走査のフレームピクチャについては、そのフレームピクチャが２回繰り返して、ディスプレイ１０３に供給される。従って、順次走査のディスプレイであるディスプレイ１０３においては、画像復号装置１０２から上述のようにして供給されるフレームピクチャを表示することができる。
なお、図１１の画像復号装置１０２において、画枠サイズ変換装置１２４による画枠サイズの変換の処理は、I/P変換装置１２２において行うことが可能である。この場合、画枠サイズ変換装置１２４を設けずに、画像復号装置１０２を構成することができ、さらに、処理の簡素化を図ることができる。
次に、図１３を参照して、図９の画像符号化装置１０１と、図１１の画像復号装置１０２の処理について、さらに説明する。
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャが、図１３の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
ここで、図１３の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
図１３の上から１番目のNTSC方式のフィールドピクチャにおいては、その第２フィールドと第３フィールドとの間でカット編集が行われており、さらに、その第４フィールドと第５フィールドとの間でもカット編集が行われている。
いま、図９の画像符号化装置１０１の2-3検出装置２（および識別装置１１１）において、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第５乃至第７フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されたものとする。
画像符号化装置１０１では、順次走査のピクチャは、フレームピクチャとして符号化され、飛び越し走査のピクチャは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化される。
従って、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１３の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第５乃至第７フィールドも、図１３の上から２番目に示すように、１つのフレームピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第５乃至第７フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
さらに、識別装置１１１では、第５乃至第７フィールドを１フレームとしたフレームピクチャによって、第５乃至第７フィールドの３フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの５または６にセットされる。
一方、飛び越し走査のピクチャである第３および第４フィールドは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化されるが、いま、例えば、フィールドピクチャの符号化効率の方が高いものとすると、図１３の上から２番目に示すように、フィールドピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャと、第４フィールドのフィールドピクチャの走査フラグとしてのct_typeに、いずれも、「飛び越し走査」がセットされる。
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。同様に、第４フィールドのフィールドピクチャによっても、第４フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
この場合、図１１の画像復号装置１０２では、図１３の上から３番目に示すように、ピクチャが復号される。
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「順次走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
第４フィールドのフィールドピクチャについても、第３フィールドのフィールドピクチャと同様に、pic_structに１または２がセットされているので、画像復号装置１０２では、第４フィールドのフィールドピクチャをフィールド補間することによって得られるフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
そして、第５乃至第７フィールドを１フレームとしたフレームピクチャについては、pic_structに５または６がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第５乃至第７フィールドを１フレームとした順次走査のフレームピクチャが、５または６がセットされているpic_structに対応して３回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
なお、飛び越し走査のピクチャである第３および第４フィールドについて、フレームピクチャまたはフィールドピクチャのうちの、例えば、フレームピクチャとして符号化を行った方が符号化効率が高い場合には、画像符号化装置１０１では、第３および第４フィールドからなるフレームピクチャが符号化される。
この場合、画像符号化装置１０１の識別装置１１１では、第３および第４フィールドからなるフレームピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
また、識別装置１１１では、第３および第４フィールドからなるフレームピクチャによって、第３フィールドと第４フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる（図１３の上から２番目）。
この場合、図１１の画像復号装置１０２では、第３および第４フィールドからなるフレームピクチャは、次のように復号される。即ち、第３および第４フィールドからなるフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「飛び越し走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３および第４フィールドからなるフレームピクチャのトップフィールドとボトムフィールドのそれぞれをフィールド補間することによって２つのフレームピクチャが生成される。そして、その２つフレームピクチャが、それぞれ１回だけ、ディスプレイ１０３に出力されて表示される。
以上により、ディスプレイ１０３では、フレームレートが６０Hzのピクチャが順次走査により表示される。
なお、図５で説明したように、2-3検出装置２では（従って、識別装置１１１でも）、あるピクチャが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されることがあり得る。この場合、画像符号化装置１０１では、飛び越し走査のピクチャであるという判定結果と、順次走査のピクチャであるという判定結果のうちのいずれかを優先させるようにすることができる。
即ち、図１４は、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定された場合に、飛び越し走査のピクチャであるという判定結果を優先させるときの画像符号化装置１０１と画像復号装置１０２の処理を説明する図である。
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが６０Hz）のNTSC方式のピクチャが、図１４の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
ここで、図１３における場合と同様に、図１４の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
いま、画像符号化装置１０１の2-3検出装置２（および識別装置１１１）において、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されたものとする。
この場合、第４フィールドが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されている。図１４の実施の形態では、重複判定された場合に、飛び越し走査のピクチャであるという判定結果が優先され、結局、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第５および第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定される。
画像符号化装置１０１では、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１４の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第５および第６フィールドも、図１４の上から２番目に示すように、１つのフレームピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第５および第６フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
さらに、識別装置１１１では、第５および第６フィールドを１フレームとしたフレームピクチャによって、第５および第６フィールドの２フィールドを表示する必要があるため、そのpic_structも、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
一方、飛び越し走査のピクチャである第３および第４フィールドは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化されるが、いま、例えば、フィールドピクチャの符号化効率の方が高いものとすると、図１４の上から２番目に示すように、フィールドピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャと、第４フィールドのフィールドピクチャの走査フラグとしてのct_typeに、いずれも、「飛び越し走査」がセットされる。
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。同様に、第４フィールドのフィールドピクチャによっても、第４フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
この場合、図１１の画像復号装置１０２では、図１４の上から３番目に示すように、ピクチャが復号される。
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「順次走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
第４フィールドのピクチャについても、同様に、pic_structに１または２がセットされているので、画像復号装置１０２では、第４フィールドのフィールドピクチャをフィールド補間することによって得られるフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
そして、第５および第６フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているので、画像復号装置１０２では、第１および第２フィールドを１フレームとしたフレームピクチャと同様に、第５および第６フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
以上により、ディスプレイ１０３では、フレームレートが６０Hzのピクチャが順次走査により表示される。
なお、飛び越し走査のピクチャである第３および第４フィールドについて、フレームピクチャまたはフィールドピクチャのうちの、例えば、フレームピクチャとして符号化を行った方が符号化効率が高い場合には、画像符号化装置１０１では、第３および第４フィールドからなるフレームピクチャが符号化される。
この場合、画像符号化装置１０１の識別装置１１１では、第３および第４フィールドからなるフレームピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
また、識別装置１１１では、第３および第４フィールドからなるフレームピクチャによって、第３フィールドと第４フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる（図１４の上から２番目）。
この場合、第３および第４フィールドからなるフレームピクチャのpic_structに３または４がセットされているが、ct_typeに「飛び越し走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３および第４フィールドからなるフレームピクチャのトップフィールドとボトムフィールドのそれぞれをフィールド補間することによって２つのフレームピクチャが生成される。そして、その２つフレームピクチャが、それぞれ１回だけ、ディスプレイ１０３に出力されて表示される。
次に、図１５は、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定された場合に、順次走査のピクチャであるという判定結果を優先させるときの画像符号化装置１０１と画像復号装置１０２の処理を説明する図である。
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャが、図１５の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
ここで、図１３および図１４と同様に、図１５の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
図１５の上から１番目のNTSC方式のフィールドピクチャは、図１４の上から１番目に示したフィールドピクチャと同一のものとなっており、従って、画像符号化装置１０１の2-3検出装置２（および識別装置１１１）では、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されている。即ち、第４フィールドが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されている。
図１５の実施の形態では、重複判定された場合に、順次走査のピクチャであるという判定結果が優先され、結局、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定される。
画像符号化装置１０１では、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１５の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第４乃至第６フィールドも、図１５の上から２番目に示すように、１つのフレームピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第４乃至第６フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
さらに、識別装置１１１では、第４乃至第６フィールドを１フレームとしたフレームピクチャによって、第４乃至第６フィールドの３フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの５または６にセットされる。
一方、飛び越し走査のピクチャである第３フィールドは、フレームピクチャを構成する他のフィールドが存在しないため、図１５の上から２番目に示すように、フィールドピクチャとして符号化される。
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
この場合、画像復号装置１０２では、図１５の上から３番目に示すように、ピクチャが復号される。
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、図１４における場合と同様に、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
そして、第４乃至第６フィールドを１フレームとしたフレームピクチャについては、pic_structに５または６がセットされているので、画像復号装置１０２では、第４乃至第６フィールドを１フレームとした順次走査のフレームピクチャが、５または６がセットされているpic_structに対応して３回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
次に、上述した実施の形態では、走査フラグとして、１がセットされたclock_timestamp_flag[0]の中のct_typeを使用することとしたが、その他、走査フラグとしては、例えば、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報を使用することができる。
即ち、H.264/AVCでは、ユーザが任意に定義したシンタクスを挿入することができるuser data SEIと呼ばれるシンタクスが用意されている。user data SEIには、user data registered by ITU-T Recommendation T.35 SEIと、user data unregistered SEIと呼ばれる２種類のシンタクスが定義されている。図１６に、user data registered by ITU-T Recommendation T.35 SEIのシンタクスを、図１７に、user data unregistered SEIのシンタクスを、それぞれ示す。
ここで、H.264/AVCでは、user data registered by ITU-T Recommendation T.35 SEIについて、以下のように記述されている。
User data registered by ITU-T Recommendation T.35 SEI message semantics
This message contains user data registered as specified by ITU-T Recommendation T.35, the contents of which are not specified by this Recommendation | International Standard.
itu_t_t35_country_code shall be a byte having a value specified as a country code by ITU-T Recommendation T.35 Annex A.
itu_t_t35_country_code_extension_byte shall be a byte having a value specified as a country code by ITU-T Recommendation T.35 Annex B.
itu_t_t35_payload_byte shall be a byte containing data registered as specified by ITU-T Recommendation T.35.
The ITU-T T.35 terminal provider code and terminal provider oriented code shall be contained in the first one or more bytes of the itu_t_t35_payload_byte, in the format specified by the Administration that issued the terminal provider code. Any remaining itu_t_t35_payload_byte data shall be data having syntax and semantics as specified by the entity identified by the ITU-T T.35 country code and terminal provider code.
また、H.264/AVCでは、user data unregistered SEIについて、以下のように記述されている。
User data unregistered SEI message semantics
This message contains unregistered user data identified by a UUID, the contents of which are not specified by this Recommendation | International Standard.
UUID_iso_iec_11578 shall have a value specified as a UUID according to the procedures of ISO/IEC 11578:1996 Annex A.
user_data_payload_byte shall be a byte containing data having syntax and semantics as specified by the UUID generator.
図１６に示したuser data registered by ITU-T Recommendation T.35 SEIには、そのitu_t_35_payload_byteのエレメントとして、ユーザ定義の情報を、ピクチャごとに挿入することができるので、そのユーザ定義の情報として、走査フラグを挿入することができる。なお、itu_t_35_payload_byteに走査フラグを挿入する場合には、ITU-T T.35に基づいた端末（プロバイダ）の登録が必要となる。
また、図１７に示したuser data unregistered SEIには、そのuser_data_payload_byteのエレメントとして、ユーザ定義の情報を、ピクチャごとに挿入することができるので、そのユーザ定義の情報として、走査フラグを挿入することができる。なお、user_data_payload_byteに走査フラグを挿入する場合には、UUIDを指定し、user data SEIの識別を可能にするが必要がある。
図１８は、itu_t_35_payload_byteまたはuser_data_payloadのエレメントとして、走査フラグを挿入する場合の、そのエレメントのシンタクスの例を示している。
図１８において、scan_information()は、ユーザ定義の、itu_t_35_payload_byteまたはuser_data_payloadのエレメントであり、走査フラグとしての１ビットのprog_inter_flagと、予約(reserved)の１５ビットのreserved_for_future_useとから構成される。走査フラグとしてのprog_inter_flagには、「順次走査」を表す値としての、例えば０か、または「飛び越し走査」を表す値としての、例えば１が、識別装置１１１においてセットされる。
なお、走査フラグとして使用するシンタクスは、上述したct_typeや、user data registered by ITU-T Recommendation T.35 SEI，user data unregistered SEIに限定されるものではない。さらに、画像符号化装置１０１では、走査フラグは、符号化データに埋め込む他、符号化データに付随する形式で、記録媒体１０４に記録し、あるいは、伝送媒体１０５を介して送信することができる。
ところで、図６の画像処理システムでは、画像符号化装置１０１において、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャを符号化対象として、符号化を行い、その結果得られる符号化データを、画像復号装置１０２で、60Hzの順次走査のピクチャに復号し、その60Hzの順次走査のピクチャを、60Hzの順次走査で表示を行うディスプレイ１０３で表示するようになっている。
画像符号化装置１０１において、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャを符号化対象としたのは、現在、映画コンテンツについては、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャが流通することが一般的であるためであるが、今後は、24Hzの映画フィルムのピクチャが、2-3プルダウンされることなく、そのまま流通することが予想される。
この場合、画像符号化装置１０１では、24Hzの映画フィルムのピクチャが入力され、そのピクチャを符号化対象として符号化が行われることになり、画像復号装置１０２では、画像符号化装置１０１において得られる符号化データが、24Hzの映画フィルムのピクチャに復号される。
一方、ディスプレイ１０３は、60Hzの順次走査で表示を行うから、画像復号装置１０２での復号により得られる24Hzの映画フィルムのピクチャは、そのままでは、ディスプレイ１０３に表示することができない。
また、H.264/AVCでは、映画フィルムのピクチャなどの24Hzの順次走査のピクチャを、60Hzの順次走査のディスプレイ１０３で表示する場合の、ピクチャの表示間隔を定める術がない。
そこで、図１９は、24Hzの順次走査のピクチャを符号化対象として符号化、復号を行い、その復号によって得られる24Hzの順次走査のピクチャを、60Hzの順次走査で表示する画像処理システムの構成例を示している。
なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
画像符号化装置２０１には、例えば、24Hzの順次走査のピクチャが供給されるようになっており、画像符号化装置２０１は、例えば、基本的には、H.264/AVCの規格に準拠して、そこに供給される24Hzの順次走査のピクチャを符号化し、その結果得られる符号化データを出力する。
画像符号化装置２０１が出力する符号化データは、例えば、記録媒体１０４に供給されて記録され、あるいは、伝送媒体１０５を介して送信される。
画像復号装置２０２は、記録媒体１０４から再生され、あるいは伝送媒体１０５を介して送信されてくる符号化データを受信し、その符号化データを、例えば、基本的には、H.264/AVCの規格に準拠して、24Hzの順次走査のピクチャに復号する。さらに、画像復号装置２０２は、24Hzの順次走査のピクチャの、後段のディスプレイ１０３に対する出力回数を制御することで、60Hzの順次走査のピクチャを、ディスプレイ１０３に供給する。
これにより、60Hzの順次走査のディスプレイ１０３において、画像復号装置２０２から供給される60Hzの順次走査のピクチャが表示される。
次に、図２０は、図１９の画像符号化装置２０１の構成例を示している。なお、図中、図３または図９における場合と対応する部分については、同一の符号を付してある。
画像符号化装置２０１は、2-3検出装置２が設けられていない他は、基本的に、図３の画像符号化装置と同様に構成されている。そして、画像符号化装置２０１には、24Hzの順次走査のピクチャが供給されるようになっており、画像符号化装置２０１では、その24Hzの順次走査のピクチャが、図３における場合と同様にして符号化される。
次に、図２１は、図１９の画像復号装置２０２の構成例を示している。なお、図中、図４または図１１における場合と対応する部分については、同一の符号を付してある。
画像復号装置２０２は、画面並べ替えバッファ２８に代えて、図１１の画面並べ替えバッファ１２１が設けられており、さらに、表示画像出力バッファ２１１および出力制御部２１２が新たに設けられている他は、基本的に、図４の画像復号装置と同様に構成されている。
表示画像出力バッファ２１１は、画面並べ替えバッファ１２１から供給されるピクチャを一時記憶する。ここで、図１９の画像符号化装置２０１では、24Hzの順次走査のピクチャを符号化対象として符号化が行われる。従って、図２１の画像復号装置２０２において、加算器２５から画面並べ替えバッファ１２１に供給されて記憶されるのは、画像符号化装置２０１で符号化対象となった24Hzの順次走査のピクチャであり、表示画像出力バッファ２１１は、その24Hzの順次走査のピクチャを一時記憶する。
そして、表示画像出力バッファ２１１は、そこに記憶したピクチャを、出力制御部２１２の制御にしたがった回数だけ読み出し、D/A変換装置２９を介してディスプレイ１０３（図１９）に供給する。
即ち、出力制御部２１２は、加算器２５から画面並べ替えバッファ１２１に供給される、復号されたピクチャのフレームレート、即ち、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数（表示画像出力バッファ２１１からの読み出し回数）を制御する。
これにより、表示画像出力バッファ２１１からは、ディスプレイ１０３の表示レートに一致するフレームレートの順次走査のピクチャが出力され、D/A変換装置２９を介してディスプレイ１０３に供給される。
ここで、符号化対象のピクチャのフレームレートのフレームレート情報は、例えば、画像符号化装置２０１において、符号化データに多重化されるようになっており、画像復号装置２０２の出力制御部２１２は、そのフレームレート情報から、符号化対象のピクチャのフレームレートを認識するようになっている。また、ディスプレイ１０３の表示レートの情報は、例えば、ディスプレイ１０３から出力制御部２１２に供給されるようになっている。
次に、図２２を参照して、出力制御部２１２による表示画像出力バッファ２１１の制御について、さらに説明する。
上述したように、出力制御部２１２は、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数を制御する。
即ち、ここでは、符号化対象のピクチャのフレームレートは24Hzであり、順次走査のディスプレイ１０３の表示レートは60Hzである。この場合、出力制御部２１２は、図２２に示すように、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、あるピクチャは２回繰り返し出力し、次のピクチャは３回繰り返し出力し、さらに、次のピクチャは２回繰り返し出力し、以下、同様に、２回繰り返しの出力と３回繰り返しの出力とを、交互に繰り返すように、表示画像出力バッファ２１１を制御する。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、60Hzとなる。
なお、符号化対象のピクチャのフレームレートは24Hzでなくてもよく、また、順次走査のディスプレイ１０３の表示レートも60Hzでなくてもよい。
例えば、符号化対象のピクチャのフレームレートが24Hzであり、順次走査のディスプレイ１０３の表示レートが30Hzである場合、出力制御部２１２は、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数を、例えば、図２３に示すように制御する。
即ち、出力制御部２１２は、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、連続する４つのピクチャごとに、１番目から３番目のピクチャは１回だけ出力し、４番目のピクチャは２回繰り返し出力することを繰り返すように、表示画像出力バッファ２１１を制御する。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、30Hzとなる。
なお、図２３では、連続する４つのピクチャのうちの、１番目から３番目のピクチャを１回だけ出力し、４番目のピクチャを２回繰り返し出力するようにしたが、ピクチャの出力パターンは、これに限定されるものではなく、要は、連続する４つのピクチャのうちの任意の３つのピクチャを１回だけ出力し、他の１つのピクチャを２回繰り返し出力するようにすればよい。
また、符号化対象のピクチャのフレームレートが24Hzであり、順次走査のディスプレイ１０３の表示レートが30Hzの整数倍である30×A[Hz]である場合には（Ａは１以上の整数）、出力制御部２１２において、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、連続する４つのピクチャごとに、その４つのピクチャのうちの任意の３つのピクチャをA回だけ出力し、他の１つのピクチャを２×A回繰り返し出力することを繰り返すように、表示画像出力バッファ２１１を制御することができる。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、30×A[Hz]となる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本実施の形態では、符号化対象のピクチャとして、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャや、24Hzの順次走査のピクチャを採用することとしたが、符号化対象のピクチャは、他のフレームレート（フィールドレート）のピクチャを採用することが可能である。
また、本実施の形態では、ディスプレイ１０３として、表示レートが30Hzや60Hzの順次走査のディスプレイを採用することとしたが、ディスプレイ１０３としては、他の表示レートのディスプレイを採用することが可能である。
さらに、本実施の形態では、基本的には、H.264/AVCに準拠した符号化と復号を行うようにしたが、本発明は、H.264/AVC以外の、例えば、MPEGやH.26x等のように、離散コサイン変換やカルーネン・レーベ変換等の直交変換と、動き補償とを利用して、画像の符号化／復号を行う装置その他に適用可能である。
また、図１２では、pic_structの判定後に、走査フラグであるct_typeを判定するようにしたが、先に、ct_typeを判定し、その後、pic_structを判定するようにすることも可能である。
映画フィルムのピクチャと、NTSC方式のピクチャとを説明する図である。 2-3プルダウンを説明する図である。 従来の画像符号化装置の一例の構成を示すブロック図である。 従来の画像復号装置の一例の構成を示すブロック図である。 符号化対象のピクチャが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定される場合を説明する図である。 本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 H.264/AVCに規定されているpic_structのテーブルを示す図である。 H.264/AVCに規定されているct_typeのテーブルを示す図である。 画像符号化装置１０１の構成例を示すブロック図である。 画像符号化装置１０１の処理を説明するフローチャートである。 画像復号装置１０２の構成例を示すブロック図である。 画像復号装置１０２の処理を説明するフローチャートである。 画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。 画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。 画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。 H.264/AVCに規定されているuser data registered by ITU-T Recommendation T.35 SEIのシンタクスを示す図である。 H.264/AVCに規定されているuser data unregistered SEIのシンタクスを示す図である。 scan_information()のシンタクスを示す図である。 24Hzの順次走査のピクチャを符号化対象として符号化、復号を行い、60Hzの順次走査で表示を行う画像処理システムの構成例を示すブロック図である。 画像符号化装置２０１の構成例を示すブロック図である。 画像復号装置２０２の構成例を示すブロック図である。 出力制御部２１２による表示画像出力バッファ２１１の制御を説明するための図である。 出力制御部２１２による表示画像出力バッファ２１１の制御を説明するための図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１ A/D変換装置， ２ 2-3検出装置， ３ 画面並べ替えバッファ， ４ 加算器， ５ 直交変換装置， ６ 量子化装置， ７ 可逆符号化装置， ８ 蓄積バッファ， ９ 逆量子化装置， １０ 逆直交変換装置， １１ フレームメモリ， １２ 動き予測／補償装置， １３ レート制御装置， ２１ 蓄積バッファ， ２２ 可逆復号装置， ２３ 逆量子化装置， ２４ 逆直交変換装置， ２５ 加算器， ２６ フレームメモリ， ２７ 動き予測／補償装置， ２９ D/A変換装置， １０１ 画像符号化装置， １０２ 画像復号装置， １０３ ディスプレイ， １０４ 記録媒体， １０５ 伝送媒体， １１１ pic_struct並びに飛び越し走査／順次走査識別装置， １２１ 画面並べ替えバッファ， １２２ I/P変換装置， １２３ 表示画像出力バッファ， １２４ 画枠サイズ変換装置， ３０１ バス， ３０２ CPU， ３０３ ROM， ３０４ RAM， ３０５ ハードディスク， ３０６ 出力部， ３０７ 入力部， ３０８ 通信部， ３０９ ドライブ， ３１０ 入出力インタフェース， ３１１ リムーバブル記録媒体

Claims (9)

  1. 2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号手段と、
    前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、
    前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、
    前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力手段と
    を備え、
    前記認識手段は、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
    復号装置。
  2. 前記走査フラグは、H.264/AVCの規格に規定されているct_typeである
    請求項１に記載の復号装置。
  3. 前記走査フラグは、H.264/AVCの規格に規定されているclock_timestamp_flag[0]の中のct_typeである
    請求項２に記載の復号装置。
  4. 前記走査フラグは、H.264/AVCの規格に規定されている、１がセットされたclock_timestamp_flag[0]の中のct_typeである
    請求項２に記載の復号装置。
  5. 前記走査フラグは、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報である
    請求項１に記載の復号装置。
  6. 前記繰り返し出力手段は、
    前記pic_structが0である場合、前記フレームピクチャを、１回だけ読み出し、
    前記pic_structが5または6である場合、前記フレームピクチャを、３回だけ繰り返し読み出し、
    前記pic_structが1または2である場合、前記フレームピクチャを、１回だけ読み出し、
    前記pic_structが3または4である場合、前記フレームピクチャを、２回だけ繰り返し読み出す
    請求項１に記載の復号装置。
  7. 2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号ステップと、
    前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、
    前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、
    前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力ステップと
    を備え、
    前記認識ステップは、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
    復号方法。
  8. 2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号手段と、
    前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、
    前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、
    前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記認識手段は、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
    プログラム。
  9. 2-3プルダウンされた画像から得られるピクチャをH.264/AVCの規格にしたがって符号化した前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示するH.264/AVCの規格に規定されているpic_structとが多重化された符号化データを復号する復号手段と、
    前記ピクチャの前記走査フラグとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、
    前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、
    前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記pic_structに対応した回数だけ繰り返し出力する繰り返し出力手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記認識手段は、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する1または2である場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、フレームを表示することを指示する0、トップフィールド、ボトムフィールド、トップフィールをその順で表示することを指示する5、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6である場合、前記ピクチャが、順次走査のピクチャであると認識し、
    前記ピクチャのpic_structが、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示することを指示する3、またはボトムフィールドを表示してトップフィールドを表示することを指示する4である場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
    プログラムが記録されているプログラム記録媒体。
JP2004172430A 2004-06-10 2004-06-10 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体 Expired - Fee Related JP4931034B2 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
JP2004172430A JP4931034B2 (ja) 2004-06-10 2004-06-10 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
RU2006143643A RU2335857C2 (ru) 2004-06-10 2005-06-03 Устройство кодирования, способ кодирования, устройство декодирования, способ декодирования, программа, носитель записи программы, носитель записи данных, структура данных и устройство воспроизведения
CA 2569022 CA2569022A1 (en) 2004-06-10 2005-06-03 Apparatus and method for encoding or decoding interlace or progressive scanned picture
EP05750895A EP1758399A4 (en) 2004-06-10 2005-06-03 CODING DEVICE, CODING METHOD, DEODICATION DEVICE, DECODING METHOD, PROGRAM, PROGRAMMING MEDIUM, DATA RECORDING MEDIUM, DATA STRUCTURE, AND PLAYBACK DEVICE
PCT/JP2005/010634 WO2005122584A1 (ja) 2004-06-10 2005-06-03 符号化装置および符号化方法、復号装置および復号方法、プログラムおよびプログラム記録媒体、データ記録媒体およびデータ構造、並びに再生装置
NZ551513A NZ551513A (en) 2004-06-10 2005-06-03 Encoder apparatus, encoding method, decoder apparatus, decoding method, program, program recording medium, data recording medium, data structure, and playback apparatus
AU2005253425A AU2005253425B8 (en) 2004-06-10 2005-06-03 Encoding Apparatus, Encoding Method, Decoding Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Reproducing Apparatus
US11/570,141 US20080019438A1 (en) 2004-06-10 2005-06-03 Encoder Apparatus, Encoding Method, Decoder Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Playback Apparatus
MXPA06013875A MXPA06013875A (es) 2004-06-10 2005-06-03 Aparato codificador, metodo de codificacion, aparato descodificador, metodo de descodificacion, programa, medio de grabacion de programa. medio de grabacion de datos, estructura de datos, y aparato de reproduccion.
BRPI0511670-8A BRPI0511670A (pt) 2004-06-10 2005-06-03 aparelhos de codificação, de decodificação e de reprodução, métodos de codificação para codificar uma imagem, e de decodificação para decodificar dados codificados de uma imagem, programa, meios de gravação de programa, e de dados, e, estrutura de dados
CN200580019053A CN100586177C (zh) 2004-06-10 2005-06-03 编码装置，编码方法，解码装置，解码方法
TW94118932A TWI277348B (en) 2004-06-10 2005-06-08 Encoder apparatus, encoding method, decoder apparatus, decoding method, program, program recording medium, data recording medium, data structure, and regenerating apparatus
MYPI20052622 MY144601A (en) 2004-06-10 2005-06-09 Encoding apparatus, encoding method, decoding apparatus, decoding method, program, program recording medium, data recording medium, data structure, and reproducing apparatus
IL179242A IL179242A (en) 2004-06-10 2006-11-13 Encoding apparatus, encoding method, decoding apparatus, decoding method, program, program recording medium, data recording medium, data structure and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004172430A JP4931034B2 (ja) 2004-06-10 2004-06-10 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2005354361A JP2005354361A (ja) 2005-12-22
JP4931034B2 true JP4931034B2 (ja) 2012-05-16

Family

ID=35503516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004172430A Expired - Fee Related JP4931034B2 (ja) 2004-06-10 2004-06-10 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体

Country Status (14)

Country Link
US (1) US20080019438A1 (ja)
EP (1) EP1758399A4 (ja)
JP (1) JP4931034B2 (ja)
CN (1) CN100586177C (ja)
AU (1) AU2005253425B8 (ja)
BR (1) BRPI0511670A (ja)
CA (1) CA2569022A1 (ja)
IL (1) IL179242A (ja)
MX (1) MXPA06013875A (ja)
MY (1) MY144601A (ja)
NZ (1) NZ551513A (ja)
RU (1) RU2335857C2 (ja)
TW (1) TWI277348B (ja)
WO (1) WO2005122584A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317120A1 (en) * 2007-06-25 2008-12-25 David Drezner Method and System for MPEG2 Progressive/Interlace Type Detection
US20090167854A1 (en) * 2007-12-26 2009-07-02 Crs Electronic Co., Ltd. Apparatus For Converting Film Images Into Digital Data
JP2009213629A (ja) * 2008-03-10 2009-09-24 Fujinon Corp 撮像システム及び内視鏡システム
WO2011048764A1 (ja) * 2009-10-19 2011-04-28 パナソニック株式会社 復号装置、復号方法、プログラム、及び集積回路
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
WO2012147966A1 (ja) * 2011-04-27 2012-11-01 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
KR102491736B1 (ko) 2011-06-15 2023-01-26 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 복호 방법 및 장치와, 부호화 방법 및 장치
WO2012172811A1 (ja) 2011-06-17 2012-12-20 パナソニック株式会社 動画像復号化装置および動画像復号化方法
US8620097B2 (en) 2011-08-11 2013-12-31 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
BR112014017915B1 (pt) 2012-01-20 2021-03-16 Ge Video Compression, Llc conceito de codificação que permite o processamento parelelo, desmultiplexador de transporte e fluxo de bites de vídeo
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
KR101683409B1 (ko) * 2012-10-10 2016-12-06 지티이 코포레이션 미디어 전송 및 저장을 위한 비디오 주사 포맷의 캡슐화
CN104718747B (zh) * 2012-10-10 2019-06-18 中兴通讯股份有限公司 用于媒体传输和存储的视频扫描格式信息的封装
WO2014084108A1 (ja) * 2012-11-30 2014-06-05 ソニー株式会社 画像処理装置および方法
EP2854405A1 (en) 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
EP3249912A4 (en) * 2015-01-23 2018-10-24 LG Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
TWI744292B (zh) * 2016-03-24 2021-11-01 日商新力股份有限公司 送訊裝置、送訊方法、收訊裝置及收訊方法
GB2553785A (en) * 2016-09-13 2018-03-21 Sony Corp A decoder, encoder, computer program and method
US20240015332A1 (en) * 2022-07-08 2024-01-11 Qualcomm Incorporated Supplemental enhancement information (sei) manifest indication

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US294217A (en) * 1884-02-26 Albeet a
US306471A (en) * 1884-10-14 Or faucet
US307690A (en) * 1884-11-04 Assigxoe of one
JP2977104B2 (ja) * 1991-07-26 1999-11-10 ソニー株式会社 動画像データエンコード方法および装置、並びに動画像データデコード方法および装置
JP3531186B2 (ja) * 1992-09-18 2004-05-24 ソニー株式会社 ビデオ信号符号化方法及び装置
US5491516A (en) * 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
EP0633693B1 (en) * 1993-07-01 2001-04-11 Matsushita Electric Industrial Co., Ltd. Flagged video signal recording apparatus and reproducing apparatus
JP3284080B2 (ja) * 1997-05-16 2002-05-20 株式会社東芝 コンピュータシステムおよびそのシステムで用いられるビデオデコーダ
US6441813B1 (en) * 1997-05-16 2002-08-27 Kabushiki Kaisha Toshiba Computer system, and video decoder used in the system
JPH11133935A (ja) * 1997-10-30 1999-05-21 Toshiba Corp 表示制御装置および動画像復号化装置
RU2137231C1 (ru) * 1997-12-19 1999-09-10 Таланов Борис Петрович Способ захоронения ядерного вещества
US7269342B1 (en) * 1998-12-22 2007-09-11 Matsushita Electric Industrial Co., Ltd. Video signal reproducing device
JP3804745B2 (ja) * 1999-08-20 2006-08-02 Ｋｄｄｉ株式会社 フレーム構造／フィールド構造切替式画像符号化装置
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
JP2002135731A (ja) * 2000-10-24 2002-05-10 Matsushita Electric Ind Co Ltd 映像情報変換装置及び映像情報変換方法
WO2003063464A2 (en) * 2002-01-22 2003-07-31 Broadcom Corporation System and method of transmission and reception of video using compressed differential time stamps
JP2003299036A (ja) * 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 映像復号装置、映像復号方法、プログラム、および媒体

Also Published As

Publication number Publication date
EP1758399A1 (en) 2007-02-28
CA2569022A1 (en) 2005-12-22
RU2006143643A (ru) 2008-06-20
WO2005122584A1 (ja) 2005-12-22
BRPI0511670A (pt) 2008-01-02
TW200601849A (en) 2006-01-01
CN100586177C (zh) 2010-01-27
AU2005253425B8 (en) 2010-05-27
MXPA06013875A (es) 2007-03-07
US20080019438A1 (en) 2008-01-24
NZ551513A (en) 2009-10-30
AU2005253425A1 (en) 2005-12-22
TWI277348B (en) 2007-03-21
JP2005354361A (ja) 2005-12-22
CN1965581A (zh) 2007-05-16
IL179242A (en) 2012-07-31
MY144601A (en) 2011-10-14
IL179242A0 (en) 2007-03-08
EP1758399A4 (en) 2012-05-02
AU2005253425B2 (en) 2010-02-04
RU2335857C2 (ru) 2008-10-10

Similar Documents

Publication Publication Date Title
JP4931034B2 (ja) 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
JP5223769B2 (ja) 復号装置および方法、プログラム、並びに記録媒体
KR100301826B1 (ko) 비디오디코더
KR20010022752A (ko) 디지털 비디오 레코더용 트릭 플레이 신호 발생
KR950035446A (ko) 비디오 데이타를 가지는 비트 스트림의 트랜스코딩 방법 및 장치
KR20150052029A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US7424203B2 (en) Data reproduction transmission apparatus and data reproduction transmission method
US7369612B2 (en) Video decoder and method for using the same
JPH09200695A (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
KR101154743B1 (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치
JP2000244872A (ja) トランスコーダ装置
JPH10276437A (ja) 階層的動画像信号符号化／復号化方法及び装置
KR100394013B1 (ko) 비디오 스냅 영상용 변환 부호화 장치
JP4320509B2 (ja) 映像再符号化装置および方法
US7023491B2 (en) Method and device for displaying frozen pictures on video display device
JP3962053B2 (ja) 動画像再符号化装置
JP4184223B2 (ja) トランスコーダ
JPH08149464A (ja) フレームレート変換機能付き画像復号装置
JP2003299036A (ja) 映像復号装置、映像復号方法、プログラム、および媒体
HK1108539A (en) Encoder apparatus, encoding method, decoder apparatus, decoding method, program, program recording medium, data recording medium, data structure, and playback apparatus
JPH10290453A (ja) 映像伝送方法および装置
EP1398960A1 (en) Method and device for displaying frozen pictures on video display device
JP2000197045A (ja) デジタル放送再生システム
JP2006109513A (ja) 符号化装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees