JP5173849B2 - 動画像復号化装置及び動画像復号化方法 - Google Patents

動画像復号化装置及び動画像復号化方法 Download PDF

Info

Publication number
JP5173849B2
JP5173849B2 JP2008558574A JP2008558574A JP5173849B2 JP 5173849 B2 JP5173849 B2 JP 5173849B2 JP 2008558574 A JP2008558574 A JP 2008558574A JP 2008558574 A JP2008558574 A JP 2008558574A JP 5173849 B2 JP5173849 B2 JP 5173849B2
Authority
JP
Japan
Prior art keywords
picture
decoding
decoded
storage means
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008558574A
Other languages
English (en)
Other versions
JPWO2008146455A1 (ja
Inventor
啓史 近村
健 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008558574A priority Critical patent/JP5173849B2/ja
Publication of JPWO2008146455A1 publication Critical patent/JPWO2008146455A1/ja
Application granted granted Critical
Publication of JP5173849B2 publication Critical patent/JP5173849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、フレーム間予測を行なう符号化規格で符号化された符号化ピクチャを復号する動画像復号化装置および動画像復号化方法に関する。
従来、動画像データに対するフレーム間差分を用いた圧縮符号化（以下、単に「符号化」と呼ぶ）技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化技術がある（非特許文献１参照）。また、近年ではさらに高圧縮を実現するＨ．２６４（非特許文献２参照）が符号化規格として採用されてきている。
また、動画像データに対する符号化および復号化の要素技術であるフレーム間予測では、デコード済みのピクチャの情報を用いて画素値の予測を行なうため、デコード済みのピクチャを格納するメモリが必要となる。従来は必要な記憶容量やチップ面積の関係からこのメモリを、デコード部等を含むシステムＬＳＩの外部に置いていた（特許文献１参照）。
外部のメモリに格納されるピクチャは、デコード中のピクチャ、デコード中のピクチャが参照する可能性のあるピクチャ、および、表示部へ出力されるピクチャ、これら全てである。
このため、デコード中のピクチャを外部のメモリに書き込む処理の他に、デコード済みのピクチャをフレーム間予測のために外部のメモリからデコード部へ逐次読み込む、などの動作が必要となる。
特に、後者のフレーム間予測のためにデコード済みのピクチャを逐次読み込む処理においては、データの転送頻度および転送量が非常に大きい。そのため、外部メモリのアクセスバンド幅の増大を招き、外部メモリとして高速なメモリが必要となるためコストが高くなるという問題点があった。
これに対し近年、システムＬＳＩ内蔵の大容量メモリ（Ｅｍｂｅｄｄｅｄ ＤＲＡＭ）の実用化が進み、外部のメモリだけでなく、内部のメモリを活用して外部のメモリアクセスを削減する技術が開発されている。
特許文献２には、ＭＰＥＧの符号化処理において、動き探索処理用に用いるデータは内部及び外部のメモリ両方に書き込み、必要なデータを広帯域な内部メモリに配置することで、動き探索処理の処理効率を高める技術が開示されている（特許文献２参照）。
特開２００４−２１５０４９号公報 特開２００２−２１８４７４号公報 ＩＴＵ−Ｔ勧告 Ｈ．２６２ 「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒ ｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｖｉｄｅｏ」 ＩＴＵ−Ｔ勧告 Ｈ．２６４「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」
上記特許文献２では、エンコード処理において、参照ピクチャが格納されるフレームメモリを内部に持つ場合の構成について述べている。
このような構成をデコード処理に適応した場合、Ｈ．２６４規格においては、デコード済みのデータ、すなわちフレーム間予測に必要なピクチャのデータを、フレーム間予測に用いるために内部メモリに書き込み、これと同時に、ディスプレイ等の外部の装置に出力するために外部メモリに書き込むことになる。
この場合、内部メモリにはデコード中のピクチャとデコード中のピクチャが必要とする参照可能なピクチャとが記憶されるため、内部メモリに必要な容量が増加してしまうという課題がある。
本発明は、上記従来の課題を考慮し、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することを目的とする。
上記従来の課題を解決するために、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段とを備える。
この構成により、復号化手段が参照する最大ｎ枚の復号済ピクチャは、当該復号の前に、第一記憶手段から、復号化手段がフレーム間予測を行う際の参照先である第二記憶手段に転送される。
従って、従来のように、ある符号化ピクチャの復号中に当該復号結果のデータを第二記憶手段に蓄積していく必要がない。
すなわち、本発明の動画像復号化装置では、復号対象の符号化ピクチャが参照可能な復号済ピクチャのみを、フレーム間予測の際の参照先である第二記憶手段に記憶させることができる。これにより、第二記憶手段の必要容量が増大することを防ぐことができる。
具体的には、第二記憶手段の容量を、ｎ枚の復号済ピクチャを格納できるだけの容量とすることができる。
また、復号手段は、第二記憶手段にのみアクセスすれば、全ての参照すべき復号済ピクチャを取得することが可能である。そのため、効率よく復号処理を行うことができる。
例えば、復号化手段を集積回路の一つの機能として実現する場合、当該集積回路が有する内部メモリの容量を増加させることなく、当該内部メモリを第二記憶手段として使用することが可能である。これにより、フレーム間予測を伴う復号化処理を高速に実行することが可能となる。
また、前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始するとしてもよい。
この構成により、復号処理が行われていない期間、すなわち、復号化手段から第一記憶手段への復号済みのデータの転送が行われていない期間に、復号済ピクチャを第二記憶手段に転送することが可能となる。そのため、動画像復号化装置を効率よく動作させることができる。
また、前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送するとしてもよい。
このように、あるピクチャの復号の終了後、当該復号後のピクチャのデータのみを第一記憶手段から第二記憶手段に転送することで、第一記憶手段から第二記憶手段へのデータ転送量をより少なくすることができる。
また、本発明の動画像復号化装置はさらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送するとしてもよい。
この構成により、実際に参照される復号済ピクチャのみが第二記憶手段に格納されることになる。そのため、データ転送に係る処理負荷を低減させることができる。
また、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送するとしてもよい。
この構成により、転送手段は、既に第二記憶手段に格納済みの復号済ピクチャを、第一記憶手段から第二記憶手段に転送することがない。つまり、データ転送に係る処理効率が向上する。
また、前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されているとしてもよい。
この構成により、集積回路の内部メモリを第二記憶手段として用いることで高速に復号処理を行う動画像復号装置を実現できる。
また、前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号するとしてもよい。
この構成により、Ｈ．２６４の規格に従い高効率で圧縮符号化された動画像データを復号する装置であって、復号に必要な記憶容量を増加させずに適切に復号処理を行う動画像復号化装置を実現できる。
また、本発明の再生装置は、動画像データを再生する再生装置であって、本発明の動画像復号化装置と、前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段とを備える。
これにより、復号に必要な記憶容量を増加させることなく効率よく動画像データを復号し再生する再生装置を実現できる。
また、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納する第二記憶手段と、前記第二記憶手段に格納されている１枚以上の復号済ピクチャのうち、前記第一記憶手段に格納されている復号済ピクチャの次に表示されるべき復号済ピクチャを、前記第二記憶手段から前記第一記憶手段へ転送する転送手段とを備える。
この構成により、参照される復号済ピクチャを第二記憶手段に格納し、出画のタイミングにあわせて第二記憶手段から第一記憶手段に復号済ピクチャを転送することができる。
従って、各符号化ピクチャの復号化の際に第二記憶手段にアクセスするだけで参照ピクチャを取得でき、かつ、第一記憶手段に必要な容量を従来より少なくすることができる。
なお、本発明は、本発明の動画像復号化装置の特徴的な構成部を備える集積回路として実現することもできる。この場合、当該集積回路が有する内部メモリを第二記憶手段として使用し、当該集積回路の外部に配置された外部メモリを第一記憶手段として使用することができる。
さらに、本発明は、本発明の動画像復号化装置の特徴的な構成部の動作をステップとする動画像復号化方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。
そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
本発明の動画像復号化装置は、復号対象の符号化ピクチャが参照可能なピクチャのみを、参照先の第二記憶手段に記憶させることができる。そのため、第二記憶手段の容量の増大を防ぐことができる。
従って、本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置および動画像復号化方法であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置および動画像復号化方法を提供することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における動画像復号化装置１０の主要な機能構成を示す機能ブロック図である。
以下、図１を用いて実施の形態１における動画像復号化装置１０の構成について説明する。
図１に示すように、実施の形態１の動画像復号化装置１０は、システムＬＳＩ５０と、システムＬＳＩ５０の外部に配置された外部メモリ１０７とを備える。
システムＬＳＩ５０は、Ｈ．２６４デコーダ１００、第一転送部１０１、第二転送部１０２、第三転送部１０３、出画部１０４、符号化データ供給部１０５、およびフレーム間予測に用いる内部メモリ１０６を有する。
つまり、これらの要素が１つのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）に含まれることによりシステムＬＳＩ５０が構成されている。
外部メモリ１０７は、本発明の動画像復号化装置における第一記憶手段の一例であり、符号化ピクチャならびにデコード済みのピクチャのデータを格納するメモリである。つまり、デコード対象の符号化ピクチャを保持するとともに、Ｈ．２６４デコーダ１００により得られる復号済ピクチャを外部出力のために保持するメモリである。
内部メモリ１０６は、本発明の動画像復号化装置における第二記憶手段の一例であり、Ｈ．２６４デコーダ１００によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能なメモリである。
なお、このｎは、符号化規格で定められる参照可能な最大枚数であり、本実施の形態においては、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のピクチャ（１９２０画素×１０８０画素）を４枚格納することができる。
符号化データ供給部１０５は、外部メモリ１０７に格納されている符号化データを読み取りＨ．２６４デコーダ１００に供給する処理部である。
Ｈ．２６４デコーダ１００は、本発明の動画像復号化装置における復号化手段の一例であり、動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する処理部である。
具体的には、Ｈ．２６４デコーダ１００は、フレーム間予測処理アルゴリズムが用いられるＨ．２６４符号化ストリームの復号回路である。Ｈ．２６４デコーダ１００の詳細については、図２を用いて後述する。
第一転送部１０１は、Ｈ．２６４デコーダ１００により得られるデコード済ピクチャのデータを外部メモリ１０７に転送する処理部である。
なお、本明細書、および請求の範囲において“転送”とは、元の場所に情報を残したまま他の場所に当該情報を複製する“コピー”を含む広い概念で用いている。
第二転送部１０２は、本発明の動画像復号化装置における転送手段の一例であり、外部メモリ１０７に格納されているデコード済ピクチャのデータを内部メモリ１０６にコピーする処理部である。
第三転送部１０３は、内部メモリ１０６に格納されているデコード済ピクチャのデータをＨ．２６４デコーダ１００にコピーする処理部である。
なお、第一転送部１０１は、本発明の集積回路における第一転送手段の一例であり、第二転送部１０２は、本発明の集積回路における第二転送手段の一例である。
このように第一転送部１０１、第二転送部１０２および第三転送部１０３のそれぞれは、構成要素間でのデータをコピーする際に用いられる。また、内部メモリ１０６に格納されたデコード済ピクチャは、以降のピクチャのデコード時に参照される。
具体的には、内部メモリ１０６は、外部メモリ１０７に格納されているデコード済ピクチャのデータを第二転送部１０２から受け取ることにより、フレーム間予測処理に用いられるデコード済ピクチャのデータを格納する。
なお、本実施の形態においては、デコード済ピクチャは第二転送部１０２により、外部メモリ１０７から内部メモリ１０６に全てコピーされるが、この処理は、次の符号化画像のデコードが始まる前に行われる。
さらに、Ｈ．２６４デコーダ１００がフレーム間予測を用いたデコードをする際に、内部メモリ１０６に格納されているデータのうち、実際に参照に用いられるデータが第三転送部１０３によってＨ．２６４デコーダ１００にコピーされる。
出画部１０４は、外部メモリ１０７に格納されているデコード済ピクチャのデータを読み取って、外部ディスプレイに出力する処理部である。これにより、動画像復号化装置１０に接続された外部ディスプレイにデコード済ピクチャが表示される。
次に、図２を用いてＨ．２６４デコーダ１００の構成を説明する。
図２は、Ｈ．２６４デコーダ１００の主要な機能構成を示す機能ブロック図である。
図２に示すように、Ｈ．２６４デコーダ１００は、符号化ストリームを格納する符号化ストリームバッファ２００、可変長復号部２０１、逆量子化部２０２、フレーム間予測部２０３、フレーム内予測部２０４、デブロッキングフィルタ部２０５、およびデコード済ピクチャを書き出す復号化画像バッファ２０６を有する。
符号化ストリームバッファ２００は、入力される動画像データを一時的に保持するバッファである。具体的にはＨ．２６４の符号化ストリームが符号化ストリームバッファ２００に入力される。
可変長復号部２０１は、入力された符号化ストリームに対し可変長復号処理を施す処理部である。逆量子化部２０２は、可変長復号部２０１から得られるデータに対し逆量子化処理および逆整数変換処理を行う処理部である。
フレーム間予測部２０３はフレーム間予測処理を行う処理部であり、フレーム内予測部２０４はフレーム内予測処理を行う処理部である。
具体的には、可変長復号部２０１により得られた値から当該ピクチャの復号に際しフレーム内予測を行うかフレーム間予測を行うかの判断がなされる。この判断結果に応じて、フレーム間予測部２０３またはフレーム内予測部２０４のいずれかにより予測処理が行われる。
デブロッキングフィルタ部２０５は、フレーム間予測部２０３またはフレーム内予測部２０４から得られるデータに対しフィルタ処理を施す処理部である。
復号化画像バッファ２０６は、フィルタ処理がなされたデータを一時的に保持するバッファである。
復号化画像バッファ２０６に蓄えられたデータは、第一転送部１０１により外部メモリ１０７に転送される。つまり、外部メモリ１０７は、Ｈ．２６４デコーダ１００によってデコードされたデコード済ピクチャを格納するためにも用いられる。
次に、図１および図２に示す構成を有する動画像復号化装置１０における、Ｈ．２６４デコーダ１００の復号処理の手順を説明する。
復号化の対象であるＨ．２６４符号化された動画像データが外部メモリ１０７に格納されているとき、まずこの動画像データは符号化データ供給部１０５によってＨ．２６４デコーダ１００に供給される。
Ｈ．２６４デコーダ１００は、符号化データ供給部１０５から受け取った動画像データを符号化ストリームバッファ２００に格納し、可変長復号部２０１を用いて可変長復号処理を行う。
可変長復号処理において復号化された情報から、デコードの対象のピクチャがフレーム間予測を用いないピクチャの種類であると判断される場合、続けて逆量子化処理および逆整数変換処理が逆量子化部２０２によって行われる。
復号化の対象のピクチャがフレーム間予測を用いるピクチャであり、かつ復号化単位であるマクロブロック（以下、「ＭＢ」とも記す。）がフレーム間予測を用いるＭＢであった場合、デコード済ピクチャのデータが格納されている内部メモリ１０６から、第三転送部１０３を用いて、デコード済ピクチャのデータを取得する。取得されたデータはフレーム間予測部２０３に入力される。
フレーム間予測部２０３は、このデコード済ピクチャのデータを用いてフレーム間予測処理を行う。フレーム間予測部２０３から出力されるデータは、デブロッキングフィルタ部２０５を経て、復号化画像バッファ２０６に格納される。
また、復号化の対象のＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測処理がフレーム内予測部２０４によって行われた後に、デブロッキングフィルタ部２０５を経て復号化画像バッファ２０６に復号化されたデータが格納される。
復号化画像バッファ２０６に格納されたデータは第一転送部１０１によって外部メモリ１０７に転送される。
ここで、Ｈ．２６４デコーダ１００によりピクチャがデコードされた後、Ｈ．２６４デコーダ１００が動作していない期間では、第一転送部１０１によるデータの転送も行われない。
また、復号化されたピクチャのデータが外部メモリ１０７に書き込まれると、次の符号化データのデコードが開始されるまでに、つまり、Ｈ．２６４デコーダ１００によるデコード処理が行われていない期間に、次のデコードで参照される可能性のあるピクチャのデータを、第二転送部１０２を用いて内部メモリ１０６にコピーする。
なお、本実施の形態においては、参照される可能性のあるピクチャとして、全てのデコード済ピクチャが外部メモリ１０７から内部メモリ１０６に転送される。
また、内部メモリ１０６に転送されたデコード済ピクチャは、その後に復号される符号化ピクチャのピクチャヘッダに示される情報に基づいて要不要が判断される。この判断の結果、その後に参照されない、つまり、残す必要がないと判断されたデコード済ピクチャは内部メモリ１０６から削除される。
この処理により、先に述べたとおり、以降のデコード処理の際にフレーム間予測が用いられるＭＢが出現した場合、フレーム間予測に必要な参照ピクチャのデータはフレーム間予測の際の参照先である内部メモリ１０６に格納されていることになる。
そのため、Ｈ．２６４デコーダ１００は、外部メモリ１０７にアクセスする必要はない。一般的にシステムＬＳＩの内部のメモリへのアクセスは、外部に位置するメモリにアクセスするより高速に行うことができる。
従って、本実施の形態の動画像復号化装置１０は、高速な外部メモリ１０７を用いることなく、フレーム間予測処理をシステムＬＳＩ５０の内部に配置された内部メモリ１０６に対するアクセスのみで行うことが可能となる。
なお、外部メモリ１０７に格納されたデコード済ピクチャは出画部１０４によって外部メモリ１０７から読み出された後に、外部ディスプレイに出力される。これにより、当該ピクチャを含む動画像は外部ディスプレイに表示される。
以上説明したデコード処理の流れを、図３のフローチャートを用いて説明する。
図３は、実施の形態１における動画像復号化装置１０の処理の流れを示すフローチャートである。
まずＨ．２６４デコーダ１００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ３００）にある。
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始される。具体的には、まず符号化ストリームに含まれるピクチャ全体を特徴付ける情報が格納されているピクチャヘッダと呼ばれるデータが可変長復号部２０１によりデコードされる（Ｓ３０１）。
ピクチャヘッダのデコードが終了すると、続いてスライスヘッダと呼ばれるデータのデコード処理が行われる（Ｓ３０２）。
Ｈ．２６４規格においては、通信路でのエラー耐性などの観点から１枚のピクチャは複数のスライスと呼ばれる単位に分けられることがある。
図４は、Ｈ．２６４ストリームの階層構造を示す図である。
図４に示すように、スライスとは、１画面のピクチャを＃１から＃ｎまで帯状に分割したものであり、各スライスは複数のマクロブロック（ＭＢ）から構成される。
ＭＢは１６×１６画素の符号化および復号化の単位である。すなわちスライスは典型的には１６ラインのＭＢの帯のことである。
なお、複数のラインをまたいで単一のスライスを構成することも可能である。この場合スライスは１６×ｎ（ｎは自然数）のＭＢの帯で構成される。スライスヘッダは複数のＭＢを含むスライスの先頭に配置され、スライス内のマクロブロックで共通のパラメータが符号化されているデータである。
Ｈ．２６４デコーダ１００では、スライスヘッダのデコードが終わると続いて可変長復号部２０１によるＭＢのヘッダのデコードが開始される（Ｓ３０３）。
ＭＢのヘッダには、そのＭＢの詳細情報を含むデータが符号化されており、このデータを解釈することによって、当該ＭＢがフレーム間予測をするＭＢか、あるいはフレーム内予測をするＭＢであるかを判定することが可能である（Ｓ３０４）。
当該ＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測部２０４は当該ＭＢに対しフレーム内予測処理を行う（Ｓ３０７）。フレーム内予測部２０４から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。
一方、当該ＭＢがフレーム間予測処理を用いるＭＢだった場合には、Ｈ．２６４デコーダ１００は、内部メモリ１０６に格納されているデコード済ピクチャのデータを第三転送部１０３を用いて取得する。フレーム間予測部２０３は、取得されたデコード済ピクチャのデータを用いてフレーム間予測処理を行う（Ｓ３０６）。
フレーム間予測処理の完了後、フレーム間予測部２０３から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。
また、ＭＢのデコードが終了した後に、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであったかどうかが判定される（Ｓ３０９）。
この判定の結果、当該ＭＢがスライスの終端のＭＢでなかった場合（Ｓ３０９でＮｏ）、続けて以降のＭＢのデコード処理が継続される。当該ＭＢがスライスの終端のＭＢであった場合（Ｓ３０９でＹｅｓ）、続けて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ３１０）。
この判定の結果、当該ＭＢがピクチャの終端のＭＢでない場合（Ｓ３１０でＮｏ）、続けて以降のスライスのデコードを継続する。当該ＭＢがピクチャの終端のＭＢだった場合（Ｓ３１０でＹｅｓ）、Ｈ．２６４デコーダ１００は、当該ピクチャについてのデコード処理を完了する。
なお、上記の判定処理（Ｓ３０９およびＳ３１０）は、例えば可変長復号部２０１により行われる。
上記一連の処理の完了時には、Ｈ．２６４デコーダ１００によりデコードされたデータは全て外部メモリ１０７に格納されていることになる。つまり、当該ピクチャを構成するデコード済データは全て外部メモリ１０７に格納されていることになる。
このように、デコード処理が完了し外部メモリ１０７に書き出されたデコード済ピクチャのデータは第二転送部１０２により内部メモリ１０６に転送される（Ｓ３１１）。この転送の後、Ｈ．２６４デコーダ１００は、所定のタイミングで次のピクチャデコードを開始する。
その後、例えばユーザにより当該動画像データの再生を終了する指示があるまで、または、当該動画像データ全体のデコード処理が終了するまで、上記処理が繰り返される。
図５は、実施の形態１の動画像復号化装置１０における復号処理のタイミングチャートの一例である。なお、図中の“＃０”等の番号は、各ピクチャを識別する番号である。
動画像復号化装置１０は、上述のように、デコード後にフレーム間予測に用いられるピクチャのデータを外部メモリ１０７から内部メモリ１０６にコピーする処理を繰り返し行う。
これにより、図５に示すように、後続ピクチャのデコード処理の際に必要なデコード済ピクチャのデータは全て内部メモリ１０６に格納されていることになる。
従って、動画像復号化装置１０は、後続ピクチャのデコードを行う際、内部メモリ１０６へのアクセスのみでフレーム間予測を実行することが可能である。
なお、デコード済みのピクチャ＃４が内部メモリ１０６に転送される前に、ピクチャ＃０〜ピクチャ＃３のうちの、その後に参照されない１以上のピクチャが削除される。
また、外部メモリ１０７から内部メモリ１０６へのデータ転送処理はデコード処理が停止した状態で行われる。つまり、従来のように、デコード処理の期間中にデコード済のデータが内部メモリ１０６に転送されることはない。そのため、内部メモリ１０６の容量は、フレーム間予測を行うために必要な最低限のデータのみを格納できる容量で済む。
なお、Ｈ．２６４の規格においては、デコーダの能力および符号化されたビットストリームの複雑さ等を規定するものとしてレベルが定められている。またレベルごとに、規格で定められた符号化処理の要素技術である符号化ツールのうち、どの範囲までをサポートするかが規定されている。
具体的にはフルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、Ｈ．２６４の規格上、フレーム間予測で参照可能なデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。
例えば、実施の形態１の動画像復号化装置１０が、当該動画ストリームをデコードの対象とする場合、内部メモリ１０６の容量を、規格で規定されるピクチャ４枚分の容量とすることが可能である。
以上説明したように、実施の形態１の動画像復号化装置１０は、繰り返し行われるデコード処理の停止期間に、以降のフレーム間予測で用いられる参照ピクチャを外部メモリ１０７から内部メモリ１０６に転送する。
つまり、動画像復号化装置１０では、１つの符号化ピクチャに対するデコード処理の期間中には、内部メモリ１０６へのデータ転送は発生せず、外部メモリ１０７へのデータ転送のみが行われる。その後、当該デコード処理が完了すると、次のデコード処理の開始までの間に、当該デコード済ピクチャのデータが外部メモリ１０７から内部メモリ１０６にコピーされる。
これにより、従来の動画像復号化装置のように内部メモリと外部メモリとに同時にデコード中のデータを書き込む場合に比べて、内部メモリの容量をピクチャ１枚分削減することができる。
具体的には、本実施の形態の動画像復号化装置１０であれば、図５に示すように、例えばピクチャ＃４に対するデコード処理中に内部メモリ１０６に存在するデータは、ピクチャ＃０〜ピクチャ＃３の４枚分のデータである。つまり、内部メモリ１０６は、ピクチャ４枚分の容量があれば足りる。
しかし、従来の動画像復号化装置であれば、ピクチャ＃４に対するデコード処理中に、デコードが終わったＭＢのデータが内部メモリに順次書き込まれることになる。そのため、内部メモリにはピクチャ５枚分の容量が必要である。このような必要容量の差異は、他のピクチャのデコード処理の期間においても同様に発生する。
このように、本実施の形態の動画像復号化装置１０は、復号に必要な記憶容量、具体的には内部メモリに必要な容量を増加させることがない。
また、復号処理の停止期間、つまり、第一転送部１０１による外部メモリ１０７へのデータ転送が行われない期間に、外部メモリ１０７から内部メモリ１０６へのデコード済ピクチャの転送が行われる。そのため、動画像復号化装置１０のデータ転送に係る処理負荷を不要に増大させることがない。
このように、実施の形態１の動画像復号化装置１０では、全ての参照ピクチャが内部メモリ１０６から取得可能であることにより、復号処理の迅速性は担保される。
さらに、外部メモリ１０７にのみ書き出したデコード済ピクチャを、その後のデコード処理におけるフレーム間予測に必要なタイミングで内部メモリ１０６へ転送することにより、従来よりも内部メモリ１０６の必要容量を削減することができる。
なお、本実施の形態においては、デコード済ピクチャは全て外部メモリ１０７から内部メモリ１０６にコピーされるとした。
この、複数のデコード済ピクチャの外部メモリ１０７から内部メモリ１０６へのコピーに際し、コピーを行う直前のデコードの終了前にすでに内部メモリ１０６に格納されているピクチャのデータから順にコピーしてもよい。
また、デコード順において直前にデコードが終了したピクチャのデータから順にコピーしてもよい。
つまり、ある１枚の符号化ピクチャのデコードの開始前に、そのデコード処理で参照される可能性のある全ての復号済みピクチャが内部メモリ１０６に格納されていればよい。
また、この格納の順番は特定のものに限定されるものではない。また、デコード処理の一回の停止期間に複数のデコード済ピクチャを外部メモリ１０７から内部メモリ１０６に転送してもよい。
本実施の形態のように、停止期間ごとに、直前のデコード処理による１枚のデコード済ピクチャのみを外部メモリ１０７から内部メモリ１０６にコピーすることで、外部メモリ１０７から内部メモリ１０６への一回あたりのデータ転送量をより少なくすることができる。
また、本実施の形態においては、図１に示すように、第一転送部１０１、第二転送部１０２、第三転送部１０３、および符号化データ供給部１０５のそれぞれが別の機能ブロックとして動画像復号化装置１０に備えられている。
しかしながら、これらは内部メモリ１０６および外部メモリ１０７等の構成要素の間でデータを転送する手段である。そのため、それぞれが果たす機能を時分割で行う単一の機能ブロックとして実現されてもよい。または複数の機能を並列に実行可能な単一の機能ブロックとして実現されてもよい。
（実施の形態２）
図６は、本発明の実施の形態２における動画像復号化装置２０の主要な機能構成を示す機能ブロック図である。
図６を用いて実施の形態２における動画像復号化装置２０の構成について説明する。
図６に示すように、動画像復号化装置２０は、実施の形態１における動画像復号化装置１０が備える構成要素に加えて判断部６０７を備えている。
すなわち、動画像復号化装置２０は、複数の機能が集積されたシステムＬＳＩ６０と、システムＬＳＩ６０の外部に配置された外部メモリ６０８とを備える。
システムＬＳＩ６０は、Ｈ．２６４デコーダ６００、第一転送部６０１、第二転送部６０２、第三転送部６０３、出画部６０４、符号化データ供給部６０５、およびフレーム間予測に用いる内部メモリ６０６を有し、さらに、判断部６０７を有する。
判断部６０７は、複数の復号済ピクチャのそれぞれが、符号化ピクチャの復号の際に参照されるか否かを判断する処理部である。つまり、判断部６０７は、後続のピクチャが参照するピクチャを検出する役割を担う。
具体的には、判断部６０７は、符号化ピクチャをデコードする際に得られるピクチャヘッダに含まれる情報から当該判断を行う。判断の具体例については図８を用いて後述する。
それ以外のそれぞれの構成要素の役割については、実施の形態１と同様であり説明を省略する。
次に図７〜図９を用いて、実施の形態２における動画像復号化装置２０の動作を説明する。
図７は、実施の形態２における動画像復号化装置２０の処理の流れを示すフローチャートである。
図７に示すように、実施の形態２における動画像復号化装置２０の基本的な処理の流れは図３に示す実施の形態２における動画像復号化装置２０の処理の流れと同じである。
すなわち、図７における、ピクチャデコード開始待ち（Ｓ７００）から、デコードしたＭＢがピクチャの終端のＭＢであるかどうかの判定（Ｓ７１０）までの処理は、図３における各処理（Ｓ３００〜Ｓ３１０）に対応する。
しかし、実施の形態２における動画像復号化装置２０は、デコードしたＭＢがピクチャの終端のＭＢである場合（Ｓ７１０でＹｅｓ）、判断部６０７が、デコード済ピクチャのデータがフレーム間予測に用いられるか否かを判断する。
この判断の結果、フレーム間予測に用いられると判断されたデコード済ピクチャのみが、外部メモリ６０８から内部メモリ６０６へ転送される。
これにより、外部メモリ６０８から内部メモリ６０６へのデータ転送量が削減される。
判断部６０７による、参照ピクチャの特定に係る処理の具体例を、図８および図９を用いて説明する。
図８は、連続するピクチャシーケンスの一例を示す図である。なお、以下の説明では、Ｈ．２６４のデコード処理における参照ピクチャの判断方法の一例を示している。
図８に示すそれぞれのピクチャを示す記号について説明する。Ｉ、Ｐ、Ｂとそれぞれ書かれているのはピクチャの種類を示す記号である。Ｉで示されるピクチャ（Ｉピクチャ）はフレーム内予測のみが符号化ツールとして用いられているピクチャであり、デコード済みの他のピクチャのデータを用いることなくデコードが可能なピクチャである。
Ｐで示されるピクチャ（Ｐピクチャ）は、デコード済ピクチャのデータを用いてフレーム間予測を行うピクチャであり、参照するピクチャは１枚のみであるという制限がある。
Ｂで示されるピクチャ（Ｂピクチャ）はＰピクチャと同様にフレーム間予測を行うピクチャであるが、２枚同時にピクチャを参照することが可能である。
なおＩ、ＰおよびＢに添えられた数字は符号化される順序を示す。この符号化される順序に従って符号化ストリームが構成されていくことから、この順序は復号化の順序とも一致することになる。
しかし一方で出画する順序はＩ0、Ｂ3、Ｂ2、Ｂ4、Ｐ1となることから、復号化したあと出画する際には、所定の手順による並べ替えが必要になることが明らかであろう。
図８に示す例においては、たとえばＰ1ピクチャはＩ0ピクチャを参照している。またＢ2ピクチャはＩ0とＰ1とを参照している。またＢ3ピクチャはＩ0とＢ2とを参照し、Ｂ４はＢ2とＰ1とを参照している。
このようなピクチャ間の参照関係を持つストリームの場合、たとえばＢ3とＢ4は他のピクチャのデコードの際にフレーム間予測のために参照されない非参照ピクチャである。このようなピクチャはデコード後に参照されることがないため、判断部６０７はこれらのピクチャを参照ピクチャではないと判断する。
具体的には、各ピクチャのピクチャヘッダには、どのピクチャを参照用として残しておくべきか、および、どのピクチャを参照するかを示す情報が含まれている。判断部６０７は、例えばこの情報をＨ．２６４デコーダ６００から受け取り、各ピクチャについて、参照ピクチャであるか否かの判断をすることができる。
この判断の結果、本実施の形態の動画像復号化装置２０は、外部メモリ６０８に格納されたＢ3およびＢ4のピクチャのデータを内部メモリ６０６にコピーすることはない。
図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。
なお、図９は、図８に示す参照関係にある複数のピクチャの符号化順序と表示順序との対応関係を示している。
図９に示すように、まず、フレーム内予測のみが用いられるＩ0ピクチャのデコードが行われ、その後に、Ｉ0ピクチャを参照してフレーム間予測を行うＰ1ピクチャのデコードが行われる。
また、Ｂ2ピクチャのデコードは、Ｉ0ピクチャとＰ1ピクチャとを参照して行われるため、Ｉ0ピクチャとＰ1ピクチャのデコードの次に行われることがわかる。
これらのピクチャ復号順と表示順序との関係は、上述のピクチャの先頭に格納されているピクチャヘッダに含まれる情報から判断することが可能である。
ここまでにデコードが行われたＩ0、Ｐ1、およびＢ2の各ピクチャは、フレーム間予測の際に参照されるピクチャである。
したがって本構成においては、Ｉ0ピクチャのデコードが終了して外部メモリ６０８に書き込まれた後、Ｐ1ピクチャのデコードを開始する前に、Ｉ0のデータは外部メモリ６０８から内部メモリ６０６に第二転送部６０２により転送される。
またＰ1のピクチャデコードが完了すると、Ｂ2のデコード開始前に同様にＰ1のデータが外部メモリ６０８から内部メモリ６０６に転送されることになる。
一方、Ｂ3のデコードにはＩ0とＢ2のデータが参照ピクチャとして用いられ、Ｂ4のデコードには、Ｂ2とＰ1のデータがそれぞれ参照ピクチャとして用いられるが、Ｂ3およびＢ4は以降のフレーム間予測に使用されないことが判断部６０７によって判断される。そのため、これらのデコード済ピクチャのデータは内部メモリ６０６に転送されることはない。
このように、実施の形態２における動画像復号化装置２０では、判断部６０７によって必要なデータのみが内部メモリ６０６に格納された状態でデコードを進めていくことが可能である。またこのような手順を経ることによって、復号化順序と表示順序の関係は図９のようになる。
以上説明したように、実施の形態２の動画像復号化装置２０は、判断部６０７を備えることにより、デコード済ピクチャについて、外部メモリ６０８から第二転送部６０２を通じて内部メモリ６０６にコピーすべきか否かが判断される。そのため、その後に実際にフレーム間予測に用いられるデコード済ピクチャのデータのみを内部メモリ６０６にコピーすることが可能になり、転送にかかるデータ量を削減することができる。
ここで、上述のように、Ｈ．２６４の規格では、デコーダの能力等を規定するレベルが定められており、規格で定められた符号化ツールのうち、レベルごとにどの範囲までをサポートするかを規定している。
具体的には、上述のように、フルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、フレーム間予測に用いられるデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。
例えば、実施の形態２の動画像復号化装置２０が、当該動画ストリームを復号化の対象とする場合、内部メモリ６０６のサイズは規格で規定されるピクチャ４枚分の容量そのものでよい。
なお、判断部６０７が有する、各ピクチャが参照されるか否かを判断する機能は、例えば、Ｈ．２６４デコーダ６００が備えていてもよい。この場合、Ｈ．２６４デコーダ６００が第二転送部６０２に指示し、参照されるデコード済ピクチャのみを、外部メモリ６０８から内部メモリ６０６に転送させればよい。
（実施の形態３）
図１０は、本発明の実施の形態３における動画像復号化装置３０の主要な機能構成を示す機能ブロック図である。
以下、図１０を用いて実施の形態３における動画像復号化装置３０の構成について説明する。
図１０に示すように、動画像復号化装置３０は、実施の形態２における動画像復号化装置２０と同様の構成である。
すなわち、動画像復号化装置３０は、複数の機能が集積されたシステムＬＳＩ７０と、システムＬＳＩ７０の外部に配置された外部メモリ９０８とを備える。
システムＬＳＩ７０は、Ｈ．２６４デコーダ９００、第一転送部９０１、第二転送部９０２、第三転送部９０３、出画部９０４、符号化データ供給部９０５、フレーム間予測に用いる内部メモリ９０６を有し、さらに、判断部９０７を有する。
このように、実施の形態３における動画像復号化装置３０は、構成としては実施の形態２における動画像復号化装置２０と同じ構成である。
しかし、実施の形態３における動画像復号化装置３０は、第二転送部９０２が、内部メモリ９０６から外部メモリ９０８へデコード済ピクチャを転送する点で実施の形態１における動画像復号化装置１０および実施の形態２における動画像復号化装置２０とは異なる。
実施の形態３における動画像復号化装置３０は、この特徴により、外部メモリ９０８の容量を削減することが可能である。
なお、それぞれの構成要素の基本的な役割は実施の形態１および実施の形態２と共通であるため、説明を省略する。
次に、図１１を用いて、実施の形態３における動画像復号化装置３０の動作を説明する。
図１１は、実施の形態３における動画像復号化装置３０の処理の流れを示すフローチャートである。
まずＨ．２６４デコーダ９００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ１０００）にある。
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始されると、Ｈ．２６４デコーダ９００は、ピクチャヘッダをデコードする（Ｓ１００１）。
判断部９０７は、デコードされたピクチャヘッダに含まれる情報から当該ピクチャがフレーム間予測に用いられるピクチャであるかどうかを判断する（Ｓ１００２）。
当該ピクチャがフレーム間予測に用いられないものであった場合（Ｓ１００２でＮｏ）、Ｈ．２６４デコーダ９００は、続けてスライスヘッダのデコード処理を行う（Ｓ１００４）。
一方、当該ピクチャがフレーム間予測に用いられるピクチャであった場合（Ｓ１００２でＹｅｓ）、以降の処理でこのピクチャのデコード結果が内部メモリ９０６にのみ書き込まれることになる。
この場合、当該ピクチャのデコード後、後続のピクチャをデコードする際に出画するタイミングにあるデータは、この時点では内部メモリ９０６に格納されている。そこで、このデータを出画のために外部メモリ９０８に転送するために、第二転送部９０２による転送処理が開始される（Ｓ１００３）。
次にスライスヘッダのデコード処理（Ｓ１００４）、およびマクロブロックヘッダのデコード処理（Ｓ１００５）が行われる。
その後、デコード中のＭＢがフレーム間予測を行うＭＢであるか否かの判断が行われる（Ｓ１００６）。フレーム間予測を行うＭＢであった場合（Ｓ１００６でＹｅｓ）、Ｈ．２６４デコーダ９００は、デコード済ピクチャのデータを第三転送部９０３を用いて内部メモリ９０６から取得する。さらに、取得したデコード済ピクチャのデータを用いてフレーム間予測処理が行われる（Ｓ１００８）。
また、フレーム間予測が行われないＭＢであった場合（Ｓ１００６でＮｏ）、フレーム内予測処理が行われる（Ｓ１００９）。
フレーム間予測（Ｓ１００８）またはフレーム内予測（Ｓ１００９）を用いてデコードされたＭＢは、内部メモリ９０６または外部メモリ９０８のいずれか一方に書き出される。
具体的には、当該ピクチャがフレーム間予測のために後続のピクチャに参照されるか否かの判断（Ｓ１０１０）の結果に応じて出力先が決定される。
判断部９０７により、当該ピクチャが後続のピクチャに参照されるピクチャであると判断された場合（Ｓ１０１０でＹｅｓ）、当該デコード済みのＭＢは、第三転送部９０３を用いて内部メモリ９０６に転送される（Ｓ１０１２）。
判断部９０７により、当該ピクチャが後続のピクチャに参照されないピクチャであると判断された場合（Ｓ１０１０でＮｏ）、当該デコード済みのＭＢは、第一転送部９０１を用いて外部メモリ９０８に直接書き出される（Ｓ１０１１）。
ＭＢのデコードが完了すると、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであるか否かが判定される（Ｓ１０１３）。当該ＭＢがスライスの終端のＭＢではない場合（Ｓ１０１３でＮｏ）、次のＭＢのデコード処理に移行する。
また、当該ＭＢがスライスの終端のＭＢである場合（Ｓ１０１３でＹｅｓ）、続いて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ１０１４）。
当該ＭＢがピクチャの終端のＭＢではない場合（Ｓ１０１４でＮｏ）、次のスライスのデコード処理に移行する。
また、当該ＭＢがピクチャの終端のＭＢである場合（Ｓ１０１４でＹｅｓ）、データ転送の完了確認（Ｓ１０１５）に移行する。
具体的には、当該ピクチャに属するＭＢのデコードがすべて完了した後に、内部メモリ９０６から外部メモリ９０８への出画用データの転送（Ｓ１００３）など、各転送部によるデータ転送がすべて終わっているかどうかが判定される（Ｓ１０１５）。
なお、この判定は、例えばＨ．２６４デコーダ９００が各転送部と通信することで行われる。
転送が完了していなければ（Ｓ１０１５でＮｏ）、転送が完了（Ｓ１０１５でＹｅｓ）するまで待って、次のピクチャのデコード処理に移行する。
動画像復号化装置３０は、以上の手順を踏むことにより、デコード処理においてフレーム間予測に用いられるデータがすべて内部メモリ９０６に格納されている状態で次のピクチャのデコードを開始することができる。
これにより、フレーム間予測のために外部メモリ９０８にアクセスをすることなくデコード動作を行うことが可能となり、高速な外部メモリ９０８は不要である。
また外部メモリ９０８に書き込まれるデータは現在出画されているピクチャの次に出画される予定のピクチャのデータである。そのためデコード済ピクチャのデータを格納するために外部メモリ９０８に必要な容量はピクチャ２枚分だけで済むことになる。
（実施の形態１〜３の補足事項）
実施の形態１〜３のいずれにおいてもＨ．２６４の復号処理に関して説明した。しかしながら、本発明は複数のフレームを参照して動画像データの符号化を行う動画像符号化規格のいずれにも適用することができる。
また、本発明を、例えば符号化された動画像データを再生する再生装置に適用することもできる。
図１２は、本発明を用いた集積回路を含む符号化画像の再生装置１０００の構成図である。
なお、図１２では、実施の形態１の動画像復号化装置１０が再生装置１０００に含まれる構成を示しているが、動画像復号化装置１０に換えて動画像復号化装置２０または動画像復号化装置３０が再生装置１０００に含まれていてもよい。
図１２に示すように、再生装置１０００は、回路基板１１００と、表示部１１０５とを備える。
回路基板１１００は、システムＬＳＩ５０と外部メモリ１０７とを有する動画像復号化装置１０と、ストリーム入力部１１１０と、外部出力部１１１１とを備える。
システムＬＳＩ５０は複数の機能が集積された一つのＬＳＩであり、機能的な構成は実施の形態１で説明した通りである。
ストリーム入力部１１１０は、本発明の再生装置における入力手段の一例であり、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークなどからの入力信号を受けて符号化ストリームを取り出し、動画像復号化装置１０に供給する処理部である。
具体的には、ストリーム入力部１１１０により取り出された符号化ストリームは外部メモリ１０７に書き込まれる。外部メモリ１０７に書き込まれた符号化ストリームは、実施の形態１の処理フロー（図３参照）と同様にシステムＬＳＩ５０に入力されデコードされた後、第一転送部１０１を通じて外部メモリ１０７に書き込まれる。
なおストリーム入力部１１１０は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。
また、ストリーム入力部１１１０は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰネットワークなどの外部入力に対して、別々の回路で構成されていてかまわない。
外部メモリ１０７に書き込まれたデコード済ピクチャのデータは、出画部１０４を通じて、表示部１１０５の表示処理を司る外部出力部１１１１に入力される。外部出力部１１１１は、当該ピクチャのデータを表示部１１０５に出力する。これにより、当該ピクチャは表示部１１０５に表示される。
なお外部出力部１１１１は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。
このような構成を有し、符号化画像を再生する再生装置１０００によれば、より少ない内部メモリを有する集積回路で符号化画像の再生が可能である。
また、このような再生装置１０００は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナなどのデバイスから入力される符号化ストリームを再生するさまざまな機器への応用が可能である。
なお、全ての実施の形態における、Ｈ．２６４デコーダや転送部、符号化データ供給部、出画部などの各機能ブロックは、典型的には集積回路であるＬＳＩとして実現されるが、これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することができる。従って、本発明の動画像復号化装置は、デジタルスチルカメラ、デジタルビデオカメラ、ＤＶＤまたはＢｌｕ−ｒａｙディスクプレーヤー、デジタルテレビ、デジタルテレビの受信機、カーナビゲーションシステム、インターネットに接続されるセットトップボックスなどへの応用が可能である。
図１は、本発明の実施の形態１における動画像復号化装置の主要な機能構成を示す機能ブロック図である。 図２は、Ｈ．２６４デコーダの主要な機能構成を示す機能ブロック図である。 図３は、実施の形態１における動画像復号化装置の処理の流れを示すフローチャートである。 図４は、Ｈ．２６４ストリームの階層構造を示す図である。 図５は、実施の形態１の動画像復号化装置における復号処理のタイミングチャートの一例である。 図６は、本発明の実施の形態２における動画像復号化装置の主要な機能構成を示す機能ブロック図である。 図７は、実施の形態２における動画像復号化装置の処理の流れを示すフローチャートである。 図８は、連続するピクチャシーケンスの一例を示す図である。 図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。 図１０は、本発明の実施の形態３における動画像復号化装置の主要な機能構成を示す機能ブロック図である。 図１１は、実施の形態３における動画像復号化装置の処理の流れを示すフローチャートである。 図１２は、本発明を用いた集積回路を含む符号化画像の再生装置の構成図である。
符号の説明
１０、２０、３０ 動画像復号化装置
５０、６０、７０ システムＬＳＩ
１００、６００、９００ Ｈ．２６４デコーダ
１０１、６０１、９０１ 第一転送部
１０２、６０２、９０２ 第二転送部
１０３、６０３、９０３ 第三転送部
１０４、６０４、９０４ 出画部
１０５、６０５、９０５ 符号化データ供給部
１０６、６０６、９０６ 内部メモリ
１０７、６０８、９０８ 外部メモリ
２００ 符号化ストリームバッファ
２０１ 可変長復号部
２０２ 逆量子化部
２０３ フレーム間予測部
２０４ フレーム内予測部
２０５ デブロッキングフィルタ部
２０６ 復号化画像バッファ
６０７、９０７ 判断部
１０００ 再生装置
１１００ 回路基板
１１０５ 表示部
１１１０ ストリーム入力部
１１１１ 外部出力部

Claims (10)

  1. 最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、
    前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
    前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、
    前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
    前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段と
    を備える動画像復号化装置。
  2. 前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、
    前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始する
    請求項１記載の動画像復号化装置。
  3. 前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送する
    請求項２記載の動画像復号化装置。
  4. さらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、
    前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する
    請求項１記載の動画像復号化装置。
  5. 前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送する
    請求項４記載の動画像復号化装置。
  6. 前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されている
    請求項１記載の動画像復号化装置。
  7. 前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、
    前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、
    前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号する
    請求項１記載の動画像復号化装置。
  8. 動画像データを再生する再生装置であって、
    請求項１記載の動画像復号化装置と、
    前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、
    前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段と
    を備える再生装置。
  9. 最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化方法であって、
    前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化ステップと、
    前記復号化ステップにおいて得られる復号済ピクチャを外部出力のために第一記憶手段に保持させる第一記憶ステップと、
    前記復号化ステップにおける１枚の符号化ピクチャの復号開始前に前記復号化ステップにおけるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャが第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送ステップとを含み、
    前記復号化ステップでは、前記第二記憶手段に記憶されている前記ｎ枚の復号済ピクチャを参照して前記１枚の符号化ピクチャを復号する
    動画像復号化方法。
  10. 最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置に用いられる集積回路であって、
    前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
    前記復号化手段により得られる復号済ピクチャを前記集積回路の外部の第一記憶手段に転送する第一転送手段と、
    前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
    前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する第二転送手段と
    を備える集積回路。
JP2008558574A 2007-05-22 2008-05-14 動画像復号化装置及び動画像復号化方法 Expired - Fee Related JP5173849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008558574A JP5173849B2 (ja) 2007-05-22 2008-05-14 動画像復号化装置及び動画像復号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007135137 2007-05-22
JP2007135137 2007-05-22
JP2008558574A JP5173849B2 (ja) 2007-05-22 2008-05-14 動画像復号化装置及び動画像復号化方法
PCT/JP2008/001207 WO2008146455A1 (ja) 2007-05-22 2008-05-14 動画像復号化装置及び動画像復号化方法

Publications (2)

Publication Number Publication Date
JPWO2008146455A1 JPWO2008146455A1 (ja) 2010-08-19
JP5173849B2 true JP5173849B2 (ja) 2013-04-03

Family

ID=40316820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008558574A Expired - Fee Related JP5173849B2 (ja) 2007-05-22 2008-05-14 動画像復号化装置及び動画像復号化方法

Country Status (4)

Country Link
US (1) US8681862B2 (ja)
JP (1) JP5173849B2 (ja)
CN (1) CN101543082B (ja)
WO (1) WO2008146455A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024661A (ja) * 2009-07-22 2011-02-10 Daito Giken:Kk 遊技台
US9497466B2 (en) 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8990435B2 (en) * 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
CN103828370B (zh) 2011-10-31 2017-11-03 联发科技股份有限公司 缓冲装置、缓冲方法以及熵解码器
JP5803697B2 (ja) * 2012-01-27 2015-11-04 株式会社ソシオネクスト 動画像復号装置及び動画像復号方法
US11051026B2 (en) 2015-08-31 2021-06-29 Intel Corporation Method and system of frame re-ordering for video coding
WO2019047883A1 (en) * 2017-09-08 2019-03-14 Fg Innovation Ip Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA BASED ON MULTIPLE REFERENCE LINES

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818953A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 動画像復号表示装置
JPH11298903A (ja) * 1998-04-09 1999-10-29 Sony Corp ディジタル画像復号装置及び方法、並びに提供媒体
JP2000175201A (ja) * 1998-12-04 2000-06-23 Sony Corp 画像処理装置及び方法、並びに提供媒体
JP2002247583A (ja) * 2001-02-22 2002-08-30 Seiko Epson Corp 画像信号復号装置
JP2006115168A (ja) * 2004-10-14 2006-04-27 Sony Corp 画像復号装置および画像表示装置
JP2006166308A (ja) * 2004-12-10 2006-06-22 Victor Co Of Japan Ltd 復号化装置及び復号化方法
JP2006287583A (ja) * 2005-03-31 2006-10-19 Victor Co Of Japan Ltd 画像データ領域取得補間回路

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880786A (en) 1994-06-15 1999-03-09 Hitachi, Ltd. Apparatus for picture decoding having frame memories commonly connected to one data bus and one address bus
EP1274253A3 (en) * 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
JPH10191341A (ja) * 1996-12-24 1998-07-21 Toshiba Corp 画像伸張装置
JP3604290B2 (ja) * 1998-09-25 2004-12-22 沖電気工業株式会社 動画像復号方法及び装置
US6871001B1 (en) * 1999-03-23 2005-03-22 Sanyo Electric Co., Ltd. Video decoder
JP3840895B2 (ja) * 2000-11-22 2006-11-01 日本電気株式会社 動画像符号化データ変換装置及びその方法
JP2002218474A (ja) 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置
EP1501314A4 (en) * 2002-04-26 2010-03-17 Nec Corp MOVING PICTURE TRANSFER SYSTEM, MOVABLE IMAGE CODING DEVICE, MOVABLE PICTURE DECODER AND MOVABLE PICTURE TRANSFER PROGRAM
JP2004215049A (ja) 2003-01-07 2004-07-29 Sony Corp 符号化装置および方法、復号装置および方法、並びにプログラム
JP3938368B2 (ja) * 2003-09-02 2007-06-27 ソニー株式会社 動画像データの編集装置および動画像データの編集方法
KR100517906B1 (ko) * 2003-11-27 2005-09-30 (주) 멀티비아 모바일 디바이스용 동영상 압축 방법
KR101024913B1 (ko) * 2004-01-09 2011-03-31 엘지전자 주식회사 Ｖｌｄ 버퍼 관리 장치
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818953A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 動画像復号表示装置
JPH11298903A (ja) * 1998-04-09 1999-10-29 Sony Corp ディジタル画像復号装置及び方法、並びに提供媒体
JP2000175201A (ja) * 1998-12-04 2000-06-23 Sony Corp 画像処理装置及び方法、並びに提供媒体
JP2002247583A (ja) * 2001-02-22 2002-08-30 Seiko Epson Corp 画像信号復号装置
JP2006115168A (ja) * 2004-10-14 2006-04-27 Sony Corp 画像復号装置および画像表示装置
JP2006166308A (ja) * 2004-12-10 2006-06-22 Victor Co Of Japan Ltd 復号化装置及び復号化方法
JP2006287583A (ja) * 2005-03-31 2006-10-19 Victor Co Of Japan Ltd 画像データ領域取得補間回路

Also Published As

Publication number Publication date
WO2008146455A1 (ja) 2008-12-04
US8681862B2 (en) 2014-03-25
JPWO2008146455A1 (ja) 2010-08-19
CN101543082B (zh) 2011-07-20
CN101543082A (zh) 2009-09-23
US20100054332A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5173849B2 (ja) 動画像復号化装置及び動画像復号化方法
US9414059B2 (en) Image processing device, image coding method, and image processing method
US7706445B2 (en) Image processing employing picture type conversion
US8184700B2 (en) Image decoder
JP2007060487A (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2005175997A (ja) 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体
JP2002359848A (ja) 画像処理装置
JP4254828B2 (ja) 情報処理装置および方法、並びにプログラム
US20100061464A1 (en) Moving picture decoding apparatus and encoding apparatus
JP2001346165A (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP2010258997A (ja) 番組データ記録再生装置及び番組データ記録再生方法
US20030099293A1 (en) Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP4244974B2 (ja) データ処理システム、再生装置、データ処理装置、再生方法、データ処理方法、プログラムおよび記録媒体
JP2011014948A (ja) 画像符号化方法及び画像符号化装置、並びにそれらを用いた画像記録再生装置
EP1259073A1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP3860319B2 (ja) 画像再生方法及び装置
US20090109810A1 (en) Recording/reproduction apparatus
JP2003244641A (ja) 画像再生装置、及び画像再生方法
JP3515565B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
US8463055B2 (en) Method for progressive JPEG image decoding and method for controlling decoder
KR101526255B1 (ko) 전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 기록 매체
JP2006157875A (ja) データ処理装置、再生装置、データ処理システム、再生方法、プログラムおよび記録媒体
JP2007109329A (ja) 画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体
JP3657855B2 (ja) 画像復号装置及び画像復号方法
JP3403167B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R150 Certificate of patent or registration of utility model

Ref document number: 5173849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees