JP4324844B2 - 画像復号化装置及び画像復号化方法 - Google Patents
画像復号化装置及び画像復号化方法 Download PDFInfo
- Publication number
- JP4324844B2 JP4324844B2 JP2003122472A JP2003122472A JP4324844B2 JP 4324844 B2 JP4324844 B2 JP 4324844B2 JP 2003122472 A JP2003122472 A JP 2003122472A JP 2003122472 A JP2003122472 A JP 2003122472A JP 4324844 B2 JP4324844 B2 JP 4324844B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- decoding
- macroblock
- simplified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Description
【０００１】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（Joint Model of Enhanced-Compression Video Coding）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（Moving Picture Experts Groupe ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO／IEC 14496-２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、2003年３月にはＨ．２６４及びＭＰＥＧ−４ Part１０（Advanced Video Coding）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
このＪＶＴ符号化方式においては、入力となる画像情報が飛び越し走査である場合には、２つのマクロブロックをペア（Pair）（以下、マクロブロックペアと呼ぶ）として、それぞれのマクロブロックペアに対して、フィールドモード又はフレームモードにより符号化することが可能である。
【００１７】
以下では、ＪＶＴ符号化方式において定められているイントラ予測の方法について述べる。
【００１８】
イントラ予測処理において入力となるパラメータは、当該マクロブロックのmb_type、prev_intra４×４_pred_mode_flag（if available）、rem_intra４×４_pred_mode（if available）、intra_chroma_pred_mode（if available）、隣接マクロブロック（又は隣接マクロブロックペア）の画素値である。また、出力となるパラメータは、当該マクロブロック（又は当該マクロブロックペア）に対する予測画素値である。イントラ予測は、デブロックフィルタ処理前の画素値を用いて行われる。
【００１９】
以下では、まず、輝度信号に対するイントラ予測方式について述べる。輝度信号に対する処理は、以下に述べるように、当該マクロブロックが、イントラ４×４モードであるか、イントラ１６×１６モードであるかによって、その処理が異なる。
【００２０】
まず、イントラ４×４モードにおける処理は以下の通りである。
【００２１】
この処理は、mb_part_pred_mode（mb_type、0）が、Intra_4×4に等しい時に適用され、入力となるパラメータは、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode（if available）、周辺輝度blockの、De‐blocking filtering処理前の画素値（if available）であり、出力は、当該マクロブロックに対する輝度信号の予測値である。輝度信号４×４ブロックのスキャン順は、図４に示す通りである。
【００２２】
以下では、まず、adaptive_frame_field_flagの値が０の時、当該ブロックのイントラ予測が”available”か、”not available”かの判定を行う処理について述べる。この処理の入力は、当該輝度ブロックの位置、隣接ブロックに含まれる、復号化処理処理済みの輝度画素値（デブロックフィルタ処理前のもの）であり、出力は、図５に示されるＡ〜Ｍの画素値が”available”であるかどうかである。4×4LumaBlkLocを、4×4LumaBlkIdxにより指し示される。４×４輝度ブロックの、左上部の画素値の位置と定義する。4×4LumaBlkIdxにより指し示される、４×４輝度ブロックに含まれるそれぞれの画素値は、図５におけるａ〜ｐであり、これらは隣接する画素値Ａ〜Ｍにより予測される。画素値の位置は、4×4LumaBlkLocにより指し示される。例えばｄの位置は、
【００２３】
【数１】
【００２４】
で表される。
【００２５】
またＡの位置は、
【００２６】
【数２】
【００２７】
のように示される。
【００２８】
画素値Ａ〜Ｍは、以下の第１〜第３のいずれか一つでも成り立つ時、”not available”であるとする。第１に、当該画素が、ピクチャ外、若しくはスライス外である時、第２に、復号化処理において、当該画素が、当該ブロックより後に処理されるブロックに属する時、第３に、constrainde_intra_pred_flag＝0で、当該ブロックがインターマクロブロックに属する時である。
【００２９】
Ｅ〜Ｈが”not available”であるが、Ｄが”available”の時、Ｅ〜Ｈを”available”であるとして、その値はＤで代用する。
【００３０】
次に、mb_adaptive_frame_filed_flagの値が１で、field_pic_flagの値が０の時の処理について述べる。図５に示された画素値ａ〜ｐに対して、隣接画素Ａ〜Ｍが以下のように定義される。すなわち、当該マクロブロックがframe decoding modeの場合、mb_adaptive_field_flagの値が０である場合と同様の処理が行われる。
【００３１】
当該マクロブロックが、field decoding modeで、top macroblockである場合には、
【００３２】
【数３】
【００３３】
のように隣接画素値が定義される。
【００３４】
また当該マクロブロックが、field decoding modeで、bottom field macroblockである場合には、
【００３５】
【数４】
【００３６】
のように隣接画素値が定義される。
【００３７】
次に、イントラ予測値の生成処理について述べる。本処理の入力は、prev_inrta4×4_pred_flag、rem_intra4×4_pred_mode、4×4LumaBlkIdxによって指し示される４×４輝度ブロックの位置、LumaBlkLoc［4×4LumaBlkIdx］であり、出力は、Intra4×4LumaPredMode［4×4LumaBlkIdx］である。図６にntra4×4LumaPredMode［4×4LumaBlkIdx］及びそれに対応する予測モードの名称を示す。
【００３８】
Intra4×4LumaPredMode[4×4LumaBlkIdx]の値が0、1、3、4、5、6、7、8の時、予測方向はそれぞれ図７に示す通りである。
【００３９】
adaptive_frame_field_flagが０の時、若しくは、field_pic_flagが１の時、隣接マクロブロックのアドレス検出並びに、”availability”の検出は以下のように行われる。この処理の入力は、MbAddress（当該マクロブロックのアドレス）であり、出力は、MbAddressＡ（当該マクロブロックの左に位置するマクロブロックのアドレス）、MbAddressＢ（当該マクロブロックの上に位置するマクロブロックのアドレス）及び、これら２つのマクロブロックのアドレス”availability”である。
【００４０】
あるマクロブロックのアドレスMbAddressに対して、第１に、MbAddress＜０、第２に、MbAddress＞Max MbAddress−１、第３に、MbAddressにより指定されるマクロブロックが異なるスライスに属するものである、第４に、MbAddressにより指定されるマクロブロックが復号化済みではない、でなる第１〜第４のいずれかが成り立つ時、このMbAddressで指定されるマクロブロックは、”not available”であるとされる。
【００４１】
この処理が、隣接するマクロブロックＡ及びＢに以下のように適用される。すなわち、第一の処理に関しては、入力はMbPairAddressＡ＝MbPairAddress−１であり、出力はMbPairAddressＡが”available”であるかどうかである。第二の処理に関しては、入力はMbPairAddressＢ＝MbPairAddress−（frame_width_in_mbs_minus１＋１）であり、出力はMbPairAddressＢが”available”であるかどうかである。
【００４２】
adaptive_frame_field_flagが０、若しくは。Field_pic_flegが１の時、隣接のマクロブロックのアドレス検出並びに”availability”の検出は以下のように行われる。この処理の入力パラメータは、MbAddressＡであり、出力は変数”ExIntra4×4LumaPred”の値（４つ）である。
【００４３】
まず、当該マクロブロックの左部に位置するマクロブロックに関してであるが、MbAddressＡで指し示されるマクロブロックが”available”で、MbAddressＡで指し示されるマクロブロックのmb_typeが、I_4×4若しくはＳＩの時、ExIntra4×4LumaPredModeの値は
【００４４】
【数５】
【００４５】
のように得られる。
【００４６】
ここで、Intra4×4LumaPredModeは、MbAddressＡにより指し示されるマクロブロックに対して割り当てられた値である。
【００４７】
MbAressＡで指し示されるマクロブロックが”available”でないか、若しくは、そのmb_typeがI_4×4でもＳＩでもない場合、ExIntra4×4LumaPredModeの値は、
【００４８】
【数６】
【００４９】
の処理により得られる。
【００５０】
次に、当該マクロブロックの上部に位置するマクロブロックに関してであるが、入力となるパラメータは、MbAddressＢ出力となるパラメータは、変数”ExtIntra4×4LumaPred”の値（４つ）となる。
【００５１】
MbAddressＢで指し示されるマクロブロックが、”available”で、MbAddressＢで指し示されるマクロブロックmb_type_が、I_4×4若しくはＳＩの時、ExIntra4×4LumaPredModeの値は、
【００５２】
【数７】
【００５３】
の処理により得られる。
【００５４】
ここで、Intra4×4LumaPredModeは、MbAddressＢにより指し示されるマクロブロックに対して割り当てられた値である。
【００５５】
MbAddressＢで指し示されるマクロブロックが”avaiable”でないか、若しくは、そのmb_typeがI_4×4でもＳＩでもない場合、ExIntra4×4LumaPredModeの値は、
【００５６】
【数８】
【００５７】
の処理により得られる。
【００５８】
次に、上述したようなマクロブロックレベルのフィールド／フレーム適応型符号化を行う際の、隣接マクロブロックペアのイントラ予測モードに関する情報の抽出方法について述べる。
【００５９】
当該マクロブロックのmb_adaptive_field_flagが１で、field_pic_flagが０の時適用される処理について述べる。
【００６０】
まず、当該マクロブロックペアが、frame modeの時であるが、入力となる情報は、MbPairAddressＡ及びMbPairAddressＢであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom（合計８個）である。
【００６１】
Top macroblockに関しては、上述の式（５）に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果、ExIntra4×4LumaPredModeTopが出力される。また、上述の式（７）に記述された、MbAddressＢとして、MbPairAddressＢが入力され、この結果、ExIntra4×4PredModeTopが出力される。
【００６２】
次に、Bottpm Macroblockに関しては、上述の式（５）に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。また上述の式（７）に記述された処理の、MbAddressＢとして、MbPairAddressＢが入力され、この結果、ExIntra4×4LumaPredModeBottomが出力される。
【００６３】
まず、当該マクロブロックペアが、field modeの時であるが、入力となる情報は、MbPairAddressＡ及びMbPairAddressＢであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom（合計８個）である。
【００６４】
隣接マクロブロックペアのMbPairAddressＡに対する処理は、以下の通りである。すなわち、8.3.1.2.3.1に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果、ExIntra4×4PredModeTopが出力される。また、上述の式（５）に記述された処理の、MbPairAddressＡが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。
【００６５】
隣接マクロブロックペアのMbPairAddressＢがfiled modeである時、若しくは、”available”ではない時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MbPairAddressＢで指し示されるMB Pairのtop macroblockが、ＭＢAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MBPairAddressＢで指し示されるMBPairのbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【００６６】
隣接マクロブロックペアMbPairAddressＢがframe modeである時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MBPairAddressＢで指し閉めされるMB Pairのbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra４×４LumaPredModeTopとなる。また、当該MB Pairにおけるbottom macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MBPairAddressBで指し示されるMB Pair のbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【００６７】
図８に、当該マクロブロックペアがfield modeの際の、上述の処理を図示する。
【００６８】
次に、当該マクロブロックに対するIntra4×4LumaPredModeの復号化処理について述べる。
【００６９】
この処理は、adaptive_frame_field_flagが１、若しくは、field_pic_flagが１の時適用される。入力となる情報は、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode並びにExIntra4×4LumaPredModeであり、出力となる情報は、当該macroblock（MbAddressにより指定される）に対するIntra_4×4LumaPredModeである。その処理は、
【００７０】
【数９】
【００７１】
の擬似コードにより記述される通りである。
【００７２】
次に、上述したような、マクロブロックペア（MB Pair）に対するIntra4×4LumaPredModeの復号化処理について述べる。
【００７３】
この処理は、mb_adaptive_frame_field_flagが１で、field_pic_flagが０の時適用される。
【００７４】
当該マクロブロックペアのtop macroblcokに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaModePredTopが、式（８）に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのtop macroblockに対して割り当てられる。
【００７５】
当該マクロブロックぺアのbottom macroblockに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaPredModeが、式（８）に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのbottom macroblockに対して割り当てられる。
【００７６】
次に、イントラ４×４モードにおける、イントラ予測の復号化処理にして述べる。
【００７７】
入力となるパラメータは、図５において示された隣接画素値Ａ〜Ｍ及び当該４×４ブロックに対して定義されるIntra4×4LumaPredMode[4×4LumaBlkIdx]であり、出力となるパラメータは、4×4LumaBlkIdxによって指定される４×４ブロックに対する予測画素値である。Intra4×4LumaPredMode[4×4LumaBlkIdx]の値に応じて、以下に述べる。いずれかのイントラ予測モードが用いられる。
【００７８】
以下では、Vertical予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が０の時適用される。Ａ、Ｂ、Ｃ、Ｄが”available”の場合のみ適用される。それぞれの予測値は、
【００７９】
【数１０】
【００８０】
の通りである。
【００８１】
以下では、Horizontal予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が１の時適用される。Ｉ、Ｊ、Ｋ、Ｌが”available”の場合のみ適用される。それぞれの予測値は、
【００８２】
【数１１】
【００８３】
の通りである。
【００８４】
以下では、ＤＣ予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が２の時適用される。画素ａ〜ｐの全てに対する予測値として、以下の値が用いられる。
【００８５】
すなわち、Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌが全て”available”である時、予測値は、
【００８６】
【数１２】
【００８７】
とする。
【００８８】
Ａ、Ｂ、Ｃ、Ｄが全て”unavailable”である時、予測値は、
【００８９】
【数１３】
【００９０】
とする。
【００９１】
Ｉ、Ｊ、Ｋ、Ｌが全て”unavailable”である時、予測値は、
【００９２】
【数１４】
【００９３】
とする。
【００９４】
Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌが全て”available”である時、128を予測値として用いる。
【００９５】
以下では、Diagonal_Down_Left予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が３の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが全て”available”の場合のみ適用される。それぞれの予測値は、
【００９６】
【数１５】
【００９７】
の通りである。
【００９８】
以下では、Diagonal_Down_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が４の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【００９９】
【数１６】
【０１００】
の通りである。
【０１０１】
以下では、Diagonal_Vertical_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が５の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０２】
【数１７】
【０１０３】
の通りである。
【０１０４】
以下では、Horizontal_Downについて述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が６の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０５】
【数１８】
【０１０６】
以下の通りである。
【０１０７】
以下では、Vertical_Left予測値について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が７の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０８】
【数１９】
【０１０９】
の通りである。
【０１１０】
以下では、Horizontal_Up予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が８の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１１１】
【数２０】
【０１１２】
の通りである。
【０１１３】
次に、当該輝度信号が、イントラ１６×１６モードであるマクロブロックに属する場合の、イントラ予測の方法について述べる。この処理は、mb_part_pred_mode（mb_type、0）が、Intra16×16と等しい時、適用される。入力となるパラメータは、当該マクロブロックに対するmb_type及び当該マクロブロックの隣接画素値の、De-blocking filtering処理前の値であり、出力となるパラメータは、当該マクロブロックに対する予測画素値である。
【０１１４】
以下では、当該マクロブロックに属する画素値を、Ｐ（ｘ、ｙ）；ｘ、ｙ＝0..15で表す。また、隣接画素値は、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；＝−1..15で表す。
【０１１５】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが１の時である。
【０１１６】
イントラ１６×１６モードの時、以下に述べる４通りのいずれかの方法によりイントラ予測が行われる。
【０１１７】
Mode0はvertaicl予測であり、Ｐ（ｘ、−１）；ｘ、ｙ＝−1..15が”available”である時にのみ適用される。生成される予測値は、
【０１１８】
【数２１】
【０１１９】
の通りである。
【０１２０】
Mode1はhorizontal予測であり、Ｐ（−１、ｙ）；ｘ、ｙ＝−1..15が”available”である時にのみ適用される。生成される予測値は、
【０１２１】
【数２２】
【０１２２】
の通りである。
【０１２３】
Mode２はＤＣ予測であり、予測値は以下のように生成される。すなわち、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”available”である場合には、
【０１２４】
【数２３】
【０１２５】
となる。
【０１２６】
Ｐ（ｘ、−１）；ｘ、ｙ＝−1..15が”not available”である場合には、
【０１２７】
【数２４】
【０１２８】
となる。
【０１２９】
Ｐ（−１、ｙ）；ｘ、ｙ＝−1..15が”not available”である場合には、
【０１３０】
【数２５】
【０１３１】
となる。
【０１３２】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”notavailable”である場合には、予測値として128を用いる。
【０１３３】
Mode3はplane予測である。この予測モードは、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”availeble”の場合のみ適用される。予測値の生成は、
【０１３４】
【数２６】
【０１３５】
に示す通りである。ここでＣｌｉｐ１は０〜255の範囲でのクリップ処理を表す。
【０１３６】
次に、色差信号に対するイントラ予測について述べる。この処理は、Ｉマクロブロック並びにＳＩマクロブロックに対してのみ適用される。入力となるパラメータは、intra_chroma_pred_mode及びデブロックフィルタ処理前の、隣接画素値であり、出力となるパラメータは、当該マクロブロックの色差信号に対する予測値である。
【０１３７】
以下では、当該マクロブロックに属する画素値を、Ｐ（ｘ、ｙ）；ｘ、ｙ＝0..7で表す。また、隣接画素値は、Ｐ（ｘ、−１）及びＰ（−１、ｙ）＝−1..7で表す。
【０１３８】
色差信号に対するイントラ予測モードは、輝度信号に対するそれとは独立に設定することが可能である。
【０１３９】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが１の時である。
【０１４０】
Mode0はＤＣ予測であり、その予測値は以下の通りである。すなわち、Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”available”である場合には、
【０１４１】
【数２７】
【０１４２】
が成り立つ。
【０１４３】
Ｐ（−１、ｙ）が”not available”である場合には、
【０１４４】
【数２８】
【０１４５】
が成り立つ。
【０１４６】
Ｐ（ｘ、−１）が”not available”である場合には、
【０１４７】
【数２９】
【０１４８】
が成り立つ。
【０１４９】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”not available”である場合には、予測値として128を用いる。
【０１５０】
Mode1はhorizontal予測であり、Ｐ（−１、ｙ）が”not available”である場合にのみ適用される。その予測値は、
【０１５１】
【数３０】
【０１５２】
に示す通りである。
【０１５３】
Mode2はvertical予測であり、Ｐ（ｘ、−１）が”available”である場合にのみ適用される。その予測値は、
【０１５４】
【数３１】
【０１５５】
に示す通りである。
【０１５６】
Mode3はplane予測であり、Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”available”である場合にのみ適用される。その予測値は、
【０１５７】
【数３２】
【０１５８】
に示す通りである。
【０１５９】
ところでＪＶＴ符号化方式では、図９に示すように、単一のマクロブロックを、１６×１６、１６×８、８×８の大きさの単一又は複数の動き予測ブロックに分割し、動き補償処理を行うことが可能である。８×８動き予測ブロックのそれぞれに関しては、図９に示す通り、さらに８×８、８×４、４×８又は４×４のサブブロックに分割し、動き補償処理を行うことが可能である。
【０１６０】
【発明が解決しようとする課題】
ところで、ＤＶＤに代表される画像再生装置では、メディアから通常の再生速度での再生のみならず、高速早送り再生や高速巻戻し再生にも対応している。図１０に画像再生装置１の概略構成を示す。
【０１６１】
この画像再生装置１では、メディア２から再生されたＭＰＥＧ２方式の画像情報に付加されたビットストリームの読込み位置情報Ｓ１が読込み位置指定器３に供給される。この読込み位置指定器３は、外部から高速早送り再生や高速巻戻し再生等の再生モード信号Ｓ２を受け取ると、読込み位置情報Ｓ１に基づいて、指定された再生モードに適する読込み位置を読込み器４に指定させる。この読込み器４では、読込み位置指定器３によって指定された読込み位置に従って、メディア２からＭＰＥＧ２方式の画像情報Ｓ１のビットストリームを非連続的に読み込む。
【０１６２】
画像復号器５は、読込み器４から供給されるビットストリームに基づいてＭＰＥＧ２方式に応じた復号処理を行うことにより、当該ビットストリームから高精細度の画像に復元するようになされている。
【０１６３】
その際、かかる構成の画像再生装置１では、読込み位置指定器３は、読込み器４の出力がＭＰＥＧ２方式のビットストリームとして矛盾なく復号処理し得るように、読込み位置を指定する必要がある。
【０１６４】
すなわち、ＭＰＥＧ２方式における通常の画像圧縮情報の各ＧＯＰの先頭のＩピクチャ（イントラ符号化画像、すなわちフレーム内符号化画像）及びその後に続く数枚のＰピクチャ（フレーム間順方向予測符号化画像）のビットストリームを元のＭＰＥＧ２方式の画像情報のビットストリームから抜き出す。ＭＰＥＧ２方式では、Ｐピクチャは直前のＩピクチャ又はＰピクチャを予測フレームとして使用するため、高速再生のために抜き出したストリームでもＭＰＥＧ２方式のストリームとして矛盾なく復号化し得るようになされている。
【０１６５】
例えば図１１（Ａ）に示すように、ＭＰＥＧ２方式のビットストリームが、ＧＯＰ単位で所定周期でＩピクチャ（Ｉ０、Ｉ１、…）及びＰピクチャ（Ｐ０、Ｐ１、…）が符号化された後、その間にＢピクチャ（双方向予測符号化画像）（Ｂ０、Ｂ１、…）が後で符号化されて挿入される。すなわち図１１（Ｂ）に示すように、通常再生におけるＩ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、……、Ｉｎ、Ｂｎ＋１、Ｂｎ＋２、Ｐｎ＋３のビットストリームから、高速再生では、Ｉ０、Ｐ３、Ｐ６、……、Ｉｎ、Ｐｎ＋３のビットストリームが抜き出される。
【０１６６】
ところが、ＪＶＴ符号化方式の場合には、Ｐピクチャであっても複数の予測フレームを使用することが可能になっていると共に、ＭＰＥＧ２方式では使用できないＢピクチャを予測フレームとして使用できるものの、従来のＭＰＥＧ２方式の場合と同様にＩピクチャ及びＰピクチャを抜き出したとしても、予測関係が成り立たないため、予測フレームを容易にすることができず、抜き出し後のストリームを正常に復号化することができないという問題があった。
【０１６７】
すなわちＪＶＴ符号化方式のビットストリームでは、図１２（Ａ）に示すように、ＧＯＰ単位で所定周期で現れるＩピクチャ（Ｉ０、Ｉ１、…）及びＰピクチャ（Ｐ０、Ｐ１、…）のみならず、その間にＢピクチャ（Ｂ０、Ｂ１、…）もＰピクチャの予測画像として挿入される。すなわち図１２（Ｂ）に示すように、通常再生におけるＩ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、……、Ｉｎ、Ｂｎ＋１、Ｂｎ＋２、Ｐｎ＋３のビットストリームから、高速再生では、Ｉ０、Ｐ３、Ｐ６、……、Ｉｎ、Ｐｎ＋３のビットストリームが抜き出されても、Ｐピクチャの予測画像が存在しないため、正常な復号化を行うことが困難となる問題があった。
【０１６８】
本発明は以上の点を考慮してなされたもので、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【０１６９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成する簡易Ｉピクチャ生成部を設けるようにした。
【０１７０】
この結果この画像復号化装置では、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０１７１】
また本発明においては、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成するようにした。
【０１７２】
この結果この画像復号化装置では、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０１７３】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【０１７４】
（１）本実施の形態におけるＪＶＴ符号化方式に準拠した画像復号化装置の構成図１において、１０は本実施の形態におけるＪＶＴ符号化方式に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０を、外部指定された再生モードに応じた復号方法で順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【０１７５】
まず外部入力される画像圧縮情報Ｓ１０は、蓄積バッファ１１に格納された後、所定タイミングで読み出されて可逆復号化部１２に送出される。可逆復号化部１２では、予め定められた画像圧縮情報のフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。
【０１７６】
その際、可逆復号化部１２は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部１２は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報Ｓ１１Ａをも復号化してイントラ予測部１３に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報Ｓ１１Ｂをも復号化して動き予測・補償部１４に送出する。
【０１７７】
この可逆復号化部１２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数Ｓ１１Ｃは、逆量子化部１５において逆量子化された後、逆直交変換部１６に送出される。この逆直交変換部１６では、与えられた変換係数Ｓ１１Ｃは、所定方式に基づく４次の逆直交変換が施された後、加算器１７の一入力端に与えられる。
【０１７８】
ここで可逆復号部１２においてイントラ符号化であると判断された場合、加算器１７の他入力端には、イントラ予測部１３において生成された予測画像が入力される。この加算器１７において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ１８に与えられてブロック歪が除去される。
【０１７９】
このデブロックフィルタ１８を介して得られた加算器１７の出力は、画面並べ替えバッファ１９に一時的に保持された後、Ｄ／Ａ変換部２０においてアナログ変換される一方、フレームメモリ２１に一時的に格納された後、イントラ予測部１３において上述した予測画像が生成される。
【０１８０】
これに対して可逆復号部１２においてインタ符号化であると判断された場合、加算器１７の他入力端には、動き予測・補償部１４において生成された参照画像が入力される。この加算器１７において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ１８に与えられてブロック歪が除去される。
【０１８１】
このデブロックフィルタ１８を介して得られた加算器１７の出力は、画面並べ替えバッファ１９に一時的に保持された後、Ｄ／Ａ変換部２０においてアナログ変換される一方、フレームメモリ２１に一時的に格納された後、動き予測・補償部１４において、当該フレームメモリ２１に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【０１８２】
かかる構成に加えて、本実施の形態による画像復号化装置１０では、再生モード制御部２２が設けられており、外部から指定された再生モードに応じて、画像圧縮情報Ｓ１０のビットストリームの復号化方法を変更し得るようになされている。例えば、通常再生を表す再生モードの場合、画像復号化装置１０では、ＪＶＴ符号化方式に準拠した復号化方法で画像の復号化を行う。
【０１８３】
これに対して再生モードが早送りや巻戻し等の特殊な再生モードである場合、本実施の形態の場合、ＪＶＴ符号化方式に準拠する復号化方法ではなく、画像圧縮情報Ｓ１０のビットストリームの簡易再生を行うようになされている。
【０１８４】
この画像復号化装置１０では、再生モード制御部２２は、外部から各種再生モードを表す再生モード信号Ｓ１２が入力されると共に、可逆復号化部１２から復号化された画像、スライス（マクロブロックの集合体）、マクロブロックの復号タイプ、フレーム番号及びマクロブロック位置等が復号画像情報Ｓ１１Ｄとして入力される。
【０１８５】
再生モード制御部２２は、再生モード信号Ｓ１２に基づく再生モードに応じて、ビット読込み位置信号Ｓ１３Ａを可逆復号化部１２に送出すると共に、変換係数制御信号Ｓ１３Ｂを逆量子化部１５に送出し、さらに画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出する。
【０１８６】
（２）高速再生時における簡易再生方法
実際に再生モード制御部２２において、再生モード信号Ｓ１２に基づいて、早送り再生又は巻戻し再生を表す再生モードが指定されると、先頭のＩピクチャから復号化の順番での先頭数フレームを簡易再生し、その中の一部又は全部の画像を高速再生用の画像として利用するようになされている。
【０１８７】
すなわち再生モード制御部２２は、画像圧縮情報Ｓ１０のビットストリームにおけるランダムアクセスポイント直後のフレームであるＩピクチャＩ０から次のＩピクチャＩｎの直前までのビットストリームにおいては、ＩピクチャＩ０及びＰピクチャＰ３、Ｐ６の３フレームのみ（以下、これを簡易再生フレームと呼ぶ）を再生モードに応じた変則再生に使用することとする。この簡易再生フレームを得るためには、予測画像の問題より、Ｉ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６のビットストリームを復号化する必要がある。
【０１８８】
再生モード制御部は、再生モードが「早送り」を表す場合には、表示画像が含まれないＰピクチャＰ６の復号化後であってＩピクチャＩｎの直前までのビットストリーム（以下、これを読飛ばしストリームと呼ぶ）を復号化する必要がなく、その旨を表すビット読込み信号を可逆復号化部に送出することにより、この可逆復号化部において読飛ばしストリームを復号化することなく読み飛ばさせる。
【０１８９】
このとき再生モード制御部２２は、簡易再生フレームを形成するＩピクチャＩ０及びＰピクチャＰ３、Ｐ６のフレームをその順番で順次表示させる旨の画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出することにより、この画像並べ替えバッファ１９において当該フレーム表示順序に従った早送り再生用の簡易再生フレームを後段のＤ／Ａ変換部２０に送出させる。
【０１９０】
これに対して再生モード制御部２２は、再生モードが「巻戻し」を表す場合には、ＩピクチャＩ０の前に位置するランダムアクセスポイントまで、画像圧縮情報Ｓ１０のビットストリームを遡る旨のビット読込み信号Ｓ１３Ａを可逆復号化部１２に送出することにより、この可逆復号化部１２において簡易再生フレームの前のランダムアクセスポイントまで戻らせる。
【０１９１】
このとき再生モード制御部２２は、簡易再生フレームを形成するＩピクチャＩ０及びＰピクチャＰ３、Ｐ６のフレームをその逆の順番で順次表示させる旨の画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出することにより、この画像並べ替えバッファ１９において当該フレーム表示順序に従った早巻戻し再生用の簡易再生フレームを後段のＤ／Ａ変換部２０に送出させる。
【０１９２】
また再生モード制御部２２は、再生モードが「早送り」又は「巻戻し」のいずれの場合においても、可逆復号化部１２から得られる画像、スライス、マクロブロックの符号化タイプ及びその位置に基づき、変換係数の復号化が必要ない旨又は変換係数のＤＣ（直流）成分のみを復号化する旨を表す変換係数制御信号Ｓ１３Ｂとして逆量子化部１５に送出することにより、この逆量子化部１５において逆量子化処理を行わずに変換係数０又はＤＣ成分のみを後段の逆直交変換部１６に送出させる。
【０１９３】
この結果、逆直交変換部１６及び続く加算器１７は、入力される変換係数が全て０又はＤＣ成分のみである場合には、逆直交変換処理及び加算処理を簡略化することが可能であり、これによりフレーム内のデコード時間を短縮化することができる。実際に逆直交変換部１６は、変換係数のＤＣ成分のみの復号時には、４次の逆直交変換を変換係数のＤＣ成分の乗算に置き換えるようになされている。
【０１９４】
（２−１）イントラ符号化画像の簡易再生方法
図２（Ａ）〜（Ｄ）において、第１〜第４の簡易再生方法に対応して、イントラ符号化された画像から簡易再生フレームを抽出して再生する場合の詳細方法について説明する。このイントラ符号化された画像の１スライスＳＬ分を複数のマクロブロックＭＢから形成した概略図を示す。これらの図中の斜線部分が復号化されるマクロブロックを表している。
【０１９５】
（２−１−１）第１の簡易復号化方法
イントラ符号化された画像の復号時に、全てのマクロブロックを復号化せずに、画面中心部分などの予め設定された一部分をスライス単位で復号化する方法である（図２（Ａ））。
【０１９６】
なお復号化を行わないスライスに関しては、過去に復号化した画像についての同位置の情報をコピーしたり、続いて説明する第２〜第４の簡易復号化を適用することが可能である。
【０１９７】
（２−１−２）第２の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の一部のマクロブロックのみをＪＶＴ符号化方式に従って復号化する一方、それ以外のマクロブロックを空間予測（spatial prediction）方式により簡易的に復号化する方法である（図２（Ｂ））。
【０１９８】
ＪＶＴ符号化方式に従って復号化するマクロブロックは、スライスの先頭により１マクロブロックライン分相当のマクロブロックとする。また、これ以外のマクロブロックに関しては、空間予測方式のみを実行して変換係数の復号化を行わない。
【０１９９】
（２−１−３）第３の簡易復号化方法
上述した第２の簡易復号化方法に加えて、イントラ符号化された画像の復号時に、ＪＶＴ符号化方式に従って復号化するマクロブロック以外のマクロブロックを空間予測方式で復号化すると共に変換係数のＤＣ成分のみを再構成することにより簡易的に復号化する方法である（図２（Ｃ））。
【０２００】
この第３の簡易復号化方法においては、変換係数のＡＣ（交流）成分は全て０として処理を行うことにより、復号化処理の軽減を図るようになされている。
【０２０１】
（２−１−４）第４の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の全てのマクロブロックを空間予測方式で復号化すると共に変換係数のＤＣ成分のみを再構成することにより簡易的に復号化する方法である（図２（Ｄ））。この場合も第３の簡易復号化方法と同様に、変換係数のＡＣ係数については全て０として処理を行うことにより、復号化処理の軽減を図るようになされている。
【０２０２】
上述の第１〜第４の簡易復号化方法を、再生モードに応じて選択的に切換え制御し得るようにしても良い。実際に第２、第３及び第４の簡易復号化方法の順に画質が向上するようになされている。
【０２０３】
（２−２）インタ符号化画像の簡易再生方法
またインタ符号化された画像の復号時には、図３に示すように、動きベクトルを用いた動き補償による処理のみを復号化を行い、変換係数の再構成は行わない（すなわち変換係数に関してはＤＣ成分及びＡＣ成分にかかわらず全て０であるとして処理を行う）方法である。
【０２０４】
このとき予測に用いる参照画像は、ＪＶＴ符号化方式に準拠した復号化画像であっても、このフレーム以前に過去に簡易復号化を行った再構成画像であっても問題はない。
【０２０５】
（３）本実施の形態による動作及び効果
以上の構成において、ＪＶＴ符号化方式に準拠した復号化処理を行う画像復号化装置１０では、通常再生から高速再生に再生モードが切り換えられると、画像圧縮情報Ｓ１０のビットストリームにおけるランダムアクセスポイント直後のＩピクチャからＢピクチャを除いた数ピクチャ分でなる簡易再生フレームについて復号化する。
【０２０６】
そして「早送り」を表す高速再生モードである場合には、簡易再生フレーム以降の読飛ばしストリームを復号化しないように読み飛ばした後、当該簡易再生フレームを形成するＩピクチャ及びＰピクチャをその順番で表示させる。
【０２０７】
これに対して「巻戻し」を表す高速再生モードである場合には、簡易再生フレームの前に位置するランダムアクセスポイントまでビットストリームを遡らせた後、当該簡易再生フレームを形成するＩピクチャ及びＰピクチャをその逆の順番で表示させる。
【０２０８】
このように高速再生モード時に画像圧縮情報Ｓ１０のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化することにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０２０９】
さらに画像復号化装置１０において、イントラ符号化された画像の復号時に、簡易再生フレーム内の各ピクチャを形成する複数のスライスについて、当該各スライス単位で、一部又は全部のマクロブロックのみＪＶＴ符号化方式に従って復号化し、当該復号対象とならないマクロブロックについては空間予測方式に従う復号化及び又は変換係数のＤＣ成分のみの再構成を実行するようにしたことにより、復号化処理に要する処理時間を短縮化することができる。
【０２１０】
このことはインタ符号化された画像の復号時には、動きベクトルを用いた動き補償による処理のみを復号化を行って変換係数の再構成は行わないようにしてことでも、同様に復号化処理に要する処理時間を短縮化することができる。
【０２１１】
以上の構成によれば、ＪＶＴ符号化方式に準拠した復号化処理を行う画像復号化装置１０において、外部入力される再生モードに応じて復号化方法を変更する再生モード制御部２２を設け、高速再生モード時に画像圧縮情報Ｓ１０のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置１０を実現できる。
【０２１２】
（４）他の実施の形態
なお上述の本実施の形態においては、ＪＶＴ符号化方式（所定の符号化方式）に準拠した復号化処理を行う画像復号化装置として、図１に示す構成のものを適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【０２１３】
また上述の本実施の形態においては、ＪＶＴ符号化方式で符号化された画像圧縮情報（画像データ）Ｓ１０に対して復号化処理を施す復号化手段を可逆復号化部１２から構成し、当該可逆復号化部（復号化手段）１２を制御する制御手段を再生モード制御部２２から構成するようにした場合について述べたが、本発明はこれに限らず、 高速再生モード時、画像圧縮情報（画像データ）Ｓ１０におけるランダムアクセスポイント（所望位置）のＩピクチャを基準として当該Ｉピクチャ及び後続する所定数のＰピクチャからなる簡易再生フレームを抽出することができれば、この他種々の構成のものや一体構成のものなど広く適用することができる。
【０２１４】
さらに上述の本実施の形態においては、高速再生モードが早送り再生の場合、簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成するＩピクチャ及び各Ｐピクチャを順番に復号化する一方、高速再生モードが巻戻し再生の場合、簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成するＩピクチャ及び各Ｐピクチャを順次復号化した後、当該復号順序と逆順に簡易再生フレームを出力するようにした場合について述べたが、本発明はこれに限らず、高速再生モードに応じた変則再生時に復号化処理に要する処理時間を短縮化し得れば、この他種々の方法を適用するようにしても良い。
【０２１５】
さらに上述の本実施の形態においては、ＪＶＴ符号化方式のうちイントラ符号化（フレーム内符号化）された画像圧縮情報（画像データ）Ｓ１０における簡易再生フレーム内のＩピクチャ及び各Ｐピクチャについて、スライス単位（所定の情報単位）で当該スライス（情報）内の一部又は全部を復号化する一方、復号化しない部分については、なにもしない第１の処理（図２（Ａ））、空間予測符号化（可逆符号化）により得られた予測方式の信号に準拠して空間予測のみを復号化する第２の処理（図２（Ｂ））、ＤＣＴ変換符号化（変換符号化）による変換係数のＤＣ（直流）成分のみ復号化する第３の処理（図２（Ｃ））、又は第２及び第３の処理を組み合わせた第４の処理（図２（Ｄ））のいずれかを選択的に行うようにした場合について述べたが、本発明はこれに限らず、これら第１〜第４の処理を再生モードに応じて自動的に選択するようにしても良い。
【０２１６】
この場合、第２の処理よりも第３及び第４の処理の方が画質が良いことと、第２の処理よりも第３及び第４の処理の方が復号化に要する処理時間が遅いこととバランスを考慮するようにすれば良い。
【０２１７】
また第２の処理における可逆符号化として空間予測符号化を適用すると共に、第３及び第４の処理における変換符号化としてＤＣＴ変換符号化を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の符号化を広く適用するようにしても良い。
【０２１８】
さらに上述の実施の形態においては、ＪＶＴ符号化方式の画像圧縮情報Ｓ１０が限定された予測フレームを使用している場合、可逆復号化部１２（図１）によりビットストリームを形成するフレーム数をさらに減らすことが可能である。例えば、高速再生モード時に用いるフレームがＰピクチャであった場合、直前のＩ又はＰピクチャのみから予測を行うようにして予測関係を限定することにより、表示に用いることのないフレームの復号化を行う必要がなくなり、より短時間で復号化処理を行うことができる利点がある。
【０２１９】
【発明の効果】
上述のように本発明によれば、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成する簡易Ｉピクチャ生成部を設けることにより、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置を実現できる。
【０２２０】
また本発明によれば、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成することにより、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】イントラ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図３】インタ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図４】イントラ４×４モード処理の説明に供する略線的な平面図である。
【図５】イントラ４×４モード処理の説明に供する略線的な平面図である。
【図６】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図７】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図８】隣接マクロブロックペアのイントラ予測モードの説明に供する略線的な平面図である。
【図９】ＪＶＴ符号化方式による動き補償処理の説明に供する略線的な平面図である。
【図１０】従来の画像再生装置の構成を示すブロック図である。
【図１１】ＭＰＥＧ２方式による復号化方法の説明に供する略線的な概念図である。
【図１２】ＪＶＴ符号化方式による復号化方法の説明に供する略線的な概念図である。
【符号の説明】
１０……画像復号化装置、１２……可逆復号化部、１３……イントラ予測部、１４……動き予測・補償部、１５……逆量子化部、１６……逆直交変換部、１７……加算器、１８……デブロックフィルタ、１９……画面並べ替えバッファ、２１……フレームメモリ、２２……再生モード制御部。
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（Joint Model of Enhanced-Compression Video Coding）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（Moving Picture Experts Groupe ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO／IEC 14496-２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、2003年３月にはＨ．２６４及びＭＰＥＧ−４ Part１０（Advanced Video Coding）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
このＪＶＴ符号化方式においては、入力となる画像情報が飛び越し走査である場合には、２つのマクロブロックをペア（Pair）（以下、マクロブロックペアと呼ぶ）として、それぞれのマクロブロックペアに対して、フィールドモード又はフレームモードにより符号化することが可能である。
【００１７】
以下では、ＪＶＴ符号化方式において定められているイントラ予測の方法について述べる。
【００１８】
イントラ予測処理において入力となるパラメータは、当該マクロブロックのmb_type、prev_intra４×４_pred_mode_flag（if available）、rem_intra４×４_pred_mode（if available）、intra_chroma_pred_mode（if available）、隣接マクロブロック（又は隣接マクロブロックペア）の画素値である。また、出力となるパラメータは、当該マクロブロック（又は当該マクロブロックペア）に対する予測画素値である。イントラ予測は、デブロックフィルタ処理前の画素値を用いて行われる。
【００１９】
以下では、まず、輝度信号に対するイントラ予測方式について述べる。輝度信号に対する処理は、以下に述べるように、当該マクロブロックが、イントラ４×４モードであるか、イントラ１６×１６モードであるかによって、その処理が異なる。
【００２０】
まず、イントラ４×４モードにおける処理は以下の通りである。
【００２１】
この処理は、mb_part_pred_mode（mb_type、0）が、Intra_4×4に等しい時に適用され、入力となるパラメータは、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode（if available）、周辺輝度blockの、De‐blocking filtering処理前の画素値（if available）であり、出力は、当該マクロブロックに対する輝度信号の予測値である。輝度信号４×４ブロックのスキャン順は、図４に示す通りである。
【００２２】
以下では、まず、adaptive_frame_field_flagの値が０の時、当該ブロックのイントラ予測が”available”か、”not available”かの判定を行う処理について述べる。この処理の入力は、当該輝度ブロックの位置、隣接ブロックに含まれる、復号化処理処理済みの輝度画素値（デブロックフィルタ処理前のもの）であり、出力は、図５に示されるＡ〜Ｍの画素値が”available”であるかどうかである。4×4LumaBlkLocを、4×4LumaBlkIdxにより指し示される。４×４輝度ブロックの、左上部の画素値の位置と定義する。4×4LumaBlkIdxにより指し示される、４×４輝度ブロックに含まれるそれぞれの画素値は、図５におけるａ〜ｐであり、これらは隣接する画素値Ａ〜Ｍにより予測される。画素値の位置は、4×4LumaBlkLocにより指し示される。例えばｄの位置は、
【００２３】
【数１】
で表される。
【００２５】
またＡの位置は、
【００２６】
【数２】
のように示される。
【００２８】
画素値Ａ〜Ｍは、以下の第１〜第３のいずれか一つでも成り立つ時、”not available”であるとする。第１に、当該画素が、ピクチャ外、若しくはスライス外である時、第２に、復号化処理において、当該画素が、当該ブロックより後に処理されるブロックに属する時、第３に、constrainde_intra_pred_flag＝0で、当該ブロックがインターマクロブロックに属する時である。
【００２９】
Ｅ〜Ｈが”not available”であるが、Ｄが”available”の時、Ｅ〜Ｈを”available”であるとして、その値はＤで代用する。
【００３０】
次に、mb_adaptive_frame_filed_flagの値が１で、field_pic_flagの値が０の時の処理について述べる。図５に示された画素値ａ〜ｐに対して、隣接画素Ａ〜Ｍが以下のように定義される。すなわち、当該マクロブロックがframe decoding modeの場合、mb_adaptive_field_flagの値が０である場合と同様の処理が行われる。
【００３１】
当該マクロブロックが、field decoding modeで、top macroblockである場合には、
【００３２】
【数３】
のように隣接画素値が定義される。
【００３４】
また当該マクロブロックが、field decoding modeで、bottom field macroblockである場合には、
【００３５】
【数４】
のように隣接画素値が定義される。
【００３７】
次に、イントラ予測値の生成処理について述べる。本処理の入力は、prev_inrta4×4_pred_flag、rem_intra4×4_pred_mode、4×4LumaBlkIdxによって指し示される４×４輝度ブロックの位置、LumaBlkLoc［4×4LumaBlkIdx］であり、出力は、Intra4×4LumaPredMode［4×4LumaBlkIdx］である。図６にntra4×4LumaPredMode［4×4LumaBlkIdx］及びそれに対応する予測モードの名称を示す。
【００３８】
Intra4×4LumaPredMode[4×4LumaBlkIdx]の値が0、1、3、4、5、6、7、8の時、予測方向はそれぞれ図７に示す通りである。
【００３９】
adaptive_frame_field_flagが０の時、若しくは、field_pic_flagが１の時、隣接マクロブロックのアドレス検出並びに、”availability”の検出は以下のように行われる。この処理の入力は、MbAddress（当該マクロブロックのアドレス）であり、出力は、MbAddressＡ（当該マクロブロックの左に位置するマクロブロックのアドレス）、MbAddressＢ（当該マクロブロックの上に位置するマクロブロックのアドレス）及び、これら２つのマクロブロックのアドレス”availability”である。
【００４０】
あるマクロブロックのアドレスMbAddressに対して、第１に、MbAddress＜０、第２に、MbAddress＞Max MbAddress−１、第３に、MbAddressにより指定されるマクロブロックが異なるスライスに属するものである、第４に、MbAddressにより指定されるマクロブロックが復号化済みではない、でなる第１〜第４のいずれかが成り立つ時、このMbAddressで指定されるマクロブロックは、”not available”であるとされる。
【００４１】
この処理が、隣接するマクロブロックＡ及びＢに以下のように適用される。すなわち、第一の処理に関しては、入力はMbPairAddressＡ＝MbPairAddress−１であり、出力はMbPairAddressＡが”available”であるかどうかである。第二の処理に関しては、入力はMbPairAddressＢ＝MbPairAddress−（frame_width_in_mbs_minus１＋１）であり、出力はMbPairAddressＢが”available”であるかどうかである。
【００４２】
adaptive_frame_field_flagが０、若しくは。Field_pic_flegが１の時、隣接のマクロブロックのアドレス検出並びに”availability”の検出は以下のように行われる。この処理の入力パラメータは、MbAddressＡであり、出力は変数”ExIntra4×4LumaPred”の値（４つ）である。
【００４３】
まず、当該マクロブロックの左部に位置するマクロブロックに関してであるが、MbAddressＡで指し示されるマクロブロックが”available”で、MbAddressＡで指し示されるマクロブロックのmb_typeが、I_4×4若しくはＳＩの時、ExIntra4×4LumaPredModeの値は
【００４４】
【数５】
のように得られる。
【００４６】
ここで、Intra4×4LumaPredModeは、MbAddressＡにより指し示されるマクロブロックに対して割り当てられた値である。
【００４７】
MbAressＡで指し示されるマクロブロックが”available”でないか、若しくは、そのmb_typeがI_4×4でもＳＩでもない場合、ExIntra4×4LumaPredModeの値は、
【００４８】
【数６】
の処理により得られる。
【００５０】
次に、当該マクロブロックの上部に位置するマクロブロックに関してであるが、入力となるパラメータは、MbAddressＢ出力となるパラメータは、変数”ExtIntra4×4LumaPred”の値（４つ）となる。
【００５１】
MbAddressＢで指し示されるマクロブロックが、”available”で、MbAddressＢで指し示されるマクロブロックmb_type_が、I_4×4若しくはＳＩの時、ExIntra4×4LumaPredModeの値は、
【００５２】
【数７】
の処理により得られる。
【００５４】
ここで、Intra4×4LumaPredModeは、MbAddressＢにより指し示されるマクロブロックに対して割り当てられた値である。
【００５５】
MbAddressＢで指し示されるマクロブロックが”avaiable”でないか、若しくは、そのmb_typeがI_4×4でもＳＩでもない場合、ExIntra4×4LumaPredModeの値は、
【００５６】
【数８】
の処理により得られる。
【００５８】
次に、上述したようなマクロブロックレベルのフィールド／フレーム適応型符号化を行う際の、隣接マクロブロックペアのイントラ予測モードに関する情報の抽出方法について述べる。
【００５９】
当該マクロブロックのmb_adaptive_field_flagが１で、field_pic_flagが０の時適用される処理について述べる。
【００６０】
まず、当該マクロブロックペアが、frame modeの時であるが、入力となる情報は、MbPairAddressＡ及びMbPairAddressＢであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom（合計８個）である。
【００６１】
Top macroblockに関しては、上述の式（５）に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果、ExIntra4×4LumaPredModeTopが出力される。また、上述の式（７）に記述された、MbAddressＢとして、MbPairAddressＢが入力され、この結果、ExIntra4×4PredModeTopが出力される。
【００６２】
次に、Bottpm Macroblockに関しては、上述の式（５）に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。また上述の式（７）に記述された処理の、MbAddressＢとして、MbPairAddressＢが入力され、この結果、ExIntra4×4LumaPredModeBottomが出力される。
【００６３】
まず、当該マクロブロックペアが、field modeの時であるが、入力となる情報は、MbPairAddressＡ及びMbPairAddressＢであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom（合計８個）である。
【００６４】
隣接マクロブロックペアのMbPairAddressＡに対する処理は、以下の通りである。すなわち、8.3.1.2.3.1に記述された処理の、MbAddressＡとして、MbPairAddressＡが入力され、この結果、ExIntra4×4PredModeTopが出力される。また、上述の式（５）に記述された処理の、MbPairAddressＡが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。
【００６５】
隣接マクロブロックペアのMbPairAddressＢがfiled modeである時、若しくは、”available”ではない時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MbPairAddressＢで指し示されるMB Pairのtop macroblockが、ＭＢAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MBPairAddressＢで指し示されるMBPairのbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【００６６】
隣接マクロブロックペアMbPairAddressＢがframe modeである時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MBPairAddressＢで指し閉めされるMB Pairのbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra４×４LumaPredModeTopとなる。また、当該MB Pairにおけるbottom macroblockに関しては、上述の式（７）に述べられている処理が適用され、その入力は、MBPairAddressBで指し示されるMB Pair のbottom macroblockが、MBAddressＢとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【００６７】
図８に、当該マクロブロックペアがfield modeの際の、上述の処理を図示する。
【００６８】
次に、当該マクロブロックに対するIntra4×4LumaPredModeの復号化処理について述べる。
【００６９】
この処理は、adaptive_frame_field_flagが１、若しくは、field_pic_flagが１の時適用される。入力となる情報は、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode並びにExIntra4×4LumaPredModeであり、出力となる情報は、当該macroblock（MbAddressにより指定される）に対するIntra_4×4LumaPredModeである。その処理は、
【００７０】
【数９】
の擬似コードにより記述される通りである。
【００７２】
次に、上述したような、マクロブロックペア（MB Pair）に対するIntra4×4LumaPredModeの復号化処理について述べる。
【００７３】
この処理は、mb_adaptive_frame_field_flagが１で、field_pic_flagが０の時適用される。
【００７４】
当該マクロブロックペアのtop macroblcokに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaModePredTopが、式（８）に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのtop macroblockに対して割り当てられる。
【００７５】
当該マクロブロックぺアのbottom macroblockに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaPredModeが、式（８）に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのbottom macroblockに対して割り当てられる。
【００７６】
次に、イントラ４×４モードにおける、イントラ予測の復号化処理にして述べる。
【００７７】
入力となるパラメータは、図５において示された隣接画素値Ａ〜Ｍ及び当該４×４ブロックに対して定義されるIntra4×4LumaPredMode[4×4LumaBlkIdx]であり、出力となるパラメータは、4×4LumaBlkIdxによって指定される４×４ブロックに対する予測画素値である。Intra4×4LumaPredMode[4×4LumaBlkIdx]の値に応じて、以下に述べる。いずれかのイントラ予測モードが用いられる。
【００７８】
以下では、Vertical予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が０の時適用される。Ａ、Ｂ、Ｃ、Ｄが”available”の場合のみ適用される。それぞれの予測値は、
【００７９】
【数１０】
の通りである。
【００８１】
以下では、Horizontal予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が１の時適用される。Ｉ、Ｊ、Ｋ、Ｌが”available”の場合のみ適用される。それぞれの予測値は、
【００８２】
【数１１】
の通りである。
【００８４】
以下では、ＤＣ予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が２の時適用される。画素ａ〜ｐの全てに対する予測値として、以下の値が用いられる。
【００８５】
すなわち、Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌが全て”available”である時、予測値は、
【００８６】
【数１２】
とする。
【００８８】
Ａ、Ｂ、Ｃ、Ｄが全て”unavailable”である時、予測値は、
【００８９】
【数１３】
とする。
【００９１】
Ｉ、Ｊ、Ｋ、Ｌが全て”unavailable”である時、予測値は、
【００９２】
【数１４】
とする。
【００９４】
Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌが全て”available”である時、128を予測値として用いる。
【００９５】
以下では、Diagonal_Down_Left予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が３の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが全て”available”の場合のみ適用される。それぞれの予測値は、
【００９６】
【数１５】
の通りである。
【００９８】
以下では、Diagonal_Down_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が４の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【００９９】
【数１６】
の通りである。
【０１０１】
以下では、Diagonal_Vertical_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が５の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０２】
【数１７】
の通りである。
【０１０４】
以下では、Horizontal_Downについて述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が６の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０５】
【数１８】
以下の通りである。
【０１０７】
以下では、Vertical_Left予測値について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が７の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１０８】
【数１９】
の通りである。
【０１１０】
以下では、Horizontal_Up予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が８の時適用される。Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが”available”の場合のみ適用される。それぞれの予測値は、
【０１１１】
【数２０】
の通りである。
【０１１３】
次に、当該輝度信号が、イントラ１６×１６モードであるマクロブロックに属する場合の、イントラ予測の方法について述べる。この処理は、mb_part_pred_mode（mb_type、0）が、Intra16×16と等しい時、適用される。入力となるパラメータは、当該マクロブロックに対するmb_type及び当該マクロブロックの隣接画素値の、De-blocking filtering処理前の値であり、出力となるパラメータは、当該マクロブロックに対する予測画素値である。
【０１１４】
以下では、当該マクロブロックに属する画素値を、Ｐ（ｘ、ｙ）；ｘ、ｙ＝0..15で表す。また、隣接画素値は、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；＝−1..15で表す。
【０１１５】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが１の時である。
【０１１６】
イントラ１６×１６モードの時、以下に述べる４通りのいずれかの方法によりイントラ予測が行われる。
【０１１７】
Mode0はvertaicl予測であり、Ｐ（ｘ、−１）；ｘ、ｙ＝−1..15が”available”である時にのみ適用される。生成される予測値は、
【０１１８】
【数２１】
の通りである。
【０１２０】
Mode1はhorizontal予測であり、Ｐ（−１、ｙ）；ｘ、ｙ＝−1..15が”available”である時にのみ適用される。生成される予測値は、
【０１２１】
【数２２】
の通りである。
【０１２３】
Mode２はＤＣ予測であり、予測値は以下のように生成される。すなわち、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”available”である場合には、
【０１２４】
【数２３】
となる。
【０１２６】
Ｐ（ｘ、−１）；ｘ、ｙ＝−1..15が”not available”である場合には、
【０１２７】
【数２４】
となる。
【０１２９】
Ｐ（−１、ｙ）；ｘ、ｙ＝−1..15が”not available”である場合には、
【０１３０】
【数２５】
となる。
【０１３２】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”notavailable”である場合には、予測値として128を用いる。
【０１３３】
Mode3はplane予測である。この予測モードは、Ｐ（ｘ、−１）及びＰ（−１、ｙ）；ｘ、ｙ＝−1..15が全て”availeble”の場合のみ適用される。予測値の生成は、
【０１３４】
【数２６】
に示す通りである。ここでＣｌｉｐ１は０〜255の範囲でのクリップ処理を表す。
【０１３６】
次に、色差信号に対するイントラ予測について述べる。この処理は、Ｉマクロブロック並びにＳＩマクロブロックに対してのみ適用される。入力となるパラメータは、intra_chroma_pred_mode及びデブロックフィルタ処理前の、隣接画素値であり、出力となるパラメータは、当該マクロブロックの色差信号に対する予測値である。
【０１３７】
以下では、当該マクロブロックに属する画素値を、Ｐ（ｘ、ｙ）；ｘ、ｙ＝0..7で表す。また、隣接画素値は、Ｐ（ｘ、−１）及びＰ（−１、ｙ）＝−1..7で表す。
【０１３８】
色差信号に対するイントラ予測モードは、輝度信号に対するそれとは独立に設定することが可能である。
【０１３９】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが１の時である。
【０１４０】
Mode0はＤＣ予測であり、その予測値は以下の通りである。すなわち、Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”available”である場合には、
【０１４１】
【数２７】
が成り立つ。
【０１４３】
Ｐ（−１、ｙ）が”not available”である場合には、
【０１４４】
【数２８】
が成り立つ。
【０１４６】
Ｐ（ｘ、−１）が”not available”である場合には、
【０１４７】
【数２９】
が成り立つ。
【０１４９】
Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”not available”である場合には、予測値として128を用いる。
【０１５０】
Mode1はhorizontal予測であり、Ｐ（−１、ｙ）が”not available”である場合にのみ適用される。その予測値は、
【０１５１】
【数３０】
に示す通りである。
【０１５３】
Mode2はvertical予測であり、Ｐ（ｘ、−１）が”available”である場合にのみ適用される。その予測値は、
【０１５４】
【数３１】
に示す通りである。
【０１５６】
Mode3はplane予測であり、Ｐ（ｘ、−１）及びＰ（−１、ｙ）が”available”である場合にのみ適用される。その予測値は、
【０１５７】
【数３２】
に示す通りである。
【０１５９】
ところでＪＶＴ符号化方式では、図９に示すように、単一のマクロブロックを、１６×１６、１６×８、８×８の大きさの単一又は複数の動き予測ブロックに分割し、動き補償処理を行うことが可能である。８×８動き予測ブロックのそれぞれに関しては、図９に示す通り、さらに８×８、８×４、４×８又は４×４のサブブロックに分割し、動き補償処理を行うことが可能である。
【０１６０】
【発明が解決しようとする課題】
ところで、ＤＶＤに代表される画像再生装置では、メディアから通常の再生速度での再生のみならず、高速早送り再生や高速巻戻し再生にも対応している。図１０に画像再生装置１の概略構成を示す。
【０１６１】
この画像再生装置１では、メディア２から再生されたＭＰＥＧ２方式の画像情報に付加されたビットストリームの読込み位置情報Ｓ１が読込み位置指定器３に供給される。この読込み位置指定器３は、外部から高速早送り再生や高速巻戻し再生等の再生モード信号Ｓ２を受け取ると、読込み位置情報Ｓ１に基づいて、指定された再生モードに適する読込み位置を読込み器４に指定させる。この読込み器４では、読込み位置指定器３によって指定された読込み位置に従って、メディア２からＭＰＥＧ２方式の画像情報Ｓ１のビットストリームを非連続的に読み込む。
【０１６２】
画像復号器５は、読込み器４から供給されるビットストリームに基づいてＭＰＥＧ２方式に応じた復号処理を行うことにより、当該ビットストリームから高精細度の画像に復元するようになされている。
【０１６３】
その際、かかる構成の画像再生装置１では、読込み位置指定器３は、読込み器４の出力がＭＰＥＧ２方式のビットストリームとして矛盾なく復号処理し得るように、読込み位置を指定する必要がある。
【０１６４】
すなわち、ＭＰＥＧ２方式における通常の画像圧縮情報の各ＧＯＰの先頭のＩピクチャ（イントラ符号化画像、すなわちフレーム内符号化画像）及びその後に続く数枚のＰピクチャ（フレーム間順方向予測符号化画像）のビットストリームを元のＭＰＥＧ２方式の画像情報のビットストリームから抜き出す。ＭＰＥＧ２方式では、Ｐピクチャは直前のＩピクチャ又はＰピクチャを予測フレームとして使用するため、高速再生のために抜き出したストリームでもＭＰＥＧ２方式のストリームとして矛盾なく復号化し得るようになされている。
【０１６５】
例えば図１１（Ａ）に示すように、ＭＰＥＧ２方式のビットストリームが、ＧＯＰ単位で所定周期でＩピクチャ（Ｉ０、Ｉ１、…）及びＰピクチャ（Ｐ０、Ｐ１、…）が符号化された後、その間にＢピクチャ（双方向予測符号化画像）（Ｂ０、Ｂ１、…）が後で符号化されて挿入される。すなわち図１１（Ｂ）に示すように、通常再生におけるＩ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、……、Ｉｎ、Ｂｎ＋１、Ｂｎ＋２、Ｐｎ＋３のビットストリームから、高速再生では、Ｉ０、Ｐ３、Ｐ６、……、Ｉｎ、Ｐｎ＋３のビットストリームが抜き出される。
【０１６６】
ところが、ＪＶＴ符号化方式の場合には、Ｐピクチャであっても複数の予測フレームを使用することが可能になっていると共に、ＭＰＥＧ２方式では使用できないＢピクチャを予測フレームとして使用できるものの、従来のＭＰＥＧ２方式の場合と同様にＩピクチャ及びＰピクチャを抜き出したとしても、予測関係が成り立たないため、予測フレームを容易にすることができず、抜き出し後のストリームを正常に復号化することができないという問題があった。
【０１６７】
すなわちＪＶＴ符号化方式のビットストリームでは、図１２（Ａ）に示すように、ＧＯＰ単位で所定周期で現れるＩピクチャ（Ｉ０、Ｉ１、…）及びＰピクチャ（Ｐ０、Ｐ１、…）のみならず、その間にＢピクチャ（Ｂ０、Ｂ１、…）もＰピクチャの予測画像として挿入される。すなわち図１２（Ｂ）に示すように、通常再生におけるＩ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、……、Ｉｎ、Ｂｎ＋１、Ｂｎ＋２、Ｐｎ＋３のビットストリームから、高速再生では、Ｉ０、Ｐ３、Ｐ６、……、Ｉｎ、Ｐｎ＋３のビットストリームが抜き出されても、Ｐピクチャの予測画像が存在しないため、正常な復号化を行うことが困難となる問題があった。
【０１６８】
本発明は以上の点を考慮してなされたもので、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【０１６９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成する簡易Ｉピクチャ生成部を設けるようにした。
【０１７０】
この結果この画像復号化装置では、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０１７１】
また本発明においては、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成するようにした。
【０１７２】
この結果この画像復号化装置では、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０１７３】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【０１７４】
（１）本実施の形態におけるＪＶＴ符号化方式に準拠した画像復号化装置の構成図１において、１０は本実施の形態におけるＪＶＴ符号化方式に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０を、外部指定された再生モードに応じた復号方法で順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【０１７５】
まず外部入力される画像圧縮情報Ｓ１０は、蓄積バッファ１１に格納された後、所定タイミングで読み出されて可逆復号化部１２に送出される。可逆復号化部１２では、予め定められた画像圧縮情報のフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。
【０１７６】
その際、可逆復号化部１２は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部１２は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報Ｓ１１Ａをも復号化してイントラ予測部１３に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報Ｓ１１Ｂをも復号化して動き予測・補償部１４に送出する。
【０１７７】
この可逆復号化部１２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数Ｓ１１Ｃは、逆量子化部１５において逆量子化された後、逆直交変換部１６に送出される。この逆直交変換部１６では、与えられた変換係数Ｓ１１Ｃは、所定方式に基づく４次の逆直交変換が施された後、加算器１７の一入力端に与えられる。
【０１７８】
ここで可逆復号部１２においてイントラ符号化であると判断された場合、加算器１７の他入力端には、イントラ予測部１３において生成された予測画像が入力される。この加算器１７において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ１８に与えられてブロック歪が除去される。
【０１７９】
このデブロックフィルタ１８を介して得られた加算器１７の出力は、画面並べ替えバッファ１９に一時的に保持された後、Ｄ／Ａ変換部２０においてアナログ変換される一方、フレームメモリ２１に一時的に格納された後、イントラ予測部１３において上述した予測画像が生成される。
【０１８０】
これに対して可逆復号部１２においてインタ符号化であると判断された場合、加算器１７の他入力端には、動き予測・補償部１４において生成された参照画像が入力される。この加算器１７において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ１８に与えられてブロック歪が除去される。
【０１８１】
このデブロックフィルタ１８を介して得られた加算器１７の出力は、画面並べ替えバッファ１９に一時的に保持された後、Ｄ／Ａ変換部２０においてアナログ変換される一方、フレームメモリ２１に一時的に格納された後、動き予測・補償部１４において、当該フレームメモリ２１に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【０１８２】
かかる構成に加えて、本実施の形態による画像復号化装置１０では、再生モード制御部２２が設けられており、外部から指定された再生モードに応じて、画像圧縮情報Ｓ１０のビットストリームの復号化方法を変更し得るようになされている。例えば、通常再生を表す再生モードの場合、画像復号化装置１０では、ＪＶＴ符号化方式に準拠した復号化方法で画像の復号化を行う。
【０１８３】
これに対して再生モードが早送りや巻戻し等の特殊な再生モードである場合、本実施の形態の場合、ＪＶＴ符号化方式に準拠する復号化方法ではなく、画像圧縮情報Ｓ１０のビットストリームの簡易再生を行うようになされている。
【０１８４】
この画像復号化装置１０では、再生モード制御部２２は、外部から各種再生モードを表す再生モード信号Ｓ１２が入力されると共に、可逆復号化部１２から復号化された画像、スライス（マクロブロックの集合体）、マクロブロックの復号タイプ、フレーム番号及びマクロブロック位置等が復号画像情報Ｓ１１Ｄとして入力される。
【０１８５】
再生モード制御部２２は、再生モード信号Ｓ１２に基づく再生モードに応じて、ビット読込み位置信号Ｓ１３Ａを可逆復号化部１２に送出すると共に、変換係数制御信号Ｓ１３Ｂを逆量子化部１５に送出し、さらに画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出する。
【０１８６】
（２）高速再生時における簡易再生方法
実際に再生モード制御部２２において、再生モード信号Ｓ１２に基づいて、早送り再生又は巻戻し再生を表す再生モードが指定されると、先頭のＩピクチャから復号化の順番での先頭数フレームを簡易再生し、その中の一部又は全部の画像を高速再生用の画像として利用するようになされている。
【０１８７】
すなわち再生モード制御部２２は、画像圧縮情報Ｓ１０のビットストリームにおけるランダムアクセスポイント直後のフレームであるＩピクチャＩ０から次のＩピクチャＩｎの直前までのビットストリームにおいては、ＩピクチャＩ０及びＰピクチャＰ３、Ｐ６の３フレームのみ（以下、これを簡易再生フレームと呼ぶ）を再生モードに応じた変則再生に使用することとする。この簡易再生フレームを得るためには、予測画像の問題より、Ｉ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６のビットストリームを復号化する必要がある。
【０１８８】
再生モード制御部は、再生モードが「早送り」を表す場合には、表示画像が含まれないＰピクチャＰ６の復号化後であってＩピクチャＩｎの直前までのビットストリーム（以下、これを読飛ばしストリームと呼ぶ）を復号化する必要がなく、その旨を表すビット読込み信号を可逆復号化部に送出することにより、この可逆復号化部において読飛ばしストリームを復号化することなく読み飛ばさせる。
【０１８９】
このとき再生モード制御部２２は、簡易再生フレームを形成するＩピクチャＩ０及びＰピクチャＰ３、Ｐ６のフレームをその順番で順次表示させる旨の画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出することにより、この画像並べ替えバッファ１９において当該フレーム表示順序に従った早送り再生用の簡易再生フレームを後段のＤ／Ａ変換部２０に送出させる。
【０１９０】
これに対して再生モード制御部２２は、再生モードが「巻戻し」を表す場合には、ＩピクチャＩ０の前に位置するランダムアクセスポイントまで、画像圧縮情報Ｓ１０のビットストリームを遡る旨のビット読込み信号Ｓ１３Ａを可逆復号化部１２に送出することにより、この可逆復号化部１２において簡易再生フレームの前のランダムアクセスポイントまで戻らせる。
【０１９１】
このとき再生モード制御部２２は、簡易再生フレームを形成するＩピクチャＩ０及びＰピクチャＰ３、Ｐ６のフレームをその逆の順番で順次表示させる旨の画像表示信号Ｓ１３Ｃを画像並べ替えバッファ１９に送出することにより、この画像並べ替えバッファ１９において当該フレーム表示順序に従った早巻戻し再生用の簡易再生フレームを後段のＤ／Ａ変換部２０に送出させる。
【０１９２】
また再生モード制御部２２は、再生モードが「早送り」又は「巻戻し」のいずれの場合においても、可逆復号化部１２から得られる画像、スライス、マクロブロックの符号化タイプ及びその位置に基づき、変換係数の復号化が必要ない旨又は変換係数のＤＣ（直流）成分のみを復号化する旨を表す変換係数制御信号Ｓ１３Ｂとして逆量子化部１５に送出することにより、この逆量子化部１５において逆量子化処理を行わずに変換係数０又はＤＣ成分のみを後段の逆直交変換部１６に送出させる。
【０１９３】
この結果、逆直交変換部１６及び続く加算器１７は、入力される変換係数が全て０又はＤＣ成分のみである場合には、逆直交変換処理及び加算処理を簡略化することが可能であり、これによりフレーム内のデコード時間を短縮化することができる。実際に逆直交変換部１６は、変換係数のＤＣ成分のみの復号時には、４次の逆直交変換を変換係数のＤＣ成分の乗算に置き換えるようになされている。
【０１９４】
（２−１）イントラ符号化画像の簡易再生方法
図２（Ａ）〜（Ｄ）において、第１〜第４の簡易再生方法に対応して、イントラ符号化された画像から簡易再生フレームを抽出して再生する場合の詳細方法について説明する。このイントラ符号化された画像の１スライスＳＬ分を複数のマクロブロックＭＢから形成した概略図を示す。これらの図中の斜線部分が復号化されるマクロブロックを表している。
【０１９５】
（２−１−１）第１の簡易復号化方法
イントラ符号化された画像の復号時に、全てのマクロブロックを復号化せずに、画面中心部分などの予め設定された一部分をスライス単位で復号化する方法である（図２（Ａ））。
【０１９６】
なお復号化を行わないスライスに関しては、過去に復号化した画像についての同位置の情報をコピーしたり、続いて説明する第２〜第４の簡易復号化を適用することが可能である。
【０１９７】
（２−１−２）第２の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の一部のマクロブロックのみをＪＶＴ符号化方式に従って復号化する一方、それ以外のマクロブロックを空間予測（spatial prediction）方式により簡易的に復号化する方法である（図２（Ｂ））。
【０１９８】
ＪＶＴ符号化方式に従って復号化するマクロブロックは、スライスの先頭により１マクロブロックライン分相当のマクロブロックとする。また、これ以外のマクロブロックに関しては、空間予測方式のみを実行して変換係数の復号化を行わない。
【０１９９】
（２−１−３）第３の簡易復号化方法
上述した第２の簡易復号化方法に加えて、イントラ符号化された画像の復号時に、ＪＶＴ符号化方式に従って復号化するマクロブロック以外のマクロブロックを空間予測方式で復号化すると共に変換係数のＤＣ成分のみを再構成することにより簡易的に復号化する方法である（図２（Ｃ））。
【０２００】
この第３の簡易復号化方法においては、変換係数のＡＣ（交流）成分は全て０として処理を行うことにより、復号化処理の軽減を図るようになされている。
【０２０１】
（２−１−４）第４の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の全てのマクロブロックを空間予測方式で復号化すると共に変換係数のＤＣ成分のみを再構成することにより簡易的に復号化する方法である（図２（Ｄ））。この場合も第３の簡易復号化方法と同様に、変換係数のＡＣ係数については全て０として処理を行うことにより、復号化処理の軽減を図るようになされている。
【０２０２】
上述の第１〜第４の簡易復号化方法を、再生モードに応じて選択的に切換え制御し得るようにしても良い。実際に第２、第３及び第４の簡易復号化方法の順に画質が向上するようになされている。
【０２０３】
（２−２）インタ符号化画像の簡易再生方法
またインタ符号化された画像の復号時には、図３に示すように、動きベクトルを用いた動き補償による処理のみを復号化を行い、変換係数の再構成は行わない（すなわち変換係数に関してはＤＣ成分及びＡＣ成分にかかわらず全て０であるとして処理を行う）方法である。
【０２０４】
このとき予測に用いる参照画像は、ＪＶＴ符号化方式に準拠した復号化画像であっても、このフレーム以前に過去に簡易復号化を行った再構成画像であっても問題はない。
【０２０５】
（３）本実施の形態による動作及び効果
以上の構成において、ＪＶＴ符号化方式に準拠した復号化処理を行う画像復号化装置１０では、通常再生から高速再生に再生モードが切り換えられると、画像圧縮情報Ｓ１０のビットストリームにおけるランダムアクセスポイント直後のＩピクチャからＢピクチャを除いた数ピクチャ分でなる簡易再生フレームについて復号化する。
【０２０６】
そして「早送り」を表す高速再生モードである場合には、簡易再生フレーム以降の読飛ばしストリームを復号化しないように読み飛ばした後、当該簡易再生フレームを形成するＩピクチャ及びＰピクチャをその順番で表示させる。
【０２０７】
これに対して「巻戻し」を表す高速再生モードである場合には、簡易再生フレームの前に位置するランダムアクセスポイントまでビットストリームを遡らせた後、当該簡易再生フレームを形成するＩピクチャ及びＰピクチャをその逆の順番で表示させる。
【０２０８】
このように高速再生モード時に画像圧縮情報Ｓ１０のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化することにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【０２０９】
さらに画像復号化装置１０において、イントラ符号化された画像の復号時に、簡易再生フレーム内の各ピクチャを形成する複数のスライスについて、当該各スライス単位で、一部又は全部のマクロブロックのみＪＶＴ符号化方式に従って復号化し、当該復号対象とならないマクロブロックについては空間予測方式に従う復号化及び又は変換係数のＤＣ成分のみの再構成を実行するようにしたことにより、復号化処理に要する処理時間を短縮化することができる。
【０２１０】
このことはインタ符号化された画像の復号時には、動きベクトルを用いた動き補償による処理のみを復号化を行って変換係数の再構成は行わないようにしてことでも、同様に復号化処理に要する処理時間を短縮化することができる。
【０２１１】
以上の構成によれば、ＪＶＴ符号化方式に準拠した復号化処理を行う画像復号化装置１０において、外部入力される再生モードに応じて復号化方法を変更する再生モード制御部２２を設け、高速再生モード時に画像圧縮情報Ｓ１０のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置１０を実現できる。
【０２１２】
（４）他の実施の形態
なお上述の本実施の形態においては、ＪＶＴ符号化方式（所定の符号化方式）に準拠した復号化処理を行う画像復号化装置として、図１に示す構成のものを適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【０２１３】
また上述の本実施の形態においては、ＪＶＴ符号化方式で符号化された画像圧縮情報（画像データ）Ｓ１０に対して復号化処理を施す復号化手段を可逆復号化部１２から構成し、当該可逆復号化部（復号化手段）１２を制御する制御手段を再生モード制御部２２から構成するようにした場合について述べたが、本発明はこれに限らず、 高速再生モード時、画像圧縮情報（画像データ）Ｓ１０におけるランダムアクセスポイント（所望位置）のＩピクチャを基準として当該Ｉピクチャ及び後続する所定数のＰピクチャからなる簡易再生フレームを抽出することができれば、この他種々の構成のものや一体構成のものなど広く適用することができる。
【０２１４】
さらに上述の本実施の形態においては、高速再生モードが早送り再生の場合、簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成するＩピクチャ及び各Ｐピクチャを順番に復号化する一方、高速再生モードが巻戻し再生の場合、簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成するＩピクチャ及び各Ｐピクチャを順次復号化した後、当該復号順序と逆順に簡易再生フレームを出力するようにした場合について述べたが、本発明はこれに限らず、高速再生モードに応じた変則再生時に復号化処理に要する処理時間を短縮化し得れば、この他種々の方法を適用するようにしても良い。
【０２１５】
さらに上述の本実施の形態においては、ＪＶＴ符号化方式のうちイントラ符号化（フレーム内符号化）された画像圧縮情報（画像データ）Ｓ１０における簡易再生フレーム内のＩピクチャ及び各Ｐピクチャについて、スライス単位（所定の情報単位）で当該スライス（情報）内の一部又は全部を復号化する一方、復号化しない部分については、なにもしない第１の処理（図２（Ａ））、空間予測符号化（可逆符号化）により得られた予測方式の信号に準拠して空間予測のみを復号化する第２の処理（図２（Ｂ））、ＤＣＴ変換符号化（変換符号化）による変換係数のＤＣ（直流）成分のみ復号化する第３の処理（図２（Ｃ））、又は第２及び第３の処理を組み合わせた第４の処理（図２（Ｄ））のいずれかを選択的に行うようにした場合について述べたが、本発明はこれに限らず、これら第１〜第４の処理を再生モードに応じて自動的に選択するようにしても良い。
【０２１６】
この場合、第２の処理よりも第３及び第４の処理の方が画質が良いことと、第２の処理よりも第３及び第４の処理の方が復号化に要する処理時間が遅いこととバランスを考慮するようにすれば良い。
【０２１７】
また第２の処理における可逆符号化として空間予測符号化を適用すると共に、第３及び第４の処理における変換符号化としてＤＣＴ変換符号化を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の符号化を広く適用するようにしても良い。
【０２１８】
さらに上述の実施の形態においては、ＪＶＴ符号化方式の画像圧縮情報Ｓ１０が限定された予測フレームを使用している場合、可逆復号化部１２（図１）によりビットストリームを形成するフレーム数をさらに減らすことが可能である。例えば、高速再生モード時に用いるフレームがＰピクチャであった場合、直前のＩ又はＰピクチャのみから予測を行うようにして予測関係を限定することにより、表示に用いることのないフレームの復号化を行う必要がなくなり、より短時間で復号化処理を行うことができる利点がある。
【０２１９】
【発明の効果】
上述のように本発明によれば、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成する簡易Ｉピクチャ生成部を設けることにより、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置を実現できる。
【０２２０】
また本発明によれば、早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして画像情報及び空間予測を用いて復号化すると共に、復号対象でないマクロブロックを空間予測によって復号化してIピクチャに対応する簡易的な簡易Iピクチャを生成することにより、画像データの全てを復号化することがないため、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】イントラ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図３】インタ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図４】イントラ４×４モード処理の説明に供する略線的な平面図である。
【図５】イントラ４×４モード処理の説明に供する略線的な平面図である。
【図６】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図７】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図８】隣接マクロブロックペアのイントラ予測モードの説明に供する略線的な平面図である。
【図９】ＪＶＴ符号化方式による動き補償処理の説明に供する略線的な平面図である。
【図１０】従来の画像再生装置の構成を示すブロック図である。
【図１１】ＭＰＥＧ２方式による復号化方法の説明に供する略線的な概念図である。
【図１２】ＪＶＴ符号化方式による復号化方法の説明に供する略線的な概念図である。
【符号の説明】
１０……画像復号化装置、１２……可逆復号化部、１３……イントラ予測部、１４……動き予測・補償部、１５……逆量子化部、１６……逆直交変換部、１７……加算器、１８……デブロックフィルタ、１９……画面並べ替えバッファ、２１……フレームメモリ、２２……再生モード制御部。
Claims (10)
- 早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして上記画像情報及び上記空間予測を用いて復号化すると共に、上記復号対象でないマクロブロックを上記空間予測によって復号化して上記Iピクチャに対応する簡易的な簡易Iピクチャを生成する簡易Ｉピクチャ生成部
を有する画像復号化装置。 - 上記画像情報は、
直交変換係数として表されており、
上記簡易Ｉピクチャ生成部は、
上記復号対象でないマクロブロックに対し、上記画像情報における直流成分のみを復号化して上記簡易再生Ｉピクチャを生成する
請求項１に記載の画像復号化装置。 - 上記簡易Ｉピクチャ生成部は、
上記復号対象でないマクロブロックに対し、直流成分の復号化の有無を選択的に実行する
請求項２に記載の画像復号化装置。 - インタ符号化されたインタピクチャを復号化することにより、当該インタピクチャに対応する簡易的な簡易インタピクチャを生成する簡易インタピクチャ生成部と、
上記簡易Ｉピクチャ及び上記インタピクチャの少なくとも一部を用いて、上記Iピクチャ及びインタピクチャからなるビットストリームに対応する簡易的な簡易再生フレームを生成する簡易再生フレーム生成部と
を有する請求項１に記載の画像復号化装置。 - 上記簡易インタピクチャ生成部は、
上記インタピクチャに対し、動きベクトルを用いた動き補償による復号化のみを実行することにより、上記簡易インタピクチャを生成する
請求項４に記載の画像復号化装置。 - 上記簡易インタピクチャ生成部は、
上記インタピクチャとして、Ｂピクチャを参照画像として含む前方向予測されたＰピクチャに対応する簡易Ｐピクチャを生成する
請求項５に記載の画像復号化装置。 - 上記簡易再生フレーム生成部は、
上記簡易Ｉピクチャ及び上記簡易Ｐピクチャを用いて上記簡易再生データを生成する
請求項６に記載の画像復号化装置。 - 上記簡易インタピクチャ生成部は、
早送り再生の際、上記簡易再生データを構成する上記簡易Ｉピクチャ及び上記簡易Ｐピクチャのみを生成するために必要な上記簡易Ｉピクチャ及び簡易Ｐピクチャのみを生成すると共に、上記簡易Ｐピクチャを復号化するのに必要な上記Ｂピクチャのみを簡易的に復号化し、
上記簡易再生データ生成部は、
簡易インタピクチャ生成部によって生成された上記簡易Ｉピクチャ及び簡易Ｐピクチャを順次出力する
請求項７に記載の画像復号化装置。 - 上記簡易インタピクチャ生成部は、
巻戻し再生の際、上記簡易再生データを構成する上記簡易Ｉピクチャ及び上記簡易Ｐピクチャのみを生成するために必要な上記簡易Ｉピクチャ簡易Ｐピクチャのみを生成すると共に、上記簡易Ｐピクチャを復号化するのに必要な上記Ｂピクチャのみを簡易的に復号化し、
上記簡易再生データ生成部は、
簡易インタピクチャ生成部によって生成された上記簡易Ｉピクチャ及び簡易Ｐピクチャを逆順で出力する
請求項８に記載の画像復号化装置。 - 早送り又は巻戻しによる高速再生モードに対応する簡易再生フレームを生成する際、空間予測による予測画像に基づく画像情報が符号化されたＩピクチャにおけるスライスの先頭より１ライン分のマクロブロックを復号対象のマクロブロックとして上記画像情報及び上記空間予測を用いて復号化すると共に、上記復号対象でないマクロブロックを上記空間予測によって復号化して上記Iピクチャに対応する簡易的な簡易Iピクチャを生成する
画像復号化方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122472A JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
| PCT/JP2004/005544 WO2004098184A1 (ja) | 2003-04-25 | 2004-04-19 | 画像復号化装置及び画像復号化方法 |
| CNB2004800105065A CN100479513C (zh) | 2003-04-25 | 2004-04-19 | 图像解码设备和图像解码方法 |
| CN200910005064XA CN101500116B (zh) | 2003-04-25 | 2004-04-19 | 图像解码设备和图像解码方法 |
| US10/553,960 US7672522B2 (en) | 2003-04-25 | 2004-04-19 | Image decoding device and image decoding method |
| EP20040728261 EP1619893B1 (en) | 2003-04-25 | 2004-04-19 | Image decoding devcie and image decoding method |
| KR20057020193A KR101057863B1 (ko) | 2003-04-25 | 2004-04-19 | 화상 복호화 장치 및 화상 복호화 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122472A JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004328511A JP2004328511A (ja) | 2004-11-18 |
| JP4324844B2 true JP4324844B2 (ja) | 2009-09-02 |
Family
ID=33410079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003122472A Expired - Fee Related JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7672522B2 (ja) |
| EP (1) | EP1619893B1 (ja) |
| JP (1) | JP4324844B2 (ja) |
| KR (1) | KR101057863B1 (ja) |
| CN (2) | CN100479513C (ja) |
| WO (1) | WO2004098184A1 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100282147B1 (ko) * | 1998-11-13 | 2001-02-15 | 구자홍 | 압축 영상 복원 방법 |
| KR101278308B1 (ko) * | 2005-04-13 | 2013-06-25 | 톰슨 라이센싱 | 공용 예측기를 사용하는 루마 및 크로마 인코딩 |
| TWI266541B (en) * | 2005-06-08 | 2006-11-11 | Via Tech Inc | Computing method of motion vector |
| WO2007099580A1 (ja) * | 2006-02-28 | 2007-09-07 | Matsushita Electric Industrial Co., Ltd. | マルチメディアデータ再生装置および方法 |
| US8279928B2 (en) | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
| CA2654369C (en) * | 2006-06-21 | 2014-10-14 | Ge Healthcare Limited | Radiopharmaceutical products |
| JP5030495B2 (ja) * | 2006-07-14 | 2012-09-19 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
| JP5232175B2 (ja) * | 2008-01-24 | 2013-07-10 | パナソニック株式会社 | 動画像圧縮装置 |
| JP5170708B2 (ja) | 2008-01-24 | 2013-03-27 | 日本電気株式会社 | 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 |
| JP5206070B2 (ja) * | 2008-03-28 | 2013-06-12 | 富士通株式会社 | 復号装置および復号方法 |
| US9190110B2 (en) | 2009-05-12 | 2015-11-17 | JBF Interlude 2009 LTD | System and method for assembling a recorded composition |
| JP5640979B2 (ja) | 2009-09-03 | 2014-12-17 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| US11232458B2 (en) | 2010-02-17 | 2022-01-25 | JBF Interlude 2009 LTD | System and method for data mining within interactive multimedia |
| US9607655B2 (en) | 2010-02-17 | 2017-03-28 | JBF Interlude 2009 LTD | System and method for seamless multimedia assembly |
| US10165276B2 (en) * | 2010-09-30 | 2018-12-25 | Texas Instruments Incorporated | Method and apparatus for frame coding in vertical raster scan order for HEVC |
| JP5781313B2 (ja) * | 2011-01-12 | 2015-09-16 | 株式会社Ｎｔｔドコモ | 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム |
| US9706227B2 (en) * | 2011-03-10 | 2017-07-11 | Qualcomm Incorporated | Video coding techniques for coding dependent pictures after random access |
| WO2012134046A2 (ko) | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
| KR101383775B1 (ko) | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
| US20120314767A1 (en) * | 2011-06-13 | 2012-12-13 | Qualcomm Incorporated | Border pixel padding for intra prediction in video coding |
| US9009619B2 (en) | 2012-09-19 | 2015-04-14 | JBF Interlude 2009 Ltd—Israel | Progress bar for branched videos |
| US9257148B2 (en) | 2013-03-15 | 2016-02-09 | JBF Interlude 2009 LTD | System and method for synchronization of selectably presentable media streams |
| MY172793A (en) * | 2013-03-29 | 2019-12-12 | Jvc Kenwood Corp | Picture decoding device, picture decoding method and picture decoding program |
| US10448119B2 (en) | 2013-08-30 | 2019-10-15 | JBF Interlude 2009 LTD | Methods and systems for unfolding video pre-roll |
| US9520155B2 (en) * | 2013-12-24 | 2016-12-13 | JBF Interlude 2009 LTD | Methods and systems for seeking to non-key frames |
| US9653115B2 (en) | 2014-04-10 | 2017-05-16 | JBF Interlude 2009 LTD | Systems and methods for creating linear video from branched video |
| US9792026B2 (en) | 2014-04-10 | 2017-10-17 | JBF Interlude 2009 LTD | Dynamic timeline for branched video |
| US9792957B2 (en) | 2014-10-08 | 2017-10-17 | JBF Interlude 2009 LTD | Systems and methods for dynamic video bookmarking |
| US11412276B2 (en) | 2014-10-10 | 2022-08-09 | JBF Interlude 2009 LTD | Systems and methods for parallel track transitions |
| US9672868B2 (en) | 2015-04-30 | 2017-06-06 | JBF Interlude 2009 LTD | Systems and methods for seamless media creation |
| US10582265B2 (en) | 2015-04-30 | 2020-03-03 | JBF Interlude 2009 LTD | Systems and methods for nonlinear video playback using linear real-time video players |
| US10460765B2 (en) | 2015-08-26 | 2019-10-29 | JBF Interlude 2009 LTD | Systems and methods for adaptive and responsive video |
| US11164548B2 (en) | 2015-12-22 | 2021-11-02 | JBF Interlude 2009 LTD | Intelligent buffering of large-scale video |
| US11128853B2 (en) | 2015-12-22 | 2021-09-21 | JBF Interlude 2009 LTD | Seamless transitions in large-scale video |
| US10462202B2 (en) | 2016-03-30 | 2019-10-29 | JBF Interlude 2009 LTD | Media stream rate synchronization |
| US11856271B2 (en) | 2016-04-12 | 2023-12-26 | JBF Interlude 2009 LTD | Symbiotic interactive video |
| US10218760B2 (en) | 2016-06-22 | 2019-02-26 | JBF Interlude 2009 LTD | Dynamic summary generation for real-time switchable videos |
| US11050809B2 (en) | 2016-12-30 | 2021-06-29 | JBF Interlude 2009 LTD | Systems and methods for dynamic weighting of branched video paths |
| US10257578B1 (en) | 2018-01-05 | 2019-04-09 | JBF Interlude 2009 LTD | Dynamic library display for interactive videos |
| US11601721B2 (en) | 2018-06-04 | 2023-03-07 | JBF Interlude 2009 LTD | Interactive video dynamic adaptation and user profiling |
| US11490047B2 (en) | 2019-10-02 | 2022-11-01 | JBF Interlude 2009 LTD | Systems and methods for dynamically adjusting video aspect ratios |
| US11245961B2 (en) | 2020-02-18 | 2022-02-08 | JBF Interlude 2009 LTD | System and methods for detecting anomalous activities for interactive videos |
| US11882337B2 (en) | 2021-05-28 | 2024-01-23 | JBF Interlude 2009 LTD | Automated platform for generating interactive videos |
| US11934477B2 (en) | 2021-09-24 | 2024-03-19 | JBF Interlude 2009 LTD | Video player integration within websites |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5440345A (en) * | 1992-07-17 | 1995-08-08 | Kabushiki Kaisha Toshiba | High efficient encoding/decoding system |
| US5786858A (en) * | 1993-01-19 | 1998-07-28 | Sony Corporation | Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium |
| US5787225A (en) * | 1993-03-29 | 1998-07-28 | Matsushita Electric Industrial Co., Ltd. | Optical disk apparatus for the reproduction of compressed data |
| JP2661541B2 (ja) | 1993-03-29 | 1997-10-08 | 松下電器産業株式会社 | 光ディスク装置 |
| JP3089160B2 (ja) * | 1994-05-20 | 2000-09-18 | シャープ株式会社 | ディジタル記録再生装置 |
| JP3254924B2 (ja) | 1994-09-05 | 2002-02-12 | ソニー株式会社 | データ再生方法およびデータ再生装置 |
| JP3491366B2 (ja) * | 1995-01-31 | 2004-01-26 | ソニー株式会社 | 符号化データの特殊再生方法および特殊再生装置 |
| JP3635712B2 (ja) * | 1995-04-08 | 2005-04-06 | ソニー株式会社 | 画像情報復号化装置及び画像情報再生装置 |
| JPH08331567A (ja) * | 1995-06-02 | 1996-12-13 | Sony Corp | 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム |
| US6169843B1 (en) * | 1995-12-01 | 2001-01-02 | Harmonic, Inc. | Recording and playback of audio-video transport streams |
| JP3772451B2 (ja) | 1997-03-19 | 2006-05-10 | ソニー株式会社 | 画像復号装置及び画像復号方法 |
| JPH10276365A (ja) * | 1997-03-31 | 1998-10-13 | Hitachi Ltd | 映像データ圧縮装置、映像記録再生装置および映像データの圧縮符号化方法 |
| US7149248B2 (en) * | 2001-09-12 | 2006-12-12 | Broadcom Corporation | Command packet system and method supporting improved trick mode performance in video decoding systems |
-
2003
- 2003-04-25 JP JP2003122472A patent/JP4324844B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-19 CN CNB2004800105065A patent/CN100479513C/zh not_active Expired - Fee Related
- 2004-04-19 WO PCT/JP2004/005544 patent/WO2004098184A1/ja active Application Filing
- 2004-04-19 KR KR20057020193A patent/KR101057863B1/ko not_active IP Right Cessation
- 2004-04-19 EP EP20040728261 patent/EP1619893B1/en not_active Expired - Fee Related
- 2004-04-19 US US10/553,960 patent/US7672522B2/en not_active Expired - Fee Related
- 2004-04-19 CN CN200910005064XA patent/CN101500116B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1619893A1 (en) | 2006-01-25 |
| CN101500116B (zh) | 2011-02-23 |
| EP1619893B1 (en) | 2013-01-09 |
| KR20060006823A (ko) | 2006-01-19 |
| CN1778110A (zh) | 2006-05-24 |
| US20070003149A1 (en) | 2007-01-04 |
| US7672522B2 (en) | 2010-03-02 |
| CN100479513C (zh) | 2009-04-15 |
| CN101500116A (zh) | 2009-08-05 |
| EP1619893A4 (en) | 2009-11-25 |
| JP2004328511A (ja) | 2004-11-18 |
| WO2004098184A1 (ja) | 2004-11-11 |
| KR101057863B1 (ko) | 2011-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4324844B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| US9948955B2 (en) | Method and system for generating a transform size syntax element for video decoding | |
| KR100340369B1 (ko) | 화상부호화방법및장치 | |
| US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
| US7894530B2 (en) | Method and system for dynamic selection of transform size in a video decoder based on signal content | |
| JP2004140473A (ja) | 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法 | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| JP2004328634A (ja) | 画像復号化装置及び方法 | |
| JPH08163594A (ja) | 動画像復号化方法及び動画像復号化装置 | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| JP5155159B2 (ja) | 動画像復号装置 | |
| TW201215156A (en) | Image decoding device, image encoding device, and method and program thereof | |
| WO1993003578A1 (en) | Apparatus for coding and decoding picture signal with high efficiency | |
| JPH0879766A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP2008219205A (ja) | 画像情報符号化装置及び画像情報符号化方法 | |
| JP4572210B2 (ja) | 輝度情報の復号化方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JP3481118B2 (ja) | 動画像復号化方法 | |
| JPH11252561A (ja) | 動画像復号化方法 | |
| JPH11191887A (ja) | 動画像復号化装置 | |
| JPH07240919A (ja) | データ処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090514 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090527 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4324844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |