JP5369893B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム Download PDF

Info

Publication number
JP5369893B2
JP5369893B2 JP2009123960A JP2009123960A JP5369893B2 JP 5369893 B2 JP5369893 B2 JP 5369893B2 JP 2009123960 A JP2009123960 A JP 2009123960A JP 2009123960 A JP2009123960 A JP 2009123960A JP 5369893 B2 JP5369893 B2 JP 5369893B2
Authority
JP
Japan
Prior art keywords
resolution
super
encoding
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009123960A
Other languages
English (en)
Other versions
JP2010011448A (ja
Inventor
智 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41377141&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5369893(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2009123960A priority Critical patent/JP5369893B2/ja
Priority to US12/995,039 priority patent/US9042448B2/en
Priority to CN200980120077XA priority patent/CN102084657B/zh
Priority to PCT/JP2009/059801 priority patent/WO2009145271A1/ja
Publication of JP2010011448A publication Critical patent/JP2010011448A/ja
Application granted granted Critical
Publication of JP5369893B2 publication Critical patent/JP5369893B2/ja
Priority to US14/692,138 priority patent/US10218995B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

本発明は、動画像列に対し超解像拡大処理等を行う動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムに関する。
映像の空間解像度スケーラビリティを実現する従来技術として、例えば、ベースレイヤとエンハンスメントレイヤの２層の階層符号化装置において、エンハンスメントレイヤと同じ空間解像度の入力映像信号をベースレイヤの空間解像度に縮小（デシメーション）処理した後、ベースレイヤにて符号化し、そのベースレイヤ符号化の際のデコード信号を空間的に補間（インターポレーション）してエンハンスメントレイヤと同じ空間解像度にした信号とエンハンスメントレイヤと同じ空間解像度の入力映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して、そこで得た符号化ビットストリームとベースレイヤ符号化で得られたビットストリームを多重化したものを復号装置へ伝送し、復号装置ではその多重化された符号化ビットストリームをその逆に復号するものがある（例えば、特許文献１参照。）。
特開平７−１６２８７０号公報
ところで、ISO/IEC SC29 WG11において規格標準化されているMPEG-1、-2、-4/AVC/SVCなどに代表される動画像符号化では、局部復号（ローカルデコード）によって得られる復号ピクチャを参照ピクチャとして利用して動き推定により動きベクトル情報を生成し、動き補償により生成された動きベクトル情報を利用して、符号化対象となっている対象ピクチャに最も近い画像品質を持つような予測ピクチャを生成し、その後、対象ピクチャと予測ピクチャとの残差情報を求め、この残差情報に対して所定の符号化処理を行って、時間方向の相関性の高さを利用して高い符号化効率を実現している。つまり、予測ピクチャの画像品質を向上させ、対象ピクチャとの相関を高めることで、更なる符号化効率の向上が期待できる。しかし、十分な符号量を割り当てることができないと、動きベクトル情報の精度が十分でなくなったり、局部復号結果である参照ピクチャの画像品質が十分得られなくなったりすることによって、予測ピクチャの画像品質が低下し、結果として符号化効率が低下する。
また、上述の特許文献１やMPEG-4 SVCなどに代表される動画像の階層符号化でも、現在符号化を行おうとしている階層よりも下の階層の参照ピクチャから予測ピクチャもしくは予測ブロックを生成し、現在の階層の対象ピクチャもしくは対象ブロックとの間で階層間予測を行うことにより、異なる空間解像度間の相関性の高さを利用して更なる符号化効率の向上を図っている。しかし、時間方向の相関性の高さを利用する場合と同様に、階層間の相関性の高さを利用する場合も、十分な符号量を割り当てることができないと、予測ピクチャもしくは予測ブロックの画像品質は低下し、結果として符号化効率が低下してしまうという課題が生じる。
また、符号化対象として入力した動画像に対して所定の解像度変換処理を行って、入力した動画像の持つ空間解像度(以後、基準解像度)よりも低い空間解像度（以後、低解像度）の動画像を生成し、少なくとも2階層の動画像に対して階層間の相関性の高さを利用して階層符号化を行っている。しかし、このような階層符号化では、仮に可逆の符号化処理を行った場合であっても、入力動画像の基準解像度によって、表現できる空間方向の空間周波数成分情報に帯域制限がかかるとともに、階層符号化を行う際に、階層符号化の局部復号、もしくは階層符号化によって得られる符号化ビットストリームを復号して得られる復号画像が、入力動画像に対して、符号化条件の下で最も入力動画像の画像品質に近くなるように符号化処理を行うことから、階層間の相関性を利用して新たな空間周波数成分情報の推定が可能であっても、基準解像度で表現できる空間周波数成分情報より多くのの空間周波数成分情報を符号化し、伝送することができないという課題が生じる。
そこで、本発明は、入力動画像の解像度で表現される空間周波数成分情報より多くのの空間周波数成分情報を符号化し、伝送することができる動画像符号化装置、動画像符号化方法、および動画像符号化プログラムを提供することを目的とする。また、本発明の動画像符号化装置、動画像符号化方法、および動画像符号化プログラムによって生成された符号化ビット列を取得して復号することができる動画像復号装置、動画像復号方法、動画像復号プログラムを提供することを目的とする。更に、復号後、再度符号化し、伝送することができる動画像再符号化装置、動画像再符号化方法、および動画像再符号化プログラムを提供することを目的とする。
前記課題を解決するため、本発明の動画像符号化装置は、基準解像度の動画像列に対し第１の符号化および復号処理を行って前記基準解像度の第１符号化ビット列および基準解像度の復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像とし、前記第１符号化部からの前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、を有する。
また、本発明の動画像符号化装置は、例えば、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、前記第１符号化部から基準解像度の前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像とし、前記第２解像度変換部からの前記超解像拡大・変換復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、を有する。
また、例えば図１および図８に示すように、さらに、前記第１符号化部から前記基準解像度の復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、を有し、前記第２符号化部は、さらに、前記第２解像度変換部からの前記超解像拡大・変換復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する、ようにしても良い。
また、例えば図４の（ａ）に示すように、前記第１の超解像拡大部は、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像とに基づいて、所望の高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する位置合わせ器と、前記位置合わせ器にて生成された不均一高解像度画像に対し所定の不均一補間処理を行って、所望の高解像度を持つ補間画像を生成する補間器と、前記補間器にて生成された前記補間画像を取得して、所定の復元処理を行い、所望の解像度を持つ推定画像を生成する推定画像生成器と、前記位置合わせ器から前記不均一高解像度画像を取得するとともに、前記推定画像生成器から前記不均一推定画像を取得して、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定し、その判定の結果、繰り返しが必要な場合は、前記補間器に対して処理を継続するための制御情報を供給する一方、繰り返しが必要ない場合には、前記推定画像生成器に対して超解像拡大処理結果である高解像度の推定画像を出力するための制御情報を出力する繰り返し判定器と、を有するようにしても良い。
また、例えば図１等に示すように、さらに、前記第１符号化部からの前記第１符号化ビット列と、前記第２符号化部からの前記第２符号化ビット列と、前記第１符号化部における符号化および前記第２符号化部における符号化の際に使用した各種符号化パラメータ情報とを、所定の構文構造に基づいて多重化する多重化部、を有するようにしても良い。
また、例えば図１０に示すように、さらに、前記第１符号化部および前記第１超解像拡大部の前段に設けられ、基準解像度の前記動画像列を蓄積する第１蓄積バッファと、前記第１符号化部と前記第２符号化部の間に設けられ、前記第１符号化部からの前記復号画像を蓄積する第２蓄積バッファと、前記第１蓄積バッファと、前記第２蓄積バッファと、前記第１符号化部と、前記第２符号化部とにおける各バッファ蓄積量を検出し、各バッファ蓄積量を制御する蓄積制御部と、前記蓄積制御部における前記各バッファ蓄積量に基づいて、前記第１符号化部と前記第２符号化部とにおける符号量制御を行う符号量制御部と、を有するようにしても良い。
また、本発明の動画像符号化装置は、例えば図１３に示すように、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像と、前記第３超解像拡大部からの前記解像度変換拡大復号画像とを参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、を有する。
また、本発明の動画像符号化装置は、例えば図１６に示すように、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第３解像度変換部からの前記解像度変換拡大復号画像を参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、を有する。
また、本発明の動画像符号化装置は、例えば図１７に示すように、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像を参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、を有する。
また、本発明の動画像符号化装置は、例えば図１９に示すように、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、前記第２超解像拡大部からの前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像として、前記第１符号化部からの前記復号画像と、前記第２解像度変換部からの基準解像度をもつ超解像拡大・変換復号画像とを参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像と、前記第３解像度変換部からの前記解像度変換拡大復号画像とを参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、を有する。
また、本発明の動画像符号化方法は、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成するステップと、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成するステップと、前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成するステップと、前記超解像拡大・変換画像を符号化対象画像とし、生成した前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成するステップと、を有する。
また、本発明の動画像符号化プログラムは、基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成するステップと、基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成するステップと、前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成するステップと、前記超解像拡大・変換画像を符号化対象画像とし、生成した前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成するステップと、をコンピュータに実行させる。
また、本発明の動画像復号装置は、例えば図２６に示すように、入力される符号化ビット列に対して所定の多重化分離処理を行って基準解像度の符号化ビット列を出力する多重化分離部と、前記多重化分離部によって得られる基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成する第１復号部と、前記第１復号部によって生成された基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成する第１超解像拡大部と、前記第１超解像拡大部によって生成された超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成する第１解像度変換部と、前記多重化分離部によって得られる基準解像度拡張符号化ビット列と、前記第１復号部によって生成された基準解像度の復号画像列と、前記第１解像度変換部によって生成された基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成する第２復号部と、を有する動画像復号装置である。
ここで、さらに、例えば図２３に示すように、前記復号部から基準解像度の復号画像列を取得し、所定の解像度変換処理を行うことにより基準解像度よりも高い解像度をもつ高解像度の拡大復号画像列を生成する第２解像度変換部と、前記多重化分離部によって得られた前記高解像度拡張符号化ビット列と、前記超解像拡大部によって生成された超解像拡大復号画像列と、前記第２解像度変換部から高解像度の拡大復号画像列とを取得し、所定の予測処理および所定の復号処理を行うことにより、復号後の超解像拡大画像列を生成する第３復号部と、を有する動画像復号装置でも良い。
また、本発明の再符号化装置は、例えば図２７に示すように、入力される符号化ビット列に対して所定の多重化分離処理を行って基準解像度の符号化ビット列を出力する多重化分離部と、前記多重化分離部によって得られる基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成する復号部と、前記復号部によって生成された基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成する第１超解像拡大部と、前記第１超解像拡大部によって生成された超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成する第１解像度変換部と、前記多重化分離部によって得られる基準解像度拡張符号化ビット列と、前記復号部によって生成された基準解像度の復号画像列と、前記第１解像度変換部によって生成された基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成する第２復号部と、前記復号部から復号途中である直交変換係数情報と、前記第２復号部から復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成する再符号化部と、前記再符号化部によって再符号化された符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成する多重化部と、を有する動画像再符号化装置である。
ここで、前記再符号化部は、更に、前記復号部から基準解像度の復号画像列と、第１解像度変換部からの基準解像度の超解像復号画像列と、前記第２復号部から基準解像度の超解像画像列とを取得し、所定の符号化処理を行うことにより再符号化後の符号化ビット列を生成する、動画像再符号化装置でも良い。
また、本発明の動画像復号方法は、入力される符号化ビット列に対して所定の多重化分離処理を行って基準解像度の符号化ビット列を出力するステップと、所定の多重化分離処理によって得られた前記基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成するステップと、所定の復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、所定の多重化分離処理によって得られた前記基準解像度拡張符号化ビット列と、所定の復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、を有する動画像復号方法である。
ここで、さらに、所定の復号処理によって生成された前記基準解像度の復号画像列を取得し、所定の解像度変換処理を行うことにより基準解像度よりも高い解像度をもつ高解像度の拡大復号画像列を生成するステップと、所定の多重化分離処理によって得られた前記高解像度拡張符号化ビット列と、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列と、所定の解像度変換処理によって生成された前記高解像度の拡大復号画像列とを取得し、所定の予測処理および所定の復号処理を行うことにより、復号後の超解像拡大画像列を生成するステップと、を有する動画像復号方法でも良い。
また、本発明の再符号化方法は、入力される符号化ビット列に対して所定の多重化分離処理を行うステップと、所定の多重化分離処理によって得られた前記基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成するステップと、所定の復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、所定の多重化分離処理によって得られた前記基準解像度拡張符号化ビット列と、所定の復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された前記基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、所定の復号処理の復号途中である直交変換係数情報と、所定の基準解像度の拡張復号である第２復号処理の復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成するステップと、再符号化後の前記符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成するステップと、を有する動画像再符号化方法である。
また、本発明の動画像復号プログラムは、入力される符号化ビット列に対して所定の多重化分離処理を行って基準解像度の符号化ビット列を出力するステップと、所定の多重化分離処理によって得られた前記基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成するステップと、所定の復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、所定の多重化分離処理によって得られた前記基準解像度拡張符号化ビット列と、所定の復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、をコンピュータに実行させる動画像復号プログラムである。
また、本発明の動画像再符号化プログラムは、入力される符号化ビット列に対して所定の多重化分離処理を行うステップと、所定の多重化分離処理によって得られた前記基準解像度の符号化ビット列を取得して所定の復号処理を行うことにより基準解像度の復号画像列を生成するステップと、所定の復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、所定の多重化分離処理によって得られた前記基準解像度拡張符号化ビット列と、所定の復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された前記基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、所定の復号処理の復号途中である直交変換係数情報と、所定の基準解像度の拡張復号である第２復号処理の復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成するステップと、再符号化後の前記符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成するステップと、をコンピュータに実行させる動画像再符号化プログラムである。
本発明の動画像符号化装置等によれば、第１符号化部が基準解像度の入力動画像を符号化する一方、第１超解像拡大部が基準解像度の入力動画像に対し超解像拡大処理を行うことにより、入力動画像中に潜在的に含まれるが基準解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を含め、その後、第１解像度変換部によって所定の解像度変換処理等を行ってから第２符号化部にて符号化するようにしたので、第２符号化部では、基準解像度の入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行えるという効果を生じる。ここで、第２符号化部では、第１符号化部での復号信号やその復号信号を第２超解像拡大処理および第２解像度変換処理等の加工をした信号を参照信号として利用して符号化することもできる。
また、本発明の動画像符号化装置等によれば、第１符号化部が基準解像度の入力動画像を符号化する一方、第１超解像拡大部が基準解像度の入力動画像に対し超解像拡大処理を行うことにより、入力動画像中に潜在的に含まれるが基準解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を含め、その後その信号を第３符号化部にて符号化するようにしたので、第３符号化部では、基準解像度の入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行えるという効果を生じる。ここで、第３符号化部では、第１符号化部での復号信号を第２超解像拡大処理や第３解像度変換処理等の加工をして第１超解像拡大信号と同じ解像度に高解像度化した信号を参照信号として符号化することもできる。また、本発明の動画像復号装置等によれば、このように動画像符号化された動画像を入力して復号することができ、さらに、本発明の動画像再符号化装置等によれば、このように動画像符号化された動画像を入力して復号し再符号化することができる。
本発明の実施の形態１を適用した動画像符号化装置の基本構成の例を示すブロック図である。 実施の形態１の動画像符号化装置の動作を示すフローチャートである。 実施の形態１の多重化部１０９が生成する多重化ビット列の構造の一例を示すデータ構造図である。 実施の形態１の第１超解像拡大部１０３の詳細構成例を示すブロック図、および第１超解像拡大部１０３で行われる所定の超解像拡大処理の一例を示す概念図である。 実施の形態１の第１超解像拡大部１０３の動作を示すフローチャートである。 実施の形態１の第１解像度変換部１０４の詳細構成例を示すブロック図、および第１解像度変換部１０４で行われる所定の解像度変換処理の一例を示す概念図である。 実施の形態２の動画像符号化装置の構成例を示すブロック図である。 実施の形態２の動画像符号化装置の他の構成例を示すブロック図である。 実施の形態２の動画像符号化装置のさらに他の構成例を示すブロック図である。 実施の形態３の動画像符号化装置の構成例を示すブロック図である。 実施の形態３における第１符号化器４０３の構成例を示すブロック図である。 実施の形態３における第１復号器４０４の構成例を示すブロック図である。 実施の形態４の動画像符号化装置の構成例を示すブロック図である。 実施の形態４の動画像符号化装置の動作例を示すフローチャートである。 実施の形態４の多重化部１０９が生成する多重化ビット列の構造の一例を示すデータ構造図である。 実施の形態５の動画像符号化装置の構成例を示すブロック図である。 実施の形態５の動画像符号化装置の他の構成例を示すブロック図である。 実施の形態６の動画像符号化装置の構成例を示すブロック図である。 実施の形態７の動画像符号化装置の構成例を示すブロック図である。 実施の形態７の動画像符号化装置の動作例を示すフローチャートである。 実施の形態７の多重化部１０９が生成する多重化ビット列の構造の一例を示すデータ構造図である。 実施の形態８の動画像符号化装置の構成例を示すブロック図である。 実施の形態９の動画像復号装置の構成例を示すブロック図である。 実施の形態９の動画像復号装置の動作例を示すフローチャートである。 、図２４のステップＳ６０２の基準解像度の復号処理の動作手順の一例を示すフローチャートである。 実施の形態１０の動画像復号装置の構成例を示すブロック図である。 実施の形態１１の動画像再符号化装置の構成例を示すブロック図である。 実施の形態１１の動画像再符号化装置の動作例を示すフローチャートである。
実施の形態１．
図１は、本発明の実施の形態１の動画像符号化装置の構成例を示すブロック図である。
図１において、実施の形態１の動画像符号化装置は、第１蓄積バッファ１０１、第１符
号化部１０２、第１超解像拡大部１０３、第１解像度変換部１０４、第２超解像拡大部１
０５、第２解像度変換部１０６、第２符号化部１０７、多重化部１０９を有している。
第１蓄積バッファ１０１は、入力として入力する動画像に対し、後述される所定の超解
像前符号化および第１超解像拡大処理を行う際に必要となる、少なくとも２枚の画像を蓄
積し、第１符号化部１０２、第１超解像拡大部１０３等に対し、それぞれにおいて必要と
される画像を供給する機能を有する。
第１符号化部１０２は、第１蓄積バッファ１０１から、所定の符号化処理に必要な、基
準解像度をもつ画像を取得して、取得した基準解像度をもつ画像に対して所定の符号化処
理（以後、超解像前符号化処理と呼ぶ）を行い、第１符号化ビット列を生成し、生成した
第１符号化ビット列を多重化部１０９に供給する機能を有する。また、第１符号化部１０２は、所定の復号処理を行い、復号画像を、第２超解像拡大部１０５および第２符号化部１０７に供給する機能を有する。また、第１符号化部１０２は、復号画像を一時的に格納するための機能を有することが望ましい。ここで、所定の復号処理は、生成した第１符号化ビット列に対して復号処理を行って復号画像を生成するように構成しても良い。また、所定の符号化処理に含まれる局部復号処理によって局部復号結果から復号画像を生成するように構成しても良い。
第１超解像拡大部１０３は、第１蓄積バッファ１０１から、所定の超解像拡大処理に必要となる、少なくとも２枚の基準解像度をもつ画像を取得して、取得した基準解像度をもつ画像に対し、所定の超解像拡大処理を行い、基準解像度よりも高い解像度をもつ、超解像拡大画像を生成し、生成した超解像拡大画像を第１解像度変換部１０４に供給する機能を有する。ここで、所定の超解像拡大処理を行う際の拡大率は、所定の拡大率情報として設定されるか、外部のユーザ等から設定される拡大率情報を取得する機能を有し、取得した拡大率情報に基づいて拡大率が特定されて所定の超解像拡大処理を行うように構成しても良い。更に、所定の拡大率情報は、図示しない所定のエントロピー符号化処理を行って拡大率情報ビット列を生成し、多重化部１０９に供給して、復号装置側に伝送するように構成すると更に良い。この点は、第２超解像拡大部１０５も同様である。なお、第１超解像拡大部１０３および第２超解像拡大部１０５の詳細構成例および動作例は、図４において後述する。
第１解像度変換部１０４は、第１超解像拡大部１０３から超解像拡大画像を取得して、取得した超解像拡大画像に対して所定の解像度変換処理を行い、基準解像度よりも高い解像度をもつ超解像拡大画像から、例えば、基準解像度等をもつ超解像画像（超解像拡大・変換画像）を生成し、第２符号化部１０７に供給する機能を有する。
第２超解像拡大部１０５は、第１符号化部１０２から、所定の超解像拡大処理に必要となる、少なくとも２枚の基準解像度をもつ復号画像を取得して、取得した基準解像度の復号画像に対し、所定の超解像拡大処理を行い、基準解像度よりも高い解像度をもつ、超解像拡大復号画像を生成し、生成した超解像拡大復号画像を第２解像度変換部１０６に供給する機能を有する。ここで、第１超解像拡大部１０３と同様に、所定の超解像拡大処理を行う際の拡大率は、所定の拡大率情報として設定されるか、外部のユーザ等から設定される拡大率情報を取得する機能を有し、取得した拡大率情報に基づいて拡大率が特定されて所定の超解像拡大処理を行うようにしても良い。なお、第２超解像拡大部１０５における拡大後の解像度は、第１超解像拡大部１０３における拡大後の解像度と同じでも、異なっていてもどちらでも良い。
第２解像度変換部１０６は、第２超解像拡大部１０５から超解像拡大復号画像を取得して、取得した超解像拡大復号画像に対して所定の解像度変換処理を行って、基準解像度よりも高い解像度をもつ超解像拡大復号画像から、例えば、基準解像度をもつ超解像復号画像（超解像拡大・変換復号画像）を生成し、第２符号化部１０７に供給する機能を有する。ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、外部のユーザ等から設定される解像度変換率情報を取得する機能を有し、取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行うように構成しても良い。ここで、解像度変換率情報は、図示しない所定のエントロピー符号化処理を行って解像度変換率情報ビット列を生成し、多重化部１０９に供給するように構成すると更に良い構成となる。
第２符号化部１０７は、第１解像度変換部１０４から基準解像度の入力画像の超解像拡大・変換信号を符号化対象ピクチャとし、第１符号化部１０２から前記復号画像を第１参照ピクチャとし、第２解像度変換部１０６から基準解像度の復号画像の超解像拡大・変換復号信号を第２参照ピクチャとして、所定の予測処理および第２の符号化処理を行って、第２符号化ビット列を生成し、生成した第２符号化ビット列を多重化部１０９に供給する機能を有する。
ここで、第２符号化部１０７における所定の予測処理を行う際に利用する参照ピクチャは、復号画像から得られる第１参照ピクチャと、超解像拡大・変換復号画像から得られる第２参照ピクチャとのどちらか一方を利用して予測ピクチャを生成し、対象ピクチャから予測ピクチャを減算することで残差情報を生成するような構成としても良い。
また、第１参照ピクチャ、および第２参照ピクチャのどちらも利用せず、対象ピクチャを残差情報として生成するような構成を含めても良い。
更に、第２符号化部１０７は、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御するために、第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定するための参照ピクチャ選択情報を生成し、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行って参照ピクチャ選択情報の符号化ビット列を生成し、多重化部１０９に供給するようにしても良い。なお、後述するように、参照ピクチャ情報の符号化ビット列は、多重化ビット列３００の符号化パラメータ情報ビット列３１０として多重化される。また、対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを特定しながら予測ピクチャを生成し、対象ピクチャから予測ピクチャを減算することで残差情報を生成するようにしても良い。ここで、所定の大きさをもつ領域ごとに、どの参照ピクチャを利用したかを特定するための情報を参照ピクチャ選択情報とし、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行い、生成された参照ピクチャ選択情報の符号化ビット列を多重化部１０９に供給するようにしても良い。ここで、所定の大きさをもつ領域の形状は、所定の矩形領域、または所定の領域分割によって得られる任意形状領域であることが望ましい。
また、第２符号化部１０７は、符号化対象ピクチャから第１参照ピクチャを予測ピクチャとして減算して得られる残差情報を第１の残差情報として所定の第２の符号化処理を行って第１の第２符号化ビット列を生成するとともに、符号化対象ピクチャから第２参照ピクチャを予測ピクチャとして減算して得られる残差情報を第２の残差情報として所定の第２の符号化処理を行って第２の第２符号化ビット列を生成し、更に、第１参照ピクチャ、および第２参照ピクチャのどちらも利用せず、対象ピクチャのみから残差情報を生成し、第３の残差情報として所定の第２の符号化処理を行って第３の第２符号化ビット列を生成し、生成した第１から第３の第２符号化ビット列を多重化部１０９に供給する機能を有するようにしても良い。ここで、以上のような各種の参照ピクチャの選択方法および符号化方法を、参照ピクチャ選択モード情報、および第２符号化の符号化モード情報とし、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行い、多重化部１０９に供給するようにしても良い。
また、第２符号化部１０７は、例えば、MPEG-4 SVCにおけるCGS(Coarse Grain Scalability)レイヤの符号化を実行し、第１符号化部１０２の基準解像度の動画像列の空間解像度との間の空間解像度が同一である場合には、MPEGおよびITU-Tとの共同グループであるJVT(Joint Video Team)におけるAVCリライティングにて示される、SVCからAVCに容易に変換できるようにするための抑制条件を満たすような所定の構文構造に基づいて第２符号化を行って第２符号化ビット列を生成するようにしても良い。このようにすれば、第２符号化部１０７にて生成される第２符号化ビット列は、階層符号化であるSVCの符号化形式から単層の符号化であるAVCの符号化形式に、完全な復号と符号化を行うような再符号化を行うことなく変換することができる符号化ビット列を生成することができる。
多重化部１０９は、第１符号化部１０２から第１符号化ビット列を取得すると共に、第２符号化部１０７から第２符号化ビット列を取得して、所定の構文構造に基づいて、符号化の際に利用した動きベクトル情報や量子化パラメータ情報、さらには上述の参照ピクチャ選択情報等の各種符号化パラメータや符号化モード等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列と、これらを特定するための識別情報を挿入しながら、第１符号化ビット列と、第２符号化ビット列との多重化処理を行い、後述する図３に示すような多重化ビット列を生成する機能を有する。また、多重化部１０９は、第２符号化部１０７が生成した、参照ピクチャ選択モード情報および参照ピクチャ選択情報に対して、図示しない所定のエントロピー符号化された符号化ビット列を更に取得し、同様の多重化処理によって多重化ビット列を生成する機能を有する構成であると良い。
以上のような構成を本実施の形態として少なくとも有し、入力される動画像に対して所定の超解像拡大処理および所定の解像度変換処理で生成される基準解像度の入力画像の超解像拡大・変換信号を利用する構成にすることで、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。ここで、第１超解像拡大部１０３、第２超解像拡大部１０５が利用する拡大率は、必ずしも同じ拡大率である必要はない。同様に、第１解像度変換部１０４、第２解像度変換部１０６で利用する解像度変換率は、必ずしも同じ解像度変換率である必要はない。ただし、図１においては、第１解像度変換部１０４および第２解像度変換部１０６による解像度変換処理後の空間解像度は、基準解像度となるような解像度変換率であるものとする。
次に、図１に示す実施の形態１の動画像符号化装置の動作を、図２のフローチャートを参照しながら説明する。
まず、入力される動画像を、第１超解像拡大部１０３における第１超解像拡大処理で必要とされるピクチャ数の画像を、第１蓄積バッファ１０１に格納する（ステップＳ２０１）。
第１超解像拡大部１０３は、所定の超解像拡大処理を行う際に必要となる少なくとも２枚の画像を、第１蓄積バッファ１０１から取得し、所定の第１超解像拡大処理を行う（ステップＳ２０２）。これにより、入力される動画像がもつ空間解像度である基準解像度よりも高い解像度をもつ、超解像拡大画像を生成し、第１解像度変換部１０４に供給する。なお、第１超解像拡大部１０３の具体的構成および超解像処理の内容については後述する。
その後、第１解像度変換部１０４は、第１超解像拡大部１０３から超解像拡大画像を取得し、所定の解像度変換処理を行う（ステップＳ２０３）。これにより、基準解像度の入力画像の超解像拡大・変換信号を生成し、第２符号化部１０７に生成した基準解像度の入力画像の超解像拡大・変換信号を供給する。
その後、第２符号化部１０７は、第１解像度変換部１０４から基準解像度の入力画像の超解像拡大・変換信号を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ２０４）。
その一方、第１符号化部１０２は、第１蓄積バッファ１０１から所定の超解像前符号化処理を行う際に必要となる基準解像度の動画像列を取得し、基準解像度の符号化、復号処理を行う（ステップＳ２０５）。これにより、符号化処理結果である基準解像度の第１符号化ビット列と、復号結果である基準解像度の復号画像を生成する。その後、第１符号化部１０２は、生成した第１符号化ビット列を多重化部１０９に供給し、生成した基準解像度の復号画像を第２超解像拡大部１０５および第２符号化部１０７に供給する。
その後、第２符号化部１０７は、第１符号化部１０２から前記復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ２０６）。
その後、第２超解像拡大部１０５は、第１超解像拡大部１０３と同様に、第１符号化部１０２から前記復号画像を取得し、所定の超解像拡大処理を行う（ステップＳ２０７）。
これにより、基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成し、第２解像度変換部１０６に供給する。
その後、第２解像度変換部１０６は、第２超解像拡大部１０５から超解像拡大復号画像を取得し、所定の解像度変換処理を行う（ステップＳ２０８）。これにより、基準解像度の復号画像の超解像拡大・変換復号信号を生成し、第２符号化部１０７に供給する。
その後、第２符号化部１０７は、第２解像度変換部１０６から基準解像度の復号画像の超解像拡大・変換復号信号を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ２０９）。
なお、ステップ２０２〜２０４の処理と、ステップ２０５〜２０９の処理とは、並列に実行しても良いし、どちらか一方を先に実行しても良い。
ステップ２０２〜２０９の処理が完了すると、第２符号化部１０７は、入力画像を第１超解像拡大部１０３および第１解像度変換部１０４にて第１の超解像拡大および解像度変換した入力画像の超解像拡大・変換信号を符号化対象ピクチャとし、入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像を第１参照ピクチャとし、その復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号を第２参照ピクチャとして、所定の第２の予測処理を行う（ステップＳ２１０）。これにより、第２符号化部１０７は、基準解像度の残差情報を生成する。その後、生成した残差情報に対して所定の第２の符号化である第２の符号化処理を行う（ステップＳ２１１）。これにより、第２符号化ビット列を生成し、多重化部１０９に供給する。
その後、多重化部１０９は、第１符号化部１０２から第１符号化ビット列、第２符号化
部１０７から第２符号化ビット列を取得する。所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、第１符号化ビット列、第２符号化ビット列の多重化処理を行い（ステップＳ２１２）、
多重化ビット列を生成する。以上のようなステップを経ることで、本実施の形態の一連の動作が完了する。
このようなステップを実行することで、本発明の動画像符号化装置を動作させることにより、所望の符号化ビット列を生成することができる。
図３は、多重化部１０９が出力する多重化ビット列３００の一例を示している。
図３に示す多重化ビット列３００では、少なくとも符号化パラメータ情報ビット列３１０、第１符号化部１０２からの第１符号化ビット列３２０、第２符号化部１０７からの第２符号化ビット列３３０を多重化している。
ここで、符号化パラメータ情報ビット列３１０には、第１符号化部１０２や第２符号化部１０７がそれぞれの符号化の際に使用した動きベクトル情報や、量子化パラメータ情報、各種符号化モード情報、上述の参照ピクチャ選択モード情報および参照ピクチャ選択情報等の各種符号化パラメータに関する符号化ビット列が格納されている共に、この多重化ビット列３００に第１符号化ビット列３２０と、第２符号化ビット列３３０とが多重化されていることを示す識別情報ビット列３１１とが挿入されている。このような多重化ビット列３００の構成はあくまで一例であり、別の構成としては、符号化全体に渡って必要な情報は、符号化パラメータ情報ビット列３１０の中に格納し、第１符号化部１０２によって使用された、第１符号化部１０２固有の情報は、第１符号化ビット列３２０の中に格納し、第２符号化部１０７によって使用された、第２符号化部１０７固有の情報は、第２符号化ビット列３３０の中に格納するようにしても良い。
なお、本実施の形態の動作を複数の並列処理によって説明したが、この並列処理部分を
連続的に処理するように、本実施の形態の構成を動作させても勿論よい。
また、本実施の形態の動作において、第１超解像拡大部１０３、第１解像度変換部１０４を機能させずに、第１蓄積バッファ１０１に格納されている基準解像度の入力画像を、基準解像度の入力画像の超解像拡大・変換信号として第２符号化部１０７に供給し、第２符号化部１０７において、所定の第２符号化処理を行うように、本実施の形態の構成を動作させても勿論よい。
このように、第１超解像拡大部１０３および第２超解像拡大部１０５を有すると共に、第１解像度変換部１０４および第２解像度変換部１０６を有するので、第１の解像度変換処理により、入力画像と同じ基準解像度であるが、第１超解像拡大処理によって空間方向および時間方向の周波数成分情報が拡大された超解像拡大画像に対して、所望の周波数成分まで周波数帯域を制限することによって基準解像度の入力画像の超解像拡大・変換信号を生成することができる。
そして、このように生成された基準解像度の入力画像の超解像拡大・変換信号は、入力動画像がもつ周波数成分情報の情報量よりも多くの情報量をもつように生成された超解像拡大画像から、基準解像度の空間周波数で表現できる最大の周波数帯域までの周波数成分情報を、基準解像度の入力画像の超解像拡大・変換信号に含めることができるため、このように入力動画像が持つ周波数成分情報の情報量を拡張した上で動画像符号化処理を行い、基準解像度の第１符号化ビット列および基準解像度の第２符号化ビット列を生成することで、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。
また、入力された基準解像度の動画像に対して所定の符号化および復号処理によって基準解像度の復号画像を生成することができる。この基準解像度の復号画像に対して、所定の第２超解像拡大処理によって空間方向および時間方向の周波数成分情報が拡大された、基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成し、この生成した超解像拡大復号画像に対して所定の第２の解像度変換処理によって基準解像度の復号画像の超解像拡大・変換復号信号を生成することができる。そして、この生成した基準解像度の復号画像の超解像拡大・変換復号信号を基準解像度の参照ピクチャとし、基準解像度の入力画像の超解像拡大・変換信号との間で所定の予測処理を行った後に、所定の第２の符号化処理を行って、第２符号化ビット列を生成することができる。このように、基準解像度の復号画像の超解像拡大・変換復号信号を参照ピクチャとして利用し、基準解像度の入力画像の超解像拡大・変換信号との間で、同一解像度間における空間解像度の相関性を利用した階層符号化を行って、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。
また、第２符号化部１０７は、予測ピクチャを生成する際に、入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像を第１参照ピクチャとする一方、その復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号を第２参照ピクチャとし、第１参照ピクチャと第２参照ピクチャとのどちらか一方を利用して予測ピクチャを生成し、符号化処理を行って、要求に応じて、基準解像度の入力画像の超解像拡大・変換信号と復号画像との間における空間解像度の相関性を利用した場合と、基準解像度の入力画像の超解像拡大・変換信号と超解像拡大・変換復号信号との間における空間解像度の相関性を利用した場合の階層符号化を行うことができ、異なる多重化ビット列を生成し、復号側へ供給、蓄積、または伝送することができる。
また、予測ピクチャを生成する際に、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御することで、復号画像の画像品質に応じて適応的に予測ピクチャを生成することが可能となり、結果として符号化効率を向上させることが可能となる。
更に、第１および第２参照ピクチャのどちらを利用したかを特定するための参照ピクチャ選択情報を生成し、多重化部１０９に供給して、多重化ビット列３００に多重化するように構成することで、符号化時に利用した参照ピクチャを容易に特定することができる。
また、符号化対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを特定しながら予測ピクチャを生成すれば、復号画像の画像品質に応じてより適応的に予測ピクチャを生成することが可能となり、結果として符号化効率を向上させることが可能となる。
また、入力された基準解像度の動画像に対して、所定の符号化および復号処理を行って基準解像度の第１符号化ビット列を生成することができるとともに、第２の符号化処理を行って第２符号化ビット列を生成し、これらの符号化ビット列を、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化モード情報等の符号化パラメータ情報に関する符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、所定の多重化処理を行うことにより多重化ビット列を生成することができる。このような多重化ビット列を生成することにより、本来入力動画像に対する符号化結果と、超解像拡大処理および解像度変換処理によって得られた超解像画像によって拡大された周波数成分情報との予測誤差に対する符号化結果とを単一の符号化ビット列とし、図示されない外部の蓄積装置に伝送した後に所定の記録媒体に記録したり、図示されない外部の通信装置によってネットワーク配信したりすることにより、本実施の形態の動画像符号化装置によって大量の情報量をもつ動画像を効率よく符号化し、蓄積、および伝送することを可能にする。
また、第１の符号化部１０２からの第１符号化ビット列と、第２符号化部１０７からの第２符号化ビット列とを取得し、符号化モード情報に応じて所定の多重化処理を行って多重化ビット列を生成することで、多様な符号化ビット列を生成できるとともに、復号側で選択的な復号を可能にする。
また、本実施の形態の動作において、第１超解像拡大部１０３、第１解像度変換部１０４を機能させずに、第１蓄積バッファ１０１に格納されている基準解像度の入力画像を、基準解像度の入力画像の超解像拡大・変換信号として第２符号化部１０７に供給し、第２符号化部１０７において、所定の第２符号化処理を行うように、本実施の形態の構成を動作させることで、入力される基準解像度の動画像を第２符号化部１０７における符号化対象とすることを可能とし、第２符号化部１０７において、一般的な階層間の予測処理よりも効率の良い参照ピクチャを利用して予測ピクチャを生成することで、生成される残差情報の情報量を少なくすることで、第２符号化ビット列の符号化効率を向上させることを可能とし、元の基準解像度の動画像により近づけるような符号化処理を可能にする。
次に、本発明および本実施の形態で用いられる所定の超解像拡大処理について説明する。
一般に、超解像拡大処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低解像度画像から１枚の高解像度画像を推定することによって行われるものであり、近年数多くの研究で報告されている。例えば、「Sung C.P.Min K.P.共著、Super-Resolution Image Reconstruction: A Technical Overview, IEEE SignalProc. Magazine, 第26巻, 第3号, p.21-36, 2003年」などがある。
また、「B.C.Tom, A.K.Katsaggelos共著、Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images, Proc. IEEE Int. Conf. Image Processing, 第２巻、p.539-542, 1995年」に開示されているＭＬ (Maximum-likelihood) 法というものが提案されている。このＭＬ法では、高解像度画像から推定された低解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理を行う方法である。
また、「R.R.Schulz, R.L.Stevenson共著、Extraction of high-resolution frames from video sequences, IEEE Trans. Image Processing, 第５巻, p.996-1011, 1996年」に開示されているＭＡＰ (Maximum A Posterior) 法というものが提案されている。ＭＡＰ法では、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像の推定を行う。この方法は、高解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化課題として高解像度画像の推定を行う超解像処理方法である。
更に、「H.Stark, P.Oskoui共著、High resolution image recovery from image-plane arrays, using convex projections, J.Opt. Soc. Am. A, 第６巻, p.1715-1726, 1989年」に開示されているＰＯＣＳ (Projection Onto Convex Sets) 法というものが提案されている。このＰＯＣＳ法では、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
本実施の形態における所定の超解像拡大処理は、例えば、上述のような超解像処理を適用したものである。
以下、図４、および図５を参照して、本発明および本実施の形態で用いる超解像拡大処理の基本構成例を説明する。
図４の（ａ）は、本発明の実施の形態１における第１超解像拡大部１０３の詳細構成を示すブロック図、図４の（ｂ）は、超解像処理を示す概念図、図５は、超解像処理の動作例を示すフローチャートである。
図４の（ａ）において、本実施の形態１の第１超解像拡大部１０３は、位置合わせ器１０３１、補間器１０３２、推定画像生成器１０３３、繰り返し判定器１０３４を有している。なお、第２超解像拡大部１０５も同様の構成を有している。
位置合わせ器１０３１は、図４（ｂ）（I）に示すような、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像を取得する。ここでは、図４（ｂ）（I）に示すような基準画像と、観測画像１と、観測画像２とを取得するものとする。位置合わせ器１０３１は、図４（ｂ）（II）に示すように、取得した基準画像と観測画像１，２の解像度よりも高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する機能を有する。また、生成した不均一高解像度画像を補間器１０３２、繰り返し判定器１０３４に供給する機能を有する。ここで、生成される不均一高解像度画像は、例えば図４（ｂ）（II）で示すように、基準画像の各画素を基準として観測画像の位置合わせを行い、基準画像との間の相関が最も高くなる位置に配置するようにすることが望ましい。また、位置合わせで適用される解像度は、超解像拡大処理後に得られる解像度よりも高い解像度で位置合わせを行うようにすることが望ましい。なお、図４（ｃ）については、図６（ｃ）と対比して後述する。
補間器１０３２は、位置合わせ器１０３１にて生成された不均一高解像度画像を取得して、また、取得した不均一高解像度画像から所定の不均一補間処理を行って、所望の高解像度を持つ補間画像を生成し、推定画像生成器１０３３に供給する機能を有する。また、補間器１０３２は、繰り返し判定器１０３４から処理を継続するための制御情報を取得する。ここで、処理を継続するための制御情報には、推定画像生成器１０３３によって生成された不均一推定画像が含まれると良い。また、補間器１０３２は、制御情報に応じて繰り返し処理を行う場合には、所定の更新方法に従って不均一推定画像を利用し、位置合わせ器１０３１から取得した不均一高解像度画像を更新するとともに、それぞれの補間画素を修正しても良い。
推定画像生成器１０３３は、補間器１０３２にて生成された補間画像を取得し、所定のカメラモデルから得られる点広がり関数（ＰＳＦ関数）を考慮して所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、図４（ｂ）（III）で示すような所望の解像度を持つ推定画像を生成する機能を有する。また、推定画像に対してリサンプル処理を行って、不均一高解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判定器１０３４に供給する機能を有する。また、繰り返し判定器１０３４から制御情報を取得するとともに、制御情報に応じて、生成した所望の解像度を持つ推定画像を高解像度画像として外部に対して出力する機能を有する。
繰り返し判定器１０３４は、位置合わせ器１０３１から不均一高解像度画像を取得するとともに、推定画像生成器１０３３から不均一推定画像を取得して、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定し、その判定の結果、繰り返しが必要な場合は、補間器１０３２に対して処理を継続するための制御情報を供給する一方、繰り返しが必要ない場合には、推定画像生成器１０３３に対して超解像拡大処理結果である高解像度の推定画像を出力するための制御情報を供給する機能を有する。
ここで、更に高速な超解像拡大処理を行う必要がある場合には、例えば、特許第３８３７５７５号で開示されているような、超解像処理の高速化方法を、本発明の画像処理装置に適用するようにすると、更に良い構成を実現することができる。
次に、図４の（ａ）に示す超解像拡大部１０３の動作を、図５のフローチャートを参照しながら説明する。
まず、位置合わせ器１０３１は、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像とを取得する（Ｓ５００）。その後、所望の解像度よりも高い解像度によって、取得したそれぞれの画像の位置合わせを行う（Ｓ５１０）。その際、基準画像の各画素を対応する位置に配置した後、この基準画像との相関が最も高くなるように観測画像の各画素を配置することで、不等間隔にサンプリングされた不均一高解像度画像を生成する。
その後、補間器１０３２は、生成された不均一高解像度画像を取得し、所定の不均一補間処理を行って画素の補間を行う（Ｓ５２０）。これにより、所望の高解像度を持つ補間画像を生成する。
次に、推定画像生成器１０３３は、補間画像を取得し、所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、所望の解像度を持つ推定画像を生成する（Ｓ５３０）。また、推定画像に対してリサンプル処理を行って、不均一解像度画像の各画素に対応する、不均一推定画像を生成する。
次に、繰り返し判定器１０３４は、位置合わせ器１０３１から不均一解像度画像を取得するとともに、推定画像生成器１０３３から不均一推定画像を取得する。取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定する（Ｓ５４０）。
超解像拡大処理の繰り返しが必要であると判定された場合（Ｓ５４０ ＹＥＳ）は、補間器１０３２に対して処理を継続するための制御情報を供給する。また、超解像拡大処理の繰り返しが必要でないと判定された場合（Ｓ５４０ ＮＯ）は、推定画像生成器１０３３に対して超解像拡大処理結果である高解像度の推定画像を出力するための制御情報を供給し、推定画像生成器１０３３は制御情報に応じて、生成した所望の解像度を持つ推定画像を、超解像拡大処理によって得られた高解像度画像として出力する（Ｓ５５０）。これにより、本実施の形態１の超解像拡大処理が完了する。
次に、第１解像度変換部１０４および第２解像度変換部１０６における所定の解像度変換処理の一例について説明する。
図６（ａ）は、第１解像度変換部１０４の構成例を示すブロック図である。
図６（ａ）において、第１解像度変換部１０４は、画素挿入器１０４１、フィルタリング処理器１０４２、画素間引き器１０４３を有する。なお、第２解像度変換部１０６や後述する他の実施の形態の第３解像度変換部１１０も同様に構成されている。
画素挿入器１０４１は、入力された画像の解像度を拡大し、扱うことができる空間周波数帯域を拡張するために、画素間に新たな画素を挿入することで入力画像のアップサンプル画像を生成し、フィルタリング処理器１０４２に供給する。
フィルタリング処理器１０４２は、画素挿入器１０４１からアップサンプル画像を取得し、所定のローパスフィルタを利用してフィルタリング処理を行うことにより帯域制限画像を生成し、画素間引き器１０４３に供給する。ここで、所定のローパスフィルタを利用したフィルタリング処理は、解像度変換部が最終的に出力する画像の空間解像度が表現できる空間周波数帯域の範囲内に、帯域制限および補間ができるローパスフィルタを用いて、アップサンプル画像に対するフィルタリング処理を行えばよく、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたFIRおよびIIRフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。
画素間引き器１０４３は、フィルタリング処理器１０４２から帯域制限画像を取得し、解像度変換部が最終的に出力する画像の解像度に合わせるために、所定の画素間引き処理を行い、出力画像を生成する。
図６（ｂ）は、第１解像度変換部１０４のような解像度変換部の解像度変換によって画像の拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。
図６（ｂ）（I）に示すように、入力画像に本来含まれる空間周波数成分はｆａまでであるとすると、解像度変換部における解像度変換処理では、仮に扱うことのできる空間周波数成分を拡大するために解像度を高めて画像の拡大処理を行ったとしても、画像の画素数は増大するものの、含まれる空間周波数成分自体を増やすことはできない。よって、図６（ｂ）（II）のような元のままの空間周波数成分のみを含む状態となり、その後、ローパスフィルタリング処理によってｆｍａｘまで帯域制限し、元の空間解像度をもつ画素数まで画素間引き処理をしても、元のままの空間周波数成分を含む画像が生成される。
これに対し、図４（ｃ）は、第１超解像拡大部１０３のような超解像拡大部の超解像拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。
図４（ｃ）（I）に示すように、入力画像に本来含まれる空間周波数成分はｆａまでであるとすると、超解像拡大部における超解像拡大処理では、図４（ｂ）のような処理に基づいて、含まれる空間周波数成分自体が増加する。仮にこのような処理によって図４（ｃ）（II）に示すように、含まれる空間周波数成分はｆｂまで拡張されたとすると、その後、ローパスフィルタリング処理によってｆｍａｘまで帯域制限を行うと、本来含まれていたｆａまでの空間周波数成分以上の成分を、空間周波数ｆｍａｘまで表現できる画像内に含めた画像が生成される。
従って、第１超解像拡大部１０３がこのような超解像拡大処理を行うことにより、同じ解像度の画像であっても、本来含まれるべき画像成分を補った画像を生成して利用できるという点が、第１解像度変換部１０４における解像度変換処理との大きな違いである。このことは、第２超解像拡大部１０５と第３解像度変換部１１０等との関係でも同様である。
ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、外部のユーザ等から設定される解像度変換率情報を取得する機能を有し、取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行うようにしても良い。
例えば、図６（ａ）に示すように第１解像度変換部１０４や第２解像度変換部１０６を構成すると、基準解像度よりも高い解像度となっている超解像拡大画像から、基準解像度の超解像拡大・変換画像となるように画像の縮小処理を行う場合には、画素挿入器１０４１における画素間に新たな画素を挿入する割合と、画素間引き器１０４３における画素間引きを行う割合を解像度変換率に応じて設定する。
ここで、解像度変換率は、解像度変換率＝画素挿入率／画素間引き率と表せ、画素挿入率は、画素挿入率＝入力画素／出力画素、画素間引き率は、画素間引き率＝入力画素／出力画素である。
例えば、解像度変換率２で基準解像度から超解像拡大画像が生成されている場合を考えると、基準解像度に戻すための解像度変換率は１／２であることから、画素挿入器１０４１では入力画素：出力画素＝１：１、つまり入力画像をそのままアップサンプル画像としてフィルタリング処理器１０４２に供給するように設定する。画素間引き器１０４３では入力画素：出力画素＝２：１、つまり２画素につき１画素の間引き処理を行って出力画像を生成する。
また、図６（ａ）に示す第１解像度変換部１０４の構成を利用して画像の拡大処理を行う場合には、例えば、解像度変換率２＝２／１で基準解像度の２倍の拡大画像を生成する場合を考えると、画素挿入器１０４１では入力画素：出力画素＝１：２、つまり１画素につき１画素の挿入を行ってアップサンプル画像を生成してフィルタリング処理器１０４２に供給するように設定する。画素間引き器１０４３では入力画素：出力画素＝１：１、つまり間引き処理を行わずにそのまま出力画像として出力するように設定する。
なお、図６（ａ）に示す第１解像度変換部１０４の構成は、あくまで一例であり、より自由な解像度への画像の拡大・縮小処理が必要な場合には、Spline法などを利用することで、実数の位置精度で自由な位置の画素を、入力画像から生成し、所望の解像度を持つ画像を生成することができるように構成することもできる。
従って、本実施の形態１の動画像符号化装置によれば、入力動画像がもつ空間解像度を基準解像度とし、入力動画像中に潜在的に含まれるが基準解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を、第１超解像拡大部１０３による所定の超解像処理に基づいて復元した上で基準解像度よりも高い解像度で表現し、入力動画像が持つ周波数成分情報の情報量を拡張した超解像拡大画像を生成した上で動画像符号化処理を行って、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行えるという効果を生じる。
また、本実施の形態１の動画像符号化装置では、第１超解像拡大部１０３にて生成した超解像拡大画像に対して、第１解像度変換部１０４にて所定の解像度変換処理を行い、基準解像度で表現された超解像拡大・変換画像を生成するようにしているので、入力動画像中に潜在的に含まれるが基準解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を生成し、本来含まれていなかった周波数成分情報を、基準解像度で表現できる周波数成分情報の範囲内に制限した上で超解像画像に含ませることにより、入力動画像では表現できていなかった周波数成分情報を超解像画像に反映し、この超解像画像に基づいて動画像符号化処理を行って、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行えるという効果を生じる。
更に、本実施の形態１の動画像符号化装置では、第１の符号化部１０２にて符号化および復号されて生成された基準解像度の復号画像に対し、第２超解像拡大部１０５および第２解像度変換部１０６にて所定の超解像処理および解像度変換処理を行って、超解像拡大復号画像および基準解像度の復号画像の超解像拡大・変換復号信号を生成し、第２符号化部１０７は、入力画像を第１超解像拡大部１０３および第１解像度変換部１０４にて第１の超解像拡大および解像度変換した入力画像の超解像拡大・変換信号を符号化対象ピクチャとし、入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像を第１参照ピクチャとし、その復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号を第２参照ピクチャとして、所定の第２の予測処理を行って符号化するようにしたので、従来の動画像符号化で得られる予測ピクチャもしくは予測ブロックの画像品質よりも良い画像品質の予測ピクチャもしくは予測ブロックを得ることができ、結果として符号化効率を向上させる効果を生じる。
実施の形態２．
上記実施の形態１では、図１に示すように第２符号化部１０７に２つの参照ピクチャ、すなわち入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像である第１参照ピクチャと、その復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号である第２参照ピクチャとを入力して、予測効率の高い参照ピクチャを利用して予測ピクチャを生成するように説明したが、例えば、図７に示すように、第２符号化部１０７に入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像である第１参照ピクチャのみ入力させるか、あるいは図８に示すように、第２符号化部１０７に第１符号化部１０２からの復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号である第２参照ピクチャのみ入力させて、第２符号化部１０７は、第１または第２参照ピクチャのみを利用して、第１の超解像拡大および解像度変換した入力画像の超解像拡大・変換信号を符号化対象ピクチャとして予測符号化するようにしても勿論よい。
また、さらに、図９に示すように、第２符号化部１０７に２つの参照ピクチャ、すなわち入力画像を第１符号化部１０２にてそのまま符号化および復号した復号画像である第１参照ピクチャと、その復号画像を第２超解像拡大部１０５および第２解像度変換部１０６にて第２超解像拡大および解像度変換した復号画像の超解像拡大・変換復号信号である第２参照ピクチャとのいずれも入力させず、第２符号化部１０７は、第１の超解像拡大および解像度変換した入力画像の超解像拡大・変換信号を符号化対象ピクチャとして予測符号
化するようにしても勿論よい。
実施の形態３．
次に、本発明の実施の形態３の動画像符号化装置について説明する。
図１０は、実施の形態３の動画像符号化装置の構成例を示すブロック図である。
図１０に示す実施の形態３の動画像符号化装置は、図１に示す実施の形態１の動画像符
号化装置の構成を更に詳細にし、さらに、蓄積制御部４１２、第２蓄積バッファ４１６、
第２参照ピクチャバッファ４１８、符号量制御部４２３を新たに追加したものである。
また、図１０において、第１符号化部１０２は、第１予測器４０２、第１符号化器４０
３、第１復号器４０４、イントラ予測器４０５、第１予測ピクチャバッファ４０６、第１参照ピクチャバッファ４０７、動き推定器４０８、動き補償器４０９、加算器４１０、デブロック器４１１を有している。これにより、一般的な動画像符号化であるISO/IEC SC29 WG11において規格標準化されているMPEG-4 AVCと同等の機能を実現できる。ただし、ここでの第１符号化部１０２の詳細構成は一例であり、第１符号化部１０２の機能を実現できる、別の異なる構成であっても勿論よい。例えば、ディジタル放送などで利用されているMPEG-2であっても構わないし、MPEG-4 AVCのスケーラブル拡張であるMPEG-4 SVCであっても構わない。また、JPEG2000に代表される、ウェーヴレット変換に基づく超解像前符号化器を採用しても構わない。
また、図１０において、第２符号化部１０７は、第３蓄積バッファ４１５、第２予測器４２０、第２符号化器４２１を有している。
次に、図１０に示す実施の形態３の動画像符号化装置について、図１に示す実施の形態１の構成要素とは、異なる機能や新たな機能を有する構成要素について説明する。
第１予測器４０２は、第１蓄積バッファ１０１から、所定の符号化処理に必要な、基準解像度をもつ画像を取得するとともに、第１予測ピクチャバッファ４０６から格納された予測ピクチャもしくは予測ブロックを取得して、第１予測器４０２は、取得した画像および予測ピクチャに対して所定の予測処理を行って残差情報を生成し、第１符号化器４０３に供給する機能を有する。ここで、第１予測器４０２における予測処理は、取得した基準解像度をもつ画像の各画像を符号化対象ピクチャとし、取得した予測ピクチャもしくは予測ブロックを対象ピクチャから減算することで、残差情報を生成し、第１符号化器４０３に供給するような処理であると良い。
第１符号化器４０３は、第１予測器４０２から予測処理後の残差情報を取得し、所定の符号化処理によって前記基準解像度の第１符号化ビット列を生成し、第１復号器４０４および多重化部１０９に供給する機能を有する。ここで、第１符号化器４０３は、図１１（ａ）に示すように第１復号器４０４に対して第１符号化ビット列を供給するようにしても
良いし、図１１（ｂ）に示すように所定の符号化処理の過程で量子化後情報を生成し、第１復号器４０４に供給するようにしても良い。また、第１符号化器４０３は、符号量制御部４２３からの制御情報に基づいて、符号化処理によって生成される第１符号化ビット列の符号量を変動させる機能を有する。
第１復号器４０４は、図１１（ａ），（ｂ）に示す第１符号化器４０３の出力に応じて、図１２（ａ）に示すように第１符号化器４０３から第１符号化ビット列を取得するか、あるいは図１２（ｂ）に示すように第１符号化器４０３から量子化後情報を取得して、第１符号化ビット列もしくは量子化後情報に対して所定の復号処理を行って復号残差情報を生成し、加算器４１０に供給する機能を有する。
イントラ予測器４０５は、所定のイントラ予測処理を行う際に必要となる、復号済みの画像情報を取得し、所定のイントラ予測処理を行ってイントラ予測情報を生成し、第１予測ピクチャバッファ４０６に供給する機能を有する。ここで、イントラ予測器４０５が生成するイントラ予測情報は、予測対象となっているブロックの周囲のブロックで、かつ復号済みのブロックから所定のイントラ予測処理に基づいて生成したイントラ予測ブロックであることが望ましい。
第１予測ピクチャバッファ４０６は、イントラ予測器４０５からイントラ予測情報、動き補償器４０９から動き補償予測情報を取得し、予測ピクチャもしくは予測ブロックとして蓄積し、第１予測器４０２および加算器４１０に予測ピクチャもしくは予測ブロックを供給する機能を有する。ここで、第１予測ピクチャバッファ４０６は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて予測ピクチャもしくは予測ブロックの取得、蓄積、供給を制御しても良い。
第１参照ピクチャバッファ４０７は、デブロック器４１１からデブロック処理後の復号ピクチャもしくは復号ブロック、加算器４１０から復号ピクチャもしくは復号ブロックを取得し、参照ピクチャもしくは参照ブロックとして蓄積し、蓄積した参照ピクチャもしくは参照ブロックを、要求に応じて少なくともイントラ予測器４０５、動き推定器４０８、動き補償器４０９、第２蓄積バッファ４１６に供給する機能を有する。ここで、第１参照ピクチャバッファ４０７は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて参照ピクチャもしくは参照ブロックの取得、蓄積、供給を制御しても良い
。
動き推定器４０８は、第１蓄積バッファ１０１から符号化対象ピクチャと、第１参照ピクチャバッファ４０７から参照ピクチャを取得し、所定の動き推定を行って動きベクトル情報を生成する機能を有する。動き推定器４０８は、生成した動きベクトル情報を少なくとも動き補償器４０９に供給する機能を有する。ここで、動き推定器４０８によって生成された動きベクトル情報は、図示されていないエントロピー符号化器によって所定のエントロピー符号化処理が行われ、多重化部１０９に供給されるように構成すると更に良い構成となる。
動き補償器４０９は、第１参照ピクチャバッファ４０７から参照ピクチャを取得するとともに、動き推定器４０８から動きベクトル情報を取得して、動き補償器４０９は、取得した参照ピクチャと動きベクトル情報に基づいて所定の動き補償を行って予測ピクチャを生成し、第１予測ピクチャバッファ４０６に供給する機能を有する。
加算器４１０は、第１復号器４０４から復号残差情報、第１予測ピクチャバッファ４０６から予測ピクチャまたは予測ブロックを取得して加算することで復号画像を生成し、第１参照ピクチャバッファ４０７およびデブロック器４１１に供給する機能を有する。
デブロック器４１１は、加算器４１０から復号画像を取得し、所定のデブロック処理を行ってデブロック後の復号画像を生成し、第１参照ピクチャバッファ４０７に供給する機能を有する。
図１１（ａ），（ｂ）は、実施の形態３の第１符号化器４０３の構成例を示している。
第１符号化器４０３は、例えば、直交変換器４０３１、量子化器４０３２、エントロピー符号化器４０３３を有している。
直交変換器４０３１は、残差情報を取得し、所定の直交変換処理を行って直交変換係数情報を生成して量子化器に供給する機能を有する。
量子化器４０３２は、直交変換器４０３１から直交変換係数情報を取得し、所定の量子化処理を行って量子化後情報を生成し、エントロピー符号化器４０３３に供給する機能を有する。ここで、第１復号器４０４において、符号化ビット列に対してエントロピー復号をせずに局部復号結果である量子化後情報を取得して所定の復号処理を行う構成の場合には、図１１（ｂ）に示すように、量子化器４０３２は、量子化後情報を第１復号器４０４に供給するように構成しても良い。
エントロピー符号化器４０３３は、量子化器４０３２から量子化後情報を取得し、所定のエントロピー符号化処理を行って第１符号化ビット列を生成し、多重化部１０９に供給する機能を有する。また、第１復号器４０４において、第１符号化ビット列に対してエントロピー復号を行って量子化後情報を取得して所定の復号処理を行う構成の場合には、図１１（ａ）に示すように、エントロピー符号化器４０３３は、第１符号化ビット列を生成し、第１復号器４０４に供給するように構成しても良い。
図１２（ａ），（ｂ）は、実施の形態３の第１復号器４０４の構成例を示している。
第１復号器４０４は、局部復号処理を行うために、少なくとも図１２（ａ），（ｂ）に示すように逆量子化器４０４２、逆直交変換器４０４３を有している。また、第１符号化ビット列を取得して完全な復号処理を行うような構成であれば、図１２（ａ）に示すように更にエントロピー復号器４０４１を備えるようにしても良い。
エントロピー復号器４０４１は、第１符号化器４０３から第１符号化ビット列を取得し、所定のエントロピー復号処理を行って量子化後情報を生成し、逆量子化器４０４２に供給する機能を有する。
逆量子化器４０４２は、エントロピー復号器４０４１もしくは量子化器４０３２から量子化後情報を取得し、所定の逆量子化処理を行って、逆量子化後の直交変換係数情報を生成し、逆直交変換器４０４３に供給する機能を有する。
逆直交変換器４０４３は、逆量子化器４０４２から逆量子化後の直交変換係数情報を取得し、所定の直交変換処理を行って復号残差情報を生成し、加算器４１０に供給する機能を有する。
図１０に戻り、実施の形態３の第２符号化部１０７は、第３蓄積バッファ４１５、第２予測器４２０、第２符号化器４２１を有している。
第３蓄積バッファ４１５は、第１解像度変換部１０４から基準解像度の入力画像の超解像拡大・変換信号を取得して蓄積するとともに、第２予測器４２０に供給する機能を有する。また、第３蓄積バッファ４１５は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて前記基準解像度の入力画像の超解像拡大・変換信号の取得、蓄積、供給を制御する機能を有する。
第２予測器４２０は、第３蓄積バッファ４１５から基準解像度の入力画像の超解像拡大・変換信号と、第２蓄積バッファ４１６から基準解像度の復号画像、第２解像度変換部１０６から基準解像度の復号画像の超解像拡大・変換復号信号を取得して、入力画像の超解像拡大・変換信号を符号化対象ピクチャとし、第１符号化部１０２からの復号画像を第１参照ピクチャとし、基準解像度の復号画像の超解像拡大・変換復号信号の各超解像拡大・変換復号画像を第２参照ピクチャとした上で、所定の予測処理を行って予測ピクチャを生成し、対象ピクチャから予測ピクチャを減算することで残差情報を生成して第２符号化器４２１に供給する機能を有する。
第２符号化器４２１は、第２予測器４２０から残差情報を取得し、所定の符号化処理を行って前記第２符号化ビット列を生成し、多重化部１０９に供給すると共に、符号量制御部４２３からの制御情報に基づいて、符号化処理によって生成される第２符号化ビット列の符号量を変動させる機能を有する。
蓄積制御部４１２は、各蓄積バッファに対して蓄積制御情報を供給することで、各蓄積バッファの蓄積状態やピクチャの取得や供給のタイミングを制御する機能を有する。
第２蓄積バッファ４１６は、第１参照ピクチャバッファ４０７から前記復号画像を取得して、取得した基準解像度の復号画像を第２超解像拡大部１０５および第２予測器４２０に供給する機能を有する。
また、第２蓄積バッファ４１６は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて前記復号画像の取得、蓄積、供給を制御する機能を有する。
第２参照ピクチャバッファ４１８は、第２超解像拡大部１０５から超解像拡大復号画像を取得して蓄積し、取得した超解像拡大復号画像を第２解像度変換部１０６に供給する機能を有する。その際、第２参照ピクチャバッファ４１８は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて前記基準解像度の入力画像の超解像拡大・変換信号の取得、蓄積、供給を制御する。
符号量制御部４２３は、各符号化器が生成する符号化ビット列の符号量を監視し、所定の範囲の符号量に収まるように、各符号化器の動作を制御すると共に、符号量の状態や、蓄積制御部４１２から得られる各蓄積バッファの状態に応じて、各蓄積バッファの動作を変更するように蓄積制御部４１２を制御する機能を有する。ここで、符号量制御部４２３は、各符号化器の動作を制御して符号量の制御を行う際に、各符号化器の量子化パラメータ情報を変更することで、符号量の制御を行う。また、必要に応じて、各符号化器の残差情報の信号振幅の状態や、各予測器でどちらの参照ピクチャが利用されたかを特定することができる参照ピクチャ選択情報に基づいて、復号画像に対する超解像拡大処理が有効であったか、有効でなかったかを判定し、有効でなかった場合には、蓄積制御部４１２に第２蓄積バッファ４１６に対して、第２超解像拡大部１０５に対する復号画像の供給を停止するように指示するとともに、超解像拡大処理が有効であった場合に利用していた量子化パラメータ情報とは異なる、第１参照ピクチャに基づいて生成された予測残差情報用の量子化パラメータ情報を利用するように切り替えることで、符号量を制御できるようにすると良い構成となる。
従って、本実施の形態３の動画像符号化装置によれば、図１に示す実施の形態１の動画像符号化装置と同様の効果が得られると共に、蓄積制御部４１２と、符号量制御部４２３等とを有し、各バッファにおける蓄積制御や、第１符号化部１０２と第２符号化部１０７とにおける符号量制御を行うようにしたので、第１符号化部１０２と第２符号化部１０７とにおける符号量や、各バッファにおける蓄積量を考慮した符号化を実行することができ
る。
なお、本実施の形態３では、図１に示す実施の形態１の動画像符号化装置に対し、蓄積量制御部４１２と符号量制御部４２３等を設け、各バッファにおける蓄積量制御や第１符号化部１０２と第２符号化部１０７とにおける符号量制御を行うように説明したが、図７や、図８、図９に示す実施の形態２の動画像符号化装置に対し、蓄積量制御部４１２と符号量制御部４２３等を設けて同様に蓄積量制御や符号量制御を行うようにしても勿論よい。
実施の形態４．
次に、本発明の実施の形態４の動画像符号化装置について説明する。
図１３は、実施の形態４の動画像符号化装置の構成例を示すブロック図である。
図１３において、実施の形態４の動画像符号化装置は、第１蓄積バッファ１０１、第１符号化部１０２、第１超解像拡大部１０３、第２超解像拡大部１０５、第３解像度変換部１１０、第３符号化部１０８、多重化部１０９を有している。
第１蓄積バッファ１０１は、図１における実施の形態と同等の機能を有するため、ここでは説明を省略する。
第１符号化部１０２は、図１における実施の形態と同等の機能を有する。ここで、実施の形態４では、生成された復号画像は、第２超解像拡大部１０５および第３解像度変換部１１０に供給するように構成する。
第１超解像拡大部１０３は、図１における実施の形態と同等の機能を有する。ここで、実施の形態４の第１超解像拡大部１０３は、生成した基準解像度よりも高い解像度をもつ超解像拡大画像を第３符号化部１０８に供給する機能を有する。
第２超解像拡大部１０５は、図１における実施の形態と同等の機能を有する。ここで、実施の形態４の第２超解像拡大部１０５は、生成した基準解像度よりも高い解像度をもつ超解像拡大復号画像を、第３符号化部１０８に供給する機能を有する。
第３解像度変換部１１０は、第１符号化部１０２から基準解像度の復号画像を取得し、取得した基準解像度の復号画像に対して所定の解像度変換処理を行って、第１超解像拡大部１０３が生成する超解像拡大画像、および第２超解像拡大部１０５が生成する超解像拡大復号画像の空間解像度と同じ解像度をもつ、高解像度の拡大復号画像である解像度変換拡大復号画像を生成し、第３符号化部１０８に供給する機能を有する。ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、外部のユーザ等から設定される解像度変換率情報を取得する機能を有し、取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行うように構成しても良い。
第３符号化部１０８は、第１超解像拡大部１０３から超解像拡大画像を取得すると共に、第３解像度変換部１１０からは高解像度の解像度変換拡大復号画像を、第２超解像拡大部１０５からは高解像度の超解像拡大復号画像を取得して、取得した超解像拡大画像を符号化対象ピクチャとし、第３解像度変換部１１０からの解像度変換拡大復号画像を第１参照ピクチャ、第２超解像拡大部１０５からの超解像拡大復号画像を第２参照ピクチャとして、所定の予測処理および符号化処理を行い、第３符号化ビット列を生成し、生成した第３符号化ビット列を多重化部１０９に供給する機能を有する。
ここで、第３符号化部１０８における所定の予測処理を行う際に利用する参照ピクチャは、解像度変換拡大復号画像から得られる第１参照ピクチャと、超解像拡大復号画像から得られる第２参照ピクチャとのどちらか一方を利用して予測ピクチャを生成し、対象ピクチャから予測ピクチャを減算することで残差情報を生成する。
また、第１参照ピクチャ、および第２参照ピクチャのどちらも利用せず、対象ピクチャを残差情報として生成するような構成を含めても良い。
更に、第３符号化部１０８は、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御するために、第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定するための参照ピクチャ選択情報を生成し、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行って参照ピクチャ選択情報の符号化ビット列を生成し、多重化部１０９に供給するようにしても良い。
また、対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを特定しながら予測ピクチャを生成し、対象ピクチャから予測ピクチャを減算することで残差情報を生成するようにしても良い。ここで、所定の大きさをもつ領域ごとに、どの参照ピクチャを利用したかを特定するための情報を参照ピクチャ選択情報とし、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行い、生成された参照ピクチャ選択情報の符号化ビット列を多重化部１０９に供給するようにしても良い。ここで、所定の大きさをもつ領域の形状は、所定の矩形領域、または所定の領域分割によって得られる任意形状領域であることが望ましい。
また、第３符号化部１０８は、符号化対象ピクチャから第１参照ピクチャを予測ピクチャとして減算して得られる残差情報を、第１の残差情報として所定の第３符号化処理を行って第１の第３符号化ビット列を生成するとともに、対象ピクチャから第２参照ピクチャを予測ピクチャとして減算して得られる残差情報を第２の残差情報として所定の第３符号化処理を行って第２の第３符号化ビット列を生成し、更に、第１参照ピクチャ、および第２参照ピクチャのどちらも利用せず、対象ピクチャのみから残差情報を生成し、第３の残差情報として所定の第３の符号化処理を行って第３の第３符号化ビット列を生成し、生成した第１から第３の第３符号化ビット列を多重化部１０９に供給する機能を有するようにしても良い。ここで、以上のような各種の参照ピクチャの選択方法および符号化方法を、参照ピクチャ選択モード情報、および第３符号化の符号化モード情報とし、図示しない所定のエントロピー符号化部によってエントロピー符号化処理を行い、多重化部１０９に供給するようにしても良い。
多重化部１０９は、第１符号化部１０２から第１符号化ビット列を取得すると共に、第３符号化部１０８から第３符号化ビット列を取得して、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、第１符号化ビット列、第３符号化ビット列の多重化処理を行い、出力である多重化ビット列を生成する機能を有する。また、多重化部１０９は、第３符号化部１０８が生成した、参照ピクチャ選択モード情報および参照ピクチャ選択情報に対して、図示しない所定のエントロピー符号化された符号化ビット列を更に取得し、同様の多重化処理によって多重化ビット列を生成する機能を有する構成であると良い。
また、多重化部１０９は、第１符号化部１０２からの第１符号化ビット列、第３符号化部１０８から第１および第２の第３符号化ビット列を取得するようにしても良い。ここで、多重化部１０９は、取得した基準解像度の第１符号化ビット列を複製し、基準解像度の第１から第３の第１符号化ビット列を生成しても良い。多重化部１０９は、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、基準解像度の第１の第１符号化ビット列と第１の第３符号化ビット列、基準解像度の第２の第１符号化ビット列と第２の第３符号化ビット列、基準解像度の第３の第１符号化ビット列と第３の第３符号化ビット列に対して多重化処理を行い、出力である多重化後の第１から第３の符号化ビット列を生成しても良い。ここで、多重化部１０９は、符号化モード情報などからの要求に応じて選択的に多重化後の第１から第３の符号化ビット列を生成するようにしても構わない。また、ここで利用する符号化モード情報には、少なくとも多重化を制御するための情報が含まれているように構成しても良い。
本実施の形態４の動画像符号化装置は、以上のような機能を有し、入力される動画像に対して所定の超解像拡大処理および所定の解像度変換処理で生成される超解像拡大画像や超解像拡大・変換画像を利用することで、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。なお、図１３の構成において、第１超解像拡大部１０３、第２超解像拡大部１０５が利用する拡大率は、同一の拡大率であることが望ましいが、同一の拡大率でなくても良い。また、第３解像度変換部１１０で利用する解像度変換率は、第１超解像拡大部１０３が生成する超解像拡大画像、および第２超解像拡大部１０５が生成する超解像拡大復号画像がもつ空間解像度と同じ解像度となるような解像度変換率であることが望ましいが、同一の拡大率でなくても良い。
次に、図１３に示す実施の形態４の動画像符号化装置の動作を、図１４のフローチャートを参照しながら説明する。
図１４は、実施の形態４の動画像符号化装置の動作を示すフローチャートである。
まず、図１３に示す実施の形態４の動画像符号化装置では、入力される動画像から第１超解像拡大部１０３における第１超解像拡大処理で必要とされるピクチャ数の画像を、第１蓄積バッファ１０１に格納する（Ｓ１４０１）。
第１超解像拡大部１０３は、所定の超解像拡大処理を行う際に必要となる少なくとも２枚の画像を、第１蓄積バッファ１０１から取得し、所定の第１超解像拡大処理を行う（Ｓ１４０２）。これにより、入力される動画像がもつ空間解像度である基準解像度よりも高い解像度をもつ、超解像拡大画像を生成し、第３符号化部１０８に供給する。
第３符号化部１０８は、第１超解像拡大部１０３から超解像拡大画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１４０３）。
その一方、第１符号化部１０２は、第１蓄積バッファ１０１から所定の超解像前符号化処理を行う際に必要となる基準解像度の動画像列を取得し、基準解像度の符号化、復号処理を行う（Ｓ１４０４）。これにより、符号化処理結果である基準解像度の第１符号化ビット列と、復号結果である基準解像度の復号画像を生成する。
その後、第１符号化部１０２は、生成した第１符号化ビット列を多重化部１０９に供給し、生成した基準解像度の復号画像を、一時的に蓄積するための所定のバッファに格納する（Ｓ１４０５）。
第２超解像拡大部１０５は、第１符号化部１０２から前記復号画像を取得し、所定の超解像拡大処理を行う（Ｓ１４０６）。これにより、基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成し、第３符号化部１０８に供給する。
その後、第３符号化部１０８は、第２超解像拡大部１０５から超解像拡大復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１４０７）。
また、第３解像度変換部１１０は、第１符号化部１０２から前記復号画像を取得し、所定の解像度変換処理を行う（Ｓ１４０８）。これにより、基準解像度よりも高い解像度をもつ高解像度の拡大復号画像である解像度変換拡大復号画像を生成し、第３符号化部１０８に供給する。
その後、第３符号化部１０８は、第３解像度変換部１１０から高解像度の解像度変換拡大復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１４０９）。
なお、Ｓ１４０２〜Ｓ１４０２の処理と、Ｓ１４０４〜Ｓ１４０７の処理と、Ｓ１４０２〜Ｓ１４０２の処理は、並列処理でも、順番に処理しても良い。
以上の処理が完了すると、第３符号化部１０８は、第１超解像拡大部１０３から取得した超解像拡大画像を符号化対象ピクチャとし、第３解像度変換部１１０から取得した解像度変換拡大復号画像を第１参照ピクチャとし、第２超解像拡大部１０５から取得した超解像拡大復号画像を第２参照ピクチャとして、所定の第３の予測処理を行う（Ｓ１４１０）。これにより、高解像度の残差情報を生成する。その後、生成した残差情報に対して所定の第３の符号化である第３符号化処理を行う（Ｓ１４１１）。これにより、第３符号化ビット列を生成し、多重化部１０９に供給する。
その後、多重化部１０９は、第１符号化部１０２から第１符号化ビット列、第３符号化部１０８から第３符号化ビット列を取得し、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら多重化処理を行い（Ｓ１４１２）、図１５に示すような多重化ビット列を生成する。以上のようなステップを経ることで、本実施の形態の一連の動作が完了する。
図１５は、実施の形態４の多重化部１０９が生成する多重化ビット列３００の構造の一例を示すデータ構造図である。
多重化ビット列３００に、符号化パラメータ情報ビット列３１０と、第１符号化部１０２からの第１符号化ビット列３２０と、第３符号化部１０８からの第３符号化ビット列３４０とが多重化される。
なお、本実施の形態４の動作を複数の並列処理によって説明したが、この並列処理部分を連続的に処理するように、本実施の形態の構成を動作させても勿論よい。
従って、本実施の形態４の動画像符号化装置によれば、上記実施の形態１等と同様に、第１超解像拡大部１０３および第２超解像拡大部１０５により、第１および第２超解像拡大処理を行うような構成とすることで、入力動画像がもつ空間解像度を基準解像度とし、第１超解像拡大処理により、基準解像度よりも高い解像度をもつ超解像拡大画像を生成することができる。
その結果、この第１超解像拡大処理により、入力動画像から、入力動画像中に潜在的に含まれるが基準解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を、所定の超解像処理に基づいて復元した上で基準解像度よりも高い解像度で表現することができる。このように入力動画像が持つ周波数成分情報の情報量を拡張した上で動画像符号化処理を行って、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。
また、入力された基準解像度の動画像に対して、所定の符号化および復号処理を行って基準解像度の復号画像を生成し、この復号画像に対して所定の第２超解像拡大処理によって空間方向および時間方向の周波数成分情報が拡大された、基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成し、この生成された超解像拡大復号画像を、高解像度の参照ピクチャとし、超解像拡大画像との間で所定の予測処理を行った後に、所定の第３符号化処理を行って、第３符号化ビット列を生成することができる。このように、超解像拡大復号画像を参照ピクチャとして利用し、超解像拡大画像との間で、空間解像度の相関性を利用した階層符号化を行って、入力された動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。
つまり、本実施の形態４では、上記実施の形態１等と同様に、入力された本来の基準解像度の空間解像度で表現できる範囲内でしか表現できなかった画像の周波数成分情報を、画像自体に潜在的に含まれる相関性を利用して復元するために、所定の超解像拡大処理を行い、新たに生み出された、基準解像度よりも高い空間解像度でしか表現できない周波数成分情報を、超解像拡大画像として反映させ、このようにして生成された、新たな最終的な符号化対象である、超解像拡大画像と、本来の基準解像度の動画像列のそれぞれに含まれる空間解像度の周波数成分情報の違いを、本発明により符号化および伝送することが可能となる点が重要である。仮に、第２超解像拡大処理のみを行い、超解像拡大復号画像を生成して外部の表示装置に出力するような動画像復号装置があったとしても、復号対象となる基準解像度の第１符号化ビット列に対して所定の復号処理を行って生成された基準解像度の復号画像には、少なからず符号化時の劣化が含まれており、この復号画像に対して所定の第２超解像拡大処理を行ったとしても、符号化劣化を含んだ状態の基準解像度の復号画像に対して超解像拡大処理を行うため、一定の効果を得られるものの、必ずしも正しい超解像拡大処理を行うことができるとは限らない。このように必ずしも十分ではない超解像拡大復号画像に対して、本来あるべき超解像拡大画像に含まれる周波数成分情報との違いを、所定の拡張符号化処理によって符号化、および伝送することで、本発明では、超解像拡大画像に含まれる周波数成分情報を、より多く正確に、復号側に供給できるような構成となっている。
また、本実施の形態４では、予測ピクチャを生成する際に、第３解像度変換部１１０からの第１参照ピクチャと、第２超解像拡大部１０５からの第２参照ピクチャとのどちらか一方を利用して第３の符号化である第３符号化処理を行って、要求に応じて、超解像拡大画像と第１参照ピクチャである解像度変換拡大復号画像との間における空間解像度の相関性を利用した場合と、超解像拡大画像と第２参照ピクチャである超解像拡大復号画像との間における空間解像度の相関性を利用した場合の階層符号化を行うことができ、異なる多重化ビット列を生成し、復号側へ供給、蓄積、または伝送することができる。
また、本実施の形態４では、予測ピクチャを生成する際に、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御することで、復号画像の画像品質に応じて
適応的に予測ピクチャを生成することが可能となり、結果として符号化効率を向上させる
ことが可能となる。
更に、本実施の形態４では、第１および第２参照ピクチャのどちらを利用したかを特定するための参照ピクチャ選択情報を生成し、多重化部１０９に供給するように構成することで、本発明の符号化時に利用した参照ピクチャを容易に特定することができるようになる。
また、本実施の形態４では、符号化対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを特定しながら予測ピクチャを生成することで、復号画像の画像品質に応じてより適応的に予測ピクチャを生成することが可能となり、結果として符号化効率を向上させることが可能となる。
また、入力された基準解像度の動画像に対して、所定の符号化および復号処理を行って基準解像度の第１符号化ビット列を生成するとともに、第３符号化処理を行って高解像度の第３符号化ビット列を生成し、これらの符号化ビット列を所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、所定の多重化処理を行うことにより多重化ビット列を生成することができる。このような多重化ビット列を生成することにより、本来入力動画像に対する符号化結果と、超解像拡大処理によって得られた超解像拡大画像によって拡大された周波数成分情報との予測誤差に対する符号化結果とを単一の符号化ビット列とし、図示されない外部の蓄積装置に伝送した後に所定の記録媒体に記録したり、図示されない外部の通信装置によってネットワーク配信したりすることにより、本実施の形態の動画像符号化装置によって大量の情報量をもつ動画像を効率よく符号化し、蓄積、および伝送することを可能にする。
また、第１、第２の第３符号化ビット列を取得し、符号化モード情報に応じて多重化する符号化ビット列の組み合わせを特定し、特定された複数の符号化ビット列に対して所定の多重化処理を行って多重化ビット列を生成することで、多様な符号化ビット列を生成できるとともに、復号側で選択的な復号を可能にする。
実施の形態５．
上記実施の形態４では、図１３に示すように第３符号化部１０８では、２つの参照ピクチャ、すなわち第１符号化部１０２からの復号画像を第３解像度変換部１１０にて第３解像度変換処理をした解像度変換拡大復号画像を第１参照ピクチャ、第１符号化部１０２からの復号画像を第２超解像拡大部１０５にて第２超解像拡大処理をした超解像拡大復号画像を第２参照ピクチャとして入力し、予測効率の高い参照ピクチャを予測ピクチャとして利用するように説明したが、例えば、図１６に示すように、第３解像度変換部１１０からの解像度変換拡大復号画像のみが参照ピクチャとして入力するか、あるいは、例えば、図１７に示すように、第２超解像拡大部１０５からの超解像拡大復号画像のみが参照ピクチャとして入力し、第１超解像拡大部１０３からの超解像拡大画像を符号化対象ピクチャとして予測符号化するようにしても勿論よい。
実施の形態６．
次に、本発明の実施の形態６の動画像符号化装置について説明する。
図１８は、実施の形態６の動画像符号化装置の構成例を示すブロック図である。
図１８に示す実施の形態６の動画像符号化装置は、図１３に示す実施の形態４の動画像符号化装置の構成を更に詳細にし、さらに、蓄積制御部４１２、第２蓄積バッファ４１６、第２参照ピクチャバッファ４１８、符号量制御部４２３を新たに追加したものである。
以下に、図１８において、図１３に示す実施の形態４の構成要素とは異なる機能や新たな機能を有する構成要素について説明する。
第４蓄積バッファ５０１は、第１超解像拡大部１０３から超解像拡大画像を取得して蓄積し、蓄積した超解像拡大画像を第３予測器５０２に供給する機能を有する。なお、第４蓄積バッファ５０１は、蓄積制御部４１２から蓄積制御情報を取得し、この蓄積制御情報に基づいて超解像拡大画像の取得、蓄積、供給を制御しても良い。
第３予測器５０２は、第４蓄積バッファ５０１から超解像拡大画像、第２参照ピクチャバッファ４１８から超解像拡大復号画像、第３解像度変換部１１０から解像度変換拡大復号画像を取得して、第３予測器５０２は、取得した超解像拡大画像の各超解像拡大画像を符号化対象ピクチャとし、解像度変換拡大復号画像から得られる各解像度変換拡大復号画像を解像度変換拡大復号画像から得られる第１参照ピクチャとし、超解像拡大復号画像の各超解像拡大復号画像を、超解像拡大復号画像から得られる第２参照ピクチャとした上で、所定の予測処理を行って予測ピクチャを生成し、符号化対象ピクチャから予測ピクチャを減算することで残差情報を生成して第３符号化器５０３に供給する機能を有すると更に良い構成となる。
第３符号化器５０３は、第３予測器５０２から残差情報を取得し、所定の符号化処理を行って第３符号化ビット列を生成し、多重化部１０９に供給する機能を有する。また、第３符号化器５０３は、符号量制御部４２３からの制御情報に基づいて、符号化処理によって生成する第３符号化ビット列の符号量を変動させる機能を有することが望ましい。
第３解像度変換部１１０は、第２蓄積バッファ４１６から前記復号画像を取得し、所定の解像度変換処理を行って、高解像度の拡大復号画像である解像度変換拡大復号画像を生成し、第３予測器５０２に供給する機能を有する。ここで、高解像度の解像度変換拡大復号画像は、第１超解像拡大部１０３が生成する超解像拡大画像、および第２超解像拡大部１０５が生成する超解像拡大復号画像がもつ空間解像度と同じ解像度となるように、第３解像度変換部１１０において所定の解像度変換処理が行われるようにしても良い。
また、以下に、蓄積制御部４１２、第２蓄積バッファ４１６、第２参照ピクチャバッファ４１８、符号量制御部４２３に関して説明する。
蓄積制御部４１２が備える機能は、図１０における実施の形態３の蓄積制御部４１２が備える機能と同等であれば良いことから、ここでは説明を省略する。
第２蓄積バッファ４１６が備える機能は、図１０における実施の形態３の第２蓄積バッファ４１６が備える機能と同等であれば良いことから、ここでは説明を省略する。
第２参照ピクチャバッファ４１８は、更に、第２超解像拡大部１０５から取得した超解像拡大復号画像を第３予測器５０２に供給する機能を有する。
符号量制御部４２３が備える機能も、図１０における実施の形態３の符号量制御部４２３が備える機能と同等である。
このように、図１８に示す本実施の形態６の動作は、図１０に示す実施の形態４の動作と同様であるため、ここでは説明を省略する。
従って、本実施の形態６の動画像符号化装置によれば、図１３に示す実施の形態４の動画像符号化装置と同様の効果が得られると共に、図１０に示す実施の形態３と同様に、さらに、蓄積量制御部４１２と符号量制御部４２３等とを有し、各バッファにおける蓄積量制御や、第１符号化部１０２と第３符号化部１０８とにおける符号量制御を行うようにしたので、第１符号化部１０２と第３符号化部１０８とにおける符号量や、各バッファにおける蓄積量を考慮した符号化を実行することができる。
なお、本実施の形態６では、図１３に示す実施の形態４の動画像符号化装置に対し、蓄積量制御部４１２と符号量制御部４２３等を設け、各バッファにおける蓄積量制御や第１符号化部１０２と第３符号化部１０８とにおける符号量制御を行うように説明したが、図１６や図１７に示す実施の形態５の動画像符号化装置に対し、蓄積量制御部４１２と符号量制御部４２３等を設けて、同様に蓄積量制御や符号量制御を行うようにしても勿論よい。
実施の形態７．
次に、本発明の実施の形態７の動画像符号化装置について説明する。
図１９は、実施の形態７の動画像符号化装置の構成例を示すブロック図である。
図１９に示す実施の形態７の動画像符号化装置は、図１に示す実施の形態１の動画像符号化装置と、図１３に示す実施の形態４の動画像符号化装置とを統合した構成となっており、各構成要素の基本的な機能において、同一であるものに関しては説明を省略し、異なる部分に関して以下に説明する。
多重化部１０９は、更に、第１符号化部１０２からの第１符号化ビット列を取得すると共に、第２符号化部１０７から第２符号化ビット列を、第３符号化部１０８から第３符号化ビット列を取得して、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択モード情報および参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、第１符号化ビット列、第２符号化ビット列、第３符号化ビット列の多重化処理を行い、多重化ビット列を生成する機能を有する。ここで、多重化部１０９は、第１符号化部１０２から取得した基準解像度の第１符号化ビット列を複製して第１の第１符号化ビット列と第２の第１符号化ビット列として、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択モード情報および参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、複製した基準解像度の第１の第１符号化ビット列と、取得した第２符号化ビット列の多重化処理を行い、出力である多重化後の符号化ビット列を生成しても良い。また、多重化部１０９は、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択モード情報および参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、複製した基準解像度の第２の第１符号化ビット列と、取得した第３符号化ビット列の多重化処理を行い、出力である多重化後の第２の符号化ビット列を生成しても良い。
また、多重化部１０９は、更に、第２符号化部１０７から第１および第２の第２符号化ビット列を取得し、第３符号化部１０８から第１および第２の第３符号化ビット列を取得しても良い。その上で、多重化部１０９は、取得した基準解像度の第１符号化ビット列を複製して、基準解像度の第１から第６の第１符号化ビット列を生成し、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択モード情報および参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、基準解像度の第１の第１符号化ビット列と第１の第２符号化ビット列、基準解像度の第２の第１符号化ビット列と第２の第２符号化ビット列、基準解像度の第３の第１符号化ビット列と第３の第２符号化ビット列、基準解像度の第４の第１符号化ビット列と第１の第３符号化ビット列、基準解像度の第５の第１符号化ビット列と第２の第３符号化ビット列、基準解像度の第６の第１符号化ビット列と第３の第３符号化ビット列との多重化処理を行って、多重化後の第１から第６の符号化ビット列を生成し、要求に応じて出力する機能を有すると更に良い構成となる。ここで、多重化部１０９は、要求に応じて選択的に多重化後の第１から第６の符号化ビット列を生成するようにしても構わない。
以上のような機能を本実施の形態７は少なくとも有し、入力される動画像に対して所定の超解像拡大処理および所定の解像度変換処理で生成される基準解像度の入力画像の超解像拡大信号や超解像拡大・変換信号を利用する構成にすることで、入力動画像がもつ情報量よりも多くの情報量に基づいた動画像符号化を行うことができる。ここで、図１９において、第１超解像拡大部１０３、第２超解像拡大部１０５が利用する拡大率は、同一の拡大率であることが望ましいが、異なる拡大率でもかまわない。また、第１解像度変換部１０４、第２解像度変換部１０６で利用する解像度変換率は、同一の解像度変換率であり、解像度変換処理後の空間解像度は、基準解像度となるような解像度変換率であることが望ましいが、異なる拡大率でもかまわない。更に、第３解像度変換部１１０で利用する解像度変換率は、第１超解像拡大部１０３が生成する超解像拡大画像、および第２超解像拡大部１０５が生成する超解像拡大復号画像がもつ空間解像度と同じ解像度となるような解像度変換率であることが望ましいが、異なる拡大率でもかまわない。
次に、図１９に示す実施の形態７の動作を、図２０のフローチャートを参照しながら説明する。
まず、入力される動画像を、第１超解像拡大部１０３における第１超解像拡大処理で必要とされるピクチャ数の画像を、第１蓄積バッファ１０１に格納する（Ｓ１９０１）。
第１超解像拡大部１０３は、所定の超解像拡大処理を行う際に必要となる少なくとも２枚の画像を、第１蓄積バッファ１０１から取得し、所定の第１超解像拡大処理を行う（Ｓ１９０２）。これにより、入力される動画像がもつ空間解像度である基準解像度よりも高い解像度をもつ、超解像拡大画像を生成し、第１解像度変換部１０４および第３符号化部１０８に供給する。
その後、第３符号化部１０８は、第１超解像拡大部１０３から超解像拡大画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９０３）。
その後、第１解像度変換部１０４は、第１超解像拡大部１０３から超解像拡大画像を取得し、所定の解像度変換処理を行う（Ｓ１９０４）。これにより、基準解像度の入力画像の超解像拡大・変換信号を生成し、第２符号化部１０７に生成した基準解像度の入力画像の超解像拡大・変換信号を供給する。
その後、第２符号化部１０７は、第１解像度変換部１０４から基準解像度の入力画像の超解像拡大・変換信号を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９０５）。
一方、第１符号化部１０２は、第１蓄積バッファ１０１から所定の超解像前符号化処理を行う際に必要となる基準解像度の動画像列を取得し、基準解像度の符号化、復号処理を行う（Ｓ１９０６）。これにより、符号化処理結果である基準解像度の第１符号化ビット列と、復号結果である基準解像度の復号画像を生成する。その後、第１符号化部１０２は、生成した第１符号化ビット列を多重化部１０９に供給し、生成した基準解像度の復号画像を第２超解像拡大部１０５、第２符号化部１０７、および第３解像度変換部１１０に供給する。
次に、第２符号化部１０７は、第１符号化部１０２から前記復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９０７）。
また、第２超解像拡大部１０５は、第１符号化部１０２から基準解像度の復号画像を取得し、所定の超解像拡大処理を行う（Ｓ１９０８）。これにより、基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成し、第２解像度変換部１０６、および第３符号化部１０８に供給する。
すると、第３符号化部１０８は、第２超解像拡大部１０５から超解像拡大復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９０９）。
また、第２解像度変換部１０６は、第２超解像拡大部１０５から超解像拡大復号画像を取得し、所定の解像度変換処理を行う（Ｓ１９１０）。これにより、基準解像度の超解像拡大・変換復号信号を生成し、第２符号化部１０７に供給する。
そして、第２符号化部１０７は、第２解像度変換部１０６から基準解像度の超解像拡大・変換復号信号を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９１１）。
また、第３解像度変換部１１０は、第１符号化部１０２から前記復号画像を取得し、所定の解像度変換処理を行う（Ｓ１９１２）。これにより、高解像度の拡大復号画像である解像度変換拡大復号画像を生成し、第３符号化部１０８に供給する。
その後、第３符号化部１０８は、第３解像度変換部１１０から高解像度の解像度変換拡大復号画像を取得し、一時的に蓄積するための所定のバッファに格納する（Ｓ１９１３）。
なお、Ｓ１９０２〜Ｓ１９０５との処理と、Ｓ１９０６〜Ｓ１９１１の処理と、Ｓ１９１２〜Ｓ１９１３の処理は、並列処理しても、順番に処理してもどちらでも良い。
そして、以上の処理が完了すると、第２符号化部１０７は、第１解像度変換部１０４から取得した入力画像の超解像拡大・変換画像を符号化対象ピクチャとし、第１符号化部１０２から取得した復号画像を第１参照ピクチャとし、第２解像度変換部１０６から取得した超解像拡大・変換復号画像を第２参照ピクチャとして、所定の第２の予測処理を行って基準解像度の残差情報を生成し（Ｓ１９１４）、生成した残差情報に対して所定の第２の符号化である第２の符号化処理を行う（Ｓ１９１５）。これにより、第２符号化ビット列を生成し、多重化部１０９に供給する。
また、第３符号化部１０８は、第１超解像拡大部１０３から取得した入力画像の超解像拡大画像を符号化対象ピクチャとし、第３解像度変換部１１０から取得した解像度変換拡大復号画像を第１参照ピクチャとし、第２超解像拡大部１０５から取得した超解像拡大復号画像を第２参照ピクチャとして、所定の第３の予測処理を行って高解像度の残差情報を生成し（Ｓ１９１６）、生成した残差情報に対して所定の第３の符号化である第３符号化処理を行う（Ｓ１９１７）。これにより、第３符号化ビット列を生成し、多重化部１０９に供給する。その後、他の並列処理が完了するまで待機する。
そして、多重化部１０９は、第１符号化部１０２から第１符号化ビット列、第２符号化部１０７から第２符号化ビット列、および第３符号化部１０８から第３符号化ビット列を取得し、所定の構文構造に基づいて、符号化の際に使用した動きベクトル情報や量子化パラメータ情報、参照ピクチャ選択情報、符号化パラメータ情報等に対して、図示しないエントロピー符号化部を介して得られる各符号化ビット列を、後に続く符号化ビット列の組を識別するための識別情報等を挿入しながら、第１符号化ビット列、第２符号化ビット列および第３符号化ビット列の多重化処理を行い（Ｓ１９１８）、多重化ビット列を生成する。以上のようなステップを経ることで、本実施の形態の一連の動作が完了する。
図２１は、実施の形態７の多重化部１０９が生成する多重化ビット列３００の構造の一例を示すデータ構造図である。
多重化ビット列３００に、符号化パラメータ情報ビット列３１０と、第１符号化部１０２からの第１符号化ビット列３２０と、第２符号化部１０７からの第２符号化ビット列３３０と、第３符号化部１０８からの第３符号化ビット列３４０とが多重化される。
なお、本実施の形態の動作を複数の並列処理によって説明したが、この並列処理部分を連続的に処理するように、本実施の形態の構成を動作させても勿論よい。
従って、本実施の形態７では、図１９に示すような構成とすることによって、図１に示す実施の形態１と、図１２に示す実施の形態４の構成によって得られるそれぞれの効果を同時に得ることができる。
また、本実施の形態７では、第１符号化部１０２が入力された基準解像度の動画像に対して、所定の符号化および復号処理を行って基準解像度の第１符号化ビット列を生成し、第２符号化部１０７が第２の符号化処理を行って基準解像度の第２符号化ビット列を生成するとともに、第３符号化部１０８が第３符号化処理を行って高解像度の第３符号化ビット列を生成し、これら第１〜第３の符号化ビット列を所定の多重化処理を行うことにより多重化ビット列を生成することにより、本来入力動画像に対する符号化結果と、超解像拡大処理および解像度変換処理によって得られた超解像拡大画像や超解像拡大・変換画像によって拡大された周波数成分情報との予測誤差に対する符号化結果とを単一の符号化ビットストリームによって効率よく蓄積もしくは伝送することができるとともに、復号側で選択的な復号を可能にする。
また、本実施の形態７では、第２符号化部１０７が所定の予測処理を行う際に利用する参照ピクチャとして、基準解像度の復号画像から得られる第１参照ピクチャと、基準解像度の復号画像の超解像拡大・変換復号信号から得られる第２参照ピクチャとのどちらか一方を利用して予測ピクチャを生成し、基準解像度の入力画像の超解像拡大・変換信号から得られる符号化対象ピクチャから予測ピクチャを減算することで残差情報を生成し、この残差情報に対して所定の符号化処理を行って第２符号化ビット列を生成するとともに、第３符号化部１０８は、所定の予測処理を行う際に利用する参照ピクチャとして、高解像度の解像度変換拡大復号画像から得られる第１参照ピクチャと、超解像拡大復号画像から得られる第２参照ピクチャとのどちらか一方を利用して予測ピクチャを生成し、超解像拡大画像から得られる符号化対象ピクチャから予測ピクチャを減算することで残差情報を生成し、この残差情報に対して所定の符号化処理を行って第３符号化ビット列を生成するように構成することで、要求に応じて、基準解像度の入力画像の超解像拡大・変換信号と復号画像との間における空間解像度の相関性を利用した場合と、基準解像度の入力画像の超解像拡大・変換信号と超解像拡大・変換復号信号との間における空間解像度の相関性を利用した場合の階層符号化を行うことができるとともに、超解像拡大画像と解像度変換拡大復号画像との間における空間解像度の相関性を利用した場合と、超解像拡大画像と超解像拡大復号画像との間における空間解像度の相関性を利用した場合の階層符号化を行うことができ、異なる多重化ビット列を生成し、復号側へ供給、蓄積、または伝送することができる。
更に、第１および第２参照ピクチャのどちらを利用したかを特定するための参照ピクチャ選択情報、および参照ピクチャ選択情報を生成し、多重化部１０９に供給するように構成することで、本実施の形態７の符号化時に利用した参照ピクチャを容易に特定することができるようになる。
また、本実施の形態７では、第１符号化部１０２から得られる基準解像度の第１符号化ビット列、第２符号化部１０７から得られる第１から第３の第２符号化ビット列、第３符号化部１０８から得られる第１から第３の第３符号化ビット列に対して多重化処理を行い、多重化後の第１から第６の符号化ビット列を要求に応じて生成することで多様な符号化ビット列の生成を可能にする。また、図示されない外部の蓄積装置に伝送した後に所定の記録媒体に記録したり、図示されない外部の通信装置によってネットワーク配信したりすることにより、本実施の形態の動画像符号化装置によって大量の情報量をもつ動画像を効率よく符号化し、蓄積、および伝送することを可能にするとともに、復号側で選択的な復号を可能にする。
なお、図１９に示す実施の形態７の動画像符号化装置では、図１に示す実施の形態１の動画像符号化装置と、図１３に示す実施の形態４の動画像符号化装置とを統合した構成としているが、図７、図８、図９に示す実施の形態２の動画像符号化装置と、図１６、図１７に示す実施の形態５の動画像符号化装置とを統合したり、さらには図１に示す実施の形態１の動画像符号化装置と、図１６、図１７に示す実施の形態５の動画像符号化装置とを統合したり、図７、図８、図９に示す実施の形態２の動画像符号化装置と、図１３に示す実施の形態４の動画像符号化装置とを統合しても勿論よい。
実施の形態８．
次に、本発明の実施の形態８の動画像符号化装置について説明する。
図２２は、実施の形態８の動画像符号化装置の構成例を示すブロック図である。
図２２に示す実施の形態８における構成要素は、図１３に示す実施の形態４と、図１８に示す実施の形態６とを統合したものである。従って、実施の形態８の動作も、実施の形態４との動作と、実施の形態６の動作とを組み合わせたものになるので、省略する。
従って、本実施の形態８の動画像符号化装置によれば、図１９に示す実施の形態７の動画像符号化装置と同様の効果が得られると共に、図１０に示す実施の形態３や、図１８に示す実施の形態６と同様に、さらに、蓄積量制御部４１２と符号量制御部４２３等とを有し、各バッファにおける蓄積量制御や、第１符号化部１０２と第３符号化部１０８とにおける符号量制御を行うようにしたので、第１符号化部１０２と第３符号化部１０８とにおける符号量や、各バッファにおける蓄積量を考慮した符号化を実行することができる。
なお、上記実施の形態１〜８の説明では、動画像符号化装置をブロック図により図示してハードウエアにより構成したものとして説明したが、本発明では、これに限らず、ＣＰＵと、メモリやＨＤＤに格納された動画像符号化プログラムにより、上記実施の形態１〜８の機能をソフトウェア処理により達成するようにしても勿論よい。また、本発明の動画像符号化装置、動画像符号化方法、および動画像符号化プログラムの適用される範囲は、動画像を符号化するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。本発明は、例えば、ＴＶに代表される放送装置、携帯電話、テレビ会議装置、監視装置、ＤＶＤ−Ｒ／ＲＷやＢＤ−Ｒ／ＲＷ、ＨＤＤ、ＳＤ（商標または登録商標）、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などに適用しても構わない。
実施の形態９．
次に、実施の形態９以降により、上記実施の形態１〜８の動画像符号化装置によって符号化された符号化ビット列を取得して、復号や、復号および再符号化する本発明の動画像復号装置、動画像再符号化装置の実施形態について説明する。
図２３は、実施の形態９の動画像復号装置の構成例を示すブロック図である。
図２３において、実施の形態９の動画像復号装置は、少なくとも多重化分離部１８０１、第１復号部１８０２、第１超解像拡大部１８０３、第１解像度変換部１８０４、第２復号部１８０５、第２解像度変換部１８０６、第３復号部１８０７を有している。
多重化分離部１８０１は、入力として入力する多重化後の符号化ビット列を取得し、所定の構文構造に基づいて符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を特定しながら多重化分離を行うことで、多重化後の符号化ビット列から、第１復号部１８０２で復号される第１符号化ビット列、第２復号部１８０５で復号される第２符号化ビット列、第３復号部１８０７で復号される第３符号化ビット列を取得する機能を有する。また、多重化分離部１８０１は、多重化後の符号化ビット列から取得が可能であれば、拡大率情報ビット列、解像度変換率情報ビット列、第２復号処理で利用するための参照ピクチャ選択モード情報、および参照ピクチャ選択情報の符号化ビット列、第３復号処理で利用するための参照ピクチャ選択モード情報、および参照ピクチャ選択情報の符号化ビット列、を更に取得し、供給することができる機能を有する構成であると良い。多重化分離部１８０１は、少なくとも、取得した第１符号化ビット列を第１復号部１８０２、第２符号化ビット列を第２復号部１８０５、第３符号化ビット列を第３復号部１８０７にそれぞれ供給する機能を有する。更に、多重化分離部１８０１は、多重化後の符号化ビット列から取得が可能であれば、動きベクトル情報の符号化ビット列を取得し、第１復号部１８０２に供給する機能を有する構成であると良い。
第１復号部１８０２は、多重化分離部１８０１から基準解像度の第１符号化ビット列を取得し、所定の第１復号処理を行うことにより、基準解像度の復号画像列を生成する機能を有する。また、第１復号部１８０２は、取得が可能であれば、図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる動きベクトル情報を取得し、所定の復号処理を行う機能を有すると良い。第１復号部１８０２は、生成された基準解像度の復号画像列を第１超解像拡大部１８０３、第２復号部１８０５、第２解像度変換部１８０６に供給する機能を有する。また、第１復号部１８０２は、復号画像列を一時的に格納するための機能を有することが望ましい。更に、第１復号部１８０２は、生成された基準解像度の復号画像列を要求に応じて外部の図示されていない表示装置に供給する機能を有することで、基準解像度の復号画像列を出力表示できるような構成であると良い。
第１超解像拡大部１８０３は、第１復号部１８０２から基準解像度の復号画像列を取得し、所定の超解像拡大処理に必要となる、少なくとも２枚の基準解像度をもつ復号画像列を取得し、取得した基準解像度の復号画像列に対し、所定の超解像拡大処理を行い、基準解像度よりも高い解像度をもつ、超解像拡大復号画像列を生成し出力する機能を有する。ここで、所定の超解像拡大処理を行う際の拡大率は、所定の拡大率情報として設定されるか、多重化分離部１８０１で取得され、図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる拡大率情報を取得する機能を有し、取得した拡大率情報に基づいて拡大率が特定されて所定の超解像拡大処理を行うように構成すると良い。また、第１超解像拡大部１８０３は、生成した超解像拡大復号画像列を第１解像度変換部１８０４に供給する機能を有する。更に、第１超解像拡大部１８０３は、生成された超解像拡大復号画像列を要求に応じて外部の図示されていない表示装置に供給する機能を有することで、基準解像度よりも高い解像度をもつ超解像拡大復号画像列を出力表示できるような構成であると良い。
第１解像度変換部１８０４は、第１超解像拡大部１８０３から超解像拡大復号画像列を取得し、取得した超解像拡大復号画像列に対して所定の解像度変換処理を行うことにより、基準解像度よりも高い解像度をもつ超解像拡大復号画像列から、基準解像度をもつ超解像復号画像列を生成し、第２復号部１８０５に供給する機能を有する。ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、多重化分離部１８０１から図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる解像度変換率情報を取得できる場合には、この取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行う機能を有するように構成すると良い。更に、第１解像度変換部１８０４は、生成された基準解像度の超解像復号画像列を要求に応じて外部の図示されていない表示装置に供給する機能を有することで、基準解像度の超解像復号画像列を出力表示できるような構成であると良い。
第２復号部１８０５は、多重化分離部１８０１から基準解像度の第２符号化ビット列、第１復号部１８０２から基準解像度の復号画像列、第１解像度変換部１８０４から基準解像度の超解像復号画像列を取得し、取得した第２符号化ビット列に対して所定の基準解像度の拡張復号である第２復号処理を行うことにより、基準解像度の復号残差情報を生成する機能を有する。ここで、第２復号部１８０５は、取得した画像列を一時的に蓄積する機能を有することが望ましい。
また、第２復号部１８０５は、復号画像列における各復号画像を第１の参照ピクチャとし、超解像復号画像列における各超解像復号画像を第２の参照ピクチャとして、所定の予測処理を行うことにより、基準解像度の予測ピクチャを生成する機能を有する。ここで、第２復号部１８０５は、多重化分離部１８０１から図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる参照ピクチャ選択モード情報、および参照ピクチャ選択情報を取得できる場合には、この参照ピクチャ選択モード情報、および参照ピクチャ選択情報に基づいて所定の予測処理を行い、基準解像度の予測ピクチャを生成する機能を有すると更に良い構成となる。ここで、所定の予測処理は、取得した参照ピクチャ選択モード情報および参照ピクチャ選択情報に従って、復号対象となっている第２符号化ビット列が、どのような符号化モードの下で、どのような参照ピクチャを利用して予測ピクチャを作成したかを特定し、符号化時と同等の予測ピクチャを作成するように構成すると良い。例えば、第２復号部１８０５は、参照ピクチャ選択モード情報から、第１参照ピクチャと第２参照ピクチャのどちらか一方を利用して予測処理を行う符号化モードであることを特定すると、特定された参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第２復号部１８０５は、参照ピクチャ選択モード情報から、第１参照ピクチャと第２参照ピクチャのどちらも利用しないで予測処理を行う符号化モードであることを特定すると、どちらの参照ピクチャも利用せずに所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第２復号部１８０５は、参照ピクチャ選択モード情報から、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御して予測処理を行う符号化モードであることを特定すると、参照ピクチャ選択情報を利用して順次、第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定し、特定された参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第２復号部１８０５は、参照ピクチャ選択モード情報から、対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを制御して予測処理を行う符号化モードであることを特定すると、参照ピクチャ選択情報を利用して順次、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定し、特定された各領域の参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。
そして、第２復号部１８０５は、生成した基準解像度の復号残差情報と、基準解像度の予測ピクチャとを加算することで、復号後の基準解像度の超解像画像列を生成する機能を有する。更に、第２復号部１８０５は、生成された復号後の基準解像度の超解像画像列を要求に応じて外部の図示されていない表示装置に供給する機能を有することで、基準解像度の超解像画像列を出力表示できるような構成であると良い。
第２解像度変換部１８０６は、第１復号部１８０２から基準解像度の復号画像列を取得し、取得した基準解像度の復号画像列に対して所定の解像度変換処理を行うことにより、第１超解像拡大部１８０３が生成する超解像拡大復号画像列の空間解像度と同じ解像度をもつ、高解像度の拡大復号画像列を生成し、第３符号化部１８０７に供給する機能を有する。ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、多重化分離部１８０１から図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる解像度変換率情報を取得できる場合には、この取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行う機能を有するように構成すると良い。更に、第２解像度変換部１８０６は、生成された高解像度の拡大復号画像列を要求に応じて外部の図示されていない表示装置に供給する機能を有することで、高解像度の拡大復号画像列を出力表示できるような構成であると良い。
第３復号部１８０７は、多重化分離部１８０１から高解像度の第３符号化ビット列、第２解像度変換部１８０６から高解像度の拡大復号画像列、第１超解像拡大部１８０３から高解像度の超解像拡大復号画像列を取得し、取得した第３符号化ビット列に対して所定の高解像度の拡張復号である第３復号処理を行うことにより、高解像度の復号残差情報を生成する機能を有する。ここで、第３復号部１８０７は、取得した画像列を一時的に蓄積する機能を有することが望ましい。
また、第３復号部１８０７は、拡大復号画像列における各拡大復号画像を拡大復号画像列から得られる第１の参照ピクチャとし、超解像拡大復号画像列における各超解像拡大復号画像を第２の参照ピクチャとして、所定の予測処理を行うことにより、高解像度の予測ピクチャを生成する機能を有する。ここで、第３復号部１８０７は、多重化分離部１８０１から図示しないエントロピー復号部を介し、所定のエントロピー復号処理が行われることで得られる参照ピクチャ選択モード情報、および参照ピクチャ選択情報を取得できる場合には、この参照ピクチャ選択モード情報、および参照ピクチャ選択情報に基づいて所定の予測処理を行い、高解像度の予測ピクチャを生成する機能を有すると更に良い構成となる。ここで、所定の予測処理は、取得した参照ピクチャ選択モード情報および参照ピクチャ選択情報に従って、復号対象となっている第３符号化ビット列が、どのような符号化モードの下で、どのような参照ピクチャを利用して予測ピクチャを作成したかを特定し、符号化時と同等の予測ピクチャを作成するように構成すると良い。例えば、第３復号部１８０７は、参照ピクチャ選択モード情報から、第１参照ピクチャと第２参照ピクチャのどちらか一方を利用して予測処理を行う符号化モードであることを特定すると、特定された参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第３復号部１８０７は、参照ピクチャ選択モード情報から、第１参照ピクチャと第２参照ピクチャのどちらも利用しないで予測処理を行う符号化モードであることを特定すると、どちらの参照ピクチャも利用せずに所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第３復号部１８０７は、参照ピクチャ選択モード情報から、各ピクチャ、もしくは所定のピクチャ数ごとに参照ピクチャの選択を制御して予測処理を行う符号化モードであることを特定すると、参照ピクチャ選択情報を利用して順次、第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定し、特定された参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。また、例えば、第３復号部１８０７は、参照ピクチャ選択モード情報から、対象ピクチャをそれぞれ所定の大きさをもつ領域ごとに隙間なく分割し、第１参照ピクチャと第２参照ピクチャも同様に所定の大きさをもつ領域ごとに隙間なく分割し、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用するかを制御して予測処理を行う符号化モードであることを特定すると、参照ピクチャ選択情報を利用して順次、対応する領域ごとに第１参照ピクチャと第２参照ピクチャのどちらを利用したかを特定し、特定された各領域の参照ピクチャを利用して所定の予測処理を行い、予測ピクチャを生成する。
そして、第３復号部１８０７は、生成した高解像度の復号残差情報と、高解像度の予測ピクチャとを加算することで、復号後の高解像度の超解像拡大画像列を生成する機能を有する。例えば、生成した復号後の高解像度の超解像拡大画像列を、要求に応じて外部の図示されていない表示装置に供給する機能を有することで、高解像度の超解像拡大画像列を出力表示できるような構成であると良い。
以上のように動画像復号装置を構成することにより、上記実施の形態１〜８の動画像符号化装置等によって生成された多重化後の符号化ビット列を入力し、符号化の手順とは逆に復号することで、基準解像度の復号画像列、拡大復号画像列、超解像拡大復号画像列、超解像復号画像列、復号後の超解像画像列、復号後の超解像拡大画像列といった、従来よりも高品質で多様な空間解像度や周波数成分を持った復号画像列を得ることができる。また、これらの多様な復号画像列を図示されていない表示装置に対して、要求に応じた選択的な出力に対応するように構成することが可能である。例えば、ユーザが携帯端末表示装置などのような、高い解像度を表示できない表示装置を利用している場合には、基準解像度の復号画像列、基準解像度の超解像復号画像列、復号後の基準解像度の超解像画像列を、出力として選択的に要求し、視聴することができる。また、例えば、ユーザが高精細テレビなどのような、高い解像度を表示できる表示装置を利用している場合には、高解像度の拡大復号画像列、高解像度の超解像拡大復号画像列、復号後の超解像拡大画像列を、出力として選択的に要求し、視聴することができる。
次に、図２３に示す実施の形態９の動画像復号装置の動作を、図２４のフローチャートを参照して説明する。
まず、多重化分離部１８０１は、入力される多重化後の符号化ビット列を取得し、所定の構文構造に基づいて符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を特定しながら多重化分離を行う（ステップＳ６０１）ことで、基準解像度の第１符号化ビット列、基準解像度の第２符号化ビット列、高解像度の第３符号化ビット列を取得し、第１符号化ビット列を第１復号部１８０２、第２符号化ビット列を第２復号部１８０５、第３符号化ビット列を第３復号部１８０７に供給する。また、多重化分離部１８０１は、多重化後の符号化ビット列から取得が可能であれば、動きベクトル情報を取得し、第１復号部１８０２に供給する。
その後、第１の並列処理（ステップＳ６０２、ステップＳ６０３）、第２の並列処理（ステップＳ６０４）、および第３の並列処理（ステップＳ６０５）に分岐し、並行して動作を行う。
つまり、第１の並列処理では、第１復号部１８０２は、多重化分離部１８０１から第１符号化ビット列と、取得が可能であれば、動きベクトル情報を取得し、基準解像度の第１復号処理を行う（ステップＳ６０２）ことで基準解像度の復号画像列を生成し、第２復号部１８０５に供給する。
その後、第２復号部１８０５は、第１復号部１８０２によって生成された基準解像度の復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ６０３）。その後、他の並列処理が完了するまで待機する。
第２の並列処理では、第２復号部１８０５は、多重化分離部１８０１から基準解像度の第２符号化ビット列を取得し、所定の第２復号処理を行う（ステップＳ６０４）ことで、基準解像度の復号残差情報を生成する。その後、他の並列処理が完了するまで待機する。
第３の並列処理では、第３復号部１８０７は、多重化分離部１８０１から高解像度の第３符号化ビット列を取得し、所定の第３復号処理を行う（ステップＳ６０５）ことで、高解像度の復号残差情報を生成する。その後、他の並列処理が完了するまで待機する。
第１〜第３の並列処理が完了すると、第４の並列処理（ステップＳ６０６，Ｓ６０７，Ｓ６０８，Ｓ６０９）、第５の並列処理（ステップＳ６１０，Ｓ６１１）に分岐し、並列して動作を行う。
第４の並列処理では、第１超解像拡大部１８０３は、第１復号部１８０２から基準解像度の復号画像列を取得し、所定の超解像拡大処理を行う（ステップＳ６０６）ことで、基準解像度よりも高い解像度をもつ高解像度の超解像拡大復号画像列を生成し、第１解像度変換部１８０４、および第３復号部１８０７に供給する。
その後、第３復号部１８０７は、第１超解像拡大部１８０３によって生成された高解像度の超解像拡大復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ６０７）。
その後、第１解像度変換部１８０４は、第１超解像拡大部１８０３から高解像度の超解像拡大復号画像列を取得し、所定の解像度変換処理を行う（ステップＳ６０８）ことで、基準解像度よりも高い解像度をもつ超解像拡大復号画像列から、基準解像度をもつ超解像復号画像列を生成し、第２復号部１８０５に供給する。
その後、第２復号部１８０５は、第１解像度変換部１８０４によって生成された基準解像度の超解像復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ６０９）。その後、他の並列処理が完了するまで待機する。
第５の並列処理では、第２解像度変換部１８０６は、第１復号部１８０２から基準解像度の復号画像列を取得し、所定の解像度変換処理を行う（ステップＳ６１０）ことで高解像度の拡大復号画像列を生成し、第３号化部１８０７に供給する。
その後、第３復号部１８０７は、第２解像度変換部１８０６によって生成された高解像度の拡大復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ６１１）。その後、他の並列処理が完了するまで待機する。
以上の並列処理が完了すると、第６の並列処理（ステップＳ６１２）、第７の並列処理（ステップＳ６１３）に分岐し、並列して動作を行う。
第６の並列処理では、第２復号部１８０５は、所定の予測処理を行う（ステップＳ６１２）ことで、基準解像度の予測ピクチャを生成し、生成した基準解像度の復号残差情報と、基準解像度の予測ピクチャとを加算することで、復号後の基準解像度の超解像画像列を生成する。その後、他の並列処理が完了するまで待機する。
第７の並列処理では、第３復号部１８０７は、所定の予測処理を行う（ステップＳ６１３）ことで、高解像度の予測ピクチャを生成し、生成した高解像度の復号残差情報と、高解像度の予測ピクチャとを加算することで、復号後の高解像度の超解像拡大画像列を生成する。その後、他の並列処理が完了するまで待機する。
並列処理が完了すると、第１復号部１８０２、第１超解像拡大部１８０３、第１解像度変換部１８０４、第２復号部１８０５、第２解像度変換部１８０６、第３復号部１８０７は、生成された復号後の各解像度の画像列を要求に応じて外部の図示されていない表示装置等に供給することで、多様な復号結果を要求に応じて出力表示する（ステップＳ６１４）。以上のようなステップを経ることで、本実施形態の一連の動作が完了する。
このようなステップを実行することで、実施の形態９の動画像復号装置を動作させることにより、所望の復号後の画像列を生成することができる。
なお、本実施形態９の動作を複数の並列処理によって説明したが、この並列処理部分を連続的に処理するように、本実施形態の構成を動作させても良いことに注意する。
図２５は、図２４のステップＳ６０２の基準解像度の復号処理の動作手順の一例を示すフローチャートである。
図２５において、第１復号部１８０２は、所定のエントロピー復号部、逆量子化部、逆直交変換部、イントラ予測部、動き補償部に基づいて所定の復号処理を行う。
まず、第１復号部１８０２は、現在の復号対象領域の復号を行うために、多重化分離部１８０２から基準解像度の第１符号化ビット列を取得すると、エントロピー復号部により所定のエントロピー復号処理を行って復号後の量子化後情報を生成し、量子化後情報に対して逆量子化部により所定の逆量子化処理を行って復号後の直交変換係数情報を生成し、直交変換係数情報に対して逆直交変換部により所定の逆直交変換処理を行って復号残差情報を生成することにより、第１の復号を行う（ステップＳ７０１）。
次に、イントラ予測部は、現在の復号対象領域における予測情報を生成するために、現在の復号対象領域に隣接する復号済み領域の情報に基づいて、所定のイントラ予測処理を行う（ステップＳ７０２）ことで予測情報を生成し、生成された復号対象領域の復号残差情報と予測情報とを加算することで、復号対象領域の復号情報を生成する。
その後、面内の各領域の復号情報が全て生成されて復号画像が得られたかを判別どうかをイントラ復号が完了しかたどうかを判定する（ステップＳ７０３）。
イントラ復号が完了した場合（ステップＳ７０３ ＹＥＳ）、復号すべき符号化ビット列が存在する場合には処理を継続し、ステップＳ７０４に進む。復号すべき符号化ビット列が存在しない場合には、一連の復号処理を終了する。
イントラ復号が完了していない場合（ステップＳ７０３ ＮＯ）、次の復号対象領域を特定し、ステップＳ７０１に戻ることで処理を継続する。
イントラ復号が完了すると、次にインター復号を行うために、第１復号部１８０２は、イントラ復号と同様に、第１の復号を行う（ステップＳ７０４）ことで、復号残差情報を生成する。
また、動き補償部は、生成された復号画像を参照ピクチャとし、多重化分離部１８０１から動きベクトル情報を取得し、動きベクトル情報に基づいて参照ピクチャを利用しながら所定の動き補償を行う（ステップＳ７０５）ことで予測ピクチャを生成し、生成した復号残差情報と予測ピクチャとを加算することで、復号画像を生成する。
その後、インター復号が完了したかどうかを符号化モード情報などから判定する（ステップＳ７０６）。
次の復号もインター復号である場合（ステップＳ７０６ ＮＯ）、インター復号を継続するためにステップＳ７０４に戻ることで処理を継続する。
次の復号がインター復号ではない場合（ステップＳ７０６ ＹＥＳ）、インター復号処理を終了する。ここで、復号すべき符号化ビット列が存在し、次の復号がイントラ復号である場合には、ステップＳ７０１に戻ることで、一連の復号処理が繰り返される。また、復号すべき符号化ビット列が存在しない場合には、一連の復号処理を終了する。
なお、本実施の形態９も、ブロック図によりハードウエア的に構成して説明したが、上記実施の形態１〜８と同様に、図２３に示す動画像復号装置の機能を、ＣＰＵとプログラムとによりソフトウエア的に実行するようにしても勿論よい。
実施の形態１０．
次に、実施の形態１０の動画像復号装置の実施形態について説明する。
図２６は、実施の形態１０の動画像復号装置の構成例を示すブロック図である。
図２６に示す実施の形態１０の動画像復号装置は、図２３に示す本発明の動画像復号装置から第２解像度変換部１８０６、第３復号部１８０７を省略ないしは機能させないように構成したもので、図２６の各構成要素の機能は、図２３に示すものと同等であり、重複を避けるため説明を省略する。
このような動画像復号装置を構成することにより、本発明と対になる動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムによって生成された多重化後の符号化ビット列を取得し、本発明の動画像復号装置によって正しく復号することで、基準解像度の復号画像列、超解像拡大復号画像列、超解像復号画像列、復号後の超解像画像列といった、従来よりも高品質で多様な空間解像度や周波数成分を持った復号画像列を得ることができる。また、これらの多様な復号画像列を図示されていない表示装置に対して、要求に応じた選択的な出力に対応するように構成することが可能である
なお、本実施の形態１０も、ブロック図によりハードウエア的に構成して説明したが、上記実施の形態１〜９と同様に、図２６に示す動画像復号装置の機能を、ＣＰＵとプログラムとによりソフトウエア的に実行するようにしても勿論よい。
実施の形態１１．
次に、本発明の実施の形態１１である、再符号化装置について説明する。
図２７は、実施の形態である、再符号化装置の構成例を示すブロック図である。
図２７に示す実施の形態１１の再符号化装置は、図２６に示す実施の形態１０の動画像復号装置に対し、新たに再符号化部１８０８および多重化部１８０９を追加することで、ある特定の符号化形式から別の異なる符号化形式に変換する再符号化処理（トランスコーディング）を行うような構成としている。
図２７に示す実施の形態１１における再符号化処理を、例えば、ＡＶＣリライティング(またはＡＶＣトランスコーディング)、つまりＡＶＣの符号化形式に再符号化するような処理に基づく構成とすることもできる。なお、図２３に示す実施の形態９の動画像復号装置に対し、新たに再符号化部１８０８および多重化部１８０９を追加するように構成しても勿論よい。
ここで、本実施の形態１１では、多重化分離部１８０１によって得られる基準解像度の第２符号化ビット列は、例えば、ＭＰＥＧ-４ ＳＶＣにおけるＣＧＳ(Coarse Grain Scalability)レイヤの構成であると良い。これは、さらに、基本階層となる基準解像度の画像列と、基本階層を参照する拡張階層となる基準解像度の超解像画像列との間の空間解像度が同一であるように符号化されている場合には、ＭＰＥＧ及びＩＴＵ-Ｔとの共同グループであるＪＶＴ(Joint Video Team)におけるＡＶＣリライティングに関する奇書（ＡＶＣ Rewritingに関する文献ファイルJVT-U043、http://ftp3.itu.ch/av-arch/jvt-site/2006 10 Hangzhou/ JVT- U043.zip、およびJVT-V035、http://ftp3.itu.ch/av-arch/jvt-site/2007 01 Marrakech/ JVT-V035.zip）中に示す、ＳＶＣからＡＶＣに容易に変換できるようにするための抑制条件を満たすような所定の構文構造に基づいて符号化を行って符号化ビット列が生成されていると良い。本実施の形態１１では、このように生成された符号化ビット列を取得し、本発明のＣＧＳレイヤで構成された拡張階層を扱う符号化形式から単層の符号化であるＡＶＣの符号化形式に、完全な復号と符号化を行うような再符号化を行うことなく、変換することができるような符号化ビット列を生成できるような構成であると良い。
また、このようなＡＶＣリライティングに適した符号化が行われていない符号化ビット列に対しては、基準解像度の符号化ビット列、および基準解像度の第２符号化ビット列を復号することによって得られる超解像画像列と、基準解像度の符号化ビット列を復号した際に得られる各種の符号化モード情報や動きベクトル情報などを利用しながら、単一階層のＡＶＣの符号化形式に基づいて再符号化を行うことで、符号化ビット列を生成できるような構成であると良い。
したがって、図２７に示す本実施の形態１１の再符号化装置を構成する各要素は、更に以下に示すような機能を備えると良い。
つまり、第１復号部１８０２は、更に、所定のエントロピー復号処理および逆量子化処理を行うことにより、取得した基準解像度の符号化ビット列に対して、完全に復号せずに、基準解像度の基本層における直交変換係数情報の状態まで復号するための機能を有する。また、第１復号部１８０２は、ＡＶＣリライティングが可能であると判断された場合には復号途中である直交変換係数情報を、再符号化が必要であると判断された場合には基準解像度の復号画像列を再符号化部１８０８に供給する機能を有する。また、第１復号部１８０２は、復号時に得られる各種パラメータ情報および符号化モード情報を再符号化部１８０８に供給する機能を有すると良い。
第１解像度変換部１８０４は、更に、再符号化が必要であると判断された場合には、基準解像度の超解像復号画像列を再符号化部１８０８に供給する機能を有する。
第２復号部１８０５は、更に、所定のエントロピー復号処理および逆量子化処理を行うことにより、取得した基準解像度拡張符号化ビット列に対して、完全に復号せずに、基準解像度の拡張層における直交変換係数情報の状態まで復号するための機能を有し、ＡＶＣリライティングが可能であると判断した場合には、復号途中である基準解像度の拡張層における直交変換係数情報を、再符号化が必要であると判断された場合には復号後における基準解像度の超解像画像列を再符号化部１８０８に供給する機能を有する。
再符号化部１８０８は、ＡＶＣリライティングが可能であると判断された場合には第１復号部１８０２から復号途中である直交変換係数情報、および第２復号部１８０５から復号途中である基準解像度の拡張層における直交変換係数情報を取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成し、多重化部１８０９に供給する機能を有する。また、再符号化部１８０８は、再符号化が必要であると判断された場合には第１復号部１８０２から基準解像度の復号画像列、第１解像度変換部１８０４から基準解像度の超解像復号画像列、および第２復号部１８０５から基準解像度の超解像画像列を必要に応じて取得し、所定の符号化処理を行うことにより再符号化後の符号化ビット列を生成し、多重化部１８０９に供給する機能を有する。
多重化部１８０９は、取得した再符号化後の符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、出力である多重化後の符号化ビット列を生成する機能を有する。
このように動画像再符号化装置を構成することにより、上記実施の形態１〜８の動画像符号化装置等によって生成された多重化後の符号化ビット列を取得し、本発明の動画像再符号化装置によって、第１復号部１８０２から復号途中である直交変換係数情報、および第２復号部１８０５から復号途中である基準解像度の拡張層における直交変換係数情報を取得し、それぞれの直交変換係数情報を合成し、再度エントロピー符号化処理および多重化処理を行うことにより、再符号化後の符号化ビット列を生成できることから、従来よりも高品質で多様な空間解像度や周波数成分を持った復号成分を、完全に復号して復号画像列を生成することなく、多くの演算量を費やすことなく容易に再符号化することができる。
また、再符号化後の符号化ビット列を生成することで異なる符号化形式に変換し、対象となる符号化形式に適合した符号化ビット列を生成することができるように構成することが可能である。
基準解像度の復号画像列、超解像復号画像列、復号後の超解像画像列といった、従来よりも高品質で多様な空間解像度や周波数成分を持った復号画像列を得ることができる。また、これらの多様な復号画像列に対して再符号化を行うことで、単一階層の符号化ビット列を生成することができる。
したがって、例えば、携帯端末表示装置などのように、搭載されている動画像復号装置が、演算量や消費電力などの制約により、より低い演算量や消費電力、低い符号化伝送レートで復号できるような符号化形式にのみ対応しているような場合には、本発明の動画像再符号化装置によって再符号化を行うことで、対象となる符号化形式に適合した符号化ビット列を生成することができるように構成することが可能である。
また、このように動画像再符号化装置を構成することにより、上記実施の形態１〜８の動画像符号化装置等によって生成された多重化後の符号化ビット列を取得し、本発明の動画像再符号化装置によって正しく復号することで、基準解像度の復号画像列、超解像復号画像列、復号後の超解像画像列といった、従来よりも高品質で多様な空間解像度や周波数成分を持った復号画像列を得ることができる。
また、これらの多様な復号画像列に対して再符号化を行うことで、単一階層の符号化ビット列を生成することができる。したがって、例えば、携帯端末表示装置などのように、搭載されている動画像復号装置が、演算量や消費電力などの制約により、より低い演算量や消費電力、低い符号化伝送レートで復号できるような符号化形式にのみ対応しているような場合には、本発明の動画像再符号化装置によって再符号化を行うことで、異なる符号化形式に変換し、対象となる符号化形式に適合した符号化ビット列を生成することができるように構成することが可能である。
次に、図２８のフローチャートを参照して、図２７に示す再符号化装置の動作について説明する。
まず、多重化分離部１８０１は、入力として入力する多重化後の符号化ビット列を取得し、所定の構文構造に基づいて符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を特定しながら多重化分離を行う（ステップＳ７０１）ことで、多重化後の符号化ビット列から、基準解像度の第１符号化ビット列、基準解像度の第２符号化ビット列を取得する一方、多重化後の符号化ビット列から取得が可能であれば、拡大率情報ビット列、解像度変換率情報ビット列、基準解像度拡張予測情報の符号化ビット列を更に取得する。その後、多重化分離部１８０１は、取得した第１符号化ビット列を第１復号部１８０２、第２符号化ビット列を第２復号部１８０５にそれぞれ供給し、更に、多重化後の符号化ビット列から取得が可能であれば、動きベクトル情報を取得し、第１復号部１８０２に供給する。
その後、多重化分離部１８０１は、ＡＶＣリライティングが可能であるか、可能でないかを判定する（ステップＳ７０２）。この判定は、多重化後の符号化ビット列内に含まれる、ＡＶＣリライティングが可能であるか、可能でないかを判定するための判定情報に基づいて行うと良い。
ＡＶＣリライティングが可能である場合（ステップＳ７０２ ＹＥＳ）、本装置では、第１の並列処理（ステップＳ７０３）、第２の並列処理（ステップＳ７０４）に分岐して、並行してその後の動作を行う。
これに対し、ＡＶＣリライティングが可能でない場合（ステップＳ７０２ ＮＯ）、本装置では、再符号化が必要であるとして、第３の並列処理（ステップＳ７０７、ステップＳ７０８）、第４の並列処理（ステップＳ７０９）に分岐し、並行してその後の動作を行う。
ＡＶＣリライティングが可能である場合は、以下の処理を行う。
つまり、第１の並列処理では、第１復号部１８０２は、第１符号化ビット列を取得し、所定のエントロピー復号処理（ステップＳ７０３）および逆量子化処理を行うことにより、復号途中である基本層の直交変換係数情報を生成し、再符号化部１８０８に供給する。その後、第２の並列処理が完了するまで待機する。
第２の並列処理では、第２復号部１８０５は、第２符号化ビット列を取得し、所定のエントロピー復号処理（ステップＳ７０４）および逆量子化処理を行うことにより、復号途中である拡張層の直交変換係数情報を生成し、再符号化部１８０８に供給する。その後、第１の並列処理が完了するまで待機する。
第１および第２の並列処理が完了すると、再符号化部１８０８は、第１復号部１８０２から復号途中である基本層の直交変換係数情報、第２復号部１８０５から復号途中である拡張層の直交変換係数情報を取得した上で、所定の合成処理に基づいて合成し（ステップＳ７０５）、合成結果に対して所定のエントロピー符号化を行う（ステップＳ７０６）ことで、再符号化後の符号化ビット列を生成し、多重化部１８０９に供給する。ここまでの処理が、ＡＶＣリライティングが可能である場合の処理となる。
次に、ＡＶＣリライティングが可能でない場合、つまり再符号化が必要である場合には、以下の処理を行う。
第３の並列処理では、第１復号部１８０２は、多重化分離部１８０１から基準解像度の符号化ビット列と、取得が可能であれば、動きベクトル情報を取得し、基準解像度の復号処理を行う（ステップＳ７０７）ことで基準解像度の復号画像列を生成し、第２復号部１８０５、および必要に応じて再符号化部１８０８に供給する。
その後、第２復号部１８０５は、第１復号部１８０２によって生成された基準解像度の復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ７０８）。その後、第４の並列処理が完了するまで待機する。
第４の並列処理において、第２復号部１８０５は、多重化分離部１８０１から第２符号化ビット列を取得し、所定の復号処理を行う（ステップＳ７０９）ことで、基準解像度の復号残差情報を生成する。その後、第３の並列処理が完了するまで待機する。
第３および第４の並列処理が完了すると、第１超解像拡大部１８０３は、第１復号部１８０２から基準解像度の復号画像列を取得し、所定の超解像拡大処理を行う（ステップＳ７１０）ことで、基準解像度よりも高い解像度をもつ高解像度の超解像拡大復号画像列を生成し、第１解像度変換部１８０４に供給する。
その後、第１解像度変換部１８０４は、第１超解像拡大部１８０３から高解像度の超解像拡大復号画像列を取得し、所定の解像度変換処理を行う（ステップＳ７１１）ことで、基準解像度よりも高い解像度をもつ超解像拡大復号画像列から、基準解像度をもつ超解像復号画像列を生成し、第２復号部１８０５、および必要に応じて再符号化部１８０８に供給する。
その後、第２復号部１８０５は、第１解像度変換部１８０４によって生成された基準解像度の超解像復号画像列を取得し、一時的に蓄積するための所定のバッファに格納する（ステップＳ７１２）。
第２復号部１８０５は、所定の予測処理を行う（ステップＳ７１３）ことで、基準解像度の予測ピクチャを生成し、生成した基準解像度の復号残差情報と、基準解像度の予測ピクチャとを加算することで、復号後の基準解像度の超解像画像列を生成し、必要に応じて再符号化部１８０８に供給する。
再符号化部１８０８は、第１復号部１８０２から基準解像度の復号画像列、第１解像度変換部１８０４から基準解像度の超解像復号画像列、および第２復号部１８０５から基準解像度の超解像画像列を必要に応じて取得し、所定の符号化処理によって再符号化を行う（ステップＳ７１４）ことで符号化ビット列を生成し、多重化部１８０９に供給する。
多重化部１８０９は、取得した再符号化後の符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、出力である多重化後の符号化ビット列を生成し、出力する（ステップＳ７１５）。以上のようなステップを経ることで、本実施形態の一連の動作が完了する。
このようなステップを実行することで、本実施の形態の動画像再符号化装置を動作させることにより、再符号化後の符号化ビット列を生成することができる。なお、本実施の形態の動作を複数の並列処理によって説明したが、この並列処理部分を連続的に処理するように、本実施の形態の構成を動作させても良いことに注意する。
なお、本実施の形態１１も、ブロック図によりハードウエア的に構成して説明したが、上記実施の形態１〜１０と同様に、図２７に示す再符号化装置の機能を、ＣＰＵとプログラムとによりソフトウエア的に実行するようにしても勿論よい。
なお、本発明の動画像復号装置、動画像復号方法、および動画像復号プログラム、そして、本発明の動画像再符号化装置、動画像再符号化方法、および動画像再符号化プログラムの適用される範囲は、動画像を符号化し、復号するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。例えば、本発明を、ＴＶに代表される受像装置、携帯電話、テレビ会議装置、監視装置、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）などの記録媒体を利用した再生装置、ＤＶＤ−Ｒ／ＲＷやＢＤ−Ｒ／ＲＷ、ＨＤＤ、ＳＤなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などに適用しても良い。
１０１ 第１蓄積バッファ
１０２ 第１符号化部
１０３ 第１超解像拡大部
１０４ 第１解像度変換部
１０５ 第２超解像拡大部
１０６ 第２解像度変換部
１０７ 第２符号化部
１０８ 第３符号化部
１０９ 多重化部
１１０ 第３解像度変換部
１８０１ 多重化分離部
１８０２ 第１復号部
１８０３ 第１超解像拡大部
１８０４ 第１解像度変換部
１８０５ 第２復号部
１８０６ 第２解像度変換部
１８０７ 第３復号部
１８０８ 再符号化部
１８０９ 多重化部

Claims (21)

  1. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、
    前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像とし、前記第１符号化部からの前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、
    を有する動画像符号化装置。
  2. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、
    前記第１符号化部から基準解像度の前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、
    前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、
    前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像とし、前記第２解像度変換部からの前記超解像拡大・変換復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、
    を有する動画像符号化装置。
  3. 請求項１記載の動画像符号化装置において、さらに、
    前記第１符号化部から基準解像度の前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、
    前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、を有し、
    前記第２符号化部は、さらに、
    前記第２解像度変換部からの前記超解像拡大・変換復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する、動画像符号化装置。
  4. 請求項１〜請求項３の記載の動画像符号化装置において、
    前記第１の超解像拡大部は、
    超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像とに基づいて、所望の高解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高解像度画像を生成する位置合わせ器と、
    前記位置合わせ器にて生成された不均一高解像度画像に対し所定の不均一補間処理を行って、所望の高解像度を持つ補間画像を生成する補間器と、
    前記補間器にて生成された前記補間画像を取得して、所定の復元処理を行い、所望の解像度を持つ推定画像を生成する推定画像生成器と、
    前記位置合わせ器から前記不均一高解像度画像を取得するとともに、前記推定画像生成器から前記推定画像を取得して、取得したそれぞれの画像を利用して、所定の判定方法に従って超解像拡大処理の繰り返しが必要か否かを判定し、その判定の結果、繰り返しが必要な場合は、前記補間器に対して処理を継続するための制御情報を供給する一方、繰り返しが必要ない場合には、前記推定画像生成器に対して超解像度拡大結果である高解像度の推定画像を出力するための制御情報を出力する繰り返し判定器と、
    を有する動画像符号化装置。
  5. 請求項１〜請求項４のいずれか一の請求項に記載された動画像符号化装置において、
    さらに、
    前記第１符号化部からの前記第１符号化ビット列と、前記第２符号化部からの前記第２符号化ビット列と、前記第１符号化部における符号化および前記第２符号化部における符号化の際に使用した各種符号化パラメータ情報とを、所定の構文構造に基づいて多重化する多重化部、
    を有する動画像符号化装置。
  6. 請求項１〜請求項５のいずれか一の請求項に記載された動画像符号化装置において、
    さらに、
    前記第１符号化部および前記第１超解像拡大部の前段に設けられ、基準解像度の前記動画像列を蓄積する第１蓄積バッファと、
    前記第１符号化部と前記第２符号化部の間に設けられ、前記第１符号化部からの前記復号画像を蓄積する第２蓄積バッファと、
    前記第１蓄積バッファと、前記第２蓄積バッファと、前記第１符号化部と、前記第２符号化部とにおける各バッファ蓄積量を検出し、各バッファ蓄積量を制御する蓄積制御部と、
    前記蓄積制御部における前記各バッファ蓄積量に基づいて、前記第１符号化部と前記第２符号化部とにおける符号量制御を行う符号量制御部と、
    を有する動画像符号化装置。
  7. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、
    前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、
    前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像と、前記第３超解像拡大部からの前記解像度変換拡大復号画像とを参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、
    を有する動画像符号化装置。
  8. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、
    前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第３解像度変換部からの前記解像度変換拡大復号画像を参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、
    を有する動画像符号化装置。
  9. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、
    前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像を参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、
    を有する動画像符号化装置。
  10. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成する第１符号化部と、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成する第１超解像拡大部と、
    前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成する第１解像度変換部と、
    前記第１符号化部から前記復号画像を取得し、第２超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大復号画像を生成する第２超解像拡大部と、
    前記第２超解像拡大部からの前記超解像拡大復号画像に対し第２の解像度変換処理を行って基準解像度をもつ超解像拡大・変換復号画像を生成する第２解像度変換部と、
    前記第１解像度変換部からの前記超解像拡大・変換画像を符号化対象画像として、前記第１符号化部からの前記復号画像と、前記第２解像度変換部からの基準解像度をもつ超解像拡大・変換復号画像とを参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成する第２符号化部と、
    前記第１符号化部から前記復号画像を取得し、第３の解像度変換処理を行って基準解像度よりも高い解像度をもつ解像度変換拡大復号画像を生成する第３解像度変換部と、
    前記第１超解像拡大部からの前記超解像拡大画像を符号化対象画像とし、前記第２超解像拡大部からの前記超解像拡大復号画像と、前記第３解像度変換部からの前記解像度変換拡大復号画像をと参照画像として使用して、第３の予測処理および符号化処理を行い、第３符号化ビット列を生成する第３符号化部と、
    を有する動画像符号化装置。
  11. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成するステップと、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成するステップと、
    前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成するステップと、
    前記超解像拡大・変換画像を符号化対象画像とし、生成した前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成するステップと、
    を有する動画像符号化方法。
  12. 基準解像度の動画像列に対し第１の符号化および復号処理を行って基準解像度の第１符号化ビット列および復号画像を生成するステップと、
    基準解像度の前記動画像列に対し第１超解像拡大処理を行って基準解像度よりも高い解像度をもつ超解像拡大画像を生成するステップと、
    前記超解像拡大画像に対し第１の解像度変換処理を行って基準解像度をもつ超解像拡大・変換画像を生成するステップと、
    前記超解像拡大・変換画像を符号化対象画像とし、生成した前記復号画像を参照画像として、第２の予測処理および符号化処理を行い、第２符号化ビット列を生成するステップと、
    をコンピュータに実行させる動画像符号化プログラム。
  13. 入力される符号化ビット列に対して所定の多重化分離処理を行って少なくとも第１および第２の符号化ビット列を出力する多重化分離部と、
    前記多重化分離部によって得られる基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成する第１復号部と、
    前記第１復号部によって生成された基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成する第１超解像拡大部と、
    前記第１超解像拡大部によって生成された超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成する第１解像度変換部と、
    前記多重化分離部によって得られる基準解像度の第２符号化ビット列と、前記第１復号部によって生成された基準解像度の復号画像列と、前記第１解像度変換部によって生成された基準解像度の超解像復号画像列とを取得し、所定の予測処理および所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成する第２復号部と、
    を有する動画像復号装置。
  14. 請求項１３に記載の動画像復号装置において、さらに、
    前記多重化分離部は、入力される符号化ビット列に対して所定の多重化分離処理を行って、さらに第３の符号化ビット列を出力し、
    前記第１復号部から基準解像度の復号画像列を取得し、所定の解像度変換処理を行うことにより基準解像度よりも高い解像度をもつ高解像度の拡大復号画像列を生成する第２解像度変換部と、
    前記多重化分離部によって得られる高解像度の第３符号化ビット列と、前記第１超解像拡大部によって生成された超解像拡大復号画像列と、前記第２解像度変換部から高解像度の拡大復号画像列とを取得し、所定の予測処理および所定の高解像度の拡張復号である第３復号処理を行うことにより、復号後の超解像拡大画像列を生成する第３復号部と、
    を有する動画像復号装置。
  15. 入力される符号化ビット列に対して所定の多重化分離処理を行って少なくとも第１および第２の符号化ビット列を出力する多重化分離部と、
    前記多重化分離部によって得られる基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成する第１復号部と、
    前記第１復号部によって生成された基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成する第１超解像拡大部と、
    前記第１超解像拡大部によって生成された超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成する第１解像度変換部と、
    前記多重化分離部によって得られる基準解像度の第２符号化ビット列と、前記第１復号部によって生成された基準解像度の復号画像列と、前記第１解像度変換部によって生成された基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成する第２復号部と、
    前記第１復号部から復号途中である直交変換係数情報と、前記第２復号部から復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成する再符号化部と、
    前記再符号化部によって再符号化された符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成する多重化部と、
    を有する動画像再符号化装置。
  16. 請求項１５に記載の動画像再符号化装置において、
    前記再符号化部は、更に、前記第１復号部から基準解像度の復号画像列と、第１解像度変換部からの基準解像度の超解像復号画像列と、前記第２復号部から基準解像度の超解像画像列とを取得し、所定の符号化処理を行うことにより再符号化後の符号化ビット列を生成する、動画像再符号化装置。
  17. 入力される符号化ビット列に対して所定の多重化分離処理を行って少なくとも第１および第２の符号化ビット列を出力するステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成するステップと、
    所定の第１復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、
    所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第２符号化ビット列と、所定の第１復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された基準解像度の超解像復号画像列とを取得し、所定の予測処理および所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、
    を有する動画像復号方法。
  18. 請求項１７に記載の動画像復号方法において、さらに、
    入力される符号化ビット列に対して所定の多重化分離処理を行って第３の符号化ビット列を出力するステップと、
    所定の第１復号処理によって生成された前記基準解像度の復号画像列を取得し、所定の解像度変換処理を行うことにより基準解像度よりも高い解像度をもつ高解像度の拡大復号画像列を生成するステップと、
    所定の多重化分離処理によって得られる高解像度の第３符号化ビット列と、所定の超解像拡大処理によって生成された前記超解像拡大復号画像列と、所定の解像度変換処理によって生成された前記高解像度の拡大復号画像列とを取得し、所定の予測処理および所定の高解像度の拡張復号である第３復号処理を行うことにより、復号後の超解像拡大画像列を生成するステップと、
    を有する動画像復号方法。
  19. 入力される符号化ビット列に対して所定の多重化分離処理を行うステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成するステップと、
    所定の第１復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、
    所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、
    所定の多重化分離処理によって得られた基準解像度の第２符号化ビット列と、所定の第１復号処理によって生成された前記基準解像度の復号画像列と、所定の第１解像度変換処理によって生成された前記基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、
    所定の第１復号処理の復号途中である直交変換係数情報と、所定の基準解像度の拡張復号である第２復号処理の復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成するステップと、
    再符号化後の前記符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成するステップと、
    を有する動画像再符号化方法。
  20. 入力される符号化ビット列に対して所定の多重化分離処理を行って少なくとも第１および第２の符号化ビット列を出力するステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成するステップと、
    所定の第１復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、
    所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第２符号化ビット列と、所定の第１復号処理によって生成された前記基準解像度の復号画像列と、所定の解像度変換処理によって生成された基準解像度の超解像復号画像列とを取得し、所定の予測処理および所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、
    をコンピュータに実行させる動画像復号プログラム。
  21. 入力される符号化ビット列に対して所定の多重化分離処理を行うステップと、
    所定の多重化分離処理によって得られた前記基準解像度の第１符号化ビット列を取得して所定の第１復号処理を行うことにより基準解像度の復号画像列を生成するステップと、
    所定の第１復号処理によって生成された前記基準解像度の復号画像列を取得して所定の超解像拡大処理を行うことにより、超解像拡大復号画像列を生成するステップと、
    所定の超解像拡大処理によって生成された前記超解像拡大復号画像列を取得して所定の解像度変換処理を行うことにより、基準解像度の超解像復号画像列を生成するステップと、
    所定の多重化分離処理によって得られた基準解像度の第２符号化ビット列と、所定の第１復号処理によって生成された前記基準解像度の復号画像列と、所定の第１解像度変換処理によって生成された前記基準解像度の超解像復号画像列とを取得して所定の基準解像度の拡張復号である第２復号処理を行うことにより、復号後の基準解像度の超解像画像列を生成するステップと、
    所定の第１復号処理の復号途中である直交変換係数情報と、所定の基準解像度の拡張復号である第２復号処理の復号途中である基準解像度の拡張層における直交変換係数情報とを取得し、それぞれの直交変換係数情報を合成した後に所定のエントロピー符号化処理を行うことにより再符号化後の符号化ビット列を生成するステップと、
    再符号化後の前記符号化ビット列を取得し、所定の構文構造に基づいて、符号化で利用した各種パラメータ情報や符号化モード情報を特定するための識別情報を挿入しながら多重化処理を行い、多重化後の符号化ビット列を生成するステップと、
    をコンピュータに実行させる動画像再符号化プログラム。
JP2009123960A 2008-05-30 2009-05-22 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム Active JP5369893B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009123960A JP5369893B2 (ja) 2008-05-30 2009-05-22 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US12/995,039 US9042448B2 (en) 2008-05-30 2009-05-28 Moving picture encoding system, moving picture encoding method, moving picture encoding program, moving picture decoding system, moving picture decoding method, moving picture decoding program, moving picture reencoding sytem, moving picture reencoding method, and moving picture reencoding program
CN200980120077XA CN102084657B (zh) 2008-05-30 2009-05-28 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像再编码装置、动态图像再编码方法、动态图像再编码程序
PCT/JP2009/059801 WO2009145271A1 (ja) 2008-05-30 2009-05-28 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US14/692,138 US10218995B2 (en) 2008-05-30 2015-04-21 Moving picture encoding system, moving picture encoding method, moving picture encoding program, moving picture decoding system, moving picture decoding method, moving picture decoding program, moving picture reencoding system, moving picture reencoding method, moving picture reencoding program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008142433 2008-05-30
JP2008142433 2008-05-30
JP2009123960A JP5369893B2 (ja) 2008-05-30 2009-05-22 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム

Publications (2)

Publication Number Publication Date
JP2010011448A JP2010011448A (ja) 2010-01-14
JP5369893B2 true JP5369893B2 (ja) 2013-12-18

Family

ID=41377141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009123960A Active JP5369893B2 (ja) 2008-05-30 2009-05-22 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム

Country Status (4)

Country Link
US (2) US9042448B2 (ja)
JP (1) JP5369893B2 (ja)
CN (1) CN102084657B (ja)
WO (1) WO2009145271A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8635357B2 (en) 2009-09-08 2014-01-21 Google Inc. Dynamic selection of parameter sets for transcoding media data
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
JP5484377B2 (ja) * 2011-02-23 2014-05-07 日本電信電話株式会社 復号化装置及び復号化方法
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9420285B2 (en) * 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
US9307258B2 (en) * 2012-10-30 2016-04-05 Broadcom Corporation Parallel transcoding
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
JP2014103568A (ja) * 2012-11-21 2014-06-05 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2015033510A1 (ja) * 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和系统
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
JP6179606B2 (ja) * 2014-02-10 2017-08-16 日本電気株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
KR102216656B1 (ko) * 2014-09-02 2021-02-17 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
US11281639B2 (en) 2015-06-23 2022-03-22 Microsoft Technology Licensing, Llc Match fix-up to remove matching documents
US11392568B2 (en) 2015-06-23 2022-07-19 Microsoft Technology Licensing, Llc Reducing matching documents for a search query
US10565198B2 (en) 2015-06-23 2020-02-18 Microsoft Technology Licensing, Llc Bit vector search index using shards
US10467215B2 (en) 2015-06-23 2019-11-05 Microsoft Technology Licensing, Llc Matching documents using a bit vector search index
US10242071B2 (en) 2015-06-23 2019-03-26 Microsoft Technology Licensing, Llc Preliminary ranker for scoring matching documents
US10733164B2 (en) * 2015-06-23 2020-08-04 Microsoft Technology Licensing, Llc Updating a bit vector search index
JP6909223B2 (ja) * 2016-01-25 2021-07-28 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間スケーラブル・ビデオ・コーディング
JP2017183910A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像符号化装置及び画像符号化方法
US11184621B2 (en) * 2017-02-23 2021-11-23 Netflix, Inc. Techniques for selecting resolutions for encoding different shot sequences
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
WO2019059721A1 (ko) * 2017-09-21 2019-03-28 에스케이텔레콤 주식회사 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
EP3756347A1 (en) * 2018-02-20 2020-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing
US10788283B2 (en) 2018-09-03 2020-09-29 American Precision Arms, LLC Tunable muzzle brake for a firearm
CN110610458B (zh) * 2019-04-30 2023-10-20 北京联合大学 一种基于岭回归的gan图像增强交互处理方法及系统
CN113438486A (zh) * 2021-05-11 2021-09-24 中天恒星(上海)科技有限公司 多路视频编码方法与编码装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2528365A1 (fr) * 1982-06-15 1983-12-16 Aerospatiale Suspension a bras oscillants pour un train de deux roues d'un vehicule et systeme de rappel elastique et de couplage antiroulis pour une telle suspension
GB2165333A (en) * 1984-09-26 1986-04-09 Steven Odobasic Laminated torsion elements
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH1023426A (ja) * 1996-07-01 1998-01-23 Sony Corp 画像予測方法及び画像符号化方法
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
KR20020070362A (ko) * 1999-12-22 2002-09-06 제너럴 인스트루먼트 코포레이션 공간 스케일성 및 시뮬캐스트 코딩을 이용한 멀티캐스트환경의 비디오 압축
CN100518315C (zh) * 2001-10-26 2009-07-22 皇家飞利浦电子股份有限公司 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US7106914B2 (en) * 2003-02-27 2006-09-12 Microsoft Corporation Bayesian image super resolution
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
DE102004012165A1 (de) * 2004-03-09 2005-10-06 Takata Corp. Gurtstraffer
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP2007110348A (ja) 2005-10-12 2007-04-26 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
US20070103595A1 (en) * 2005-10-27 2007-05-10 Yihong Gong Video super-resolution using personalized dictionary
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7957610B2 (en) * 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
JP2007316161A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 残差補間を用いた超解像処理方法及び装置
JP4889403B2 (ja) * 2006-08-03 2012-03-07 日本放送協会 Ｔｖ法を用いた画像符号化装置及び復号化装置
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
JP2008053848A (ja) * 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置

Also Published As

Publication number Publication date
WO2009145271A1 (ja) 2009-12-03
US20150229942A1 (en) 2015-08-13
US10218995B2 (en) 2019-02-26
CN102084657A (zh) 2011-06-01
US20110075734A1 (en) 2011-03-31
CN102084657B (zh) 2013-08-28
US9042448B2 (en) 2015-05-26
JP2010011448A (ja) 2010-01-14

Similar Documents

Publication Publication Date Title
JP5369893B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
JP6416992B2 (ja) ビデオビットストリームをトランスコーディングする方法及び構成
RU2479939C2 (ru) Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления
JP2008522536A (ja) Ｄｃｔアップサンプリングを利用した多階層ビデオエンコーディング／デコーディング方法及び装置
JP4565392B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
JP2009188990A (ja) 画像を効率的に符号化／復号化する方法及び装置
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP5262879B2 (ja) 再符号化装置および再符号化方法
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
JP4626608B2 (ja) 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP4404157B2 (ja) 動画像符号化装置および動画像符号化方法
JP4565393B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP4870143B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法
JP2008011009A (ja) 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム
US20140185666A1 (en) Apparatus and method for moving image encoding and apparatus and method for moving image decoding
JP4403565B2 (ja) 動画像復号装置および動画像復号方法
JP2008136037A (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2018032913A (ja) 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
JP2008136038A (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5369893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250