JP3778721B2 - 動画像符号化方法および装置 - Google Patents
動画像符号化方法および装置 Download PDFInfo
- Publication number
- JP3778721B2 JP3778721B2 JP07449799A JP7449799A JP3778721B2 JP 3778721 B2 JP3778721 B2 JP 3778721B2 JP 07449799 A JP07449799 A JP 07449799A JP 7449799 A JP7449799 A JP 7449799A JP 3778721 B2 JP3778721 B2 JP 3778721B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- field
- prediction
- motion vector
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Description
【０００１】
【発明の属する技術分野】
本発明は、通信・放送・蓄積・コンピュータなどの様々な分野で用いられている、ディジタル画像システムやアプリケーション及び、画像データベースに適用される動画像符号化方法及び、これを用いた装置に関する。特に、シーンチェンジを含む画像データを符号化する場合に有利である動画像符号化方法及び、これを用いた装置に関する。
【０００２】
【従来の技術】
一般に動画像は、それ自体持っている情報量が莫大である。そのために動画像の符号化に際しては、直交変換［離散コサイン変換(Discrete Cosine Transform)］処理や可変長符号化を利用して空間方向の冗長度を落とすことが行われる。さらに、時間的に前後の画面との差分を採り差分情報を符号化することにより時間方向の冗長度も落としている。
【０００３】
ここで、以降の説明の理解のために画像の構成について説明しておく。
【０００４】
１枚の画面（フレーム）を１ラインおきに走査し、奇ラインのみで構成される奇フィールドと、偶ラインのみで構成される偶フィールドの２枚のフィールドで構成するインタレース画像が、現行ＴＶフォーマット（日米はＮＴＳＣ：National Television System Committee, 欧州はＰＡＬ：Phase Alternation by Line等）において用いられている。
【０００５】
ＭＰＥＧ−２（Moving Picture Experts Group）は、インタレース画像の符号化にも対応した符号化方式であり、ピクチャ構造及び、ピクチャ間動き予測等でフレーム／フィールドを意識した符号化を行なっている。以下これらについて説明する。
【０００６】
ＭＰＥＧ−２では、ピクチャとしてフレームを割り当てることも、フィールドを割り当てることもできる。ピクチャにフレームを割り当てられた場合をフレーム構造（ストラクチャ）といい、フィールドを割り当てた場合をフィールド構造（ストラクチャ）という。符号化は、ピクチャをマクロブロック（ＭＢ）単位に行われる。
【０００７】
図２６において、フレームストラクチャのマクロブロックＭＢ１、フィールドストラクチャの奇フィールドのマクロブロックＭＢ２及び、偶フィールドのマクロブロックＭＢ３が示される。各マクロブロック（ＭＢ）は、例えば、１６×１６画素で構成される。
【０００８】
ＭＰＥＧ−２では、更にインタレース画像を符号化するのに適したフレーム予測とフィールド予測があり、動きべクトルはフレーム予測に対して1本、フィールド予測に対して２本用いられる。
【０００９】
ここで上記の時間方向の冗長度削減の方法として、ピクチャ間の予測をどの範囲まで用いるかによって、大きく次の３つの符号化方法に分けることが出来る。
【００１０】
第１はピクチャ内で符号化を行う（ピクチャ内符号化）方法であり、第２は、前方向からのピクチャ間予測も用いて符号化を行なう（ピクチャ間順方向予測符号化）方法である。さらに、第３は、更に後方向及び、前方向を組み合わせた両方向ピクチャ間予測も用いて符号化を行なう（双方向予測符号化）方法である。
【００１１】
上記第１の符号化方法でのピクチャをＩピクチャ（Intra-Picture）、第２の方法でのピクチャをＰピクチャ（Predictive-Picture）、第３の符号化方法でのピクチャをＢピクチャ（Bidirectionally predictive-Picture）と呼ばれる。
【００１２】
また、各タイプのピクチャが他のピクチャからピクチャ間予測の参照画として使われるか否かという点で考えると、ＩピクチャやＰピクチャは参照されるが、Ｂピクチャは参照されない。そこで、ＩピクチャとＰピクチャをまとめて参照ピクチャを呼ぶことにする。
【００１３】
さらに、動画像の各ピクチャ間は時間的相関度が大きいため、前方ピクチャとの相関を利用したＰピクチャはＩピクチャよりも冗長度を落とすことが可能である。また、後方ピクチャとの相関を利用したＢピクチャはＰピクチャよりも冗長度を落とすことが可能である。
【００１４】
すなわち、同画質時のピクチャの情報量を見るとＩピクチャ＞Ｐピクチャ＞Ｂピクチャという関係になっている。また、参照ピクチャは、少なくとも他のピクチャからの動き予測に使われ、予測画面を生成する元になりうるので、出来るだけ高画質である事が望まれる。
【００１５】
その意味からも情報量は、参照ピクチャ>非参照ピクチャであることが望ましい。
【００１６】
しかしながら、情報量が少ないＰピクチャやＢピクチャばかりを用いて符号化を行えば効率が良いとは言えない。なぜならば、エラー等が発生した場合は、ＰピクチャやＢピクチャのピクチャ間符号化では、エラーが時間方向に伝搬してしまう。
【００１７】
このため不都合が生じるので周期的にIピクチャでリフレッシュすることが望ましい。実際には、Ｂピクチャを用いて符号化する場合は、図２７に示すように、ピクチャタイプを変更して符号化を行うのが一般的である。
【００１８】
以降説明する図面においても同様であるが、図２７において、ＢはＢピクチャ、ＩはＩピクチャ、ＰはＰピクチャを示す。また、ピクチャ間予測の矢印は、矢印の根元のピクチャを用いて矢印の先のピクチャの予測画面を生成するという意味である。
【００１９】
ちなみに、図２７の例ではＧＯＰ（Group of Pictures）サイズが１２ピクチャ即ち、Ｉピクチャでのリフレッシュが１２ピクチャ毎に行われる。そして、各参照ピクチャ間の距離が３ピクチャとなっている。
【００２０】
さらに、ピクチャ間予測は、先に説明したようにピクチャをいくつかのブロックに分割したマクロブロック単位に行われる、符号化ピクチャのマクロブロックを参照ピクチャの同じ大きさのブロックと画素単位の差分量を求める。
【００２１】
そして、その累積和を予測誤差として最も予測誤差が小さいブロックを取り予測画面を生成する。次いで、符号化マクロブロックとの差分情報を符号化する。差分量としては、単純な画素差分の絶対値和や画素差分の二乗和などが用いられる。
【００２２】
ここで、Ｉピクチャを多用した場合は同じシーン（場面）を同画質で符号化するので、符号化情報量が増大し好ましくない。固定レートで符号化を行う場合は、その分ピクチャ単位の情報量割り当てが少なくなり画質が悪くなるということになる。
【００２３】
しかしながら、シーンチェンジ（場面変更）等のピクチャ間の相関が低い場合は、ピクチャ間予測を使うと予測効率が悪く、場合によっては、ピクチャ内符号化を行う場合よりも、画質が悪くなるということもある。
【００２４】
したがって、かかる不都合に対する対策として、ある固定間隔毎にＩピクチャで符号化を行う場合であっても、図２８に示すようにシーンチェンジＳＣが検出された場合、その直後のピクチャでは、Ｉピクチャ等のピクチャ内符号化を使って符号化するという方法が提案されていた。
【００２５】
この方法では、シーンチェンジが発生する度に、Ｉピクチャやピクチャ内符号化を行うピクチャが発生するので、やはりその分の符号化情報量が増大するので好ましくない。
【００２６】
また、Ｉピクチャの頻度を出来るだけ増加させない為に、図２９に示すように、シーンチェンジが発生すると、これまでのＩピクチャの固定間隔周期のカウント値をリセットする。そして、リセット時のピクチャから、再びＧＯＰの再構成をして、固定間隔周期のＩピクチャ(例えば、ＧＯＰサイズ＝１２)で符号化するという方法がある。
【００２７】
あるいは、図３０に示す様にＢピクチャでシーンチェンジが発生した場合は、そのＢピクチャでなく、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化にして、前後の参照ピクチャからのピクチャ間予測を用いて行うという方法も考えられる。
【００２８】
しかし、図３０に示す例の場合では、特に入出力機器まで含めてリアルタイムに符号化処理をハードウェアで実現することを想定すると、参照ピクチャの現れる周期が全く検討がつかない。したがって、参照ピクチャが固定周期で現れる場合に較べ、ピクチャのメモリ管理が困難となる。
【００２９】
また情報量割り当ての面から見ても、ＢピクチャからＩピクチャに変更するより、ＰピクチャからＩピクチャへの変更の方が、情報量割り当ての大幅な変動がないという面でストリームバッファがアンダーフローやオーバーフローの状態になり難い。結果として、図３０の方法が好ましいと思われる。
【００３０】
しかしながら、図３０に示すような制御方法でも以下の様な問題がある。
【００３１】
ここで、図３１は、かかる図３０における問題点を説明するために用意された図である。説明の容易化のために符号化ピクチャであるＢピクチャと前方向参照ピクチャ、後方向参照ピクチャ以外は示されていない。
【００３２】
一般にフレームをピクチャとして符号化を行うフレームストラクチャの場合は、ピクチャ間予測として、フレーム間予測とフィールド間予測が行われる。
【００３３】
さらに詳しく説明すると、フレーム予測の中で、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。フィールド間予測の中でも同様に、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。
【００３４】
図３１に示した動きベクトルの参照番号の中で、番号５、１０がフレームベクトルである。番号１、２、３、４、６、７、８、９がフィールド予測である。なお、図３１において、左フィールドが奇数フィールドであり、右フィールドが偶フィールドとして示している。
【００３５】
フレーム予測で前方向予測を用いる場合に選択されるベクトルは番号５で、後方向予測を用いる場合に選択されるベクトルは番号１０のベクトルである。両方向予測を用いる場合は、番号５と１０の両方のベクトルが用いられる。
【００３６】
一方、フィールド予測では、奇偶各々のフィールド毎に動きベクトルを用いて予測画面を生成する。
【００３７】
前方向予測の場合は、Ｂピクチャの奇フィールドは番号１又は２の動きベクトルを用いて予測画面を生成し、偶フィールドは番号３又は４の動きベクトルを用いて予測画面を生成する。
【００３８】
同様に後方向予測の場合は、奇フィールドは番号６又は７の動きベクトルを用い、偶フィールドは番号８又は９の動きベクトルを用いる。両方向予測の場合は、奇フィールドは番号１又は２の動きベクトルを用いて生成された前方向予測画面と、番号６又は７の動きベクトルも用いて生成された後方向予測画面を組み合わせて参照画面を生成する。
【００３９】
偶フィールドは番号３又は４の動きベクトルを用いて生成された前方向予測画面と、番号８又は９の動きベクトルを用いて生成された後方向予測画面を組み合わせて参照画面を生成する。
【００４０】
以上が、現在ＭＰＥＧ−２などの動画像符号化方式で用いられている動き予測の方法である。しかしがら、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生した場合は、現在の動画像符号化方式のアルゴリズムでは、フレーム構造符号化を行っている限り、フィールド予測で片フィールドは前方向予測、もう片フィールドは後方向予測を行うことは不可能である。
【００４１】
このために、当該ピクチャにおいて符号化効率が極端に低下し、画質の劣化が顕著となる。また、ピクチャ間で予測が当たらないためにＢピクチャでピクチャ内符号化を行うマクロブロックが増えるのであれば、直後の参照ピクチャをＩピクチャやピクチャ内符号化で行うという意味もなくなってしまう。
【００４２】
【発明が解決しようとする課題】
したがって、本発明の目的は、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生するようなピクチャが存在する場合であっても符号化効率や画質の良い符号化を実現できる動画像符号化方法および装置を提供することにある。
【００４３】
また、本発明の目的は、予測モードの追加や、符号化方式の切換えや入力データの切換え等を適切に行うことにより、符号化効率や画質の良い動画像符号化方法及び装置を提供することにある。
【００４４】
【課題を解決するための手段】
上記の課題を達成する本発明の動画像符号化方法及び装置は、第１の構成として、インターレース画像の入力信号のフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方のピクチャから予測を行い符号化を行うピクチャを有する動画像符号化を行なう方法及び装置であって、
前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に該フレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、予測モードとして、片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を用いるかをピクチャ単位に選択切り換え、この選択された予測モードに対応する予測画像を生成し、生成された予測画像を用いて前記入力信号を符号化することを特徴とする。
【００４５】
第２の構成として、前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に該フレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、予測モードとして、片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を常に用い、前記予測モードに対応する予測画像を生成し、生成された予測画像を用いて入力信号を符号化することを特徴とする。
【００４６】
さらに第１の構成において、前記入力信号の画像のシーンチェンジを、前記フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、前記入力信号の画像に前記フレームのフィールド間にシーンチェンジが存在するピクチャに関し、片フィールドは前方向フィールド動きベクトルから、他の片フィールドは後方向フィールド動きベクトルからの予測を選択項目とすることを特徴とする。
【００４７】
また、第４の特徴として、インターレース画像を入力信号とし、マクロブロックを単位として符号化を行なう動画像符号化方法及び装置であって、前記入力信号の画像のシーンチェンジを、フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつ前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに対し、前記入力信号の画像のフィールドをピクチャとして符号化することを特徴とする。
【００４８】
第５の特徴として、インターレース画像を入力信号とし、マクロブロックを単位として符号化を行なう動画像符号化方法及び装置であって、前記入力信号の画像のシーンチェンジを、フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつ前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに対し、前記前方向ピクチャもしくは後方向ピクチャと同一データとして符号化することを特徴とする。
【００４９】
さらに、第６の特徴として第５の特徴において、前記ピクチャを前方向参照ピクチャもしくは後方向参照ピクチャと同一データとする符号化は、符号化予測方向を片方向フレーム予測に固定し、動きベクトルを常に０にし、更に、符号化差分情報を常に０にして行なう
ことを特徴とする。
【００５０】
さらにまた、第７の特徴として第５の特徴において、前記ピクチャを前方向参照ピクチャもしくは後方向参照ピクチャと同一データとする符号化は、符号化原画ピクチャ設定時に前方向参照ピクチャもしくは後方向参照ピクチャを、現画面ピクチャとして設定することを特徴とする。
【００５１】
また、第８の特徴としてインタレース画像を入力信号として入力する方法及び装置において、前記入力信号の画像のシーンチェンジを該画像のフレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに関し、片フィールドを繰り返し出力することを特徴とする。
【００５２】
第９の特徴として、インターレース画像の入力信号のフレームをピクチャとし、マクロブロックを単位として符号化を行なう方法及び装置において、前記入力信号の画像のシーンチェンジをフレームの画素スキャンの奇数又は、偶数で分けたフィールド単位で検出し、時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャから予測を行なうピクチャで、且つ該入力信号にフレーム内フィールド間のシーンチェンジが存在する場合、該ピクチャの片フィールドを繰り返し出力することを特徴とする。
【００５３】
第１０の特徴として、上記第１乃至第３の特徴のいずれかにおいて、符号化された動画像符号化に対応し、片フィールドは前方向フィールド動きベクトルから、他の片フィールドは後方向フィールド動きベクトルからの予測に対応する動き補償を行なうことを特徴とする。
【００５４】
本発明の更なる特徴は、以下の図面に従う発明の実施の形態の説明から明らかになる。
【００５５】
【発明の実施の形態】
以下図面に従い、本発明の実施の形態を説明する。なお、図において、同一又は、類似のものには同一の参照番号又は、参照記号を付して説明する。
【００５６】
図１は、本発明の第１の解決原理を説明する図である。図において、Ｐ，Ｂ，ＩはそれぞれＰピクチャ、Ｂピクチャ及びＩピクチャを示すことは、先の図２６乃至図３１で説明したと同様である。
【００５７】
図１の解決原理の特徴は、フレーム構造符号化時のＢピクチャ時において予測モードを追加する点にある。一方の片フィールドは前方向予測、他方の片フィールドは後方向予測という予測を行うことを可能とすれば、効率良く予測を行うことが可能である。
【００５８】
図１において、図３１との比較により明確なように、奇フィールドのＢピクチャは前方向予測を行ない、偶フィールドのＢピクチャは後方予測を行なっている。すなわち、奇フィールドは１又は２の動きベクトル、偶フィールドは８又は９の動きベクトルを使った予測が可能である。
【００５９】
さらに符号化において、動き予測モードを追加した場合には、その追加した予測モードが含まれていても復号出来る復号方式を用意することは必要である。
【００６０】
次に、本発明に従う第２の解決原理は予測モードを追加しない方法である。図２は、本発明の第２の解決原理を説明する図である。少なくとも該当のフレーム内フィールド間でシーンチェンジが検出されたＢピクチャでは、そのフレームは２枚のフィールドピクチャとしてフィールド構造符号化を行うという方法である。
【００６１】
すなわち、図２に示されるように、Ｂピクチャの奇／遇フィールド間でシーンチェンジを検出した場合には、このＢピクチャの奇／遇フィールドは、２枚のフィールドピクチャとして符号化処理を行なう。
【００６２】
このようにすると、２つのフィールドの片フィールドは前方向予測、他の片フィールドは後方向予測というピクチャ間予測が可能になり効率良く予測を行うことが可能になる。
【００６３】
さらに、第３の本発明の解決原理として、予測モードも追加せずに、ピクチャ構造も変更しない場合である。この場合は、効率的なピクチャ間予測を行うことは困難であるので、符号化ピクチャを前方向もしくは、後方向の参照画面にピクチャ間予測で貼り付けたり、入力信号を操作して実際の原画とは違う画面として符号化する。
【００６４】
これにより符号化効率を落とさない符号化を可能にする。例えば、図３に示す様に、少なくともフレーム内フィールド間でシーンチェンジが発生したピクチャ（図３ではピクチャＢ）において、そのピクチャを前方向参照画、もしくは後方向参照画と同一データとなるように符号化画面を符号化する。
【００６５】
図３の場合は、前方向参照ピクチャと同一データとなるように符号化を行っている。すなわち、表１に示すように、ピクチャＢの入力の符号化では、ピクチャＡと同一データとなるように符号化を行っている。ただし、特に一連するＢピクチャが複数枚存在する場合は、より近い参照ピクチャと同一データと見做すことが好ましい。
【００６６】
【表１】
また、時間的にみて符号化するＢピクチャと参照ピクチャの間に他のＢピクチャが存在する場合は、当該Ｂピクチャも参照ピクチャと同一データとして符号化することが好ましい。これは、符号化ストリームを再生する場合に画像の連続性が保たれるからである。
【００６７】
実際の符号化画像とは違う画面として符号化する方法としては、本発明に従う更に別の方法がある。図４に示す様にフレーム内フィールド間でシーンチェンジを検出した場合には、当該のフレームはそのピクチャの片方のフィールドを繰り返すという方法である。
【００６８】
これにより繰り返えされた後のシーンでは、シーンチェンジを、フレーム単位に変更することが出来る。このために、符号化効率が高くなる。この片フィールドを繰り返すという方法は、特に符号化に関係なく入力データだけを見て行うことも可能である。
【００６９】
次に上記の本発明の解決原理を実現する実施例について説明するが、その説明に先立って、本発明の理解の容易化のために、本発明の解決原理が適用される符号化装置の一般的な構成例を説明しておく。
【００７０】
図５は、本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図を示す。符号化制御部１により、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順序が制御され、これに対応してスイッチＳＷ１、ＳＷ２がピクチャ内符号化(intra)側あるいは、ピクチャ間符号化(inter)側に切りかえる。
【００７１】
符号化器２は、直交変換回路と量子化回路で構成される。これにより空間方向の圧縮と、データ構造によるデータ量削減が可能である。符号化器２からＭＰＥＧ符号化されたデータ列が出力される。
【００７２】
一方、符号化器２の出力は復号化器３に入力し符号化器２の符号化処理に対応する復号化処理が行われる。そして、復号化された画像データはフレームメモリ４に格納され、動き探索及び動き補償処理に用いられる。
【００７３】
動き探索器５は、図６に示す構成例であり、図２７に示した参照画の探索範囲にあるｍ個のマクロブロックのデータが各々入力されるｍ個の差分絶対値和演算回路５１〜５ｍと、ｍ個の差分絶対値和演算回路５１〜５ｍの出力を入力し、最小値を選択出力するための比較器５０を有する。
【００７４】
ここで、上記ｍ個のマクロブロックは、例えば１６×１６画素を一つのマクロブロックの単位として、参照画の探索範囲において、１画素ずつ横方向、縦方向にシフトして得られる。
【００７５】
差分絶対値和演算回路５１〜５ｍの各々の他の入力端には共通に、原画マクロブロックの各画素が入力される。
【００７６】
図６の差分絶対値和演算回路５１〜５ｍの構成は共通であり、その構成例ブロック図が図７に示される。図７において、一つのマクロブロックを構成する画素数Ｎに対応した数の差回路５１２〜５１Ｎ、絶対値演算回路５２１〜５２Ｎを有する。
【００７７】
さらに、絶対値演算回路５２１〜５２Ｎの出力を累積加算する累積加算器５０１を有する。ここで、上記のように、一つのマクロブロックを１６×１６画素で構成する場合は、Ｎは、２４６である。
【００７８】
図６において、比較器５０は、複数ｍ個のマクロブロックに対応する差分絶対値和加算回路５１〜５ｍの出力を入力し、最小値の差分絶対値和加算回路５１〜５ｍの出力を選択する。
【００７９】
すなわち、参照画探索範囲において最も原画マクロブロックと相関関係の深いマクロブロックを選択し、動き探索結果として動きベクトル（移動量）、差分絶対値和が出力される。
【００８０】
さらに、動き予測判定器６は、上記のように参照画と原画の差分絶対値和の最小値を出力するに当って、前方向にある即ち、過去の参照画との差分絶対値和の最小値、後方向にある即ち、未来の参照画との差分絶対値和の最小値及び、両方向の参照画との差分絶対値和の最小値を出力する。
【００８１】
さらに、参照画との差分絶対値和は、フレーム予測の場合のフレーム予測差分絶対値和と、フィールド予測の場合のフィールド予測差分絶対値和を出力する。
【００８２】
ここで、フレーム予測差分絶対値は、上記例では１６×１６画素差分絶対和最小値であり、フィールド予測差分絶対値は、奇ライン１６×８画素差分絶対値和最小値と遇ライン１６×８画素差分絶対値和の和である。
【００８３】
これらの差分絶対値が、動き予測判定器６に入力する。図８は、動き予測判定器６の構成例ブロック図である。前方予測、後方予測及び、両方向予測に対応して予測比較器６０，６１及び６２がある。それぞれの予測比較器は、フレーム予測差分絶対値とフィールド予測差分絶対値を比較して、小さい方を出力する。
【００８４】
一方、符号化制御部１による制御により、Ｐピクチャ符号化又は、Ｂピクチャ符号化の切替え選択が制御される。Ｐピクチャ符号化時は、予測比較器６０から選択されたフレーム予測差分絶対値又は、フィールド予測差分絶対値が予測結果として出力される。
【００８５】
また、Ｂピクチャ符号化の時は、予測比較器６３において、予測比較器６０，６１及び６２の出力が入力され、これらの最小値を選択して動き予測判定器６の出力として出力される。
【００８６】
ここで、動き予測判定器６における予測判定タイプと、動きベクトルを考えると、下記表２のとおりである。
【００８７】
【表２】
動き予測判定器６の出力は、ピクチャ間符号化の時、符号化制御部１によりスイッチＳＷ１が差回路７側に切換えられる。したがって、差回路７により入力画像データと動き予測判定器６の予測結果出力との差分が出力され、符号化器２に入力される。
【００８８】
次に、上記図５乃至図８の一般的符号化装置構成に対し、本発明の図１乃至図４において説明した本発明の解決原理を実現する構成を説明する。
【００８９】
図９は、本発明の第１の実施例として、上記本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。本発明は、図８の動き予測判定器６の構成に対し、更に別の予測比較器６４を設けている点に特徴を有する。
【００９０】
図９に示す実施例で実現されるフレームストラクチャ符号化は、図１において説明した本発明の第１の解決原理として、Ｂピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを追加したものである。
【００９１】
この予測モードを追加するために、シンタックス（データ列規則）上マクロブロック単位に追加ビットを必要とする可能性もある。したがって、この予測モードはピクチャ単位にオン/オフが可能な構成であることが有利である。
【００９２】
このための方法としては、これまでの動き予測で行っていた、フレーム予測やフィールド予測と同じ様に片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行う、１方向1ベクトルのフィールド予測の予測誤差も計算し、予測比較器６３で最小の予測誤差を示す動き予測を選択する。
【００９３】
なお、図９においてスイッチＳＷは、本発明の両方向予測を行うピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを採用するか否かにより切換えるために用意されている。
【００９４】
ここで、図９の実施例における予測タイプとベクトル本数について考察すると表３のようになる。
【００９５】
【表３】
表３において、両方向予測におけるフィールド予測は従来のものであり、表２におけると同様である。両方向予測におけるフィールド２の予測が本発明により追加されたものであり、一方向当り１本の動きベクトルであり、従って前／後方向予測につき２本の動きベクトルを有する。
【００９６】
図１０は、更に本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。図９の実施例に対し、追加された予測比較器６４の出力を予測比較器６３に常に入力するように構成される。
【００９７】
したがって、Ｂピクチャに対し、常に片フィールドは前方向フィールド予測結果から、他の片フィールドは後方向フィールド予測結果からの予測を項目に入れるようにした構成である。
【００９８】
上記のように本発明により、新しい予測モードとしてフィールド予測で動きベクトルが片方向あたり1本という予測モードが追加される。
【００９９】
表４は、ＭＰＥＧ−２でフレームストラクチャの予測モードを符号表（Table 6-17 Meaning of frame#motion#type:ISO/IEC 13818-2 (MPEG-2 Video)のframe#motion#typeの定義）である。
【０１００】
【表４】
ここで、予測モードの追加に対し、符号ビットを一つも増やさないで実現するためには、上記表３の予測タイプ（Prediction type）の“reserved”に割り当てられているコード“00”に、下記表５のように、この予測モードを割当ててやればよい。
【０１０１】
【表５】
ここで、追加するモードの中には、奇フィールド(top#field)が前方向予測、偶フィールド(bottom#foeld)が後方向予測である場合と、その逆である奇フィールド(top#field)が後方向予測、偶フィールド(bottom#foeld)が前方向予測である場合が考えられる。
【０１０２】
フレーム内フィールド間シーンチェンジ発生時の動き予測効率を上げるためには、入力時間で考えて前に存在するフィールドが前方向予測を行い、後に存在するフィールドが後方向予測を行えば良い。
【０１０３】
ＭＰＥＧ−２ではインターレース画像1フレームを構成するために、どちらのフィールドが時間的に先に存在するかは、Picture coding extensionに存在するtop#filed#first#flagという1ビットのフラグを参照すればよい。
【０１０４】
すなわち、top#filed#first#flag=1の場合は図１１Ａが該当し、奇フィールドが前方向予測を行う。反対に、top#field#first#flag =0の場合は図１１Ｂが該当し、偶フィールドが前方向予測を行うようにすれば良い。
【０１０５】
つまり、新しく追加するフィールド予測でどちらのフィールドが前方向予測を行うかは、Picture coding extensionに存在するtop#filed#first#flagで一意に決まるので、新たにフラグは設けなくてもよい。
【０１０６】
また、動きベクトルもフィールド予測であるが、ベクトルの数は片フィールドに対して１本ずつなので、あたかもフレーム予測のように送ることが可能である。
【０１０７】
上記第２の実施例では、ＭＰＥＧ−２のシンタックス上に追加ビットを何も必要としないので、この予測は常にオンとすることが好ましい。
【０１０８】
図１２は、本発明の第３の実施例を説明する図である。図１２の構成は、図９の構成に対し、スイッチＳＷの切換えをフィールドシーンチェンジ検出回路６５により制御するようにしたものである。
【０１０９】
今、上記第２の実施例説明に関連して、上記表３においてコード(code)欄の“００”が、なぜ“reserved”ビットになっているかは、２３ビットの０と１ビットの１を共通して持つ、ＭＰＥＧのスタートコードをユニークワードにするためであると思われる。
【０１１０】
したがって、新しい動き予測タイプを“００”に割当てることが不可能である場合は、“frame#motion#type”のビットを1ビット増やすか、新たなモード識別ビットを最低でも1ビット設けなければばらなくなる。
【０１１１】
この場合、動き予測はマクロブロック単位に行うので、例え追加ビットが1ビットであろうとも、ピクチャ当りに換算すると多大なビット量の増加になってしまう。尚且つ、そのビットの追加により効率が上がるのは、フレーム内フィールド間のシーンチェンジ発生ピクチャのみということは充分に考えられる。
【０１１２】
したがって、第３の実施例では、第１の実施例における追加動き予測モードのオン／オフフラグを設け、フレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合にそのフラフをオンにする。
【０１１３】
図１２に示すように、フィールドシーンチェンジ検出フラグを生成する回路としてシーンチェンジ回路６５を設ける。これにより、フィールドシーンチェンジが発生したＢピクチャでは、フィールド予測で片フィールドは前方向からの予測、もう片フィールドは後方向からの予測するという予測モードが追加される。
【０１１４】
このようにすることにより、フィールドシーンチェンジ発生でないＢピクチャでのモード追加による符号量の追加ビットは高々1ビットとなり、符号量の増加の抑制が可能となる。
【０１１５】
図１３は、本発明の第４の実施例を説明する図である。図５の構成に対し、符号化入力データ側にフレーム構造とフィールド構造の切換えを行なう切換え回路６６を設けている。切換え回路６６は、シーンチェンジ検出回路６５によりフレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合が検出された時、フレーム構造とフィールド構造の切換えを行なう。
【０１１６】
フィールド構造符号化を行うと、例えば、1枚目のフィールドピクチャでは前方向予測、もう一枚のフィールドピクチャでは後方向予測を行うことは可能となり、大幅に予測効率が落ちることはない。
【０１１７】
図１４は、図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。図において、画素番号は、フィールドをラスタースキャンした順番で、Ｎfieldは、フィールドの画素数を意味する。
【０１１８】
フィールド単位で現フィールドと前フィールドとの画素毎の差を求める差回路６５１〜６５Ｎ、差回路の出力の絶対値を求める絶対値回路６６１〜６６Ｎ、絶対値回路６６１〜６６Ｎの出力を累積加算する累積加算器６５０及び、累積加算器５０の出力を閾値ＴＨと比較判定する閾値判定回路６６０を有して構成される。
【０１１９】
すなわち、１フィールド分の差分絶対値の累積加算値が閾値ＴＨを超えたときに識別判定回路６６０から識別判定出力が生成される。
【０１２０】
図１５は、更にかかる識別判定回路６６０からの識別判定出力に基づきフィールドシーンチェンジを検出する、シーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。図１６は、図１５のアルゴリズムにおける第1フィールドＦ１と第２フィールドＦ２の関係を示す図である。
【０１２１】
この図１６を参照して図１５のアルゴリズムを説明すると、top#field#first#flagの値によって決まる第１フィールドＦ１でシーンチェンジの有無を検出する（ステップＳ１）。第１フィールドＦ１でシーンチェンジが検出されない場合、第２フィールドＦ２でシーンチェンジの有無を検出する（ステップＳ２）。
【０１２２】
この時、ステップＳ２の判断でシーンチェンジがある場合、図１６に示すように第１フィールドＦ１と第２フィールドＦ２間でシーンチェンジがあることになる。したがって、この場合は、フィールドシーンチェンジＦＩＣであると判断される。
【０１２３】
また、ステップＳ２の判断でシーンチェンジがない場合、シーンチェンジでないと判断される（ステップＳ５）。
【０１２４】
ステップＳ１で、シーンチェンジがある場合、次に第２フィールドでシーンチェンジの有無が判断される（ステップＳ４）。第２フィールドでシーンチェンジがない場合は、シーンチェンジでないと判断される（ステップＳ５）。第２フィールドでシーンチェンジがある場合は、図１６に示すように、第１フィールドに跨ってシーンチェンジがあることになるので、この場合は、フレームシーンチェンジＦＲＣであると判断する（ステップＳ６）。
【０１２５】
図１７は、本発明の第５の実施例を説明する図である。この実施例は、動き予測モードを制限することに特徴を有する。
【０１２６】
先に第３の解決原理として説明した、フレーム内フィールド間シーンチェンジが発生した場合で、かつ当該ピクチャがＢピクチャである場合に符号化画面を前後どちらかの参照画面と同一データとして符号化を行うことを実現する実施例である。
【０１２７】
図１７の実施例では、動きベクトル予測方向を片方向固定、フレーム予測固定、動きベクトルを０ベクトルに固定し、かつ符号化係数情報も送らないように符号化制御を行う構成である。
【０１２８】
このようにすることにより、図３で説明した解決原理に対応して、符号化ピクチャを参照ピクチャのローカルデコード画面と同一データとして符号化出来る。動きベクトルを固定にするのは、全て動きモード検出を行った後でも可能であり、このモードに入った場合には、動き予測モードの演算全てを行わないようにすることも可能である。
【０１２９】
かかる構成により、符号化効率が極端に悪くなることを防ぐことが可能である。この場合、符号化ピクチャを、シーンチェンジの前もしくは後の参照ピクチャのどちらかと同一と見做して符号化を行うので、実際は、片フィールドはシーンチェンジ前もしくはシーンチェンジ後の全く違う画像を符号化していることになる。
【０１３０】
また、同一データと見做す参照ピクチャは、シーンチェンジ発生ピクチャに入力時間でより近い参照ピクチャを用いる方が良いと思われるが、必ずしもこれに限られない。
【０１３１】
また、シーンチェンジ発生ピクチャと参照ピクチャの間に別のＢピクチャが存在する場合は、当該Ｂピクチャも参照ピクチャと同じデータとして見做した方がより視覚的、符号化効率的に好ましい。
【０１３２】
図１８は、本発明の第６の実施例を説明する図であり、符号化入力データを切換える点に特徴を有する。図１８の構成において、データ入力側にフレームメモリ読出し回路６７を設け、上記図１７の実施例における参照ピクチャと同一データとして見做す方法として、入力画面から符号化データを設定する時に、同一データと見做したい方の参照ピクチャを設定する。
【０１３３】
図１９は、図１８のフレームメモリ読出回路６７の構成例である。なお、図１９では、フィールド１の入力に対する読出回路が示されるが、フィールド２についても同様構成であるので、図示省略されている。
【０１３４】
シーンチェンジ検出回路６５からのシーンチェンジ検出信号により切換えられるスイッチＳＷを有し、Ｂピクチャであって、フィールドシーンチェンジの時、スイッチＳＷにより、前参照ピクチャ又は後参照ピクチャと同一データが読み出される。カウンタ６７０は、Ｉ，Ｐ，Ｂピクチャ切換えタイミングを生成する。
【０１３５】
ここで、一般にＭＰＥＧ−２では、原画同士を用いて動き探索を行うので、参照ピクチャの原画は、メモリに蓄えられていると考えられる。また、動き補償後の予測画像は、参照ピクチャを一度エンコード/デコードした結果のローカルデコード画像を用いて行う。このため、復号化された参照ピクチャもメモリに蓄えていると考えられる。
【０１３６】
従って、ここで原画ピクチャとして設定する参照ピクチャは、原画/ローカルデコード画のどちらも設定可能である。また、符号化画面を変更しているので、図１７の実施例に示す符号化方法の制限は特に必要としない。
【０１３７】
ここで、図１７、図１８の実施例における符号化では、参照ピクチャと同じデータを用いるので当該ピクチャでは殆ど情報量が発生しない。このため、情報量をＧＯＰ内の他のピクチャに割当てる事が可能となるという効果もある。
【０１３８】
図２０は、本発明の第７の実施例を説明する図である。この実施例では本発明を必ずしも符号化装置とリンクしないで適用可能とするものである。すなわち、一般的な用途に適用可能な入力画像切換え装置として適用可能である。
【０１３９】
１フレームを構成するフィールド１及び、フィールド２のデータを入力し、それらの間でシーンチェンジがある場合、即ち、フレーム内フィールド間シーンチェンジ発生をシーンチェンジ検出回路６５が検出する。
【０１４０】
シーンチェンジ検出回路６５は、フィールドシーンチェンジの発生を検知した時、スイッチ切換え信号を発生し、スイッチＳＷを端子１側に切換え、フィールド１と同一のデータをフィールド２に対し出力する。
【０１４１】
このように、フィールドシーンチェンジが検出される場合、該当のフレームでは、フィールドをレピートさせて入力フレームをつくり変える。片フィールドをレピートすることにより、図４に説明した解決原理に従い、フレーム内フィールド間シーンチェンジの位置を、擬似的にフレーム間シーンチェンジに変更することが出来る。
【０１４２】
図２１は、本発明の第８の実施例を説明する図である。この実施例は、図２０の実施例を符号化装置に適用した構成である。図２１の前処理回路６８として、図２０の実施例が適用される。
【０１４３】
図２２は、図２１における前処理回路６８の構成例である。シーンチェンジ検出回路６５により、フィールドシーンチェンジ検出が行われると、スイッチＳＷによりフィールド２に対し、フィールド１のデータをレピートして出力する様に構成されている。なお、カウンタ６７０の機能は、図１９の実施例において説明したと同様である。
【０１４４】
この実施例による符号化の実際においては、符号化効率が悪くなるＢピクチャでのフレーム内フィールド間シーンチェンジで処理を行う。シーンチェンジがフレーム間シーンチェンジならば、入力時間的にシーンチェンジの直後の参照ピクチャを、Iピクチャもしくはピクチャ内符号化を行う様にするだけで、Ｂピクチャは前後参照ピクチャから効率良く予測符号化を行うことが出来る。
【０１４５】
符号化画像を実際の入力画像と異なる画像として符号化を行うという意味では、図１８の実施例と考え方は似ているが、図２１の実施例では、フィールド間でシーンチェンジが発生した場合に、フレームを参照ピクチャと置き換えるのではなく、図４で説明したように入力原画で片フィールドレピートすることによりフレーム内の両フィールドを同一データにしている。
【０１４６】
図２３は、先に図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。
【０１４７】
復号化器１００の出力がスイッチＳＷの切換えで直接に又は、加算器１０１により動き補償信号と加算された信号が、復号化信号として出力される。
【０１４８】
動き補償信号を生成するために、前画メモリ１０２、後画像メモリ１０３を有し、更に前方向動き補償回路１０４、両方向動き補償回路１０５及び後方向動き補償回路１０６を有する。
【０１４９】
図２３において、メモリ１０２，１０３から読み出されるデータについて、実線矢印は、フレーム予測の場合であり、破線矢印はフィールド予測の場合である。そして、これらの種類は、マクロブロック毎に切換えられる。
【０１５０】
ここで、符号化装置から出力されるＭＰＥＧストリーム中のマクロブロック（ＭＢ）情報は、ＭＢの位置、前方向、後方向又は両方向予測を区別する予測タイプ、動きベクトル及び、符号化係数情報を含んでいる。
【０１５１】
現在のＭＰＥＧ−２規格ではフレーム構造符号化時の動きベクトルの本数は、表１に示したように、フレーム予測の場合は片方向１本で、フィールド予測の場合は片方向２本となっている。
【０１５２】
この場合のストリーム上のデータは以下のようになっている
片(前又は後)方向予測のフレーム予測場合は、
予測タイプ＋動きベクトル１
片(前又は後)方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２
上記の動きベクトル１は、top#field(奇フィールド)のベクトル、動きベクトル２は、bottom#field(偶フィールド)のベクトルである。
【０１５３】
両方向予測のフレーム予測場合、
予測タイプ＋動きベクトル１＋動きベクトル２
であり、動きベクトル１は、forward#frameベクトル、動きベクトル２は、backward#frameベクトルである。
【０１５４】
さらに、両方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２＋動きベクトル３＋動きベクトル４
である。動きベクトル１は、forward#top#fieldベクトル、動きベクトル２は、forward#bottom#fieldベクトル、動きベクトル３は、backward#top#fieldベクトル、動きベクトル４は、backward#bottom#fieldベクトルである。
【０１５５】
本発明に従う両方向フィールド予測は、動きベクトルが片方向１本で
予測タイプ＋動きベクトル１＋動きベクトル２
である。動きベクトル１はforward#fieldベクトル、動きベクトル２はbackward#fieldベクトルである。
【０１５６】
これには、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルと動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの２通りの取り方が存在するが、それをtop#field#first#flagでどちらか判断する。
【０１５７】
図２４は、図１１と同様の説明図であるが、top#field#first#flagで判断される動きベクトル１及び、動きベクトル２の態様を示す図である。すなわち、top#field#first#flag＝１の場合は、図２４Aに示すように、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルの場合である。
【０１５８】
一方、top#field#first#flag＝０の場合は、図２４Bに示すように、動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの場合である。
【０１５９】
図２５は、図２３の両方向動き補償回路１０５の構成例ブロック図である。
【０１６０】
フレーム予測である場合は、加算回路２５１と１／２回路２５２により、前画像メモリ１０２と後画像メモリ１０３から、各々動きベクトルに相当する位置のフレーム構成のマクロブロックを読み出し、それらの加算の１／２を計算して出力する。
【０１６１】
フィールド予測の場合は、4本の動きベクトルの位置に相当する前画像奇フィールド１／２マクロブロック、前画像偶フィールド１／２マクロブロック、後画像奇フィールド１／２マクロブロック及び、後画像偶フィールド１／２マクロブロックの４つの１／２マクロブロックをメモリ１０２、１０３から読み出す。
【０１６２】
次いで、加算回路２５３と１／２回路２５４により、前画像の奇フィールド１／２マクロブロックと、後画像の奇フィールド１／２マクロブロックを入力し、それらの加算の１／２を計算して出力する。
【０１６３】
また、加算回路２５５と１／２回路２５６により、前画像偶フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックを入力し、それらの加算の１／２を計算して出力する。
【０１６４】
さらに、本発明に従うフィールド予測の場合は、上記top#field#first#flagに基ずき２本の動きベクトルに相当する前画像奇フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックの組み合わせあるいは、前画像偶フィールド１／２マクロブロックと後画像奇フィールド１／２マクロブロックの組み合わせのいずれをメモリ１０２、１０３から読み出すかを決定する。決定された組み合わせが選択回路２５７からマクロブロックとして出力される。
【０１６５】
【発明の効果】
以上説明したように、本発明によれば、フレームストラクチャ符号化時にＢ-ピクチャで、かつフレームピクチャの切れ目でない所でシーンチェンジ検出が発生した場合でも、予測効率の劣化しない効率的な符号化を行うことができる。
【０１６６】
上記各実施例において、ハードウェアブロックの構成で動作を説明してきたが、本発明はハ−ドウェアに限定されず、対応する機能をソフトウェアで実現することも可能である。
【０１６７】
さらに、上記各実施例は本発明の理解のために例示されたものであり、本発明の保護の範囲はこれら限定されない。本発明思想から離れるものでない限り、特許請求の範囲に記載の構成と均等であるものも本発明の保護の範囲に含まれるものである。
【図面の簡単な説明】
【図１】本発明の第１の解決原理を説明する図である。
【図２】本発明の第２の解決原理を説明する図である。
【図３】本発明の第３の解決原理を説明する図である。
【図４】本発明の第４の解決原理を説明する図である。
【図５】本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図である。
【図６】図５の構成における動き探索器５の構成例を示すブロック図である。
【図７】図６の差分絶対値和演算回路５１〜５ｍの構成例ブロック図である。
【図８】動き予測判定器６の構成例ブロック図である。
【図９】本発明の第１の実施例として、本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。
【図１０】本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。
【図１１】奇フィールド及び偶フィールドの位置関係を説明する図である。
【図１２】本発明の第３の実施例を説明する図である。
【図１３】本発明の第４の実施例を説明する図である。
【図１４】図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。
【図１５】図１３のシーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。
【図１６】図１５のアルゴリズムに置ける第１フィールドＦ１と第２フィールドの関係を示す図である。
【図１７】本発明の第５の実施例を説明する図である。
【図１８】本発明の第６の実施例を説明する図である。
【図１９】図１８のフレームメモリ読出回路６７の構成例である。
【図２０】本発明の第７の実施例を説明する図である。
【図２１】本発明の第８の実施例を説明する図である。
【図２２】図２１における前処理回路６８の構成例である。
【図２３】図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。
【図２４】本発明のフィールド予測においてtop#filed#first#flagの意義を説明する図である。
【図２５】図２３の両方向動き補償回路１０５の構成例ブロック図である。
【図２６】ピクチャを説明する図である。
【図２７】Ｂピクチャを用いて符号化する場合のピクチャタイプの変更を説明する図である。
【図２８】シーンチェンジＳＣが検出された場合の直後のピクチャをＩピクチャ等のピクチャ内符号化を使って符号化するという方法を説明する図である。
【図２９】Ｉピクチャの頻度を出来るだけ増加させない為に、シーンチェンジが発生する時Ｉピクチャの固定間隔周期のカウント値をリセットする方法を説明する図である。
【図３０】ピクチャでシーンチェンジが発生した場合、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化する方法を説明する図である。
【図３１】図２９における問題点を説明するための図である。
【符号の簡単な説明】
１ 符号化制御部
２ 符号化器
３ 復号化器
４ フレームメモリ
５ 動き探査器
６ 動き予測判定器
７ 差回路
ＳＷ スイッチ
６０〜６４ 予測比較器
【発明の属する技術分野】
本発明は、通信・放送・蓄積・コンピュータなどの様々な分野で用いられている、ディジタル画像システムやアプリケーション及び、画像データベースに適用される動画像符号化方法及び、これを用いた装置に関する。特に、シーンチェンジを含む画像データを符号化する場合に有利である動画像符号化方法及び、これを用いた装置に関する。
【０００２】
【従来の技術】
一般に動画像は、それ自体持っている情報量が莫大である。そのために動画像の符号化に際しては、直交変換［離散コサイン変換(Discrete Cosine Transform)］処理や可変長符号化を利用して空間方向の冗長度を落とすことが行われる。さらに、時間的に前後の画面との差分を採り差分情報を符号化することにより時間方向の冗長度も落としている。
【０００３】
ここで、以降の説明の理解のために画像の構成について説明しておく。
【０００４】
１枚の画面（フレーム）を１ラインおきに走査し、奇ラインのみで構成される奇フィールドと、偶ラインのみで構成される偶フィールドの２枚のフィールドで構成するインタレース画像が、現行ＴＶフォーマット（日米はＮＴＳＣ：National Television System Committee, 欧州はＰＡＬ：Phase Alternation by Line等）において用いられている。
【０００５】
ＭＰＥＧ−２（Moving Picture Experts Group）は、インタレース画像の符号化にも対応した符号化方式であり、ピクチャ構造及び、ピクチャ間動き予測等でフレーム／フィールドを意識した符号化を行なっている。以下これらについて説明する。
【０００６】
ＭＰＥＧ−２では、ピクチャとしてフレームを割り当てることも、フィールドを割り当てることもできる。ピクチャにフレームを割り当てられた場合をフレーム構造（ストラクチャ）といい、フィールドを割り当てた場合をフィールド構造（ストラクチャ）という。符号化は、ピクチャをマクロブロック（ＭＢ）単位に行われる。
【０００７】
図２６において、フレームストラクチャのマクロブロックＭＢ１、フィールドストラクチャの奇フィールドのマクロブロックＭＢ２及び、偶フィールドのマクロブロックＭＢ３が示される。各マクロブロック（ＭＢ）は、例えば、１６×１６画素で構成される。
【０００８】
ＭＰＥＧ−２では、更にインタレース画像を符号化するのに適したフレーム予測とフィールド予測があり、動きべクトルはフレーム予測に対して1本、フィールド予測に対して２本用いられる。
【０００９】
ここで上記の時間方向の冗長度削減の方法として、ピクチャ間の予測をどの範囲まで用いるかによって、大きく次の３つの符号化方法に分けることが出来る。
【００１０】
第１はピクチャ内で符号化を行う（ピクチャ内符号化）方法であり、第２は、前方向からのピクチャ間予測も用いて符号化を行なう（ピクチャ間順方向予測符号化）方法である。さらに、第３は、更に後方向及び、前方向を組み合わせた両方向ピクチャ間予測も用いて符号化を行なう（双方向予測符号化）方法である。
【００１１】
上記第１の符号化方法でのピクチャをＩピクチャ（Intra-Picture）、第２の方法でのピクチャをＰピクチャ（Predictive-Picture）、第３の符号化方法でのピクチャをＢピクチャ（Bidirectionally predictive-Picture）と呼ばれる。
【００１２】
また、各タイプのピクチャが他のピクチャからピクチャ間予測の参照画として使われるか否かという点で考えると、ＩピクチャやＰピクチャは参照されるが、Ｂピクチャは参照されない。そこで、ＩピクチャとＰピクチャをまとめて参照ピクチャを呼ぶことにする。
【００１３】
さらに、動画像の各ピクチャ間は時間的相関度が大きいため、前方ピクチャとの相関を利用したＰピクチャはＩピクチャよりも冗長度を落とすことが可能である。また、後方ピクチャとの相関を利用したＢピクチャはＰピクチャよりも冗長度を落とすことが可能である。
【００１４】
すなわち、同画質時のピクチャの情報量を見るとＩピクチャ＞Ｐピクチャ＞Ｂピクチャという関係になっている。また、参照ピクチャは、少なくとも他のピクチャからの動き予測に使われ、予測画面を生成する元になりうるので、出来るだけ高画質である事が望まれる。
【００１５】
その意味からも情報量は、参照ピクチャ>非参照ピクチャであることが望ましい。
【００１６】
しかしながら、情報量が少ないＰピクチャやＢピクチャばかりを用いて符号化を行えば効率が良いとは言えない。なぜならば、エラー等が発生した場合は、ＰピクチャやＢピクチャのピクチャ間符号化では、エラーが時間方向に伝搬してしまう。
【００１７】
このため不都合が生じるので周期的にIピクチャでリフレッシュすることが望ましい。実際には、Ｂピクチャを用いて符号化する場合は、図２７に示すように、ピクチャタイプを変更して符号化を行うのが一般的である。
【００１８】
以降説明する図面においても同様であるが、図２７において、ＢはＢピクチャ、ＩはＩピクチャ、ＰはＰピクチャを示す。また、ピクチャ間予測の矢印は、矢印の根元のピクチャを用いて矢印の先のピクチャの予測画面を生成するという意味である。
【００１９】
ちなみに、図２７の例ではＧＯＰ（Group of Pictures）サイズが１２ピクチャ即ち、Ｉピクチャでのリフレッシュが１２ピクチャ毎に行われる。そして、各参照ピクチャ間の距離が３ピクチャとなっている。
【００２０】
さらに、ピクチャ間予測は、先に説明したようにピクチャをいくつかのブロックに分割したマクロブロック単位に行われる、符号化ピクチャのマクロブロックを参照ピクチャの同じ大きさのブロックと画素単位の差分量を求める。
【００２１】
そして、その累積和を予測誤差として最も予測誤差が小さいブロックを取り予測画面を生成する。次いで、符号化マクロブロックとの差分情報を符号化する。差分量としては、単純な画素差分の絶対値和や画素差分の二乗和などが用いられる。
【００２２】
ここで、Ｉピクチャを多用した場合は同じシーン（場面）を同画質で符号化するので、符号化情報量が増大し好ましくない。固定レートで符号化を行う場合は、その分ピクチャ単位の情報量割り当てが少なくなり画質が悪くなるということになる。
【００２３】
しかしながら、シーンチェンジ（場面変更）等のピクチャ間の相関が低い場合は、ピクチャ間予測を使うと予測効率が悪く、場合によっては、ピクチャ内符号化を行う場合よりも、画質が悪くなるということもある。
【００２４】
したがって、かかる不都合に対する対策として、ある固定間隔毎にＩピクチャで符号化を行う場合であっても、図２８に示すようにシーンチェンジＳＣが検出された場合、その直後のピクチャでは、Ｉピクチャ等のピクチャ内符号化を使って符号化するという方法が提案されていた。
【００２５】
この方法では、シーンチェンジが発生する度に、Ｉピクチャやピクチャ内符号化を行うピクチャが発生するので、やはりその分の符号化情報量が増大するので好ましくない。
【００２６】
また、Ｉピクチャの頻度を出来るだけ増加させない為に、図２９に示すように、シーンチェンジが発生すると、これまでのＩピクチャの固定間隔周期のカウント値をリセットする。そして、リセット時のピクチャから、再びＧＯＰの再構成をして、固定間隔周期のＩピクチャ(例えば、ＧＯＰサイズ＝１２)で符号化するという方法がある。
【００２７】
あるいは、図３０に示す様にＢピクチャでシーンチェンジが発生した場合は、そのＢピクチャでなく、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化にして、前後の参照ピクチャからのピクチャ間予測を用いて行うという方法も考えられる。
【００２８】
しかし、図３０に示す例の場合では、特に入出力機器まで含めてリアルタイムに符号化処理をハードウェアで実現することを想定すると、参照ピクチャの現れる周期が全く検討がつかない。したがって、参照ピクチャが固定周期で現れる場合に較べ、ピクチャのメモリ管理が困難となる。
【００２９】
また情報量割り当ての面から見ても、ＢピクチャからＩピクチャに変更するより、ＰピクチャからＩピクチャへの変更の方が、情報量割り当ての大幅な変動がないという面でストリームバッファがアンダーフローやオーバーフローの状態になり難い。結果として、図３０の方法が好ましいと思われる。
【００３０】
しかしながら、図３０に示すような制御方法でも以下の様な問題がある。
【００３１】
ここで、図３１は、かかる図３０における問題点を説明するために用意された図である。説明の容易化のために符号化ピクチャであるＢピクチャと前方向参照ピクチャ、後方向参照ピクチャ以外は示されていない。
【００３２】
一般にフレームをピクチャとして符号化を行うフレームストラクチャの場合は、ピクチャ間予測として、フレーム間予測とフィールド間予測が行われる。
【００３３】
さらに詳しく説明すると、フレーム予測の中で、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。フィールド間予測の中でも同様に、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。
【００３４】
図３１に示した動きベクトルの参照番号の中で、番号５、１０がフレームベクトルである。番号１、２、３、４、６、７、８、９がフィールド予測である。なお、図３１において、左フィールドが奇数フィールドであり、右フィールドが偶フィールドとして示している。
【００３５】
フレーム予測で前方向予測を用いる場合に選択されるベクトルは番号５で、後方向予測を用いる場合に選択されるベクトルは番号１０のベクトルである。両方向予測を用いる場合は、番号５と１０の両方のベクトルが用いられる。
【００３６】
一方、フィールド予測では、奇偶各々のフィールド毎に動きベクトルを用いて予測画面を生成する。
【００３７】
前方向予測の場合は、Ｂピクチャの奇フィールドは番号１又は２の動きベクトルを用いて予測画面を生成し、偶フィールドは番号３又は４の動きベクトルを用いて予測画面を生成する。
【００３８】
同様に後方向予測の場合は、奇フィールドは番号６又は７の動きベクトルを用い、偶フィールドは番号８又は９の動きベクトルを用いる。両方向予測の場合は、奇フィールドは番号１又は２の動きベクトルを用いて生成された前方向予測画面と、番号６又は７の動きベクトルも用いて生成された後方向予測画面を組み合わせて参照画面を生成する。
【００３９】
偶フィールドは番号３又は４の動きベクトルを用いて生成された前方向予測画面と、番号８又は９の動きベクトルを用いて生成された後方向予測画面を組み合わせて参照画面を生成する。
【００４０】
以上が、現在ＭＰＥＧ−２などの動画像符号化方式で用いられている動き予測の方法である。しかしがら、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生した場合は、現在の動画像符号化方式のアルゴリズムでは、フレーム構造符号化を行っている限り、フィールド予測で片フィールドは前方向予測、もう片フィールドは後方向予測を行うことは不可能である。
【００４１】
このために、当該ピクチャにおいて符号化効率が極端に低下し、画質の劣化が顕著となる。また、ピクチャ間で予測が当たらないためにＢピクチャでピクチャ内符号化を行うマクロブロックが増えるのであれば、直後の参照ピクチャをＩピクチャやピクチャ内符号化で行うという意味もなくなってしまう。
【００４２】
【発明が解決しようとする課題】
したがって、本発明の目的は、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生するようなピクチャが存在する場合であっても符号化効率や画質の良い符号化を実現できる動画像符号化方法および装置を提供することにある。
【００４３】
また、本発明の目的は、予測モードの追加や、符号化方式の切換えや入力データの切換え等を適切に行うことにより、符号化効率や画質の良い動画像符号化方法及び装置を提供することにある。
【００４４】
【課題を解決するための手段】
上記の課題を達成する本発明の動画像符号化方法及び装置は、第１の構成として、インターレース画像の入力信号のフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方のピクチャから予測を行い符号化を行うピクチャを有する動画像符号化を行なう方法及び装置であって、
前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に該フレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、予測モードとして、片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を用いるかをピクチャ単位に選択切り換え、この選択された予測モードに対応する予測画像を生成し、生成された予測画像を用いて前記入力信号を符号化することを特徴とする。
【００４５】
第２の構成として、前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に該フレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、予測モードとして、片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を常に用い、前記予測モードに対応する予測画像を生成し、生成された予測画像を用いて入力信号を符号化することを特徴とする。
【００４６】
さらに第１の構成において、前記入力信号の画像のシーンチェンジを、前記フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、前記入力信号の画像に前記フレームのフィールド間にシーンチェンジが存在するピクチャに関し、片フィールドは前方向フィールド動きベクトルから、他の片フィールドは後方向フィールド動きベクトルからの予測を選択項目とすることを特徴とする。
【００４７】
また、第４の特徴として、インターレース画像を入力信号とし、マクロブロックを単位として符号化を行なう動画像符号化方法及び装置であって、前記入力信号の画像のシーンチェンジを、フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつ前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに対し、前記入力信号の画像のフィールドをピクチャとして符号化することを特徴とする。
【００４８】
第５の特徴として、インターレース画像を入力信号とし、マクロブロックを単位として符号化を行なう動画像符号化方法及び装置であって、前記入力信号の画像のシーンチェンジを、フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつ前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに対し、前記前方向ピクチャもしくは後方向ピクチャと同一データとして符号化することを特徴とする。
【００４９】
さらに、第６の特徴として第５の特徴において、前記ピクチャを前方向参照ピクチャもしくは後方向参照ピクチャと同一データとする符号化は、符号化予測方向を片方向フレーム予測に固定し、動きベクトルを常に０にし、更に、符号化差分情報を常に０にして行なう
ことを特徴とする。
【００５０】
さらにまた、第７の特徴として第５の特徴において、前記ピクチャを前方向参照ピクチャもしくは後方向参照ピクチャと同一データとする符号化は、符号化原画ピクチャ設定時に前方向参照ピクチャもしくは後方向参照ピクチャを、現画面ピクチャとして設定することを特徴とする。
【００５１】
また、第８の特徴としてインタレース画像を入力信号として入力する方法及び装置において、前記入力信号の画像のシーンチェンジを該画像のフレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、前記入力信号の画像にフレーム内フィールド間のシーンチェンジが存在するピクチャに関し、片フィールドを繰り返し出力することを特徴とする。
【００５２】
第９の特徴として、インターレース画像の入力信号のフレームをピクチャとし、マクロブロックを単位として符号化を行なう方法及び装置において、前記入力信号の画像のシーンチェンジをフレームの画素スキャンの奇数又は、偶数で分けたフィールド単位で検出し、時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャから予測を行なうピクチャで、且つ該入力信号にフレーム内フィールド間のシーンチェンジが存在する場合、該ピクチャの片フィールドを繰り返し出力することを特徴とする。
【００５３】
第１０の特徴として、上記第１乃至第３の特徴のいずれかにおいて、符号化された動画像符号化に対応し、片フィールドは前方向フィールド動きベクトルから、他の片フィールドは後方向フィールド動きベクトルからの予測に対応する動き補償を行なうことを特徴とする。
【００５４】
本発明の更なる特徴は、以下の図面に従う発明の実施の形態の説明から明らかになる。
【００５５】
【発明の実施の形態】
以下図面に従い、本発明の実施の形態を説明する。なお、図において、同一又は、類似のものには同一の参照番号又は、参照記号を付して説明する。
【００５６】
図１は、本発明の第１の解決原理を説明する図である。図において、Ｐ，Ｂ，ＩはそれぞれＰピクチャ、Ｂピクチャ及びＩピクチャを示すことは、先の図２６乃至図３１で説明したと同様である。
【００５７】
図１の解決原理の特徴は、フレーム構造符号化時のＢピクチャ時において予測モードを追加する点にある。一方の片フィールドは前方向予測、他方の片フィールドは後方向予測という予測を行うことを可能とすれば、効率良く予測を行うことが可能である。
【００５８】
図１において、図３１との比較により明確なように、奇フィールドのＢピクチャは前方向予測を行ない、偶フィールドのＢピクチャは後方予測を行なっている。すなわち、奇フィールドは１又は２の動きベクトル、偶フィールドは８又は９の動きベクトルを使った予測が可能である。
【００５９】
さらに符号化において、動き予測モードを追加した場合には、その追加した予測モードが含まれていても復号出来る復号方式を用意することは必要である。
【００６０】
次に、本発明に従う第２の解決原理は予測モードを追加しない方法である。図２は、本発明の第２の解決原理を説明する図である。少なくとも該当のフレーム内フィールド間でシーンチェンジが検出されたＢピクチャでは、そのフレームは２枚のフィールドピクチャとしてフィールド構造符号化を行うという方法である。
【００６１】
すなわち、図２に示されるように、Ｂピクチャの奇／遇フィールド間でシーンチェンジを検出した場合には、このＢピクチャの奇／遇フィールドは、２枚のフィールドピクチャとして符号化処理を行なう。
【００６２】
このようにすると、２つのフィールドの片フィールドは前方向予測、他の片フィールドは後方向予測というピクチャ間予測が可能になり効率良く予測を行うことが可能になる。
【００６３】
さらに、第３の本発明の解決原理として、予測モードも追加せずに、ピクチャ構造も変更しない場合である。この場合は、効率的なピクチャ間予測を行うことは困難であるので、符号化ピクチャを前方向もしくは、後方向の参照画面にピクチャ間予測で貼り付けたり、入力信号を操作して実際の原画とは違う画面として符号化する。
【００６４】
これにより符号化効率を落とさない符号化を可能にする。例えば、図３に示す様に、少なくともフレーム内フィールド間でシーンチェンジが発生したピクチャ（図３ではピクチャＢ）において、そのピクチャを前方向参照画、もしくは後方向参照画と同一データとなるように符号化画面を符号化する。
【００６５】
図３の場合は、前方向参照ピクチャと同一データとなるように符号化を行っている。すなわち、表１に示すように、ピクチャＢの入力の符号化では、ピクチャＡと同一データとなるように符号化を行っている。ただし、特に一連するＢピクチャが複数枚存在する場合は、より近い参照ピクチャと同一データと見做すことが好ましい。
【００６６】
【表１】
【００６７】
実際の符号化画像とは違う画面として符号化する方法としては、本発明に従う更に別の方法がある。図４に示す様にフレーム内フィールド間でシーンチェンジを検出した場合には、当該のフレームはそのピクチャの片方のフィールドを繰り返すという方法である。
【００６８】
これにより繰り返えされた後のシーンでは、シーンチェンジを、フレーム単位に変更することが出来る。このために、符号化効率が高くなる。この片フィールドを繰り返すという方法は、特に符号化に関係なく入力データだけを見て行うことも可能である。
【００６９】
次に上記の本発明の解決原理を実現する実施例について説明するが、その説明に先立って、本発明の理解の容易化のために、本発明の解決原理が適用される符号化装置の一般的な構成例を説明しておく。
【００７０】
図５は、本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図を示す。符号化制御部１により、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順序が制御され、これに対応してスイッチＳＷ１、ＳＷ２がピクチャ内符号化(intra)側あるいは、ピクチャ間符号化(inter)側に切りかえる。
【００７１】
符号化器２は、直交変換回路と量子化回路で構成される。これにより空間方向の圧縮と、データ構造によるデータ量削減が可能である。符号化器２からＭＰＥＧ符号化されたデータ列が出力される。
【００７２】
一方、符号化器２の出力は復号化器３に入力し符号化器２の符号化処理に対応する復号化処理が行われる。そして、復号化された画像データはフレームメモリ４に格納され、動き探索及び動き補償処理に用いられる。
【００７３】
動き探索器５は、図６に示す構成例であり、図２７に示した参照画の探索範囲にあるｍ個のマクロブロックのデータが各々入力されるｍ個の差分絶対値和演算回路５１〜５ｍと、ｍ個の差分絶対値和演算回路５１〜５ｍの出力を入力し、最小値を選択出力するための比較器５０を有する。
【００７４】
ここで、上記ｍ個のマクロブロックは、例えば１６×１６画素を一つのマクロブロックの単位として、参照画の探索範囲において、１画素ずつ横方向、縦方向にシフトして得られる。
【００７５】
差分絶対値和演算回路５１〜５ｍの各々の他の入力端には共通に、原画マクロブロックの各画素が入力される。
【００７６】
図６の差分絶対値和演算回路５１〜５ｍの構成は共通であり、その構成例ブロック図が図７に示される。図７において、一つのマクロブロックを構成する画素数Ｎに対応した数の差回路５１２〜５１Ｎ、絶対値演算回路５２１〜５２Ｎを有する。
【００７７】
さらに、絶対値演算回路５２１〜５２Ｎの出力を累積加算する累積加算器５０１を有する。ここで、上記のように、一つのマクロブロックを１６×１６画素で構成する場合は、Ｎは、２４６である。
【００７８】
図６において、比較器５０は、複数ｍ個のマクロブロックに対応する差分絶対値和加算回路５１〜５ｍの出力を入力し、最小値の差分絶対値和加算回路５１〜５ｍの出力を選択する。
【００７９】
すなわち、参照画探索範囲において最も原画マクロブロックと相関関係の深いマクロブロックを選択し、動き探索結果として動きベクトル（移動量）、差分絶対値和が出力される。
【００８０】
さらに、動き予測判定器６は、上記のように参照画と原画の差分絶対値和の最小値を出力するに当って、前方向にある即ち、過去の参照画との差分絶対値和の最小値、後方向にある即ち、未来の参照画との差分絶対値和の最小値及び、両方向の参照画との差分絶対値和の最小値を出力する。
【００８１】
さらに、参照画との差分絶対値和は、フレーム予測の場合のフレーム予測差分絶対値和と、フィールド予測の場合のフィールド予測差分絶対値和を出力する。
【００８２】
ここで、フレーム予測差分絶対値は、上記例では１６×１６画素差分絶対和最小値であり、フィールド予測差分絶対値は、奇ライン１６×８画素差分絶対値和最小値と遇ライン１６×８画素差分絶対値和の和である。
【００８３】
これらの差分絶対値が、動き予測判定器６に入力する。図８は、動き予測判定器６の構成例ブロック図である。前方予測、後方予測及び、両方向予測に対応して予測比較器６０，６１及び６２がある。それぞれの予測比較器は、フレーム予測差分絶対値とフィールド予測差分絶対値を比較して、小さい方を出力する。
【００８４】
一方、符号化制御部１による制御により、Ｐピクチャ符号化又は、Ｂピクチャ符号化の切替え選択が制御される。Ｐピクチャ符号化時は、予測比較器６０から選択されたフレーム予測差分絶対値又は、フィールド予測差分絶対値が予測結果として出力される。
【００８５】
また、Ｂピクチャ符号化の時は、予測比較器６３において、予測比較器６０，６１及び６２の出力が入力され、これらの最小値を選択して動き予測判定器６の出力として出力される。
【００８６】
ここで、動き予測判定器６における予測判定タイプと、動きベクトルを考えると、下記表２のとおりである。
【００８７】
【表２】
【００８８】
次に、上記図５乃至図８の一般的符号化装置構成に対し、本発明の図１乃至図４において説明した本発明の解決原理を実現する構成を説明する。
【００８９】
図９は、本発明の第１の実施例として、上記本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。本発明は、図８の動き予測判定器６の構成に対し、更に別の予測比較器６４を設けている点に特徴を有する。
【００９０】
図９に示す実施例で実現されるフレームストラクチャ符号化は、図１において説明した本発明の第１の解決原理として、Ｂピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを追加したものである。
【００９１】
この予測モードを追加するために、シンタックス（データ列規則）上マクロブロック単位に追加ビットを必要とする可能性もある。したがって、この予測モードはピクチャ単位にオン/オフが可能な構成であることが有利である。
【００９２】
このための方法としては、これまでの動き予測で行っていた、フレーム予測やフィールド予測と同じ様に片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行う、１方向1ベクトルのフィールド予測の予測誤差も計算し、予測比較器６３で最小の予測誤差を示す動き予測を選択する。
【００９３】
なお、図９においてスイッチＳＷは、本発明の両方向予測を行うピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを採用するか否かにより切換えるために用意されている。
【００９４】
ここで、図９の実施例における予測タイプとベクトル本数について考察すると表３のようになる。
【００９５】
【表３】
【００９６】
図１０は、更に本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。図９の実施例に対し、追加された予測比較器６４の出力を予測比較器６３に常に入力するように構成される。
【００９７】
したがって、Ｂピクチャに対し、常に片フィールドは前方向フィールド予測結果から、他の片フィールドは後方向フィールド予測結果からの予測を項目に入れるようにした構成である。
【００９８】
上記のように本発明により、新しい予測モードとしてフィールド予測で動きベクトルが片方向あたり1本という予測モードが追加される。
【００９９】
表４は、ＭＰＥＧ−２でフレームストラクチャの予測モードを符号表（Table 6-17 Meaning of frame#motion#type:ISO/IEC 13818-2 (MPEG-2 Video)のframe#motion#typeの定義）である。
【０１００】
【表４】
【０１０１】
【表５】
【０１０２】
フレーム内フィールド間シーンチェンジ発生時の動き予測効率を上げるためには、入力時間で考えて前に存在するフィールドが前方向予測を行い、後に存在するフィールドが後方向予測を行えば良い。
【０１０３】
ＭＰＥＧ−２ではインターレース画像1フレームを構成するために、どちらのフィールドが時間的に先に存在するかは、Picture coding extensionに存在するtop#filed#first#flagという1ビットのフラグを参照すればよい。
【０１０４】
すなわち、top#filed#first#flag=1の場合は図１１Ａが該当し、奇フィールドが前方向予測を行う。反対に、top#field#first#flag =0の場合は図１１Ｂが該当し、偶フィールドが前方向予測を行うようにすれば良い。
【０１０５】
つまり、新しく追加するフィールド予測でどちらのフィールドが前方向予測を行うかは、Picture coding extensionに存在するtop#filed#first#flagで一意に決まるので、新たにフラグは設けなくてもよい。
【０１０６】
また、動きベクトルもフィールド予測であるが、ベクトルの数は片フィールドに対して１本ずつなので、あたかもフレーム予測のように送ることが可能である。
【０１０７】
上記第２の実施例では、ＭＰＥＧ−２のシンタックス上に追加ビットを何も必要としないので、この予測は常にオンとすることが好ましい。
【０１０８】
図１２は、本発明の第３の実施例を説明する図である。図１２の構成は、図９の構成に対し、スイッチＳＷの切換えをフィールドシーンチェンジ検出回路６５により制御するようにしたものである。
【０１０９】
今、上記第２の実施例説明に関連して、上記表３においてコード(code)欄の“００”が、なぜ“reserved”ビットになっているかは、２３ビットの０と１ビットの１を共通して持つ、ＭＰＥＧのスタートコードをユニークワードにするためであると思われる。
【０１１０】
したがって、新しい動き予測タイプを“００”に割当てることが不可能である場合は、“frame#motion#type”のビットを1ビット増やすか、新たなモード識別ビットを最低でも1ビット設けなければばらなくなる。
【０１１１】
この場合、動き予測はマクロブロック単位に行うので、例え追加ビットが1ビットであろうとも、ピクチャ当りに換算すると多大なビット量の増加になってしまう。尚且つ、そのビットの追加により効率が上がるのは、フレーム内フィールド間のシーンチェンジ発生ピクチャのみということは充分に考えられる。
【０１１２】
したがって、第３の実施例では、第１の実施例における追加動き予測モードのオン／オフフラグを設け、フレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合にそのフラフをオンにする。
【０１１３】
図１２に示すように、フィールドシーンチェンジ検出フラグを生成する回路としてシーンチェンジ回路６５を設ける。これにより、フィールドシーンチェンジが発生したＢピクチャでは、フィールド予測で片フィールドは前方向からの予測、もう片フィールドは後方向からの予測するという予測モードが追加される。
【０１１４】
このようにすることにより、フィールドシーンチェンジ発生でないＢピクチャでのモード追加による符号量の追加ビットは高々1ビットとなり、符号量の増加の抑制が可能となる。
【０１１５】
図１３は、本発明の第４の実施例を説明する図である。図５の構成に対し、符号化入力データ側にフレーム構造とフィールド構造の切換えを行なう切換え回路６６を設けている。切換え回路６６は、シーンチェンジ検出回路６５によりフレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合が検出された時、フレーム構造とフィールド構造の切換えを行なう。
【０１１６】
フィールド構造符号化を行うと、例えば、1枚目のフィールドピクチャでは前方向予測、もう一枚のフィールドピクチャでは後方向予測を行うことは可能となり、大幅に予測効率が落ちることはない。
【０１１７】
図１４は、図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。図において、画素番号は、フィールドをラスタースキャンした順番で、Ｎfieldは、フィールドの画素数を意味する。
【０１１８】
フィールド単位で現フィールドと前フィールドとの画素毎の差を求める差回路６５１〜６５Ｎ、差回路の出力の絶対値を求める絶対値回路６６１〜６６Ｎ、絶対値回路６６１〜６６Ｎの出力を累積加算する累積加算器６５０及び、累積加算器５０の出力を閾値ＴＨと比較判定する閾値判定回路６６０を有して構成される。
【０１１９】
すなわち、１フィールド分の差分絶対値の累積加算値が閾値ＴＨを超えたときに識別判定回路６６０から識別判定出力が生成される。
【０１２０】
図１５は、更にかかる識別判定回路６６０からの識別判定出力に基づきフィールドシーンチェンジを検出する、シーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。図１６は、図１５のアルゴリズムにおける第1フィールドＦ１と第２フィールドＦ２の関係を示す図である。
【０１２１】
この図１６を参照して図１５のアルゴリズムを説明すると、top#field#first#flagの値によって決まる第１フィールドＦ１でシーンチェンジの有無を検出する（ステップＳ１）。第１フィールドＦ１でシーンチェンジが検出されない場合、第２フィールドＦ２でシーンチェンジの有無を検出する（ステップＳ２）。
【０１２２】
この時、ステップＳ２の判断でシーンチェンジがある場合、図１６に示すように第１フィールドＦ１と第２フィールドＦ２間でシーンチェンジがあることになる。したがって、この場合は、フィールドシーンチェンジＦＩＣであると判断される。
【０１２３】
また、ステップＳ２の判断でシーンチェンジがない場合、シーンチェンジでないと判断される（ステップＳ５）。
【０１２４】
ステップＳ１で、シーンチェンジがある場合、次に第２フィールドでシーンチェンジの有無が判断される（ステップＳ４）。第２フィールドでシーンチェンジがない場合は、シーンチェンジでないと判断される（ステップＳ５）。第２フィールドでシーンチェンジがある場合は、図１６に示すように、第１フィールドに跨ってシーンチェンジがあることになるので、この場合は、フレームシーンチェンジＦＲＣであると判断する（ステップＳ６）。
【０１２５】
図１７は、本発明の第５の実施例を説明する図である。この実施例は、動き予測モードを制限することに特徴を有する。
【０１２６】
先に第３の解決原理として説明した、フレーム内フィールド間シーンチェンジが発生した場合で、かつ当該ピクチャがＢピクチャである場合に符号化画面を前後どちらかの参照画面と同一データとして符号化を行うことを実現する実施例である。
【０１２７】
図１７の実施例では、動きベクトル予測方向を片方向固定、フレーム予測固定、動きベクトルを０ベクトルに固定し、かつ符号化係数情報も送らないように符号化制御を行う構成である。
【０１２８】
このようにすることにより、図３で説明した解決原理に対応して、符号化ピクチャを参照ピクチャのローカルデコード画面と同一データとして符号化出来る。動きベクトルを固定にするのは、全て動きモード検出を行った後でも可能であり、このモードに入った場合には、動き予測モードの演算全てを行わないようにすることも可能である。
【０１２９】
かかる構成により、符号化効率が極端に悪くなることを防ぐことが可能である。この場合、符号化ピクチャを、シーンチェンジの前もしくは後の参照ピクチャのどちらかと同一と見做して符号化を行うので、実際は、片フィールドはシーンチェンジ前もしくはシーンチェンジ後の全く違う画像を符号化していることになる。
【０１３０】
また、同一データと見做す参照ピクチャは、シーンチェンジ発生ピクチャに入力時間でより近い参照ピクチャを用いる方が良いと思われるが、必ずしもこれに限られない。
【０１３１】
また、シーンチェンジ発生ピクチャと参照ピクチャの間に別のＢピクチャが存在する場合は、当該Ｂピクチャも参照ピクチャと同じデータとして見做した方がより視覚的、符号化効率的に好ましい。
【０１３２】
図１８は、本発明の第６の実施例を説明する図であり、符号化入力データを切換える点に特徴を有する。図１８の構成において、データ入力側にフレームメモリ読出し回路６７を設け、上記図１７の実施例における参照ピクチャと同一データとして見做す方法として、入力画面から符号化データを設定する時に、同一データと見做したい方の参照ピクチャを設定する。
【０１３３】
図１９は、図１８のフレームメモリ読出回路６７の構成例である。なお、図１９では、フィールド１の入力に対する読出回路が示されるが、フィールド２についても同様構成であるので、図示省略されている。
【０１３４】
シーンチェンジ検出回路６５からのシーンチェンジ検出信号により切換えられるスイッチＳＷを有し、Ｂピクチャであって、フィールドシーンチェンジの時、スイッチＳＷにより、前参照ピクチャ又は後参照ピクチャと同一データが読み出される。カウンタ６７０は、Ｉ，Ｐ，Ｂピクチャ切換えタイミングを生成する。
【０１３５】
ここで、一般にＭＰＥＧ−２では、原画同士を用いて動き探索を行うので、参照ピクチャの原画は、メモリに蓄えられていると考えられる。また、動き補償後の予測画像は、参照ピクチャを一度エンコード/デコードした結果のローカルデコード画像を用いて行う。このため、復号化された参照ピクチャもメモリに蓄えていると考えられる。
【０１３６】
従って、ここで原画ピクチャとして設定する参照ピクチャは、原画/ローカルデコード画のどちらも設定可能である。また、符号化画面を変更しているので、図１７の実施例に示す符号化方法の制限は特に必要としない。
【０１３７】
ここで、図１７、図１８の実施例における符号化では、参照ピクチャと同じデータを用いるので当該ピクチャでは殆ど情報量が発生しない。このため、情報量をＧＯＰ内の他のピクチャに割当てる事が可能となるという効果もある。
【０１３８】
図２０は、本発明の第７の実施例を説明する図である。この実施例では本発明を必ずしも符号化装置とリンクしないで適用可能とするものである。すなわち、一般的な用途に適用可能な入力画像切換え装置として適用可能である。
【０１３９】
１フレームを構成するフィールド１及び、フィールド２のデータを入力し、それらの間でシーンチェンジがある場合、即ち、フレーム内フィールド間シーンチェンジ発生をシーンチェンジ検出回路６５が検出する。
【０１４０】
シーンチェンジ検出回路６５は、フィールドシーンチェンジの発生を検知した時、スイッチ切換え信号を発生し、スイッチＳＷを端子１側に切換え、フィールド１と同一のデータをフィールド２に対し出力する。
【０１４１】
このように、フィールドシーンチェンジが検出される場合、該当のフレームでは、フィールドをレピートさせて入力フレームをつくり変える。片フィールドをレピートすることにより、図４に説明した解決原理に従い、フレーム内フィールド間シーンチェンジの位置を、擬似的にフレーム間シーンチェンジに変更することが出来る。
【０１４２】
図２１は、本発明の第８の実施例を説明する図である。この実施例は、図２０の実施例を符号化装置に適用した構成である。図２１の前処理回路６８として、図２０の実施例が適用される。
【０１４３】
図２２は、図２１における前処理回路６８の構成例である。シーンチェンジ検出回路６５により、フィールドシーンチェンジ検出が行われると、スイッチＳＷによりフィールド２に対し、フィールド１のデータをレピートして出力する様に構成されている。なお、カウンタ６７０の機能は、図１９の実施例において説明したと同様である。
【０１４４】
この実施例による符号化の実際においては、符号化効率が悪くなるＢピクチャでのフレーム内フィールド間シーンチェンジで処理を行う。シーンチェンジがフレーム間シーンチェンジならば、入力時間的にシーンチェンジの直後の参照ピクチャを、Iピクチャもしくはピクチャ内符号化を行う様にするだけで、Ｂピクチャは前後参照ピクチャから効率良く予測符号化を行うことが出来る。
【０１４５】
符号化画像を実際の入力画像と異なる画像として符号化を行うという意味では、図１８の実施例と考え方は似ているが、図２１の実施例では、フィールド間でシーンチェンジが発生した場合に、フレームを参照ピクチャと置き換えるのではなく、図４で説明したように入力原画で片フィールドレピートすることによりフレーム内の両フィールドを同一データにしている。
【０１４６】
図２３は、先に図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。
【０１４７】
復号化器１００の出力がスイッチＳＷの切換えで直接に又は、加算器１０１により動き補償信号と加算された信号が、復号化信号として出力される。
【０１４８】
動き補償信号を生成するために、前画メモリ１０２、後画像メモリ１０３を有し、更に前方向動き補償回路１０４、両方向動き補償回路１０５及び後方向動き補償回路１０６を有する。
【０１４９】
図２３において、メモリ１０２，１０３から読み出されるデータについて、実線矢印は、フレーム予測の場合であり、破線矢印はフィールド予測の場合である。そして、これらの種類は、マクロブロック毎に切換えられる。
【０１５０】
ここで、符号化装置から出力されるＭＰＥＧストリーム中のマクロブロック（ＭＢ）情報は、ＭＢの位置、前方向、後方向又は両方向予測を区別する予測タイプ、動きベクトル及び、符号化係数情報を含んでいる。
【０１５１】
現在のＭＰＥＧ−２規格ではフレーム構造符号化時の動きベクトルの本数は、表１に示したように、フレーム予測の場合は片方向１本で、フィールド予測の場合は片方向２本となっている。
【０１５２】
この場合のストリーム上のデータは以下のようになっている
片(前又は後)方向予測のフレーム予測場合は、
予測タイプ＋動きベクトル１
片(前又は後)方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２
上記の動きベクトル１は、top#field(奇フィールド)のベクトル、動きベクトル２は、bottom#field(偶フィールド)のベクトルである。
【０１５３】
両方向予測のフレーム予測場合、
予測タイプ＋動きベクトル１＋動きベクトル２
であり、動きベクトル１は、forward#frameベクトル、動きベクトル２は、backward#frameベクトルである。
【０１５４】
さらに、両方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２＋動きベクトル３＋動きベクトル４
である。動きベクトル１は、forward#top#fieldベクトル、動きベクトル２は、forward#bottom#fieldベクトル、動きベクトル３は、backward#top#fieldベクトル、動きベクトル４は、backward#bottom#fieldベクトルである。
【０１５５】
本発明に従う両方向フィールド予測は、動きベクトルが片方向１本で
予測タイプ＋動きベクトル１＋動きベクトル２
である。動きベクトル１はforward#fieldベクトル、動きベクトル２はbackward#fieldベクトルである。
【０１５６】
これには、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルと動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの２通りの取り方が存在するが、それをtop#field#first#flagでどちらか判断する。
【０１５７】
図２４は、図１１と同様の説明図であるが、top#field#first#flagで判断される動きベクトル１及び、動きベクトル２の態様を示す図である。すなわち、top#field#first#flag＝１の場合は、図２４Aに示すように、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルの場合である。
【０１５８】
一方、top#field#first#flag＝０の場合は、図２４Bに示すように、動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの場合である。
【０１５９】
図２５は、図２３の両方向動き補償回路１０５の構成例ブロック図である。
【０１６０】
フレーム予測である場合は、加算回路２５１と１／２回路２５２により、前画像メモリ１０２と後画像メモリ１０３から、各々動きベクトルに相当する位置のフレーム構成のマクロブロックを読み出し、それらの加算の１／２を計算して出力する。
【０１６１】
フィールド予測の場合は、4本の動きベクトルの位置に相当する前画像奇フィールド１／２マクロブロック、前画像偶フィールド１／２マクロブロック、後画像奇フィールド１／２マクロブロック及び、後画像偶フィールド１／２マクロブロックの４つの１／２マクロブロックをメモリ１０２、１０３から読み出す。
【０１６２】
次いで、加算回路２５３と１／２回路２５４により、前画像の奇フィールド１／２マクロブロックと、後画像の奇フィールド１／２マクロブロックを入力し、それらの加算の１／２を計算して出力する。
【０１６３】
また、加算回路２５５と１／２回路２５６により、前画像偶フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックを入力し、それらの加算の１／２を計算して出力する。
【０１６４】
さらに、本発明に従うフィールド予測の場合は、上記top#field#first#flagに基ずき２本の動きベクトルに相当する前画像奇フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックの組み合わせあるいは、前画像偶フィールド１／２マクロブロックと後画像奇フィールド１／２マクロブロックの組み合わせのいずれをメモリ１０２、１０３から読み出すかを決定する。決定された組み合わせが選択回路２５７からマクロブロックとして出力される。
【０１６５】
【発明の効果】
以上説明したように、本発明によれば、フレームストラクチャ符号化時にＢ-ピクチャで、かつフレームピクチャの切れ目でない所でシーンチェンジ検出が発生した場合でも、予測効率の劣化しない効率的な符号化を行うことができる。
【０１６６】
上記各実施例において、ハードウェアブロックの構成で動作を説明してきたが、本発明はハ−ドウェアに限定されず、対応する機能をソフトウェアで実現することも可能である。
【０１６７】
さらに、上記各実施例は本発明の理解のために例示されたものであり、本発明の保護の範囲はこれら限定されない。本発明思想から離れるものでない限り、特許請求の範囲に記載の構成と均等であるものも本発明の保護の範囲に含まれるものである。
【図面の簡単な説明】
【図１】本発明の第１の解決原理を説明する図である。
【図２】本発明の第２の解決原理を説明する図である。
【図３】本発明の第３の解決原理を説明する図である。
【図４】本発明の第４の解決原理を説明する図である。
【図５】本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図である。
【図６】図５の構成における動き探索器５の構成例を示すブロック図である。
【図７】図６の差分絶対値和演算回路５１〜５ｍの構成例ブロック図である。
【図８】動き予測判定器６の構成例ブロック図である。
【図９】本発明の第１の実施例として、本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。
【図１０】本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。
【図１１】奇フィールド及び偶フィールドの位置関係を説明する図である。
【図１２】本発明の第３の実施例を説明する図である。
【図１３】本発明の第４の実施例を説明する図である。
【図１４】図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。
【図１５】図１３のシーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。
【図１６】図１５のアルゴリズムに置ける第１フィールドＦ１と第２フィールドの関係を示す図である。
【図１７】本発明の第５の実施例を説明する図である。
【図１８】本発明の第６の実施例を説明する図である。
【図１９】図１８のフレームメモリ読出回路６７の構成例である。
【図２０】本発明の第７の実施例を説明する図である。
【図２１】本発明の第８の実施例を説明する図である。
【図２２】図２１における前処理回路６８の構成例である。
【図２３】図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。
【図２４】本発明のフィールド予測においてtop#filed#first#flagの意義を説明する図である。
【図２５】図２３の両方向動き補償回路１０５の構成例ブロック図である。
【図２６】ピクチャを説明する図である。
【図２７】Ｂピクチャを用いて符号化する場合のピクチャタイプの変更を説明する図である。
【図２８】シーンチェンジＳＣが検出された場合の直後のピクチャをＩピクチャ等のピクチャ内符号化を使って符号化するという方法を説明する図である。
【図２９】Ｉピクチャの頻度を出来るだけ増加させない為に、シーンチェンジが発生する時Ｉピクチャの固定間隔周期のカウント値をリセットする方法を説明する図である。
【図３０】ピクチャでシーンチェンジが発生した場合、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化する方法を説明する図である。
【図３１】図２９における問題点を説明するための図である。
【符号の簡単な説明】
１ 符号化制御部
２ 符号化器
３ 復号化器
４ フレームメモリ
５ 動き探査器
６ 動き予測判定器
７ 差回路
ＳＷ スイッチ
６０〜６４ 予測比較器
Claims (8)
- インターレース画像の入力信号の一つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、
前記両方向のピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に前記一つのフレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、
予測モードとして、一方の片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を用いるか否かをピクチャ単位に選択切り換え、
該選択された予測モードに対応する予測画像を生成し、
該生成された予測画像を用いて該入力信号を符号化する
ことを特徴とする動画像符号化方法。 - インターレース画像の入力信号の一つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、
前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に前記一つのフレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行い、
予測モードとして、一方の片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を常に用い、
該予測モードに対応する予測画像を生成し、
該生成された予測画像を用いて該入力信号を符号化する
ことを特徴とする動画像符号化方法。 - 請求項１において、
さらに、前記入力信号の画像のシーンチェンジを、前記フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出し、
前記入力信号の画像に前記一つのフレームのフィールド間にシーンチェンジが存在するピクチャに関し、一方の片フィールドは前方向フィールド動きベクトルから、他方の片フィールドは後方向フィールド動きベクトルからの予測を選択項目とすることを特徴とする動画像符号化方法。 - 請求項１乃至３のいずれかの記載の動画像符号化方法によって符号化された動画像符号化信号に対し、一方の片フィールドは前方向フィールド動きベクトルから、他方の片フィールドは後方向フィールド動きベクトルからの予測に対応する動き補償を与える符号化に対応する復号化を行なうことを特徴とする動画像復号化方法。
- インターレース画像の入力信号の一つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方向ピクチャから予測符号化を行う動画像符号化装置であって、
前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に前記一つのフレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行うフィールド動きベクトル検出手段と、
予測モードとして、一方の片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を用いるか否かをピクチャ単位に選択切り換える予測モード選択手段と、
該予測モード選択手段により選択された予測モードに対応する予測画像を生成する動き補償手段と、
該動き補償手段により生成された予測画像を用いて該入力信号を符号化する符号化手段とを
有することを特徴とする動画像符号化装置。 - インターレース画像の入力信号の一つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方向ピクチャから予測符号化を行う動画像符号化装置であって、
前記両方向ピクチャからの予測により符号化を行なう際、各々のピクチャをマクロブロック単位に該フレームの画素スキャンの奇数又は偶数で分けたフィールドを単位としたフィールド間の動き予測を行うフィールド動きベクトル検出手段と、
予測モードとして、一方の片フィールドは前方向フィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を常に用い、該予測モードに対応する予測画像を生成する動き補償手段と、
該動き補償手段により生成された予測画像を用いて該入力信号を符号化する符号化手段を
有することを特徴とする動画像符号化装置。 - 請求項５において、さらに、
前記入力信号の画像のシーンチェンジを、前記フレームの画素スキャンの奇数又は偶数で分けたフィールド単位で検出するシーンチェンジ検出手段を有し、
前記予測モード選択手段は、該入力信号の画像に該フレームのフィールド間にシーンチェンジが存在するピクチャに関し、一方の片フィールドは前方向フィールド動きベクトルから、他方の片フィールドは後方向フィールド動きベクトルからの予測を選択項目に入れることを特徴とする動画像符号化装置。 - 請求項５乃至７に記載のいずれかの動画像符号化装置に対応し、
一方の片フィールドは前方向フィールド動きベクトルから、他方の片フィールドは後方向フィールド動きベクトルからの予測に対応する動き補償手段を有することを特徴とする動画像復号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07449799A JP3778721B2 (ja) | 1999-03-18 | 1999-03-18 | 動画像符号化方法および装置 |
| US09/526,619 US7453941B1 (en) | 1999-03-18 | 2000-03-16 | Moving pictures encoding method and apparatus for detecting a scene change between fields of an interlaced image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07449799A JP3778721B2 (ja) | 1999-03-18 | 1999-03-18 | 動画像符号化方法および装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005165403A Division JP4130197B2 (ja) | 2005-06-06 | 2005-06-06 | 動画像符号化方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000270332A JP2000270332A (ja) | 2000-09-29 |
| JP3778721B2 true JP3778721B2 (ja) | 2006-05-24 |
Family
ID=13549016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07449799A Expired - Fee Related JP3778721B2 (ja) | 1999-03-18 | 1999-03-18 | 動画像符号化方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7453941B1 (ja) |
| JP (1) | JP3778721B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6563953B2 (en) | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| JP2003087797A (ja) * | 2001-09-06 | 2003-03-20 | Sony Corp | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 |
| WO2003053066A1 (en) | 2001-12-17 | 2003-06-26 | Microsoft Corporation | Skip macroblock coding |
| US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
| US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US8401069B2 (en) * | 2004-04-05 | 2013-03-19 | Snell Limited | Apparatus and process for re-timing video cuts |
| JP4514736B2 (ja) * | 2004-06-21 | 2010-07-28 | 三菱電機株式会社 | 動画像再生装置 |
| US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| KR100728011B1 (ko) | 2005-11-09 | 2007-06-14 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체 |
| US8223842B2 (en) * | 2006-05-24 | 2012-07-17 | Panasonic Corporation | Dynamic image decoding device |
| JP4846504B2 (ja) * | 2006-10-06 | 2011-12-28 | シャープ株式会社 | 動画像符号化装置、プログラム及び動画像符号化方法 |
| EP1990991A1 (en) | 2007-05-09 | 2008-11-12 | British Telecommunications Public Limited Company | Video signal analysis |
| US8208550B2 (en) * | 2007-07-31 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Adapting an encoded video signal to encoding complexity |
| TWI406264B (zh) * | 2009-04-29 | 2013-08-21 | Sunplus Technology Co Ltd | 增加影像顯示頻率的增頻系統 |
| US8345750B2 (en) * | 2009-09-02 | 2013-01-01 | Sony Computer Entertainment Inc. | Scene change detection |
| US8463059B2 (en) * | 2010-04-23 | 2013-06-11 | Futurewei Technologies, Inc. | Two-layer prediction method for multiple predictor-set intra coding |
| US9547911B2 (en) | 2010-12-14 | 2017-01-17 | The United States Of America, As Represented By The Secretary Of The Navy | Velocity estimation from imagery using symmetric displaced frame difference equation |
| US8666120B2 (en) * | 2010-12-14 | 2014-03-04 | The United States Of America, As Represented By The Secretary Of The Navy | Method and apparatus for conservative motion estimation from multi-image sequences with optimized motion compensation |
| WO2012081246A1 (ja) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| JP5803500B2 (ja) * | 2011-09-27 | 2015-11-04 | 株式会社Ｊｖｃケンウッド | 動きベクトル検出装置及び方法 |
| JP6207728B2 (ja) * | 2014-05-08 | 2017-10-04 | 三菱電機株式会社 | 画像符号化装置、および画像復号装置 |
| KR20160105203A (ko) * | 2015-02-27 | 2016-09-06 | 삼성전자주식회사 | 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2977104B2 (ja) | 1991-07-26 | 1999-11-10 | ソニー株式会社 | 動画像データエンコード方法および装置、並びに動画像データデコード方法および装置 |
| JP3198637B2 (ja) | 1992-07-23 | 2001-08-13 | ソニー株式会社 | 画像信号符号化装置及び画像信号符号化方法 |
| JPH07107460A (ja) | 1993-10-04 | 1995-04-21 | Matsushita Electric Ind Co Ltd | 動画符号化方法および動画符号化装置 |
| US5489943A (en) | 1994-02-14 | 1996-02-06 | Sony Corporation | One-pass adaptive bit rate control |
| JPH08242452A (ja) | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 映像信号圧縮符号化装置 |
| JPH08265774A (ja) | 1995-03-27 | 1996-10-11 | Sony Corp | 画像圧縮方法及び画像圧縮装置 |
| US5694170A (en) * | 1995-04-06 | 1997-12-02 | International Business Machines Corporation | Video compression using multiple computing agents |
| US5929916A (en) * | 1995-12-26 | 1999-07-27 | Legall; Didier J. | Variable bit rate encoding |
| KR100251548B1 (ko) * | 1997-11-01 | 2000-04-15 | 구자홍 | 디지털영상을위한움직임추정장치및방법 |
-
1999
- 1999-03-18 JP JP07449799A patent/JP3778721B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-16 US US09/526,619 patent/US7453941B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000270332A (ja) | 2000-09-29 |
| US7453941B1 (en) | 2008-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3778721B2 (ja) | 動画像符号化方法および装置 | |
| JP5320254B2 (ja) | デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化 | |
| US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
| JP3593988B2 (ja) | 動画像信号圧縮装置及び方法 | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| KR100239260B1 (ko) | 화상 디코딩 장치 | |
| KR100272812B1 (ko) | 비디오 신호 코더 | |
| KR19980080014A (ko) | 양방향으로 예측된 비디오 객체면과 같은 디지털비디오 화상의 코딩을 위한 방법 및 장치 | |
| JPH05276502A (ja) | 映像データ圧縮システムにおいてフィールド群を処理する装置及び方法 | |
| JP2008131643A (ja) | Ｍｐｅｇ２規格からｍｐｅｇ４規格にデータをトランスコードする方法 | |
| JP2005510984A (ja) | デジタルビデオコンテンツのためのピクチャレベルの適応フレーム／フィールド符号化 | |
| JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4130197B2 (ja) | 動画像符号化方法および装置 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| KR100284696B1 (ko) | Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치 | |
| JP3708745B2 (ja) | 動画像復号装置および動画像復号方法 | |
| KR100255793B1 (ko) | 움직임 보상 장치에서의 p－픽쳐 및 b－픽쳐를 보상하기 위한합산 회로 | |
| CA2738322C (en) | Picture level adaptive frame/field coding for digital video content | |
| JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| KR100189268B1 (ko) | 프레임 화상에서 필드 모션 추정의 산출 방법 및 장치 | |
| JPH1042297A (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3415390B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JPH10327413A (ja) | 画像符号化方法及び装置、画像復号装置、画像復号化復号装置、イントラ符号化制御方法、並びにイントラ符号化制御処理を行う無線画像通信端末装置 | |
| JP3590976B2 (ja) | 動画像圧縮装置 | |
| JPH10174109A (ja) | 画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |