JP3596137B2 - 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 - Google Patents
画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 Download PDFInfo
- Publication number
- JP3596137B2 JP3596137B2 JP1126696A JP1126696A JP3596137B2 JP 3596137 B2 JP3596137 B2 JP 3596137B2 JP 1126696 A JP1126696 A JP 1126696A JP 1126696 A JP1126696 A JP 1126696A JP 3596137 B2 JP3596137 B2 JP 3596137B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- image
- frame
- interlaced
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、動画像信号を記録あるいは伝送するための符号化に適用される画像信号符号化方法及び装置、並びに符号化された画像信号を復号する画像信号復号方法及び装置に関するものである。
【0002】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【0003】
また、動画像信号を例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示する際に、記録媒体への記録効率を高めるために、映像信号のライン相関やフレーム間相関を利用して、画像信号を高能率で圧縮符号化することが行われている。
【0004】
すなわち、ディジタルビデオ信号は情報量が極めて多いため、これを小型で記憶情報量の少ない記録媒体に長時間記録しようという場合には、ビデオ信号を高能率符号化して記録するとともに、その読み出し信号を能率良く復号する手段が不可欠となり、このような要求に応えるべくビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つにMPEG(Moving Picture Expert Group )方式がある。
【0005】
MPEGを使った動画像符号化及び復号のシステム構成の従来例を図46に示す。
【0006】
この図46において、ビデオテープレコーダ(VTR)151から入力されるフィールド画像は、スキャンコンバータ152にてフレーム画像に変換され、符号化器153にてMPEG方式で符号化される。MPEG方式は、まずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落し、その後、離散コサイン変換(DCT:discrete cosine transform )等の直交変換手法を用いて空間軸方向の冗長度を落し、このようにしてビデオ信号を能率良く符号化する。符号化された情報は、記録媒体154に記録し得るようになされている。
【0007】
また、このようにして高能率符号化されたビデオ信号が記録された記録媒体を再生する場合には、再生信号について復号器155にて、逆直交変換等で効率良く、フレーム画像を復号し、スキャンコンバータ156にてフィールド画像に変換し、モニタ157にて表示し得るようになされている。
【0008】
ここで、VTR151から、フィルム画像をいわゆる2:2プルダウンによりテレシネした画像を供給する場合を説明する。
【0009】
上記2:2プルダウンとは、毎秒24コマのフィルム画像を、例えばいわゆるPAL(Phase Alternation by Line )方式のように、毎秒25フレーム(毎秒50フィールド)のビデオに変換する場合に、広く用いられているテレシネ方法である。これは、フィルムの1コマをビデオの2フィールドでインタレース・スキャン(飛び越し走査)して読み出すという方法である。
【0010】
ここで読み出した2フィールドは、同じ1コマから読みだしたものであるので、それらをフレーム構造に変換したものは、ノンインターレース・フレームとして扱うことができる。すなわち、このフレームは、フィルムの1コマをビデオの1フレームでノンインターレース・スキャン(順次走査)して読み出したフレームに等しい。
【0011】
一般に、ノンインターレース・フレームは、インタレース・フレームに比べ、垂直方向のライン間の相関が大きいので、より冗長度が高く、フレームの符号化効率が良い。
【0012】
フィルムの全コマについて、2:2プルダウンが規則的に正しく行なわれている場合、符号化器3へ入力されるフレームは、かならずノンインターレース・フレームとなるので、フレームの符号化効率が良く、問題はなかった。
【0013】
【発明が解決しようとする課題】
ところで、従来の符号化方式においては、ノンインターレース画像をいわゆるテレシネ操作等によりインターレース画像に変換した画像列を、編集などによって編集、加工した場合に、符号化効率の低下を招く場合がある。すなわち、上述した2:2プルダウンしたビデオにフィールド編集などの加工をした為に、不規則な2:2プルダウンのパターンを含むビデオをVTR1からの入力画像とする時、符号化器3へ入力されるフレームは、ノンインターレース・フレームと限らなくなるので、従来の符号化装置では、フレームの符号化効率が低下する問題がある。これを、図47及び図48を用いて説明する。
【0014】
図47において、(A)は映画の1コマ等のノンインターレース画像NFが、2:2プルダウンにより例えばいわゆるPAL(Phase Alternation by Line )方式のようなインターレース画像にテレシネされる場合を示す。(A)のノンインターレースのフィルム画像のシーケンスは、いわゆるテレシネ操作によって、図47の(B)に示すように、各フレームが第一フィールド(top_field,トップフィールドともいう)Ft から始まるインターレース画像のシーケンスに変換される。この(B)のシーケンスは、第一フィールドFt 、第二フィールドFb の順に組み合わされたフレームCFのシーケンスとなっている。また、これとは逆に、図47の(C)のノンインターレース画像NFのシーケンスは、いわゆるテレシネ操作によって、図47の(D)に示すように、各フレームが第二フィールド(bottom_field, ボトムフィールドともいう)Fb から始まるインターレース画像のシーケンスに変換されるとする。この(D)のシーケンスは、第二フィールドFb 、第一フィールドFt の順に組み合わされたフレームCFのシーケンスとなっている。
【0015】
これら2つのシーケンスを、(B)、(D)のそれぞれ図示するような編集点tE1、tE2にて結合したとすると、図47の(E)に示すような、原画像におけるノンインターレース画像NFのシーケンスに対応するフィールド対を崩すような不規則なシーケンスが生成される。この図47の(E)の例では、編集点tE の直後に孤立フィールドFx が生じている。
【0016】
この図47の(E)のようなシーケンスは、画像の符号化効率に悪影響をもたらす。これを図48とともに説明する。
【0017】
図47の(E)に示したような不規則なシーケンスは、符号化の際には、図48の(A)の長方形の枠に示すような組み合わせCPのフレームとして符号化されることになる。この場合、原画像のノンインターレース画像のフレームを構成する組み合わせCP1 のまま符号化される場合は、図48の(B)に示すように符号化効率が良い。しかし、正しく上記ノンインターレース画像NFのフレームを構成する組み合わせでないような組み合わせCP2 の場合は、原画像がノンインターレース画像であるに関わらず、図48の(C)に示すようにエッジに強い高周波を含んだ画像になってしまい、符号化効率は落ちる。これらの例(B)、(C)では、原画において真円が横方向に平行移動している画像における、符号化効率の低下の例を示している。
【0018】
従来において、テレシネされた画像を効率良く符号化する技術として、2:3プルダウンされたビデオから、繰り返しフィールドを取り除いてから、入力フレームがノンインターレース・フレームとなるようにフレームを構成してから符号化する方法が提案されている。しかし、上記問題とされている不規則な2:2プルダウンから生じるノンインターレース・フレームを構成しない孤立フィールドは、2:3プルダウンによる繰り返しフィールドとは異るものであるので、問題解決のために、この技術は、適用できない。
【0019】
本発明は、上述した実情に鑑みてなされたものであり、ノンインターレース・フレームのシーケンスにフィールド編集などの加工をした為に、ノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、ノンインターレース・フレームを構成しない孤立フィールドを含む、動画像を符号化する場合においても、効率の良い画像符号化を実現するものである。すなわち、本発明は、ノンインターレース画像列が編集によって不規則なパターンを生じた場合においても、効率の良い符号化が行えるような画像信号符号化装置及び画像信号符号化方法を提供することを目的とし、また、このような符号化が行われた信号を能率良く復号再生するための復号方法及び装置の提供を目的とするものである。
【0020】
【課題を解決するための手段】
本発明は、入力画像信号中のフィールド画像のうち、隣接するフィールド画像のいずれと組み合わせることによっても変換前の元のノンインターレース画像が構成されない孤立フィールドを検出し、検出された孤立フィールドを上記入力画像信号から除去し、上記孤立フィールドが除去されたフィールドシーケンスから、上記入力画像信号の画像列を構成して符号化を行うことにより、上述の課題を解決する。
すなわち、本発明に係る画像信号符号化方法又は装置は、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像信号であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化方法又は装置において、上記入力画像信号中のフィールド画像のうち、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されない孤立フィールドを検出し、上記入力画像信号から上記検出された孤立フィールドを除去し、組を成す2つのフィールド画像が同一フレーム内に含まれる画像列を生成し、得られた画像列に対して符号化を行うことを特徴とするものである。
また、本発明に係る画像信号復号方法又は装置は、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像列であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像列から、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像を構成しない孤立フィールドが除去されることによって生成された画像列が符号化された符号化信号について復号を行い、復号された信号に対して、上記除去された孤立フィールドに対応する位置にフィールド画像を内挿することを特徴とするものである。
【0021】
また本発明は、第一フィールドから開始されるフィールド画像の組に変換した画像列と、第二フィールドから開始されるフィールド画像の組に変換した画像列とが、編集によって結合されて、入力画像信号として供給されて符号化を行う際に、ノンインターレース画像の1枚に対応するフィールド画像の1組が、上記第一フィールドから開始されるか、第二フィールドから開始されるかを検出し、この検出出力に応じて上記入力画像信号の画像列をノンインターレース画像に再構成して出力し、符号化を行うことにより、上述の課題を解決する。
【0022】
上記第一フィールドから開始されるか、第二フィールドから開始されるかの検出は、所定の1フィールドを基準フィールドとする2組のフィールド対についての各組毎のフィールド相関を互いに比較し、相関が高い方を正規のノンインターレース画像に対応するフィールド対であると判断することで行える。この場合、隣接する一対のフィールドについて、第一フィールドのi番目のラインと第二フィールドのi番目のラインとの間の相関度と、第二フィールドのj番目のラインと第一フィールドのj+1番目のラインとの間の相関度とから、上記一対のフィールドについての相関度を求め、この相関度に基づき上記孤立フィールドを検出することが好ましい。さらに、現在フィールドに対して過去又は未来の複数フィールドに亘る相関度に基づいて、現在フィールドが上記孤立フィールドか否かを調べることが好ましい。
【0023】
また、この検出出力に応じて、上記入力画像信号の画像列の上記ノンインターレース画像に対応するフィールド画像の組が上記第一フィールドから開始されるか上記第二フィールドから開始されるかを示すフラグを出力し、このフラグに応じて符号化を制御することが挙げられる。
【0024】
ノンインターレース画像の1枚に対応するフィールド画像の1組が、上記第一フィールドから開始されるか、第二フィールドから開始されるかを検出し、この検出結果に応じて符号化の際のフィールド画像の組を再構成することにより、元のノンインターレース画像に応じたフィールド画像の組を符号化のフレームとする符号化が行える。
【0025】
【発明の実施の形態】
以下、本発明に係る好ましい実施の形態について、図面を参照しながら説明する。
【0026】
図1は、本発明の実施の形態の一例として画像信号符号化及び復号のシステムの概略構成を示している。
【0027】
この図1において、入力端子171には、例えばビデオテープレコーダ(VTR)161からの入力動画像信号S1が供給されている。この入力動画像信号S1は、ノンインターレース・フレームのシーケンスにフィールド編集などの加工をした為に、ノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、ノンインターレース・フレームを構成しない孤立フィールドを含む、動画像である(図47参照)。
【0028】
入力動画像信号S1は、ノンインターレース・フレーム検出回路172に供給される。このノンインターレース・フレーム検出回路172では、ノンインターレース・フレームを構成する第一フィールドと第2のフィールドとの組み合わせを検出し、またノンインターレース・フレームを構成しない孤立フィールドを検出する。ここで検出された孤立フィールドに対しては、後段の符号化器163において符号化処理をされないように制御する。これは例えば、上記入力動画像信号S1から上記孤立フィールドを除去するようにすればよい。このノンインターレース・フレーム検出回路172については後で詳細に説明する。
【0029】
ノンインターレース・フレーム検出回路172から出力されたフィールド信号S6は、スキャンコンバータ162にて入力順にフレーム画像へ変換されてフレーム信号となり、符号化器163に送られる。符号化器163については後で詳細に説明する。符号化器163からの符号化ビットストリーム信号S204は、出力端子173を介して取り出され、例えば記憶媒体164に供給されて記憶される。
【0030】
復号装置側の入力端子176には、例えば記憶媒体164からの符号化ビットストリーム信号が供給され、復号器165に送られて復号処理されてフレーム信号S206となる。このフレーム信号S206は、スキャンコンバータ166に送られてフィールド信号S207に変換され、出力コントローラ177に送られて出力動画像信号S208となる。この出力動画像信号S208は、出力端子178より取り出され、例えばモニタ167に送られて表示される。これらの各部の詳細については後述する。
【0031】
ここで、図1のノンインターレース・フレーム検出回路172として、孤立フィールドを検出した後に、検出された孤立フィールドを除去するような構成の具体例について、図2を参照しながら説明する。
【0032】
図2の入力端子200には、図1の入力動画像信号S1が供給されており、この信号S1は、フィールドメモリ201から203に順次記憶される。したがって、メモリ202に現在フィールドが格納されると、メモリ201には過去フィールドが、またメモリ203には未来フィールドが格納される。演算器204では、過去フィールド信号S301と現在フィールド信号S302の1画素毎の差分値が計算される。その差分値信号S304は、その絶対値が絶対値回路206で計算され、その1フィールドあたりの累積和が累積回路208で計算される。同様に、演算器205では、未来フィールド信号S303と現在フィールド信号S302の1画素毎の差分値が計算される。その差分値信号S305は、その絶対値が絶対値回路207で計算され、その1フィールドあたりの累積和が累積回路209で計算される。累積和信号S308とS309は、比較器210へ入力される。比較器210では、信号S308とS309の大きさを比較し、その結果をフラグS2へ出力する。フラグS2の値は、
S308 ≧ S309の時、S2=1
S308 < S309の時、S2=0
となる。S2が1の時、現在フィールドは未来フィールドと相関が大きいことを示し、一方、S2が0の時、現在フィールドは過去フィールドと相関が大きいことを示す。S2の値は、2フィールド過去までの値が、遅延回路211と212のレジスタに記憶される。
【0033】
実際の入力動画像信号S1に対して、上記フラグS2を計算した例を図3から図6に示す。ここで、大文字のアルファベットは、第一フィールドあるいはtop_field を表し、小文字のアルファベットは、第二フィールドあるいはbottom_fieldを表す。そして同じアルファベットで大文字と小文字のフィールド対が、ノンインターレース・フレームを構成する。また、記号“?”は、ノンインターレース・フレームを構成しない孤立フィールドを表す。これらの図3〜図6からわかるように、ノンインターレース・フレームが、インターレース・フレームの第一フィールド(top_field )から始まる2フィールドに変換されている時(例えば図3の|A a|参照)、第一フィールド(top_field )は、未来の第二フィールド(bottom_field)と相関が大きいので、上記フラグS2は1となり、一方、第二フィールド(bottom_field)は、過去の第一フィールド(top_field )と相関が大きいので、フラグS2は0となる。また、ノンインターレース・フレームが、インターレース・フレームの第二フィールド(bottom_field)から始まる2フィールドに変換されている時(例えば、図3のd|D参照)、第二フィールド(bottom_field)は、未来の第一フィールド(top_field )と相関が大きいので、フラグS2は1となり、一方、第一フィールド(top_field)は、過去の第二フィールド(bottom_field)と相関が大きいので、フラグS2は0となる。
【0034】
孤立フィールド“?”でのフラグS2について説明する。図3と図5では、孤立フィールドは、それより未来のシーケンスに含まれるので、フラグS2は1となる。また、図4と図6では、孤立フィールドは、それより過去のシーケンスに含まれるので、フラグS2は0となる。
【0035】
孤立フィールドの検出は、フラグS2に基づいて、図2の制御回路215が行なう。そしてここで検出された孤立フィールドは、フィールド除去器218にて、入力動画像信号S1から除去される。
【0036】
そのアルゴリズムのフローチャートを図7及び図8に示す。ここでfpは、入力動画像信号のフィールドの入力後からのフィールド時間を表し、fpに対する加算は、信号S1の時間が未来へ進んでいくことを表す。例えば、
fp = fp + 2
は、信号S1の時間が2フィールド未来へ進んだこと、すなわちS1の入力が2フィールド進むことを表す。なお、S2[fp]などの添字は、フィールド時間を表す。
【0037】
信号S3は、ノンインターレースフレームを構成しない孤立フィールドが検出されたフィールド時間に1となる。
【0038】
信号S4は、時間fpにおける現在フィールドのパリティが反映され、第一フィールド(top_field )が1であり、第二フィールド(bottom_field)が0である。
【0039】
信号S5は、時間fpから2フィールド未来までにフィールドが除去されたことを表すフラグである。ここでは、S3で検出された孤立フィールドが除去される。
【0040】
また信号S5は、除去フィールドは、それに隣接する過去の2フィールドまたは未来の2フィールドのうち、どちらと相関が大きいかを表すフラグと見ることもできる。相関が大きいほうで1が立つ。除去フィールドに隣接する過去の2フィールドと未来の2フィールドは、それぞれ符号化フレームを構成する。
【0041】
また信号S4は、符号化フレームが、復号再生された時、第一フィールド(top_field )または第二フィールド(bottom_field)のどちらから画面表示されなければならないかを示すフラグと見ることもできる。
【0042】
図7及び図8のフローチャートを参照しながら、上記孤立フィールド検出動作を説明する。
【0043】
先ず、図7の最初のステップ301において、信号S1のフィールド時間fpを1とする(fp=1)。
【0044】
次のステップ302で、時間fpのフィールドのパリティは、第一フィールド(top_field )であるか否かを判別する。このステップ302でYESと判別されたとき、すなわちフィールドのパリティがtop_field の場合は、結合子303を介してステップ305に進み、NOと判別されたときには、結合子304を介して図8のステップ316に進む。
【0045】
ステップ305では、2フィールド未来のフラグS2[fp+2]が1であるか否かを判別し、YESのときはステップ306に、NOのときはステップ309に進む。
【0046】
ステップ306では、信号S4[fp]を1に、信号S5[fp]を0にする(S4[fp]=1、S5[fp]=0)。
【0047】
次のステップ307では、信号S1の時間が2フィールド進められた後(fp=fp+2)、結合子303を介して上記ステップ305に戻る。
【0048】
ステップ309では、1フィールド未来の信号S2[fp+1]が1であるか否かを判別し、YESのときはステップ310に、NOのときはステップ311に進む。
【0049】
ステップ310では、時間fpのフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグS3[fp]が1となり、時間fpのフィールドが信号S1から除去される。
【0050】
ステップS311では、時間fp+2のフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグS3[fp+2]が1となる。時間(fp+2)のフィールドがS1から除去される。
【0051】
これらのステップ310、311の次のステップ312においては、フラグS4[fp]は1、フラグS5[fp]は1となる(S4[fp]=1、S5[fp]=1)。
【0052】
次のステップ313では、S1の時間が3フィールド進められる(fp=fp+3)。この後、結合子304を介して上記図8のステップS316へ移る。
【0053】
図8のステップ316では、2フィールド未来のフラグS2[fp+2]が1であるか否かを判別し、YESのときはステップ317に、NOのときはステップ320に進む。
【0054】
ステップ317では、フラグS4[fp]を0、フラグS5[fp]を0とする(S4[fp]=0、S5[fp]=0)。
【0055】
次のステップ318では、信号S1の時間が2フィールド進められた後(fp=fp+2)、結合子304を介して上記ステップ316に戻る。
【0056】
ステップ320では、1フィールド未来の信号S2[fp+1]が1であるか否かを判別し、YESのときはステップ321に、NOのときはステップ322に進む。
【0057】
ステップ321では、時間fpのフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグS3[fp]が1となり、時間fpのフィールドが信号S1から除去される。
【0058】
ステップS322では、時間fp+2のフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグS3[fp+2]が1となる。時間(fp+2)のフィールドがS1から除去される。
【0059】
これらのステップ321、322の次のステップ323においては、フラグS4[fp]は0、フラグS5[fp]は1となる(S4[fp]=0、S5[fp]=1)。
【0060】
次のステップ324では、S1の時間が3フィールド進められる(fp=fp+3)。この後、結合子303を介して上記図7のステップS305へ移る。
【0061】
以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。
【0062】
なお、上述した図3〜図6には、フラグS2の他に、フラグS3〜S5、及び図1の孤立フィールド検出・除去回路172からのフィールド信号S6の例も示している。
【0063】
次に、図1のノンインターレース・フレーム検出回路172の他の具体例について、図9を参照しながら説明する。この図9において、上記図2と対応する部分には同じ指示符号を付している。
【0064】
図9の入力端子200には、図1の入力動画像信号S1が供給されており、この信号S1は、フィールドメモリ201から203に順次記憶される。したがって、メモリ202に現在フィールド、例えばn番目のフィールドが格納されると、メモリ201には過去フィールドである(n−1)番目のフィールドが、またメモリ203には未来フィールドである(n+1)番目のフィールドが格納される。
【0065】
ノンインターレースフレーム計算回路224では、(n−1)番目のフィールドS321及びn番目のフィールドS322が、ノンインターレースフレームの組み合わせであるか否かの計算を行い、その計算値S324を比較器226に送る。ノンインターレースフレーム計算回路225では、n番目のフィールドS322及び(n+1)番目のフィールドS323が、ノンインターレースフレームの組み合わせであるか否かの計算を行い、その計算値S325を比較器226に送る。
【0066】
これらのノンインターレースフレーム計算回路224、225におけるノンインターレースフレームの組み合わせであるか否かを計算するためのアルゴリズムについて、図10を参照しながら説明する。この図10は、上記アルゴリズムをいわゆるC言語で表したものである。
【0067】
この図10において、”F(pixel,line)” は、計算回路224では(n−1)番目のフィールドS321とn番目のフィールドS322とで構成されるフレーム内の画素値を示し、計算回路225ではn番目のフィールドS322と(n+1)番目のフィールドS323とで構成されるフレーム内の画素値を示す。”line”はフレームのライン数のカウント値であり、最大値”frame_vertical_size” まで数え上げる。0番目のラインすなわち”line=0”は、第一フィールド(top_field )とし、1番目のラインすなわち”line=1”は、第二フィールド(bottom_field)とする。”pix” は。各々のライン上の画素数のカウント値であり、最大値”frame_horizontal_size” まで数え上げる。0番目の画素すなわち”pix=0” は、各々のラインの左端の画素から始まる。
【0068】
図10中の式aは、第一フィールドと第二フィールドのi番目のラインの間の相関度を計算するために、ライン間の差分”dif1”を計算する。ここで、1フィールドがNラインからなるとすると、iは0からN−1までの値の全て又は一部をとる。また式bは、第二フィールドのj番目と第一フィールドの(j+1)番目のラインの間の相関度を計算するために、ライン間の差分”dif2”を計算する。ここでjは、0からN−1までの値の全て又は一部をとる。そして、式cに示すように、ライン間の差分の絶対値和”var” を計算している。式aと式bとを併用することにより、動画像が垂直方向にティルト移動しているときでも、2フィールドがノンインターレース・フレームの組み合わせであるかどうかの計算を精度良く行える。なお、式cの絶対値の計算の代わりに、二乗和の計算をするようにしてもよい。
【0069】
この図10に示すアルゴリズムをハードウェア的に表すときの概略構成を図11に示す。
【0070】
この図11において、フィールドの組CF1 及びCF2 の両者について、各隣接ライン間の差分の絶対値和Var1, Var2をそれぞれ計算する。すなわち、フィールドの組CF1 については、図11の実線に示す第一フィールドの各ラインのデータと破線に示す第二フィールドの各ラインのデータとの差分、及び第二フィールドの各ラインのデータと第一フィールドの各ラインのデータとの差分を、それぞれ減算器111で求め、それぞれの絶対値を絶対値回路112で求め、これらの総和を加算回路113で求めることで、各隣接ライン間の差分の絶対値和Var1を得る。また、フレームCF2 については、実線に示す第一フィールドの各ラインのデータと破線に示す第二フィールドの各ラインのデータとの差分を、及び第二フィールドの各ラインのデータと第一フィールドの各ラインのデータとの差分を、それぞれ減算器121で求め、それぞれの絶対値を絶対値回路122で求め、これらの総和を加算回路123で求めることで、各隣接ライン間の差分の絶対値和Var2を得る。これらの各絶対値和Var1, Var2の値を比較し、小さい方が正しいノンインターレース・フレームに対応するフィールド対であると判断する。これは、正しいノンインターレース・フレームのフィールド対の場合に、エッジ周辺の高周波が少ないことに起因する。ここの例では、絶対値和を用いているが、二乗和を用いてもかまわない。すなわち、図11の各絶対値回路112、122の代わりに、それぞれ二乗回路を用いてもよい。
【0071】
上記図10のアルゴリズムにおいて、計算値”var” としては、計算回路224からは、信号S324が出力されており、また計算回路225からは、信号S325が出力されている。信号S324とS325とは、比較器226へ供給される。比較器226においては、信号S324とS325との大きさを比較し、その結果のフラグS22を出力する。ここでは、
S324<S325のとき、S22=0
S324≧S325のとき、S22=1
とする。フラグS22が“0”のとき、n番目のフィールドは、(n−1)番目のフィールドとノンインターレースフレームの組合せであることを示す。一方、フラグS22が“1”のとき、n番目のフィールドは、(n+1)番目のフィールドとノンインターレースフレームの組合せであることを示す。このアルゴリズムは、2フィールドがノンインターレースフレームの組合せであるとき、2フィールドのライン間の相関が大きいため、ライン間の差分の絶対値和が小さくなる性質を利用している。
【0072】
実際の入力動画像信号S1に対して、上記フラグS22を計算した例を図12及び図13に示す。これらの図12、図13においても、上記図3から図6までの例と同様に、大文字のアルファベットは第一フィールドあるいはtop_field を表し、小文字のアルファベットは第二フィールドあるいはbottom_fieldを表す。そして同じアルファベットで大文字と小文字のフィールド対が、本来のノンインターレース・フレームを構成するものとする。また、記号“?”は、ノンインターレース・フレームを構成しない孤立フィールドを表す。
【0073】
これらの図12及び図13からわかるように、ノンインターレース・フレームが、インターレース・フレームの第一フィールド(top_field )から始まる2フィールドに変換されている時、例えば図12の|A a|では、第一フィールド(top_field )の“A”は、未来の第二フィールド(bottom_field)の“a”と相関が大きいので、上記フラグS22は1となり、一方、bottom_field“a”は、過去のtop_field “A”と相関が大きいので、フラグS22は0となる。また、ノンインターレース・フレームが、インターレース・フレームのbottom_fieldから始まる2フィールドに変換されている時、例えば、図12のd|Dでは、bottom_field“d”は、未来のtop_field “D”と相関が大きいので、フラグS22は1となり、一方、top_field“D”は、過去のbottom_field“d”と相関が大きいので、フラグS22は0となる。
【0074】
孤立フィールド“?”の発生原因は、各編集点の時刻で、ノンインターレース・フレームのシーケンスにフィールド編集をしたことによるものである。
【0075】
孤立フィールド“?”でのフラグS22について説明する。図12では、各孤立フィールドは、それより未来のシーケンスに含まれるので、未来のフィールドとの相関が大きく、一般的にはフラグS22は1となる。また、図13では、各孤立フィールドは、それより過去のシーケンスに含まれるので、過去のフィールドと相関が大きく、一般的にはフラグS22は0となる。
【0076】
ノンインターレース・フレームの組み合わせの判定は、比較器226から出力されるフラグS22に基づいて行われるが、誤った値のフラグS22が出力される場合があり得る。そのため、時系列に数個のフラグS22の値をメモリ(あるいはレジスタ)227に記憶し、複数のフラグS22の値の並びのパターンに基づいて、最終的なノンインターレース・フレームの組み合わせの判定をすることにより、誤判定を少なくすることができる。
【0077】
上記フラグS22からノンインターレース・フレームの組み合わせを判定する方法の具体例についてのアルゴリズムの一例を図14に示す。この図14では、いわゆるC言語表記にてアルゴリズムを示している。
【0078】
この図14において、nは入力動画像信号S1のフィールドの入力後からのフィールド時間を表し、S1[n]は、n番目のフィールドを示し、S22[n]は、S1[n]についてのフラグS22を示す。nに対する加算は、信号S1の時間が未来へ進んでいくことを表す。例えば、
n = n + 2
は、信号S1の時間が2フィールド未来へ進んだこと、すなわちS1の入力が2フィールド進むことを表す。
【0079】
図14において、変数“isTop_field”は、初期値としてn=0のフィールドのパリティを反映する。図12と図13で示す入力信号S1のフィールドシーケンスは、top_fieldから始まるので、図14の4行目のように“isTop_field=1”とする。変数top_field_first[n] は、フィールド時間nにおけるパリティが反映され、それが、top_fieldの時、“1”であり、bottom_fieldの時、“0”とする。変数repeat_first_field[n]は、孤立フィールドを除去することを指示するフラグである。変数pattern[n] は、図9の画像出力コントローラ228からの出力をコントロールするために利用される。
【0080】
図14の7行目から10行目までのAND条件が満たされる時、孤立フィールド除去が指示され、repeat_first_field[n] は、1である。top_field_first[n]は、“isTop_field”の値に応じてセットされる。29行目の n=n+3 のように、次の検査は、3フィールド後に行う。そのため、18行目と26行目のように、“isTop_field”が次の検査フィールドのパリティとなるように値を反転する。
【0081】
上記のAND条件が満たされない場合は、前の変数の状態と同じとする。39行目のように、次の検査は、2フィールド後に行う。
【0082】
この図14のアルゴリズムに対応するフローチャートを図15に示す。
【0083】
この図15において、図14の各条件CND1 〜CND5 が、図15の各条件判別ステップCND1 〜CND5 に対応している。図15の他のステップは、各変数n、isTop_field、top_field_first[n] 、repeat_first_field[n] 、pattern[n] の設定をそれぞれ示している。
【0084】
次に、図12と図13に示す入力信号S1について、図14のアルゴリズムにより、top_field_first[n], repeat_first_field[n], pattern[n] を求めた例を示す。これらの図12及び図13において、S24がtop_field_first[n]を示し、S25がrepeat_first_field[n] を示す。
【0085】
次に、図9の画像出力コントローラ228が遅延器229からの画像出力をコントロールし、S26を出力するまでについて説明する。遅延器229は、(n+1)番目のフィールドより未来のフィールドを記憶するためのメモリであり、画像出力コントローラ228から、S1に対して指定された遅延量のフィールド画像を出力できる。図12と図13の例では、遅延器229は、7フィールドメモリ必要である。なお、遅延器229とフィールドメモリ201、202、203を構成するために、フレームメモリを使用してもよい。
【0086】
画像出力S26は、変数“pattern”に基づいて以下の(1)から(6)のようにして遅延器229から出力される。図12と図13に具体例を示す。
【0087】
(1)pattern = 1 の場合
S1に対して4フレーム遅れのフィールド信号S104が、順に2フィールド出力される。
【0088】
(2)pattern = 2 の場合
S1に対して3フレーム遅れのS103が出力され、次にS104が出力される。次いで2枚の無効フィールド |− −|が出力される。
【0089】
(3)pattern = 3 の場合
S104が、順に2フィールド出力される。次いで2枚の無効フィールドが出力される。
【0090】
(4)pattern = 4 の場合
S104が出力され、次にS1に対して5フレーム遅れのS105が出力される。
【0091】
(5)pattern = 5 の場合
S104が、順に2フィールド出力される。
【0092】
(6)pattern = 6 の場合
S104が、出力され、順にS105が出力される。
【0093】
ここで無効フィールドとは、後段の符号化器へ入力されるが有効な処理がされないフィールドであり、図12と図13では、記号“−”で示す。図12と図13に、出力S26の入力S1に比較してのフレーム遅延量を示す。
【0094】
図12と図13の例では、S26は、S1と比較し、孤立フィールド“?”が除去され、かつノンインターレースフレームをつくる第1フィールドと第2フィールドは、第1フィールドが先に入力されるインタレースフレームに変化していることがわかる。さらに、無効フィールドを挿入することにより、S26のフレーム周期は、S1のフレーム周期とロックしている。そのため、後段の符号化器は、S1のフレーム周期にロックした動作が可能となる。
【0095】
説明を図1へ戻る。ノンインターレースフレーム検出器172から出力されたフィールド信号S26は、スキャンコンバータ162にて、入力順にフレーム画像へ変換される。図12と図13の例では、S26の“|”がフレームの境界である。フレーム画像は、上述のpatternに基づいて出力された2フィールド毎に構成されることがわかる。
【0096】
各入力フレームS203とそれに対応するフラグS24(top_field_first) 、フラグS25(repeat_first_field)、そして無効フレームフラグは、符号化器163へ入力される。top_field_first,repeat_first_fieldは、MPEG2で定義されている同名のフラグを使用して符号化できる。また無効フレームフラグが立っている入力フレームについては、符号化器は有効な処理を行わない。なお、符号化器163の詳細な構成については、後述する。
【0097】
符号化ビットストリームS204は記憶媒体164へ入力される。
【0098】
なお、上述実施例においては、図20に示したノンインターレースフレームの組合わせを判定するためのアルゴリズムに、7個のS22の並びのパターン(S2[n]〜S2[n+6])を使用して構成したものであるが、更に多くのS22の並びのパターンを使用することで、誤ったノンインターレースフレームの組合わせを判定することを、さらに少なくすることができる。この場合、それに応じた出力S26のフレーム遅延量が、より多く必要となる。また、逆に、この実施例より少ないS22の並びのパターンを使用することにより、誤ったノンインターレースフレームの組合わせを判定する可能性は増すが、それに応じた出力S26のフレーム遅延量を減らすことができる。
【0099】
次に、本発明に係る画像信号符号化装置の他の実施の形態について、図16を参照しながら説明する。
【0100】
この図16の入力端子101には、入力画像信号として、前記図47の(A)、(B)に示したように、ノンインターレース画像NFをインターレース画像の第一フィールド(トップフィールドともいう)Ft から開始される対をなす2枚のフィールド画像の組(すなわちフレーム)CFに変換した画像列と、前記図47の(C)、(D)に示したように、ノンインターレース画像NFをインターレース画像の第二フィールド(ボトムフィールドともいう)Fb から開始される対をなす2枚のフィールド画像の組(すなわちフレーム)CFに変換した画像列とが、前記図47の(D)に示したように、編集によって結合されて供給されている。
【0101】
この入力画像信号は、前処理回路102の検出手段としての不規則パターン検出回路103に送られて、上記入力画像信号から、上記ノンインターレース画像の1枚に対応する2枚のフィールド画像が、上記第一フィールドから開始されるか、第二フィールドから開始されるかが検出される。この不規則パターン検出回路103からの出力信号である不規則パターン検出信号及び画像データは、再構成手段としてのノンインターレース画像の再構成回路104に送られており、この再構成回路104は、上記入力画像信号の画像列の上記ノンインターレース画像に対応するフィールド画像の対が上記第一フィールドから開始されるか上記第二フィールドから開始されるかに応じてノンインターレース画像を再構成して出力する。
【0102】
このノンインターレース画像の再構成回路104からの出力信号が、前処理回路102の出力信号として、符号化器105に送られる。この例では、符号化器105として、映像信号のライン間相関やフレーム間相関を利用して圧縮符号化する符号化器が用いられており、前処理回路102から符号化器105に送られる信号として、画像データ以外に、後述するような3種類のフラグpicture_coding_type, top_field_first, repeat_first_fieldを用いている。符号化器105では、これらのフラグに従って符号化データを生成し、出力端子106より出力する。この符号化器105の具体例については、後に図面を参照しながら詳細に説明する。
【0103】
先ず、図16の前処理回路102の検出手段としての不規則パターン検出回路103における、正しいノンインターレース画像を構成するフィールド対あるいはフレームの検出について説明する。
【0104】
図17にはノンインターレース画像のシーケンスの組み合わせが崩れる場合の不規則なパターンを示している。問題となるシーケンスSQ1 やSQ2 は、第一フィールドFt から始まるノンインターレース画像に対応するフィールド対のシーケンスと、第二フィールドFb から始まるノンインターレース画像に対応するフィールドの組(フィールド対、フレームともいう)のシーケンスの系列を、編集によって結合した場合に生じることがわかる。
【0105】
従って、図18の(A)に示すように、所定のフィールド(ここでは第二フィールドFb0)を含む2組のフィールドの組CF1 及びCF2 を作成する。ここで、一方のフィールドの組CF1 あるいはフレームは、第一フィールドFt1、第二フィールドFb0の順のフィールド対から成り、他方のフィールドの組CF2 あるいはフレームは、第二フィールドFb0、第一フィールドFt2の順のフィールド対から成っている。これらのフィールドの組CF1 及びCF2 は、一方が(B)、他方が(C)に示すように、どちらか片方は正しいノンインターレースフレームを構成する組み合わせとなる。
【0106】
正しいノンインターレース画像のフレームを構成するフィールドの組を検出するには、例えば上記図11に示すような検出回路を用いることができる。
【0107】
次に、上述のように、問題となるノンインターレースシーケンスの組み合わせが崩れる場合の不規則なパターンが検出された後の、問題となるパターンの符号化方法について説明する。
【0108】
図19の(A)は、上述のようにして検出された不規則なパターン、あるいは問題となるシーケンスSQを示している。このようなシーケンスの符号化で問題となるのが、(B)に示す孤立フィールドFx である。孤立フィールドFx は、編集の結果生成されたノンインターレースフレームをなす対を持たないフィールドである。フレーム相関等を利用した符号化を行うことを前提として考えた場合、このような孤立フィールドFx を符号化する事はできない。従って、(B)に示すように、このような孤立フィールドFx は、基本的に除去され、前後のフィールド等を用いて内挿される。
【0109】
図19の(C)においては、前のフィールドFt1を繰り返すことによって上記孤立フィールドFx が除去された位置の内挿を行った例を示している。このように前フィールドFt1が繰り返されたフィールド画像の組をCFtFとする。逆に、図19の(D)に示すように、後ろのフィールドFt2を繰り返すことによって上記孤立フィールドFx の内挿を行うこともできる。この後ろのフィールドFt2が繰り返されたフィールド画像の組をCFtBとする。これらの図19(C)、(D)において、ノンインターレース画像に対応するフィールド画像の組CFあるいは符号化されるフレームの内、第一フィールドFt から始まるフィールド画像の組あるいはフレームをCFt とし、第二フィールドFb から始まるフィールド画像の組あるいはフレームをCFb としている。
【0110】
上記(C)のパターンに対して、後述するようなフレーム相関等を利用した動画像符号化を施す場合の例を図20に示す。この符号化では、top_field_first,repeat_first_fieldの2種類のフラグを組み合わせて、このノンインターレース画像に対応するフィールド画像の組CF、あるいはフレーム、のシーケンスを符号化できる。
【0111】
これらのフラグの内、top_field_first フラグは、符号化されるフレームあるいはフィールド画像の組CFが、第一フィールドFt から開始されている組CFt の場合に1、第二フィールドFb から開始されている組CFb の場合に0である。
【0112】
repeat_first_fieldフラグは、符号化されるフレームあるいはフィールド画像の組CFの最初のフィールドを繰り返し表示する場合に1、繰り返し表示しない場合に0である。
【0113】
これによって、図20に示すような値をフラグに指定することによって、符号化が実現される。
【0114】
同様に、図19の(D)のパターンを符号化した例が、図21である。
【0115】
これらの図20、図21において、第一フィールドFt から始まり、最初のフィールドを繰り返し表示するような符号化フレームあるいはフィールド画像の組CFtF、CFtBについては、2つのフラグtop_field_first, repeat_first_field のいずれもが1となっている。ここで、図21の後ろのフィールドFt2が繰り返されるフィールド画像の組CFtBの場合も、符号化データとしては最初のフィールドである第一フィールドFt のデータが繰り返されることになるわけである。
【0116】
図16のノンインターレース画像の再構成回路104においては、後述するようなピクチャタイプのスケジューリングを含む符号化フレームあるいはフィールド画像の組CFの再構成が行われ、3種類のフラグ picture_coding_type, top_field_first, repeat_first_field が出力され、画像データとともに符号化器105へ渡される。
【0117】
符号化器105では、これらのフラグに従って、以下に説明するような方法で符号化データを生成し、出力端子106より出力する。
【0118】
この出力端子106からの符号化出力信号を光学記録媒体等の信号記録媒体に記録することにより、効率の良い符号化が行われた信号が記録された媒体を得ることができる。
【0119】
以上説明した動画像符号化方法または装置によれば、入力動画像のノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、入力動画像にノンインターレース・フレームを構成しない孤立フィールドが含まれる場合でも、入力フレームがノンインターレース・フレームとなるようにフレームを構成してから符号化できるので、効率の良い画像符号化を実現できる。例えば、フィルム画像を2:2プルダウンしたフレームレート25Hzのビデオにフィールド編集などの加工をした為に、不規則な2:2プルダウンのパターンを含むビデオを符号化する時に、有効である。
【0120】
次に、符号化規格としていわゆるMPEG(Moving Picture Image Coding Experts Group )の符号化規格を用いる場合について説明する。
【0121】
このMPEG方式による符号化においては、一つのビデオシーケンスはGOP(フレーム群)、例えば12フレーム単位に分割されており、各フレームは、予測方式によって次の3種類に分類される。すなわち、
Iピクチャ:(イントラ符号化画像:Intra−coded picture )、フレーム内符号化画像
Pピクチャ:(前方予測符号化画像:Predictive−coded picture)、過去及び未来のPピクチャまたはIピクチャから動き予測を行なうフレームの画像
Bピクチャ:(両方向予測符号化画像:Bidirectionally predictive coded picture)、過去及び未来のPピクチャまたはIピクチャから動き予測を行なうフレームの画像
である。
【0122】
上記Iピクチャが少なくとも1枚入った画像群構造としてのGOP(グループオブピクチャ)の構成例を図22に示す。ここでGOP中での各フレームの番号は表示順番を表す。
【0123】
この例では、入力フレームをBピクチャで符号化する時に、上述の図1〜図8と共に説明した例で説明したフラグS5を1としないように制御する。そのため、上述の例とは、図1のノンインターレース・フレーム検出回路172の制御方法が違う。それ以外は、上述の例と同じである。
【0124】
このMPEG方式の符号化の例におけるノンインターレース・フレーム検出回路での処理のアルゴリズムについて、図23のフローチャートを参照しながら説明する。ここで、信号S7は、フレームの符号化方法を示すものであり、符号化器163から指定される。この図23のアルゴリズムと上記図7及び図8のアルゴリズムとの違いは、条件分岐ステップ305と316の条件がステップ331と332のように変更された点である。この図23の例の他の構成は図7、図8と同様であるため、変更箇所であるステップ331、332の前後のみを図示し、他の部分は図示を省略している。
【0125】
すなわち、図7の条件分岐ステップ305は、図23の条件分岐ステップ331のように変更される。このステップ331では、2フィールド未来のフラグS2[fp+2]が1であるか、または上記信号S7がBピクチャを示すか、が判別される。また、図8の条件分岐ステップ316は、図23の条件分岐ステップ332のように変更される。このステップ332では、2フィールド未来のフラグS2[fp+2]が1であるか、または上記信号S7がBピクチャを示すか、が判別される。
【0126】
このときの各部信号やフラグの具体例を図24に示す。これは、孤立フィールドを上記top_field で除去する例である。図24の(a)は、上述した図3〜図8と共に説明した方法によるものであり、図24の(b)は、この図23に示す例の方法によるものである。
【0127】
図中のフィールド“?”の時間を現在時間fpとする。図24の(a)では、“?”を孤立フィールドとして検出し、除去する。そしてフレーム|f F|をBピクチャ指定し、フラグS5を1としている。
【0128】
一方、図24の(b)では、フィールド“?”の時間fpで符号化方法がBピクチャ指定されているので、“?”は孤立フィールドと検出されない。そしてフィールド時間が2フィールド進んだところ(fp=fp+2)で、符号化方法がPピクチャ指定されており、“F”が孤立フィールドと検出され、除去される。そして、フレーム|g G| をPピクチャで符号化し、フラグS5を1としている。図23に示すアルゴリズムでは、フィールド“F”の時間を現在時間fpとすると、それより未来のフィールドシーケンスでは、“F”はノンインターレースフレームを構成しない孤立フィールドと判断される。
【0129】
もう一例を図25に示す。これは、孤立フィールドを bottom_field で除去する例である。図25の(a)は、上述した図3〜図8と共に説明した方法の例であり、図25の(b)は、図23に示す例の方法の例である。
【0130】
この図25において、フィールド“c”の時間を現在時間fpとする。図25の(a)では、“?”を孤立フィールドとして検出し、除去する。そしてフレーム|c C| をBピクチャ指定し、フラグS5を1としている。
【0131】
一方、図25の(b)では、フィールド“c”の時間fpで符号化方法がBピクチャ指定されているので、“?”は孤立フィールドに検出されない。そしてフィールド時間が4フィールド進んだところで、符号化方法がPピクチャ指定されており、“d”が孤立フィールドと検出され、除去される。そして、図中のフレーム|E e| をPピクチャで符号化し、フラグS5を1としている。図23に示すアルゴリズムでは、フィールド“d”の時間を現在時間fpとすると、それより未来のフィールドシーケンスでは、“d”はノンインターレースフレームを構成しない孤立フィールドと判断される。
【0132】
以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。
【0133】
このようにして孤立フィールドが除去されて、図1のフィールド検出・除去回路172から出力されたフィールド信号S6は、スキャンコンバータ162にて、入力順にフレーム画像へ変換される。信号S6の例は、上述した図24、図25の通りである。各入力フレーム信号S203とそれに対応するフラグS4とS5は、画像符号化器163へ入力される。2つのフラグS4とS5は、それぞれMPEG2で定義されている”top_field_first” と ”repeat_first_field” を使用して符号化できる。なお、符号化器163の詳細な構成については、後述する。符号化ビットストリームS204は記憶媒体164へ入力される。
【0134】
ここで説明した具体例は、画像復号器側がMPEG2のいわゆるMP@ML(メインプロファイル・アト・メインレベル)のクラスの性能を有しているときに必須とされる。すなわち、ノンインターレース・フレームを構成しない孤立フィールドを除去したことを指示するフラグをMPEG2の”repeat_first_field”を用いて伝送するが、MPEG2のMP@MLでは、フレームレート25Hzの時に、Bピクチャの”repeat_first_field”を1とすることが禁止されている。そこで、上記具体例を用いることで、この禁止事項を回避し、かつ効率の良い画像符号化を実現できる。
【0135】
次に、上記フラグS5が1のときに、符号化方法を強制的にI又はPとする例について説明する。
【0136】
一般的にGOPの中では、PピクチャまたはIピクチャは周期的である場合が多い。例えば、図22に示すGOP構成では、PピクチャまたはIピクチャは、3フレーム毎にある。
【0137】
この例では、上述の図3〜図8で説明したフラグS5を1とした時に、フレームの符号化方法を、強制的にIフレームまたはPフレームとする。そのため、上述の例とは、符号化器163が行なうフレームの符号化方法を示す信号S7の制御方法が違う。それ以外は、上述の図3〜図8で説明した例と同じである。
【0138】
具体例を図26と図1とで説明する。フィールド“?”の時間を現在時間fpとする。そして、“?”を孤立フィールドとして検出し、除去する。そして上記フラグS5を1とする。それを受けて、符号化器163は、Pピクチャを3フレーム毎に使う場合ならばBピクチャが割り当てられるところ、ここでは、信号S7によりPピクチャ指定を行わせる。
【0139】
ノンインターレース・フレーム検出回路172から出力されたフィールド信号S6は、スキャンコンバータ162にて、入力順にフレーム画像へ変換される。信号S6の例を、図26に示す。
【0140】
各入力フレーム信号S203とそれに対応するフラグS4とS5は、画像符号化器163へ入力される。2つのフラグS4とS5は、それぞれMPEG2で定義されている”top_field_first” と ”repeat_first_field” を使用して符号化できる。なお、符号化器163の詳細な構成については、後述する。符号化ビットストリームS204は記憶媒体164へ入力される。
【0141】
ここで説明した具体例も、画像復号器側がMPEG2のいわゆるMP@MLのクラスの性能を有しているときに必須とされ、この具体例を用いることで、上述したBピクチャの”repeat_first_field”を1とすることが禁止される禁止事項を回避し、かつ効率の良い画像符号化を実現できる。
【0142】
ところで、いわゆるPAL方式の映像信号において、上記MPEG符号化規格を用いる場合には、“PAL方式のシーケンスにおいてフィールド繰り返しはBピクチャで禁止する”との規定がある。ここでPAL方式とは、Phase Alternation by Line の略である。前述したような不規則なテレシネパターンは、上記PAL方式の場合に生じるため、これを考慮する必要がある。これを、図27を参照しながら説明する。
【0143】
図27において、問題となる不規則なパターンを符号化する場合に、どこでフィールド繰り返しを行うかは、符号化器の自由である。このため、本例においては、フィールド繰り返しをIピクチャ(イントラ符号化画像:Intra−coded picture )もしくはPピクチャ(前方予測符号化画像:Predictive−coded picture)において発生するように、スケジューリングを行っている。
【0144】
すなわち、図27の(A)に示すような上記不規則パターンを含むシーケンスに対して、図27の(B)のように、フィールド繰り返しを含む組CFtBが上記Pピクチャに対応するようにスケジューリングを行うことにより、上記規定を違反することなく符号化が行える。なお、図27の(C)のように、フィールド繰り返しを含む組CFtFが符号化の際の上記Bピクチャに対応すると、上記規定を違反することになるから、このような符号化を回避するようなスケジューリングを行って上記図16の符号化器105に送るわけである。
【0145】
図16のノンインターレース画像の再構成回路104においては、このようなピクチャタイプのスケジューリングを含む符号化フレームあるいはフィールド画像の組CFの再構成が行われ、3種類のフラグ picture_coding_type, top_field_first, repeat_first_field が出力され、画像データとともに符号化器105へ渡される。
【0146】
次に、上記図9に示す構成のノンインターレースフレーム検出回路を用いる場合の具体例について、詳細に説明する。
【0147】
上記図9の構成を用いる場合のフラグS22から、ノンインターレースフレームの組合わせを判定するアルゴリズムの一例を、図30に示す。ここで、7行目の“picture_coding_type” は、フレームの符号化方法であり、後段の図1の符号化器163から指定される。このアルゴリズムと上記図14のアルゴリズムとの違いは、7行目から11行目のAND条件である。ここでは、repeat_first_fieldが、1となるための条件に、“picture_coding_type”が、“B_PICTURE”以外の時という条件を加えている。
【0148】
この図30のアルゴリズムに対応するフローチャートを図31に示す。
【0149】
この図31において、図30の各条件CND11〜CND15が、図31の各条件判別ステップCND11〜CND15に対応している。図31の他のステップは、各変数n、isTop_field、top_field_first[n] 、repeat_first_field[n] 、pattern[n] の設定をそれぞれ示している。
【0150】
具体例を図28と図29に示す。図28は、上述した図12と同じ入力S1について、図30のアルゴリズムにより、top_field_first, repeat_first_field,pattern を判断した結果を示したものである。また、図29は、上述の図13と同じ入力S1について、図30のアルゴリズムによりtop_field_first, repeat_first_field, patternを判断した結果を示したものである。
【0151】
図12と図28の場合の違いは、図12では、n=15すなわち、S1の15番目のフィールドの“?”において、repeat_first_field=1 で pattern=5 となり、孤立フィールド“?”を除去しているが、図28では、フィールド“?”で指定されるpicture_coding_typeが、“B_PICTURE”なので、repeat_first_fieldを1としない。次に図30のアルゴリズムにより、repeat_first_fieldが1となるのは、n=19のフィールド“i”の時であり、このとき、pattren=5となり、“i”は除去される。
【0152】
図13と図29の場合の違いは、図13では、n=4すなわち、S1の4番目のフィールド“C”において、repeat_first_field=1 で pattern=5 となり、孤立フィールド“?”を除去しているが、図29では、フィールド“C”で指定されるpicture_coding_type が、“B_PICTURE” なので、repeat_first_fieldを1としない。次に図30のアルゴリズムにより、repeat_first_fieldが1となるのは、n=6のフィールド“?”の時であり、この時、pattren=2 となり、“?”は除去される。
【0153】
図28の場合、本来、フィールド“i”は、フィールド“I”とノンインターレースフレームをつくる組合わせであるが、図30のアルゴリズムでは、Bピクチャで、repeat_first_fieldを1としないという制限のために、結果的には、フィールド“i”を除去することになる。これは、本来は正しくないがフィールド“h”と“I”をノンインターレースフレームの組合わせとしたために、次に、正しくフィールド“J”と“j”をノンインターレースフレームの組合わせとする場合、フィールド“i”を孤立フィールドとしなければならないためである。このように本例では、Bピクチャで、repeat_first_fieldを1としないという制限のために、上述した図14のアルゴリズムの例に比べ、repeat_first_fieldが1となるフレームの前後で、符号化効率が低下するフレーム(図28のフレーム|I h|)が発生する場合がある。このような場合、そのフレームのビットレートを上げるなどの対策が有効である。
【0154】
以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。
【0155】
説明を図1へ戻る。ノンインターレースフレーム検出器178から出力されたフィールド信号S26は、スキャンコンバータ162にて、入力順にフレーム画像S203へ変換される。図28と図29の例では、S26の“|”がフレームの境界である。フレーム画像は、上述のpattern に基づいて出力された2フィールド毎に構成されることがわかる。
【0156】
各入力フレームS203とそれに対応するフラグS24とS25は、画像符号化器163へ入力される。2つのフラグS24とS25は、それぞれMPEG2で定義されている“top_field_first” と“repeat_first_field”を使用して符号化できる。符号化器163からの符号化ビットストリームS204は記憶媒体164へ入力される。
【0157】
次に、上記図1の復号装置側について説明する。
【0158】
図1の記憶媒体164からは、符号化ビットストリーム信号S205が端子176を介して画像復号器165に供給される。画像復号器165にて、符号化ビットストリーム信号S205から、フレーム信号S206が再生される。なお画像復号器165についての詳細な説明は後述する。
【0159】
フレーム信号S206のそれぞれのフレームついて、top_field または bottom_field のどちらから画面表示されなければならないかを示す第2のフラグS10、及びフィールドを除去したことを指示する第1のフラグS11が復号される。これらのフラグS10、S11は、それぞれ符号化器の例で説明したフラグS4、S5、あるいはS24、S25に対応するものである。
【0160】
フレーム信号S206の各フレームは、スキャンコンバータ166にて、top_field と bottom_field のフィールド信号S207の2フィールドに変換される。出力コントローラ177は、フィールド信号S207の画像表示をフラグS10、S11によって制御する。
【0161】
フラグS10が1である時、top_field が先に出力され、フラグS10が0である時、bottom_field が先に出力される。
【0162】
またフラグS11が1である時、すでに復号再生されたフィールドを使って1フィールドを内挿する。例えば、フラグS10で指示される最初に出力されたフィールドを繰り返し出力する。この場合、2つのフラグS10とS11は、それぞれMPEG2で定義されている”top_field_first” と ”repeat_first_field” を用いて実現できる。このようにして、信号S207、フラグS10、S11に基づいて、信号S208を出力する。この信号S208は、モニタ167で表示される。
【0163】
出力コントローラでの処理について、具体例を図32、図33、図34、図35に示す。これらの4例は、それぞれ順に、図3、図4、図5、図6で説明したシーケンスの符号化ビットストリームに対応する出力である。
【0164】
次に、図1の画像符号化器163の具体例について、図36を参照しながら説明する。この図36の例では、MPEG2などで広く知られている動き補償フレーム間予測とDCTを組み合わせたハイブリッド符号化方法で構成する。
【0165】
この図36の端子360からは、入力動画像信号S203が入力される。各フレームは、Iピクチャ、PピクチャまたはBピクチャの3種類の方法のいずれかで、符号化される。
【0166】
例えば上記図22に示すように、12フレームで構成されるGOPの場合、I2をIピクチャとして符号化し、フレームB0,B1をBピクチャとして符号化し、フレームP5をPピクチャとして符号化する。以下、B3,B4,P8,B6,B7,P11,B9,B10の順番で符号化する。このような画像符号化方法は、画像符号化タイプ指定回路371が行ない、上記信号S7を出力する。
【0167】
信号S203は、動きベクトル推定回路370へ入力され、ここでフレーム間の動きベクトルが検出される。動きベクトル推定は、例えば、参照フレームと現在の16画素×16ラインのマクロブロックとのパターンマッチングで行なう。すなわち、現在のマクロブロックの信号Aijと、任意の動きベクトルにより参照されるブロックの信号Fijの差の絶対値|Aij−Fij|の和Ef 、すなわち
Ef = Σ|Aij−Fij|
を求める。
【0168】
動きベクトル検出回路370は、Ef が最小となる動きベクトル情報S43を出力する。動き補償フレーム間/内予測回路367は、動きベクトル情報S23で読み出した予測画像信号S90を出力する。演算器361は、信号S203と信号S90の差分計算をし、予測残差信号S91が取り出される。なお、信号S7がIピクチャを示す場合、予測を行なわず、入力動画像信号S203がそのまま取り出される。
【0169】
次に、予測残差信号S91(予測を行なわない時は原信号)に対して、DCT回路362にて2次元DCTを施す。DCT係数は、量子化回路363にてスカラー量子化される。量子化出力それぞれは、VLC(可変長符号化)回路368にて、ハフマン符号化される。また、それぞれのマクロブロック毎に、その量子化ステップQと動きベクトル情報S44は、VLC回路368にて、ハフマン符号化される。また、それぞれのフレーム毎に、そのフレームの信号S7と前述のフラグS4とS5は、VLC回路368にて、ハフマン符号化される。
【0170】
バッファ369では、伝送路に出力するビットレートを平滑化するとともに、オーバーフローが起こりそうな時は、そのことをフィードバックし、量子化回路363の量子化ステップを大きくし、量子化回路363から出力される情報量を小さくする。
【0171】
一方、量子化回路363から出力されたデータは、逆量子化回路364に入力され、量子化回路363より供給される量子化ステップQに対応して逆量子化される。逆量子化回路364の出力は、逆DCT回路365に入力され、逆DCT処理され、復号された予測残差信号S92が、演算器366へ入力される。
【0172】
この演算器366にはまた、演算器361に供給されている予測残差信号S90と同一のデータが供給されている。演算器366は、信号S92に信号S90を加算する。これにより、局所復号した画像データが得られる。この画像は、受信側での出力画像と同じ信号である。
【0173】
ここで、上述した動画像信号の符号化及び復号の具体例について、図37〜図45を参照しながらさらに詳細に説明する。この具体例では、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化している。
【0174】
上記ライン相関を利用する場合には、画像信号を、例えばDCT(離散コサイン変換)処理するなどして圧縮することができる。
【0175】
また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図37のAに示すように、時刻t=t1,t2,t3において、フレーム画像PC1,PC2,PC3がそれぞれ発生しているとき、フレーム画像PC1とPC2の画像信号の差を演算して、図37のBに示すように画像PC12を生成し、また、図37のAのフレーム画像PC2とPC3の差を演算して、図37のBの画像PC23を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。すなわち、図37のBに示す画像PC12においては、図37のAのフレーム画像PC1とPC2の画像信号の差として、図37のBの画像PC12の図中斜線で示す部分の信号が得られ、また、図37のBに示す画像PC23においては、図37のAのフレーム画像PC2とPC3の画像信号の差として、図37のBの画像PC23の図中斜線で示す部分の信号が得られる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【0176】
しかしながら、上記差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Iピクチャ(イントラ符号化画像:Intra−coded picture)、Pピクチャ(前方予測符号化画像: Predictive−coded picture)またはBピクチャ(両方向予測符号化画像:Bidirectionally−predictive−coded picture )の3種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【0177】
すなわち、例えば図38のA及びBに示すように、フレームF1乃至F17までの17フレームの画像信号をグループオブピクチャとし、符号化処理の1単位とする。そして、その先頭のフレームF1の画像信号はIピクチャとして符号化し、第2番目のフレームF2はBピクチャとして、また第3番目のフレームF3はPピクチャとして、それぞれ処理する。以下、第4番目以降のフレームF4乃至F17は、BピクチャまたはPピクチャとして交互に処理する。
【0178】
Iピクチャの画像信号としては、その1フレーム分の画像信号をそのまま伝送する。これに対して、Pピクチャの画像信号としては、基本的には、図38のAに示すように、それより時間的に先行するIピクチャまたはPピクチャの画像信号からの差分を符号化して伝送する。さらにBピクチャの画像信号としては、基本的には、図38のBに示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化して伝送する。
【0179】
図39のA及びBは、このようにして、動画像信号を符号化する方法の原理を示している。なお、図39のAには動画像信号のフレームのデータを、図39のBには伝送されるフレームデータを模式的に示している。この図39に示すように、最初のフレームF1は、Iピクチャすなわち非補間フレームとして処理されるため、そのまま伝送データF1X(伝送非補間フレームデータ)として伝送路に伝送される(イントラ符号化)。これに対して、第2のフレームF2は、Bピクチャすなわち補間フレームとして処理されるため、時間的に先行する上記フレームF1と、時間的に後行するフレームF3(フレーム間符号化の非補間フレーム)の平均値との差分が演算され、その差分が伝送データ(伝送補間フレームデータ)F2Xとして伝送される。
【0180】
ただし、このBピクチャとしての処理は、さらに細かく説明すると、マクロブロック単位で切り替えが可能な4種類のモードが存在する。その第1の処理は、元のフレームF2のデータを図中破線の矢印SP1で示すようにそのまま伝送データF2Xとして伝送するものであり(イントラ符号化モード)、Iピクチャにおける場合と同様の処理となる。第2の処理は、時間的に後のフレームF3からの差分を演算し、図中破線矢印SP2で示すようにその差分を伝送するものである(後方予測モード)。第3の処理は、図中破線矢印SP3で示すように時間的に先行するフレームF1との差分を伝送するものである(前方予測モード)。さらに第4の処理は、図中破線矢印SP4で示すように時間的に先行するフレームF1と後行するフレームF3の平均値との差分を生成し、これを伝送データF2Xとして伝送するものである(両方向予測モード)。
【0181】
この4つの方法のうち、伝送データが最も少なくなる方法がマクロブロック単位で採用される。
【0182】
なお、差分データを伝送するときには、差分を演算する対象となるフレームの画像(予測画像)との間の動きベクトルx1(前方予測の場合のフレームF1とF2の間の動きベクトル)、もしくは動きベクトルx2(後方予測の場合のフレームF3とF2の間の動きベクトル)、または動きベクトルx1とx2の両方(両方向予測の場合)が、差分データとともに伝送される。
【0183】
また、PピクチャのフレームF3(フレーム間符号化の非補間フレーム)は、時間的に先行するフレームF1を予測画像として、このフレームF1との差分信号(破線矢印SP3で示す)と、動きベクトルx3が演算され、これが伝送データF3Xとして伝送される(前方予測モード)。あるいはまた、元のフレームF3のデータがそのまま伝送データF3Xとして伝送(破線矢印SP1で示す)される(イントラ符号化モード)。このPピクチャにおいて、いずれの方法により伝送されるかは、Bピクチャにおける場合と同様であり、伝送データがより少なくなる方がマクロブロック単位で選択される。
【0184】
なお、BピクチャのフレームF4とPピクチャのフレームF5も上述同様に処理され、伝送データF4X、F5X、動きベクトルx4,x5,x6等が得られる。
【0185】
図40は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号する装置の構成例を示している。符号化装置1は、入力された映像信号を符号化し、伝送路としての記録媒体3に伝送して記録するようになされている。そして、復号装置2は、記録媒体3に記録された信号を再生し、これを復号して出力するようになされている。
【0186】
先ず、符号化装置1においては、入力端子10を介して入力された映像信号VDが前処理回路11に入力され、そこで輝度信号と色信号(この例の場合、色差信号)が分離され、それぞれA/D変換器12,13でA/D変換される。A/D変換器12,13によりA/D変換されてディジタル信号となった映像信号は、フレームメモリ14に供給され、記憶される。このフレームメモリ14では、輝度信号を輝度信号フレームメモリ15に、また、色差信号を色差信号フレームメモリ16に、それぞれ記憶させる。
【0187】
フォーマット変換回路17は、フレームメモリ14に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。すなわち、図41の(A)に示すように、フレームメモリ14に記憶された映像信号は、1ライン当りHドットのラインがVライン集められたフレームフォーマットのデータとされている。フォーマット変換回路17は、この1フレームの信号を、16ラインを単位としてN個のスライスに区分する。そして、各スライスは、図41の(B)に示すように、M個のマクロブロックに分割される。各マクロブロックは、図41の(C)に示すように、16×16個の画素(ドット)に対応する輝度信号により構成され、この輝度信号は、図41の(C)に示すように、さらに8×8ドットを単位とするブロックY[1]乃至Y[4]に区分される。そして、この16×16ドットの輝度信号には、8×8ドットのCb信号と、8×8ドットのCr信号が対応される。
【0188】
このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路17からエンコーダ18に供給され、ここでエンコード(符号化)が行われる。その詳細については、図42を参照して後述する。
【0189】
エンコーダ18によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体3に記録される。
【0190】
記録媒体3より再生されたデータは、復号装置2のデコーダ31に供給され、デコードされる。デコーダ31の詳細については、図45を参照して後述する。
【0191】
デコーダ31によりデコードされたデータは、フォーマット変換回路32に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ33の輝度信号フレームメモリ34に供給され、記憶され、色差信号は色差信号フレームメモリ35に供給され、記憶される。輝度信号フレームメモリ34と色差信号フレームメモリ35より読み出された輝度信号と色差信号は、D/A変換器36と37によりそれぞれD/A変換され、後処理回路38に供給され、合成される。この出力映像信号は、出力端子30から図示せぬ例えばCRTなどのディスプレイに出力され、表示される。
【0192】
次に図42を参照して、エンコーダ18の構成例について説明する。
【0193】
入力端子49を介して供給された符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路50に入力される。動きベクトル検出回路50は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Iピクチャ、Pピクチャ、またはBピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、I,P,Bのいずれのピクチャとして処理するかは、予め定められている(例えば、図38に示したように、フレームF1乃至F17により構成されるグループオブピクチャが、I,B,P,B,P,・・・B,Pとして処理される)。
【0194】
Iピクチャとして処理されるフレーム(例えばフレームF1)の画像データは、動きベクトル検出回路50からフレームメモリ51の前方原画像部51aに転送、記憶され、Bピクチャとして処理されるフレーム(例えばフレームF2)の画像データは、原画像部(参照原画像部)51bに転送、記憶され、Pピクチャとして処理されるフレーム(例えばフレームF3)の画像データは、後方原画像部51cに転送、記憶される。
【0195】
また、次のタイミングにおいて、さらにBピクチャ(例えば前記フレームF4)またはPピクチャ(前記フレームF5)として処理すべきフレームの画像が入力されたとき、それまで後方原画像部51cに記憶されていた最初のPピクチャ(フレームF3)の画像データが、前方原画像部51aに転送され、次のBピクチャ(フレームF4)の画像データが、原画像部51bに記憶(上書き)され、次のPピクチャ(フレームF5)の画像データが、後方原画像部51cに記憶(上書き)される。このような動作が順次繰り返される。
【0196】
フレームメモリ51に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り換え回路52において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路54の制御の下に、演算部53において、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードによる演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号(処理の対象とされている参照画像と、これに対する予測画像との差分)に対応してマクロブロック単位で決定される。このため、動きベクトル検出回路50は、この判定に用いられる予測誤差信号の絶対値和(自乗和でもよい)及び、その予測誤差信号に対応するイントラ符号化モードの評価値をマクロブロック単位で生成する。
【0197】
ここで、予測モード切り換え回路52におけるフレーム予測モードとフィールド予測モードについて説明する。
【0198】
フレーム予測モードが設定された場合においては、予測モード切り換え回路52は、動きベクトル検出回路50より供給される4個の輝度ブロックY[1]乃至Y[4]を、そのまま後段の演算部53に出力する。すなわち、この場合においては、図43のAに示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。なお、図43の各マクロブロック中の実線は奇数フィールド(第一フィールドのライン)のラインのデータを、破線は偶数フィールド(第二フィールドのライン)のラインのデータを示し、図43の図中a及びbは動き補償の単位を示している。このフレーム予測モードにおいては、4個の輝度ブロック(マクロブロック)を単位として予測が行われ、4個の輝度ブロックに対して1個の動きベクトルが対応される。
【0199】
これに対して、予測モード切り換え回路52は、フィールド予測モードが設定された場合、図43のAに示す構成で動きベクトル検出回路50より入力される信号を、図43のBに示すように、4個の輝度ブロックのうち、輝度ブロックY[1]とY[2]を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の2個の輝度ブロックY[3]とY[4]を、偶数フィールドのラインのデータにより構成させて、演算部53に出力する。この場合においては、2個の輝度ブロックY[1]とY[2]に対して、1個の動きベクトルが対応され、他の2個の輝度ブロックY[3]とY[4]に対して、他の1個の動きベクトルが対応される。
【0200】
なお、色差信号は、フレーム予測モードの場合、図43のAに示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部53に供給される。また、フィールド予測モードの場合、図43のBに示すように、各色差ブロックCb,Crの上半分(4ライン)が、輝度ブロックY[1],Y[2]に対応する奇数フィールドの色差信号とされ、下半分(4ライン)が、輝度ブロックY[3],Y[4]に対応する偶数フィールドの色差信号とされる。
【0201】
また、動きベクトル検出回路50は、次のようにして、予測判定回路54において、各マクロブロックに対し、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれの予測を行なうか及びフレーム予測モード、フィールド予測モードのどちらで処理するかを決定するためのイントラ符号化モードの評価値及び各予測誤差の絶対値和をマクロブロック単位で生成する。
【0202】
すなわち、イントラ符号化モードの評価値として、これから符号化される参照画像のマクロブロックの信号Aijとその平均値との差の絶対値和Σ|Aij−(Aijの平均値)|を求める。また、前方予測の予測誤差の絶対値和として、フレーム予測モード及びフィールド予測モードそれぞれにおける、参照画像のマクロブロックの信号Aijと、予測画像のマクロブロックの信号Bijの差(Aij−Bij)の絶対値|Aij−Bij|の和Σ|Aij−Bij|を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に(その予測画像を前方予測における場合と異なる予測画像に変更して)フレーム予測モード及びフィールド予測モードの場合のそれぞれに対して求める。
【0203】
これらの絶対値和は、予測判定回路54に供給される。予測判定回路54は、フレーム予測モード、フィールド予測モードそれぞれにおける前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター(inter) 予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、イントラ符号化モードの評価値とを比較し、その小さい方を選択し、この選択した値に対応するモードを予測モード及びフレーム/フィールド予測モードとして選択する。すなわち、イントラ符号化モードの評価値の方が小さければ、イントラ符号化モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが予測モード及びフレーム/フィールド予測モードとして設定される。
【0204】
上述したように、予測モード切り換え回路52は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測判定回路54により選択されたモードに対応する図43で示したような構成で、演算部53に供給する。また動きベクトル検出回路50は、予測判定回路54により選択された予測モードに対応する予測画像と参照画像との間の動きベクトルを出力し、後述する可変長符号化回路58と動き補償回路64に供給する。なお、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【0205】
予測判定回路54は、動きベクトル検出回路50が前方原画像部51aよりIピクチャの画像データを読み出しているとき、予測モードとして、イントラ符号化モード(動き補償を行わないモード)を設定し、演算部53のスイッチ53dを接点a側に切り換える。これにより、Iピクチャの画像データがDCTモード切り換え回路55に入力される。
【0206】
このDCTモード切り換え回路55は、図44のAまたはBに示すように、4個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態(フレームDCTモード)、または、分離された状態(フィールドDCTモード)、のいずれかの状態にして、DCT回路56に出力する。
【0207】
すなわち、DCTモード切り換え回路55は、奇数フィールドと偶数フィールドのデータを混在してDCT処理した場合における符号化効率と、分離した状態においてDCT処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【0208】
例えば、入力された信号を、図44のAに示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和(または自乗和)を求める。また、入力された信号を、図44のBに示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和(または自乗和)を求める。さらに、両者(絶対値和)を比較し、小さい値に対応するDCTモードを設定する。すなわち、前者の方が小さければ、フレームDCTモードを設定し、後者の方が小さければ、フィールドDCTモードを設定する。
【0209】
そして、選択したDCTモードに対応する構成のデータをDCT回路56に出力するとともに、選択したDCTモードを示すDCTフラグを、可変長符号化回路58に出力する。
【0210】
予測モード切り換え回路52におけるフレーム/フィールド予測モード(図43参照)と、このDCTモード切り換え回路55におけるDCTモード(図44参照)を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【0211】
予測モード切り換え回路52において、フレーム予測モード(奇数ラインと偶数ラインが混在するモード)が選択された場合、DCTモード切り換え回路55においても、フレームDCTモード(奇数ラインと偶数ラインが混在するモード)が選択される可能性が高く、また予測モード切り換え回路52において、フィールド予測モード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択された場合、DCTモード切り換え回路55において、フィールドDCTモード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択される可能性が高い。
【0212】
しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り換え回路52においては、予測誤差の絶対値和が小さくなるようにモードが決定され、DCTモード切り換え回路55においては、符号化効率が良好となるようにモードが決定される。
【0213】
DCTモード切り換え回路55より出力されたIピクチャの画像データは、DCT回路56に入力され、DCT(離散コサイン変換)処理され、DCT係数に変換される。このDCT係数は、量子化回路57に入力され、送信バッファ59のデータ蓄積量(バッファ蓄積量)に対応した量子化ステップで量子化された後、可変長符号化回路58に入力される。
【0214】
可変長符号化回路58は、量子化回路57より供給される量子化ステップ(スケール)に対応して、量子化回路57より供給される画像データ(いまの場合、Iピクチャのデータ)を、例えばハフマン(Huffman) 符号などの可変長符号に変換し、送信バッファ59に出力する。
【0215】
可変長符号化回路58にはまた、量子化回路57より量子化ステップ(スケール)、予測判定回路54より予測モード(イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれが設定されたかを示すモード)、動きベクトル検出回路50より動きベクトル、予測判定回路54より予測フラグ(フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ)、及びDCTモード切り換え回路55が出力するDCTフラグ(フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ)が入力されており、これらも可変長符号化される。
【0216】
送信バッファ59は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路57に出力する。
【0217】
送信バッファ59は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路57の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ59は、量子化制御信号によって量子化回路57の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ59のオーバフローまたはアンダフローが防止される。
【0218】
そして、送信バッファ59に蓄積されたデータは、所定のタイミングで読み出され、出力端子69を介して伝送路に出力され、例えば記録媒体3に記録される。
【0219】
一方、量子化回路57より出力されたIピクチャのデータは、逆量子化回路60に入力され、量子化回路57より供給される量子化ステップに対応して逆量子化される。逆量子化回路60の出力は、IDCT(逆DCT)回路61に入力され、逆DCT処理された後、演算器62を介してフレームメモリ63の前方予測画像部63aに供給され、記憶される。
【0220】
ところで動きベクトル検出回路50は、シーケンシャルに入力される各フレームの画像データを、たとえば、前述したようにI,B,P,B,P,B・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをIピクチャとして処理した後、次に入力されたフレームの画像をBピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをPピクチャとして処理する。Bピクチャは、後方予測及び両方向予測を伴う可能性があるため、後方予測画像としてのPピクチャが先に用意されていないと、復号することができないからである。
【0221】
そこで動きベクトル検出回路50は、Iピクチャの処理の次に、後方原画像部51cに記憶されているPピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分(予測誤差)の絶対値和が、動きベクトル検出回路50から予測判定回路54に供給される。予測判定回路54は、このPピクチャのマクロブロックのイントラ符号化モードの評価値及び予測誤差の絶対値和に対応して、フレーム予測モード、フィールド予測モードの何れか、及びイントラ符号化モード、前方予測モードのいずれの予測モードかをマクロブロック単位で設定する。
【0222】
演算部53はイントラ符号化モードが設定されたとき、スイッチ53dを上述したように接点a側に切り換える。従って、このデータは、Iピクチャのデータと同様に、DCTモード切り換え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、このデータは、逆量子化回路60、IDCT回路61、演算器62を介してフレームメモリ63の後方予測画像部63bに供給され、記憶される。
【0223】
一方、前方予測モードの時、スイッチ53dが接点bに切り換えられるとともに、フレームメモリ63の前方予測画像部63aに記憶されている画像(いまの場合Iピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より前方予測モードの設定が指令されたとき、前方予測画像部63aの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0224】
動き補償回路64より出力された予測画像データは、演算器53aに供給される。演算器53aは、予測モード切り換え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された、このマクロブロックに対応する予測画像データを減算し、その差分(予測誤差)を出力する。この差分データは、DCTモード切り換え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、この差分データは、逆量子化回路60、IDCT回路61により局所的に復号され、演算器62に入力される。
【0225】
この演算器62には、また、演算器53aに供給されている予測画像データと同一のデータが供給されている。演算器62は、IDCT回路61が出力する差分データに、動き補償回路64が出力する予測画像データを加算する。これにより、元の(復号した)Pピクチャの画像データが得られる。このPピクチャの画像データは、フレームメモリ63の後方予測画像部63bに供給され、記憶される。なお、実際には、演算器62に供給される、IDCT回路の出力する差分データのデータ構造と予測画像データのデータ構造とは、同じである必要があるため、フレーム/フィール予測モードとフレーム/フィールドDCTモードが、異なる場合に備えてデータの並べ換えを行う回路が必要であるが、簡単のため省略する。
【0226】
動きベクトル検出回路50は、このように、IピクチャとPピクチャのデータが前方予測画像部63aと後方予測画像部63bにそれぞれ記憶された後、次にBピクチャの処理を実行する。予測判定回路54は、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分の絶対値和の大きさに対応して、フレーム/フィールド予測モードを設定し、また、予測モードをイントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【0227】
上述したように、イントラ符号化モードまたは前方予測モードの時、スイッチ53dは接点aまたはbに切り換えられる。このとき、Pピクチャにおける場合と同様の処理が行われ、データが伝送される。
【0228】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ53dは、接点cまたはdにそれぞれ切り換えられる。
【0229】
スイッチ53dが接点cに切り換えられている後方予測モードの時、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より後方予測モードの設定が指令されたとき、後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0230】
動き補償回路64より出力された予測画像データは、演算器53bに供給される。演算器53bは、予測モード切り換え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データを減算し、その差分を出力する。この差分データは、DCTモード切り換え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
【0231】
スイッチ53dが接点dに切り換えられている両方向予測モードの時、前方予測画像部63aに記憶されている画像(いまの場合、Iピクチャの画像)データと、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より両方向予測モードの設定が指令されたとき、前方予測画像部63aと後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトル(この場合の動きベクトルは、フレーム予測モードの場合、前方予測画像用と後方予測画像用の2つ、フィールド予測モードの場合は、前方予測画像用に2つ、後方予測画像用の2つの計4つとなる)に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0232】
動き補償回路64より出力された予測画像データは、演算器53cに供給される。演算器53cは、動きベクトル検出回路50より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、DCTモード切り換え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
【0233】
Bピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ63には記憶されない。
【0234】
なお、フレームメモリ63において、前方予測画像部63aと後方予測画像部63bは、必要に応じてバンク切り換えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。
【0235】
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図43及び図44に示すマクロブロックを単位として処理され、伝送される。なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ1/2にしたものが用いられる。
【0236】
次に、図45は、図40のデコーダ31の一例の構成を示すブロック図である。伝送路(記録媒体3)を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、入力端子80を介して受信バッファ81に一時記憶された後、復号回路90の可変長復号回路82に供給される。可変長復号回路82は、受信バッファ81より供給されたデータを可変長復号し、動きベクトル、予測モード、予測フラグ及びDCTフラグを動き補償回路87に、また、量子化ステップを逆量子化回路83に、それぞれ出力するとともに、復号された画像データを逆量子化回路83に出力する。
【0237】
逆量子化回路83は、可変長復号回路82より供給された画像データを、同じく可変長復号回路82より供給された量子化ステップに従って逆量子化し、IDCT回路84に出力する。逆量子化回路83より出力されたデータ(DCT係数)は、IDCT回路84で、逆DCT処理され、演算器85に供給される。
【0238】
IDCT回路84より供給された画像データが、Iピクチャのデータである場合、そのデータは演算器85より出力され、演算器85に後に入力される画像データ(PまたはBピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の前方予測画像部86aに供給されて記憶される。また、このデータは、フォーマット変換回路32(図40)に出力される。
【0239】
IDCT回路84より供給された画像データが、その1フレーム前の画像データを予測画像データとするPピクチャのデータであって、前方予測モードで符号化されたマクロブロックのデータである場合、フレームメモリ86の前方予測画像部86aに記憶されている、1フレーム前の画像データ(Iピクチャのデータ)が読み出され、動き補償回路87で可変長復号回路82より出力された動きベクトルに対応する動き補償が施される。そして、演算器85において、IDCT回路84より供給された画像データ(差分のデータ)と加算され、出力される。この加算されたデータ、すなわち、復号されたPピクチャのデータは、演算器85に後に入力される画像データ(BピクチャまたはPピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の後方予測画像部86bに供給されて記憶される。
【0240】
Pピクチャのデータであっても、イントラ符号化モードで符号化されたマクロブロックのデータは、Iピクチャのデータと同様に、演算器85で特に処理は行わず、そのまま後方予測画像部86bに記憶される。
【0241】
このPピクチャは、次のBピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路32へ出力されない(上述したように、Bピクチャの後に入力されたPピクチャが、Bピクチャより先に処理され、伝送されている)。
【0242】
IDCT回路84より供給された画像データが、Bピクチャのデータである場合、可変長復号回路82より供給された予測モードに対応して、フレームメモリ86の前方予測画像部86aに記憶されているIピクチャの画像データ(前方予測モードの場合)、後方予測画像部86bに記憶されているPピクチャの画像データ(後方予測モードの場合)、または、その両方の画像データ(両方向予測モードの場合)が読み出され、動き補償回路87において、可変長復号回路82より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし、動き補償を必要としない場合(イントラ符号化モードの場合)、予測画像は生成されない。
【0243】
このようにして、動き補償回路87で動き補償が施されたデータは、演算器85において、IDCT回路84の出力と加算される。この加算出力は、出力端子91を介してフォーマット変換回路32に出力される。
【0244】
ただし、この加算出力はBピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ86には記憶されない。
【0245】
Bピクチャの画像が出力された後、後方予測画像部86bに記憶されているPピクチャの画像データが読み出され、動き補償回路87及び演算器85を介して再生画像として出力される。ただし、このとき、動き補償及び加算は行われない。
【0246】
なお、このデコーダ31には、図42のエンコーダ18における予測モード切り換え回路52とDCTモード切り換え回路55に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路87が実行する。
【0247】
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。ただし、この場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に1/2にしたものが用いられる。
【0248】
以上のような構成の符号化/復号システムにおける符号化装置1に、上記図1の前処理回路102からの3種類のフラグ picture_coding_type, top_field_first, repeat_first_field が画像データと共に供給されることにより、符号化の単位となるフレームあるいはフィールドの組が制御されて、元のノンインターレース画像との対応関係に従った符号化フレームでの符号化が行われ、またI、P、Bの各ピクチャタイプが制御されて、上述したようなフィールドの繰り返しがBピクチャとして符号化されないように制御されるわけである。
【0249】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、不規則パターン検出回路やノンインターレース画像の再構成回路は、種々の構成を用いることができる。また、上記孤立フィールドが第二フィールドに生じる場合には、第二フィールドを繰り返すようなフィールドの組を再構成して符号化に渡すようにすればよい。さらに、記録媒体を介さずに信号を伝送する場合にも本発明を適用できることは勿論である。
【0250】
【発明の効果】
本発明によれば、入力画像信号中のノンインターレース画像を構成しない孤立フィールドを検出し、検出された孤立フィールドを上記入力画像信号から除去し、上記孤立フィールドが除去されたフィールドシーケンスから、上記入力画像信号の画像列を構成して符号化を行っているため、孤立フィールドが含まれる画像信号についても、効率のよい画像符号化が行える。
【0251】
ノンインターレース画像をインターレース画像の第一フィールドから開始されるフィールド画像の組に変換した画像列と、上記ノンインターレース画像をインターレース画像の第二フィールドから開始されるフィールド画像の組に変換した画像列とが、編集によって結合されて得られた入力画像信号に対して符号化を行う際に、上記ノンインターレース画像の1枚に対応するフィールド画像の1組、例えばフィールド対が、上記第一フィールドから開始されるか、第二フィールドから開始されるかを検出し、この検出結果に応じて符号化の際のフィールド画像の組を再構成することにより、元のノンインターレース画像に応じたフィールド画像の組を符号化のフレームとする符号化が行える。
【0252】
従って、編集によって、元のノンインターレース画像と入力画像信号のインターレース画像の組との対応関係が一致しなくなって、いわゆる不規則パターンが発生しても、符号化は元のノンインターレース画像に対応するフィールド画像の組に対して行われるため、効率の良い符号化を実現できる。
【0253】
また、隣接する一対のフィールドについて、第一フィールドのi番目のラインと第二フィールドのi番目のラインとの間の相関度と、第二フィールドのj番目のラインと第一フィールドのj+1番目のラインとの間の相関度とから、上記一対のフィールドについての相関度を求め、この相関度に基づき上記孤立フィールドを検出することにより、検出精度が高まり、確実なノンインターレースフレームをつくることができる。
【0254】
ここで、符号化される入力フレームに画像処理のためのヘッダ情報等を付加することにより、受信側あるいはデコード側で、この情報に基づいて正確な逆処理を行うことができる。
【0255】
また、上記ヘッダ情報として、上記符号化フレームを画面表示する際に、孤立フィールドを除去したことを示す第1のフラグ、すなわち、repeat_first_fieldフラグと、第一フィールド又は第二フィールドのどちらを最初に表示するかを示すフラグ、すなわちtop_field_first フラグとを含むことにより、正確な処理が行える。
【0256】
さらに、このような符号化が行われた信号を記録媒体に記録することにより、記録効率のよい信号記録媒体を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を説明するための動画像信号符号化復号装置の概略構成を示すブロック図である。
【図2】ノンインターレース画像を構成しない孤立フィールドの検出・除去回路の具体例を示すブロック図である。
【図3】孤立フィールドは第一フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図4】孤立フィールドは第一フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図5】孤立フィールドは第二フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図6】孤立フィールドは第二フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図7】本発明の実施の形態の一の具体例による孤立フィールド検出・除去動作を説明するためのフローチャートである。
【図8】図7のフローチャートの他の部分を示すフローチャートである。
【図9】ノンインターレース画像を構成しない孤立フィールドの検出・除去回路の他の具体例を示すブロック図である。
【図10】正しいノンインターレース画像に対応する組み合わせを検出するためのアルゴリズムの具体例を説明するための図である。
【図11】正しいノンインターレース画像に対応する組み合わせを検出するための回路構成の具体例を示すブロック回路図である。
【図12】図9の構成による孤立フィールド検出、除去及び入力フレームの再構成の一例を示す図である。
【図13】図9の構成による孤立フィールド検出、除去及び入力フレームの再構成の他の例を示す図である。
【図14】ノンインターレースフレームをつくる2フィールドの組み合わせを判定するアルゴリズムの一例を示す図である。
【図15】図14のアルゴリズムに対応する処理手順を説明するためのフローチャートである。
【図16】本発明の実施の形態となる画像信号符号化装置の概略構成を示すブロック図である。
【図17】ノンインターレース画像のシーケンスの組み合わせが崩れる不規則なパターンを示す図である。
【図18】不規則なパターンの検出動作を説明するための図である。
【図19】問題となるパターンの符号化を説明するための図である。
【図20】前のフィールドを繰り返すことにより孤立フィールドを補間する例を説明するための図である。
【図21】後ろのフィールドを繰り返すことにより孤立フィールドを補間する例を説明するための図である。
【図22】グループオブピクチャの具体例を示す図である。
【図23】本発明の実施の形態の他の具体例による孤立フィールド検出・除去動作を説明するためのフローチャートである。
【図24】孤立フィールドは第一フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図25】孤立フィールドは第二フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。
【図26】本発明の実施の形態のさらに他の具体例において孤立フィールドを除去したことを示すフラグが1の場合の各部の信号及びフラグを示す図である。
【図27】符号化器に対するフラグの指定方法とピクチャタイプとの関係を示す図である。
【図28】孤立フィールド検出、除去及び入力フレームの再構成の一例を示す図である。
【図29】孤立フィールド検出、除去及び入力フレームの再構成の他の例を示す図である。
【図30】ノンインターレースフレームをつくる2フィールドの組み合わせを判定するアルゴリズムの他の例を示す図である。
【図31】図30のアルゴリズムに対応する処理手順を説明するためのフローチャートである。
【図32】図3で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。
【図33】図4で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。
【図34】図5で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。
【図35】図6で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。
【図36】画像符号化器の具体的な構成の一例を示すブロック図である。
【図37】高能率符号化の原理を説明する図である。
【図38】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図39】動画像信号を符号化する原理を説明する図である。
【図40】本発明の実施の形態が適用される画像信号符号化装置と復号装置の構成例を示すブロック図である。
【図41】図40におけるフォーマット変換回路17のフォーマット変換の動作を説明する図である。
【図42】図40におけるエンコーダ18の構成例を示すブロック図である。
【図43】図42の予測モード切り替え回路52の動作を説明する図である。
【図44】図42のDCTモード切り替え回路55の動作を説明する図である。
【図45】図40のデコーダ31の構成例を示すブロック図である。
【図46】従来の動画像符号化復号システムの概略構成を示すブロック図である。
【図47】2系列のノンインターレース画像を編集することにより不規則なシーケンスが生成されることを説明するための図である。
【図48】不規則なシーケンスパターンにより符号化効率が低下することを説明するための図である。
【符号の説明】
1 符号化装置
2 復号装置
3 記録媒体
12,13 A/D変換器
14 フレームメモリ
15 輝度信号フレームメモリ
16 色差信号フレームメモリ
17 フォーマット変換回路
18 エンコーダ
31 デコーダ
32 フォーマット変換回路
33 フレームメモリ
34 輝度信号フレームメモリ
35 色差信号フレームメモリ
36,37 D/A変換器
102 前処理回路
103 不規則パターン検出回路
104 ノンインターレース画像の再構成回路
105、163 符号化器
162、166 スキャンコンバータ
164 記録媒体
165 復号器
172 ノンインターレース・フレーム検出回路
177 出力コントローラ
Claims (22)
- 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像信号であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化方法において、
上記入力画像信号中のフィールド画像のうち、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されない孤立フィールドを検出する検出処理工程と、
上記入力画像信号から上記検出処理工程において検出された孤立フィールドを除去し、組を成す2つのフィールド画像が同一フレーム内に含まれる画像列を生成する画像列再構成工程と、
上記画像列再構成工程において処理された画像列に対して符号化を行う符号化工程と
を有することを特徴とする画像信号符号化方法。 - 上記検出処理工程においては、上記入力画像信号の一のフィールドとこれに隣接するフィールドとの相関度を検査することにより上記孤立フィールドを検出することを特徴とする請求項1記載の画像信号符号化方法。
- 上記検出処理工程においては、隣接する一対のフィールドについて、第一フィールドのi番目のラインと第二フィールドのi番目のラインとの間の相関度と、第二フィールドのj番目のラインと第一フィールドのj+1番目のラインとの間の相関度とから、上記一対のフィールドについての相関度を求めることにより上記孤立フィールドを検出することを特徴とする請求項1記載の画像信号符号化方法。
- 上記検出処理工程においては、現在フィールドに対して過去又は未来の複数フィールドに亘る相関度に基づいて、現在フィールドが上記孤立フィールドか否かを判断することを特徴とする請求項1記載の画像信号符号化方法。
- 上記検出処理工程においては、上記入力画像信号の各フィールドについて、一のフィールドとこれに隣接するフィールドとの相関度を検査するとともに、上記入力画像信号の各フィールドが第一フィールドおよび第二フィールドのいずれに該当するか判別し、
上記画像列再構成工程においては、上記検出処理工程から出力される、上記隣接するフィールド間の相関度に関する情報および上記各フィールドが第一フィールドと第二フィールドのうちいずれに該当するかに関する情報に基づいて画像列を生成することを特徴とする請求項1記載の画像信号符号化方法。 - 上記検出処理工程においては、画像符号化される各フレームについて、上記孤立フィールドが上記画像列再構成工程により除去されたことを示す第1のフラグと、第一フィールドまたは第二フィールドのどちらが最初に画面表示されるかを示す第2のフラグとを発生させ、
上記符号化工程においては、符号化を行う各フレームに対応した各ヘッダに、上記第1のフラグを、対応するフレーム内の最初のフィールドを繰り返し表示することを示す情報として格納し、上記第2のフラグを、対応するフレームが第一フィールドおよび第二フィールドのいずれから開始されるかを示す情報として格納することを特徴とする請求項1記載の画像信号符号化方法。 - 上記検出処理工程においては、上記除去されたフィールドに隣接する過去または未来のフレームのうち、除去フィールドと相関が大きい方のフレームに対して上記第1のフラグを立てることを特徴とする請求項6記載の画像信号符号化方法。
- 上記検出処理工程においては、対象とする画像を双方向予測符号化する場合、その符号化フレームに対して、上記第1のフラグを立てることを禁止することを特徴とする請求項7記載の画像信号符号化方法。
- 上記符号化工程は、符号化を行う各フレームに対応した上記第1のフラグが立てられている場合、対象とする画像を、イントラ符号化または前方予測符号化とすることを特徴とする請求項6記載の画像信号符号化方法。
- 上記画像列再構成工程においては、組を成す2つのフィールド画像が同一フレーム内に含まれるように上記画像の順序を変更するとともに、上記符号化工程において符号化処理が行われないフィールド画像を挿入することを特徴とする請求項1記載の画像信号符号化方法。
- 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像信号であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化装置において、
上記入力画像信号中のフィールド画像のうち、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されない孤立フィールドを検出する検出処理手段と、
上記検出処理手段から出力された画像列から、上記検出処理手段において検出された孤立フィールドを除去し、組を成す2つのフィールド画像が同一フレーム内に含まれる画像列を生成する画像列再構成手段と、
上記画像列再構成手段において処理された画像列に対して符号化を行う符号化手段とを有することを特徴とする画像信号符号化装置。 - 上記検出処理手段は、上記入力画像信号の一のフィールドとこれに隣接するフィールドとの相関度を検査することにより上記ノンインターレース画像を構成しない孤立フィールドを検出することを特徴とする請求項11記載の画像信号符号化装置。
- 上記検出処理手段は、隣接する一対のフィールドについて、第一フィールドのi番目のラインと第二フィールドのi番目のラインとの間の相関度と、第二フィールドのj番目のラインと第一フィールドのj+1番目のラインとの間の相関度とから、
上記一対のフィールドについての相関度を求め、この相関度に基づき上記孤立フィールドを検出することを特徴とする請求項11記載の画像信号符号化装置。 - 上記検出処理手段は、現在フィールドに対して過去又は未来の複数フィールドに亘る相関度に基づいて、現在フィールドが上記孤立フィールドか否かを判断することを特徴とする請求項11記載の画像信号符号化装置。
- 上記検出処理手段は、上記入力画像信号の各フィールドについて、一のフィールドとこれに隣接するフィールドとの相関度を検査した結果である第1の情報と、上記画像信号の各フィールドが第一フィールドおよび第二フィールドのいずれに該当するかを判断した結果である第2の情報とを出力し、
上記画像列再構成手段は、上記検出処理手段より出力された第1及び第2の情報に基づいて画像列を生成することを特徴とする請求項11記載の画像信号符号化装置。 - 上記検出処理手段は、画像符号化される各フレームについて、上記孤立フィールドが上記画像列再構成手段により除去されたことを示す第1のフラグと、第一フィールドまたは第二フィールドのどちらが最初に画面表示されるかを示す第2のフラグとを発生させ、
上記符号化手段においては、符号化を行う各フレームに対応した各ヘッダに、上記第1のフラグを、対応するフレーム内の最初のフィールドを繰り返し表示することを示す情報として格納し、上記第2のフラグを、対応するフレームが第一フィールドおよび第二フィールドのいずれから開始されるかを示す情報として格納することを特徴とする請求項11記載の画像信号符号化装置。 - 上記検出処理手段は、上記除去されたフィールドに隣接する過去または未来のフレームのうち、除去フィールドと相関が大きい方のフレームに対して上記第1のフラグを立てることを特徴とする請求項16記載の画像信号符号化装置。
- 上記検出処理手段は、対象とする画像を双方向予測符号化する場合、その符号化フレームに対して上記第1のフラグを立てることを禁止することを特徴とする請求項17記載の画像信号符号化装置。
- 上記符号化手段は、符号化を行う各フレームに対応した上記第1のフラグが立てられている場合、対象とする画像を、イントラ符号化または前方予測符号化とすることを特徴とする請求項16記載の画像信号符号化装置。
- 上記画像列再構成手段は、組を成す2つのフィールド画像が同一フレーム内に含まれるように上記画像の順序を変更するとともに、上記符号化手段において符号化処理が行われないフィールド画像を挿入することを特徴とする請求項11記載の画像信号符号化装置。
- 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像列であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像列から、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像を構成しない孤立フィールドが除去されることによって生成された画像列が符号化された符号化信号について復号を行う復号工程と、
上記復号工程において復号された信号に対して、上記除去された孤立フィールドに対応する位置に上記孤立フィールドに隣接するフレームのフィールド画像を内挿する内挿工程と
を有することを特徴とする画像信号復号方法。 - 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される2つのフィールド画像の組に変換した第1の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される2つのフィールド画像の組に変換した第2の画像列とが結合された画像列であって、一方の画像列は組を成す2つのフィールド画像の間を編集点として他方の画像列に結合された画像列から、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像を構成しない孤立フィールドが除去されることによって生成された画像列が符号化された符号化信号について復号を行う復号手段と、
上記復号手段において復号された信号に対して、上記除去された孤立フィールドに対応する位置に上記孤立フィールドに隣接するフレームのフィールド画像を内挿する内挿手段と
を有することを特徴とする画像信号復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1126696A JP3596137B2 (ja) | 1995-02-28 | 1996-01-25 | 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4025095 | 1995-02-28 | ||
JP7-248062 | 1995-09-26 | ||
JP24806295 | 1995-09-26 | ||
JP7-40250 | 1995-09-26 | ||
JP1126696A JP3596137B2 (ja) | 1995-02-28 | 1996-01-25 | 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004097221A Division JP3968528B2 (ja) | 1995-02-28 | 2004-03-29 | 画像信号符号化方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09154136A JPH09154136A (ja) | 1997-06-10 |
JP3596137B2 true JP3596137B2 (ja) | 2004-12-02 |
Family
ID=27279353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1126696A Expired - Lifetime JP3596137B2 (ja) | 1995-02-28 | 1996-01-25 | 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3596137B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0943209B1 (en) * | 1997-09-23 | 2007-04-04 | Koninklijke Philips Electronics N.V. | Motion estimation and motion-compensated interpolation |
JP4120265B2 (ja) | 2002-05-23 | 2008-07-16 | ソニー株式会社 | 信号処理装置およびその方法、並びにそのプログラム |
-
1996
- 1996-01-25 JP JP1126696A patent/JP3596137B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09154136A (ja) | 1997-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5864368A (en) | Picture signal editing and encoding method and apparatus, signal recording medium and picture signal decoding method and apparatus | |
US5657086A (en) | High efficiency encoding of picture signals | |
US5691771A (en) | Processing of redundant fields in a moving picture to achieve synchronized system operation | |
JP3302939B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
US5805225A (en) | Method and apparatus for variable resolution video picture coding/decoding | |
WO1996041482A1 (en) | Hybrid hierarchical/full-search mpeg encoder motion estimation | |
JPH08223577A (ja) | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 | |
EP0577365A2 (en) | Encoding and decoding of picture signals | |
US5991445A (en) | Image processing apparatus | |
JP3519441B2 (ja) | 動画像伝送装置 | |
JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
JP3240024B2 (ja) | 画像処理方法 | |
JPH0541861A (ja) | 動画像符号化装置 | |
JP3596137B2 (ja) | 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 | |
JP3968528B2 (ja) | 画像信号符号化方法及び装置 | |
JP3582195B2 (ja) | 動画像処理方法 | |
JP3164056B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
JP3141149B2 (ja) | 画像符号化装置 | |
JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH10126749A (ja) | 順次走査変換装置 | |
JPH06343171A (ja) | 画像符号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |