JP3762331B2 - テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 - Google Patents
テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 Download PDFInfo
- Publication number
- JP3762331B2 JP3762331B2 JP2002160620A JP2002160620A JP3762331B2 JP 3762331 B2 JP3762331 B2 JP 3762331B2 JP 2002160620 A JP2002160620 A JP 2002160620A JP 2002160620 A JP2002160620 A JP 2002160620A JP 3762331 B2 JP3762331 B2 JP 3762331B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- field image
- input
- field
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレシネ画像信号あるいはテレシネ画像信号と非テレシネ画像信号が混在する画像信号を動き補償符号化する画像符号化装置におけるテレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置に関する。
【０００２】
【従来の技術】
フレーム周波数２４Ｈｚ（１秒間当たり２４フレーム）のフィルム映像をフレーム周波数３０Ｈｚ（１秒間当たり６０フィールド）のビデオ信号に変換する処理をテレシネ変換と呼び、こうして変換生成される画像信号をテレシネ画像信号と呼ぶ。動画像圧縮のための画像符号化装置において、このようなテレシネ画像信号とコマーシヤル映像等の３０Ｈｚのビデオ信号（非テレシネ画像信号）とが混在する画像信号を符号化する場合には、符号化効率を上げるためにテレシネ画像信号の符号化に対して工夫が必要である。
【０００３】
テレシネ変換では、まず図１０に示すようにフィルム映像の１フレームを飛び越し走査して、トップフィールドとボトムフィールドの２つのフィールドに分割する。次に、図１１に示すようにフィルム映像の４フレーム毎に、２フレーム目と３フレーム目との間に２フレーム目のトップフィールドを再挿入し、最後尾に４フレーム目のボトムフィールドを再挿入することにより、１０フィールドのビデオ信号に変換する。この場合、図で黒く塗りつぶした再挿入される２フレーム目のトップフィールド及び４フレーム目のボトムフィールドの画像を再挿入フィールド画像という。この例では、再挿入フィールド画像は５フィールド毎に挿入されることになる。
【０００４】
このようなテレシネ画像信号を含む画像信号を動き補償符号化を用いた画像符号化装置によって符号化する場合には、既に符号化された画像と同じである再挿入フィールド画像については符号化を行わず、元のフィルム映像と同じフレーム周波数２４Ｈｚの映画信号を符号化することで、符号化効率を向上できる。再挿入フィールド画像の検出は、現入力フィールド画像が２フィールド期間前のフィールド画像と同一か否かの判定により行われる。
【０００５】
このような再挿入フィールド画像の検出法では、現入力フィールド画像が再挿入フィールド画像であっても、ノイズの影響で２フィールド前のフィールド画像とが完全には同一でないことがあり、このような場合は再挿入フィールド画像と検出されない可能性がある。すなわち、再挿入フィールド画像の検出に際して、ノイズの影響による誤検出が生じることがある。
【０００６】
このようなノイズによる誤検出を低減するために、特開平１１−２５２５１５号には、現入力フィールド画像と２フィールド期間前のフィールド画像それぞれの全体について所定画素数単位で画素値の比較を行い、所定画素数の画素値同士が異なると判定した回数に基づいて、現入力フィールド画像が再挿入フィールド画像か否かの判定を行う技術が開示されている。
【０００７】
【発明が解決しようとする課題】
上述したように従来の再挿入フィールド画像の検出においては、１フィールド画像全体について画素値比較処理を行うために、多くの演算処理を要し、専用回路を必要とする。また、所定画素数単位の一致判定を所定画素数の差分絶対値和を求めることにより行う方法では、ノイズによる誤差も一緒に加算した結果で判定することから、誤検出を回避できない場合がある。
【０００８】
本発明は、ノイズによる再挿入フィールド画像の誤検出を回避すると共に、検出に必要な画素値比較処理を大幅に削減可能とするテレシネ画像における再挿入フィールド画像検出方法及びこれを用いた画像符号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するために、本発明ではインタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、再挿入フィールド画像信号を検出する際に、（ａ）入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得し、（ｂ）取得された動き検出結果に基づいて、入力画像信号中の動きの存在する可能性のより高い領域を第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号とのライン毎の画素値比較領域として決定し、（ｃ）決定された画素値比較領域について第１及び第３フィールド画像信号の画素値の差分絶対値和を算出し、（ｄ）算出された絶対値和が所定値以下か否かにより、第１フィールド画像信号が再挿入フィールド画像信号か否かを判定する。
【００１０】
ここで、例えばステップ（ａ）の動き検出結果の取得は、入力画像信号について動き補償符号化を行う動画像符号化器から行われる。この場合には、さらに処理（ｅ）として、処理（ｄ）の判定の結果に基づき第２フィールド画像信号が再挿入フィールド画像信号か否かを示す情報を動画像符号化器に供給する。
【００１１】
本発明に係る画像符号化装置は、上記（ａ）〜（ｅ）の処理を行う再挿入フィールド画像検出器と、入力画像信号について動き補償符号化を含む符号化を行う動画像符号化器とを具備し、画像符号化器は再挿入フィールド画像検出器からの検出情報を受けてテレシネ画像信号については再挿入フィールド画像信号以外のフィールド画像信号のみを符号化する。
さらに、本発明によると上述した（ａ）〜（ｄ）あるいは（ａ）〜（ｅ）の処理をコンピュータに実行させるプログラムを提供することができる。
【００１２】
本発明によると、以下のようにして課題が解決される。
再挿入フィールド画像信号は、２フィールド期間前（１フレーム期間前）のフィールド画像信号と同一であるため、再挿入フィールド画像信号が入力された時点で、入力画像信号の動きの有無に関係なく画像は一瞬止まる。言い換えれば、入力画像信号のうち元々静止している領域では、入力画像信号の現入力フィールド画像信号が再挿入フィールド画像信号であるか否かによらず、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。一方、動きの存在する可能性のより高い領域、すなわち動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。
【００１３】
このため、入力画像信号の静止領域についても現入力フィールド画像信号と２フィールド期間前のフィールド画像信号の画素値比較を行うことは、入力画像信号が再挿入フィールド画像信号か否かの判定を行う上では無意味であり、逆にノイズの影響を受けやすく、また画素値比較演算（差分絶対値和の算出）の処理量が増大するという弊害がある。
【００１４】
静止領域では上述のように現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが基本的に一致するが、動きの存在する可能性のより高い領域いわゆる動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。
【００１５】
この点に着目して、本発明では第１フィールド画像信号（現入力フィールド画像信号）と第３フィールド画像信号（２フィールド期間前のフィールド画像信号）との画素値比較領域は、入力画像信号のうち動きの存在する可能性が高い領域に制限される。従って、動きの存在する可能性の低い静止領域のノイズの影響を受けず、しかも特に画素値比較演算の処理量を最小限に止めつつ、再挿入フィールド画像信号の検出を行うことができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る画像符号化装置の概略構成を示すブロック図である。入力画像信号１として、テレシネ画像信号あるいはテレシネ画像信号と非テレシネ画像信号が混在した動画像の画像信号が入力される。テレシネ画像信号は、例えばフレーム周波数２４Ｈｚのフィルム映像から変換されたフレーム周波数３０Ｈｚのビデオ信号であり、フィールド画像単位で入力されるフィルム映像の画像信号であるインタレース画像信号中に、該インタレース画像中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成される。非テレシネ画像信号は、例えばコマーシャル映像のような３０Ｈｚのビデオ信号である。
【００１７】
入力画像信号１は、再挿入フィールド画像検出器２及び動画像符号化器３に入力される。動画像符号化器３は、例えばＭＰＥＧ２方式のような動き補償符号化を含む符号化を行う公知の符号化器である。動き補償符号化においては、まず入力画像信号１と動き補償予測によって得られた予測信号との差である予測誤差を求める。次に、この予測誤差に対してＤＣＴ（離散コサイン変換）のような直交変換を行うことより、ＤＣＴ係数などの直交変換係数を生成する。次に、直交変換係数を量子化した後に可変長符号化を行い、符号化データ４を出力する。
【００１８】
動き補償予測においては、周知のように符号化対象である入力動画像信号１と既に符号化され局部復号された画像信号（参照画像信号）との間の動きベクトルが求められ、この動きベクトルを用いて参照画像信号に動き補償が施されることにより、予測信号が生成される。
【００１９】
再挿入フィールド画像検出器２には、動画像符号化器３から入力画像信号１として過去に入力されたフィールド画像信号（以下、既入力フィールド画像信号）に対する動き検出結果がフィールド画像信号と共に入力される。既入力フィールド画像信号に対する動き検出結果は、動画像符号化器３がフィールド画像信号について動き補償符号化を行ったときに検出された動きベクトル及び予測誤差の少なくとも一方を含むものとする。
【００２０】
再挿入フィールド画像検出器２は、入力画像信号１に含まれるテレシネ画像信号から再挿入フィールド画像信号を検出する。具体的には、再挿入フィールド画像検出器２は入力画像信号１として現在入力されているフィールド画像信号が再挿入フィールド画像信号か否かを判定し、再挿入フィールド画像信号か否かを示す再挿入フィールド画像検出情報を動画像符号化器３に供給する。動画像符号化器３は、この再挿入フィールド画像検出情報を受けて、入力動画像信号１に含まれるテレシネ画像信号を構成するフィールド画像信号のうち、再挿入フィールド画像信号については符号化を行わず、再挿入フィールド画像信号のみについて符号化を行う。
【００２１】
次に、図２に示すフローチャートを用いて再挿入フィールド画像検出器２の具体的な処理手順の例について説明する。
まず、動き検出結果取得ステップＳ１において、動画像符号化器３から現在入力されているフィールド画像信号（第１フィールド画像信号、以下では現入力フィールド画像信号という）より過去に入力されたフィールド画像信号（第２フィールド画像信号、以下では既入力フィールド画像信号という）に対する動き検出結果を画像信号と共に取得する。ここで取得する動き検出結果は、既入力フィールド画像信号に対する動きベクトル及び予測誤差の少なくとも一方である。
【００２２】
より詳しくいうと、ここでいう動きベクトルとは、既入力フィールド画像信号と該既入力フィールド画像信号よりさらに過去のフィールド画像信号との間のいわゆる前方予測に基づく動きベクトルである。また、ここでいう予測誤差とは、該動きベクトルを用いて該過去のフィールド画像信号である参照画像信号を動き補償して得られる予測信号と、既入力フィールド画像信号との予測誤差である。
【００２３】
次に、画素値比較領域決定ステップＳ２において、動き検出結果取得ステップＳ１で取得された動き検出結果に基づき、現入力フィールド画像信号と、現入力フィールド画像信号より２フィールド期間前に入力されたフィールド画像信号（第３フィールド画像信号）とのライン毎の画素値比較領域を決定する。
【００２４】
例えば、図３または図４に示すように、動き検出結果取得ステップＳ１により取得された動きベクトル及び予測誤差の少なくとも一方が所定値以上となる領域（すなわち、既入力フィールド画像信号での動き検出領域、言い換えれば入力画像信号１中の動きの存在する可能性のより高い領域）を主な画素値比較領域とし、該動き検出領域を含む領域を画素値比較領域として入力ライン毎に決定する。これにより画素値比較領域の画素数が効果的に削減され、後のステップで行われる画素値比較演算の処理量、すなわち差分絶対値和算出の処理量も大幅に削減される。
【００２５】
また、図５に示すように既入力フィールド画像信号での動き検出領域とその近傍のみを画素値比較領域として入力ライン毎に決定してもよく、これによって画素値比較演算処理量がさらに削減されると共に、動きの無い領域のノイズの影響を低減することが可能となる。
【００２６】
一方、画像入力開始直後などで動き検出結果取得ステップＳ１により適切な動き検出結果が得られない場合、あるいは入力画像信号１のうち既入力フィールド画像信号で動き検出結果である動きベクトル及び予測誤差の少なくとも一方が所定値以上となる領域を含まない、入力画像信号１のラインが入力された場合、あるいは、これら両方の場合については、図６に示すように画素値比較領域を入力ライン毎に予め定めた領域に決定することにより、少ない画素値比較演算処理量で不一致箇所の検出漏れを最小限に低減することが可能となる。
【００２７】
次に、差分絶対値和算出ステップＳ３において、ステップＳ２で決定された画素値比較領域について現入力フィールド画像信号と２フィールド期間前に入力されたフィールド画像信号との差分絶対値和を算出する。
次に、再挿入フィールド画像判定ステップＳ４において、ステップＳと３で算出された差分絶対値和が所定値以下か否かにより、現入力フィールド画像信号が再挿入フィールド画像信号か否かを判断する。
【００２８】
再挿入フィールド画像判定ステップＳ４において、差分絶対値和が所定値を越えると判断された場合は、現入力フィールド画像信号が再挿入フィールド画像信号でないと判断して、現入力フィールド画像信号に対する再挿入フィールド画像検出処理を終了し、再挿入フィールド画像情報出力ステップＳ７に移る。これによって、例えば現入力フィールド画像信号の画面上部に対応する部分（現入力フィールド画像信号のうち、時間的に最初の方に入力される領域）で差分絶対値和が所定値を越える場合は、再挿入フィールド画像検出処理が早期に終了する。従って、現入力フィールド画像信号の画面下部に対応する領域での画素値比較演算処理が不要となり、処理量を効果的に削減できる。
【００２９】
一方、再挿入フィールド画像判定ステップＳ４において、差分絶対値和が所定値以下と判断された場合は、ステップＳ５において現入力フィールド画像信号の全比較対象ラインに対する差分絶対値和判定処理が完了した否かの判断を行う。ここで、差分絶対値和判定処理が完了していなければ、ステップＳ６において比較対象ラインを更新した後、差分絶対値和算出ステップＳ３に戻り、完了していれば現入力フィールド画像信号が再挿入フィールド画像信号であると判断して、再挿入フィールド画像検出情報出力ステップＳ７に移る。
【００３０】
再挿入フィールド画像検出情報出力ステップＳ７においては、現入力フィールド画像信号が再挿入フィールド画像信号か否かを示す再挿入フィールド画像検出情報を出力し、動画像符号化器３に供給する。動画像符号化器３は、この再挿入フィールド画像検出情報に従って、現入力フィールド画像信号が再挿入フィールド画像信号の場合には符号化を行わず、再挿入フィールド画像信号以外のフィールド画像信号のみについて符号化を行う。これにより、符号化効率が向上する。
【００３１】
本実施形態によると、ノイズによる再挿入フィールド画像信号の誤検出を回避すると共に、検出に必要な画素値比較処理を大幅に削減することが可能となる。この理由をさらに詳しく説明すると、次の通りである。
【００３２】
前述したように再挿入フィールド画像信号としては、１フレーム期間前のフィールド画像信号と同一フィールド画像信号が用いられる。このためステップＳ３において、これら二つのフィールド画像信号間の同一画面位置の画素値の差分絶対値を画面全体で加算して得られる差分絶対値和は零に近い値となり、ノイズが全くなければ原理的に零となる。ここで、両フィールド間の同一画面位置の画素値の差分絶対値が零という場合、画像が静止しているために差分絶対値が零になっているのか、再挿入フィールド画像信号であるために差分絶対値が零になっているのかを区別することはできない。つまり、再挿入フィールド画像信号かどうかの判断には、差分絶対値が元々零になる可能性の高い領域での画素値比較処理を行うことは無意味である。
【００３３】
一方、動きの存在する可能性のより高い動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。そこで、本実施形態では既入力画像信号に対する動き検出結果に基づいて、過去の画像中の動きの有無を判断し、動きのない大部分の静止領域については画素値比較演算を行わず、動き領域を含む一定の領域のみについて画素値比較演算を行う。これにより、処理量の削減とノイズの影響による再挿入フィールド画像の誤検出を低減することが可能となる。
【００３４】
次に、図２中に示した主要なステップの処理の具体例についてさらに詳しく説明する。
（動き検出結果取得ステップ）
図７に示すフローチャートを用いて、図２中に示した動き検出結果取得ステップＳ１の好適な処理手順について述べる。まず、ステップＳ１１において、最近入力画像信号に対する動き検出結果（動きベクトル及び予測誤差の少なくとも一方）を画像信号と共に取得する。ここで、最近入力画像信号とは、厳密には現入力フィールド画像信号より時間的に過去のフィールド画像信号のうち、動き検出（動きベクトル及び予測誤差の少なくとも一方の検出）が画面の一定領域（例えば１マクロブロックライン）以上について完了している最近の、つまり現入力フィールド画像信号に時間的に最も近い過去のフィールドのフィールド画像信号をいう。
【００３５】
次に、ステップＳ１２において、ステップＳ１１で取得された最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの画像信号か否かを判定する。言い換えれば、最近入力画像信号に対する動き検出結果が該最近入力画像信号に隣接するフレームの画像信号からの動き検出結果か否かを画像信号から判定する。
【００３６】
ステップＳ１２での判定の結果、最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの画像信号である場合、つまり最近入力画像信号に対する動きベクトル検出結果が当該入力画像信号に隣接するフレームの入力画像信号からの動き検出結果である場合は、当該動き検出結果を図２中に示した画素比較領域決定ステップＳ２に渡す。
【００３７】
一方、ステップＳ１２での判定の結果、最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの入力画像信号でない場合、言い換えれば最近入力画像信号に対する動きベクトル検出結果が隣接しないフレームの入力画像信号からの動き検出結果である場合は、ステップＳ１３において最近入力画像信号よりさらに１フレーム期間過去の入力画像信号に対する動き検出結果を取得する。
【００３８】
そして、引き続きステップＳ１４において、これら２フレームの画像信号（隣接しないフレームの画像信号と、さらに１フレーム期間過去の入力画像信号）に対する動き検出結果である動きベクトル及び予測誤差についての差をそれぞれ算出し、この算出結果を当該隣接するフレームの入力画像信号からの動き検出結果である動きベクトル及び予測誤差の少なくとも一方として、図２中に示した画素比較領域決定ステップＳ２に渡す。
【００３９】
（差分絶対値和算出ステップその１）
図８に示すフローチャートを用いて、図２中に示した差分絶対値和算出ステップＳ３の好適な処理手順について説明する。
まず、ステップＳ３１において、これまで保持していた差分絶対値和、すなわち過去の差分絶対値の累算結果をリセットする。次に、ステップＳ３２において、２つのフィールド画像信号（現入力フィールド画像信号と２フィールド期間前のフィールド画像信号）の画素比較領域内の画素どうしの差分絶対値を算出する。次に、ステップＳ３３ａにおいて、ステップＳ３１で算出された差分絶対値が所定値以上か否かを判定する。ステップＳ３３ａの判定の結果、当該差分絶対値が所定値以上の場合のみステップＳ３４において当該差分絶対値を累算することにより、差分絶対値和を算出する。
【００４０】
次に、ステップＳ３５において比較対象画素領域の全画素比較（差分絶対値和の算出）が完了したか否かを判断し、比較対象画素領域の全画素比較が完了していなければ、ステップＳ３６において比較画素を更新した後、ステップＳ３２に戻る。これにより、比較対象画素領域内の小さなノイズの累算を回避して、的確な再挿入フィールド画像信号の検出が可能となる。
【００４１】
（差分絶対値和算出ステップその２）
次に、図９に示すフローチャートを用いて、図２中に示した差分絶対値和算出ステップＳ３の他の好適な処理手順を説明する。この処理手順は、図８に示した処理ステップＳ３３ａの処理内容を改良したものであり、他のステップＳ３１，Ｓ３２，Ｓ３４，Ｓ３５は図８と同様であるため、説明を省略する。
【００４２】
ステップＳ３３ｂにおいては、当該比較画素の近隣に対する差分絶対値を所定数算出済みか否かを判定し、所定数の差分絶対値が算出されている場合のみ、ステップＳ３３ｃにおいて、当該画素の差分絶対値と近隣画素の差分絶対値の中間値、つまり近隣の複数画素の差分絶対値を選択し、ステップＳ３４において当該中間値を累算することにより、差分絶対値和を算出する。これにより、比較対象画素内の大きなノイズの累算を回避し、例えば背景と輝度レベル差の小さい移動物が存在する場合においても、的確な再挿入フィールド画像信号の検出が可能となる。
【００４３】
【発明の効果】
以上説明したように、本発明によれば過去の入力画像信号に対して求められた動き検出結果を取得し、それに基づいて２つのフィールド画像間の比較対象画素領域を決定することにより、比較対象画素数を効果的に削減して演算処理量を大幅に削減すると共に、ノイズの影響による誤検出を低減して再挿入フィールド画像の的確な検出を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像符号化装置の概略構成を示すブロック図
【図２】同実施形態におけるテレシネ画像検出装置の全体的な処理手順を示すフローチャート
【図３】同実施形態における第１比較対象画素領域設定例を示す図
【図４】同実施形態における第２比較対象画素領域設定例を示す図
【図５】同実施形態における第３比較対象画素領域設定例を示す図
【図６】同実施形態における第４の比較対象画素領域設定例を示す図
【図７】同実施形態における動き検出結果取得ステップの好適な処理手順を示すフローチャート
【図８】同実施形態における差分絶対値和算出ステップの好適な処理手順を示すフローチャート
【図９】同実施形態における差分絶対値和算出ステップの好適な他の処理手順を示すフローチャート
【図１０】テレシネ画像信号の生成のための飛び越し走査を説明する図
【図１１】テレシネ画像信号の生成方法を説明する図
【符号の説明】
１…入力画像信号
２…再挿入フィールド画像検出器
３…動画像符号化器
４…符号化データ
Ｓ１ … 動き検出結果取得ステップ
Ｓ２ … 画素値比較領域決定ステップ
Ｓ３ … 差分絶対値和算出ステップ
Ｓ４ … 再挿入フィールド画像判定ステップ
Ｓ７ … 再挿入フィールド画像検出情報出力ステップ
【発明の属する技術分野】
本発明は、テレシネ画像信号あるいはテレシネ画像信号と非テレシネ画像信号が混在する画像信号を動き補償符号化する画像符号化装置におけるテレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置に関する。
【０００２】
【従来の技術】
フレーム周波数２４Ｈｚ（１秒間当たり２４フレーム）のフィルム映像をフレーム周波数３０Ｈｚ（１秒間当たり６０フィールド）のビデオ信号に変換する処理をテレシネ変換と呼び、こうして変換生成される画像信号をテレシネ画像信号と呼ぶ。動画像圧縮のための画像符号化装置において、このようなテレシネ画像信号とコマーシヤル映像等の３０Ｈｚのビデオ信号（非テレシネ画像信号）とが混在する画像信号を符号化する場合には、符号化効率を上げるためにテレシネ画像信号の符号化に対して工夫が必要である。
【０００３】
テレシネ変換では、まず図１０に示すようにフィルム映像の１フレームを飛び越し走査して、トップフィールドとボトムフィールドの２つのフィールドに分割する。次に、図１１に示すようにフィルム映像の４フレーム毎に、２フレーム目と３フレーム目との間に２フレーム目のトップフィールドを再挿入し、最後尾に４フレーム目のボトムフィールドを再挿入することにより、１０フィールドのビデオ信号に変換する。この場合、図で黒く塗りつぶした再挿入される２フレーム目のトップフィールド及び４フレーム目のボトムフィールドの画像を再挿入フィールド画像という。この例では、再挿入フィールド画像は５フィールド毎に挿入されることになる。
【０００４】
このようなテレシネ画像信号を含む画像信号を動き補償符号化を用いた画像符号化装置によって符号化する場合には、既に符号化された画像と同じである再挿入フィールド画像については符号化を行わず、元のフィルム映像と同じフレーム周波数２４Ｈｚの映画信号を符号化することで、符号化効率を向上できる。再挿入フィールド画像の検出は、現入力フィールド画像が２フィールド期間前のフィールド画像と同一か否かの判定により行われる。
【０００５】
このような再挿入フィールド画像の検出法では、現入力フィールド画像が再挿入フィールド画像であっても、ノイズの影響で２フィールド前のフィールド画像とが完全には同一でないことがあり、このような場合は再挿入フィールド画像と検出されない可能性がある。すなわち、再挿入フィールド画像の検出に際して、ノイズの影響による誤検出が生じることがある。
【０００６】
このようなノイズによる誤検出を低減するために、特開平１１−２５２５１５号には、現入力フィールド画像と２フィールド期間前のフィールド画像それぞれの全体について所定画素数単位で画素値の比較を行い、所定画素数の画素値同士が異なると判定した回数に基づいて、現入力フィールド画像が再挿入フィールド画像か否かの判定を行う技術が開示されている。
【０００７】
【発明が解決しようとする課題】
上述したように従来の再挿入フィールド画像の検出においては、１フィールド画像全体について画素値比較処理を行うために、多くの演算処理を要し、専用回路を必要とする。また、所定画素数単位の一致判定を所定画素数の差分絶対値和を求めることにより行う方法では、ノイズによる誤差も一緒に加算した結果で判定することから、誤検出を回避できない場合がある。
【０００８】
本発明は、ノイズによる再挿入フィールド画像の誤検出を回避すると共に、検出に必要な画素値比較処理を大幅に削減可能とするテレシネ画像における再挿入フィールド画像検出方法及びこれを用いた画像符号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するために、本発明ではインタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、再挿入フィールド画像信号を検出する際に、（ａ）入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得し、（ｂ）取得された動き検出結果に基づいて、入力画像信号中の動きの存在する可能性のより高い領域を第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号とのライン毎の画素値比較領域として決定し、（ｃ）決定された画素値比較領域について第１及び第３フィールド画像信号の画素値の差分絶対値和を算出し、（ｄ）算出された絶対値和が所定値以下か否かにより、第１フィールド画像信号が再挿入フィールド画像信号か否かを判定する。
【００１０】
ここで、例えばステップ（ａ）の動き検出結果の取得は、入力画像信号について動き補償符号化を行う動画像符号化器から行われる。この場合には、さらに処理（ｅ）として、処理（ｄ）の判定の結果に基づき第２フィールド画像信号が再挿入フィールド画像信号か否かを示す情報を動画像符号化器に供給する。
【００１１】
本発明に係る画像符号化装置は、上記（ａ）〜（ｅ）の処理を行う再挿入フィールド画像検出器と、入力画像信号について動き補償符号化を含む符号化を行う動画像符号化器とを具備し、画像符号化器は再挿入フィールド画像検出器からの検出情報を受けてテレシネ画像信号については再挿入フィールド画像信号以外のフィールド画像信号のみを符号化する。
さらに、本発明によると上述した（ａ）〜（ｄ）あるいは（ａ）〜（ｅ）の処理をコンピュータに実行させるプログラムを提供することができる。
【００１２】
本発明によると、以下のようにして課題が解決される。
再挿入フィールド画像信号は、２フィールド期間前（１フレーム期間前）のフィールド画像信号と同一であるため、再挿入フィールド画像信号が入力された時点で、入力画像信号の動きの有無に関係なく画像は一瞬止まる。言い換えれば、入力画像信号のうち元々静止している領域では、入力画像信号の現入力フィールド画像信号が再挿入フィールド画像信号であるか否かによらず、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。一方、動きの存在する可能性のより高い領域、すなわち動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。
【００１３】
このため、入力画像信号の静止領域についても現入力フィールド画像信号と２フィールド期間前のフィールド画像信号の画素値比較を行うことは、入力画像信号が再挿入フィールド画像信号か否かの判定を行う上では無意味であり、逆にノイズの影響を受けやすく、また画素値比較演算（差分絶対値和の算出）の処理量が増大するという弊害がある。
【００１４】
静止領域では上述のように現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが基本的に一致するが、動きの存在する可能性のより高い領域いわゆる動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。
【００１５】
この点に着目して、本発明では第１フィールド画像信号（現入力フィールド画像信号）と第３フィールド画像信号（２フィールド期間前のフィールド画像信号）との画素値比較領域は、入力画像信号のうち動きの存在する可能性が高い領域に制限される。従って、動きの存在する可能性の低い静止領域のノイズの影響を受けず、しかも特に画素値比較演算の処理量を最小限に止めつつ、再挿入フィールド画像信号の検出を行うことができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る画像符号化装置の概略構成を示すブロック図である。入力画像信号１として、テレシネ画像信号あるいはテレシネ画像信号と非テレシネ画像信号が混在した動画像の画像信号が入力される。テレシネ画像信号は、例えばフレーム周波数２４Ｈｚのフィルム映像から変換されたフレーム周波数３０Ｈｚのビデオ信号であり、フィールド画像単位で入力されるフィルム映像の画像信号であるインタレース画像信号中に、該インタレース画像中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成される。非テレシネ画像信号は、例えばコマーシャル映像のような３０Ｈｚのビデオ信号である。
【００１７】
入力画像信号１は、再挿入フィールド画像検出器２及び動画像符号化器３に入力される。動画像符号化器３は、例えばＭＰＥＧ２方式のような動き補償符号化を含む符号化を行う公知の符号化器である。動き補償符号化においては、まず入力画像信号１と動き補償予測によって得られた予測信号との差である予測誤差を求める。次に、この予測誤差に対してＤＣＴ（離散コサイン変換）のような直交変換を行うことより、ＤＣＴ係数などの直交変換係数を生成する。次に、直交変換係数を量子化した後に可変長符号化を行い、符号化データ４を出力する。
【００１８】
動き補償予測においては、周知のように符号化対象である入力動画像信号１と既に符号化され局部復号された画像信号（参照画像信号）との間の動きベクトルが求められ、この動きベクトルを用いて参照画像信号に動き補償が施されることにより、予測信号が生成される。
【００１９】
再挿入フィールド画像検出器２には、動画像符号化器３から入力画像信号１として過去に入力されたフィールド画像信号（以下、既入力フィールド画像信号）に対する動き検出結果がフィールド画像信号と共に入力される。既入力フィールド画像信号に対する動き検出結果は、動画像符号化器３がフィールド画像信号について動き補償符号化を行ったときに検出された動きベクトル及び予測誤差の少なくとも一方を含むものとする。
【００２０】
再挿入フィールド画像検出器２は、入力画像信号１に含まれるテレシネ画像信号から再挿入フィールド画像信号を検出する。具体的には、再挿入フィールド画像検出器２は入力画像信号１として現在入力されているフィールド画像信号が再挿入フィールド画像信号か否かを判定し、再挿入フィールド画像信号か否かを示す再挿入フィールド画像検出情報を動画像符号化器３に供給する。動画像符号化器３は、この再挿入フィールド画像検出情報を受けて、入力動画像信号１に含まれるテレシネ画像信号を構成するフィールド画像信号のうち、再挿入フィールド画像信号については符号化を行わず、再挿入フィールド画像信号のみについて符号化を行う。
【００２１】
次に、図２に示すフローチャートを用いて再挿入フィールド画像検出器２の具体的な処理手順の例について説明する。
まず、動き検出結果取得ステップＳ１において、動画像符号化器３から現在入力されているフィールド画像信号（第１フィールド画像信号、以下では現入力フィールド画像信号という）より過去に入力されたフィールド画像信号（第２フィールド画像信号、以下では既入力フィールド画像信号という）に対する動き検出結果を画像信号と共に取得する。ここで取得する動き検出結果は、既入力フィールド画像信号に対する動きベクトル及び予測誤差の少なくとも一方である。
【００２２】
より詳しくいうと、ここでいう動きベクトルとは、既入力フィールド画像信号と該既入力フィールド画像信号よりさらに過去のフィールド画像信号との間のいわゆる前方予測に基づく動きベクトルである。また、ここでいう予測誤差とは、該動きベクトルを用いて該過去のフィールド画像信号である参照画像信号を動き補償して得られる予測信号と、既入力フィールド画像信号との予測誤差である。
【００２３】
次に、画素値比較領域決定ステップＳ２において、動き検出結果取得ステップＳ１で取得された動き検出結果に基づき、現入力フィールド画像信号と、現入力フィールド画像信号より２フィールド期間前に入力されたフィールド画像信号（第３フィールド画像信号）とのライン毎の画素値比較領域を決定する。
【００２４】
例えば、図３または図４に示すように、動き検出結果取得ステップＳ１により取得された動きベクトル及び予測誤差の少なくとも一方が所定値以上となる領域（すなわち、既入力フィールド画像信号での動き検出領域、言い換えれば入力画像信号１中の動きの存在する可能性のより高い領域）を主な画素値比較領域とし、該動き検出領域を含む領域を画素値比較領域として入力ライン毎に決定する。これにより画素値比較領域の画素数が効果的に削減され、後のステップで行われる画素値比較演算の処理量、すなわち差分絶対値和算出の処理量も大幅に削減される。
【００２５】
また、図５に示すように既入力フィールド画像信号での動き検出領域とその近傍のみを画素値比較領域として入力ライン毎に決定してもよく、これによって画素値比較演算処理量がさらに削減されると共に、動きの無い領域のノイズの影響を低減することが可能となる。
【００２６】
一方、画像入力開始直後などで動き検出結果取得ステップＳ１により適切な動き検出結果が得られない場合、あるいは入力画像信号１のうち既入力フィールド画像信号で動き検出結果である動きベクトル及び予測誤差の少なくとも一方が所定値以上となる領域を含まない、入力画像信号１のラインが入力された場合、あるいは、これら両方の場合については、図６に示すように画素値比較領域を入力ライン毎に予め定めた領域に決定することにより、少ない画素値比較演算処理量で不一致箇所の検出漏れを最小限に低減することが可能となる。
【００２７】
次に、差分絶対値和算出ステップＳ３において、ステップＳ２で決定された画素値比較領域について現入力フィールド画像信号と２フィールド期間前に入力されたフィールド画像信号との差分絶対値和を算出する。
次に、再挿入フィールド画像判定ステップＳ４において、ステップＳと３で算出された差分絶対値和が所定値以下か否かにより、現入力フィールド画像信号が再挿入フィールド画像信号か否かを判断する。
【００２８】
再挿入フィールド画像判定ステップＳ４において、差分絶対値和が所定値を越えると判断された場合は、現入力フィールド画像信号が再挿入フィールド画像信号でないと判断して、現入力フィールド画像信号に対する再挿入フィールド画像検出処理を終了し、再挿入フィールド画像情報出力ステップＳ７に移る。これによって、例えば現入力フィールド画像信号の画面上部に対応する部分（現入力フィールド画像信号のうち、時間的に最初の方に入力される領域）で差分絶対値和が所定値を越える場合は、再挿入フィールド画像検出処理が早期に終了する。従って、現入力フィールド画像信号の画面下部に対応する領域での画素値比較演算処理が不要となり、処理量を効果的に削減できる。
【００２９】
一方、再挿入フィールド画像判定ステップＳ４において、差分絶対値和が所定値以下と判断された場合は、ステップＳ５において現入力フィールド画像信号の全比較対象ラインに対する差分絶対値和判定処理が完了した否かの判断を行う。ここで、差分絶対値和判定処理が完了していなければ、ステップＳ６において比較対象ラインを更新した後、差分絶対値和算出ステップＳ３に戻り、完了していれば現入力フィールド画像信号が再挿入フィールド画像信号であると判断して、再挿入フィールド画像検出情報出力ステップＳ７に移る。
【００３０】
再挿入フィールド画像検出情報出力ステップＳ７においては、現入力フィールド画像信号が再挿入フィールド画像信号か否かを示す再挿入フィールド画像検出情報を出力し、動画像符号化器３に供給する。動画像符号化器３は、この再挿入フィールド画像検出情報に従って、現入力フィールド画像信号が再挿入フィールド画像信号の場合には符号化を行わず、再挿入フィールド画像信号以外のフィールド画像信号のみについて符号化を行う。これにより、符号化効率が向上する。
【００３１】
本実施形態によると、ノイズによる再挿入フィールド画像信号の誤検出を回避すると共に、検出に必要な画素値比較処理を大幅に削減することが可能となる。この理由をさらに詳しく説明すると、次の通りである。
【００３２】
前述したように再挿入フィールド画像信号としては、１フレーム期間前のフィールド画像信号と同一フィールド画像信号が用いられる。このためステップＳ３において、これら二つのフィールド画像信号間の同一画面位置の画素値の差分絶対値を画面全体で加算して得られる差分絶対値和は零に近い値となり、ノイズが全くなければ原理的に零となる。ここで、両フィールド間の同一画面位置の画素値の差分絶対値が零という場合、画像が静止しているために差分絶対値が零になっているのか、再挿入フィールド画像信号であるために差分絶対値が零になっているのかを区別することはできない。つまり、再挿入フィールド画像信号かどうかの判断には、差分絶対値が元々零になる可能性の高い領域での画素値比較処理を行うことは無意味である。
【００３３】
一方、動きの存在する可能性のより高い動き領域では、現入力フィールド画像信号が再挿入フィールド画像信号の場合にのみ、現入力フィールド画像信号と２フィールド期間前のフィールド画像信号とが一致する。そこで、本実施形態では既入力画像信号に対する動き検出結果に基づいて、過去の画像中の動きの有無を判断し、動きのない大部分の静止領域については画素値比較演算を行わず、動き領域を含む一定の領域のみについて画素値比較演算を行う。これにより、処理量の削減とノイズの影響による再挿入フィールド画像の誤検出を低減することが可能となる。
【００３４】
次に、図２中に示した主要なステップの処理の具体例についてさらに詳しく説明する。
（動き検出結果取得ステップ）
図７に示すフローチャートを用いて、図２中に示した動き検出結果取得ステップＳ１の好適な処理手順について述べる。まず、ステップＳ１１において、最近入力画像信号に対する動き検出結果（動きベクトル及び予測誤差の少なくとも一方）を画像信号と共に取得する。ここで、最近入力画像信号とは、厳密には現入力フィールド画像信号より時間的に過去のフィールド画像信号のうち、動き検出（動きベクトル及び予測誤差の少なくとも一方の検出）が画面の一定領域（例えば１マクロブロックライン）以上について完了している最近の、つまり現入力フィールド画像信号に時間的に最も近い過去のフィールドのフィールド画像信号をいう。
【００３５】
次に、ステップＳ１２において、ステップＳ１１で取得された最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの画像信号か否かを判定する。言い換えれば、最近入力画像信号に対する動き検出結果が該最近入力画像信号に隣接するフレームの画像信号からの動き検出結果か否かを画像信号から判定する。
【００３６】
ステップＳ１２での判定の結果、最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの画像信号である場合、つまり最近入力画像信号に対する動きベクトル検出結果が当該入力画像信号に隣接するフレームの入力画像信号からの動き検出結果である場合は、当該動き検出結果を図２中に示した画素比較領域決定ステップＳ２に渡す。
【００３７】
一方、ステップＳ１２での判定の結果、最近入力画像信号に対する動き検出結果を得たときの参照画像が該最近入力画像信号に隣接するフレームの入力画像信号でない場合、言い換えれば最近入力画像信号に対する動きベクトル検出結果が隣接しないフレームの入力画像信号からの動き検出結果である場合は、ステップＳ１３において最近入力画像信号よりさらに１フレーム期間過去の入力画像信号に対する動き検出結果を取得する。
【００３８】
そして、引き続きステップＳ１４において、これら２フレームの画像信号（隣接しないフレームの画像信号と、さらに１フレーム期間過去の入力画像信号）に対する動き検出結果である動きベクトル及び予測誤差についての差をそれぞれ算出し、この算出結果を当該隣接するフレームの入力画像信号からの動き検出結果である動きベクトル及び予測誤差の少なくとも一方として、図２中に示した画素比較領域決定ステップＳ２に渡す。
【００３９】
（差分絶対値和算出ステップその１）
図８に示すフローチャートを用いて、図２中に示した差分絶対値和算出ステップＳ３の好適な処理手順について説明する。
まず、ステップＳ３１において、これまで保持していた差分絶対値和、すなわち過去の差分絶対値の累算結果をリセットする。次に、ステップＳ３２において、２つのフィールド画像信号（現入力フィールド画像信号と２フィールド期間前のフィールド画像信号）の画素比較領域内の画素どうしの差分絶対値を算出する。次に、ステップＳ３３ａにおいて、ステップＳ３１で算出された差分絶対値が所定値以上か否かを判定する。ステップＳ３３ａの判定の結果、当該差分絶対値が所定値以上の場合のみステップＳ３４において当該差分絶対値を累算することにより、差分絶対値和を算出する。
【００４０】
次に、ステップＳ３５において比較対象画素領域の全画素比較（差分絶対値和の算出）が完了したか否かを判断し、比較対象画素領域の全画素比較が完了していなければ、ステップＳ３６において比較画素を更新した後、ステップＳ３２に戻る。これにより、比較対象画素領域内の小さなノイズの累算を回避して、的確な再挿入フィールド画像信号の検出が可能となる。
【００４１】
（差分絶対値和算出ステップその２）
次に、図９に示すフローチャートを用いて、図２中に示した差分絶対値和算出ステップＳ３の他の好適な処理手順を説明する。この処理手順は、図８に示した処理ステップＳ３３ａの処理内容を改良したものであり、他のステップＳ３１，Ｓ３２，Ｓ３４，Ｓ３５は図８と同様であるため、説明を省略する。
【００４２】
ステップＳ３３ｂにおいては、当該比較画素の近隣に対する差分絶対値を所定数算出済みか否かを判定し、所定数の差分絶対値が算出されている場合のみ、ステップＳ３３ｃにおいて、当該画素の差分絶対値と近隣画素の差分絶対値の中間値、つまり近隣の複数画素の差分絶対値を選択し、ステップＳ３４において当該中間値を累算することにより、差分絶対値和を算出する。これにより、比較対象画素内の大きなノイズの累算を回避し、例えば背景と輝度レベル差の小さい移動物が存在する場合においても、的確な再挿入フィールド画像信号の検出が可能となる。
【００４３】
【発明の効果】
以上説明したように、本発明によれば過去の入力画像信号に対して求められた動き検出結果を取得し、それに基づいて２つのフィールド画像間の比較対象画素領域を決定することにより、比較対象画素数を効果的に削減して演算処理量を大幅に削減すると共に、ノイズの影響による誤検出を低減して再挿入フィールド画像の的確な検出を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像符号化装置の概略構成を示すブロック図
【図２】同実施形態におけるテレシネ画像検出装置の全体的な処理手順を示すフローチャート
【図３】同実施形態における第１比較対象画素領域設定例を示す図
【図４】同実施形態における第２比較対象画素領域設定例を示す図
【図５】同実施形態における第３比較対象画素領域設定例を示す図
【図６】同実施形態における第４の比較対象画素領域設定例を示す図
【図７】同実施形態における動き検出結果取得ステップの好適な処理手順を示すフローチャート
【図８】同実施形態における差分絶対値和算出ステップの好適な処理手順を示すフローチャート
【図９】同実施形態における差分絶対値和算出ステップの好適な他の処理手順を示すフローチャート
【図１０】テレシネ画像信号の生成のための飛び越し走査を説明する図
【図１１】テレシネ画像信号の生成方法を説明する図
【符号の説明】
１…入力画像信号
２…再挿入フィールド画像検出器
３…動画像符号化器
４…符号化データ
Ｓ１ … 動き検出結果取得ステップ
Ｓ２ … 画素値比較領域決定ステップ
Ｓ３ … 差分絶対値和算出ステップ
Ｓ４ … 再挿入フィールド画像判定ステップ
Ｓ７ … 再挿入フィールド画像検出情報出力ステップ
Claims (12)
- インタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、前記再挿入フィールド画像信号を検出する方法であって、
前記入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得する動き検出結果取得ステップと、
取得された前記動き検出結果に基づいて、前記入力画像信号中の動きの存在する可能性のより高い領域を前記第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号との画素値比較領域として決定する画素値比較領域決定ステップと、
決定された前記画素値比較領域について前記第１及び第３フィールド画像信号の画素値の差分絶対値和を算出する差分絶対値和算出ステップと、
算出された前記差分絶対値和が所定値以下か否かにより、前記第１フィールド画像信号が前記再挿入フィールド画像信号か否かを判定する再挿入フィールド画像判定ステップと
を具備するテレシネ画像における再挿入フィールド画像検出方法。 - インタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、前記再挿入フィールド画像信号を検出する方法であって、
前記入力画像信号について動き補償符号化を行う動画像符号化器から、前記入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得する動き検出結果取得ステップと、
取得された前記動き検出結果に基づいて、前記入力画像信号中の動きの存在する可能性のより高い領域を前記第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号との画素値比較領域として決定する画素値比較領域決定ステップと、
決定された前記画素値比較領域について前記第１及び第３フィールド画像信号の画素値の差分絶対値和を算出する差分絶対値和算出ステップと、
算出された前記差分絶対値和が所定値以下か否かにより、前記第１フィールド画像信号が前記再挿入フィールド画像信号か否かを判定する再挿入フィールド画像判定ステップと、
前記判定の結果に基づき前記第２フィールド画像信号が再挿入フィールド画像信号か否かを示す情報を前記動画像符号化器に供給するステップと
を具備するテレシネ画像における再挿入フィールド画像検出方法。 - 前記動き検出結果取得ステップは、前記動き検出結果として前記動きベクトル及び予測誤差の少なくとも一方を取得する請求項１または２記載のテレシネ画像における再挿入フィールド画像検出方法。
- 前記動き検出結果取得ステップは、
（ａ）前記入力画像信号のうち前記第１フィールド画像信号に時間的に最も近い過去の画像信号である最近入力画像信号と参照画像信号との間の第１の動き検出結果を取得し、
（ｂ）前記最近入力画像信号に対する参照画像信号が該最近入力画像信号に隣接するフレームの画像信号か否かを判定し、
（ｃ）該参照画像信号が該隣接するフレームの画像信号である場合は、前記第１の動き検出結果を前記画素比較領域決定ステップに渡し、
（ｄ）前記最近入力画像信号に対する参照画像信号が該最近入力画像信号に隣接しないフレームの画像信号である場合は、前記最近入力画像信号よりさらに１フレーム期間過去の入力画像信号に対する第２の動き検出結果を取得し、前記第１の動き検出結果と該第２の動き検出結果との差を、前記第２フィールド画像信号に対して検出された動き検出結果として前記画素比較領域決定ステップに渡す請求項１または２記載のテレシネ画像における再挿入フィールド画像検出方法。 - 前記動き検出結果取得ステップは、前記動き検出結果として動きベクトル及び予測誤差の少なくとも一方を取得し、
前記画素値比較領域決定ステップは、取得された前記動きベクトル及び予測誤差の少なくとも一方が所定値以上となる領域を前記入力画像信号中の動きの存在する可能性の高い領域とする請求項１〜３のいずれか１項記載のテレシネ画像における再挿入フィールド画像検出方法。 - 前記画素値比較領域決定ステップは、（ａ）前記動き検出結果取得ステップにより適切な動き検出結果が得られない場合、（ｂ）前記動きベクトル及び予測誤差の少なくとも一方が前記所定値以上となる領域を含まない、前記入力画像信号中のラインが入力された場合の少なくとも一方の場合、前記画素値比較領域を前記入力画像信号のライン毎に予め定めた領域に決定する請求項５項記載のテレシネ画像における再挿入フィールド画像検出方法。
- 前記差分絶対値和算出ステップは、前記第１及び第３フィールド画像信号の画素値の画素毎の差分絶対値を算出し、該差分絶対値のうち所定値以上の差分絶対値のみを累算することにより前記差分絶対値和を算出する請求項１または２項記載のテレシネ画像における再挿入フィールド画像検出方法。
- 前記差分絶対値和算出ステップは、前記第１及び第３フィールド画像信号の画素値の画素毎の差分絶対値を算出し、近隣の複数画素の該差分絶対値の中間値を累積することにより前記差分絶対値和を算出する請求項１または２項記載のテレシネ画像における再挿入フィールド画像検出方法。
- 前記再挿入フィールド画像判定ステップにより、前記算出された差分絶対値和が前記所定値を越えたと判定された時点で前記再挿入フィールド画像信号の検出を終了する請求項１または２記載のテレシネ画像における再挿入フィールド画像検出方法。
- インタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、前記再挿入フィールド画像信号を検出する再挿入フィールド画像検出器と、
前記入力画像信号について動き補償符号化を含む符号化を行う動画像符号化器とを具備し、
前記再挿入フィールド画像検出器は、
（ａ）前記動画像信号符号化器から、前記入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得し、
（ｂ）取得された前記動き検出結果に基づいて、前記入力画像信号中の動きの存在する可能性のより高い領域を含む領域を前記第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号とのライン毎の画素値比較領域として決定し、
（ｃ） 決定された前記画素値比較領域について前記第１及び第３フィールド画像信号の画素値の差分絶対値和を算出し、
（ｄ）算出された前記差分絶対値和が所定値以下か否かにより、前記第１フィールド画像信号が前記再挿入フィールド画像信号か否かを判定し、
（ｅ）前記判定の結果に基づき前記第２フィールド画像信号が再挿入フィールド画像信号か否かを示す検出情報を前記動画像符号化器に供給し、
前記動画像符号化器は、前記検出情報を受けて前記テレシネ画像信号については前記再挿入フィールド画像信号以外のフィールド画像信号のみを符号化する画像符号化装置。 - インタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から、前記再挿入フィールド画像信号を検出する処理をコンピュータに実行させるプログラムであって、
前記入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得する動き検出結果取得処理と、
取得された前記動き検出結果に基づいて、前記入力画像信号中の動きの存在する可能性のより高い領域を前記第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号との画素値比較領域として決定する画素値比較領域決定処理と、
決定された前記画素値比較領域について前記第１及び第３フィールド画像信号の画素値の差分絶対値和を算出する差分絶対値和算出処理と、
算出された前記差分絶対値和が所定値以下か否かにより、前記第１フィールド画像信号が前記再挿入フィールド画像信号か否かを判定する再挿入フィールド画像判定処理と
をコンピュータに実行させるプログラム。 - インタレース画像信号中に該インタレース画像信号中の特定のフィールド画像信号を再挿入フィールド画像信号として挿入することにより生成されるテレシネ画像信号を含む入力画像信号から前記再挿入フィールド画像信号を検出する処理をコンピュータに実行させるプログラムであって、
前記入力画像信号について動き補償符号化を行う動画像符号化器から、前記入力画像信号の現在入力されている第１フィールド画像信号より過去に入力された第２フィールド画像信号に対して検出された動き検出結果を取得する動き検出結果取得処理と、
前記動き検出結果に基づいて、前記入力画像信号中の動きの存在する可能性のより高い領域を前記第１フィールド画像信号と該第１フィールド画像信号より２フィールド期間前に入力された第３フィールド画像信号との画素値比較領域として決定する画素値比較領域決定処理と、
決定された前記画素値比較領域について前記第１及び第３フィールド画像信号の画素値の差分絶対値和を算出する差分絶対値和算出処理と、
算出された前記差分絶対値和が所定値以下か否かにより、前記第１フィールド画像信号が前記再挿入フィールド画像信号か否かを判定する再挿入フィールド画像信号判定処理と、
前記判定の結果に基づき前記第２フィールド画像信号が再挿入フィールド画像信号か否かを示す情報を前記動画像符号化器に供給する処理と
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160620A JP3762331B2 (ja) | 2002-05-31 | 2002-05-31 | テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160620A JP3762331B2 (ja) | 2002-05-31 | 2002-05-31 | テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007281A JP2004007281A (ja) | 2004-01-08 |
| JP3762331B2 true JP3762331B2 (ja) | 2006-04-05 |
Family
ID=30429967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160620A Expired - Fee Related JP3762331B2 (ja) | 2002-05-31 | 2002-05-31 | テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3762331B2 (ja) |
-
2002
- 2002-05-31 JP JP2002160620A patent/JP3762331B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007281A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
| JP4197958B2 (ja) | ビデオ信号中の字幕の検出 | |
| US6404461B1 (en) | Method for detecting static areas in a sequence of video pictures | |
| EP1585326A1 (en) | Motion vector estimation at image borders for frame rate conversion | |
| JPH08228356A (ja) | 画像を表す信号を処理するシステム | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| US20060209957A1 (en) | Motion sequence pattern detection | |
| US9641838B2 (en) | Moving image coding apparatus, method and program | |
| KR20090006724A (ko) | 혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법 | |
| KR100941285B1 (ko) | 영상 처리 장치 및 컴퓨터 판독가능 매체 | |
| JP2000278688A (ja) | 動きベクトル検出装置およびその方法と画像処理装置 | |
| KR100235988B1 (ko) | 디티브이 영상 포맷 변환장치 및 그 방법 | |
| US20030206591A1 (en) | System for and method of sharpness enhancement for coded digital video | |
| KR20050012766A (ko) | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 | |
| JP2001078196A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP2004529569A (ja) | 埋め込みリサイジング機能を有するｍｐｅｇ復号化のためのインターレース移動領域の検出及び適正な補間 | |
| JP2002523947A (ja) | Ｍｐｅｇデータの復号化および走査変換の遂行に要するバッファメモリの量を減少させる方法および装置 | |
| US6754278B1 (en) | Method for recovering moving picture by extending a damaged region in which an error occurs | |
| JP3762331B2 (ja) | テレシネ画像における再挿入フィールド画像検出方法及び画像符号化装置 | |
| KR20060058703A (ko) | 블럭 아티팩트 검출 | |
| KR20050013621A (ko) | 블록킹 아티팩트들 검출 방법 | |
| KR100711196B1 (ko) | 움직임 예측 정보 검출장치 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| KR20020040503A (ko) | 동영상 비디오 스트림의 장면전환 검출방법 | |
| KR100982509B1 (ko) | 필름 모드 검출방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060112 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |