JP4891103B2 - 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法 - Google Patents

動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法 Download PDF

Info

Publication number
JP4891103B2
JP4891103B2 JP2007015375A JP2007015375A JP4891103B2 JP 4891103 B2 JP4891103 B2 JP 4891103B2 JP 2007015375 A JP2007015375 A JP 2007015375A JP 2007015375 A JP2007015375 A JP 2007015375A JP 4891103 B2 JP4891103 B2 JP 4891103B2
Authority
JP
Japan
Prior art keywords
value
pixel
motion
motion amount
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007015375A
Other languages
English (en)
Other versions
JP2008182584A5 (ja
JP2008182584A (ja
Inventor
弘典 青景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007015375A priority Critical patent/JP4891103B2/ja
Priority to US12/018,288 priority patent/US8081829B2/en
Priority to EP08001354A priority patent/EP1950953B1/en
Priority to KR20080008290A priority patent/KR100943603B1/ko
Priority to CN2008100060242A priority patent/CN101232597B/zh
Publication of JP2008182584A publication Critical patent/JP2008182584A/ja
Publication of JP2008182584A5 publication Critical patent/JP2008182584A5/ja
Application granted granted Critical
Publication of JP4891103B2 publication Critical patent/JP4891103B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、インタレース映像信号における動き量検出技術に関するものである。
現在、一般的な映像信号処理装置は、インタレース走査の画像信号を扱っている。
インタレース走査された画像信号では、水平エッジ部分でフリッカが生じ易い。この問題を改善するために、インタレース走査の走査線を補間してプログレッシブ走査の画像信号として出力する技術が知られている。
また、プログレッシブ走査に変換する際に、画像の動き量を検出し、動き量の検出結果に応じて前フィールドの信号と現フィールドとを合成して補間信号を作成する技術も知られている。この技術では、動き量検出結果の精度により補間信号の状態が変化する。
例えば、静止している部分に対して現フィールドの画像信号で補間を行うと細かい横縞は消えてしまい、フリッカとなる。逆に、動いている部分に対して前フィールドの画像信号で補間を行うと、動きブレが生じ、コーミングノイズが生じてしまう。
この動き量検出結果の精度を高める技術が特許文献1に記載されている。特許文献1では、補間対象画素の上下のラインからそれぞれ画素を選択し、それらの画素の演算結果と前フィールドの補間対象画素と同位置の画素との差分をフィールド間差分値として使用し、このフィールド間差分値を用いて動き量検出を行っている。
特開2006−41619公報
しかしながら、図2に示すように上下のラインからの画素を演算した場合、次のような問題が残る。すなわち、水平エッジ上などの垂直方向で周波数が高い箇所に位置するラインの画素は、実際のフレームでの同箇所と比較すると、ボケた状態になってしまうという問題である。つまり、その演算結果と前フィールドの補間対象画素と同位置の画素との差分値により動き量を検出するため、例え静止している領域でも動き量有りと判定されやすくなり、ラインフリッカが生じてしまうからである。
本発明はかかる問題点に鑑みなされたものであり、より正確に映像の動き量を検出し、良好な補間画像を生成可能とする技術を提供しようとするものである。
かかる課題を解決するため、例えば本発明の動き量検出装置は以下の構成を備える。すなわち、
インタレース映像信号からノンインタレース映像信号を生成する際の、現フィールド中の隣接する2ラインの間の動き検出対象画素の動き量を検出する動き量検出装置であって、
前記動き検出対象画素を挟む現フィールドの前記2ライン上の2画素の値の差分値を算出し、算出した差分値予め設定された閾値と比較することで、前記2画素間に水平方向エッジがあるか否かを判定する第1の判定手段と、
前記2画素の値の平均値を第1の仮補間画素値として算出する第1の仮補間画素算出手段と、
前フィールド中の前記動き検出対象画素と同じ位置にある画素と、現フィールド中の前記2画素それぞれとの差分値を算出し、当該差分値を比較し、前記2画素のうち、差分が小さくなる方を第2の仮補間画素値として算出する第2の仮補間画素算出手段と、
前記第1の判定手段が前記水平方向エッジがないと判定した場合には、前記第1の仮補間画素値を仮補間画素値として選択し、前記第1の判定手段が前記水平方向エッジがあると判定した場合には前記第2の仮補間画素値を仮補間画素値として選択する選択手段と、
該選択手段で選択した仮補間画素値、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値、及び、前記2画素の差分値に基づき、動き検出対象画素の動き量を算出する動き量算出手段とを備え
前記動き量算出手段は、
前記選択手段で選択した仮補間画素値と、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値との差分絶対値eを演算する第1の演算手段と、
前記2画素の差分値をfと表わしたとき、e/(e+f)を算出し、当該算出結果を動き検出対象画素の動き量として出力する第2の演算手段とを備える。
また、本発明は、上記の動き量検出装置を有するノンインタレース映像信号を生成する画像処理装置を提供する。このため、本発明の画像処理装置は上記構成に加えて以下の構成を備える。すなわち、
インタレース映像信号からノンインタレース映像信号を生成する画像処理装置であって、
前記動き量算出手段で算出された動き量をm、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値をc、前記平均値をdと表わし、出力すべき動き量検出対象位置の画素値gを、
g=m×d+(1−m)×c
として算出し、出力する補間画素出力手段を備える。
本発明によれば、インタレース映像信号からノンインタレース映像信号を生成する際の、現フィールド中の隣接する2ラインの間の動き検出対象画素の動き量を高い精度で検出することが可能になる。また、この検出結果を利用することで良好なノンインタレース映像信号を生成することが可能になる。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
<第1の実施形態>
図1は本第1の実施形態における動き量検出装置の一例を示すブロック図である。なお、説明を簡単なものとするため、処理対象を映像信号の輝度信号とする例を説明するが、これに限定されるものではない。
図1に示す動き量検出装置は、入力端子1、ラインメモリ2、フィールドメモリ3、フィールド間動き量検出部4、フィールド内動き量検出部5、動き量算出部6を備える。
入力端子1はインタレース映像信号を入力する。ラインメモリ2は、入力端子1から入力されたインタレース信号の1ライン分を格納する容量を備える。また、フィールドメモリ3は、入力端子1から入力されたインタレース信号の1フィールド分を格納する容量を備える。フィールド間動き量検出部4は、現フィールドと前フィールド間での動き量を検出する。フィールド内動き量検出部5は、現フィールド内での動き量を検出する。動き量算出部6は、フィールド間動き量検出部4で検出されたフィールド間動き量と、フィールド内動き量検出部5で検出されたフィールド内動き量に基づき、最終的な動き量を算出し、その動き量を出力する。
上記構成における本装置の処理概要は次の通りである。
入力端子1より入力されたインタレースの映像信号(実施形態では、説明を簡単なものとするため、色成分の無い輝度信号とする)、ラインメモリ2、フィールドメモリ3、フィールド間動き量検出部4、フィールド内動き量検出部5に供給される。ラインメモリ2は、入力された信号を1ライン分の時間だけ遅延させ、その遅延した信号をフィールド間動き量検出部4に出力する。同様にフィールドメモリ3は、入力された信号を1フィールド分の時間だけ遅延させ、その遅延した信号をフィールド間動き量検出部4、フィールド内動き量検出部5に出力する。フィールド間動き量検出部4は、フィールド間の情報を用いて動き量の検出を行い、動き量算出部6に出力する。フィールド内動き量検出部5は、フィールド内での情報を用いて動き量の検出を行い、動き量算出部6に出力する。動き量算出部6は、上記の2つの入力信号の比を取ることによって動き量を出力する。
上記のように構成された動き量検出装置において、動き量検出処理を行なう動作について、更に詳しく説明する。
入力端子1より入力されたフィールド画像はラインメモリ2に蓄積される。ラインメモリ2は、1ライン分のデータ量を記憶するFIFOメモリで構成されるので、ラインメモリ2から出力されるデータは、1ライン分遅延されたものとなる。また、入力されたフィールド画像は、フィールドメモリ3に蓄積される。フィールドメモリ3は、1フィールド分のメモリを有するので、このフィールドメモリ3から出力されるフィールド画像は、1フィールド時間分遅延されたものとなる。
本実施形態においては、説明を容易にするために、入力されたフィールド画像を現フィールド、1フィールド時間分遅延させた画像を前フィールドとする。また入力信号は動き量検出対象の画素が存在するラインの1ライン下のラインであるものとし、1ライン時間分遅延させた信号は、動き量検出対象の画素が存在するラインの1ライン上のラインであるものとする。
フィールド間動き量検出部4は、動き量検出対象画素の上下のラインの画像信号と、現フィールド画像及び前フィールドの画像の信号を入力し、フィールド間での動き量を検出して出力する。
フィールド内動き量検出部5では、動き量検出対象の画素が位置するラインの上下のラインの画像信号を入力し、フィールド内での動き量を検出して出力する。動き量算出部6は、フィールド内動き量とフィールド間動き量を入力し、それらの比を算出することによって動き量を算出し、出力する。
次に、実施形態におけるフィールド間動き量検出部4について更に詳しく説明する。
フィールド間動き量検出部4は、図1に示すように、水平エッジ量検出部401、フィールド内仮補間部402、フィールド間仮補間部403、混合部404、及び、フィールド間差分値検出部405を有する。
水平エッジ検出部401は、水平エッジ量を算出し、混合部404に出力する。フィールド内仮補間部402は、動き量検出対象画素の画素値をフィールド内での情報によって仮に算出し、混合部404に出力する。フィールド間仮補間部403は、動き量検出対象画素の画素値をフィールド間での情報によって仮に算出し、混合部404に出力する。混合部404は、フィールド内仮補間値とフィールド間仮補間値を水平エッジ量によって混合し、フィールド間差分検出部405に出力する。フィールド間差分検出部405はフィールド間での差分値を算出し、動き量算出部5に出力する。各処理部のより詳細は次の通りである。
水平エッジ量検出部401は、入力された動き量検出対象のラインの上下のラインの画素の差分絶対値を算出し、算出した差分絶対値を水平エッジ量として混合部404に出力する。
フィールド内仮補間部402は、動き量検出対象画素の上下のラインの画素を入力し、平均値を算出することによって仮補間値を算出し、出力する。
フィールド間仮補間部403は、動き量検出対象画素のラインの上下のラインの画素値と、前フィールド中の対象画素の画素値を入力する。そして、フィールド間仮補間部403は、動き量検出対象画素の上のラインの画素と前フィールド中の動き量検出対象画素との同位置の画素との差分絶対値を算出する。また、フィールド間仮補間部403は、動き量検出対象画素の下のラインの画素と前フィールド中の、動き量検出対象画素との同位置の画素との差分絶対値をも算出する。そして、フィールド間仮補間部403は、算出されたそれぞれの差分絶対値の相関に基づき、上下のラインの画素の何れか一方の画素を仮補間値として出力する。
混合部404は、水平エッジ量検出部401からの出力に基づき、フィールド内仮補間部402、フィールド間仮補間部403の出力のいずれか一方を、仮補間値としてフィールド間差分値検出部405に出力する。
フィールド間差分値検出部405は、混合部404からの出力と前フィールド中の動き量検出対象画素との差分絶対値をフィールド間差分値として算出し、動き量算出部6に出力する。
上記のように構成されたフィールド間動き量検出部4において、フィールド間動き量検出処理を行なう動作について詳細に説明する。また図3はフィールド間動き量検出部4において使用する画素の様子を示した図である。動き量検出対象画素(星マーク)を中心として、現フィールド中の1ライン上の画素をa(ラインメモリ2の出力)、動き量検出対象画素画素と水平方向位置が同じで1ライン下の画素をb、前フィールド中の動き量検出対象画素と同位置の画素をcとする。
図1において、入力端子1は、インタレース入力信号の映像信号を入力する。水平エッジ量検出部401は、入力端子1のダイレクト出力の映像信号中の画素bと、ラインメモリ2からの出力である1ライン前の映像信号のaとの差分絶対値|a−b|(|x|はxの絶対値を示す)を算出し、混合部404に出力する。
フィールド内仮補間部402は、画素a,bの平均値“(a+b)/2”を算出し、混合部404に出力する。
フィールド間仮補間部403は、画素aとフィールドメモリ3により1フィールド時間分遅延された画素cの差分絶対値|a−c|と、画素bと画素cとの差分の絶対値|b−c|を算出し、|a−c|と|b−c|とを比較する。そして、フィールド間仮補間部403は、|a−c|>|b−c|の場合、前フィールドとの差が小さい画素bをフィールド間仮補間値として出力する。また、|a−c|≦|b−c|の場合、フィールド間仮補間部403は前フィールドとの差が小さい画素aをフィールド間仮補間値として出力する。
混合部404は、水平エッジ量検出部401からの出力に基づき、フィールド内仮補間部402、フィールド間仮補間部403からの出力のうちいずれか一方をフィールド間差分値検出部405に出力する。より分かりやすく説明すると、図5に示すように、現フィールド中の補間対象画素xの上下の画素a,b、及び、前フィールド中の補間対象画素xと同位置の画素cに基づき、補間対象画素xの仮補間値を決定し、フィールド間差分値検出部405に出力する。具体的には、次の通りである。なお、以下の説明で、h_edge_thは水平エッジか否かを判定するために予め設定された閾値である。
(1)水平エッジ量検出部401からの出力|a−b|が閾値“h_edge_th”以下の場合、混合部404は、フィールド内仮補間部402からの出力(a+b)/2、すなわち、補間対象画素の上下の位置にある画素値の平均値を算出する。そして混合部404は、算出した平均値を補間対象画素xの仮補間値として出力する。
(2)水平エッジ量検出部401からの出力|a−b|が閾値“h_edge_th”を超える場合、混合部404は、フィールド間仮補間部403からの出力(a、又はb)を補間画素値xの仮補間値として出力する。
フィールド間差分値検出部405は、混合部404からの仮補間画素値と、前フィールド中の、補間対象画素と同一位置の画素値との差分絶対値を算出し、その結果を動き量算出部6に出力する。
以上、本実施形態におけるフィールド間動き量検出部4の構成とその動作を説明したが、より明瞭にするため、図6のフローチャートに従って説明する。
先ず、ステップS1では、画素a,bの差分絶対値を算出することで、水平エッジ量を算出する。このステップS1の処理は、水平エッジ量検出部401が行なうことになる。
次いで、ステップS2にて、画素a,bの平均値(a+b)/2を演算し、フィールド内仮補間値を算出する。このステップS2の処理は、フィールド内仮補間部402で行なうことになる。
ステップS3では、差分絶対値|a−b|と閾値h_edge_thと比較する。|a−b|≦h_edge_thである場合、すなわち、現フィールド中の補間対象画素を挟む上下の2画素間の差が閾値h_edge_th以下であると判断した場合、ステップS4に処理を進める。このステップS4では、補間対象画素xの仮画素値を平均値(a+b)/2として決定する。
また、ステップS3にて、|a−b|>h_edge_thであると判断した場合、ステップS5にて、画素値a,cの差分絶対値|a−c|と、画素値b,cの差分絶対値|b−c|を算出し、ステップS6にて、それら2つの差分絶対値を比較する。換言すれば、ステップS6での判定は、画素a,bのいずれが、前フィールド中の補間対象画素と同一位置の画素値に近いかを判定する。
|a−c|>|b−c|であると判定された場合、画素bが画素cに近い値を持つことになるので、ステップS7にて、補間対象画素xの仮画素値を画素値bとして決定する。また、|a−c|≦|b−c|であると判定された場合、画素aが画素cに近い値を持つことになるので、ステップS8にて、補間対象画素xの仮画素値を画素値aとして決定する。
上記のステップS3乃至S8は、フィールド間仮補間部403、混合部404が共同して行なうことになる。
以上のようにして、ステップS4、S7、S8のいずれかの処理で、補間対象画素xの仮画素値が決定されると、処理はステップS9に進む。このステップS9の処理は、フィールド間差分値検出部405で行われるものであり、補間対象画素xの値と前フィールド中の同一位置の画素cの値との差分絶対値を算出し、動き量算出部6に出力する。
以上であるが、フィールド内動き量検出部5、及び、動き量算出部6について説明する。
フィールド内動き量検出部5は、現フィールドにおける補間対象画素を挟む上下の2画素a、bの差分絶対値|a−b|を算出し、フィールド内動き量として動き量算出部6に出力する。このフィールド内動き量検出部5は、水平エッジ量検出部401と同じであるので、フィールド内動き量検出部5の代わりに、水平エッジ量検出部401の出力を、動き量算出部6に供給しても構わない。
動き量算出部6の処理は、次式に従った演算を行ない、最終的な動き量mを算出する。なお、フィールド間差分値検出部405から出力されるフィールド間差分値をe、フィールド内動き量検出部5から出力されるフィールド内動き量をfとして表している。
m=e/(e+f)
このように、本実施形態においては、動き量を算出するためのフィールド間差分を算出するための前準備である動き量検出対象画素の仮補間値を決定する際、動き量検出対象画素が水平エッジ上にあるかどうかの判断する。動き量検出対象画素が、水平エッジ上にない、すなわち、|a−b|が閾値以下の場合には、画素a,bの平均値を仮補間値として決定する。また、動き量検出対象画素が水平エッジ上にある場合、前フィールドの動き量検出対象画素と同位置の画素情報と、動き量検出対象画素の上下のラインの情報を用いて、動き量検出対象画素の上下から仮補間値を選択する。そして、こうして求めた動き量検出対象画素の値と、前フィールド中の動き量検出対象画素と同一位置の画素値との差分eを求め、更には、フィールド内動き量をfを求める。そして、「e+f」に対するeの比率を画素単位の動き情報として得る。この結果、画素単位の動き量を高い精度で検出することができる。従って、これを用いることによって、動画像の符号化でのモードの判定や、画像から動いている対象を精度よく抽出することができるようになる。
また、実施形態では、説明を簡単なものとするため、映像信号の輝度信号を例として説明したが、RGBなどの原信号でもかまわないし、色度信号を対象にしてもかまわない。
なお、上記実施形態における装置における動き量検出装置は、インタレース信号を入力し、補間対象画素について処理するものであり、現フィールド中の実在するライン上を走査中は、動き量検出は行なわない。
また、ラインメモリ、フィールドメモリを個別に有する例を説明したが、フィールドメモリの一部をラインメモリとして活用しても構わない。
また、1:2のインタレース画像を例にとって説明したが、これに限定されず、フィールド仮補間部やフィールド間差分検出部を調整することで他の比率のインタレースにも対応できることは明らかである。
<第2の実施形態>
次に、第2の実施形態を説明する。本第2の実施形態では、上記第1の実施形態の構成を利用した順次走査変換装置に適用した例を説明する。
図4が本第2の実施形態における装置の構成図である。図4と図1の構成の異なる点は、図4では新に画素補間部7を追加し、図1のフィールド間動き量検出部4を図4ではフィールド間動き量検出部9とした点である。それ故、水平エッジ検出部901、フィールド内仮補間部902、フィールド間仮補間部903、混合部904、フィールド間差分値検出部905は、図1における符号401乃至405と同じになるので、その説明は省略する。
画素補間部7では、フィールドメモリ3より1フィールド遅延された前フィールド中の補間対象画素と同一位置の画素cと、フィールド内仮補間部902からの補間対象画素の仮画素値とを、動き量算出部6からの出力に基づき混合する。そして、画素補間部7は、その混合した結果を最終的な補間画素値として出力する。出力先は、不図示の表示装置(ノンインタレース表示装置)とする。
ここで、フィールド内仮補間部902からの補間対象画素の仮画素値をdとし、動き量算出部6からの出力を、第1の実施形態で用いた表記mとすると、画素補間部7は、次の演算を行い、最終的な補間画素の値gを決定する。なお、mは0以上1以下の値であることに注意されたい。
g=m×d+(1−m)×c
このように、本第2の形態においては、高い精度で算出された動き量を用いて連続的に補間値を算出することによって、動いている領域では動きブレを軽減し、静止している領域ではラインフリッカを軽減することが出来る。
<第3の実施形態>
上記第1、第2の実施形態をパーソナルコンピュータ等の汎用の情報処理装置と、その情報処理装置に実行させるコンピュータプログラムでもって実現しても構わない。以下、その例を第3の実施形態として説明する。
図7は、本第3の実施形態における情報処理装置のブロック構成図である。
図中、301は装置全体の制御、及び種々の処理を行う中央演算装置(以下、CPU)である。302はBIOSやブートプログラムを記憶しているROM及びCPU301がワークエリアとして使用するRAMで構成されるメモリである。303はキーボード、マウス等のポインティングデバイス、及び各種スイッチで構成される指示入力部である。304は、本装置の制御に必要なオペレーティングシステム(OS)、第3の実施形態におけるコンピュータプログラム、演算に必要な記憶領域を提供する外部記憶装置(例えばハードディスク装置)である。305は、動画像データを記憶する可搬性記憶媒体(例えば、DVD−ROMやCD−ROMディスク)をアクセスする記憶装置である。306は動画像をフィールド単位で撮像するビデオカメラである。307はプログレッシブ画像を表示するモニタであり、309は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。308は通信回路309を介して符号化データを送受信する通信インターフェースである。
このような構成において画像補間処理について説明する。
処理に先立ち、指示入力部303で装置に電源が投入されると、CPU300はメモリ301のブートプログラム(ROMに格納されている)に従って、外部記憶装置304がメモリ301(RAM)にOSをロードする。そして、ユーザによる指示に従い、外部記憶装置304からアプリケーションプログラムをメモリ301にロードすることで、本装置が画像処理装置として機能することになる。このアプリケーションプログラムがRAM301にロードした際のメモリの格納状況を示すのが図8である。
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOS、画像を動き量を算出して補間処理する映像処理ソフトウェアが格納されている。さらには、カメラ306を制御して動画像をデジタルデータとして1フィールドずつ入力(キャプチャ)する画像入力ソフトウェア、画像をモニタ307に表示する画像表示ソフトウェアが格納されている。さらに、画像データを格納する画像エリア、各種演算パラメータ等を格納しておくワーキングエリアが存在する。
図9はCPU300が実行するアプリケーションにおける画像補間処理を示すフローチャートである。
ステップS11は各部の初期化が行われる。ステップS12はプログラムが終了かどうかの判定を行う。この終了は、ユーザが指示入力部303から終了指示が入力されたか否かに基づいて判定する。
ステップS13では、フィールド単位での画像の入力画行われ、ステップS4では動き量の検出が行われる。ステップS15では画素の補間処理が行われ、ステップS2の処理に戻る。
ここで、ステップS4の動き量の検出の処理を、図10のフローチャートに示す。
ステップS100では、フィールド間での動き量を検出する。詳細は図6で示した通りである。ステップS101では、フィールド内での動き量を検出する。そして、ステップS102では、フィールド間とフィールド内の動き量を混合して、最終的な動き量を算出する。このステップ後、図9のステップS15に戻る。
このように、本第3の実施形態においては、高い精度で算出された動き量を用いて連続的に補間値を算出することによって、動いている領域では動きブレを軽減し、静止している領域ではラインフリッカを軽減することをソフトウェアで実現可能である。
なお、通常、コンピュータプログラムは、CD−ROM等のコンピュータ可読記憶媒体に格納されており、それをコンピュータが有する読取り装置(CD−ROMドライブ)にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、このようなコンピュータ可読記憶媒体が本発明の範疇に入ることは明らかである。
以上説明した様に、本実施形態によれば、実際のフレームの状態と同じ状態で動き量検出対象画素を仮補間し、その結果と前フィールドの補間対象画素と同位置の画素との差分値により動き量を検出する。このため、見かけ上静止しており、かつ水平エッジ上に存在する画素における動き量の検出精度が向上し、補間画像のラインフリッカが低減させることが可能になる。
第1の実施形態における動き量検出装置のブロック構成図である。 従来のフィールド間動き量検出の原理を説明するための図である。 第1の実施形態における動き量検出の原理を説明するための図である。 第2の実施形態における順次走査装置のブロック構成図である。 第1の実施形態における補間対象画素と参照する画素との相対位置関係を示す図である。 第1の実施形態におけるフィールド間動き量検出部の処理内容を説明するためのフローチャートである。 第3の実施形態が適用する情報処理装置のブロック構成図である。 第3の実施形態における処理中のメモリの格納状況を示す図である。 第3の実施形態における画像補間処理の手順を示すフローチャートである。 図9における動き量の検出ステップの処理内容を示すフローチャートである。

Claims (6)

  1. インタレース映像信号からノンインタレース映像信号を生成する際の、現フィールド中の隣接する2ラインの間の動き検出対象画素の動き量を検出する動き量検出装置であって、
    前記動き検出対象画素を挟む現フィールドの前記2ライン上の2画素の値の差分値を算出し、算出した差分値予め設定された閾値と比較することで、前記2画素間に水平方向エッジがあるか否かを判定する第1の判定手段と、
    前記2画素の値の平均値を第1の仮補間画素値として算出する第1の仮補間画素算出手段と、
    前フィールド中の前記動き検出対象画素と同じ位置にある画素と、現フィールド中の前記2画素それぞれとの差分値を算出し、当該差分値を比較し、前記2画素のうち、差分が小さくなる方を第2の仮補間画素値として算出する第2の仮補間画素算出手段と、
    前記第1の判定手段が前記水平方向エッジがないと判定した場合には、前記第1の仮補間画素値を仮補間画素値として選択し、前記第1の判定手段が前記水平方向エッジがあると判定した場合には前記第2の仮補間画素値を仮補間画素値として選択する選択手段と、
    該選択手段で選択した仮補間画素値、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値、及び、前記2画素の差分値に基づき、動き検出対象画素の動き量を算出する動き量算出手段とを備え
    前記動き量算出手段は、
    前記選択手段で選択した仮補間画素値と、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値との差分絶対値eを演算する第1の演算手段と、
    前記2画素の差分値をfと表わしたとき、e/(e+f)を算出し、当該算出の結果を動き検出対象画素の動き量として出力する第2の演算手段と
    を備えることを特徴とする動き量検出装置。
  2. 請求項1動き量検出装置を有し、インタレース映像信号からノンインタレース映像信号を生成する画像処理装置であって、
    前記動き量算出手段で算出された動き量をm、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値をc、前記平均値をdと表わしたとき、出力すべき動き量検出対象位置の画素値gを、
    g=m×d+(1−m)×c
    として算出し、出力する補間画素出力手段
    を備えることを特徴とする画像処理装置。
  3. インタレース映像信号からノンインタレース映像信号を生成する際の、現フィールド中の隣接する2ラインの間の動き検出対象画素の動き量を検出する動き量検出装置の制御方法であって、
    第1の判定手段が、前記動き検出対象画素を挟む現フィールドの前記2ライン上の2画素の値の差分値を算出し、算出した差分値予め設定された閾値と比較することで、少なくとも前記2画素間に水平方向エッジがあるか否かを判定する第1の判定工程と、
    第1の仮補間画素算出手段が、前記2画素の値の平均値を第1の仮補間画素値として算出する第1の仮補間画素算出工程と、
    第2の仮補間画素算出手段が、前フィールド中の前記動き検出対象画素と同じ位置にある画素と、現フィールド中の前記2画素それぞれとの差分値を算出し、当該差分値を比較し、前記2画素のうち、差分が小さくなる方を第2の仮補間画素値として算出する第2の仮補間画素算出工程と、
    選択手段が、前記第1の判定工程が前記水平方向エッジがないと判定した場合には、前記第1の仮補間画素値を仮補間画素値として選択し、前記第1の判定工程が前記水平方向エッジがあると判定した場合には前記第2の仮補間画素値を仮補間画素値として選択する選択工程と、
    動き量算出手段が、該選択工程で選択した仮補間画素値、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値、及び、前記2画素の差分値に基づき、動き検出対象画素の動き量を算出する動き量算出工程と有し、
    前記動き量算出工程は、
    第1の演算手段が、前記選択工程で選択した仮補間画素値と、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値との差分絶対値eを演算する第1の演算工程と、
    第2の演算手段が、前記2画素の差分値をfと表わしたとき、e/(e+f)を算出し、当該算出の結果を動き検出対象画素の動き量として出力する第2の演算工程と
    を有することを特徴とする動き量検出装置の制御方法。
  4. 請求項1動き量検出装置を有し、インタレース映像信号からノンインタレース映像信号を生成する画像処理装置の制御方法であって、
    補間画素出力手段が、前記動き量算出手段で算出された動き量をm、前記前フィールド中の前記動き検出対象画素と同じ位置にある画素の値をc、前記平均値をdと表わしたとき、出力すべき動き量検出対象位置の画素値gを、
    g=m×d+(1−m)×c
    として算出し、出力する補間画素出力工程
    有することを特徴とする画像処理装置の制御方法。
  5. コンピュータに読込ませ実行させることで、前記コンピュータを、請求項1又は2各手段として機能させることを特徴とするコンピュータプログラム。
  6. 請求項に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
JP2007015375A 2007-01-25 2007-01-25 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法 Expired - Fee Related JP4891103B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007015375A JP4891103B2 (ja) 2007-01-25 2007-01-25 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法
US12/018,288 US8081829B2 (en) 2007-01-25 2008-01-23 Motion estimation apparatus and control method thereof
EP08001354A EP1950953B1 (en) 2007-01-25 2008-01-24 Motion estimation apparatus and control method thereof
KR20080008290A KR100943603B1 (ko) 2007-01-25 2008-01-25 움직임 추정 장치 및 그 제어 방법
CN2008100060242A CN101232597B (zh) 2007-01-25 2008-01-25 运动估计设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007015375A JP4891103B2 (ja) 2007-01-25 2007-01-25 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法

Publications (3)

Publication Number Publication Date
JP2008182584A JP2008182584A (ja) 2008-08-07
JP2008182584A5 JP2008182584A5 (ja) 2010-04-02
JP4891103B2 true JP4891103B2 (ja) 2012-03-07

Family

ID=39339210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007015375A Expired - Fee Related JP4891103B2 (ja) 2007-01-25 2007-01-25 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法

Country Status (5)

Country Link
US (1) US8081829B2 (ja)
EP (1) EP1950953B1 (ja)
JP (1) JP4891103B2 (ja)
KR (1) KR100943603B1 (ja)
CN (1) CN101232597B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11677938B2 (en) * 2008-04-30 2023-06-13 Arris Enterprises Llc Method to reduce contour artifacts on recursive temporal filters
US8839318B2 (en) * 2010-07-08 2014-09-16 Echostar Broadcasting Corporation Apparatus, systems and methods for quick speed presentation of media content
JP2012034225A (ja) * 2010-07-30 2012-02-16 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
CN102457696B (zh) * 2010-10-14 2013-12-04 联咏科技股份有限公司 影像处理装置及影像处理方法
WO2012053978A1 (en) * 2010-10-20 2012-04-26 Agency For Science, Technology And Research A method, an apparatus and a computer program product for deinterlacing an image having a plurality of pixels
US8537901B2 (en) 2010-12-23 2013-09-17 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for exotic cadence detection
US8471962B2 (en) * 2011-06-30 2013-06-25 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for local video detector for mixed cadence sequence
US8937683B2 (en) 2011-06-30 2015-01-20 Stmicroelectronics Asia Pacific Pte Ltd Apparatus and method for inverse telecine with local video de-interlacing
TWI692980B (zh) * 2019-01-17 2020-05-01 瑞昱半導體股份有限公司 影像處理方法及影像處理系統

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0191586A (ja) 1987-10-02 1989-04-11 Nippon Hoso Kyokai <Nhk> 動き検出回路
US4941045A (en) 1988-10-11 1990-07-10 Scientific-Atlanta, Inc. Method and apparatus for improving vertical definition of a television signal by scan conversion
KR950007930B1 (ko) 1992-04-21 1995-07-21 주식회사 금성사 텔레비젼 수상기의 주사선 보간방법
JP3138374B2 (ja) * 1993-11-08 2001-02-26 日本放送協会 垂直エッジ検出回路
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP2006173657A (ja) 2000-10-25 2006-06-29 Matsushita Electric Ind Co Ltd 映像信号処理回路
GB2372394B (en) * 2000-12-22 2004-09-22 Matsushita Electric Ind Co Ltd Interpolation apparatus and video signal processing apparatus including the same
KR100403364B1 (ko) * 2001-12-14 2003-10-30 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치
US7154556B1 (en) * 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
US7075580B2 (en) * 2002-12-19 2006-07-11 Intel Corporation Edge adaptive spatial temporal deinterlacing
KR20040061244A (ko) * 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치
KR100505663B1 (ko) * 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
KR100563866B1 (ko) * 2003-05-19 2006-03-23 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치
KR100601638B1 (ko) * 2003-06-18 2006-07-14 삼성전자주식회사 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치
JP4003713B2 (ja) * 2003-08-06 2007-11-07 ソニー株式会社 画像処理装置および画像処理方法
JP4049087B2 (ja) * 2003-11-14 2008-02-20 ソニー株式会社 動き・静止の判定装置および判定方法、並びに画像信号の処理装置および処理方法
JP2006041619A (ja) * 2004-07-22 2006-02-09 Canon Inc 画像処理装置
US7750974B2 (en) * 2005-11-10 2010-07-06 Broadcom Corporation System and method for static region detection in video processing
KR101109153B1 (ko) * 2007-01-15 2012-02-24 삼성전자주식회사 저더 검출을 이용한 디인터레이싱 방법 및 장치

Also Published As

Publication number Publication date
US20080181517A1 (en) 2008-07-31
KR100943603B1 (ko) 2010-02-24
EP1950953B1 (en) 2012-11-28
EP1950953A3 (en) 2011-08-24
KR20080070595A (ko) 2008-07-30
CN101232597A (zh) 2008-07-30
CN101232597B (zh) 2010-06-02
EP1950953A2 (en) 2008-07-30
US8081829B2 (en) 2011-12-20
JP2008182584A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP4891103B2 (ja) 動き量検出装置及びそれを利用した画像処理装置、並びにそれらの制御方法
EP1742485A2 (en) Motion estimator and estimating method
JP4973542B2 (ja) 画素補間装置及び画素補間方法
JP2002185934A (ja) 走査線補間装置
JP2004194317A (ja) インターレース解除装置および方法
JP3293561B2 (ja) 画像表示装置及び画像表示方法
JP2004056820A (ja) フィールドの中間ラインの画素を補間する方法
US8385430B2 (en) Video signal processing apparatus and video signal processing method
JP4331234B2 (ja) 順次走査変換装置および順次走査変換方法並びに映像表示装置
JP5208381B2 (ja) 動画像フレームレート変換装置および動画像フレームレート変換方法
JP2009246735A (ja) 映像信号補間装置、映像表示装置及び映像信号補間方法
JPWO2002062055A1 (ja) 画像処理回路
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP4339237B2 (ja) 順次走査変換装置
JP2006033647A (ja) 補間画素生成回路
JP4736456B2 (ja) 走査線補間装置、映像表示装置、映像信号処理装置
JP5114290B2 (ja) 信号処理装置
JP2009212851A (ja) 走査線補間装置及びその制御方法
US20080002054A1 (en) Video signal diagonal interpolation apparatus
US8565313B2 (en) Determining a vector field for an intermediate image
JP2000115720A (ja) 走査線補間装置および走査線補間方法
JP2009077293A (ja) 映像信号斜め補間装置および映像信号斜め補間方法
JP6117484B2 (ja) クリップ処理によるip変換の映像処理方法とそのプログラム及びその映像処理装置
US20100254610A1 (en) Scanning line interpolation apparatus and scanning line interpolation method
JP2010093578A (ja) 映像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees