JP4419210B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4419210B2 JP4419210B2 JP15379699A JP15379699A JP4419210B2 JP 4419210 B2 JP4419210 B2 JP 4419210B2 JP 15379699 A JP15379699 A JP 15379699A JP 15379699 A JP15379699 A JP 15379699A JP 4419210 B2 JP4419210 B2 JP 4419210B2
- Authority
- JP
- Japan
- Prior art keywords
- difference value
- field
- output
- pixel
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、フィールド差分の情報、フレーム差分の情報、水平エッジ情報、および画像の特徴情報を用いて動き検出を行う画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
入力された画像データから動きを検出する手法として、フィールド間での差分を用いる方法と、フレーム間での差分を用いる方法とがあり、共に、簡単な回路構成で実現できることから、一般的に用いられている。
【０００３】
【発明が解決しようとする課題】
画像データがインターレースに入力される場合、フィールド差分だけを用いた場合、連続する２枚のフィールドには、上下方向に１ライン分のずれがある。従って、差分を算出するために、一方のフィールドは、隣合うラインから、その間に位置する画素を補間により算出し上述した１ライン分の補正を行った上で、他方のフィールドとの差分を算出する。このように、一方のフィールドからは、補間された画素データを用いてフィールド差分値を算出することになり、その補間のために、画像にぼけが生じてしまい、その結果、動き検出の精度が落ちてしまうといった課題があった。
【０００４】
また、動き検出に、フレーム間での差分を用いる方法を適用した場合、差分を算出する画像の間には、２フィールドの開きがある。従って、フレーム差分を算出する２枚の画像が一致している場合でも、その２枚の画像の間にある画像も、同様に一致しているとは限らず、このことが動き検出を行う上で、検出漏れの原因となるという課題があった。
【０００５】
ところで、動き検出における誤検出は、特に、水平方向のエッジ部分で生じることが多い。エッジ部分は、コントラストの差が大きいため、対象物のわずかな振動や、動き検出を行う回路によるわずかなジッタなどによる影響を大きく受けてしまい、本来動いていないと判断されるべき画像に対しても、動き検出の結果が、めまぐるしく変化してしまう可能性があるといった課題もあった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、フィールド差分の情報、フレーム差分の情報、水平エッジ情報、および映像の特徴情報も用いることにより、動き検出の精度を向上させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、画像信号を記憶する記憶手段と、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出手段と、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出手段と、前記注目している画素における前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フレーム差分値手段により算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出手段と、前記検出手段で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換手段とを備え、前記検出手段は、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持手段と、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換え手段と、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換え手段により切り換えられたしきい値と比較する比較手段と、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較手段による比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較手段による比較結果と予め設定されている所定の値を選択して、出力する出力手段とを備え、前記出力手段により出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力手段により出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する。
【００１０】
本発明の画像処理方法は、画像信号を記憶手段に記憶させる記憶ステップと、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップとを備え、前記検出ステップは、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップとを備え、前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する。
【００１１】
本発明の記録媒体は、画像信号を記憶手段に記憶させる記憶ステップと、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップとを備え、前記検出ステップは、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップとを備え、前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する処理をコンピュータに実行させるためのプログラムを記録している。
【００１２】
本発明の画像処理装置、画像処理方法、および記録媒体においては、記憶されている画像信号から、注目している画素のフィールド差分値が算出され、記憶されている画像信号から、注目している画素のフレーム差分値と、注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値が算出され、注目している画素における算出されたフィールド差分値と、算出された３つのフレーム差分値が用いられて画像信号に基づく画像の動領域が検出され、検出された動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域が、静止領域に転換される。またフィールド差分値と３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値が保持され、注目している画素に対して下側に隣接する画素との差分値が算出され、その差分値と所定の閾値が比較され、その比較結果に基づいて、それぞれの差分値毎にしきい値が一括して切り換えられ、フィールド差分値と３つのフレーム差分値が、それぞれ切り換えられたしきい値と比較され、注目している画素を含むフィールドとそのフィールドの前後のフィールドが用いられて、それらのフィールド間でシーンチェンジがあったか否かが判断され、シーンチェンジがないと判断されたときには、比較結果が出力され、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、比較結果と予め設定されている所定の値が選択されて、出力され、出力された３つのフレーム差分値に基づく３つの出力の論理積が算出され、その論理積の結果と、出力されたフィールド差分値に基づく出力との論理和が算出されることにより、画像信号に基づく画像の動領域が検出される。
【００１３】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置１の一実施の形態の構成を示すブロック図である。アンテナ２により受信された番組は、チューナ３に出力され、ユーザが所望とする番組の信号のみ選択され、スイッチ４に出力される。スイッチ４は、外部入力端子５に接続されている図示されていない装置からのデータも入力される。スイッチ４は、マイクロコンピュータ６の指示により、チューナ３からの出力、または、外部入力端子５からの出力のうち、どちらか一方を選択し、映像信号を映像信号処理部７に、音声信号を音声信号処理部８に、それぞれ出力する。
【００１４】
映像信号処理部７は、入力された映像信号にAGC（Automatic Gain Control）などの処理を施し、A/D（Analog/Digital）変換部９に出力する。同様に、音声信号処理部８は、入力された音声信号に所定の処理を施し、A/D変換部１０に出力する。A/D変換部９は、入力された映像信号を、A/D変換部１０は、入力された音声信号を、それぞれ、デジタル信号に変換する。A/D変換部９によりデジタル信号に変換された映像信号は、映像信号圧縮器１１に出力され、A/D変換部１０によりデジタル信号に変換された音声信号は、音声信号圧縮器１２に出力される。
【００１５】
映像信号圧縮器１１に入力された映像信号は、例えば、MPEG（Moving Picture Experts Group）２方式の圧縮方式が用いられて、圧縮され、メモリ１３に出力され、記憶される。同様に、音声信号圧縮器１２に入力された音声信号は、例えば、MPEGオーディオ方式の圧縮方式が用いられて、圧縮され、メモリ１４に出力され、記憶される。
【００１６】
メモリ１３に記憶された映像データと、メモリ１４に記憶された音声データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、バス１６を介して、記録用変調器１７に入力される。記録用変調器１７は、入力された映像データまたは音声データに、エラー訂正データの付加やEFM（Eight to Fourteen Modulation）変調などの処理を施し、ディスク１８に出力し、記録させる。ディスク１８は、内蔵型のハードディスク、着脱可能な光ディスクや磁気ディスクなどである。ディスク１８へのデータの記録は、マイクロコンピュータ６の指示により、ディスクコントローラ１９がディスク１８を制御することにより行われる。
【００１７】
ディスク１８に記録されているデータは、再生用復調器２０により、読み出され、EFM復調やエラー訂正などの処理が行われた後、バス１６を介して、映像データはメモリ２１に、音声データはメモリ２２に、それぞれ出力され、記憶される。メモリ２１に記憶された映像データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、映像信号伸張器２３に出力される。同様に、メモリ２２に記憶されている音声データは、読み出され、音声信号伸張器２４に出力される。
【００１８】
映像信号伸張部２３は、入力された圧縮されている映像データに伸張処理を施し、メモリ２５、動き検出回路２６、および映像処理回路２７に出力する。メモリ２５に記憶された映像信号は、動き検出回路２６と映像処理回路２７に出力される。メモリ２５は、動き検出および映像処理において必要なメモリであり、数フィールド分の映像信号を記憶することができる。
【００１９】
動き検出回路２６は、フィールド差分とフレーム差分を適応的に組み合わせ（詳細は後述する）、動き検出を行う。検出された動き検出結果の情報は、結果用メモリ２８に記憶される。映像処理回路２７は、結果用メモリ２８から読み出した動き検出結果の情報と複数のフィールドの映像データを用いて、例えば、フレーム静止画の生成や拡大縮小などの処理を行う。映像処理回路２７からの出力は、D/A変換部２９に出力され、アナログ信号に変換される。アナログ信号に変換された映像データは、映像信号処理部３０に出力される。映像信号処理部３０は、入力された映像信号にエンファンシスなどの処理を施し、コンポジット映像信号として、記録再生装置１に接続されているモニタ４１に出力する。
【００２０】
一方、音声信号伸張器２４に入力された音声データは、伸張処理が施されD/A変換部３１に出力される。D/A変換部３１に入力されたデジタル信号の音声データは、アナログ信号に変換され、音声信号処理部３２に出力され、増幅などの所定の処理が施され、接続されているスピーカ４２に出力される。
【００２１】
操作部３３は、リモートコントローラ、ボタン、ジョグダイヤルなどから構成され、ユーザが所望の処理を記録再生装置１に対して行うときに操作される。マイクロコンピュータ６は、操作部３３からの操作信号に従い、各部を制御する。
【００２２】
図２は、動き検出回路２６の詳細を示すブロック図である。メモリ２５は、３つのフィールドメモリ５１−１乃至５１−３から構成されている。映像信号伸張器２３から出力された映像データは、メモリ２５のフィールドメモリ５１−１に入力されるとともに、動き検出回路２６のシーンチェンジ検出回路６１と加算器６２−１にも入力される。フィールドメモリ５１−１に記憶された映像データは、フィールドメモリ５１−２に順次入力され、記憶され、フィールドメモリ５１−２に記憶された映像データは、フィールドメモリ５１−３に順次入力され、記憶される。
【００２３】
従って、時刻ｔにおいて入力された映像データが加算器６２−１に入力されるとき、フィールドメモリ５１−１から出力される映像データは、１フィールド前の時刻ｔ−１に入力された映像データであり、フィールドメモリ５１−２から出力される映像データは２フィールド前の映像データであり、フィールドメモリ５１−３から出力される映像データは、３フィールド前の映像データである。すなわち、１フィールド毎に、フィールドメモリ５１−１からフィールドメモリ５１−２へ、フィールドメモリ５１−２からフィールドメモリ５１−３へと映像データは、流れていく。実際に回路を構成する場合、画像データを移動させるのではなく、メモリ２５内に複数のバンクを設け、そのバンクを切り換えることにより行うようにしても良い。
【００２４】
以下の説明においては、時刻ｔにおいてフィールドメモリ５１−１から出力される映像データをフィールドｎとし、動き検出回路２６の加算器６２−１に入力される映像データをフィールドｎ＋１とし、フィールドメモリ５１−２から出力される映像データをフィールドｎ−１とし、フィールドメモリ５１−３から出力される映像データをフィールドｎ−２とする。
【００２５】
シーンチェンジ検出回路６１は、映像信号伸張器２３からのフィールドｎ＋１の映像データとフィールドメモリ５１−１からのフィールドｎの映像データとを用いて、シーンチェンジを検出する。シーンチェンジの検出は、フィールド差分を用いて行う方法やフィールド間のヒストグラムを比較する方法などにより行われる。判定された結果は、動領域判定回路６３に出力される。
【００２６】
加算器６２−１は、映像信号伸張器２３から出力されたフィールドｎ＋１の映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の映像データを減算し（以下、この減算された値をフレーム差分値ａとする）、動領域判定回路６３に出力する。
【００２７】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６２−２とディレイライン部６４−１にも出力される。ディレイライン部６４−１は、加算器６２−２に、フィールドメモリ５１−１から直接供給されるフィールドｎの所定のライン（ラインｍとする）の前のライン（ラインｍ−１とする）の映像データを加算器６２−２に供給する。加算器６２−２は、フィールドｎのラインｍの映像データとラインｍ−１の映像データとを加算し、その値を乗算器６５に出力する。乗算器６５は、入力された値に１／２を乗算し、その値を加算器６２−３に出力する。このようにして、フィールドｎに、フィールドｎ−１に存在するラインの映像データと同位置に存在するラインの映像データが生成される。
【００２８】
加算器６２−３は、フィールドｎの生成されたラインの映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の対応する位置に位置するラインの映像データを減算することにより、フィールド差分値を算出し、動領域判定回路６３に出力する。
【００２９】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６２−４にも入力される。加算器６２−４には、ディレイライン部６４−１から出力されたフィールドｎの映像データも入力される。加算器６２−４は、フィールドメモリ５１−１から出力されたフィールドｎのラインｍの映像データから、ディレイライン部６４−１から出力されたフィールドｎのラインｍ−１の映像データを減算することにより、ライン差分値を算出し、動領域判定回路６３に出力する。
【００３０】
フィールドメモリ５１−３から出力されたフィールドｎ−２の映像データは、加算器６２−５とディレイライン部６４−２に入力される。ディレイライン部６４−２は、ディレイライン部６４−１と同様に処理により、例えば、フィールドメモリ５１−３から加算器６２−４に供給されているラインの映像データがラインｍの映像データのとき、その前のラインｍ−１の映像データを加算器６２−６に供給する。
【００３１】
加算器６２−５は、フィールドメモリ５１−３から供給されるフィールドｎ−２の映像データから、フィールドメモリ５１−１から供給されるフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｃとする）を算出し、動領域判定回路６３に出力する。
【００３２】
加算器６２−６は、ディレイライン部６４−２から出力されたフィールドｎ−２の映像データから、ディレイライン６４−１から出力されたフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｂとする）を算出し、動領域判定回路６３に出力する。
【００３３】
動領域判定回路６３は、各部において算出された値（入力された値）、シーンチェンジ検出回路６１からシーンチェンジに関する情報、および、マイクロコンピュータ６からのモードに関する情報を用いて、動きがあると判断される領域を判断し、その結果を孤立領域除去回路６６に出力する。詳細は後述するが、動領域判定回路６３、孤立領域除去回路６６、動領域拡張回路６７、およびソフトスイッチング回路６８により、動き検出がされる。
【００３４】
図３は、動領域判定回路６３の詳細を示す図である。マイクロコンピュータ６（図１）からのモードに関する情報と、シーンチェンジ検出回路６１（図２）から出力されたシーンチェンジに関する情報は、判定情報選択回路８１に入力される。判定情報選択回路８１は、入力された情報に基づき、スイッチ８１−１乃至８１−４を制御する。加算器６２−３から出力されたフィールド差分値は、動領域判定回路６３の絶対値回路８３−１に入力され、絶対値が算出され、比較器８４−１に出力される。比較器８４−１には、スイッチ８５−１からの出力も入力される。比較器８４−１による比較結果は、スイッチ８１−１の端子Ａに出力される。
【００３５】
同様に、加算器６２−１から出力されたフレーム差分値ａは、絶対値回路８３−２を介して比較器８４−２に入力される。比較器８４−２には、スイッチ８５−２からの出力も入力される。比較器８４−２からの出力は、スイッチ８１−２の端子Ａに出力される。加算器６２−６から出力されたフレーム差分値ｂは、絶対値回路８３−３を介して比較器８４−３に入力される。比較器８４−３には、スイッチ８５−３からの出力も入力される。比較器８４−３からの出力は、スイッチ８１−３の端子Ａに出力される。さらに、加算器６２−５から出力されたフレーム差分値ｃは、絶対値回路８３−４を介して比較器８４−４に入力される。比較器８４−４には、スイッチ８５−４からの出力も入力される。比較器８４−４からの出力は、スイッチ８１−４の端子Ａに出力される。
【００３６】
加算器６２−４から出力されたライン差分値は、絶対値回路８３−５を介して比較器８４−５に入力される。比較器８４−５は、予め設定されたしきい値とライン差分値を比較し、その比較結果に基づいて、スイッチ８５−１乃至８５−４を制御する。
【００３７】
スイッチ８１−１乃至８１−４の、それぞれのＢ端子には、VCC（値として１）が供給されている。また、スイッチ８１−２乃至８１−４の、それぞれのＣ端子には、値として０が供給されている。スイッチ８１−２乃至８１−４からの出力は、OR回路８６に入力され、論理和が算出され、その結果が、AND回路８７に出力される。AND回路８７は、OR回路８６から出力された値と、スイッチ８１−１から出力された値との論理積を算出し、その結果を動領域判定の結果として出力する。
【００３８】
次に、図４のフローチャートを参照して、動き検出回路２６の動作について説明する。ステップＳ１において、フィールド差分が取られる。ここで、時刻ｔにおいて動き検出回路２６に入力されるフィールドｎ＋１、フィールドメモリ５１−１から出力されるフィールドｎ、フィールドメモリ５１−２から出力されるフィールドｎ−１、およびフィールドメモリ５１−３から出力されるフィールドｎ−２との擬似的な位置関係を図５に示す。
【００３９】
図５に示したように、映像信号はインターレースに入力されるため、隣あうフィールド間には、１ラインのずれが生じている。すなわち、フィールドｎ−２の一番上に位置するラインをラインｍとし、その次のラインをｍ＋１とすると、フィールドｎ−１の一番上に位置するラインｎは、ラインｍとラインｍ＋１の中間に位置することになる。図５に示したように、所定のフィールド内の所定のライン上に位置する画素を画素Ａ乃至Ｆとする。
【００４０】
図５の一部分を垂直方向に切り出して、時間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む平面で切り出し、その一部を取り出すと図６に示したようになる。このように、映像信号はインターレースに入力されるため、例えば、フィールドｎの画素Ｂと画素Ｃの間に、フィールドｎ−１の画素Ａが位置するという位置関係になる。従って、ステップＳ１において行われるフィールド差分を算出為には、例えば、図７に示すように、フィールドｎ−１とフィールドｎとのフィールド差分を算出する為には、フィールドｎの画素Ｂと画素Ｃとの間に、フィールドｎの画素Ａに対応する位置に位置する画素Ｇを補間（生成）する必要がある。すなわち、画素Ｂと画素Ｃとを足し合わし、その足し合わされた値の半分（平均）の値が画素Ｇの画素データとなる。
【００４１】
図２に示した動き検出回路２６において、フィールドメモリ５１−１に記憶されてるデータがフィールドｎのものであるとき、フィールドメモリ５１−２に記憶されているデータは、フィールドｎ−１のものである。そのようなときに、フィールドメモリ５１−１から画素Ｃのデータが出力されると、ディレイライン部６４−１からは画素Ｂのデータが出力される。そのため、加算器６２−２では、画素Ｂのデータと画素Ｃのデータとが加算されることになる。その加算されたデータは、乗算器６５に入力され、１／２が乗算されることにより、平均値が算出され、加算器６２−３に出力される。加算器６２−３には、フィールドメモリ５１−２から出力されたフィールドｎ−１の画素Ａのデータも入力され、その入力された画素Ａのデータを、乗算器６５から出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデータ）から減算することにより、フィールド差分値が算出される。
【００４２】
このように、各フィールド内に存在する全ての画素に対して、同様の処理が施されることにより、フィールド差分値が算出されると、ステップＳ２に進み、フレーム差分値が算出される。フレーム差分値は、同じライン配列をしているフィールド同士の画素データが用いられて算出される。すなわち、図８に示したように、フィールドｎ−２とフィールドｎ、フィールドｎ−１とフィールドｎ＋１との間で、それぞれフレーム差分値が算出される。例えば、図２に示した動き検出回路２６において、フィールドｎ＋１の画素Ｄのデータが入力されたとき、フィールドメモリ５１−２からフィールドｎ−１の画素Ａのデータが出力される。その結果、加算器６２−１には、画素Ａのデータと画素Ｄのデータとが入力される。加算器６２−１は、画素Ａのデータから画素Ｄのデータを減算することにより、フレーム差分値ａを算出する。
【００４３】
本実施の形態においては、１つのフレーム差分値だけではなく、そのフレーム差分値を算出した画素（注目画素）があるラインの、上下に位置するライン内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，Ｆ）も用いられて、さらにフレーム差分値が算出され、後述する動画領域の判定に用いられる。上述したように、画素Ａと画素Ｄとを用いてフレーム差分値が算出される処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆとの間でのフレーム差分値が、それぞれ算出される。
【００４４】
上述したように、フィールドメモリ５１−１からフィールドｎの画素Ｃのデータが出力されているとき、ディレイライン部６４−１からは、画素Ｂのデータが出力されているので、その画素Ｂのデータを用いる。また、そのとき、フィールドメモリ５１−３からは、画素Ｃに対応する位置に位置する、フィールドｎ−２の画素Ｆのデータが出力される。さらに、ディレイライン部６４−２からは、画素Ｅのデータが出力される。画素Ｂと画素Ｅからフレーム差分値ｂ、画素Ｃと画素Ｆとからフレーム差分値ｃが、それぞれ算出される。
【００４５】
このようにしてステップＳ２において、フレーム差分値が算出されると、ステップＳ３において、水平エッジが検出される。水平エッジの検出は、ライン間の差分値を取ることにより行われ、１つのフィールド内に存在する上下に隣り合う画素データが用いられる。すなわち、図９に示したように、フィールドｎにおけるエッジを検出する場合、例えば、画素Ｂと画素Ｃとの差分値が取られることにより行われる。図２に示した動き検出回路２６においては、フィールドメモリ５１−１から出力されたフィールドｎの画素Ｃのデータと、その画素Ｃのデータに対応するデータとしてディレイライン部６４−１から出力されたフィールドｎの画素Ｂのデータとが、加算器６２−４に入力され、画素Ｃのデータから画素Ｂのデータが減算されることにより、ライン差分値が算出される。
【００４６】
このようにして、ライン差分値が算出されると、ステップＳ４に進み、ステップＳ１乃至Ｓ３において算出された差分値が用いられて、動領域判定処理が、動領域判定回路６３により行われる。図１０は、ステップＳ４の動領域判定処理の詳細を示すフローチャートである。まず、ステップＳ１１において、動領域判定回路６３のスイッチ８５−１乃至８５−４（図３）の接続処理が行われる。図１１は、スイッチ８５の接続処理の詳細を示すフローチャートである。
【００４７】
ステップＳ２１において、比較器８４−５において、絶対値回路８３−５により絶対値が算出されたライン差分値が、Edge_th1よりも小さいか否かが判断される。ライン差分値が、Edge_th1よりも小さいと判断された場合、ステップＳ２２に進み、スイッチ８５−１乃至８５−４が、それぞれ、端子Ａと接続される。スイッチ８５−１は、端子Ａと接続されることにより、フィールド差分値のしきい値Field_th１を比較器８３−１に供給する。同様に、スイッチ８５−２が接続されることにより、フレーム差分値ａのしきい値Frame_th1Aが比較器８４−２に、スイッチ８５−３が接続されることにより、フレーム差分値ｂのしきい値Frame_th1Bが比較器８４−３に、スイッチ８５−４が接続されることにより、フレーム差分値ｃのしきい値Frame_th1Cが比較器８４−４に、それぞれ供給される。
【００４８】
一方、ステップＳ２１において、ライン差分値はEdge_th1よりも小さくはないと判断された場合、ステップＳ２３に進み、ライン差分値が、Edge_th1より大きく、かつ、Edge_th2より小さいか否かが判断される。ライン差分値は、Edge_th1より大きく、かつ、Edge_th2より小さいと判断された場合、ステップＳ２４に進みスイッチ８５−１乃至８５−４が、それぞれ端子Ｂと接続される。スイッチ８５−１乃至８５−４は、それぞれ端子Ｂと接続されることにより、所定のしきい値を、対応する比較器８４−１乃至８４−４に供給する。
【００４９】
ステップＳ２３において、ライン差分値がEdge_th2よりも大きいと判断された場合、ステップＳ２５に進みスイッチ８５−１乃至８５−４は、それぞれ端子Ｃと接続される。スイッチ８５−１乃至８５−４は、それぞれ端子Ｃと接続されることにより、所定のしきい値を、対応する比較器８４−１乃至８４−４に供給する。
【００５０】
このようにして、スイッチ８５−１乃至８５−４は、ライン差分値に応じて、端子Ａ乃至Ｃのうちの、いづれかの端子と接続される。比較器８４−１は、絶対値が算出されたフィールド差分値と、スイッチ８５−１から供給されるしきい値とを比較し、その比較結果が、フィールド差分値の方がしきい値よりも大きい場合、動領域候補と見なし、”１”をスイッチ８１−１の端子Ａに出力し、フィールド差分値の方がしきい値よりも小さい場合、静止領域候補と見なし、”０”をスイッチ８１−１の端子Ａに出力する。
【００５１】
比較器８４−２乃至８４−４も同様に、それぞれ入力されたフレーム差分値ａ乃至ｃを、対応するスイッチ８５−１乃至８５−４から供給されたしきい値と比較し、その比較結果に応じた値として、０または１を、対応するスイッチ８１−２乃至８１−４の端子Ａに出力する。
【００５２】
このようにステップＳ１１（図１０）において、スイッチ８５の接続処理が行われ、それぞれの差分値としきい値との比較結果が出力されると、ステップＳ１２において、スイッチ８１−１乃至８１−４の接続処理が行われる。図１２は、ステップＳ１２のスイッチ８１の接続処理の詳細を説明するフローチャートである。
【００５３】
ステップＳ３１において、動領域判定回路６３の判定情報選択回路８１は、フィールド差分モードであるか否かを判断する。判定情報選択回路８１には、機器モードとシーンチェンジ検出結果が入力される。機器モードとは、記録再生装置１のモード情報である。例えば、記録再生装置１が、DVD（Digital Video Disk）プレーヤである場合、サーチ時などに有効な映像データが間欠的にしか入力されないときがある。本実施の形態においては、通常再生時では、連続する４フィールド分の映像情報を使用して処理を行っている。仮に、連続する２枚のフィールドが間欠的に入力されるような場合、連続する２フィールド分の映像情報だけを使用して処理を行うように、処理モードを変更しなくてはならない。このような場合、フィールド差分情報だけを用いて動領域の判定を行わなくてはならない。このようなモードのことを、フィールド差分モードと称する。
【００５４】
ステップＳ３１において、判定情報選択回路８１がフィールド差分モードであると判断した場合、ステップＳ３２に進む。ステップＳ３２において、スイッチ８１−１は端子Ａに、スイッチ８１−２乃至８１−４は端子Ｂに、それぞれ接続される。スイッチ８１−１乃至８１−４の端子Ａには、それぞれ対応する比較器８４−１乃至８４−４から出力された”１”または”０”が供給されており、端子Ｂには、”１”が供給されている。また、スイッチ８１−２乃至８２−４の端子Ｃには、”０”が供給されている。
【００５５】
一方、ステップＳ３１において、判定情報選択回路８１により、フィールド差分モードではないと判断された場合、ステップＳ３３に進み、シーンチェンジありか否かが判断される。シーンチェンジ情報は、シーンチェンジ検出回路６１から供給されるようにするほかに、予め、検出された情報を記録媒体などに記録し、必要に応じて読み出すようにしても良い。
【００５６】
ステップＳ３３において、シーンチェンジがあると判断された場合、ステップＳ３４以下の処理で、どのフィールド間で、シーンチェンジがあるのかが判断され、その判断結果に応じた処理が実行される。まず、ステップＳ３４において、シーンチェンジは、フィールドｎ＋１とフィールドｎの間であるか否かが判断される。シーンチェンジが、フィールドｎ＋１とフィールドｎの間であると判断された場合、ステップＳ３５に進む。図１３に示すように、シーンチェンジがフィールドｎとフィールドｎ＋１の間にある場合、フィールドｎ＋１の画素Ｄのデータを用いて算出された差分値、すなわち、フレーム差分値ａからの情報は、動領域の判定に用いないようにする。換言すれば、フィールド差分値、フレーム差分値ｂ，ｃから得られる情報のみで、動領域の判定を行うようにする。
【００５７】
従って、ステップＳ３５において、スイッチ８１−１が端子Ａ（フィールド差分値からの比較結果）に、スイッチ８１−２が端子Ｃ（フレーム差分値ａからの情報は用いないため、”０”）に、スイッチ８１−３，８１−４が端子Ａ（フレーム差分値ｂ，ｃからの比較結果）に、それぞれ接続される。
【００５８】
ステップＳ３４において、シーンチェンジがフィールドｎ＋１とフィールドｎの間ではないと判断された場合、ステップＳ３６において、シーンチェンジがフィールドｎとフィールドｎ−１の間にあるか否かが判断される。図１４に示すように、シーンチェンジがフィールドｎとフィールドｎ−１の間にあると判断された場合、ステップＳ３７に進む。このように、シーンチェンジがフィールドｎとフィールドｎ−１の間にある場合、フィールドｎとフィールドｎ−１の間には、相関がないものと見なし、画面全体を動領域とする。従って、フィールド差分値およびフレーム差分値ａ乃至ｃから得られる比較結果に関係なしに、動領域と判定されるように、スイッチ８１−１乃至８１−４が、それぞれ端子Ｂと接続され、OR回路８６およびAND回路８７に”１”が供給されるようにする。
【００５９】
ステップＳ３６において、シーンチェンジがフィールドｎとフィールドｎ−１の間にはないと判断された場合、図１５に示すように、シーンチェンジがフィールドｎ−１とフィールドｎ−２の間にあることになる。そこで、ステップＳ３８に進み、スイッチ８１−１，８１−２を端子Ａに、スイッチ８１−３，８１−４を端子Ｃに、それぞれ接続する。このようにするのは、フィールドｎ−２の画素Ｅ，Ｆから得られる情報を用いないようにするためである。すなわち、画素Ｅ，Ｆから算出されるフレーム差分値ｂとフレーム差分値ｃとから得られる比較結果（比較器８４−３，８４−４から出力される値）を用いないようにする。そのため、スイッチ８１−３，８１−４は、それぞれ端子Ｃと接続され、OR回路８６には”０”が供給される。
【００６０】
シーンチェンジがある場合は、上述したように、シーンチェンジの存在する位置により、動領域を判定するために用いる差分値を選択するようにしたが、ステップＳ３３において、シーンチェンジが存在しないと判断された場合は、図６に示したような状態なので、画素Ａ乃至Ｆから得られる全ての情報を用いて動領域の判定を行う。すなわち、ステップＳ３９において、スイッチ８１−１乃至８１−４が、それぞれ端子Ａと接続されることにより、画素Ａ乃至Ｆを用いて算出されたフィールド差分値およびフレーム差分値ａ乃至ｃとしきい値との比較により得られた比較結果が用いられて動領域の判定が行なわれる。
【００６１】
このようにして、ステップＳ１２（図１０）において、スイッチ８１−１乃至８１−４が、端子Ａ、端子Ｂ、または端子Ｃのうちのいずれかの端子と接続されると、ステップ１３に進む。ステップＳ１３において、OR回路８６とAND回路８７は、入力されたデータを用いて、それぞれ論理和と論理積を算出する。OR回路８６は、スイッチ８１−２乃至８１−４から供給されるデータから論理和を算出するわけだが、これは、３つのフレーム差分値ａ乃至ｃから得られる結果が全て静止である場合のみ、フレーム差分情報による判定結果が静止であるというデータを出力させるために設けられている。
【００６２】
AND回路８７は、フィールド差分値から得られた動領域の結果（スイッチ８１−１から出力された結果）と、フレーム差分値から得られた動領域の結果（OR回路８６から出力された結果）との論理積を算出することにより、動領域判定回路６３における最終的な動領域の判定結果を出力する。フィールド差分値から得られた動領域の結果とフレーム差分値から得られた動領域の結果、両方とも動領域である（”１”）場合のみ、動領域判定結果として、動領域であることを示す”１”が出力される。
【００６３】
このように、シーンチェンジ情報などの映像特徴情報、水平エッジ情報、機器のモード情報などにより、使用するフィールド差分情報とフレーム差分情報を適応的に切り換えながら、動領域を検出することにより、動き検出の精度を向上させることが可能となる。
【００６４】
ステップＳ４（図４）において、動領域判定処理が終了されると、ステップＳ５に進み、孤立領域除去回路６６により、孤立領域除去が行われる。ここで、孤立領域とは、静止領域であると判断された領域内に存在する、動領域と判断された領域のことをいう。図１６に示すように、画素ａ乃至ｄが動領域であると判断された場合でも、それらの画素を囲む画素が、静止領域であると判断された場合、画素ａ乃至ｄは、全て静止領域に転換され、静止領域として取り扱われる。ただし、このように、動領域が静止領域に転換されるのは、その動領域が所定の大きさの範囲内である場合に限られる。この孤立領域除去の処理は、ノイズによる影響を軽減する、換言すれば、ノイズにより誤って動領域と判断された領域をなくすために行われる。
【００６５】
ステップＳ５において、孤立領域除去の処理が終了されると、ステップＳ６に進み、動領域拡張回路６７により、動領域の拡張処理が行われる。動領域の拡張は、動領域と判断された領域の水平方向の両端に位置する所定数の画素を、静止領域から動領域に転換させる処理である。ステップＳ６における動領域拡張処理が終了されたら、ステップＳ７において、ソフトスイッチング回路６８により、ソフトスイッチング処理が行われる。ソフトスイッチング処理は、動領域と静止領域との境界部分を滑らかに変化する係数を持たせることを目的としている。これは、動き検出回路２６による結果を用いて、映像処理回路２７が映像信号を生成する際に、検出された動き検出結果を２枚のフィールド画像のミックス比率として使用するため、緩やかに係数値を変化させた方がよいからである。
【００６６】
ここで、図１７を参照して、映像処理回路２７の行う映像処理について説明する。フィールドｎとフィールドｎ−１から動きぶれのないフレーム静止画を作成する際、例えば、画素Ｗのデータは、隣接する画素Ｘ，Ｙ，Ｚのデータを用いて、次式（１）に従って算出される。
【００６７】
Ｗ＝（（Ｙ＋Ｚ）／２）×ｍｄ＋Ｘ×（１−ｍｄ） ・・・（１）
式（１）において、Ｘ，Ｙ，Ｚ，Ｗは、それぞれ、画素Ｘ，Ｙ，Ｚ，Ｗのデータであり、ｍｄは動き検出係数である。また、動き検出係数ｍｄは、０以上、１以下の数値であり、０のときは静止領域、１のときは動領域を表す。
【００６８】
このように画素Ｗのデータは算出されるため、動き検出係数ｍｄの値は、０または１の、どちらか一方の値しか持たないものではなく、緩やかに変化させた方が、動領域と静止領域との境界がきれいに変化する画像が得られる。
【００６９】
ステップＳ７において、動領域と静止領域との間でのソフトスイッチング処理が終了されると、その結果が、動き検出の検出結果として、結果用メモリ２８（図１）に出力され、記憶される。結果用メモリ２８に記憶された動き検出結果は、上述したように、映像処理回路２７が映像信号を生成する際に用いられる。
【００７０】
ここで、ステップＳ５乃至Ｓ７の処理について、図１８を参照してさらに説明する。図１８（Ａ）は、ステップＳ５において、孤立領域が除去された後のライン上の画素を示している。４つの動領域の画素が中央に位置し、静止領域の画素が、その動領域の両端に位置している。このように、動領域と静止領域とが存在しているときに、ステップＳ６において、動領域の拡張が行われると、図１８（Ｂ）に示したようになる。図１８（Ｂ）に示した状態では、動領域の４つの画素の両端に位置する２つの静止領域の画素が、新たに動領域として転換されている。図１８（Ｂ）に示した例では、動領域に転換された画素数は２であるが、それ以外の画素数でも、勿論良い。
【００７１】
図１８（Ｂ）に示した状態から、さらに、ステップＳ７において、ソフトスイッチング処理が行われると、図１８（Ｃ）に示したようになる。すなわち、動領域拡張処理により拡張された動領域を含む動領域内の画素の動き検出係数は、全て１であり、その領域と最も隣接する静止領域の画素から順に、動き検出係数が０．７５，０．５，０，２５というように、段階的に変化している。この段階的に動き係数が変化する部分が、ソフトスイッチング処理による領域である。ソフトスイッチング領域以外の静止領域の動き係数は、全て０である。ソフトスイッチングによる動き検出係数は、さらに細かく段階的な数値を設定するようにしても良い。
【００７２】
上述した実施の形態は、一例であり、例えば、動き検出回路２６に入力される映像信号をLPF（Low Pass Filter）をかけて、ノイズを軽減させたり、または、動領域判定回路６３に入力されるフィールド差分値やフレーム差分値にLPFをかけてノイズを軽減させるようにしても良い。
【００７３】
動領域判定回路６３の判定情報選択回路８１に用いられる情報は、機器モードとシーンチェンジ検出結果に限らず、他の情報を用いるようにしても良い。また、上述した実施の形態においては、フレーム差分値ａ乃至ｃを用いたが、さらに、他の差分値を用いるようにしても良い。例えば、図１９に示したように、画素Ｈと画素Ｊ、画素Ｉと画素Ｋを、それぞれ用いて、フレーム差分値を算出し、動き検出に用いるようにしても良い。
【００７４】
さらに、図３に示した動領域判定回路６３では、比較器８４−５において、２つのしきい値を用い、比較器８４−１乃至８４−４においては、それぞれ３つのしきい値を用いて、入力された差分値を比較するようにしたが、さらに多くのしきい値を用いて、比較を行うようにしても良い。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアとしての記録再生装置１に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどにインストールされる。
【００７６】
次に、図２０を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００７７】
プログラムは、図２０（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【００７８】
あるいはまた、プログラムは、図２０（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM（Compact Disk-Read Only Memory）１１２、ＭＯ（Magneto-Optical）１１３、DVD（Digital Versatile Disk）１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウェアとして提供することができる。
【００７９】
さらに、プログラムは、図２０（Ｃ）に示すように、ダウンロードサイト１２１から、デジタル衛星放送用の人工衛星１２２を介してパーソナルコンピュータ１２３に無線で転送したり、ローカルエリアネットワーク、インターネットといったネットワーク１３１を介して、パーソナルコンピュータ１２３に有線で転送し、パーソナルコンピュータ１２３において、内蔵するハードディスクなどに格納させることができる。
【００８０】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を有するものである。
【００８１】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８２】
以上の如く、本発明によれば、動き検出の精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成を示すブロック図である。
【図２】図１の動き検出回路２６の内部構成を示すブロック図である。
【図３】図２の動領域判定回路６３の内部構成を示すブロック図である。
【図４】動き検出回路２６の動作を説明するフローチャートである。
【図５】フィールドと画素との関係を説明する図である。
【図６】時間的に示した各画素の位置関係を説明する図である。
【図７】フィールド差分を説明する図である。
【図８】フレーム差分を説明する図である。
【図９】ライン差分を説明する図である。
【図１０】図４のステップＳ４の処理の詳細を説明するフローチャートである。
【図１１】図１０のステップＳ１１の処理の詳細を説明するフローチャートである。
【図１２】図１０のステップＳ１２の処理の詳細を説明するフローチャートである。
【図１３】シーンチェンジがあった場合の処理を説明する図である。
【図１４】シーンチェンジがあった場合の処理を説明する図である。
【図１５】シーンチェンジがあった場合の処理を説明する図である。
【図１６】孤立領域除去の処理を説明する図である。
【図１７】フレーム静止画作成処理について説明する図である。
【図１８】図４のステップＳ５乃至Ｓ７の処理を説明する図である。
【図１９】フレーム差分について説明する図である。
【図２０】媒体を説明する図である。
【符号の説明】
１ 記録再生装置， ２６ 動き検出回路， ５１ フィールドメモリ， ６１ シーンチェンジ検出回路， ６２ 加算器， ６３ 動領域判定回路， ６４ ディレイライン部， ６６ 孤立領域除去回路， ６７ 動領域拡張回路， ６８ ソフトスイッチング回路
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、フィールド差分の情報、フレーム差分の情報、水平エッジ情報、および画像の特徴情報を用いて動き検出を行う画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
入力された画像データから動きを検出する手法として、フィールド間での差分を用いる方法と、フレーム間での差分を用いる方法とがあり、共に、簡単な回路構成で実現できることから、一般的に用いられている。
【０００３】
【発明が解決しようとする課題】
画像データがインターレースに入力される場合、フィールド差分だけを用いた場合、連続する２枚のフィールドには、上下方向に１ライン分のずれがある。従って、差分を算出するために、一方のフィールドは、隣合うラインから、その間に位置する画素を補間により算出し上述した１ライン分の補正を行った上で、他方のフィールドとの差分を算出する。このように、一方のフィールドからは、補間された画素データを用いてフィールド差分値を算出することになり、その補間のために、画像にぼけが生じてしまい、その結果、動き検出の精度が落ちてしまうといった課題があった。
【０００４】
また、動き検出に、フレーム間での差分を用いる方法を適用した場合、差分を算出する画像の間には、２フィールドの開きがある。従って、フレーム差分を算出する２枚の画像が一致している場合でも、その２枚の画像の間にある画像も、同様に一致しているとは限らず、このことが動き検出を行う上で、検出漏れの原因となるという課題があった。
【０００５】
ところで、動き検出における誤検出は、特に、水平方向のエッジ部分で生じることが多い。エッジ部分は、コントラストの差が大きいため、対象物のわずかな振動や、動き検出を行う回路によるわずかなジッタなどによる影響を大きく受けてしまい、本来動いていないと判断されるべき画像に対しても、動き検出の結果が、めまぐるしく変化してしまう可能性があるといった課題もあった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、フィールド差分の情報、フレーム差分の情報、水平エッジ情報、および映像の特徴情報も用いることにより、動き検出の精度を向上させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、画像信号を記憶する記憶手段と、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出手段と、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出手段と、前記注目している画素における前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フレーム差分値手段により算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出手段と、前記検出手段で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換手段とを備え、前記検出手段は、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持手段と、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換え手段と、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換え手段により切り換えられたしきい値と比較する比較手段と、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較手段による比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較手段による比較結果と予め設定されている所定の値を選択して、出力する出力手段とを備え、前記出力手段により出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力手段により出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する。
【００１０】
本発明の画像処理方法は、画像信号を記憶手段に記憶させる記憶ステップと、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップとを備え、前記検出ステップは、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップとを備え、前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する。
【００１１】
本発明の記録媒体は、画像信号を記憶手段に記憶させる記憶ステップと、前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップとを備え、前記検出ステップは、前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップとを備え、前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する処理をコンピュータに実行させるためのプログラムを記録している。
【００１２】
本発明の画像処理装置、画像処理方法、および記録媒体においては、記憶されている画像信号から、注目している画素のフィールド差分値が算出され、記憶されている画像信号から、注目している画素のフレーム差分値と、注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値が算出され、注目している画素における算出されたフィールド差分値と、算出された３つのフレーム差分値が用いられて画像信号に基づく画像の動領域が検出され、検出された動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域が、静止領域に転換される。またフィールド差分値と３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値が保持され、注目している画素に対して下側に隣接する画素との差分値が算出され、その差分値と所定の閾値が比較され、その比較結果に基づいて、それぞれの差分値毎にしきい値が一括して切り換えられ、フィールド差分値と３つのフレーム差分値が、それぞれ切り換えられたしきい値と比較され、注目している画素を含むフィールドとそのフィールドの前後のフィールドが用いられて、それらのフィールド間でシーンチェンジがあったか否かが判断され、シーンチェンジがないと判断されたときには、比較結果が出力され、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、比較結果と予め設定されている所定の値が選択されて、出力され、出力された３つのフレーム差分値に基づく３つの出力の論理積が算出され、その論理積の結果と、出力されたフィールド差分値に基づく出力との論理和が算出されることにより、画像信号に基づく画像の動領域が検出される。
【００１３】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置１の一実施の形態の構成を示すブロック図である。アンテナ２により受信された番組は、チューナ３に出力され、ユーザが所望とする番組の信号のみ選択され、スイッチ４に出力される。スイッチ４は、外部入力端子５に接続されている図示されていない装置からのデータも入力される。スイッチ４は、マイクロコンピュータ６の指示により、チューナ３からの出力、または、外部入力端子５からの出力のうち、どちらか一方を選択し、映像信号を映像信号処理部７に、音声信号を音声信号処理部８に、それぞれ出力する。
【００１４】
映像信号処理部７は、入力された映像信号にAGC（Automatic Gain Control）などの処理を施し、A/D（Analog/Digital）変換部９に出力する。同様に、音声信号処理部８は、入力された音声信号に所定の処理を施し、A/D変換部１０に出力する。A/D変換部９は、入力された映像信号を、A/D変換部１０は、入力された音声信号を、それぞれ、デジタル信号に変換する。A/D変換部９によりデジタル信号に変換された映像信号は、映像信号圧縮器１１に出力され、A/D変換部１０によりデジタル信号に変換された音声信号は、音声信号圧縮器１２に出力される。
【００１５】
映像信号圧縮器１１に入力された映像信号は、例えば、MPEG（Moving Picture Experts Group）２方式の圧縮方式が用いられて、圧縮され、メモリ１３に出力され、記憶される。同様に、音声信号圧縮器１２に入力された音声信号は、例えば、MPEGオーディオ方式の圧縮方式が用いられて、圧縮され、メモリ１４に出力され、記憶される。
【００１６】
メモリ１３に記憶された映像データと、メモリ１４に記憶された音声データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、バス１６を介して、記録用変調器１７に入力される。記録用変調器１７は、入力された映像データまたは音声データに、エラー訂正データの付加やEFM（Eight to Fourteen Modulation）変調などの処理を施し、ディスク１８に出力し、記録させる。ディスク１８は、内蔵型のハードディスク、着脱可能な光ディスクや磁気ディスクなどである。ディスク１８へのデータの記録は、マイクロコンピュータ６の指示により、ディスクコントローラ１９がディスク１８を制御することにより行われる。
【００１７】
ディスク１８に記録されているデータは、再生用復調器２０により、読み出され、EFM復調やエラー訂正などの処理が行われた後、バス１６を介して、映像データはメモリ２１に、音声データはメモリ２２に、それぞれ出力され、記憶される。メモリ２１に記憶された映像データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、映像信号伸張器２３に出力される。同様に、メモリ２２に記憶されている音声データは、読み出され、音声信号伸張器２４に出力される。
【００１８】
映像信号伸張部２３は、入力された圧縮されている映像データに伸張処理を施し、メモリ２５、動き検出回路２６、および映像処理回路２７に出力する。メモリ２５に記憶された映像信号は、動き検出回路２６と映像処理回路２７に出力される。メモリ２５は、動き検出および映像処理において必要なメモリであり、数フィールド分の映像信号を記憶することができる。
【００１９】
動き検出回路２６は、フィールド差分とフレーム差分を適応的に組み合わせ（詳細は後述する）、動き検出を行う。検出された動き検出結果の情報は、結果用メモリ２８に記憶される。映像処理回路２７は、結果用メモリ２８から読み出した動き検出結果の情報と複数のフィールドの映像データを用いて、例えば、フレーム静止画の生成や拡大縮小などの処理を行う。映像処理回路２７からの出力は、D/A変換部２９に出力され、アナログ信号に変換される。アナログ信号に変換された映像データは、映像信号処理部３０に出力される。映像信号処理部３０は、入力された映像信号にエンファンシスなどの処理を施し、コンポジット映像信号として、記録再生装置１に接続されているモニタ４１に出力する。
【００２０】
一方、音声信号伸張器２４に入力された音声データは、伸張処理が施されD/A変換部３１に出力される。D/A変換部３１に入力されたデジタル信号の音声データは、アナログ信号に変換され、音声信号処理部３２に出力され、増幅などの所定の処理が施され、接続されているスピーカ４２に出力される。
【００２１】
操作部３３は、リモートコントローラ、ボタン、ジョグダイヤルなどから構成され、ユーザが所望の処理を記録再生装置１に対して行うときに操作される。マイクロコンピュータ６は、操作部３３からの操作信号に従い、各部を制御する。
【００２２】
図２は、動き検出回路２６の詳細を示すブロック図である。メモリ２５は、３つのフィールドメモリ５１−１乃至５１−３から構成されている。映像信号伸張器２３から出力された映像データは、メモリ２５のフィールドメモリ５１−１に入力されるとともに、動き検出回路２６のシーンチェンジ検出回路６１と加算器６２−１にも入力される。フィールドメモリ５１−１に記憶された映像データは、フィールドメモリ５１−２に順次入力され、記憶され、フィールドメモリ５１−２に記憶された映像データは、フィールドメモリ５１−３に順次入力され、記憶される。
【００２３】
従って、時刻ｔにおいて入力された映像データが加算器６２−１に入力されるとき、フィールドメモリ５１−１から出力される映像データは、１フィールド前の時刻ｔ−１に入力された映像データであり、フィールドメモリ５１−２から出力される映像データは２フィールド前の映像データであり、フィールドメモリ５１−３から出力される映像データは、３フィールド前の映像データである。すなわち、１フィールド毎に、フィールドメモリ５１−１からフィールドメモリ５１−２へ、フィールドメモリ５１−２からフィールドメモリ５１−３へと映像データは、流れていく。実際に回路を構成する場合、画像データを移動させるのではなく、メモリ２５内に複数のバンクを設け、そのバンクを切り換えることにより行うようにしても良い。
【００２４】
以下の説明においては、時刻ｔにおいてフィールドメモリ５１−１から出力される映像データをフィールドｎとし、動き検出回路２６の加算器６２−１に入力される映像データをフィールドｎ＋１とし、フィールドメモリ５１−２から出力される映像データをフィールドｎ−１とし、フィールドメモリ５１−３から出力される映像データをフィールドｎ−２とする。
【００２５】
シーンチェンジ検出回路６１は、映像信号伸張器２３からのフィールドｎ＋１の映像データとフィールドメモリ５１−１からのフィールドｎの映像データとを用いて、シーンチェンジを検出する。シーンチェンジの検出は、フィールド差分を用いて行う方法やフィールド間のヒストグラムを比較する方法などにより行われる。判定された結果は、動領域判定回路６３に出力される。
【００２６】
加算器６２−１は、映像信号伸張器２３から出力されたフィールドｎ＋１の映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の映像データを減算し（以下、この減算された値をフレーム差分値ａとする）、動領域判定回路６３に出力する。
【００２７】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６２−２とディレイライン部６４−１にも出力される。ディレイライン部６４−１は、加算器６２−２に、フィールドメモリ５１−１から直接供給されるフィールドｎの所定のライン（ラインｍとする）の前のライン（ラインｍ−１とする）の映像データを加算器６２−２に供給する。加算器６２−２は、フィールドｎのラインｍの映像データとラインｍ−１の映像データとを加算し、その値を乗算器６５に出力する。乗算器６５は、入力された値に１／２を乗算し、その値を加算器６２−３に出力する。このようにして、フィールドｎに、フィールドｎ−１に存在するラインの映像データと同位置に存在するラインの映像データが生成される。
【００２８】
加算器６２−３は、フィールドｎの生成されたラインの映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の対応する位置に位置するラインの映像データを減算することにより、フィールド差分値を算出し、動領域判定回路６３に出力する。
【００２９】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６２−４にも入力される。加算器６２−４には、ディレイライン部６４−１から出力されたフィールドｎの映像データも入力される。加算器６２−４は、フィールドメモリ５１−１から出力されたフィールドｎのラインｍの映像データから、ディレイライン部６４−１から出力されたフィールドｎのラインｍ−１の映像データを減算することにより、ライン差分値を算出し、動領域判定回路６３に出力する。
【００３０】
フィールドメモリ５１−３から出力されたフィールドｎ−２の映像データは、加算器６２−５とディレイライン部６４−２に入力される。ディレイライン部６４−２は、ディレイライン部６４−１と同様に処理により、例えば、フィールドメモリ５１−３から加算器６２−４に供給されているラインの映像データがラインｍの映像データのとき、その前のラインｍ−１の映像データを加算器６２−６に供給する。
【００３１】
加算器６２−５は、フィールドメモリ５１−３から供給されるフィールドｎ−２の映像データから、フィールドメモリ５１−１から供給されるフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｃとする）を算出し、動領域判定回路６３に出力する。
【００３２】
加算器６２−６は、ディレイライン部６４−２から出力されたフィールドｎ−２の映像データから、ディレイライン６４−１から出力されたフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｂとする）を算出し、動領域判定回路６３に出力する。
【００３３】
動領域判定回路６３は、各部において算出された値（入力された値）、シーンチェンジ検出回路６１からシーンチェンジに関する情報、および、マイクロコンピュータ６からのモードに関する情報を用いて、動きがあると判断される領域を判断し、その結果を孤立領域除去回路６６に出力する。詳細は後述するが、動領域判定回路６３、孤立領域除去回路６６、動領域拡張回路６７、およびソフトスイッチング回路６８により、動き検出がされる。
【００３４】
図３は、動領域判定回路６３の詳細を示す図である。マイクロコンピュータ６（図１）からのモードに関する情報と、シーンチェンジ検出回路６１（図２）から出力されたシーンチェンジに関する情報は、判定情報選択回路８１に入力される。判定情報選択回路８１は、入力された情報に基づき、スイッチ８１−１乃至８１−４を制御する。加算器６２−３から出力されたフィールド差分値は、動領域判定回路６３の絶対値回路８３−１に入力され、絶対値が算出され、比較器８４−１に出力される。比較器８４−１には、スイッチ８５−１からの出力も入力される。比較器８４−１による比較結果は、スイッチ８１−１の端子Ａに出力される。
【００３５】
同様に、加算器６２−１から出力されたフレーム差分値ａは、絶対値回路８３−２を介して比較器８４−２に入力される。比較器８４−２には、スイッチ８５−２からの出力も入力される。比較器８４−２からの出力は、スイッチ８１−２の端子Ａに出力される。加算器６２−６から出力されたフレーム差分値ｂは、絶対値回路８３−３を介して比較器８４−３に入力される。比較器８４−３には、スイッチ８５−３からの出力も入力される。比較器８４−３からの出力は、スイッチ８１−３の端子Ａに出力される。さらに、加算器６２−５から出力されたフレーム差分値ｃは、絶対値回路８３−４を介して比較器８４−４に入力される。比較器８４−４には、スイッチ８５−４からの出力も入力される。比較器８４−４からの出力は、スイッチ８１−４の端子Ａに出力される。
【００３６】
加算器６２−４から出力されたライン差分値は、絶対値回路８３−５を介して比較器８４−５に入力される。比較器８４−５は、予め設定されたしきい値とライン差分値を比較し、その比較結果に基づいて、スイッチ８５−１乃至８５−４を制御する。
【００３７】
スイッチ８１−１乃至８１−４の、それぞれのＢ端子には、VCC（値として１）が供給されている。また、スイッチ８１−２乃至８１−４の、それぞれのＣ端子には、値として０が供給されている。スイッチ８１−２乃至８１−４からの出力は、OR回路８６に入力され、論理和が算出され、その結果が、AND回路８７に出力される。AND回路８７は、OR回路８６から出力された値と、スイッチ８１−１から出力された値との論理積を算出し、その結果を動領域判定の結果として出力する。
【００３８】
次に、図４のフローチャートを参照して、動き検出回路２６の動作について説明する。ステップＳ１において、フィールド差分が取られる。ここで、時刻ｔにおいて動き検出回路２６に入力されるフィールドｎ＋１、フィールドメモリ５１−１から出力されるフィールドｎ、フィールドメモリ５１−２から出力されるフィールドｎ−１、およびフィールドメモリ５１−３から出力されるフィールドｎ−２との擬似的な位置関係を図５に示す。
【００３９】
図５に示したように、映像信号はインターレースに入力されるため、隣あうフィールド間には、１ラインのずれが生じている。すなわち、フィールドｎ−２の一番上に位置するラインをラインｍとし、その次のラインをｍ＋１とすると、フィールドｎ−１の一番上に位置するラインｎは、ラインｍとラインｍ＋１の中間に位置することになる。図５に示したように、所定のフィールド内の所定のライン上に位置する画素を画素Ａ乃至Ｆとする。
【００４０】
図５の一部分を垂直方向に切り出して、時間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む平面で切り出し、その一部を取り出すと図６に示したようになる。このように、映像信号はインターレースに入力されるため、例えば、フィールドｎの画素Ｂと画素Ｃの間に、フィールドｎ−１の画素Ａが位置するという位置関係になる。従って、ステップＳ１において行われるフィールド差分を算出為には、例えば、図７に示すように、フィールドｎ−１とフィールドｎとのフィールド差分を算出する為には、フィールドｎの画素Ｂと画素Ｃとの間に、フィールドｎの画素Ａに対応する位置に位置する画素Ｇを補間（生成）する必要がある。すなわち、画素Ｂと画素Ｃとを足し合わし、その足し合わされた値の半分（平均）の値が画素Ｇの画素データとなる。
【００４１】
図２に示した動き検出回路２６において、フィールドメモリ５１−１に記憶されてるデータがフィールドｎのものであるとき、フィールドメモリ５１−２に記憶されているデータは、フィールドｎ−１のものである。そのようなときに、フィールドメモリ５１−１から画素Ｃのデータが出力されると、ディレイライン部６４−１からは画素Ｂのデータが出力される。そのため、加算器６２−２では、画素Ｂのデータと画素Ｃのデータとが加算されることになる。その加算されたデータは、乗算器６５に入力され、１／２が乗算されることにより、平均値が算出され、加算器６２−３に出力される。加算器６２−３には、フィールドメモリ５１−２から出力されたフィールドｎ−１の画素Ａのデータも入力され、その入力された画素Ａのデータを、乗算器６５から出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデータ）から減算することにより、フィールド差分値が算出される。
【００４２】
このように、各フィールド内に存在する全ての画素に対して、同様の処理が施されることにより、フィールド差分値が算出されると、ステップＳ２に進み、フレーム差分値が算出される。フレーム差分値は、同じライン配列をしているフィールド同士の画素データが用いられて算出される。すなわち、図８に示したように、フィールドｎ−２とフィールドｎ、フィールドｎ−１とフィールドｎ＋１との間で、それぞれフレーム差分値が算出される。例えば、図２に示した動き検出回路２６において、フィールドｎ＋１の画素Ｄのデータが入力されたとき、フィールドメモリ５１−２からフィールドｎ−１の画素Ａのデータが出力される。その結果、加算器６２−１には、画素Ａのデータと画素Ｄのデータとが入力される。加算器６２−１は、画素Ａのデータから画素Ｄのデータを減算することにより、フレーム差分値ａを算出する。
【００４３】
本実施の形態においては、１つのフレーム差分値だけではなく、そのフレーム差分値を算出した画素（注目画素）があるラインの、上下に位置するライン内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，Ｆ）も用いられて、さらにフレーム差分値が算出され、後述する動画領域の判定に用いられる。上述したように、画素Ａと画素Ｄとを用いてフレーム差分値が算出される処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆとの間でのフレーム差分値が、それぞれ算出される。
【００４４】
上述したように、フィールドメモリ５１−１からフィールドｎの画素Ｃのデータが出力されているとき、ディレイライン部６４−１からは、画素Ｂのデータが出力されているので、その画素Ｂのデータを用いる。また、そのとき、フィールドメモリ５１−３からは、画素Ｃに対応する位置に位置する、フィールドｎ−２の画素Ｆのデータが出力される。さらに、ディレイライン部６４−２からは、画素Ｅのデータが出力される。画素Ｂと画素Ｅからフレーム差分値ｂ、画素Ｃと画素Ｆとからフレーム差分値ｃが、それぞれ算出される。
【００４５】
このようにしてステップＳ２において、フレーム差分値が算出されると、ステップＳ３において、水平エッジが検出される。水平エッジの検出は、ライン間の差分値を取ることにより行われ、１つのフィールド内に存在する上下に隣り合う画素データが用いられる。すなわち、図９に示したように、フィールドｎにおけるエッジを検出する場合、例えば、画素Ｂと画素Ｃとの差分値が取られることにより行われる。図２に示した動き検出回路２６においては、フィールドメモリ５１−１から出力されたフィールドｎの画素Ｃのデータと、その画素Ｃのデータに対応するデータとしてディレイライン部６４−１から出力されたフィールドｎの画素Ｂのデータとが、加算器６２−４に入力され、画素Ｃのデータから画素Ｂのデータが減算されることにより、ライン差分値が算出される。
【００４６】
このようにして、ライン差分値が算出されると、ステップＳ４に進み、ステップＳ１乃至Ｓ３において算出された差分値が用いられて、動領域判定処理が、動領域判定回路６３により行われる。図１０は、ステップＳ４の動領域判定処理の詳細を示すフローチャートである。まず、ステップＳ１１において、動領域判定回路６３のスイッチ８５−１乃至８５−４（図３）の接続処理が行われる。図１１は、スイッチ８５の接続処理の詳細を示すフローチャートである。
【００４７】
ステップＳ２１において、比較器８４−５において、絶対値回路８３−５により絶対値が算出されたライン差分値が、Edge_th1よりも小さいか否かが判断される。ライン差分値が、Edge_th1よりも小さいと判断された場合、ステップＳ２２に進み、スイッチ８５−１乃至８５−４が、それぞれ、端子Ａと接続される。スイッチ８５−１は、端子Ａと接続されることにより、フィールド差分値のしきい値Field_th１を比較器８３−１に供給する。同様に、スイッチ８５−２が接続されることにより、フレーム差分値ａのしきい値Frame_th1Aが比較器８４−２に、スイッチ８５−３が接続されることにより、フレーム差分値ｂのしきい値Frame_th1Bが比較器８４−３に、スイッチ８５−４が接続されることにより、フレーム差分値ｃのしきい値Frame_th1Cが比較器８４−４に、それぞれ供給される。
【００４８】
一方、ステップＳ２１において、ライン差分値はEdge_th1よりも小さくはないと判断された場合、ステップＳ２３に進み、ライン差分値が、Edge_th1より大きく、かつ、Edge_th2より小さいか否かが判断される。ライン差分値は、Edge_th1より大きく、かつ、Edge_th2より小さいと判断された場合、ステップＳ２４に進みスイッチ８５−１乃至８５−４が、それぞれ端子Ｂと接続される。スイッチ８５−１乃至８５−４は、それぞれ端子Ｂと接続されることにより、所定のしきい値を、対応する比較器８４−１乃至８４−４に供給する。
【００４９】
ステップＳ２３において、ライン差分値がEdge_th2よりも大きいと判断された場合、ステップＳ２５に進みスイッチ８５−１乃至８５−４は、それぞれ端子Ｃと接続される。スイッチ８５−１乃至８５−４は、それぞれ端子Ｃと接続されることにより、所定のしきい値を、対応する比較器８４−１乃至８４−４に供給する。
【００５０】
このようにして、スイッチ８５−１乃至８５−４は、ライン差分値に応じて、端子Ａ乃至Ｃのうちの、いづれかの端子と接続される。比較器８４−１は、絶対値が算出されたフィールド差分値と、スイッチ８５−１から供給されるしきい値とを比較し、その比較結果が、フィールド差分値の方がしきい値よりも大きい場合、動領域候補と見なし、”１”をスイッチ８１−１の端子Ａに出力し、フィールド差分値の方がしきい値よりも小さい場合、静止領域候補と見なし、”０”をスイッチ８１−１の端子Ａに出力する。
【００５１】
比較器８４−２乃至８４−４も同様に、それぞれ入力されたフレーム差分値ａ乃至ｃを、対応するスイッチ８５−１乃至８５−４から供給されたしきい値と比較し、その比較結果に応じた値として、０または１を、対応するスイッチ８１−２乃至８１−４の端子Ａに出力する。
【００５２】
このようにステップＳ１１（図１０）において、スイッチ８５の接続処理が行われ、それぞれの差分値としきい値との比較結果が出力されると、ステップＳ１２において、スイッチ８１−１乃至８１−４の接続処理が行われる。図１２は、ステップＳ１２のスイッチ８１の接続処理の詳細を説明するフローチャートである。
【００５３】
ステップＳ３１において、動領域判定回路６３の判定情報選択回路８１は、フィールド差分モードであるか否かを判断する。判定情報選択回路８１には、機器モードとシーンチェンジ検出結果が入力される。機器モードとは、記録再生装置１のモード情報である。例えば、記録再生装置１が、DVD（Digital Video Disk）プレーヤである場合、サーチ時などに有効な映像データが間欠的にしか入力されないときがある。本実施の形態においては、通常再生時では、連続する４フィールド分の映像情報を使用して処理を行っている。仮に、連続する２枚のフィールドが間欠的に入力されるような場合、連続する２フィールド分の映像情報だけを使用して処理を行うように、処理モードを変更しなくてはならない。このような場合、フィールド差分情報だけを用いて動領域の判定を行わなくてはならない。このようなモードのことを、フィールド差分モードと称する。
【００５４】
ステップＳ３１において、判定情報選択回路８１がフィールド差分モードであると判断した場合、ステップＳ３２に進む。ステップＳ３２において、スイッチ８１−１は端子Ａに、スイッチ８１−２乃至８１−４は端子Ｂに、それぞれ接続される。スイッチ８１−１乃至８１−４の端子Ａには、それぞれ対応する比較器８４−１乃至８４−４から出力された”１”または”０”が供給されており、端子Ｂには、”１”が供給されている。また、スイッチ８１−２乃至８２−４の端子Ｃには、”０”が供給されている。
【００５５】
一方、ステップＳ３１において、判定情報選択回路８１により、フィールド差分モードではないと判断された場合、ステップＳ３３に進み、シーンチェンジありか否かが判断される。シーンチェンジ情報は、シーンチェンジ検出回路６１から供給されるようにするほかに、予め、検出された情報を記録媒体などに記録し、必要に応じて読み出すようにしても良い。
【００５６】
ステップＳ３３において、シーンチェンジがあると判断された場合、ステップＳ３４以下の処理で、どのフィールド間で、シーンチェンジがあるのかが判断され、その判断結果に応じた処理が実行される。まず、ステップＳ３４において、シーンチェンジは、フィールドｎ＋１とフィールドｎの間であるか否かが判断される。シーンチェンジが、フィールドｎ＋１とフィールドｎの間であると判断された場合、ステップＳ３５に進む。図１３に示すように、シーンチェンジがフィールドｎとフィールドｎ＋１の間にある場合、フィールドｎ＋１の画素Ｄのデータを用いて算出された差分値、すなわち、フレーム差分値ａからの情報は、動領域の判定に用いないようにする。換言すれば、フィールド差分値、フレーム差分値ｂ，ｃから得られる情報のみで、動領域の判定を行うようにする。
【００５７】
従って、ステップＳ３５において、スイッチ８１−１が端子Ａ（フィールド差分値からの比較結果）に、スイッチ８１−２が端子Ｃ（フレーム差分値ａからの情報は用いないため、”０”）に、スイッチ８１−３，８１−４が端子Ａ（フレーム差分値ｂ，ｃからの比較結果）に、それぞれ接続される。
【００５８】
ステップＳ３４において、シーンチェンジがフィールドｎ＋１とフィールドｎの間ではないと判断された場合、ステップＳ３６において、シーンチェンジがフィールドｎとフィールドｎ−１の間にあるか否かが判断される。図１４に示すように、シーンチェンジがフィールドｎとフィールドｎ−１の間にあると判断された場合、ステップＳ３７に進む。このように、シーンチェンジがフィールドｎとフィールドｎ−１の間にある場合、フィールドｎとフィールドｎ−１の間には、相関がないものと見なし、画面全体を動領域とする。従って、フィールド差分値およびフレーム差分値ａ乃至ｃから得られる比較結果に関係なしに、動領域と判定されるように、スイッチ８１−１乃至８１−４が、それぞれ端子Ｂと接続され、OR回路８６およびAND回路８７に”１”が供給されるようにする。
【００５９】
ステップＳ３６において、シーンチェンジがフィールドｎとフィールドｎ−１の間にはないと判断された場合、図１５に示すように、シーンチェンジがフィールドｎ−１とフィールドｎ−２の間にあることになる。そこで、ステップＳ３８に進み、スイッチ８１−１，８１−２を端子Ａに、スイッチ８１−３，８１−４を端子Ｃに、それぞれ接続する。このようにするのは、フィールドｎ−２の画素Ｅ，Ｆから得られる情報を用いないようにするためである。すなわち、画素Ｅ，Ｆから算出されるフレーム差分値ｂとフレーム差分値ｃとから得られる比較結果（比較器８４−３，８４−４から出力される値）を用いないようにする。そのため、スイッチ８１−３，８１−４は、それぞれ端子Ｃと接続され、OR回路８６には”０”が供給される。
【００６０】
シーンチェンジがある場合は、上述したように、シーンチェンジの存在する位置により、動領域を判定するために用いる差分値を選択するようにしたが、ステップＳ３３において、シーンチェンジが存在しないと判断された場合は、図６に示したような状態なので、画素Ａ乃至Ｆから得られる全ての情報を用いて動領域の判定を行う。すなわち、ステップＳ３９において、スイッチ８１−１乃至８１−４が、それぞれ端子Ａと接続されることにより、画素Ａ乃至Ｆを用いて算出されたフィールド差分値およびフレーム差分値ａ乃至ｃとしきい値との比較により得られた比較結果が用いられて動領域の判定が行なわれる。
【００６１】
このようにして、ステップＳ１２（図１０）において、スイッチ８１−１乃至８１−４が、端子Ａ、端子Ｂ、または端子Ｃのうちのいずれかの端子と接続されると、ステップ１３に進む。ステップＳ１３において、OR回路８６とAND回路８７は、入力されたデータを用いて、それぞれ論理和と論理積を算出する。OR回路８６は、スイッチ８１−２乃至８１−４から供給されるデータから論理和を算出するわけだが、これは、３つのフレーム差分値ａ乃至ｃから得られる結果が全て静止である場合のみ、フレーム差分情報による判定結果が静止であるというデータを出力させるために設けられている。
【００６２】
AND回路８７は、フィールド差分値から得られた動領域の結果（スイッチ８１−１から出力された結果）と、フレーム差分値から得られた動領域の結果（OR回路８６から出力された結果）との論理積を算出することにより、動領域判定回路６３における最終的な動領域の判定結果を出力する。フィールド差分値から得られた動領域の結果とフレーム差分値から得られた動領域の結果、両方とも動領域である（”１”）場合のみ、動領域判定結果として、動領域であることを示す”１”が出力される。
【００６３】
このように、シーンチェンジ情報などの映像特徴情報、水平エッジ情報、機器のモード情報などにより、使用するフィールド差分情報とフレーム差分情報を適応的に切り換えながら、動領域を検出することにより、動き検出の精度を向上させることが可能となる。
【００６４】
ステップＳ４（図４）において、動領域判定処理が終了されると、ステップＳ５に進み、孤立領域除去回路６６により、孤立領域除去が行われる。ここで、孤立領域とは、静止領域であると判断された領域内に存在する、動領域と判断された領域のことをいう。図１６に示すように、画素ａ乃至ｄが動領域であると判断された場合でも、それらの画素を囲む画素が、静止領域であると判断された場合、画素ａ乃至ｄは、全て静止領域に転換され、静止領域として取り扱われる。ただし、このように、動領域が静止領域に転換されるのは、その動領域が所定の大きさの範囲内である場合に限られる。この孤立領域除去の処理は、ノイズによる影響を軽減する、換言すれば、ノイズにより誤って動領域と判断された領域をなくすために行われる。
【００６５】
ステップＳ５において、孤立領域除去の処理が終了されると、ステップＳ６に進み、動領域拡張回路６７により、動領域の拡張処理が行われる。動領域の拡張は、動領域と判断された領域の水平方向の両端に位置する所定数の画素を、静止領域から動領域に転換させる処理である。ステップＳ６における動領域拡張処理が終了されたら、ステップＳ７において、ソフトスイッチング回路６８により、ソフトスイッチング処理が行われる。ソフトスイッチング処理は、動領域と静止領域との境界部分を滑らかに変化する係数を持たせることを目的としている。これは、動き検出回路２６による結果を用いて、映像処理回路２７が映像信号を生成する際に、検出された動き検出結果を２枚のフィールド画像のミックス比率として使用するため、緩やかに係数値を変化させた方がよいからである。
【００６６】
ここで、図１７を参照して、映像処理回路２７の行う映像処理について説明する。フィールドｎとフィールドｎ−１から動きぶれのないフレーム静止画を作成する際、例えば、画素Ｗのデータは、隣接する画素Ｘ，Ｙ，Ｚのデータを用いて、次式（１）に従って算出される。
【００６７】
Ｗ＝（（Ｙ＋Ｚ）／２）×ｍｄ＋Ｘ×（１−ｍｄ） ・・・（１）
式（１）において、Ｘ，Ｙ，Ｚ，Ｗは、それぞれ、画素Ｘ，Ｙ，Ｚ，Ｗのデータであり、ｍｄは動き検出係数である。また、動き検出係数ｍｄは、０以上、１以下の数値であり、０のときは静止領域、１のときは動領域を表す。
【００６８】
このように画素Ｗのデータは算出されるため、動き検出係数ｍｄの値は、０または１の、どちらか一方の値しか持たないものではなく、緩やかに変化させた方が、動領域と静止領域との境界がきれいに変化する画像が得られる。
【００６９】
ステップＳ７において、動領域と静止領域との間でのソフトスイッチング処理が終了されると、その結果が、動き検出の検出結果として、結果用メモリ２８（図１）に出力され、記憶される。結果用メモリ２８に記憶された動き検出結果は、上述したように、映像処理回路２７が映像信号を生成する際に用いられる。
【００７０】
ここで、ステップＳ５乃至Ｓ７の処理について、図１８を参照してさらに説明する。図１８（Ａ）は、ステップＳ５において、孤立領域が除去された後のライン上の画素を示している。４つの動領域の画素が中央に位置し、静止領域の画素が、その動領域の両端に位置している。このように、動領域と静止領域とが存在しているときに、ステップＳ６において、動領域の拡張が行われると、図１８（Ｂ）に示したようになる。図１８（Ｂ）に示した状態では、動領域の４つの画素の両端に位置する２つの静止領域の画素が、新たに動領域として転換されている。図１８（Ｂ）に示した例では、動領域に転換された画素数は２であるが、それ以外の画素数でも、勿論良い。
【００７１】
図１８（Ｂ）に示した状態から、さらに、ステップＳ７において、ソフトスイッチング処理が行われると、図１８（Ｃ）に示したようになる。すなわち、動領域拡張処理により拡張された動領域を含む動領域内の画素の動き検出係数は、全て１であり、その領域と最も隣接する静止領域の画素から順に、動き検出係数が０．７５，０．５，０，２５というように、段階的に変化している。この段階的に動き係数が変化する部分が、ソフトスイッチング処理による領域である。ソフトスイッチング領域以外の静止領域の動き係数は、全て０である。ソフトスイッチングによる動き検出係数は、さらに細かく段階的な数値を設定するようにしても良い。
【００７２】
上述した実施の形態は、一例であり、例えば、動き検出回路２６に入力される映像信号をLPF（Low Pass Filter）をかけて、ノイズを軽減させたり、または、動領域判定回路６３に入力されるフィールド差分値やフレーム差分値にLPFをかけてノイズを軽減させるようにしても良い。
【００７３】
動領域判定回路６３の判定情報選択回路８１に用いられる情報は、機器モードとシーンチェンジ検出結果に限らず、他の情報を用いるようにしても良い。また、上述した実施の形態においては、フレーム差分値ａ乃至ｃを用いたが、さらに、他の差分値を用いるようにしても良い。例えば、図１９に示したように、画素Ｈと画素Ｊ、画素Ｉと画素Ｋを、それぞれ用いて、フレーム差分値を算出し、動き検出に用いるようにしても良い。
【００７４】
さらに、図３に示した動領域判定回路６３では、比較器８４−５において、２つのしきい値を用い、比較器８４−１乃至８４−４においては、それぞれ３つのしきい値を用いて、入力された差分値を比較するようにしたが、さらに多くのしきい値を用いて、比較を行うようにしても良い。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアとしての記録再生装置１に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどにインストールされる。
【００７６】
次に、図２０を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００７７】
プログラムは、図２０（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【００７８】
あるいはまた、プログラムは、図２０（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM（Compact Disk-Read Only Memory）１１２、ＭＯ（Magneto-Optical）１１３、DVD（Digital Versatile Disk）１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウェアとして提供することができる。
【００７９】
さらに、プログラムは、図２０（Ｃ）に示すように、ダウンロードサイト１２１から、デジタル衛星放送用の人工衛星１２２を介してパーソナルコンピュータ１２３に無線で転送したり、ローカルエリアネットワーク、インターネットといったネットワーク１３１を介して、パーソナルコンピュータ１２３に有線で転送し、パーソナルコンピュータ１２３において、内蔵するハードディスクなどに格納させることができる。
【００８０】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を有するものである。
【００８１】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８２】
以上の如く、本発明によれば、動き検出の精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成を示すブロック図である。
【図２】図１の動き検出回路２６の内部構成を示すブロック図である。
【図３】図２の動領域判定回路６３の内部構成を示すブロック図である。
【図４】動き検出回路２６の動作を説明するフローチャートである。
【図５】フィールドと画素との関係を説明する図である。
【図６】時間的に示した各画素の位置関係を説明する図である。
【図７】フィールド差分を説明する図である。
【図８】フレーム差分を説明する図である。
【図９】ライン差分を説明する図である。
【図１０】図４のステップＳ４の処理の詳細を説明するフローチャートである。
【図１１】図１０のステップＳ１１の処理の詳細を説明するフローチャートである。
【図１２】図１０のステップＳ１２の処理の詳細を説明するフローチャートである。
【図１３】シーンチェンジがあった場合の処理を説明する図である。
【図１４】シーンチェンジがあった場合の処理を説明する図である。
【図１５】シーンチェンジがあった場合の処理を説明する図である。
【図１６】孤立領域除去の処理を説明する図である。
【図１７】フレーム静止画作成処理について説明する図である。
【図１８】図４のステップＳ５乃至Ｓ７の処理を説明する図である。
【図１９】フレーム差分について説明する図である。
【図２０】媒体を説明する図である。
【符号の説明】
１ 記録再生装置， ２６ 動き検出回路， ５１ フィールドメモリ， ６１ シーンチェンジ検出回路， ６２ 加算器， ６３ 動領域判定回路， ６４ ディレイライン部， ６６ 孤立領域除去回路， ６７ 動領域拡張回路， ６８ ソフトスイッチング回路
Claims (3)
- 画像信号を記憶する記憶手段と、
前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出手段と、
前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出手段と、
前記注目している画素における前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フレーム差分値手段により算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出手段と、
前記検出手段で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換手段と
を備え、
前記検出手段は、
前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持手段と、
前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換え手段と、
前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換え手段により切り換えられたしきい値と比較する比較手段と、
前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較手段による比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較手段による比較結果と予め設定されている所定の値を選択して、出力する出力手段と
を備え、
前記出力手段により出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力手段により出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する
画像処理装置。 - 画像信号を記憶手段に記憶させる記憶ステップと、
前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、
前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、
前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、
前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップと
を備え、
前記検出ステップは、
前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、
前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、
前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、
前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップと
を備え、
前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する
画像処理方法。 - 画像信号を記憶手段に記憶させる記憶ステップと、
前記記憶手段に記憶されている前記画像信号から、注目している画素のフィールド差分値を算出するフィールド差分値算出ステップと、
前記記憶手段に記憶されている前記画像信号から、前記注目している画素のフレーム差分値と、前記注目している画素が位置する水平方向のラインに対して隣接する上側および下側に位置するラインに位置する画素のフレーム差分値を算出するフレーム差分値算出ステップと、
前記注目している画素における前記フィールド差分値算出ステップの処理で算出されたフィールド差分値と、前記フレーム差分値ステップの処理で算出された３つのフレーム差分値を用いて前記画像信号に基づく画像の動領域を検出する検出ステップと、
前記検出ステップの処理で検出された前記動領域のうち、静止領域であると判断された領域内に存在する、動領域と判断された領域を、静止領域に転換する転換ステップと
を備え、
前記検出ステップは、
前記フィールド差分値と前記３つのフレーム差分値のそれぞれに対応し、かつそれぞれの差分値毎に複数個設定されている複数のしきい値を保持する保持ステップと、
前記注目している画素に対して下側に隣接する画素との差分値を算出し、その差分値と所定の閾値を比較し、その比較結果に基づいて、前記それぞれの差分値毎に前記しきい値を一括して切り換える切り換えステップと、
前記フィールド差分値と前記３つのフレーム差分値を、それぞれ前記切り換えステップの処理で切り換えられたしきい値と比較する比較ステップと、
前記注目している画素を含むフィールドとそのフィールドの前後のフィールドを用いて、それらのフィールド間でシーンチェンジがあったか否かを判断し、シーンチェンジがないと判断されたときには、前記比較ステップによる比較結果を出力し、シーンチェンジがあったと判断されたときには、そのシーンチェンジがあったと判断されたフィールドに応じて、前記比較ステップによる比較結果と予め設定されている所定の値を選択して、出力する出力ステップと
を備え、
前記出力ステップの処理で出力された前記３つのフレーム差分値に基づく３つの出力の論理積を算出し、その論理積の結果と、前記出力ステップの処理で出力された前記フィールド差分値に基づく出力との論理和を算出することにより、前記画像信号に基づく画像の動領域を検出する
処理をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15379699A JP4419210B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
| SG200002865-4A SG143928A1 (en) | 1999-06-01 | 2000-05-24 | Image processing apparatus, method thereof and medium |
| TW89110408A TW484305B (en) | 1999-06-01 | 2000-05-29 | Image processing apparatus, method thereof and medium |
| EP20000304566 EP1058449B1 (en) | 1999-06-01 | 2000-05-30 | Image processing apparatus, method thereof and image motion detection device |
| KR20000029240A KR100740789B1 (ko) | 1999-06-01 | 2000-05-30 | 화상 처리 장치 및 방법, 및 매체 |
| DE2000623596 DE60023596T2 (de) | 1999-06-01 | 2000-05-30 | Verfahren und Vorrichtung zur Verarbeitung von Bildern und Vorrichtung zur Detektion der Bildbewegung |
| MYPI20002420A MY126584A (en) | 1999-06-01 | 2000-05-31 | Image processing apparatus, method thereof and image motion detection device |
| ID20000462D ID26180A (id) | 1999-06-01 | 2000-05-31 | Aparatus pemproses gambar, metode pemrosesan gambar dan medianya |
| CNB001200208A CN1163056C (zh) | 1999-06-01 | 2000-06-01 | 图像处理装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15379699A JP4419210B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000348183A JP2000348183A (ja) | 2000-12-15 |
| JP2000348183A5 JP2000348183A5 (ja) | 2006-04-27 |
| JP4419210B2 true JP4419210B2 (ja) | 2010-02-24 |
Family
ID=15570327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15379699A Expired - Fee Related JP4419210B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
Country Status (9)
| Country | Link |
|---|---|
| EP (1) | EP1058449B1 (ja) |
| JP (1) | JP4419210B2 (ja) |
| KR (1) | KR100740789B1 (ja) |
| CN (1) | CN1163056C (ja) |
| DE (1) | DE60023596T2 (ja) |
| ID (1) | ID26180A (ja) |
| MY (1) | MY126584A (ja) |
| SG (1) | SG143928A1 (ja) |
| TW (1) | TW484305B (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10140695C2 (de) * | 2001-08-24 | 2003-10-09 | Ps Miro Holdings Inc & Co Kg | Verfahren und Vorrichtung zur Erkennung einer Bewegung in einem Bild |
| US6847405B2 (en) * | 2001-09-14 | 2005-01-25 | Sony Corporation | Motion-adaptive de-interlacing method and system for digital televisions |
| JP2007241479A (ja) * | 2006-03-06 | 2007-09-20 | Toshiba Corp | 変動領域検出装置及びその方法 |
| JP2008017042A (ja) * | 2006-07-04 | 2008-01-24 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2008182476A (ja) * | 2007-01-24 | 2008-08-07 | Canon Inc | 変化予測値算出装置及びｉｐ変換処理装置 |
| JP5253077B2 (ja) * | 2008-10-08 | 2013-07-31 | キヤノン株式会社 | 映像処理装置およびその方法 |
| JP5178477B2 (ja) * | 2008-11-26 | 2013-04-10 | 三菱電機株式会社 | 映像信号処理装置及び方法、並びに映像表示装置 |
| CN101883209B (zh) * | 2010-05-31 | 2012-09-12 | 中山大学 | 一种背景模型与三帧差分相结合进行视频背景检测的方法 |
| CN105354791B (zh) * | 2015-08-21 | 2019-01-11 | 华南农业大学 | 一种改进的自适应混合高斯前景检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR910009880B1 (ko) * | 1983-07-25 | 1991-12-03 | 가부시기가이샤 히다찌세이사꾸쇼 | 인터레이스된 텔레비젼 신호중의 화상의 움직임 검출회로 |
| CA1322241C (en) * | 1988-07-22 | 1993-09-14 | Hisafumi Motoe | Moving detection circuit |
| JPH06205439A (ja) * | 1992-12-29 | 1994-07-22 | Sony Corp | 映像信号記録装置 |
| US5475438A (en) * | 1994-03-31 | 1995-12-12 | Zenith Electronics Corporation | Five field motion detector for a TV scan line doubler |
| JP3500751B2 (ja) * | 1995-01-20 | 2004-02-23 | ソニー株式会社 | 画像信号処理装置及び撮像装置 |
| EP0830018A3 (en) * | 1996-09-13 | 1999-12-29 | Texas Instruments Incorporated | Method and system for motion detection in a video image |
-
1999
- 1999-06-01 JP JP15379699A patent/JP4419210B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-24 SG SG200002865-4A patent/SG143928A1/en unknown
- 2000-05-29 TW TW89110408A patent/TW484305B/zh not_active IP Right Cessation
- 2000-05-30 DE DE2000623596 patent/DE60023596T2/de not_active Expired - Lifetime
- 2000-05-30 EP EP20000304566 patent/EP1058449B1/en not_active Expired - Lifetime
- 2000-05-30 KR KR20000029240A patent/KR100740789B1/ko not_active IP Right Cessation
- 2000-05-31 MY MYPI20002420A patent/MY126584A/en unknown
- 2000-05-31 ID ID20000462D patent/ID26180A/id unknown
- 2000-06-01 CN CNB001200208A patent/CN1163056C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1058449A3 (en) | 2003-05-02 |
| CN1275859A (zh) | 2000-12-06 |
| TW484305B (en) | 2002-04-21 |
| MY126584A (en) | 2006-10-31 |
| KR20010020923A (ko) | 2001-03-15 |
| SG143928A1 (en) | 2008-07-29 |
| KR100740789B1 (ko) | 2007-07-20 |
| DE60023596T2 (de) | 2006-07-20 |
| ID26180A (id) | 2000-12-07 |
| DE60023596D1 (de) | 2005-12-08 |
| JP2000348183A (ja) | 2000-12-15 |
| EP1058449B1 (en) | 2005-11-02 |
| EP1058449A2 (en) | 2000-12-06 |
| CN1163056C (zh) | 2004-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
| US20120269273A1 (en) | Image processing device, image processing method and program | |
| JP4419210B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| WO2006025396A1 (ja) | 画像処理装置および画像処理プログラム | |
| EP2330818A1 (en) | Frame rate converting apparatus and corresponding point estimating apparatus, corresponding point estimating method and corresponding point estimating program | |
| US20090324125A1 (en) | Image Processing Apparatus and Method, and Program | |
| KR100786926B1 (ko) | 영상 기록 재생 장치 및 방법 | |
| JP2003209716A (ja) | 映像信号処理装置および方法、記録媒体、並びにプログラム | |
| JP4392560B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4454380B2 (ja) | ３次元ノイズリダクション回路及び映像信号処理装置 | |
| JP4642171B2 (ja) | 画像再生装置および方法、並びに記録媒体 | |
| US10425614B2 (en) | Moving image reproduction apparatus having function of correcting camera shake during moving image reproduction, method of controlling the same, and storage medium | |
| JP2004015700A (ja) | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 | |
| JP4302795B2 (ja) | フィールド周波数変換装置 | |
| JP5451494B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2006094261A (ja) | 映像信号処理装置 | |
| JP2006129375A (ja) | 動画データ生成装置及び動画データ生成方法 | |
| JP2000041222A (ja) | 映像再生装置とその方法および映像表示装置 | |
| JP5325671B2 (ja) | 画像処理装置、表示装置および画像処理方法 | |
| JP2001197425A (ja) | 映像信号処理装置 | |
| JP3867737B2 (ja) | データ処理装置および方法 | |
| JP4743449B2 (ja) | 対応点推定装置、対応点推定方法及び対応点推定プログラム | |
| JPH08205028A (ja) | 特殊効果回路 | |
| JPH10243341A (ja) | 画像検出装置及び画像検出方法 | |
| JP2004129098A (ja) | 画像処理方法及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090319 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090604 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |