JP4392560B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4392560B2 JP4392560B2 JP15379599A JP15379599A JP4392560B2 JP 4392560 B2 JP4392560 B2 JP 4392560B2 JP 15379599 A JP15379599 A JP 15379599A JP 15379599 A JP15379599 A JP 15379599A JP 4392560 B2 JP4392560 B2 JP 4392560B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- difference value
- comparison result
- pixel
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、フレーム差分値とフィールド差分値とを併用して動き検出を行い、その検出した結果を記憶し、あらたな動き検出を行う際、その記憶された結果も含めて動き検出を行う画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
入力された画像データから動きを検出する手法として、フィールド間での差分を用いる方法と、フレーム間での差分を用いる方法とがあり、共に、簡単な回路構成で実現できることから、一般的に用いられている。
【０００３】
【発明が解決しようとする課題】
画像データがインターレースに入力される場合、フィールド差分だけを用いた場合、連続する２枚のフィールドには、上下方向に１ライン分のずれがある。従って、差分を算出するために、一方のフィールドは、隣合うラインから、その間に位置する画素を補間により算出し上述した１ライン分の補正を行った上で、他方のフィールドとの差分を算出する。このように、一方のフィールドからは、補間された画素データを用いてフィールド差分値を算出することになり、その補間のために、画像にぼけが生じてしまい、その結果、動き検出の精度が落ちてしまうといった課題があった。
【０００４】
また、動き検出に、フレーム間での差分を用いる方法を適用した場合、差分を算出する画像の間には、２フィールドの開きがある。従って、フレーム差分を算出する２枚の画像が一致している場合でも、その２枚の画像の間にある画像も、同様に一致しているとは限らず、このことが動き検出を行う上で、検出漏れの原因となるという課題があった。
【０００５】
そこで、フィールド差分値とフレーム差分値とを併用して動き検出を行うことにより、動き検出の精度を向上させることができる。しかしながら、フィールド差分値とフレーム差分値とを併用して動き検出を行うと、フィールド差分値、または、フレーム差分値の、どちらか一方を用いて動き検出を行う場合に比べて、多くの画素データを必要とし、それらを同時に読み出す為には、画素データを記憶させておくためのポート数が多く必要となる。そのため、回路規模が大きくなるといった課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、フレーム差分値とフィールド差分値とを併用して動き検出を行い、その検出した結果を記憶し、あらたな動き検出を行う際、その記憶された結果も含めて動き検出を行うことにより、回路構成を簡略化し、回路規模を小さくすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面の画像処理装置は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出するフィールド差分値算出手段と、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出するフレーム差分値算出手段と、前記フレーム差分値に対応するしきい値と、前記フレーム差分値算出手段により算出された前記フレーム差分値を比較し、第１の比較結果を出力する第１の比較手段と、前記フィールド差分値に対応するしきい値と、前記フィールド差分値算出手段により算出された前記フィールド差分値を比較し、第２の比較結果を出力する第２の比較手段と、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出する第４の比較結果算出手段と、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出する論理和算出手段と、前記第１の比較手段からの第１の比較結果と、前記論理和算出手段からの論理和との論理積を算出する論理積算出手段と、前記第２の比較手段からの前記第２の比較結果を前記第３の比較結果として記憶する前記第２の記憶手段とを備える。
【０００９】
本発明の一側面の情報処理方法は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、第３の比較結果を記憶する第２の記憶手段とを備える情報処理装置の情報処理方法において、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、その論理和と前記第１の比較結果との論理積を算出し、前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させるステップを含む。
【００１０】
本発明の一側面の記録媒体は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、第３の比較結果を記憶する第２の記憶手段とを備える情報処理装置を制御するコンピュータが読み取り可能なプログラムであり、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、その論理和と前記第１の比較結果との論理積を算出し、前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させるステップを含むプログラムが記録されている。
【００１１】
本発明においては、既に算出、および判定された結果が記憶され、新たな判定を行う際に用いられる。また、フィールド差分値とフレーム差分値が併用されて動き検出が行われる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置１の一実施の形態の構成を示すブロック図である。アンテナ２により受信された番組は、チューナ３に出力され、ユーザが所望とする番組の信号のみ選択され、スイッチ４に出力される。スイッチ４は、外部入力端子５に接続されている図示されていない装置からのデータも入力される。スイッチ４は、マイクロコンピュータ６の指示により、チューナ３からの出力、または、外部入力端子５からの出力のうち、どちらか一方を選択し、映像信号を映像信号処理部７に、音声信号を音声信号処理部８に、それぞれ出力する。
【００１３】
映像信号処理部７は、入力された映像信号にAGC（Automatic Gain Control）などの処理を施し、A/D（Analog/Digital）変換部９に出力する。同様に、音声信号処理部８は、入力された音声信号に所定の処理を施し、A/D変換部１０に出力する。A/D変換部９は、入力された映像信号を、A/D変換部１０は、入力された音声信号を、それぞれ、デジタル信号に変換する。A/D変換部９によりデジタル信号に変換された映像信号は、映像信号圧縮器１１に出力され、A/D変換部１０によりデジタル信号に変換された音声信号は、音声信号圧縮器１２に出力される。
【００１４】
映像信号圧縮器１１に入力された映像信号は、例えば、MPEG（Moving Picture Experts Group）２方式の圧縮方式が用いられて、圧縮され、メモリ１３に出力され、記憶される。同様に、音声信号圧縮器１２に入力された音声信号は、例えば、MPEGオーディオ方式の圧縮方式が用いられて、圧縮され、メモリ１４に出力され、記憶される。
【００１５】
メモリ１３に記憶された映像データと、メモリ１４に記憶された音声データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、バス１６を介して、記録用変調器１７に入力される。記録用変調器１７は、入力された映像データまたは音声データに、エラー訂正データの付加やEFM（Eight to Fourteen Modulation）変調などの処理を施し、ディスク１８に出力し、記録させる。ディスク１８は、内蔵型のハードディスク、着脱可能な光ディスクや磁気ディスクなどである。ディスク１８へのデータの記録は、マイクロコンピュータ６の指示により、ディスクコントローラ１９がディスク１８を制御することにより行われる。
【００１６】
ディスク１８に記録されているデータは、再生用復調器２０により、読み出され、EFM復調やエラー訂正などの処理が行われた後、バス１６を介して、映像データはメモリ２１に、音声データはメモリ２２に、それぞれ出力され、記憶される。メモリ２１に記憶された映像データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、映像信号伸張器２３に出力される。同様に、メモリ２２に記憶されている音声データは、読み出され、音声信号伸張器２４に出力される。
【００１７】
映像信号伸張部２３は、入力された圧縮されている映像データに伸張処理を施し、メモリ２５、動き検出回路２６、および映像処理回路２７に出力する。メモリ２５に記憶された映像信号は、動き検出回路２６と映像処理回路２７に出力される。メモリ２５は、動き検出および映像処理において必要なメモリであり、数フィールド分の映像信号を記憶することができる。
【００１８】
動き検出回路２６は、フィールド差分とフレーム差分を適応的に組み合わせ（詳細は後述する）、動き検出を行う。検出された動き検出結果の情報は、結果用メモリ２８に記憶される。映像処理回路２７は、結果用メモリ２８から読み出した動き検出結果の情報と複数のフィールドの映像データを用いて、例えば、フレーム静止画の生成や拡大縮小などの処理を行う。映像処理回路２７からの出力は、D/A変換部２９に出力され、アナログ信号に変換される。アナログ信号に変換された映像データは、映像信号処理部３０に出力される。映像信号処理部３０は、入力された映像信号にエンファンシスなどの処理を施し、コンポジット映像信号として、記録再生装置１に接続されているモニタ４１に出力する。
【００１９】
一方、音声信号伸張器２４に入力された音声データは、伸張処理が施されD/A変換部３１に出力される。D/A変換部３１に入力されたデジタル信号の音声データは、アナログ信号に変換され、音声信号処理部３２に出力され、増幅などの所定の処理が施され、接続されているスピーカ４２に出力される。
【００２０】
操作部３３は、リモートコントローラ、ボタン、ジョグダイヤルなどから構成され、ユーザが所望の処理を記録再生装置１に対して行うときに操作される。マイクロコンピュータ６は、操作部３３からの操作信号に従い、各部を制御する。
【００２１】
図２は、動き検出回路２６の詳細を示すブロック図である。メモリ２５は、３つのフィールドメモリ５１−１乃至５１−３から構成されている。これらのフィールドメモリ５１−１乃至５１−３は、マルチポート構成となっており、後述する動領域の判定用の読み出しと、拡大縮小用の読み出しは、同時刻に行える。映像信号伸張器２３から出力された映像データは、メモリ２５のフィールドメモリ５１−１に入力されるとともに、加算器６１−１にも入力される。フィールドメモリ５１−１に記憶された映像データは、フィールドメモリ５１−２に順次入力され、記憶され、フィールドメモリ５１−２に記憶された映像データは、フィールドメモリ５１−３に順次入力され、記憶される。
【００２２】
従って、時刻ｔにおいて入力された映像データが加算器６１−１に入力されるとき、フィールドメモリ５１−１から出力される映像データは、１フィールド前の時刻ｔ−１に入力された映像データであり、フィールドメモリ５１−２から出力される映像データは２フィールド前の映像データであり、フィールドメモリ５１−３から出力される映像データは、３フィールド前の映像データである。すなわち、１フィールド毎に、フィールドメモリ５１−１からフィールドメモリ５１−２へ、フィールドメモリ５１−２からフィールドメモリ５１−３へと映像データは、流れていく。実際に回路を構成する場合、映像データを移動させるのではなく、メモリ２５内に複数のバンクを設け、そのバンクを切り換えることにより行うようにしても良い。
【００２３】
以下の説明においては、時刻ｔにおいてフィールドメモリ５１−１から出力される映像データをフィールドｎのものとし、動き検出回路２６の加算器６１−１に入力される映像データをフィールドｎ＋１のものとし、フィールドメモリ５１−２から出力される映像データをフィールドｎ−１のものとし、フィールドメモリ５１−３から出力される映像データをフィールドｎ−２のものとする。
【００２４】
加算器６１−１は、映像信号伸張器２３から出力されたフィールドｎ＋１の映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の映像データを減算し（以下、この減算された値をフレーム差分値ａとする）、動領域判定回路６２に出力する。
【００２５】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６１−２とディレイライン部６３−１にも出力される。ディレイライン部６３−１は、加算器６１−２に、フィールドメモリ５１−１から直接供給されるフィールドｎの所定のライン（ラインｍとする）の前のライン（ラインｍ−１とする）の映像データを加算器６１−２に供給する。加算器６１−２は、フィールドｎのラインｍの映像データとラインｍ−１の映像データとを加算し、その値を乗算器６４に出力する。乗算器６４は、入力された値に１／２を乗算し、その値を加算器６１−３に出力する。このようにして、フィールドｎに、フィールドｎ−１に存在するラインの映像データと同位置に存在するラインの映像データが生成される。
【００２６】
加算器６１−３は、フィールドｎの生成されたラインの映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の対応する位置に位置するラインの映像データを減算することにより、フィールド差分値を算出し、動領域判定回路６２に出力する。
【００２７】
フィールドメモリ５１−３から出力されたフィールドｎ−２の映像データは、加算器６１−４とディレイライン部６３−２に入力される。ディレイライン部６３−２は、ディレイライン部６３−１と同様の処理により、例えば、フィールドメモリ５１−３から加算器６１−４に供給されているラインの映像データがラインｍの映像データのとき、その次のラインｍ＋１の映像データを加算器６１−５に供給する。
【００２８】
加算器６１−４は、フィールドメモリ５１−３から供給されるフィールドｎ−２の映像データから、フィールドメモリ５１−１から供給されるフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｃとする）を算出し、動領域判定回路６２に出力する。
【００２９】
加算器６１−５は、ディレイライン部６３−２から出力されたフィールドｎ−２の映像データから、ディレイライン部６３−１から出力されたフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｂとする）を算出し、動領域判定回路６２に出力する。
【００３０】
動領域判定回路６２は、各部において算出された値（入力された値）を用いて、動き領域を検出し、その結果を結果用メモリ２８（図１）に出力する。
【００３１】
図３は、動領域判定回路６２の詳細を示す図である。加算器６１−３から出力されたフィールド差分値は、動領域判定回路６２の絶対値回路７１−１に入力され、絶対値が算出され、比較器７２−１に出力される。比較器７２−１には、しきい値として、しきい値Field_thも入力される。比較器７２−１は、入力されたフィールド差分値の絶対値としきい値Field_thとを比較し、その比較結果として、フィールド差分値の方が大きい場合、動領域の候補を示す値として”１”を、フィールド差分値の方が小さい場合、静止領域の候補を示す値として”０”を、AND回路７４に出力する。
【００３２】
同様に、加算器６１−１から出力されたフレーム差分値ａは、絶対値回路７１−２を介して比較器７２−２に入力され、加算器６１−５から出力されたフレーム差分値ｂは、絶対値回路７１−３を介して比較器７２−３に入力され、加算器６１−４から出力されたフレーム差分値ｃは、絶対値回路７１−４を介して比較器７２−４に入力される。比較器７２−２乃至７２−４には、それぞれしきい値としてしきい値Frame_thも入力されている。比較器７２−２乃至７２−４は、それぞれ、入力されたフレーム差分値と、しきい値Frame_thを比較し、その比較結果として、フレーム差分値の方が大きい場合、動領域候補であることを示す値として”１”を、フレーム差分値の方が小さい場合、静止領域候補であることを示す値として”０”を、OR回路７３に出力する。
【００３３】
OR回路７３は、比較器７２−２乃至７２−４から、それぞれ入力された値の論理和を算出し、AND回路７４に出力する。AND回路７４は、比較器７２−１からの値と、OR回路７３からの値との論理積を算出し、その結果を、動領域判定結果として、結果用メモリ２８に出力する。動領域判定結果としては、動領域と判定された場合、”１”、動領域ではない（静止領域である）と判断された場合、”０”である。
【００３４】
次に、フィールド差分値とフレーム差分値ａ乃至ｃの算出の仕方について説明する。ここで、時刻ｔにおいて動き検出回路２６に入力されるフィールドｎ＋１、フィールドメモリ５１−１から出力されるフィールドｎ、フィールドメモリ５１−２から出力されるフィールドｎ−１、およびフィールドメモリ５１−３から出力されるフィールドｎ−２との擬似的な位置関係を図４に示す。
【００３５】
図４に示したように、映像信号はインターレースに入力されるため、隣あうフィールド間には、１ラインのずれが生じている。すなわち、フィールドｎ−２の一番上に位置するラインをラインｍとし、その次のラインをｍ＋１とすると、フィールドｎ−１の一番上に位置するラインｎは、ラインｍとラインｍ＋１の中間に位置することになる。図４に示したように、所定のフィールド内の所定のライン上に位置する画素を画素Ａ乃至Ｆとする。
【００３６】
図４の一部分を垂直方向に切り出して、時間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む平面で切り出し、その一部を取り出すと図５に示したようになる。このように、映像信号はインターレースに入力されるため、例えば、フィールドｎの画素Ｂと画素Ｃの間に、フィールドｎ−１の画素Ａが位置するという位置関係になる。従って、例えば、図６に示すように、フィールドｎ−１とフィールドｎとのフィールド差分を算出する為には、フィールドｎの画素Ｂと画素Ｃとの間に、フィールドｎの画素Ａに対応する位置に位置する画素Ｇを補間（生成）する必要がある。すなわち、画素Ｂと画素Ｃとを足し合わし、その足し合わされた値の半分（平均）の値が画素Ｇの画素データとなる。
【００３７】
図２に示した動き検出回路２６において、フィールドメモリ５１−１に記憶されてるデータがフィールドｎのものであるとき、フィールドメモリ５１−２に記憶されているデータは、フィールドｎ−１のものである。そのようなときに、フィールドメモリ５１−１から画素Ｃのデータが出力されると、ディレイライン部６３−１からは画素Ｂのデータが出力される。そのため、加算器６１−２では、画素Ｂのデータと画素Ｃのデータとが加算されることになる。その加算されたデータは、乗算器６４に入力され、１／２が乗算されることにより、平均値が算出され、加算器６１−３に出力される。加算器６１−３には、フィールドメモリ５１−２から出力されたフィールドｎ−１の画素Ａのデータも入力され、その入力された画素Ａのデータを、乗算器６４から出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデータ）から減算することにより、フィールド差分値が算出される。
【００３８】
フレーム差分値は、同じライン配列をしているフィールド同士の画素データが用いられて算出される。すなわち、図７に示したように、フィールドｎ−２とフィールドｎ、フィールドｎ−１とフィールドｎ＋１との間で、それぞれフレーム差分値が算出される。例えば、図２に示した動き検出回路２６において、フィールドｎ＋１の画素Ｄのデータが入力されたとき、フィールドメモリ５１−２からフィールドｎ−１の画素Ａのデータが出力される。その結果、加算器６１−１には、画素Ａのデータと画素Ｄのデータとが入力される。加算器６１−１は、画素Ｄのデータから画素Ａのデータを減算することにより、フレーム差分値ａを算出する。
【００３９】
本実施の形態においては、１つのフレーム差分値だけではなく、そのフレーム差分値を算出した画素（注目画素）があるラインの、上下に位置するライン内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，Ｆ）も用いられて、さらにフレーム差分値が算出され、後述する動領域の判定に用いられる。上述したように、画素Ａと画素Ｄとを用いてフレーム差分値が算出される処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆとの間でのフレーム差分値が、それぞれ算出される。
【００４０】
上述したように、フィールドメモリ５１−１からフィールドｎの画素Ｃのデータが出力されているとき、ディレイライン部６３−１からは、画素Ｂのデータが出力されているので、その画素Ｂのデータが用いられる。また、そのとき、フィールドメモリ５１−３からは、画素Ｃに対応する位置に位置する、フィールドｎ−２の画素Ｆのデータが出力される。さらに、ディレイライン部６３−２からは、画素Ｅのデータが出力される。これらの画素データが用いられて画素Ｂと画素Ｅからフレーム差分値ｂ、画素Ｃと画素Ｆとからフレーム差分値ｃが、それぞれ算出される。
【００４１】
図７においては、フィールドｎが基準フィールド（以下、適宜、フィールドメモリ５１−１に記憶されているフィールドことを基準フィールドと記述する）のときのフレーム差分値について説明したが、１フィールド前の、基準フィールドがフィールドｎ−１のときのフレーム差分値について図８を参照して説明する。図８においては、フィールドｎ−２より１フィールド前のフィールドｎ−３上に位置する画素を画素Ｇと画素Ｈとし、フィールドｎ−１上に位置する画素Ａとはことなる画素を画素Ｉとする。フィールドメモリ５１−１にフィールドｎ−１の画素データが記憶されているとき、動き検出回路２６に入力されるフィールドの画素データは、フィールドｎの画素データである。また、フィールドメモリ５１−２には、フィールドｎ−２の画素データが、フィールドメモリ５１−３には、フィールドｎ−３の画素データが、それぞれ記憶されている。
【００４２】
動き検出回路２６にフィールドｎの画素Ｂの画素データが入力されたとき、フィールドメモリ５１−２から、画素Ｂに対応する位置に位置する画素Ｅの画素データが加算器６１−１に出力される。従って、加算器６１−１からは、画素Ｂの画素データから画素Ｅの画素データが減算されることにより、フレーム差分値ａ’（画素Ａと画素Ｄから算出されるフレーム差分値ａと区別するため、ダッシュを付けて表現する。他も同様に表現する）が出力される。同様に、フレーム差分値ｂ’は、画素Ｇと画素Ｉから、フレーム差分値ｃ’は、画素Ｈと画素Ａから、それぞれ算出される。
【００４３】
このように、基準フィールドがフィールドｎのときに、算出されるフレーム差分値ｂは、その１フィールド前（基準フィールドがフィールドｎ−１のとき）のときに、フレーム差分値ａ’として、既に算出されている。同様に、フレーム差分値ｃも、その１フィールド前の処理において、既に算出されている。さらに、これらのフレーム差分値ｂとフレーム差分値ｃを用いて判定される結果、換言すれば、比較器７２−３（図３）と比較器７２−４から出力される比較結果は、既に出されていることになる。既に得られた判定結果を用いることにより、動き検出回路２６、およびその内部の動領域判定回路６２の構成を簡略化することが可能となり、もって、全体の回路構成を小型化することが可能となる。
【００４４】
図９は、上述したことを考慮した動き検出回路２６の構成を示す図であり、図１０は、図９に示した動き検出回路２６の動領域判定回路６２の構成を示す図である。図２に示した動き検出回路２６、図１０に示した動領域判定回路６２と同様の処理を行う部分には、同一の符号を付し、その説明は、適宜省略する。
【００４５】
図９に示した動き検出回路２６は、図２に示した動き検出回路２６のうちの、フィールド差分値を算出するための加算器６１−１、フレーム差分値ａを算出するための加算器６１−２，６１−３、ディレイライン部６３−１、および乗算器６４から構成され、その構成に、フレーム差分値ｂとフレーム差分値ｃとから得られる判定結果を記憶する動領域判定用メモリ８１が動領域判定回路６２に付加された構成とされている。図９に示した構成にした場合、フィールドメモリ５１−３は、動領域を判定するためのデータは記憶しないが（従って省略可能だが）、映像処理回路２７が処理を行う際に必要な画像データが記憶されている。
【００４６】
図１０に示した動領域判定回路６２の構成は、図３に示した動領域判定回路６２から、絶対値回路７１−３、７１−４、および比較器７２−３，７２−４を削除し、代わりに、動領域判定用メモリ８１から供給されるフレーム差分値判定結果が、OR回路７３に直接、および、ディレイライン部９１を介して入力される構成とされている。
【００４７】
次に、図９に示した動き検出回路２６の動作について図１１のフローチャートを参照して説明する。ステップＳ１において、フィールド差分値が算出される。フィールド差分値は、図６を参照して説明したように、例えば、フィールドｎ−１に存在する画素Ａに対応するフィールドｎの位置に、画素Ｇが画素Ｂと画素Ｃとから生成され、その生成された画素Ｇと画素Ａとの差分値が算出されることにより行われる。
【００４８】
すなわち、フィールドメモリ５１−１からフィールドｎの画素データが出力され、加算器６１−２に画素Ｃのデータが入力されると、ディレイライン部６３−１からは、画素Ｂのデータが出力され、フィールドメモリ５１−２からは画素Ａのデータが出力される。従って、加算器６１−２には、画素Ｂと画素Ｃのデータ入力される。加算器６１−２により、画素Ｂと画素Ｃのデータが加算され、乗算器６４により１／２が乗算されることにより、画素Ｂと画素Ｃとの平均値が算出される。加算器６１−３は、算出された画素Ｂと画素Ｃの平均値から、フィールドメモリ５１−２から入力された画素Ａのデータを減算することにより、フィールド差分値を算出する。
【００４９】
このようにして、ステップＳ１において、フィールド差分値が算出されると、ステップＳ２において、フレーム差分値ａが算出される。フレーム差分値ａは、図７を参照して説明したように、例えば、フィールドｎ−１の画素Ａとフィールドｎ＋１の画素Ｄとの差分値を算出することにより行われる。すなわち、動き検出回路２６にフィールドｎ＋１の画素Ｄのデータ入力されたとき、その画素Ｄの位置に対応するフィールドｎ−１の画素Ａのデータがフィールドメモリ５１−２から出力される。従って、加算器６１−１には、画素Ａと画素Ｄのデータが入力される。加算器６１−１は、画素Ｄのデータから画素Ａのデータを減算することにより、フレーム差分値ａを算出する。
【００５０】
このようにして、ステップＳ２において、フレーム差分値ａが算出されると、ステップＳ３において、動領域判定回路６２（図１０）により動領域の判定が行われる。動領域判定回路６２の絶対値回路７１−１には、加算器６１−３から出力されたフィールド差分値が入力される。絶対値回路７１−１は、入力されたフィールド差分値の絶対値を算出し、比較器７２−１に出力する。比較器７２−１は、入力された絶対値が取られたフィールド差分値と予め設定されているしきい値Field_thとを比較する。その比較結果が、フィールド差分値の方がしきい値Field_thより大きいと判断された場合、動領域の候補であることを示す”１”が、しきい値Field_thの方がフィールド差分値より大きいと判断された場合、静止領域の候補であることを示す”０”が、AND回路７４に出力される。
【００５１】
動領域判定回路６２の絶対値回路７１−２には、加算器６１−１から出力されたフレーム差分値ａが入力される。絶対値回路７１−２は、入力されたフレーム差分値ａの絶対値を算出し、比較器７２−２に出力する。比較器７２−２は入力された絶対値の取られたフレーム差分値ａと、予め設定されているしきい値Frame_thとを比較する。その比較結果が、フレーム差分値の方がしきい値Frame_thより大きいと判断された場合、動領域の候補であることを示す”１”が、しきい値Frame_thの方がフレーム差分値より大きいと判断された場合、静止領域の候補であることを示す”０”が、OR回路７３に出力される。
【００５２】
本実施の形態においては、３つのフレーム差分値が用いられて動領域の判定が行なわれる。そのため、OR回路７３は、３つのフレーム差分値から得られる動領域の判定結果が、全て動領域ではない（静止領域である）と判断された場合のみ、静止領域であるという判定結果をAND回路７４に出力する。３つのフレーム差分値のうち、１つのフレーム差分値ａは、加算器６１−１から供給される、換言すれば、動き検出回路２６に入力されたフィールドの画素データから算出される。しかしながら、他のフレーム差分値ｂとフレーム差分値ｃは、図８を参照して説明したように、フレーム差分値ａが算出される１フィールド前に、既に算出されている。さらに、算出された結果が用いられ、比較器７２−２により、動領域であるか否かの判定もされている。そして、これらの判定結果は、動領域判定用メモリ８１に記憶されている。
【００５３】
従って、OR回路７３に入力される３つのフレーム差分値からの判定結果のうち、２つの判定結果は、動領域判定用メモリ８１に記憶されている判定結果が用いられる。例えば、フレーム差分値ｃ（図７に示した例の場合、画素Ｂと画素Ｅとから算出される差分値）から得られる判定結果は、動領域判用メモリ８１から直接供給され、フレーム差分値ｂ（図７に示した例の場合、画素Ｃと画素Ｆとから算出される差分値）から得られる判定結果は、ディレイライン部９１を介して動領域判定用メモリ８１から供給される。
【００５４】
OR回路７３は、入力された３つのフレーム差分値から得られる判定結果の論理和を算出し、AND回路７４に出力する。AND回路７４は、比較器７２−１から入力された判定結果と、OR回路７３から入力された判定結果の論理積を算出し、その結果を動領域判定の結果とし、結果用メモリ２８に出力する。
【００５５】
ステップＳ４において、判定結果の記憶が行われる。動領域判定回路６２の比較器７２−２から出力される判定結果は、OR回路７３に出力されるとともに、動領域判定用メモリ８１にも出力され、記憶される。動領域判定用メモリ８１に記憶された判定結果は、上述したように、ステップＳ３において行われる動領域の判定処理の際に用いられる。
【００５６】
このように、既に算出、および判定された結果を記憶し、新たな判定を行う際に用いるようにすることにより、動き検出を行う回路の構成を簡略化することが可能となる。また、フィールド差分値とフレーム差分値を併用して動き検出を行うことにより、より正確な動き検出を行うことが可能となる。
【００５７】
このようにして、動き検出回路２６により検出され、結果用メモリ２８に記憶された動領域判定結果は、映像処理回路２７において、例えば、画像の拡大または縮小の処理を行う際などに用いられる。図１２を参照して、映像処理回路２７が行う処理のうち、画像の拡大または縮小する際の処理について説明する。フィールドｎ−１とフィールドｎにより１枚の画像が作成されるわけだが、その作成される画像に対して拡大または縮小の処理を施す場合には、基本的に４点補間により、所望の画素データが算出（補間）される。その際、動きのある場合と動きのない場合とで、所望の画素データを算出するのに用いられる画素データの選び方が異なる。
【００５８】
すなわち、図１２（Ａ）に示したように、フィールドｎ−１に存在する画素Ａに対して、フィールドｎに存在する画素Ｂと画素Ｃが動いているという情報が、結果用メモリ２８に記憶されている判定結果から得られる場合、補間したい画素データ（画素Ｚのデータ）は、画素Ｂのデータと画素Ｃのデータが用いられて算出される。画素Ａ乃至Ｃのデータは、必要に応じメモリ２５（フィールドメモリ５１−１乃至５３−３の対応するメモリ）から読み出される。
【００５９】
一方、図１２（Ｂ）に示したように、フィールドｎ−１に存在する画素Ａに対して、画素Ｂと画素Ｃが動いていない（静止している）という情報が、結果用メモリ２８に記憶されている判定結果から得られる場合、画素Ｚのデータは、画素Ａのデータと画素Ｂのデータが用いられて算出される。このように、所定の画素に対して動きがあるか否かを判断し、換言すれば、結果用メモリ２８に記憶されている判定結果に基づいて、補間する画素データを算出するのに用いる画素データを選択することにより、特に、静止領域での補間後の解像度を向上させることができる。
【００６０】
上述した実施の形態においては、動き検出回路２６の動領域判定用メモリ８１とフィールドメモリ５１−１乃至５１−３（メモリ２５）は、異なるメモリとして設けたが、動領域判定用メモリ８１に記憶される判定結果を、メモリ２５に記憶させるようにし、動領域判定用メモリ８１を動き検出回路２６から削除した構成としても良い。
【００６１】
図１０に示した動領域判定回路６２においては、動領域判定用メモリ８１からフレーム差分値の判定結果を１つ読み出し、ディレイライン部９１により、もう１つのフレーム差分値の判定結果を得る構成としたが、動領域判定用メモリ８１に、２つの読み出し用のポートを設け、２つとも同時に読み出せるようにしても良い。そのようにした場合、ディレイライン部９１は削除され、OR回路７３には、２つのフレーム差分値からの判定結果が、直接動領域判定用メモリ８１から供給される構成となる。また、動領域判定用メモリ８１から時分割に２つの判定結果を読み出すことにより、ディレイライン部９１を削除した構成としても良い。
【００６２】
上述した実施の形態においては、映像処理回路２７が画像の拡大、または、縮小などの処理を行うようにしたが、マイクロコンピュータ６も、そのような処理ができるようにしても良い。マイクロコンピュータ６が、画像処理を行う場合、メモリ２５に記憶されている画像データと、結果用メモリ２８に記憶されている判定結果を用いて行う。そして、処理された画像データは、マイクロコンピュータ６経由で他の装置、例えば、ハードディスク、メモリスティック、IEEE1394などで接続されている装置などに出力される。
【００６３】
上述した実施の形態においては、３つのフレーム差分値を用いる場合を説明したが、さらに多くのフレーム差分値を用いて、動領域の判定を行うようにしても良い。例えば、図１３に示すように、画素Ｈと画素Ｊ、画素Ｉと画素Ｋとから、それぞれ算出されるフレーム差分値を用いるようにしても良い。また、上述した実施の形態においては、フィールド差分値を１つしか用いない場合を説明したが、複数のフィールド差分値を用いるようにしても良い。また、フィールド差分値も、動領域判定用メモリ８１に記憶させるようにし、後の処理により必要に応じ読み出せるようにしておいても良い。このように、動領域の判定に用いるフィールド差分値、およびフレーム差分値を増やした場合においても、本発明を適用することにより、メモリポートの増大や回路規模の拡大などが生じることはない。
【００６４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアとしての記録再生装置１に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどにインストールされる。
【００６５】
次に、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００６６】
プログラムは、図１４（Ａ）に示すように、パーソナルコンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【００６７】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM（Compact Disk-Read Only Memory）１１２、ＭＯ（Magneto-Optical）１１３、DVD（Digital Versatile Disk）１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウェアとして提供することができる。
【００６８】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、デジタル衛星放送用の人工衛星１２２を介してパーソナルコンピュータ１２３に無線で転送したり、ローカルエリアネットワーク、インターネットといったネットワーク１３１を介して、パーソナルコンピュータ１２３に有線で転送し、パーソナルコンピュータ１２３において、内蔵するハードディスクなどに格納させることができる。
【００６９】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を有するものである。
【００７０】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７１】
【発明の効果】
以上の如く、本発明によれば、動領域の判定の精度を向上させることが可能になるとともに、その回路の構成を簡略化することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成を示すブロック図である。
【図２】図１の動き検出回路２６の内部構成を示すブロック図である。
【図３】図２の動領域判定回路６２の内部構成を示すブロック図である。
【図４】フィールドと画素との関係を説明する図である。
【図５】時間的に示した各画素の位置関係を説明する図である。
【図６】フィールド差分を説明する図である。
【図７】フレーム差分を説明する図である。
【図８】フレーム差分を説明する図である。
【図９】動き検出回路２６の他の内部構成を示すブロック図である。
【図１０】図８の動領域判定回路６２の内部構成を示すブロック図である。
【図１１】図９の動き検出回路２６の動作を説明するフローチャートである。
【図１２】画像の拡大、縮小の際の処理について説明する図である。
【図１３】フレーム差分値を説明する図である。
【図１４】媒体を説明する図である。
【符号の説明】
１ 記録再生装置， ５１ フィールドメモリ， ６１ 加算器、 ６２ 動領域判定回路， ６３ ディレイライン部， ６４ 乗算器， ７１ 絶対値回路， ７２ 比較器， ７３ OR回路， ７４ AND回路， ８１ 動領域判定用メモリ
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、フレーム差分値とフィールド差分値とを併用して動き検出を行い、その検出した結果を記憶し、あらたな動き検出を行う際、その記憶された結果も含めて動き検出を行う画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
入力された画像データから動きを検出する手法として、フィールド間での差分を用いる方法と、フレーム間での差分を用いる方法とがあり、共に、簡単な回路構成で実現できることから、一般的に用いられている。
【０００３】
【発明が解決しようとする課題】
画像データがインターレースに入力される場合、フィールド差分だけを用いた場合、連続する２枚のフィールドには、上下方向に１ライン分のずれがある。従って、差分を算出するために、一方のフィールドは、隣合うラインから、その間に位置する画素を補間により算出し上述した１ライン分の補正を行った上で、他方のフィールドとの差分を算出する。このように、一方のフィールドからは、補間された画素データを用いてフィールド差分値を算出することになり、その補間のために、画像にぼけが生じてしまい、その結果、動き検出の精度が落ちてしまうといった課題があった。
【０００４】
また、動き検出に、フレーム間での差分を用いる方法を適用した場合、差分を算出する画像の間には、２フィールドの開きがある。従って、フレーム差分を算出する２枚の画像が一致している場合でも、その２枚の画像の間にある画像も、同様に一致しているとは限らず、このことが動き検出を行う上で、検出漏れの原因となるという課題があった。
【０００５】
そこで、フィールド差分値とフレーム差分値とを併用して動き検出を行うことにより、動き検出の精度を向上させることができる。しかしながら、フィールド差分値とフレーム差分値とを併用して動き検出を行うと、フィールド差分値、または、フレーム差分値の、どちらか一方を用いて動き検出を行う場合に比べて、多くの画素データを必要とし、それらを同時に読み出す為には、画素データを記憶させておくためのポート数が多く必要となる。そのため、回路規模が大きくなるといった課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、フレーム差分値とフィールド差分値とを併用して動き検出を行い、その検出した結果を記憶し、あらたな動き検出を行う際、その記憶された結果も含めて動き検出を行うことにより、回路構成を簡略化し、回路規模を小さくすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面の画像処理装置は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出するフィールド差分値算出手段と、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出するフレーム差分値算出手段と、前記フレーム差分値に対応するしきい値と、前記フレーム差分値算出手段により算出された前記フレーム差分値を比較し、第１の比較結果を出力する第１の比較手段と、前記フィールド差分値に対応するしきい値と、前記フィールド差分値算出手段により算出された前記フィールド差分値を比較し、第２の比較結果を出力する第２の比較手段と、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出する第４の比較結果算出手段と、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出する論理和算出手段と、前記第１の比較手段からの第１の比較結果と、前記論理和算出手段からの論理和との論理積を算出する論理積算出手段と、前記第２の比較手段からの前記第２の比較結果を前記第３の比較結果として記憶する前記第２の記憶手段とを備える。
【０００９】
本発明の一側面の情報処理方法は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、第３の比較結果を記憶する第２の記憶手段とを備える情報処理装置の情報処理方法において、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、その論理和と前記第１の比較結果との論理積を算出し、前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させるステップを含む。
【００１０】
本発明の一側面の記録媒体は、第１の画像信号を入力する入力手段と、前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、第３の比較結果を記憶する第２の記憶手段とを備える情報処理装置を制御するコンピュータが読み取り可能なプログラムであり、前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、その論理和と前記第１の比較結果との論理積を算出し、前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させるステップを含むプログラムが記録されている。
【００１１】
本発明においては、既に算出、および判定された結果が記憶され、新たな判定を行う際に用いられる。また、フィールド差分値とフレーム差分値が併用されて動き検出が行われる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置１の一実施の形態の構成を示すブロック図である。アンテナ２により受信された番組は、チューナ３に出力され、ユーザが所望とする番組の信号のみ選択され、スイッチ４に出力される。スイッチ４は、外部入力端子５に接続されている図示されていない装置からのデータも入力される。スイッチ４は、マイクロコンピュータ６の指示により、チューナ３からの出力、または、外部入力端子５からの出力のうち、どちらか一方を選択し、映像信号を映像信号処理部７に、音声信号を音声信号処理部８に、それぞれ出力する。
【００１３】
映像信号処理部７は、入力された映像信号にAGC（Automatic Gain Control）などの処理を施し、A/D（Analog/Digital）変換部９に出力する。同様に、音声信号処理部８は、入力された音声信号に所定の処理を施し、A/D変換部１０に出力する。A/D変換部９は、入力された映像信号を、A/D変換部１０は、入力された音声信号を、それぞれ、デジタル信号に変換する。A/D変換部９によりデジタル信号に変換された映像信号は、映像信号圧縮器１１に出力され、A/D変換部１０によりデジタル信号に変換された音声信号は、音声信号圧縮器１２に出力される。
【００１４】
映像信号圧縮器１１に入力された映像信号は、例えば、MPEG（Moving Picture Experts Group）２方式の圧縮方式が用いられて、圧縮され、メモリ１３に出力され、記憶される。同様に、音声信号圧縮器１２に入力された音声信号は、例えば、MPEGオーディオ方式の圧縮方式が用いられて、圧縮され、メモリ１４に出力され、記憶される。
【００１５】
メモリ１３に記憶された映像データと、メモリ１４に記憶された音声データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、バス１６を介して、記録用変調器１７に入力される。記録用変調器１７は、入力された映像データまたは音声データに、エラー訂正データの付加やEFM（Eight to Fourteen Modulation）変調などの処理を施し、ディスク１８に出力し、記録させる。ディスク１８は、内蔵型のハードディスク、着脱可能な光ディスクや磁気ディスクなどである。ディスク１８へのデータの記録は、マイクロコンピュータ６の指示により、ディスクコントローラ１９がディスク１８を制御することにより行われる。
【００１６】
ディスク１８に記録されているデータは、再生用復調器２０により、読み出され、EFM復調やエラー訂正などの処理が行われた後、バス１６を介して、映像データはメモリ２１に、音声データはメモリ２２に、それぞれ出力され、記憶される。メモリ２１に記憶された映像データは、マイクロコンピュータ６の指示に従い、メモリコントローラ１５がコントロールすることにより、読み出され、映像信号伸張器２３に出力される。同様に、メモリ２２に記憶されている音声データは、読み出され、音声信号伸張器２４に出力される。
【００１７】
映像信号伸張部２３は、入力された圧縮されている映像データに伸張処理を施し、メモリ２５、動き検出回路２６、および映像処理回路２７に出力する。メモリ２５に記憶された映像信号は、動き検出回路２６と映像処理回路２７に出力される。メモリ２５は、動き検出および映像処理において必要なメモリであり、数フィールド分の映像信号を記憶することができる。
【００１８】
動き検出回路２６は、フィールド差分とフレーム差分を適応的に組み合わせ（詳細は後述する）、動き検出を行う。検出された動き検出結果の情報は、結果用メモリ２８に記憶される。映像処理回路２７は、結果用メモリ２８から読み出した動き検出結果の情報と複数のフィールドの映像データを用いて、例えば、フレーム静止画の生成や拡大縮小などの処理を行う。映像処理回路２７からの出力は、D/A変換部２９に出力され、アナログ信号に変換される。アナログ信号に変換された映像データは、映像信号処理部３０に出力される。映像信号処理部３０は、入力された映像信号にエンファンシスなどの処理を施し、コンポジット映像信号として、記録再生装置１に接続されているモニタ４１に出力する。
【００１９】
一方、音声信号伸張器２４に入力された音声データは、伸張処理が施されD/A変換部３１に出力される。D/A変換部３１に入力されたデジタル信号の音声データは、アナログ信号に変換され、音声信号処理部３２に出力され、増幅などの所定の処理が施され、接続されているスピーカ４２に出力される。
【００２０】
操作部３３は、リモートコントローラ、ボタン、ジョグダイヤルなどから構成され、ユーザが所望の処理を記録再生装置１に対して行うときに操作される。マイクロコンピュータ６は、操作部３３からの操作信号に従い、各部を制御する。
【００２１】
図２は、動き検出回路２６の詳細を示すブロック図である。メモリ２５は、３つのフィールドメモリ５１−１乃至５１−３から構成されている。これらのフィールドメモリ５１−１乃至５１−３は、マルチポート構成となっており、後述する動領域の判定用の読み出しと、拡大縮小用の読み出しは、同時刻に行える。映像信号伸張器２３から出力された映像データは、メモリ２５のフィールドメモリ５１−１に入力されるとともに、加算器６１−１にも入力される。フィールドメモリ５１−１に記憶された映像データは、フィールドメモリ５１−２に順次入力され、記憶され、フィールドメモリ５１−２に記憶された映像データは、フィールドメモリ５１−３に順次入力され、記憶される。
【００２２】
従って、時刻ｔにおいて入力された映像データが加算器６１−１に入力されるとき、フィールドメモリ５１−１から出力される映像データは、１フィールド前の時刻ｔ−１に入力された映像データであり、フィールドメモリ５１−２から出力される映像データは２フィールド前の映像データであり、フィールドメモリ５１−３から出力される映像データは、３フィールド前の映像データである。すなわち、１フィールド毎に、フィールドメモリ５１−１からフィールドメモリ５１−２へ、フィールドメモリ５１−２からフィールドメモリ５１−３へと映像データは、流れていく。実際に回路を構成する場合、映像データを移動させるのではなく、メモリ２５内に複数のバンクを設け、そのバンクを切り換えることにより行うようにしても良い。
【００２３】
以下の説明においては、時刻ｔにおいてフィールドメモリ５１−１から出力される映像データをフィールドｎのものとし、動き検出回路２６の加算器６１−１に入力される映像データをフィールドｎ＋１のものとし、フィールドメモリ５１−２から出力される映像データをフィールドｎ−１のものとし、フィールドメモリ５１−３から出力される映像データをフィールドｎ−２のものとする。
【００２４】
加算器６１−１は、映像信号伸張器２３から出力されたフィールドｎ＋１の映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の映像データを減算し（以下、この減算された値をフレーム差分値ａとする）、動領域判定回路６２に出力する。
【００２５】
フィールドメモリ５１−１から出力されたフィールドｎの映像データは、加算器６１−２とディレイライン部６３−１にも出力される。ディレイライン部６３−１は、加算器６１−２に、フィールドメモリ５１−１から直接供給されるフィールドｎの所定のライン（ラインｍとする）の前のライン（ラインｍ−１とする）の映像データを加算器６１−２に供給する。加算器６１−２は、フィールドｎのラインｍの映像データとラインｍ−１の映像データとを加算し、その値を乗算器６４に出力する。乗算器６４は、入力された値に１／２を乗算し、その値を加算器６１−３に出力する。このようにして、フィールドｎに、フィールドｎ−１に存在するラインの映像データと同位置に存在するラインの映像データが生成される。
【００２６】
加算器６１−３は、フィールドｎの生成されたラインの映像データから、フィールドメモリ５１−２から出力されたフィールドｎ−１の対応する位置に位置するラインの映像データを減算することにより、フィールド差分値を算出し、動領域判定回路６２に出力する。
【００２７】
フィールドメモリ５１−３から出力されたフィールドｎ−２の映像データは、加算器６１−４とディレイライン部６３−２に入力される。ディレイライン部６３−２は、ディレイライン部６３−１と同様の処理により、例えば、フィールドメモリ５１−３から加算器６１−４に供給されているラインの映像データがラインｍの映像データのとき、その次のラインｍ＋１の映像データを加算器６１−５に供給する。
【００２８】
加算器６１−４は、フィールドメモリ５１−３から供給されるフィールドｎ−２の映像データから、フィールドメモリ５１−１から供給されるフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｃとする）を算出し、動領域判定回路６２に出力する。
【００２９】
加算器６１−５は、ディレイライン部６３−２から出力されたフィールドｎ−２の映像データから、ディレイライン部６３−１から出力されたフィールドｎの映像データを減算することにより、フレーム差分値（以下、フレーム差分値ｂとする）を算出し、動領域判定回路６２に出力する。
【００３０】
動領域判定回路６２は、各部において算出された値（入力された値）を用いて、動き領域を検出し、その結果を結果用メモリ２８（図１）に出力する。
【００３１】
図３は、動領域判定回路６２の詳細を示す図である。加算器６１−３から出力されたフィールド差分値は、動領域判定回路６２の絶対値回路７１−１に入力され、絶対値が算出され、比較器７２−１に出力される。比較器７２−１には、しきい値として、しきい値Field_thも入力される。比較器７２−１は、入力されたフィールド差分値の絶対値としきい値Field_thとを比較し、その比較結果として、フィールド差分値の方が大きい場合、動領域の候補を示す値として”１”を、フィールド差分値の方が小さい場合、静止領域の候補を示す値として”０”を、AND回路７４に出力する。
【００３２】
同様に、加算器６１−１から出力されたフレーム差分値ａは、絶対値回路７１−２を介して比較器７２−２に入力され、加算器６１−５から出力されたフレーム差分値ｂは、絶対値回路７１−３を介して比較器７２−３に入力され、加算器６１−４から出力されたフレーム差分値ｃは、絶対値回路７１−４を介して比較器７２−４に入力される。比較器７２−２乃至７２−４には、それぞれしきい値としてしきい値Frame_thも入力されている。比較器７２−２乃至７２−４は、それぞれ、入力されたフレーム差分値と、しきい値Frame_thを比較し、その比較結果として、フレーム差分値の方が大きい場合、動領域候補であることを示す値として”１”を、フレーム差分値の方が小さい場合、静止領域候補であることを示す値として”０”を、OR回路７３に出力する。
【００３３】
OR回路７３は、比較器７２−２乃至７２−４から、それぞれ入力された値の論理和を算出し、AND回路７４に出力する。AND回路７４は、比較器７２−１からの値と、OR回路７３からの値との論理積を算出し、その結果を、動領域判定結果として、結果用メモリ２８に出力する。動領域判定結果としては、動領域と判定された場合、”１”、動領域ではない（静止領域である）と判断された場合、”０”である。
【００３４】
次に、フィールド差分値とフレーム差分値ａ乃至ｃの算出の仕方について説明する。ここで、時刻ｔにおいて動き検出回路２６に入力されるフィールドｎ＋１、フィールドメモリ５１−１から出力されるフィールドｎ、フィールドメモリ５１−２から出力されるフィールドｎ−１、およびフィールドメモリ５１−３から出力されるフィールドｎ−２との擬似的な位置関係を図４に示す。
【００３５】
図４に示したように、映像信号はインターレースに入力されるため、隣あうフィールド間には、１ラインのずれが生じている。すなわち、フィールドｎ−２の一番上に位置するラインをラインｍとし、その次のラインをｍ＋１とすると、フィールドｎ−１の一番上に位置するラインｎは、ラインｍとラインｍ＋１の中間に位置することになる。図４に示したように、所定のフィールド内の所定のライン上に位置する画素を画素Ａ乃至Ｆとする。
【００３６】
図４の一部分を垂直方向に切り出して、時間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む平面で切り出し、その一部を取り出すと図５に示したようになる。このように、映像信号はインターレースに入力されるため、例えば、フィールドｎの画素Ｂと画素Ｃの間に、フィールドｎ−１の画素Ａが位置するという位置関係になる。従って、例えば、図６に示すように、フィールドｎ−１とフィールドｎとのフィールド差分を算出する為には、フィールドｎの画素Ｂと画素Ｃとの間に、フィールドｎの画素Ａに対応する位置に位置する画素Ｇを補間（生成）する必要がある。すなわち、画素Ｂと画素Ｃとを足し合わし、その足し合わされた値の半分（平均）の値が画素Ｇの画素データとなる。
【００３７】
図２に示した動き検出回路２６において、フィールドメモリ５１−１に記憶されてるデータがフィールドｎのものであるとき、フィールドメモリ５１−２に記憶されているデータは、フィールドｎ−１のものである。そのようなときに、フィールドメモリ５１−１から画素Ｃのデータが出力されると、ディレイライン部６３−１からは画素Ｂのデータが出力される。そのため、加算器６１−２では、画素Ｂのデータと画素Ｃのデータとが加算されることになる。その加算されたデータは、乗算器６４に入力され、１／２が乗算されることにより、平均値が算出され、加算器６１−３に出力される。加算器６１−３には、フィールドメモリ５１−２から出力されたフィールドｎ−１の画素Ａのデータも入力され、その入力された画素Ａのデータを、乗算器６４から出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデータ）から減算することにより、フィールド差分値が算出される。
【００３８】
フレーム差分値は、同じライン配列をしているフィールド同士の画素データが用いられて算出される。すなわち、図７に示したように、フィールドｎ−２とフィールドｎ、フィールドｎ−１とフィールドｎ＋１との間で、それぞれフレーム差分値が算出される。例えば、図２に示した動き検出回路２６において、フィールドｎ＋１の画素Ｄのデータが入力されたとき、フィールドメモリ５１−２からフィールドｎ−１の画素Ａのデータが出力される。その結果、加算器６１−１には、画素Ａのデータと画素Ｄのデータとが入力される。加算器６１−１は、画素Ｄのデータから画素Ａのデータを減算することにより、フレーム差分値ａを算出する。
【００３９】
本実施の形態においては、１つのフレーム差分値だけではなく、そのフレーム差分値を算出した画素（注目画素）があるラインの、上下に位置するライン内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，Ｆ）も用いられて、さらにフレーム差分値が算出され、後述する動領域の判定に用いられる。上述したように、画素Ａと画素Ｄとを用いてフレーム差分値が算出される処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆとの間でのフレーム差分値が、それぞれ算出される。
【００４０】
上述したように、フィールドメモリ５１−１からフィールドｎの画素Ｃのデータが出力されているとき、ディレイライン部６３−１からは、画素Ｂのデータが出力されているので、その画素Ｂのデータが用いられる。また、そのとき、フィールドメモリ５１−３からは、画素Ｃに対応する位置に位置する、フィールドｎ−２の画素Ｆのデータが出力される。さらに、ディレイライン部６３−２からは、画素Ｅのデータが出力される。これらの画素データが用いられて画素Ｂと画素Ｅからフレーム差分値ｂ、画素Ｃと画素Ｆとからフレーム差分値ｃが、それぞれ算出される。
【００４１】
図７においては、フィールドｎが基準フィールド（以下、適宜、フィールドメモリ５１−１に記憶されているフィールドことを基準フィールドと記述する）のときのフレーム差分値について説明したが、１フィールド前の、基準フィールドがフィールドｎ−１のときのフレーム差分値について図８を参照して説明する。図８においては、フィールドｎ−２より１フィールド前のフィールドｎ−３上に位置する画素を画素Ｇと画素Ｈとし、フィールドｎ−１上に位置する画素Ａとはことなる画素を画素Ｉとする。フィールドメモリ５１−１にフィールドｎ−１の画素データが記憶されているとき、動き検出回路２６に入力されるフィールドの画素データは、フィールドｎの画素データである。また、フィールドメモリ５１−２には、フィールドｎ−２の画素データが、フィールドメモリ５１−３には、フィールドｎ−３の画素データが、それぞれ記憶されている。
【００４２】
動き検出回路２６にフィールドｎの画素Ｂの画素データが入力されたとき、フィールドメモリ５１−２から、画素Ｂに対応する位置に位置する画素Ｅの画素データが加算器６１−１に出力される。従って、加算器６１−１からは、画素Ｂの画素データから画素Ｅの画素データが減算されることにより、フレーム差分値ａ’（画素Ａと画素Ｄから算出されるフレーム差分値ａと区別するため、ダッシュを付けて表現する。他も同様に表現する）が出力される。同様に、フレーム差分値ｂ’は、画素Ｇと画素Ｉから、フレーム差分値ｃ’は、画素Ｈと画素Ａから、それぞれ算出される。
【００４３】
このように、基準フィールドがフィールドｎのときに、算出されるフレーム差分値ｂは、その１フィールド前（基準フィールドがフィールドｎ−１のとき）のときに、フレーム差分値ａ’として、既に算出されている。同様に、フレーム差分値ｃも、その１フィールド前の処理において、既に算出されている。さらに、これらのフレーム差分値ｂとフレーム差分値ｃを用いて判定される結果、換言すれば、比較器７２−３（図３）と比較器７２−４から出力される比較結果は、既に出されていることになる。既に得られた判定結果を用いることにより、動き検出回路２６、およびその内部の動領域判定回路６２の構成を簡略化することが可能となり、もって、全体の回路構成を小型化することが可能となる。
【００４４】
図９は、上述したことを考慮した動き検出回路２６の構成を示す図であり、図１０は、図９に示した動き検出回路２６の動領域判定回路６２の構成を示す図である。図２に示した動き検出回路２６、図１０に示した動領域判定回路６２と同様の処理を行う部分には、同一の符号を付し、その説明は、適宜省略する。
【００４５】
図９に示した動き検出回路２６は、図２に示した動き検出回路２６のうちの、フィールド差分値を算出するための加算器６１−１、フレーム差分値ａを算出するための加算器６１−２，６１−３、ディレイライン部６３−１、および乗算器６４から構成され、その構成に、フレーム差分値ｂとフレーム差分値ｃとから得られる判定結果を記憶する動領域判定用メモリ８１が動領域判定回路６２に付加された構成とされている。図９に示した構成にした場合、フィールドメモリ５１−３は、動領域を判定するためのデータは記憶しないが（従って省略可能だが）、映像処理回路２７が処理を行う際に必要な画像データが記憶されている。
【００４６】
図１０に示した動領域判定回路６２の構成は、図３に示した動領域判定回路６２から、絶対値回路７１−３、７１−４、および比較器７２−３，７２−４を削除し、代わりに、動領域判定用メモリ８１から供給されるフレーム差分値判定結果が、OR回路７３に直接、および、ディレイライン部９１を介して入力される構成とされている。
【００４７】
次に、図９に示した動き検出回路２６の動作について図１１のフローチャートを参照して説明する。ステップＳ１において、フィールド差分値が算出される。フィールド差分値は、図６を参照して説明したように、例えば、フィールドｎ−１に存在する画素Ａに対応するフィールドｎの位置に、画素Ｇが画素Ｂと画素Ｃとから生成され、その生成された画素Ｇと画素Ａとの差分値が算出されることにより行われる。
【００４８】
すなわち、フィールドメモリ５１−１からフィールドｎの画素データが出力され、加算器６１−２に画素Ｃのデータが入力されると、ディレイライン部６３−１からは、画素Ｂのデータが出力され、フィールドメモリ５１−２からは画素Ａのデータが出力される。従って、加算器６１−２には、画素Ｂと画素Ｃのデータ入力される。加算器６１−２により、画素Ｂと画素Ｃのデータが加算され、乗算器６４により１／２が乗算されることにより、画素Ｂと画素Ｃとの平均値が算出される。加算器６１−３は、算出された画素Ｂと画素Ｃの平均値から、フィールドメモリ５１−２から入力された画素Ａのデータを減算することにより、フィールド差分値を算出する。
【００４９】
このようにして、ステップＳ１において、フィールド差分値が算出されると、ステップＳ２において、フレーム差分値ａが算出される。フレーム差分値ａは、図７を参照して説明したように、例えば、フィールドｎ−１の画素Ａとフィールドｎ＋１の画素Ｄとの差分値を算出することにより行われる。すなわち、動き検出回路２６にフィールドｎ＋１の画素Ｄのデータ入力されたとき、その画素Ｄの位置に対応するフィールドｎ−１の画素Ａのデータがフィールドメモリ５１−２から出力される。従って、加算器６１−１には、画素Ａと画素Ｄのデータが入力される。加算器６１−１は、画素Ｄのデータから画素Ａのデータを減算することにより、フレーム差分値ａを算出する。
【００５０】
このようにして、ステップＳ２において、フレーム差分値ａが算出されると、ステップＳ３において、動領域判定回路６２（図１０）により動領域の判定が行われる。動領域判定回路６２の絶対値回路７１−１には、加算器６１−３から出力されたフィールド差分値が入力される。絶対値回路７１−１は、入力されたフィールド差分値の絶対値を算出し、比較器７２−１に出力する。比較器７２−１は、入力された絶対値が取られたフィールド差分値と予め設定されているしきい値Field_thとを比較する。その比較結果が、フィールド差分値の方がしきい値Field_thより大きいと判断された場合、動領域の候補であることを示す”１”が、しきい値Field_thの方がフィールド差分値より大きいと判断された場合、静止領域の候補であることを示す”０”が、AND回路７４に出力される。
【００５１】
動領域判定回路６２の絶対値回路７１−２には、加算器６１−１から出力されたフレーム差分値ａが入力される。絶対値回路７１−２は、入力されたフレーム差分値ａの絶対値を算出し、比較器７２−２に出力する。比較器７２−２は入力された絶対値の取られたフレーム差分値ａと、予め設定されているしきい値Frame_thとを比較する。その比較結果が、フレーム差分値の方がしきい値Frame_thより大きいと判断された場合、動領域の候補であることを示す”１”が、しきい値Frame_thの方がフレーム差分値より大きいと判断された場合、静止領域の候補であることを示す”０”が、OR回路７３に出力される。
【００５２】
本実施の形態においては、３つのフレーム差分値が用いられて動領域の判定が行なわれる。そのため、OR回路７３は、３つのフレーム差分値から得られる動領域の判定結果が、全て動領域ではない（静止領域である）と判断された場合のみ、静止領域であるという判定結果をAND回路７４に出力する。３つのフレーム差分値のうち、１つのフレーム差分値ａは、加算器６１−１から供給される、換言すれば、動き検出回路２６に入力されたフィールドの画素データから算出される。しかしながら、他のフレーム差分値ｂとフレーム差分値ｃは、図８を参照して説明したように、フレーム差分値ａが算出される１フィールド前に、既に算出されている。さらに、算出された結果が用いられ、比較器７２−２により、動領域であるか否かの判定もされている。そして、これらの判定結果は、動領域判定用メモリ８１に記憶されている。
【００５３】
従って、OR回路７３に入力される３つのフレーム差分値からの判定結果のうち、２つの判定結果は、動領域判定用メモリ８１に記憶されている判定結果が用いられる。例えば、フレーム差分値ｃ（図７に示した例の場合、画素Ｂと画素Ｅとから算出される差分値）から得られる判定結果は、動領域判用メモリ８１から直接供給され、フレーム差分値ｂ（図７に示した例の場合、画素Ｃと画素Ｆとから算出される差分値）から得られる判定結果は、ディレイライン部９１を介して動領域判定用メモリ８１から供給される。
【００５４】
OR回路７３は、入力された３つのフレーム差分値から得られる判定結果の論理和を算出し、AND回路７４に出力する。AND回路７４は、比較器７２−１から入力された判定結果と、OR回路７３から入力された判定結果の論理積を算出し、その結果を動領域判定の結果とし、結果用メモリ２８に出力する。
【００５５】
ステップＳ４において、判定結果の記憶が行われる。動領域判定回路６２の比較器７２−２から出力される判定結果は、OR回路７３に出力されるとともに、動領域判定用メモリ８１にも出力され、記憶される。動領域判定用メモリ８１に記憶された判定結果は、上述したように、ステップＳ３において行われる動領域の判定処理の際に用いられる。
【００５６】
このように、既に算出、および判定された結果を記憶し、新たな判定を行う際に用いるようにすることにより、動き検出を行う回路の構成を簡略化することが可能となる。また、フィールド差分値とフレーム差分値を併用して動き検出を行うことにより、より正確な動き検出を行うことが可能となる。
【００５７】
このようにして、動き検出回路２６により検出され、結果用メモリ２８に記憶された動領域判定結果は、映像処理回路２７において、例えば、画像の拡大または縮小の処理を行う際などに用いられる。図１２を参照して、映像処理回路２７が行う処理のうち、画像の拡大または縮小する際の処理について説明する。フィールドｎ−１とフィールドｎにより１枚の画像が作成されるわけだが、その作成される画像に対して拡大または縮小の処理を施す場合には、基本的に４点補間により、所望の画素データが算出（補間）される。その際、動きのある場合と動きのない場合とで、所望の画素データを算出するのに用いられる画素データの選び方が異なる。
【００５８】
すなわち、図１２（Ａ）に示したように、フィールドｎ−１に存在する画素Ａに対して、フィールドｎに存在する画素Ｂと画素Ｃが動いているという情報が、結果用メモリ２８に記憶されている判定結果から得られる場合、補間したい画素データ（画素Ｚのデータ）は、画素Ｂのデータと画素Ｃのデータが用いられて算出される。画素Ａ乃至Ｃのデータは、必要に応じメモリ２５（フィールドメモリ５１−１乃至５３−３の対応するメモリ）から読み出される。
【００５９】
一方、図１２（Ｂ）に示したように、フィールドｎ−１に存在する画素Ａに対して、画素Ｂと画素Ｃが動いていない（静止している）という情報が、結果用メモリ２８に記憶されている判定結果から得られる場合、画素Ｚのデータは、画素Ａのデータと画素Ｂのデータが用いられて算出される。このように、所定の画素に対して動きがあるか否かを判断し、換言すれば、結果用メモリ２８に記憶されている判定結果に基づいて、補間する画素データを算出するのに用いる画素データを選択することにより、特に、静止領域での補間後の解像度を向上させることができる。
【００６０】
上述した実施の形態においては、動き検出回路２６の動領域判定用メモリ８１とフィールドメモリ５１−１乃至５１−３（メモリ２５）は、異なるメモリとして設けたが、動領域判定用メモリ８１に記憶される判定結果を、メモリ２５に記憶させるようにし、動領域判定用メモリ８１を動き検出回路２６から削除した構成としても良い。
【００６１】
図１０に示した動領域判定回路６２においては、動領域判定用メモリ８１からフレーム差分値の判定結果を１つ読み出し、ディレイライン部９１により、もう１つのフレーム差分値の判定結果を得る構成としたが、動領域判定用メモリ８１に、２つの読み出し用のポートを設け、２つとも同時に読み出せるようにしても良い。そのようにした場合、ディレイライン部９１は削除され、OR回路７３には、２つのフレーム差分値からの判定結果が、直接動領域判定用メモリ８１から供給される構成となる。また、動領域判定用メモリ８１から時分割に２つの判定結果を読み出すことにより、ディレイライン部９１を削除した構成としても良い。
【００６２】
上述した実施の形態においては、映像処理回路２７が画像の拡大、または、縮小などの処理を行うようにしたが、マイクロコンピュータ６も、そのような処理ができるようにしても良い。マイクロコンピュータ６が、画像処理を行う場合、メモリ２５に記憶されている画像データと、結果用メモリ２８に記憶されている判定結果を用いて行う。そして、処理された画像データは、マイクロコンピュータ６経由で他の装置、例えば、ハードディスク、メモリスティック、IEEE1394などで接続されている装置などに出力される。
【００６３】
上述した実施の形態においては、３つのフレーム差分値を用いる場合を説明したが、さらに多くのフレーム差分値を用いて、動領域の判定を行うようにしても良い。例えば、図１３に示すように、画素Ｈと画素Ｊ、画素Ｉと画素Ｋとから、それぞれ算出されるフレーム差分値を用いるようにしても良い。また、上述した実施の形態においては、フィールド差分値を１つしか用いない場合を説明したが、複数のフィールド差分値を用いるようにしても良い。また、フィールド差分値も、動領域判定用メモリ８１に記憶させるようにし、後の処理により必要に応じ読み出せるようにしておいても良い。このように、動領域の判定に用いるフィールド差分値、およびフレーム差分値を増やした場合においても、本発明を適用することにより、メモリポートの増大や回路規模の拡大などが生じることはない。
【００６４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアとしての記録再生装置１に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどにインストールされる。
【００６５】
次に、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００６６】
プログラムは、図１４（Ａ）に示すように、パーソナルコンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【００６７】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM（Compact Disk-Read Only Memory）１１２、ＭＯ（Magneto-Optical）１１３、DVD（Digital Versatile Disk）１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウェアとして提供することができる。
【００６８】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、デジタル衛星放送用の人工衛星１２２を介してパーソナルコンピュータ１２３に無線で転送したり、ローカルエリアネットワーク、インターネットといったネットワーク１３１を介して、パーソナルコンピュータ１２３に有線で転送し、パーソナルコンピュータ１２３において、内蔵するハードディスクなどに格納させることができる。
【００６９】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を有するものである。
【００７０】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７１】
【発明の効果】
以上の如く、本発明によれば、動領域の判定の精度を向上させることが可能になるとともに、その回路の構成を簡略化することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成を示すブロック図である。
【図２】図１の動き検出回路２６の内部構成を示すブロック図である。
【図３】図２の動領域判定回路６２の内部構成を示すブロック図である。
【図４】フィールドと画素との関係を説明する図である。
【図５】時間的に示した各画素の位置関係を説明する図である。
【図６】フィールド差分を説明する図である。
【図７】フレーム差分を説明する図である。
【図８】フレーム差分を説明する図である。
【図９】動き検出回路２６の他の内部構成を示すブロック図である。
【図１０】図８の動領域判定回路６２の内部構成を示すブロック図である。
【図１１】図９の動き検出回路２６の動作を説明するフローチャートである。
【図１２】画像の拡大、縮小の際の処理について説明する図である。
【図１３】フレーム差分値を説明する図である。
【図１４】媒体を説明する図である。
【符号の説明】
１ 記録再生装置， ５１ フィールドメモリ， ６１ 加算器、 ６２ 動領域判定回路， ６３ ディレイライン部， ６４ 乗算器， ７１ 絶対値回路， ７２ 比較器， ７３ OR回路， ７４ AND回路， ８１ 動領域判定用メモリ
Claims (3)
- 第１の画像信号を入力する入力手段と、
前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、
前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出するフィールド差分値算出手段と、
前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出するフレーム差分値算出手段と、
前記フレーム差分値に対応するしきい値と、前記フレーム差分値算出手段により算出された前記フレーム差分値を比較し、第１の比較結果を出力する第１の比較手段と、
前記フィールド差分値に対応するしきい値と、前記フィールド差分値算出手段により算出された前記フィールド差分値を比較し、第２の比較結果を出力する第２の比較手段と、
前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから前記フィールド差分値算出手段により算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出する第４の比較結果算出手段と、
前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出する論理和算出手段と、
前記第１の比較手段からの第１の比較結果と、前記論理和算出手段からの論理和との論理積を算出する論理積算出手段と、
前記第２の比較手段からの前記第２の比較結果を前記第３の比較結果として記憶する前記第２の記憶手段と
を備える画像処理装置。 - 第１の画像信号を入力する入力手段と、
前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、
第３の比較結果を記憶する第２の記憶手段と
を備える情報処理装置の情報処理方法において、
前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、
前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、
前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、
前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、
前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、
前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、
その論理和と前記第１の比較結果との論理積を算出し、
前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させる
ステップを含む画像処理方法。 - 第１の画像信号を入力する入力手段と、
前記第1の画像信号より前の時刻に入力された第２の画像信号と、前記第２の画像信号より前の時刻に入力された第３の画像信号を少なくとも記憶する第１の記憶手段と、
第３の比較結果を記憶する第２の記憶手段と
を備える情報処理装置を制御するコンピュータが読み取り可能なプログラムであり、
前記第２の画像信号の第１のラインの処理対象とされる第１の画素と、前記第１のラインの前に位置する第２のラインに位置し、前記第１の画素に対応する位置に位置する第２の画素を加算し、その加算値に１／２を乗算し、その乗算値から、前記第３の画像信号の前記第１の画素に相当する位置に位置する第３の画素を減算することで、前記第２の画像信号と前記第３の画像信号から、フィールド差分値を算出し、
前記第１の画像信号と前記第３の画像信号から第１のフレーム差分値を算出し、
前記フレーム差分値に対応するしきい値と、算出された前記フレーム差分値を比較し、第１の比較結果を出力し、
前記フィールド差分値に対応するしきい値と、算出された前記フィールド差分値を比較し、第２の比較結果を出力し、
前記第２の画像信号と、前記第３の画像信号より前の時刻に入力された第４の画像信号とから既に算出されたフィールド差分値と、前記フィールド差分値に対応するしきい値との比較結果であり、前記第２の記憶手段に記憶されている第３の比較結果から第４の比較結果を算出し、
前記第２の比較結果、前記第３の比較結果、および前記第４の比較結果の論理和を算出し、
その論理和と前記第１の比較結果との論理積を算出し、
前記第２の比較結果を前記第３の比較結果として前記第２の記憶手段に記憶させる
ステップを含むプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15379599A JP4392560B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15379599A JP4392560B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348182A JP2000348182A (ja) | 2000-12-15 |
| JP4392560B2 true JP4392560B2 (ja) | 2010-01-06 |
Family
ID=15570306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15379599A Expired - Fee Related JP4392560B2 (ja) | 1999-06-01 | 1999-06-01 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4392560B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5278048B2 (ja) * | 2009-03-04 | 2013-09-04 | セイコーエプソン株式会社 | 画像供給装置、画像供給システム、画像供給方法、及び画像供給用プログラム |
| CN103886290B (zh) * | 2014-03-13 | 2015-08-26 | 西安交通大学 | 一种复杂背景下的煤流视频检测方法 |
-
1999
- 1999-06-01 JP JP15379599A patent/JP4392560B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000348182A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5144545B2 (ja) | 動画像コーデック装置及びその方法 | |
| JP2001197451A (ja) | 解像度変換装置及びこれを用いた装置 | |
| JPH0562495A (ja) | サンプリング周波数変換器 | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| KR101805625B1 (ko) | 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치 | |
| JP4419210B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2009004848A (ja) | ミキシング装置 | |
| JP4392560B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| US8244055B2 (en) | Image processing apparatus and method, and program | |
| JP5113479B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JPH06261238A (ja) | 撮像装置 | |
| US7974481B2 (en) | Method and apparatus for cost calculation in decimal motion estimation | |
| US20070139567A1 (en) | Method and system for analog video noise detection | |
| JP6985821B2 (ja) | 音声処理装置及びその制御方法 | |
| JP2004015700A (ja) | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 | |
| KR100930436B1 (ko) | 이산 여현 역변환을 이용한 이미지 크기 재설정 방법 | |
| JP4642171B2 (ja) | 画像再生装置および方法、並びに記録媒体 | |
| JPH09307910A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JPH1023296A (ja) | 信号処理装置及び方法 | |
| JP2006094261A (ja) | 映像信号処理装置 | |
| JPH07177407A (ja) | 撮像装置 | |
| JP2010041633A (ja) | 映像信号処理装置、映像表示装置、映像信号処理方法 | |
| JP2004364113A (ja) | 情報信号の処理装置および処理方法、係数の生成装置および生成方法、ルックアップテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4617825B2 (ja) | データ処理装置およびデータ処理方法、プログラム、並びに記録媒体 | |
| JP2016082256A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090917 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090930 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |