JP3804155B2 - Image detection apparatus and image detection method - Google Patents

Image detection apparatus and image detection method Download PDF

Info

Publication number
JP3804155B2
JP3804155B2 JP04666897A JP4666897A JP3804155B2 JP 3804155 B2 JP3804155 B2 JP 3804155B2 JP 04666897 A JP04666897 A JP 04666897A JP 4666897 A JP4666897 A JP 4666897A JP 3804155 B2 JP3804155 B2 JP 3804155B2
Authority
JP
Japan
Prior art keywords
screen
threshold value
image
change amount
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04666897A
Other languages
Japanese (ja)
Other versions
JPH10243341A (en
Inventor
尚久 荒井
真巳 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP04666897A priority Critical patent/JP3804155B2/en
Publication of JPH10243341A publication Critical patent/JPH10243341A/en
Application granted granted Critical
Publication of JP3804155B2 publication Critical patent/JP3804155B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画像から間欠画像を生成する際に用いる画像検出装置及び画像検出方法に関する。
【0002】
【従来の技術】
映像信号を高速で再生して検索を行いたい場合や、映像信号を画像をコマ落としで再生して記録媒体に記録したり伝送したい場合に、一定の時間間隔ごとの画像を再生したり表示したりするための間欠画像の生成手法が知られている。
【0003】
【発明が解決しようとする課題】
ところが、このように間欠画像を生成する際に、必ずしも適切な画面が選択されるとは限らない。このため、動画像を間欠画像にすることにより、この動画像の内容把握が困難となる場合がある。
【0004】
また、記録されている映像のシーンチェンジ位置を検出して、映像信号をカット点によって意味のあるシーンごとに分割して編集する編集用機器などもあるが、特殊効果等によりカット点の特徴量の変化が小さい場合や光などの特徴量の変化が激しいがカット点ではない画面の検出等は困難であった。
【0005】
本発明は、このような実情を鑑みてなされたものであり、動画像からコマ落としをして間欠画像を生成する場合や高速再生をする場合に、内容の把握をしやすい間欠画像及び高速再生画像を検出する画像検出装置及び画像検出方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像検出装置は、動画像中の1の画面である第1の画面と、この第1の画面の直前の第2の画面との第1の変化量を検出する第1の変化量検出手段と、上記第1の画面と、先に検出した検出画面との第2の変化量を検出する第2の変化量検出手段と、上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より大きい場合に上記第1の画面を検出し、上記第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出する画面検出手段と、上記画面検出手段により検出した第1の画面を検出画面として出力する出力手段とを備えることを特徴とする。
【0007】
この画像検出装置では、画面検出手段が第1の変化量検出手段により検出される動画像中の第1の画面の直前の第2の画面との第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より大きい場合に上記第1の画面を検出することにより、出力手段が上記動画像の内容に応じた間欠画像を出力し、さらに、第2の変化量検出手段により検出される上記第1の画面と、先に検出した検出画面との第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出ことにより、変化が収束した場合に画面を検出し、出力手段が間欠画像を出力する。
【0012】
さらに、本発明に係る画像検出装置は、上記画面検出手段が、上記第2の変化量が第2の閾値より小さいときはこの第2の閾値を所定量少なくし、第2の変化量がこの第2の閾値より大きいと連続して2度判断した場合にはさらに上記第1の変化量を第1の閾値と比較し、第1の変化量が第1の閾値より大きいときは第1の閾値を所定量多くし、第1の変化量が第1の閾値より小さいときは第1の画面を検出するとともに第2の閾値を所定量多くすることを特徴とする。
【0013】
この画像検出装置では、画面検出手段が変化量の比較をする第1及び第2の閾値を可変して画面を検出し、出力手段が平均的な間欠間隔の間欠画像を出力する。
【0014】
また、上述の課題を解決するために、本発明に係る画像検出方法は、動画像中の1の画面である第1の画面と、この第1の画面の直前の第2の画面との第1の変化量を検出し、上記第1の画面と、先に検出した検出画面との第2の変化量を検出し、上記第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出し、検出した第1の画面を検出画面として出力することを特徴とする。
【0015】
この画像検出方法では、動画像の変化量を第1の閾値と比較して画面を検出し、この動画像の内容に応じた間欠画像を出力する。
【0020】
さらに、本発明に係る画像検出方法は、上記第2の変化量が第2の閾値より小さいときはこの第2の閾値を所定量少なくし、第2の変化量がこの第2の閾値より大きいと連続して2度判断した場合にはさらに上記第1の変化量を第1の閾値と比較し、第1の変化量が第1の閾値より大きいときは第1の閾値を所定量多くし、第1の変化量が第1の閾値より小さいときは第1の画面を検出するとともに第2の閾値を所定量多くすることを特徴とする。
【0021】
この画像検出方法では、変化量の比較をする第1及び第2の閾値を可変して画面を検出し、平均的な間欠間隔の間欠画像を出力する。
【0022】
【発明の実施の形態】
以下、本発明の第1の実施の形態である画像検出装置について、図面を参照しながら説明する。
【0023】
図1は、本発明の第1の実施の形態である画像検出装置1のブロック構成図である。画像検出装置1は、映像信号が入力される入力信号処理回路2と、第1の画像メモリ3と、第2の画像メモリ4と、各画像メモリ3,4に記憶された画像から変化量を検出する変化量検出回路5と、各画像メモリ3,4及び変化量検出回路5等を制御して間欠画像を出力する代表画面検出制御回路6とを備える。
【0024】
このような構成の画像検出装置1は、入力された動画像である映像信号から間欠画像を生成するために代表画面を検出するものである。
【0025】
この画像検出装置1に入力される映像信号は、動画像の映像信号であり例えば記録媒体に記録されている映像信号や伝送された映像信号である。この映像信号が入力信号処理回路2に供給される。
【0026】
入力信号処理回路2は、入力された映像信号を適切な信号レベルに変換する処理、エラー訂正処理、画像圧縮がされている場合は対応したデコード処理、また、輝度信号と色信号とに分離する処理等を行う。すなわち、入力信号処理回路2は、第1,第2の画像メモリ3,4で画像データを記憶するに適した信号に変換する処理を行うものである。
【0027】
入力信号処理回路2で処理された映像信号は、第1の画像メモリ3及び第2の画像メモリ4にフレーム単位、つまり、画面単位で供給される。また、入力信号処理回路2は、映像信号から同期信号を分離して、この同期信号を代表画面検出制御回路6に供給する。
【0028】
第1の画像メモリ3は、入力信号処理回路2から供給された映像信号を画面単位で画像データを記憶する。同様に、第2の画像メモリ4も、入力信号処理回路2から供給された映像信号を画面単位の画像データとして記憶する。
【0029】
また、第1の画像メモリ3と第2の画像メモリ4は、その構成は同一であるが、記憶する画像データは異なる。第2の画像メモリ4に記憶される画面は、必ず、第1の画像メモリ3に記憶されている画面から時間的に1画面前の画面である。すなわち、第1の画像メモリ3と第2の画像メモリ4に記憶されている画面は、時系列で連続した画面となっている。なお、時間的に先の画面を第1と第2の画像メモリ3,4に交互に記憶させるようにしてもよい。
【0030】
変化量検出回路5は、第1の画像メモリ3と第2の画像メモリ4とに記憶されている時間的に連続した画面間の変化量を検出する。すなわち、この変化量は、各画像メモリ3,4に記憶されている画像データの差分を演算することにより求める。また、画面間の動きベクトルを求めて変化量としても良い。
【0031】
代表画面検出制御回路6は、変化量検出回路5により検出した変化量に基づき、間欠画像を構成する代表画面を検出する。また、入力信号処理回路2により検出された同期信号に基づき、第1,第2の画像メモリ3,4への画像データの書き込みタイミングや読み出しタイミングの制御も行う。すなわち、代表画面検出制御回路6は、動画像を構成する時間的に連続した画面を順次画像メモリ3,4に書き込んでいき、この処理を繰り返す。
【0032】
代表画面検出制御回路6は、各画像メモリ3,4に書き込まれている画像データの変化量と閾値とを比較して代表画面の検出処理を行う。そして、代表画面検出制御回路6は、この閾値を動的に変化させて、代表画面として平均的に画面を検出する処理を行う。
【0033】
この代表画面検出制御回路6の制御内容を、図2に示すフローチャートに基づき説明する。
【0034】
この代表画面検出制御回路6は、映像信号が入力されると以下のステップS1からの処理を開始する。
【0035】
ステップS1において、閾値の初期化を行う。この閾値は、変化量検出回路5が検出した第1の画像メモリ3と第2の画像メモリ4に記憶されている画面間の変化量と比較をするための値である。この閾値は、入力される映像信号の付加情報、外部入力、出力する間欠画像の間欠間隔等に応じて設定される。
【0036】
ステップS1で閾値の初期化を終えるとステップS2において、変化量検出回路5に第1,第2の画像メモリ3,4に記憶された画面の変化量を演算させ、この変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。
【0037】
この変化量を取得するとステップS3において、この変化量を閾値と比較する。変化量が閾値より大きくないと判断する場合は、ステップS4に進み、変化量が閾値より大きいと判断する場合は、ステップS5に進む。
【0038】
ステップS7において、閾値から所定の値である減算値を引く。そして、ステップS4で閾値を一定量少なくすると、第1,第2の画像メモリ3,4に記憶する画面を次の画面に更新し、ステップS2からの処理を繰り返す。
【0039】
ステップS5において、第1の画像メモリ3に記憶している画面を代表画面として検出する。そして、ステップS6において、検出した代表画面を出力する。
ステップS7において、閾値に所定の値である加算値を加える。そして、ステップS4で閾値を一定量多くすると、第1,第2の画像メモリ3,4に記憶する画面を次の画面に更新し、ステップS2からの処理を繰り返す。
【0040】
ここで、ステップS4で閾値から一定量を引くために用いている定数である減算値と、ステップS7で閾値から一定量を加えるために用いている定数である加算値の関係について説明する。閾値は、上述したように動画像を構成する時間的に連続する各画面の変化量と比較をするための値である。この代表画面検出制御回路6では、変化量と閾値との比較をして、この比較結果に応じて閾値を変化させるようになっている。すなわち、閾値の可変量は、代表画面を検出した場合に加算される加算値と、代表画面を検出しなかった場合に減算される減算値とにより決定される。この加算値と減算値の値により、入力される動画像に対する代表画面の検出量が決まる。例えば、加算値と減算値との比が1対100であれば、入力される動画像100枚に対し代表画面が一枚検出される。また、この閾値の可変量である加算値と減算値の絶対量が大きくなれば検出感度も大きく、平均的に代表画面が検出できる。さらに、可変量が小さければ差分の検出量に応じて代表画面の検出がばらつくことになる。
【0041】
以上のように、第1の実施の形態の画像検出装置1では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出する。このことにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【0042】
さらに、第1の実施の形態の画像検出装置1は、動画像を高速再生をする際にも用いることができ、また、動画像の検索する際の代表的な画面を検出する際にも用いることができる。
【0043】
つぎに、本発明の第2の実施の形態である画像検出装置について、図面を参照しながら説明する。なお、この第2の実施の形態である画像検出装置を説明するにあたり、上述した第1の実施の形態の画像検出装置1と同一の機能を有する構成要素については、同一の符号を付けその詳細な説明を省略する。以下、第3の実施の形態においても同様とする。
【0044】
第2の実施の形態である画像検出装置10は、図3に示すように、映像信号が入力される入力信号処理回路2と、第1の画像メモリ3と、第2の画像メモリ4と、各画像メモリ3,4に記憶されたから変化量を検出する変化量検出回路5と、これら構成要素を制御して間欠画像を出力する代表画面検出制御回路6と、第1の画像メモリ3に記憶されている画面の輝度の平均値を変算する平均値演算回路7とを備える。
【0045】
この第2の実施の形態である画像検出装置10では、画面間の変化量だけでなく画面の明るさの変化を補正して入力された動画像である映像信号から、代表画面を検出して間欠画像を生成するものである。
【0046】
平均値演算回路7は、変化量検出回路5による画像間の変化量の検出処理を行う前に、予め画像メモリ3内の画像データの輝度の平均値を演算するものである。
【0047】
変化量検出回路5は、平均値演算回路7で演算した画像データの平均値を利用して変化量の検出を行う。この平均値を利用して変化量を検出するのは、データとして輝度信号を利用している場合においては、輝度が高く明るい画面での画素データの値は高く、差分が大きくなってしまうからである。従って、変化量を輝度の平均値で除算することで明るさに左右されない代表画面の検出ができる。また、この輝度の平均値を代表画面検出制御回路6に供給して、閾値を可変する加算値及び減算値の比率を変えずにこの加算値及び減算値の値を変えることにより、明るさに左右されない代表画面の検出をすることもできる。
【0048】
また、この平均値を演算する際に、画像メモリ内の画像データを複数の領域に分けて領域ごとに演算することで、明るさや、動きが面面内で部分的に偏っている画像にも対応できる。この領域分割をする際画面の中心部分の領域を小さくするなど画面を均等に分割しないことで検出量に重みづけをすることができる。また分割した領域ごとに値を設定して演算した平均値の係数とすることで明確な重み付けをすることも可能である。
【0049】
以上のように、第2の実施の形態である画像検出装置10では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出することにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【0050】
また、この第2の実施の形態では、画面間の変化量だけでなく画面の明るさの変化を補正して入力された動画像である映像信号から代表画面を検出して間欠画像を生成することにより、画像の明るさの変化による間欠画像の検出結果の変動を減少させることができる。
【0051】
つぎに、本発明の第3の実施の形態である画像検出装置について、図面を参照しながら説明する。
【0052】
図4は、第3の実施の形態の画像検出装置20のブロック構成図である。画像検出装置20は、映像信号が入力される入力信号処理回路2と、第1の画像メモリ3と、第2の画像メモリ4と、第3の画像メモリ8と、第1,第2の画像メモリ3,4に記憶された画面から変化量を検出する第1の変化量検出回路5と、第1,第3の画像メモリ3,8に記憶された画面から変化量を検出する第2の変化量検出回路9と、これら構成要素を制御して間欠画像を出力する代表画面検出制御回路11とを備える。
【0053】
代表画面検出制御回路11は、第1の変化量検出手段により検出した変化量と、第2の変化量検出回路9により検出した変化量に基づき、間欠画像を構成する代表画面を検出する。また、入力信号処理回路2により検出された同期信号に基づき、第1,第2及ぶ第3の画像メモリ3,4,8への画像の書き込みタイミングや読みだしタイミングの制御も行う。
【0054】
また、代表画面検出制御回路11は、各画像メモリ3,4,8に書き込まれている画像データの変化量と閾値とを比較して代表画面の検出処理を行う。そして、代表画面検出制御回路11は、この閾値を動的に変化させて、代表画面として平均的に画面を検出する処理を行う。
【0055】
第3の画像メモリ8には、代表画面検出制御回路11が検出した代表画面が記憶される。代表画面検出制御回路11は、代表画面を検出して間欠画像を生成するが、この代表画面を検出したときは出力するとともに第3の画像メモリ8にこの代表画面を記憶させる。なお、第3の画像メモリ8には、かならず1つの代表画面のみが記憶されており、先に記憶された代表画面に次の代表画面が記憶されるときは、先の代表画面に上書きされる。
【0056】
第2の変化量検出回路9は、第1の画像メモリ2が記憶している画面と第3の画像メモリ8が記憶している代表画面の画面間の変化量を検出する。
【0057】
この代表画面検出制御回路11の制御内容を、図5に示すフローチャートに基づき説明する。
【0058】
まず、図5に示すフローチャートでの制御に用いられている各変数について説明する。
【0059】
代表画面検出制御回路11の制御には、第1の閾値と第2の閾値とが用いられている。第1の閾値は、第1の変化量検出回路5が検出した画像間の変化量と比較を行うための値であり、また、第2の閾値は、第2の変化量検出回路9が検出した第1の画像メモリ3と第3の画像メモリ8とに記憶された画面間の変化量の比較を行うための値である。
【0060】
代表画面検出制御回路11の制御では、第2の閾値から一定量を引くために用いている定数である減算値と、閾値から一定量を加えるために用いている定数である加算値が用いられている。減算値と加算値と関係は、上述した第1の実施の形態と同様である。
【0061】
代表画面検出制御回路11の制御では、連続検出フラグを用いている。この連続検出フラグは、第2の変化量検出回路9により画面間の差分検出によって閾値を超える画面の入力があった場合にもすぐにこの画面を検出結果として取り込まず、連続して閾値を超える差分を検出した場合に画面を検出するために使用する。
【0062】
代表画面検出制御回路11の制御では、検出ウエイトを用いている。代表画面検出制御回路11では、一度代表画面を検出すると第1の画像メモリ3と第3の画像メモリ8に記憶された画面の変化量と比較する第2の変化量検出回路9が連続して画面を検出しても、時間的に連続する第1の画像メモリ3と第2の画像メモリ4の変化量が減少したのちに取り込みを行うように処理をしている。しかしながら、連続した動きの激しい動画像などの場合では、第1の閾値が減少しないため代表画面の検出出力が発生しなくなってしまう。そのため、この検出ウエイトにより第1の閾値を操作して動きの激しい動画像に対応させている。
【0063】
代表画面検出制御回路11は、ステップS11において、閾値等の各変数の設定値の初期化を行う。この閾値は、入力される動画像の付加情報、外部入力、出力する間欠画像の間欠間隔等に応じて設定しても良い。また、この閾値の変化量も同様に設定しても良い。
【0064】
ステップS11で初期化を終えるとステップS12において、第2の変化量検出回路9に第1,第3の画像メモリ3,8に記憶された画面の変化量を演算させ、第2の変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。なお、第3の画像メモリ8に記憶されている画面は、先に検出した代表画面が記憶されている。先に、検出した代表画面が存在しない場合は、例えば、すべての画素値を0として演算するようにしてもよい。
【0065】
この第2の変化量を取得するとステップS13において、この第2の変化量と第2の閾値を比較する。第2の変化量が第2の閾値より大きくないと判断する場合は、ステップS14に進み、第1の変化量が第1の閾値より大きいと判断する場合は、ステップS18に進む。
【0066】
第1の変化量が第1の閾値より大きくないと判断する場合は、ステップS14において連続検出フラグをクリアし、続くステップS15において検出ウエイトをクリアし、続くステップS16において第2の閾値から所定の値である第1の減算値を引く。そして、ステップS17において、第1,第2の画像メモリ3,4に記憶する画面を次の画面に更新し、ステップS12からの処理を繰り返す。ステップS13で第1の変化量が第1の閾値より大きいと判断する場合は、ステップS18において、連続検出フラグがセットされているかどうかを判断する。連続検出フラグがセットされていないと判断する場合は、ステップS19において、連続検出フラグをセットして、上述したステップS15、ステップS16、ステップS17と進み、ステップS12からの処理を繰り返す。
【0067】
ステップS18で連続検出フラグがセットされていると判断する場合は、ステップS20において、第1の変化量検出回路5に第1,第2の画像メモリ3,4に記憶された画面の変化量を演算させ、この第1の変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。
【0068】
この第1の変化量を取得するとステップS21において、この第1の変化量と第1の閾値を比較する。この第1の閾値は、第2の変化量より第1の変化量が減少しているか否かを判断するための比較値で、第2の閾値よりも小さい値である。また、この第1の閾値は、第2の閾値と連動した値であることが望ましく、例えば、第2の閾値をKとすると、第1の閾値は1/Kといった値が望ましい。
【0069】
第1の変化量が第1の閾値より小さくないと判断する場合は、動画像の動きが収束していない。従って、依然動きが少なくなっていないものとして、ステップS22において、検出ウエイトを第1の閾値に加算する。この検出ウエイトは、第1の閾値に所定量の値を加算するものであり、いつまでも、動画像が収束しない場合であっても、第1の閾値にこの検出ウエイトを加算することにより適当な画面の間隔で代表画面の検出を行うようにしている。ステップS22で第1の閾値に検出ウエイトを加算すると上述したステップS16、ステップS17に進みステップS12からの処理を繰り返す。
【0070】
第1の変化量が第1の閾値より小さいと判断する場合は、ステップS23に進む。ステップS23において、第1の画像メモリ3に記憶している画面を代表画面として検出して代表画面を出力する。また、このステップS23において、検出した代表画面を第3の画像メモリ8に記憶させる。
【0071】
ステップS23で代表画面の検出処理をするとステップS24において連続検出フラグをクリアし、続くステップS25で第2の閾値に所定の値である加算値を加える。次に、ステップS17において、第1,第2の画像メモリ3,4に記憶する画面を次の画面に更新し、ステップS12からの処理を繰り返す。
【0072】
このような画像検出装置20から出力される間欠画像について以下に説明する。
【0073】
第1の例は、図6(a)に示すようにこの画像検出装置20にAシーンとBシーンがカット点t1で切り替わる動画像が入力された例を示している。
【0074】
この場合は、図6(b)に示すように、第3の画像メモリ8には図中X1で画面Aのデータが書き込まれている。このとき第1の画像メモリ3に入力される図中X2で画面Bに切り替わると、第3の画像メモリ8の画像データとは差分が発生するので第2の閾値より大きくなる。しかしながら、次の第2の画像メモリ4とも差分が発生するため代表画面の検出はされない。次に、第1の画像メモリ3に図中X3の画面Bが書き込まれると、第3の画像メモリ8の画面Aとは差分が発生し、第2の画像メモリ4の図中X2の画面Bとは差分が発生しないので第1の閾値より小さくなり代表画面が検出される。よってシーンAからシーンBに切り替わった後の1フレーム後に画面が収束してから検出がされる。
【0075】
第2の例は、図7(a)に示すように、この画像検出装置20に画面Aの間に例えばフラッシュの光や雷など閃光である画面Bが含まれる動画像が入力された例を示している。
【0076】
この場合は、図7(b)に示すように、第3の画像メモリ8には図中Y1に画面Aが書き込まれている。図中Y2で画面Bが第1の画像メモリ3に書き込まれた場合、第3の画像メモリ8及び第2の画像メモリ4のどちらも差分が発生するため代表画面の検出はされない。また、次の図中Y3の画面Aが第1の画像メモリ3に入力された場合も同様に差分が発生しないため代表画面の検出はされない。すなわち閃光部分では検出がされない。
【0077】
第3の例は、図8(a)に示すように、この画像検出装置20に特殊効果などの画面が徐々に変化するフェードやワイプ、パンなどの画面が常に変化している動画像が入力された例を示している。
【0078】
この場合は、図8(b)に示すように、第3の画像メモリ8には図中Z1の画面Aが書き込まれている。次に画面Bが第1の画像メモリ3に入力される場合は、第3の画像メモリ8及び第2の画像メモリ4のどちらも差分が発生する。次の画面C、画面D、画面E、図中Z2の画面Fも差分が発生するため検出はされない。次の図中Z3の画面Fでは第2の画像メモリ4との差分が発生せず、この画面Fが代表画面となる。よって所望の動画像が静止した時点で検出がされる。
【0079】
以上のように、第3の実施の形態の画像検出装置20では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出する。このことにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【0080】
また、第3の実施の形態の画像検出装置20では、先に検出した代表画面との変化量が大きくてもその変化量が収束した後に検出処理を行うため、入力された動画像である映像信号から代表画面を検出して間欠画像を生成する際に、画面間の変化等を検出してシーンの変化点を検出したり、誤検出等の不要な画面の検出を防ぐことができる。例えば、特殊効果などによる面面切り替えや閃光などの特殊な画面を検出を防止することができる。
【0081】
なお、この第3の実施の形態の画像検出装置20では、第1の画像メモリ3と第2の画像メモリ4を用いて1フレーム分の画像を除去する場合を示したが、第2の画像メモリ4の他に複数のメモリを用いることにより複数フレーム分の不要な画像を除去することができ、また、第2の画像メモリ4に記憶するフレームを時間的にずらすことにより複数フレーム分の画像を除去することができる。
【0082】
次に、本発明を適用した第4の実施の形態である映像信号記録再生装置について説明する。この第4の実施の形態である映像信号記録再生装置は、上述した第1の画像検出装置1を映像音声信号記録再生装置に適用したものである。
【0083】
映像音声信号記録再生装置50は、図9に示すように、入力された映像信号及び音声信号の入力処理をする入力信号処理部51と、入力信号処理部51により処理をした信号から映像信号及び音声信号を再生する映像音声信号処理部52と、映像音声信号処理部52により再生した映像信号から間欠画像を生成する画像検出処理部55と、映像音声信号処理部52により再生した映像信号に補間処理をする間欠画像処理部53と、間欠画像処理部53により補間処理をした映像信号を出力する出力信号処理部54と、映像信号を記録再生するために変復調等の信号処理を行う記録再生信号処理部56と、映像音声信号を記録媒体59に記録再生をする記録再生部57と、間欠画像処理部53と記録再生信号処理部56等を制御するシステムコントロール部58とを備える。
【0084】
入力される映像音声信号は、例えば動画像の映像信号と音声信号であり入力信号処理部51により信号レベルの変換等の処理をされ映像音声信号処理部52に供給される。
【0085】
映像音声信号処理部52は、入力信号処理部51により処理をされた映像信号及び音声信号から以後の処理で行う際に適した信号に変換する処理を行う。また、記録再生信号処理部56からの記録媒体59から再生される信号も同様に処理を行う。例えば、エラー訂正処理や画像圧縮処理をされている場合は対応したデコード処理、また、輝度信号と色信号とに分離する処理等を行う。映像音声信号処理部52は、出力する映像信号を画像検出処理部55、間欠画像処理部53、記録再生信号処理部56に供給する。
【0086】
画像検出処理部55は、例えば上述した第1の実施の形態の画像検出装置1である。この画像検出処理部55により動画像から代表画面が検出されて間欠画像が生成される。この間欠画像は、記録再生信号処理部56に供給される。
【0087】
記録再生信号処理部56は、システムコントロール部58の制御に基づき、記録再生部57を介して記録媒体59から再生された信号を映像音声信号処理部52に供給する為のデータの変換処理を行う。また、システムコントロール部58の制御に基づき、映像音声信号処理部52から供給される信号を記録媒体59に記録させる為のデータの変換処理を行う。
【0088】
記録再生部57は、記録媒体59に間欠的な映像信号及び音声信号を記録し、或いは記録媒体59に記録された間欠的な映像信号及び音声信号を再生する。
【0089】
間欠画像処理部53は、記録媒体59から再生される間欠画像に補間処理を施す。ここで補間処理とは、例えば、静止画像を出力する場合、画像メモリを用いて同じ画像を複数回出力して、動画像のアップコンバート等を行う処理である。
出力信号処理部54は、映像信号をモニタにより再生することができるようにするため、映像信号のデジタル/アナログ変換処理や増幅処理等を行う。この出力信号処理部54からの出力をモニタ等に供給することにより、視聴者は内挿処理をされた映像と音声を視聴することができる。
【0090】
以上のように、映像音声信号記録再生装置50は、画像検出処理部55を備えることにより入力された動画像から間欠画像を生成して記録することができる。なお、この画像検出処理部55は、上述した第1の実施の形態の画像検出装置1のみならず、第2及び第3の実施の形態の画像検出装置10,20であってもよい。
【0091】
また、この映像信号記憶再生装置50では、映像信号を動画像のまま記録しておき、間欠的な再生を行うための検出結果を別に記録しておくことにより、再生時に間欠画像を生成することができる。そのため、この映像音声信号記録再生装置50では、記録媒体59に記録されている映像信号を、例えばダイジェスト版にして再生し、編集作業等に用いて映像信号の概要の把握等に役立つ。
【0092】
【発明の効果】
本発明に係る画像検出装置では、画面検出手段が第1の変化量検出手段により検出される動画像中の第1の画面の直前の第2の画面との第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より大きい場合に上記第1の画面を検出することにより、出力手段が上記動画像の内容に応じた間欠画像を出力することにより、内容の把握し易い間欠画像を生成することができ、また、高速再生ができ、さらに、第2の変化量検出手段により検出される上記第1の画面と、先に検出した検出画面との第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出ことにより、有効な画面のみの検出をすることができ、画像の特徴に左右されずに間欠画像を生成することができる。さらに、生成した間欠画像を記録及び伝送する場合に容量の管理を容易にすることができる。
【0096】
本発明に係る画像検出方法では、動画像中の1の画面である第1の画面と、この第1の画面の直前の第2の画面との第1の変化量を検出し、上記第1の画面と、先に検出した検出画面との第2の変化量を検出し、上記第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出し、この動画像の内容に応じた間欠画像を出力することにより、有効な画面のみの検出をすることができ、画像の特徴に左右されずに間欠画像を生成することができる。さらに、生成した間欠画像を記録及び伝送する場合に容量の管理を容易にすることができる。
【図面の簡単な説明】
【図1】本発明を適用した画像検出装置のブロック構成図である。
【図2】本発明を適用した画像検出装置の代表画面検出制御回路の制御内容を示すフローチャートである。
【図3】本発明を適用した画像検出装置のブロック構成図である。
【図4】本発明を適用した画像検出装置のブロック構成図である。
【図5】本発明を適用した画像検出装置の代表画面検出制御回路の制御内容を示すフローチャートである。
【図6】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図7】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図8】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図9】本発明を適用した映像音声信号記録再生装置のブロック構成図である。
【符号の説明】
1,10,20 画像検出装置、2 入力信号処理回路、3 第1の画像メモリ、4 第2の画像メモリ、5 変化量検出回路、6,11 代表画面検出制御回路、7 平均値演算回路、8 第3の画像メモリ、9 第2の変化量検出回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image detection apparatus and an image detection method used when generating an intermittent image from a moving image.
[0002]
[Prior art]
When you want to search by playing back video signals at high speed, or when you want to play back video signals with frame dropping and record or transmit them to a recording medium, you can play and display images at regular time intervals. There is known a method for generating an intermittent image for the purpose.
[0003]
[Problems to be solved by the invention]
However, when generating an intermittent image in this way, an appropriate screen is not necessarily selected. For this reason, it may be difficult to grasp the contents of the moving image by making the moving image an intermittent image.
[0004]
There are also editing equipment that detects the scene change position of the recorded video and divides the video signal into meaningful scenes according to the cut points and edits them. It is difficult to detect a screen that is not a cut point or the like when the change in the amount of light is small or the change in the feature amount such as light is severe.
[0005]
The present invention has been made in view of such circumstances, and when intermittent frames are generated by dropping frames from moving images or when high-speed playback is performed, intermittent images and high-speed playback that make it easy to grasp the contents An object of the present invention is to provide an image detection apparatus and an image detection method for detecting an image.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, an image detection apparatus according to the present invention includes a first screen that is a first screen in a moving image and a second screen immediately before the first screen. A first change amount detecting means for detecting a change amount; a second change amount detecting means for detecting a second change amount between the first screen and the previously detected detection screen; Comparing the amount of change with a first threshold, detecting the first screen if the first amount of change is greater than the first threshold, comparing the second amount of change with a second threshold, When the second change amount is larger than the second threshold value, the first change amount is further compared with the first threshold value. When the first change amount is smaller than the first threshold value, the first change amount is compared with the first threshold value. Screen detecting means for detecting the first screen, and output means for outputting the first screen detected by the screen detecting means as a detection screen. The features.
[0007]
In this image detection apparatus, the screen detection means compares the first change amount with the second threshold value immediately before the first screen in the moving image detected by the first change amount detection means with the first threshold value. When the first change amount is larger than the first threshold, the first screen is detected, so that the output means outputs an intermittent image corresponding to the content of the moving image. The second change amount between the first screen detected by the change amount detecting means and the previously detected detection screen is compared with a second threshold value, and the second change amount is greater than the second threshold value. When the change is larger, the first change amount is further compared with the first threshold value. When the first change amount is smaller than the first threshold value, the first screen is detected and the change is converged. The screen is detected, and the output means outputs an intermittent image.
[0012]
Further, in the image detection apparatus according to the present invention, when the second change amount is smaller than the second threshold value, the screen detection unit reduces the second threshold value by a predetermined amount, and the second change amount is equal to the second change amount. When it is determined twice consecutively that it is greater than the second threshold, the first change amount is further compared with the first threshold value. When the first change amount is greater than the first threshold value, the first change amount is compared with the first threshold value. The threshold value is increased by a predetermined amount, and when the first change amount is smaller than the first threshold value, the first screen is detected and the second threshold value is increased by a predetermined amount.
[0013]
In this image detection apparatus, the screen detection means detects the screen by changing the first and second thresholds for comparing the amount of change, and the output means outputs an intermittent image with an average intermittent interval.
[0014]
In order to solve the above-described problem, an image detection method according to the present invention includes a first screen, which is one screen in a moving image, and a second screen immediately before the first screen. Detect the amount of change in 1 A second change amount between the first screen and the previously detected detection screen is detected; The second change amount is compared with a second threshold value. If the second change amount is larger than the second threshold value, the first change amount is further compared with the first threshold value. When the amount of change in 1 is smaller than the first threshold, the first screen is detected, and the detected first screen is output as a detection screen.
[0015]
In this image detection method, the amount of change in the moving image is compared with a first threshold value to detect the screen, and an intermittent image corresponding to the content of the moving image is output.
[0020]
Furthermore, in the image detection method according to the present invention, when the second change amount is smaller than the second threshold value, the second threshold value is decreased by a predetermined amount, and the second change amount is larger than the second threshold value. If the first change amount is further compared with the first threshold value, and if the first change amount is greater than the first threshold value, the first threshold value is increased by a predetermined amount. When the first change amount is smaller than the first threshold value, the first screen is detected and the second threshold value is increased by a predetermined amount.
[0021]
In this image detection method, the screen is detected by changing the first and second thresholds for comparing the amount of change, and an intermittent image with an average intermittent interval is output.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image detection apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
[0023]
FIG. 1 is a block diagram of an image detection apparatus 1 according to the first embodiment of the present invention. The image detection device 1 calculates an amount of change from an input signal processing circuit 2 to which a video signal is input, a first image memory 3, a second image memory 4, and images stored in the image memories 3 and 4. A change amount detection circuit 5 for detecting, and a representative screen detection control circuit 6 for controlling the image memories 3 and 4 and the change amount detection circuit 5 to output intermittent images are provided.
[0024]
The image detection apparatus 1 having such a configuration detects a representative screen in order to generate an intermittent image from a video signal that is an input moving image.
[0025]
The video signal input to the image detection apparatus 1 is a video signal of a moving image, for example, a video signal recorded on a recording medium or a transmitted video signal. This video signal is supplied to the input signal processing circuit 2.
[0026]
The input signal processing circuit 2 separates an input video signal into a process for converting to an appropriate signal level, an error correction process, a corresponding decoding process when image compression is performed, and a luminance signal and a color signal. Perform processing. That is, the input signal processing circuit 2 performs processing for converting the image data into signals suitable for storing the image data in the first and second image memories 3 and 4.
[0027]
The video signal processed by the input signal processing circuit 2 is supplied to the first image memory 3 and the second image memory 4 in frame units, that is, in screen units. Further, the input signal processing circuit 2 separates the synchronization signal from the video signal and supplies the synchronization signal to the representative screen detection control circuit 6.
[0028]
The first image memory 3 stores image data of the video signal supplied from the input signal processing circuit 2 in units of screens. Similarly, the second image memory 4 also stores the video signal supplied from the input signal processing circuit 2 as image data for each screen.
[0029]
The first image memory 3 and the second image memory 4 have the same configuration, but store different image data. The screen stored in the second image memory 4 is always a screen one screen before in time from the screen stored in the first image memory 3. That is, the screens stored in the first image memory 3 and the second image memory 4 are continuous screens in time series. Note that the temporally previous screen may be alternately stored in the first and second image memories 3 and 4.
[0030]
The change amount detection circuit 5 detects a change amount between temporally continuous screens stored in the first image memory 3 and the second image memory 4. That is, the amount of change is obtained by calculating the difference between the image data stored in the image memories 3 and 4. Further, the amount of change may be obtained by obtaining a motion vector between screens.
[0031]
The representative screen detection control circuit 6 detects a representative screen constituting an intermittent image based on the change amount detected by the change amount detection circuit 5. Further, based on the synchronization signal detected by the input signal processing circuit 2, the timing of writing and reading the image data to the first and second image memories 3 and 4 is also controlled. That is, the representative screen detection control circuit 6 sequentially writes temporally continuous screens constituting a moving image in the image memories 3 and 4 and repeats this process.
[0032]
The representative screen detection control circuit 6 performs a representative screen detection process by comparing the change amount of the image data written in each of the image memories 3 and 4 with a threshold value. Then, the representative screen detection control circuit 6 dynamically changes the threshold value and performs a process of detecting an average screen as the representative screen.
[0033]
The control contents of the representative screen detection control circuit 6 will be described based on the flowchart shown in FIG.
[0034]
When the video signal is input, the representative screen detection control circuit 6 starts processing from the following step S1.
[0035]
In step S1, the threshold is initialized. This threshold value is a value for comparison with the amount of change between the screens stored in the first image memory 3 and the second image memory 4 detected by the change amount detection circuit 5. This threshold value is set according to additional information of an input video signal, external input, intermittent intervals of output intermittent images, and the like.
[0036]
When the initialization of the threshold value is finished in step S1, in step S2, the change amount detection circuit 5 calculates the change amount of the screen stored in the first and second image memories 3 and 4, and acquires this change amount. In this calculation, the absolute value is obtained by subtracting each pixel as a change amount.
[0037]
When this amount of change is acquired, in step S3, this amount of change is compared with a threshold value. If it is determined that the amount of change is not greater than the threshold, the process proceeds to step S4. If it is determined that the amount of change is greater than the threshold, the process proceeds to step S5.
[0038]
In step S7, a subtraction value that is a predetermined value is subtracted from the threshold value. When the threshold value is decreased by a certain amount in step S4, the screen stored in the first and second image memories 3 and 4 is updated to the next screen, and the processing from step S2 is repeated.
[0039]
In step S5, the screen stored in the first image memory 3 is detected as a representative screen. In step S6, the detected representative screen is output.
In step S7, an addition value which is a predetermined value is added to the threshold value. When the threshold value is increased by a certain amount in step S4, the screen stored in the first and second image memories 3 and 4 is updated to the next screen, and the processing from step S2 is repeated.
[0040]
Here, the relationship between the subtraction value that is a constant used to subtract a certain amount from the threshold value in step S4 and the addition value that is a constant used to add a certain amount from the threshold value in step S7 will be described. The threshold value is a value for comparison with the amount of change of each temporally continuous screen constituting the moving image as described above. The representative screen detection control circuit 6 compares the amount of change with a threshold value, and changes the threshold value according to the comparison result. In other words, the variable amount of the threshold is determined by the addition value that is added when the representative screen is detected and the subtraction value that is subtracted when the representative screen is not detected. The detected amount of the representative screen for the input moving image is determined by the value of the addition value and the subtraction value. For example, if the ratio between the addition value and the subtraction value is 1: 100, one representative screen is detected for 100 input moving images. In addition, if the absolute value of the addition value and the subtraction value, which are variable amounts of the threshold value, increases, the detection sensitivity increases, and the representative screen can be detected on average. Furthermore, if the variable amount is small, the detection of the representative screen varies according to the difference detection amount.
[0041]
As described above, in the image detection apparatus 1 according to the first embodiment, when generating an intermittent image from a moving image, the representative screen is detected according to the amount of change between the screens constituting the moving image. This makes it possible to generate an intermittent image that is easy to grasp the contents. Moreover, since the threshold value used when comparing the amount of change is varied, an intermittent image generated at a constant average rate can be obtained regardless of the characteristics of the moving image. Therefore, the capacity can be easily managed when the generated intermittent image is recorded or transmitted.
[0042]
Furthermore, the image detection apparatus 1 according to the first embodiment can be used for high-speed playback of moving images, and is also used for detecting a typical screen when searching for moving images. be able to.
[0043]
Next, an image detection apparatus according to a second embodiment of the present invention will be described with reference to the drawings. In the description of the image detection apparatus according to the second embodiment, the same reference numerals are given to the components having the same functions as those of the image detection apparatus 1 according to the first embodiment described above, and the details thereof. The detailed explanation is omitted. Hereinafter, the same applies to the third embodiment.
[0044]
As shown in FIG. 3, the image detection apparatus 10 according to the second embodiment includes an input signal processing circuit 2 to which a video signal is input, a first image memory 3, a second image memory 4, A change amount detection circuit 5 that detects a change amount stored in each image memory 3, 4, a representative screen detection control circuit 6 that outputs an intermittent image by controlling these components, and a first image memory 3 And an average value calculation circuit 7 for converting the average value of the brightness of the screen.
[0045]
In the image detection apparatus 10 according to the second embodiment, a representative screen is detected from a video signal that is a moving image inputted by correcting not only the amount of change between screens but also the change in screen brightness. An intermittent image is generated.
[0046]
The average value calculation circuit 7 calculates the average value of the luminance of the image data in the image memory 3 before the change amount detection circuit 5 detects the change amount between images.
[0047]
The change amount detection circuit 5 detects the change amount using the average value of the image data calculated by the average value calculation circuit 7. The amount of change is detected using this average value because when the luminance signal is used as data, the value of the pixel data on a bright and bright screen is high and the difference becomes large. is there. Therefore, by dividing the change amount by the average value of luminance, it is possible to detect a representative screen that is not affected by brightness. Further, the average value of the luminance is supplied to the representative screen detection control circuit 6, and the brightness value is changed by changing the value of the addition value and the subtraction value without changing the ratio of the addition value and the subtraction value for changing the threshold value. It is also possible to detect a representative screen that is not affected.
[0048]
In addition, when calculating this average value, the image data in the image memory is divided into a plurality of regions and calculated for each region, so that even for images whose brightness and movement are partially biased in the plane. Yes. When the area is divided, the detection amount can be weighted by not dividing the screen equally, for example, by reducing the area of the central portion of the screen. It is also possible to give a clear weight by setting a value for each divided area and calculating a coefficient of an average value.
[0049]
As described above, in the image detection apparatus 10 according to the second embodiment, when generating an intermittent image from a moving image, the representative screen is detected according to the amount of change between the screens constituting the moving image. Thus, it is possible to generate an intermittent image that is easy to grasp the contents. Moreover, since the threshold value used when comparing the amount of change is varied, an intermittent image generated at a constant average rate can be obtained regardless of the characteristics of the moving image. Therefore, the capacity can be easily managed when the generated intermittent image is recorded or transmitted.
[0050]
In the second embodiment, not only the amount of change between screens but also the change in screen brightness is corrected and a representative screen is detected from a video signal that is an input moving image to generate an intermittent image. As a result, it is possible to reduce the fluctuation of the detection result of the intermittent image due to the change in the brightness of the image.
[0051]
Next, an image detection apparatus according to a third embodiment of the present invention will be described with reference to the drawings.
[0052]
FIG. 4 is a block configuration diagram of the image detection apparatus 20 according to the third embodiment. The image detection device 20 includes an input signal processing circuit 2 to which a video signal is input, a first image memory 3, a second image memory 4, a third image memory 8, and first and second images. A first change amount detection circuit 5 that detects a change amount from the screen stored in the memories 3 and 4, and a second change amount detection circuit 5 that detects the change amount from the screens stored in the first and third image memories 3 and 8. A change amount detection circuit 9 and a representative screen detection control circuit 11 that controls these components and outputs intermittent images are provided.
[0053]
The representative screen detection control circuit 11 detects a representative screen constituting an intermittent image based on the change amount detected by the first change amount detection means and the change amount detected by the second change amount detection circuit 9. In addition, based on the synchronization signal detected by the input signal processing circuit 2, the timing of writing and reading the image to the first, second, and third image memories 3, 4, and 8 is also controlled.
[0054]
The representative screen detection control circuit 11 compares the amount of change of the image data written in each of the image memories 3, 4, and 8 with the threshold value, and performs a representative screen detection process. Then, the representative screen detection control circuit 11 dynamically changes the threshold value and performs a process of detecting an average screen as the representative screen.
[0055]
The third image memory 8 stores a representative screen detected by the representative screen detection control circuit 11. The representative screen detection control circuit 11 detects the representative screen and generates an intermittent image. When the representative screen is detected, the representative screen detection control circuit 11 outputs the intermittent image and stores the representative screen in the third image memory 8. Note that the third image memory 8 always stores only one representative screen. When the next representative screen is stored in the previously stored representative screen, the previous representative screen is overwritten. .
[0056]
The second change amount detection circuit 9 detects the change amount between the screen stored in the first image memory 2 and the representative screen stored in the third image memory 8.
[0057]
The control contents of the representative screen detection control circuit 11 will be described based on the flowchart shown in FIG.
[0058]
First, each variable used for control in the flowchart shown in FIG. 5 will be described.
[0059]
For the control of the representative screen detection control circuit 11, the first threshold value and the second threshold value are used. The first threshold value is a value for comparison with the change amount between images detected by the first change amount detection circuit 5, and the second threshold value is detected by the second change amount detection circuit 9. This is a value for comparing the amount of change between the screens stored in the first image memory 3 and the third image memory 8.
[0060]
In the control of the representative screen detection control circuit 11, a subtraction value that is a constant used to subtract a certain amount from the second threshold value and an addition value that is a constant used to add the certain amount from the threshold value are used. ing. The relationship between the subtraction value and the addition value is the same as that in the first embodiment described above.
[0061]
In the control of the representative screen detection control circuit 11, a continuous detection flag is used. This continuous detection flag does not immediately capture this screen as a detection result even when a screen exceeding the threshold is detected by the difference detection between the screens by the second change amount detection circuit 9, and continuously exceeds the threshold. Used to detect the screen when a difference is detected.
[0062]
The control of the representative screen detection control circuit 11 uses a detection weight. In the representative screen detection control circuit 11, once the representative screen is detected, a second change amount detection circuit 9 that compares the change amounts of the screens stored in the first image memory 3 and the third image memory 8 is continuously provided. Even if the screen is detected, processing is performed so that the capture is performed after the amount of change in the first image memory 3 and the second image memory 4 that are temporally continuous decreases. However, in the case of a moving image with continuous intense motion, the first threshold value does not decrease, so that a representative screen detection output does not occur. For this reason, the first threshold value is manipulated by this detection weight so as to correspond to a moving image with intense motion.
[0063]
In step S11, the representative screen detection control circuit 11 initializes set values of variables such as threshold values. This threshold value may be set according to the additional information of the input moving image, the external input, the intermittent interval of the intermittent image to be output, and the like. Further, the amount of change in the threshold value may be set similarly.
[0064]
When the initialization is completed in step S11, in step S12, the second change amount detection circuit 9 is caused to calculate the amount of change of the screen stored in the first and third image memories 3 and 8, and the second change amount is calculated. get. In this calculation, the absolute value is obtained by subtracting each pixel as a change amount. The screen stored in the third image memory 8 stores the representative screen detected earlier. If the detected representative screen does not exist first, for example, all pixel values may be calculated as 0.
[0065]
When the second change amount is acquired, in step S13, the second change amount is compared with the second threshold value. If it is determined that the second change amount is not greater than the second threshold value, the process proceeds to step S14. If it is determined that the first change amount is greater than the first threshold value, the process proceeds to step S18.
[0066]
If it is determined that the first change amount is not larger than the first threshold value, the continuous detection flag is cleared in step S14, the detection weight is cleared in subsequent step S15, and a predetermined value is determined from the second threshold value in subsequent step S16. Subtract the first subtraction value that is the value. In step S17, the screen stored in the first and second image memories 3 and 4 is updated to the next screen, and the processing from step S12 is repeated. If it is determined in step S13 that the first change amount is larger than the first threshold value, it is determined in step S18 whether or not the continuous detection flag is set. If it is determined that the continuous detection flag is not set, the continuous detection flag is set in step S19, and the process proceeds to step S15, step S16, and step S17 described above, and the processing from step S12 is repeated.
[0067]
If it is determined in step S18 that the continuous detection flag is set, the change amount of the screen stored in the first and second image memories 3 and 4 is stored in the first change amount detection circuit 5 in step S20. The first change amount is obtained by calculation. In this calculation, the absolute value is obtained by subtracting each pixel as a change amount.
[0068]
When the first change amount is acquired, in step S21, the first change amount is compared with the first threshold value. The first threshold value is a comparison value for determining whether or not the first change amount is smaller than the second change amount, and is a value smaller than the second threshold value. The first threshold value is preferably a value linked to the second threshold value. For example, when the second threshold value is K, the first threshold value is preferably 1 / K.
[0069]
When it is determined that the first change amount is not smaller than the first threshold value, the motion of the moving image has not converged. Therefore, the detection weight is added to the first threshold value in step S22 on the assumption that the movement has not decreased. This detection weight is to add a predetermined amount of value to the first threshold, and even if the moving image does not converge forever, an appropriate screen can be obtained by adding this detection weight to the first threshold. The representative screen is detected at intervals of. When the detection weight is added to the first threshold value in step S22, the process proceeds to step S16 and step S17 described above and the processing from step S12 is repeated.
[0070]
When it is determined that the first change amount is smaller than the first threshold value, the process proceeds to step S23. In step S23, the screen stored in the first image memory 3 is detected as a representative screen, and the representative screen is output. In step S23, the detected representative screen is stored in the third image memory 8.
[0071]
When the representative screen is detected in step S23, the continuous detection flag is cleared in step S24, and an added value, which is a predetermined value, is added to the second threshold value in step S25. Next, in step S17, the screen stored in the first and second image memories 3 and 4 is updated to the next screen, and the processing from step S12 is repeated.
[0072]
The intermittent image output from the image detection device 20 will be described below.
[0073]
In the first example, as shown in FIG. 6 (a), the A scene and the B scene are included in the image detection device 20 at the cut point t. 1 An example is shown in which a moving image to be switched at is input.
[0074]
In this case, as shown in FIG. 6B, the third image memory 8 stores X in the figure. 1 The data of screen A is written. X in the figure input to the first image memory 3 at this time 2 When the screen is switched to B, a difference occurs with the image data in the third image memory 8 and thus becomes larger than the second threshold value. However, since a difference also occurs in the next second image memory 4, the representative screen is not detected. Next, X in the figure is stored in the first image memory 3. Three When the screen B is written, a difference from the screen A of the third image memory 8 occurs, and X in the figure of the second image memory 4 appears. 2 Since no difference occurs from the screen B, the representative screen is detected because the difference is smaller than the first threshold. Therefore, detection is performed after the screen converges one frame after switching from scene A to scene B.
[0075]
In the second example, as shown in FIG. 7A, an example in which a moving image including a screen B that is a flash light such as a flash light or a lightning is input to the image detection device 20 between the screen A is shown. Show.
[0076]
In this case, as shown in FIG. 7B, the third image memory 8 contains Y in the figure. 1 Screen A is written on the screen. Y in the figure 2 When the screen B is written in the first image memory 3, the difference is generated in both the third image memory 8 and the second image memory 4, so that the representative screen is not detected. In the following figure, Y Three Similarly, when the screen A is input to the first image memory 3, no difference is generated, so that the representative screen is not detected. That is, no detection is made in the flash portion.
[0077]
In the third example, as shown in FIG. 8A, a moving image in which the screen such as fade, wipe, pan, etc. in which the screen for special effects gradually changes is constantly changed is input to this image detection device 20. An example is shown.
[0078]
In this case, as shown in FIG. 8B, the third image memory 8 includes Z 1 Screen A is written. Next, when the screen B is input to the first image memory 3, a difference occurs in both the third image memory 8 and the second image memory 4. Next screen C, screen D, screen E, Z in the figure 2 The screen F is not detected because a difference occurs. Z in the following figure Three On the screen F, no difference from the second image memory 4 occurs, and this screen F becomes the representative screen. Therefore, detection is performed when the desired moving image is stationary.
[0079]
As described above, in the image detection apparatus 20 according to the third embodiment, when generating an intermittent image from a moving image, the representative screen is detected according to the amount of change between the screens constituting the moving image. This makes it possible to generate an intermittent image that is easy to grasp the contents. Moreover, since the threshold value used when comparing the amount of change is varied, an intermittent image generated at a constant average rate can be obtained regardless of the characteristics of the moving image. Therefore, the capacity can be easily managed when the generated intermittent image is recorded or transmitted.
[0080]
Further, in the image detection apparatus 20 according to the third embodiment, even if the amount of change from the previously detected representative screen is large, detection processing is performed after the amount of change has converged. When detecting a representative screen from a signal and generating an intermittent image, it is possible to detect a change point of a scene by detecting a change between the screens, or to prevent detection of an unnecessary screen such as a false detection. For example, it is possible to prevent detection of special screens such as surface switching and flashing due to special effects.
[0081]
In the image detection apparatus 20 according to the third embodiment, the case where an image for one frame is removed using the first image memory 3 and the second image memory 4 is shown. By using a plurality of memories in addition to the memory 4, unnecessary images for a plurality of frames can be removed, and images for a plurality of frames can be obtained by shifting the frames stored in the second image memory 4 in time. Can be removed.
[0082]
Next, a video signal recording / reproducing apparatus according to a fourth embodiment to which the present invention is applied will be described. In the video signal recording / reproducing apparatus according to the fourth embodiment, the first image detecting apparatus 1 described above is applied to a video / audio signal recording / reproducing apparatus.
[0083]
As shown in FIG. 9, the video / audio signal recording / reproducing apparatus 50 includes an input signal processing unit 51 that performs input processing of an input video signal and audio signal, and a video signal and a signal that are processed by the input signal processing unit 51. A video / audio signal processing unit 52 that reproduces an audio signal, an image detection processing unit 55 that generates an intermittent image from the video signal reproduced by the video / audio signal processing unit 52, and an interpolation to the video signal reproduced by the video / audio signal processing unit 52 An intermittent image processing unit 53 for processing, an output signal processing unit 54 for outputting a video signal interpolated by the intermittent image processing unit 53, and a recording / reproducing signal for performing signal processing such as modulation / demodulation to record / reproduce the video signal A processing unit 56, a recording / reproducing unit 57 for recording / reproducing the video / audio signal on the recording medium 59, an intermittent image processing unit 53, a recording / reproducing signal processing unit 56, etc. And a troll section 58.
[0084]
The input video / audio signal is, for example, a video signal and an audio signal of a moving image, and is subjected to processing such as signal level conversion by the input signal processing unit 51 and is supplied to the video / audio signal processing unit 52.
[0085]
The video / audio signal processing unit 52 performs processing of converting the video signal and audio signal processed by the input signal processing unit 51 into signals suitable for subsequent processing. The signal reproduced from the recording medium 59 from the recording / reproducing signal processing unit 56 is similarly processed. For example, when error correction processing or image compression processing is performed, corresponding decoding processing, processing for separating a luminance signal and a color signal, and the like are performed. The video / audio signal processing unit 52 supplies the output video signal to the image detection processing unit 55, the intermittent image processing unit 53, and the recording / reproduction signal processing unit 56.
[0086]
The image detection processing unit 55 is, for example, the image detection apparatus 1 according to the first embodiment described above. The image detection processing unit 55 detects the representative screen from the moving image and generates an intermittent image. This intermittent image is supplied to the recording / reproducing signal processing unit 56.
[0087]
The recording / playback signal processing unit 56 performs data conversion processing for supplying a signal played back from the recording medium 59 via the recording / playback unit 57 to the video / audio signal processing unit 52 based on the control of the system control unit 58. . Further, based on the control of the system control unit 58, data conversion processing for recording the signal supplied from the video / audio signal processing unit 52 on the recording medium 59 is performed.
[0088]
The recording / reproducing unit 57 records intermittent video signals and audio signals on the recording medium 59 or reproduces intermittent video signals and audio signals recorded on the recording medium 59.
[0089]
The intermittent image processing unit 53 performs interpolation processing on the intermittent image reproduced from the recording medium 59. Here, the interpolation processing is, for example, processing for performing up-conversion of a moving image by outputting the same image multiple times using an image memory when outputting a still image.
The output signal processing unit 54 performs digital / analog conversion processing, amplification processing, and the like of the video signal so that the video signal can be reproduced by the monitor. By supplying the output from the output signal processing unit 54 to a monitor or the like, the viewer can view the video and audio subjected to the interpolation processing.
[0090]
As described above, the video / audio signal recording / reproducing apparatus 50 includes the image detection processing unit 55, and can generate and record an intermittent image from the input moving image. The image detection processing unit 55 may be not only the image detection device 1 of the first embodiment described above but also the image detection devices 10 and 20 of the second and third embodiments.
[0091]
In the video signal storage / reproduction device 50, the video signal is recorded as a moving image, and a detection result for performing intermittent reproduction is recorded separately, thereby generating an intermittent image during reproduction. Can do. For this reason, the video / audio signal recording / reproducing apparatus 50 reproduces the video signal recorded on the recording medium 59, for example, as a digest version, and is useful for grasping the outline of the video signal and the like for editing work.
[0092]
【The invention's effect】
In the image detection apparatus according to the present invention, the first change amount from the second screen immediately before the first screen in the moving image detected by the first change amount detection unit is detected by the screen detection unit. By detecting the first screen when the first change amount is larger than the first threshold value as compared with the threshold value, the output unit outputs an intermittent image corresponding to the content of the moving image, An intermittent image in which the contents can be easily grasped can be generated, high-speed reproduction can be performed, and the first screen detected by the second change amount detecting means and the first detected screen are detected. 2 is compared with the second threshold, and if the second change is greater than the second threshold, the first change is further compared with the first threshold. When the amount of change is smaller than the first threshold, the effective screen is detected by detecting the first screen. Can make the detection, it is possible to generate an intermittent image without being influenced by the characteristics of the image. Furthermore, the capacity can be easily managed when the generated intermittent image is recorded and transmitted.
[0096]
In the image detection method according to the present invention, a first change amount between a first screen which is one screen in a moving image and a second screen immediately before the first screen is detected, A second change amount between the first screen and the previously detected detection screen is detected; The second change amount is compared with a second threshold value. If the second change amount is larger than the second threshold value, the first change amount is further compared with the first threshold value. When the change amount of 1 is smaller than the first threshold, the first screen is detected, and by outputting an intermittent image corresponding to the content of the moving image, only an effective screen can be detected. An intermittent image can be generated without being influenced by the characteristics of Furthermore, the capacity can be easily managed when the generated intermittent image is recorded and transmitted.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image detection apparatus to which the present invention is applied.
FIG. 2 is a flowchart showing control contents of a representative screen detection control circuit of the image detection apparatus to which the present invention is applied.
FIG. 3 is a block diagram of an image detection apparatus to which the present invention is applied.
FIG. 4 is a block diagram of an image detection apparatus to which the present invention is applied.
FIG. 5 is a flowchart showing control contents of a representative screen detection control circuit of the image detection apparatus to which the present invention is applied.
FIG. 6 is an explanatory diagram of an intermittent image output from an image detection apparatus to which the present invention is applied.
FIG. 7 is an explanatory diagram of an intermittent image output from an image detection apparatus to which the present invention is applied.
FIG. 8 is an explanatory diagram of an intermittent image output from an image detection apparatus to which the present invention is applied.
FIG. 9 is a block diagram of a video / audio signal recording / reproducing apparatus to which the present invention is applied;
[Explanation of symbols]
1, 10, 20 Image detection device, 2 Input signal processing circuit, 3 First image memory, 4 Second image memory, 5 Change amount detection circuit, 6, 11 Representative screen detection control circuit, 7 Average value calculation circuit, 8 Third image memory, 9 Second change amount detection circuit

Claims (10)

動画像中の1の画面である第1の画面と、この第1の画面の直前の第2の画面との第1の変化量を検出する第1の変化量検出手段と、
上記第1の画面と、先に検出した検出画面との第2の変化量を検出する第2の変化量検出手段と、
上記第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出する画面検出手段と、
上記画面検出手段により検出した第1の画面を検出画面として出力する出力手段とを備えることを特徴とする画像検出装置。
First change amount detection means for detecting a first change amount between a first screen that is one screen in a moving image and a second screen immediately before the first screen;
A second change amount detecting means for detecting a second change amount between the first screen and the previously detected detection screen;
The second change amount is compared with a second threshold value, and if the second change amount is larger than the second threshold value, the first change amount is further compared with the first threshold value. Screen detecting means for detecting the first screen when the amount of change of 1 is smaller than the first threshold;
An image detection apparatus comprising: output means for outputting the first screen detected by the screen detection means as a detection screen.
上記画面検出手段は、上記第2の変化量が第2の閾値より小さいときはこの第2の閾値を所定量少なくし、第2の変化量が連続してこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、第1の変化量が第1の閾値より大きいときは第1の閾値を所定量多くし、第1の変化量が第1の閾値より小さいときは第1の画面を検出するとともに第2の閾値を所定量多くすることを特徴とする請求項1に記載の画像検出装置。  When the second change amount is smaller than the second threshold value, the screen detection means reduces the second threshold value by a predetermined amount, and when the second change amount is continuously larger than the second threshold value. Further compares the first change amount with a first threshold value. If the first change amount is larger than the first threshold value, the first threshold value is increased by a predetermined amount, and the first change amount is set to the first threshold value. The image detection apparatus according to claim 1, wherein when the threshold value is smaller than the threshold value, the first screen is detected and the second threshold value is increased by a predetermined amount. 上記第1の閾値及び第2の閾値は、第1の閾値<第2の閾値の条件を満たす互いに連動した値であることを特徴とする請求項2に記載の画像検出装置。  The image detection apparatus according to claim 2, wherein the first threshold value and the second threshold value are values interlocked with each other that satisfy a condition of first threshold value <second threshold value. 上記検出画面を記録媒体に記録する記録手段を備えることを特徴とする請求項1に記載の画像検出装置。  The image detection apparatus according to claim 1, further comprising recording means for recording the detection screen on a recording medium. 検出した画面を伝送する伝送手段を備えることを特徴とする請求項1に記載の画像検出装置。  The image detection apparatus according to claim 1, further comprising transmission means for transmitting the detected screen. 動画像中の1の画面である第1の画面と、この第1の画面の直前の第2の画面との第1の変化量を検出し、
上記第1の画面と、先に検出した検出画面との第2の変化量を検出し、
上記第2の変化量を第2の閾値と比較し、この第2の変化量がこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、この第1の変化量が第1の閾値より小さいときは第1の画面を検出し、
検出した第1の画面を検出画面として出力することを特徴とする画像検出方法。
Detecting a first change amount between a first screen that is one screen in a moving image and a second screen immediately before the first screen;
A second change amount between the first screen and the previously detected detection screen is detected;
The second change amount is compared with a second threshold value, and if the second change amount is larger than the second threshold value, the first change amount is further compared with the first threshold value. When the amount of change of 1 is smaller than the first threshold, the first screen is detected,
An image detection method, comprising: outputting a detected first screen as a detection screen.
上記第2の変化量が第2の閾値より小さいときはこの第2の閾値を所定量少なくし、第2の変化量が連続してこの第2の閾値より大きい場合にはさらに上記第1の変化量を第1の閾値と比較し、第1の変化量が第1の閾値より大きいときは第1の閾値を所定量多くし、第1の変化量が第1の閾値より小さいときは第1の画面を検出するとともに第2の閾値を所定量多くすることを特徴とする請求項6に記載の画像検出方法。  When the second change amount is smaller than the second threshold value, the second threshold value is decreased by a predetermined amount, and when the second change amount is continuously larger than the second threshold value, the first threshold value is further reduced. The amount of change is compared with a first threshold. When the first amount of change is greater than the first threshold, the first threshold is increased by a predetermined amount, and when the amount of first change is less than the first threshold, The image detection method according to claim 6, wherein one image is detected and the second threshold value is increased by a predetermined amount. 上記第1の閾値及び第2の閾値は、第1の閾値<第2の閾値の条件を満たす互いに連動した値であることを特徴とする請求項7に記載の画像検出方法。  8. The image detection method according to claim 7, wherein the first threshold value and the second threshold value are values interlocked with each other that satisfy the condition of the first threshold value <the second threshold value. 上記検出画面を記録媒体に記録することを特徴とする請求項6に記載の画像検出方法。  The image detection method according to claim 6, wherein the detection screen is recorded on a recording medium. 上記検出画面を伝送することを特徴とする請求項6に記載の画像検出方法。  The image detection method according to claim 6, wherein the detection screen is transmitted.
JP04666897A 1997-02-28 1997-02-28 Image detection apparatus and image detection method Expired - Fee Related JP3804155B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04666897A JP3804155B2 (en) 1997-02-28 1997-02-28 Image detection apparatus and image detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04666897A JP3804155B2 (en) 1997-02-28 1997-02-28 Image detection apparatus and image detection method

Publications (2)

Publication Number Publication Date
JPH10243341A JPH10243341A (en) 1998-09-11
JP3804155B2 true JP3804155B2 (en) 2006-08-02

Family

ID=12753746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04666897A Expired - Fee Related JP3804155B2 (en) 1997-02-28 1997-02-28 Image detection apparatus and image detection method

Country Status (1)

Country Link
JP (1) JP3804155B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499585B2 (en) * 2005-02-28 2010-07-07 オリンパスイメージング株式会社 Digital camera
JP5959194B2 (en) * 2011-12-27 2016-08-02 オリンパス株式会社 Imaging device

Also Published As

Publication number Publication date
JPH10243341A (en) 1998-09-11

Similar Documents

Publication Publication Date Title
KR100303727B1 (en) Adaptive display speed control system
US6539164B2 (en) Disk media, and method of and device for playing back information on or from a disk media
US5191431A (en) Recording apparatus having plural operating modes involving diverse signal compression rates and different apportioning of pilot signal recording area
GB2215555A (en) Image data transfer method and apparatus therefor
JPH0955916A (en) High speed browsing device for moving picture
JP3911768B2 (en) Image encoding method and image encoding apparatus
US5019908A (en) Apparatus and method for reducing flickering in a still video frame in a digital image processing system
JP4941137B2 (en) Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing method program
US6137947A (en) Method and apparatus for reproducing a video signal
JP3804155B2 (en) Image detection apparatus and image detection method
JP3604732B2 (en) Video system
JP3158735B2 (en) Image signal recording device
JPH08223530A (en) Video recording/reproducing method and device therefor
JP3925487B2 (en) Imaging apparatus and imaging method
US7068916B2 (en) Method of masking picture display transitions upon change-over of the video playback speed
JP3440512B2 (en) Video signal processing apparatus and method
JP3700196B2 (en) Image processing apparatus and image processing method
KR100752452B1 (en) Image signal reproducing apparatus and method
JP2001054063A (en) Digital recorder
JP3365613B2 (en) Digital signal playback device
JP3467998B2 (en) Video signal recording and reproducing method, and video signal recording / reproducing device
JP2001197425A (en) Video signal processing unit
JP3475439B2 (en) Variable speed playback video signal processing device
JP2000013741A (en) Video recorder and video reproducing device
JPH07222106A (en) Video signal reproducing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060501

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees