JP4254802B2 - 画像処理装置および方法、プログラム並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム並びに記録媒体 Download PDF

Info

Publication number
JP4254802B2
JP4254802B2 JP2006132712A JP2006132712A JP4254802B2 JP 4254802 B2 JP4254802 B2 JP 4254802B2 JP 2006132712 A JP2006132712 A JP 2006132712A JP 2006132712 A JP2006132712 A JP 2006132712A JP 4254802 B2 JP4254802 B2 JP 4254802B2
Authority
JP
Japan
Prior art keywords
unit
image
screen
calculation
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006132712A
Other languages
English (en)
Other versions
JP2007304869A (ja
JP2007304869A5 (ja
Inventor
純 平井
信 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006132712A priority Critical patent/JP4254802B2/ja
Priority to US11/799,694 priority patent/US20070285579A1/en
Publication of JP2007304869A publication Critical patent/JP2007304869A/ja
Publication of JP2007304869A5 publication Critical patent/JP2007304869A5/ja
Application granted granted Critical
Publication of JP4254802B2 publication Critical patent/JP4254802B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、より正確にシーンチェンジを検出することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。
最近、テレビジョン放送信号を受信し、ハードディスクなどの大容量の記憶媒体に記憶することが盛んに行われるようになってきた。この場合、ユーザが所望の画面を迅速に検索できるようにするために、各シーン毎に、その代表画面をサムネイル画像として表示することが知られている。シーンの代表画面を検出するには、その前に、各シーン、従ってシーンとシーンの境界としてのシーンチェンジのフレームを検出する（以下、簡単にシーンチェンジを検出するとも称する）必要がある。
特許文献１には、動画像の各フレームについて、前後するフレームの画像情報の差分値を算出し、連続する所定数のフレームにおける差分値の分散を算出し、算出した分散を用いて所定数のフレームに含まれるフレームの差分値の偏差値を算出し、算出した偏差値が閾値よりも大きいかを判定し、偏差値が閾値よりも大きいとき、そのフレームをシーンチェンジのフレームとして検出することが提案されている。
特開２００３−２９９０００号公報
しかしながら、特許文献１の方法は、明るさや動きの変化に対して反応しがちとなり、同様の内容の画面でも明るさが変化しただけで、シーンチェンジとして誤検出されてしまうおそれがあった。
本発明は、このような状況に鑑みてなされたものであり、より正確にシーンチェンジを検出することができるようにするものである。
本発明の側面は、複数の画面の画像信号の位相相関を演算する相関演算手段と、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段とを備え、前記検出手段は、前記振幅の数を計数する計数手段と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段とを備える画像処理装置である。
前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、前記計数手段は、正規化された前記振幅の数を計数することができる。
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、前記相関演算手段は、抽出された領域の画像信号の位相相関を演算することができる。
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、前記相関演算手段は、縮小された領域の画像信号の位相相関を演算することができる。
複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段をさらに備え、前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演算を行うことができる。
前記非画像検出手段は、前記画像信号をフーリエ変換するフーリエ変換手段と、前記フーリエ変換された信号から交流成分を検出する交流成分検出手段と、検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による演算を禁止するように制御する制御手段とを備えることができる。
複数の画面の画像信号の差分を演算する差分演算手段をさらに備え、前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行することができる。
１つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段をさらに備え、前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算することができる。
前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段をさらに備えることができる。
前記代表画面検出手段は、前記相関演算手段の演算の結果得られた動きベクトルの最小値に対応する画面を代表画面として検出することができる。
前記画面の画像信号をフーリエ変換するフーリエ変換手段と、フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段と、前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段とをさらに備え、前記相関演算手段は、変換処理された画像信号の位相相関を演算することができる。
本発明の側面はまた、複数の画面の画像信号の位相相関を演算し、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップをコンピュータに実行させ、前記シーンチェンジを検出するステップにおいては、前記振幅の数が計数され、前記振幅の数が基準値より多いとき、シーンチェンジであると判定される画像処理方法またはプログラムである。
前記プログラムは記録媒体に記録することができる。
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、前記平均値演算手段は、抽出された領域の画像信号の前記平均値を演算することができる。
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、前記平均値演算手段は、縮小された領域の画像信号の前記平均値を演算することができる。
本発明の他の側面はまた、複数の画面の画像信号のそれぞれの平均値を演算し、複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算し、演算された差分をマッチングし、マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップを備える画像処理方法またはプログラムである。
前記プログラムは記録媒体に記録することができる。
本発明の側面においては、複数の画面の画像信号の位相相関が演算され、位相相関の演算の結果得られる画面の座標位置における振幅の値に基づいてシーンチェンジが検出される。
本発明の他の側面においては、複数の画面の画像信号のそれぞれの平均値が演算され、複数の画面の画像信号と、演算されたそれぞれの平均値との差分がマッチングされ、マッチングの結果得られる画面の座標位置における振幅の値に基づいてシーンチェンジが検出される。
以上のように、本発明の側面によれば、より正確にシーンチェンジを検出することができる。
同様に、本発明の他の側面によっても、より正確にシーンチェンジを検出することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の側面は、複数の画面の画像信号の位相相関を演算する相関演算手段（例えば、図１の演算部15）と、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段（例えば、図１の計数部17、判定部18）とを備え、前記検出手段は、前記振幅の数を計数する計数手段と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段とを備える画像処理装置（例えば、図１の画像処理装置１）である。
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段（例えば、図１の領域抽出部12A,12B）をさらに備え、前記相関演算手段は、抽出された領域の画像信号の位相相関を演算することができる。
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段（例えば、図１の画像縮小部13A,13B）をさらに備え、前記相関演算手段は、縮小された領域の画像信号の位相相関を演算することができる。
複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段（例えば、図１の非画像検出部14A,14B）をさらに備え、前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演算を行うことができる。
前記非画像検出手段は、前記画像信号をフーリエ変換するフーリエ変換手段（例えば、図１のフーリエ変換部31A,31B）と、前記フーリエ変換された信号から交流成分を検出する交流成分検出手段（例えば、図１の交流成分検出部32A,32B）と、検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による演算を禁止するように制御する制御手段（例えば、図１の判定部33A,33B）とを備えることができる。
複数の画面の画像信号の差分を演算する差分演算手段（例えば、図13の差分演算部91）をさらに備え、前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行することができる。
１つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段（例えば、図17の分割部111）をさらに備え、前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算することができる。
前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段（例えば、図21の代表画面検出部201）をさらに備えることができる。
前記画面の画像信号をフーリエ変換するフーリエ変換手段（例えば、図29のフーリエ変換部31A,31B）と、フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段（例えば、図29の振幅スペクトル演算部311A,311B）と、前記振幅スペクトルを対数極座標に変換する座標変換手段（例えば、図29の対数極座標変換部312A,312B）と、前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段（例えば、図29の回転／スケーリング変換部304）とをさらに備え、前記相関演算手段は、変換処理された画像信号の位相相関を演算することができる。
本発明の側面はまた、複数の画面の画像信号の位相相関を演算し（例えば、図２のステップS7乃至S9）、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する（例えば、図３のステップS10乃至S14）ステップをコンピュータに実行させ、前記シーンチェンジを検出するステップにおいては、前記振幅の数が計数され、前記振幅の数が基準値より多いとき、シーンチェンジであると判定される画像処理方法またはプログラムである。
以下、図を参照して本発明の実施の形態について説明する。
図１は、本発明を適用した画像処理装置の一実施の形態の構成を表している。
画像処理装置１は、画像入力部11A,11B、領域抽出部12A,12B、画像縮小部13A,13B、非画像検出部14A,14B、演算部15、正規化部16、計数部17、判定部18、並びに記憶部19により構成されている。
画像入力部11Aは、例えば、チューナにより構成され、放送されたテレビジョン放送信号を受信し、その受信した信号を領域抽出部12Aに出力する。領域抽出部12Aは、受信された一画面を構成する画像信号のうち、所定の範囲の画像信号を抽出する。画像縮小部13Aは、領域抽出部12Aにより抽出された所定の領域の画像信号を、より少ない画素の画像信号に縮小する。画像縮小部13Aにより縮小された画像信号は、非画像検出部14Aに供給される。
同様に、画像入力部11B、領域抽出部12B、並びに画像縮小部13Bが設けられており、これらは、画像入力部11A、領域抽出部12A、並びに画像縮小部13Aと同様の処理を、それらと異なる画面の画像について行う。なお、画像入力部11Bは省略し、画像入力部11Aの出力を領域抽出部12Bに供給するようにしてもよい。
非画像検出部14A,14Bは、例えば、フラッシュがたかれて全体が白くつぶれてしまった画像のように、実質的には画像とはいえない無意味な画像（以下、非画像と称する）を検出する。非画像検出部14Aは、フーリエ変換部31A、交流成分検出部32A、および判定部33Aにより構成されている。同様に、非画像検出部14Bは、フーリエ変換部31B、交流成分検出部32B、および判定部33Bにより構成されている。
フーリエ変換部31Aは、画像縮小部13Aから供給された画像信号を高速フーリエ変換し、交流成分検出部32Aに出力する。交流成分検出部32Aは、フーリエ変換部31Aより入力された信号の交流成分を検出する。判定部33Aは、交流成分検出部32Aにより検出された交流成分を予め設定されている所定の閾値と比較し、その比較結果に基づいて入力された画像が実質的に非画像であるのかを判定し、その判定結果に基づいてクロスパワースペクトル検出部51の動作を制御する。
非画像検出部14Bのフーリエ変換部31B、交流成分検出部32B、および判定部33Bも、非画像検出部14Aのフーリエ変換部31A、交流成分検出部32A、および判定部33Aと同様に、画像縮小部13Bの出力を処理する。そして、処理した得られた判定結果に基づいて、クロスパワースペクトル検出部51の動作が制御される。
演算部15は、SPOMF(Symmetrical Phase Only Matched Filtering)方式の演算を行う。SPOMFについては“Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition”IEEE Transaction on Pattern analysis and Machine Intelligence, VOL.16 No.12 December 1994などに記載されている。
演算部15は、この実施の形態の場合、クロスパワースペクトル検出部51と逆フーリエ変換部52により構成されているが、実質的には非画像検出部14A,14Bのフーリエ変換部31A,31Bも演算部15の一部を構成している。すなわち、演算部15のフーリエ変換部は、非画像検出部14A,14Bのフーリエ変換部により代用されている。もちろん、演算部15に専用のフーリエ変換部を設けることもできる。
クロスパワースペクトル検出部51は、フーリエ変換部31Aの出力とフーリエ変換部31Bの出力からクロスパワースペクトルを演算する。このクロスパワースペクトル検出部51の動作は、判定部33A,33Bの出力により制御される。すなわち、いま処理されている画像が実質的に非画像であることが判定部33Aまたは判定部33Bにより検出された場合、クロスパワースペクトル検出部51の処理は禁止される。逆フーリエ変換部52は、クロスパワースペクトル検出部51の出力を逆高速フーリエ変換する。
正規化部16は、逆フーリエ変換部52の出力を正規化する。計数部17は、正規化部16の出力のピークを検出し、その検出結果を判定部18に出力する。判定部18は、計数部17により検出されたピークの数を、予め設定されている所定の基準値と比較し、その比較結果を記憶部19に出力し、記憶させる。記憶部19には、画像入力部11A,11Bより出力された画像信号も記憶される。
次に、図２と図３のフローチャートを参照して、図１の画像処理装置１のシーンチェンジ検出処理について説明する。
ステップS1において、画像入力部11A,11Bはそれぞれ異なる画面の画像を入力する。領域抽出部12A,12Bは、ステップS1で画像入力部11A,11Bより入力された画像から所定の領域を抽出する。具体的には、図４に示されるように、１画面の大きさが720画素×480画素である場合、上から16画素、下から80画素、左端部から104画素、右端部から104画素の外周の範囲が除かれ、その内部の512画素×384画素の範囲の領域が抽出される。テロップなどの文字は、画面の周囲に表示されることが多いため、このような画面の周囲の画像信号を除くことにより、テロップなどの画像や、画面の周囲に模様のある外枠の画像がシーンチェンジの検出に利用され、誤検出されることが防止される。
なお、抽出される境界の外側の画素値を急激に０とするのではなく、クロスフェード的に滑らかに変化させるようにすることで、境界線のスペクトラムの影響を受けにくくすることができる。
次に、ステップS3において画像縮小部13A,13Bは、領域抽出部12A,12Bより入力された画像信号を縮小する。具体的には、例えば図５に示されるように、抽出された512画素×384画素の画面がインターレース方式の画像である場合、一方のフィールドの画像が選ばれる。この画像は、例えば図６に示されるように、512画素×192画素の画面となる。このうちの８画素×６画素のブロックの平均値が演算され、その平均値からなる画面が、図７に示されるように、64画素×32画素の縮小画面として生成される。
このように画素数を大幅に削減することで、これ以降の演算量を低減することができる。また、画素をブロック単位で平均化することにより、粗い画素でフレーム間の相関をみることになる。その結果、フレーム間で回転動作がある場合、一般的には相関性が低くなり、シーンチェンジとして誤検出されることがあるが、粗い画素で相関性をみる場合には、フレーム間で回転動作があったとしても相関性が低くならないので、シーンチェンジではないと判断され易くなる。
次に、ステップS4において、フーリエ変換部31Aは、画像縮小部13Aより入力された画像信号を２次元高速フーリエ変換する。具体的には、式（１）で示される演算が行われる。同様に、フーリエ変換部31Bも式（２）で示される２次元高速フーリエ変換を行う。
Figure 0004254802
ステップS5において、交流成分検出部32Aは、フーリエ変換部31Aの出力から交流成分を検出する。同様に、交流成分検出部32Bもフーリエ変換部31Bの中から交流成分を検出する。ステップS6において判定部33A,33Bは、それぞれ交流成分検出部32A,32Bの検出結果を予め設定されている所定の閾値として比較し、交流成分が閾値以上かを判定する。
領域抽出部12A,12Bで抽出された異なるフレームの画像うち、その一方のフレームの画像がフラッシュなどにより白くつぶれてしまった非画像であり、他方のフレームの画像がそうではない通常の画像である場合、両者は相関がない（すなわち、シーンチェンジである）と判断されることが多い。しかしながら、このような場合には、実際にはシーンチェンジではなく、たまたま連続する画面の１つがフラッシュにより明るい画像として表示されているにすぎない。そこでこのようなフレームが、シーンチェンジとして検出されるのは好ましくない。フラッシュなどにより画像が白くつぶれしている場合の高速フーリエ変換の係数は交流成分が少なくなる。そこで、交流成分が予め設定されている閾値より少ない場合には、ステップS14において、判定部33A,33Bは、現在処理しているフレームは、シーンチェンジではないと判定する。これにより、白くつぶれた画像がシーンチェンジと誤検出されることが抑制される。
次に、ステップS15において、判定部33A,33Bは、すべてのフレームを検出したかを判定する。まだ、すべてのフレームを検出していない場合、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。
ステップS6において、交流成分が閾値以上であると判定された場合、ステップS7において、クロスパワースペクトル検出部51は、クロスパワースペクトルを検出する。具体的には、クロスパワースペクトル検出部51は、クロスパワースペクトルとして式（３）または式（４）を演算する。
Figure 0004254802
fx,fyは、周波数空間を表し、G*(fx,fy)の＊は、G(fx,fy)の複素共役を意味する。
ステップS8において、逆フーリエ変換部52は、クロスパワースペクトル検出部51の出力するクロスパワースペクトルを２次元逆高速フーリエ変換する。具体的には、式（５）に示される値s(x,y)が演算される。
Figure 0004254802
ステップS9において、正規化部16は、逆フーリエ変換部52の出力s(x,y)を最大値が１になるように正規化する。具体的には、次の式（６）が演算される。式（６）の右辺の分母は、値s(x,y)の絶対値の最大値を意味する。
Figure 0004254802
計数部17は、ステップS10において、閾値以上の大きさの振幅の数を計数する。ステップS11において、判定部18は、ステップS10における計数値が予め設定されている閾値以上かを判定する。計数値が閾値以上である場合には、ステップS12において判定部18は、今処理中の画面はシーンチェンジであると判定する。これに対して計数値が閾値以上ではないと判定された場合、ステップS14において判定部18は、今処理中の画面はシーンチェンジではないと判定する。
すなわち、正規化部16により正規化された逆フーリエ変換部52の出力は、相関性が低い場合、図８に示されるようになり、相関性が高い場合、図９に示されるようになる。これらの値は画面の位置を表すｘ,ｙ座標における演算値を表している。シーンチェンジである場合には、２つのフレームの相関性が低くなるため、図８に示されるように、各座標における振幅の大きさが予め設定されている基準値を超えるものの数が多くなる。これに対して、シーンチェンジではない場合には、２つのフレームの相関が高いため、振幅の大きさが閾値を超えるものの数は少なくなる。そこで、ステップS11、ステップS12、およびステップS14の判定処理が行われることになる。
ステップS12において、シーンチェンジであると判定された場合、ステップS13において、記憶部19は判定結果を記憶する。すなわち、今処理中のフレームがシーンチェンジであることが、記憶部19に画像入力部11Aより入力されたそのフレームの画像信号に対応付けて記憶される。
ステップS13,S14の処理の後、ステップS15において、判定部18はすべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
図１の実施の形態においては、異なるフレームの画像を処理するそれぞれ専用の処理部（２チャンネルの処理部）を設けるようにしたが、一部を兼用することも可能である。図10は、この場合の構成を表している。
すなわち、図10の画像処理装置１においては、画像入力部11、領域抽出部12、画像縮小部13、および非画像検出部14が、それぞれ１チャンネル分のみ設けられている。そして、演算部15にはクロスパワースペクトル検出部51と逆フーリエ変換部52以外に、遅延部71が設けられている。交流成分検出部32および判定部33とともに非画像検出部14を構成するフーリエ変換部31の出力が、交流成分検出部32に供給されるだけでなく、演算部15のクロスパワースペクトル検出部51と遅延部71に供給される。そして、遅延部71により所定のフレーム数に対応する時間だけ遅延されたフーリエ変換部31の出力が、クロスパワースペクトル検出部51に供給されている。その他の構成は、図１における場合と同様である。
図11と図12は、図10の実施の形態のシーンチェンジ検出処理を表している。このステップS31乃至ステップS46の処理は、図２と図３のステップS1乃至ステップS15の処理と基本的に同様の処理である。ただし、図２のステップS6に対応するステップS36と、ステップS7に対応するステップS38の間に、ステップS37の処理が挿入されている点が異なっている。
すなわち、この実施の形態においては、ステップS36で交流成分が閾値以上であると判定された場合には、ステップS37において、遅延部71がフーリエ変換部31の出力を所定のフレーム数に対応する時間だけ遅延する。そして、遅延された信号が、クロスパワースペクトル検出部51に供給される。ステップS38において、クロスパワースペクトル検出部51は、フーリエ変換部31より供給された直接入力された信号と、遅延部71を介して供給された異なるフレームの信号とから、クロスパワースペクトルを検出する。その他の処理は、図１における場合と同様である。
図10の実施の形態は、図１の実施の形態に較べて、構成を簡略化することができる。
図13は、画像処理装置１の他の実施の形態の構成を表している。この実施の形態においては、画像縮小部13A,13Bと非画像検出部14A,14Bの間に簡易検出部81が設けられている。簡易検出部81は、差分演算部91と判定部92を有している。差分演算部91は、画像縮小部13Aと画像縮小部13Bの出力の差分を演算し、その演算結果を判定部92に出力している。判定部92は、差分演算部91の差分演算結果に基づいて判定を行い、フーリエ変換部31A,31Bの動作を制御するように構成されている。その他の構成は、図１における場合と同様である。
次に、図14と図15のフローチャートを参照して、図13の画像処理装置１のシーンチェンジ検出処理について説明する。
ステップS51において、画像入力部11A,11Bは異なるフレームの画像を入力する。ステップS52において、領域抽出部12A,12Bは、画像入力部11A,11Bより入力された画像信号から所定の領域を抽出する。ステップS53において、画像縮小部13A,13Bは、領域抽出部12A,12Bで抽出された領域の画像を縮小する。以上のステップS51乃至ステップS53の処理は、図２のステップS1乃至ステップS3の処理と同様の処理である。
次に、ステップS54において、差分演算部91は、画像縮小部13Aの出力と画像縮小部13Bの出力の差分を演算する。ステップS55において、判定部92は、ステップS54の処理で演算された差分を予め設定されている所定の閾値と比較し、差分が閾値以上であるかを判定する。差分が閾値以上ではない場合には、処理はステップS51に戻り、それ以降の処理が繰り返し実行される。これに対して、差分が閾値以上である場合には、処理はステップS56に進む。ステップS56乃至ステップS67の処理は、図２のステップS4乃至図３のステップS15の処理と同様の処理である。
すなわち、この実施の形態においては、ステップS55において差分が閾値以上ではないと判定された場合には、ステップS56以降の処理が禁止される。差分が閾値以上である場合においてのみ、ステップS56以降の処理が実施される。シーンチェンジである場合には、異なる２つのフレームの画像の差分は閾値以上となることが多い。これに対して、シーンチェンジではない場合には、その差分は比較的小さいものとなる。従って、差分を閾値と比較することで、シーンチェンジを簡易に検出し、シーンチェンジでないことが簡易に検出された場合には、それ以降の詳細なシーンチェンジの検出処理を禁止することによって無駄に処理が行われることが防止される。
図13の実施の形態においても、各フレームの画像を処理する処理部を兼用することが可能である。図16はこの場合の実施の形態を表している。
すなわち、この実施の形態においては、図10の実施の形態における画像縮小部13と非画像検出部14の間に、簡易検出部81が挿入されている構成となっている。そして、簡易検出部81には、差分演算部91と判定部92以外に、遅延部101が設けられている。遅延部101は、画像縮小部13の出力を所定フレーム数に対応する時間だけ遅延して、差分演算部91に出力する。差分演算部91は、遅延部101を介して入力された画像信号と、遅延部101を介さずに画像縮小部13から直接入力された画像信号の差分を演算し、その演算結果を判定部92に出力する。
すなわち、この実施の形態においては、遅延部101により、所定フレーム分だけ画像縮小部13の出力を遅延して差分演算部91に出力することで、差分演算部91に異なるフレームの画像信号を供給し、その差分を演算させることができる。これにより構成を簡略化しつつ、無駄な処理を抑制することが可能となる。
以上の実施の形態においては、フレーム単位で画像を処理するようにしたが、フレームを複数の領域に分割し、その分割された各部分毎に処理することも可能である。図17の実施の形態は、この場合の構成を表している。すなわち、この実施の形態においては、画像入力部11、領域抽出部12、並びに画像縮小部13により処理された画像が、分割部111に供給され、２つの異なる領域の画像の信号に分割される。
具体的には、分割部111は、図18に示されるように、画像縮小部13により64画素×32画素の大きさに縮小された画像が、32画素×32画素の２つの領域に分割される。そして、一方の領域（例えば、図18において、図中左側に示される領域）の画像信号を処理するために、非画像検出部14A、演算部15A、正規化部16A、計数部17A、並びに判定部18Aがそれぞれ設けられており、他方の領域（図18において、図中右側に示される領域）の画像信号を処理するために、非画像検出部14B、演算部15B、正規化部16B、計数部17B、並びに判定部18Bが設けられている。
すなわち、分割された各領域の信号を処理するための構成は、図10における場合と同様となっている。
次に、図19と図20のフローチャートを参照して、図17の実施の形態のシーンチェンジ検出処理について説明する。
ステップS81において、画像入力部11は画像を入力する。ステップS82において、領域抽出部12は、画像入力部11より入力された画像信号の所定の領域を抽出する。ステップS83において、画像縮小部13は、領域抽出部12より供給された所定の領域の画像を縮小する。以上のステップS81乃至ステップS83の処理は、図２におけるステップS1乃至ステップS3の処理と同様の処理である。
次に、ステップS84において、分割部111は、図18に示されるように、画像縮小部13より供給された64画素×32画素の画像を32画素×32画素の２つの領域の画像に分割し、一方の画像信号を非画像検出部14Aに供給し、他方の画像信号を非画像検出部14Bに供給する。
後は、各分割画像毎に上述した場合と同様の処理が実行される。すなわち、ステップS85において、非画像検出部14Aのフーリエ変換部31Aは、分割部111より供給された32画素×32画素の画像信号を２次元高速フーリエ変換する。ステップS86において、交流成分検出部32Aは、フーリエ変換部31Aより入力された信号の交流成分を検出する。ステップS87において、判定部33Aは、交流成分検出部32Aより供給された交流成分が閾値以上であるかを判定する。交流成分が閾値以上ではない場合、判定部33Aは、クロスパワースペクトル検出部51Aの動作を禁止する。また、この場合、処理はステップS105に進み、判定部33Aは、今処理中の画像がシーンチェンジではないと判定する。その後ステップS106において、判定部33Aは、すべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には、処理はステップS81に戻り、それ以降の処理が繰り返し実行される。
ステップS87において、交流成分が閾値以上であると判定された場合には、ステップS88において遅延部121Aは、フーリエ変換部31Aより入力された信号を所定のフレーム数に対応する時間だけ遅延する。この遅延信号は、クロスパワースペクトル検出部51Aに供給される。ステップS89において、クロスパワースペクトル検出部51Aは、フーリエ変換部31Aより直接供給された信号と、遅延部121Aを介して供給された異なるフレームの信号とのクロスパワースペクトルを検出する。ステップS90において、逆フーリエ変換部52Aは、クロスパワースペクトル検出部51Aの出力を２次元逆高速フーリエ変換する。
ステップS91において、正規化部16Aは、逆フーリエ変換部52Aの出力を正規化する。ステップS92において、計数部17Aは、閾値以上の大きさの振幅の数を計数する。ステップS93において、判定部18Aは、ステップS92の処理で計数された計数値が予め設定されている閾値以上であるかを判定する。計数値が閾値以上ではない場合には、処理はステップS105に進み、判定部18Aは、今処理中のフレームはシーンチェンジではないと判定する。その後ステップS106において、判定部18Aは、すべてのフレームを検出したかを判定し、まだ、検出していないフレームが存在する場合には、処理はステップS81に戻り、それ以降の処理が繰り返し実行される。
ステップS93において、計数値が閾値以上であると判定された場合には、ステップS94乃至ステップS102において、上述したステップS85乃至ステップS93と同様の処理が、他方の分割された32画素×32画素の画像の画像信号に対して、フーリエ変換部31B、交流成分検出部32B、判定部33B、遅延部121B、クロスパワースペクトル検出部51B、逆フーリエ変換部52B、正規化部16B、計数部17B、並びに判定部18Bにより実行される。
なお、実際には、ステップS94乃至ステップS102の処理は、タイミング的にはステップS85乃至ステップS93の処理と並行に実行される。
ステップS102において、計数値が閾値以上であると判定された場合、すなわち図18に示されるように、図中左側の32画素×32画素の領域と、図中右側の32画素×32画素の領域の計数値の値が閾値以上であると判定された場合には、つまり、いずれも図８に示されるような状態である場合には、ステップS103において、判定部18Bは、今処理中のフレームがシーンチェンジであると判定する。そして、ステップS104において、記憶部19は、ステップS103で判定された判定結果を記憶する。
ステップS104またはステップS105の処理の後、ステップS106において判定部18Bは、すべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には処理はステップS81に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
次に、シーンチェンジの検出に続いて、シーンの代表画面を検出する場合の実施の形態について説明する。図21は、この場合の実施の形態の構成を表している。この実施の形態においては、図10における画像入力部11乃至記憶部19に加えて、さらに代表画面検出部201が設けられている。代表画面検出部201は、ベクトル検出部211および判定部212により構成されている。
ベクトル検出部211は、逆フーリエ変換部52の出力から動きベクトルを検出する。判定部212は、ベクトル検出部211により検出された動きベクトルのうち、最小の動きベクトルに対応するフレーム番号を検出する。
次に、図22と図23のフローチャートを参照して、図21の実施の形態のシーンチェンジと代表画面検出処理について説明する。
ステップS121乃至ステップS145の処理は、図11と図12のステップS31乃至ステップS45の処理と同様の処理である。すなわち、上述したように、これらの処理によりシーンチェンジであるか否かが判定される。そして、その後ステップS146において、ベクトル検出部211は、逆フーリエ変換部52の出力から動きベクトルを検出する。具体的には、図９に示されるような各座標位置におけるSPOMFの演算結果のうちの最大振幅を検出し、その座標位置（より正確には、原点からその座標までの距離）を動きベクトルとして検出する。ステップS147において、判定部212は、今、ステップS146で抽出された動きベクトルが最小の動きベクトルかを判定する。この判定は、それまでに検出され、記憶されている動きベクトルより、今検出された動きベクトルが小さいかを判定することで行われる。今検出された動きベクトルが最小の動きベクトルである場合には、すなわち、今検出された動きベクトルが記憶されている動きベクトルより小さい場合には、ステップS148において、記憶部19は、ステップS146で今検出された最小の動きベクトルに対応するフレーム番号を記憶する。ステップS147において、今検出された動きベクトルが、最小の動きベクトルではないと判定された場合には、ステップS148の処理はスキップされる。
ステップS149において、判定部212は、すべてのフレームを検出したかを判定する。まだすべてのフレームを検出していない場合には、処理はステップS121戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジと代表画面検出処理は終了される。
以上のようにして、最も動きが少ないフレームが（図９に示されるように、最大の振幅の座標が最も原点（0,0）に近いフレームが）各シーンの代表画面として記憶される。これにより、例えば、シーンチェンジ後一定時間後のフレームを代表画面とするような場合に比べて、手振れでシャッタ速度がある程度長い場合にぼけた画像が代表画面とされてしまったり、オートフォーカスも正しくない画像が代表画面とされてしまうようなことが抑制される。
図24は、代表画面を検出する他の実施の形態を表している。この実施の形態は、図１の実施の形態に、ベクトル検出部211と判定部212を有する代表画面検出部201を付加した構成とされている。この場合のシーンチェンジと代表画面検出処理は、図２と図３のステップS1乃至ステップS15の処理の後に、図23におけるステップS146乃至ステップS149を付加した場合と同様の処理となる。
図25は、図17の実施の形態に、図16の簡易検出部81と図21の代表画面検出部201を付加した構成を表している。この実施の形態においては、簡易検出部81の遅延部101に画像縮小部13の出力が供給されているとともに、判定部92の出力が非画像検出部14Aのフーリエ変換部31Aと非画像検出部14Bのフーリエ変換部31Bを制御するように構成されている。また、代表画面検出部201のベクトル検出部211には、逆フーリエ変換部52Aの出力と逆フーリエ変換部52Bの出力とが供給されている。その他の構成は、図17における場合と同様である。
次に、図26乃至図28のフローチャートを参照して、図25の実施の形態のシーンチェンジと代表画面検出処理について説明する。
ステップS171において、画像入力部11は画像を入力する。ステップS172において、領域抽出部12は、画像入力部11より入力された画像の所定の領域を抽出する。ステップS173において、画像縮小部13は領域抽出部12により抽出された画像を縮小する。ステップS174において、遅延部101は、画像縮小部13より入力された信号を遅延し、差分演算部91に出力する。ステップS175において、差分演算部91は、画像縮小部13より直接供給された信号と、遅延部101より供給された異なるフレームの信号の差分を演算する。ステップS176において、判定部92は、ステップS175で演算された差分が、予め設定されている閾値以上であるかを判定する。差分が閾値以上ではない場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。
ステップS176において、差分が閾値以上であると判定された場合、ステップS177において、分割部111は、画像縮小部13より供給された信号を分割する。以下、ステップS178乃至ステップS186において、分割された一方の画面の画像信号に対して、非画像検出部14A、演算部15A、正規化部16A、計数部17A、並びに判定部18Aによる処理が行われ、ステップS187乃至ステップS195において、分割された他方の領域の画像信号に対して、非画像検出部14B、演算部15B、正規化部16B、計数部17B、並びに判定部18Bにより処理が実行される。この場合の処理は、図19のステップS85乃至図20のステップS102の処理と同様の処理である。
ステップS195において計数値が閾値以上ではないと判定された場合、ステップS180において交流成分が閾値以上ではないと判定された場合、ステップS186において計数値が閾値以上ではないと判定された場合、またはステップS189において交流成分が閾値以上ではないと判定された場合と同様に、ステップS200において、判定部18Bは、今処理中のフレームはシーンチェンジではないと判定する。その後、ステップS202において判定部18Bは、すべてのフレームを検出したかを判定し、まだすべてのフレームを検出してない場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。
ステップS195において、計数値が閾値以上であると判定された場合、ステップS196において判定部18Bは、今処理されているフレームはシーンチェンジであると判定する。そして、ステップS197において、記憶部19は、ステップS196における判定結果を記憶する。
以上のようにしてシーンチェンジの検出が行われた後、さらにステップS198において、ベクトル検出部211は動きベクトルを抽出する。より具体的には、ベクトル検出部211は、逆フーリエ変換部52Aの出力と、逆フーリエ変換部52Bの出力のうち、より原点に近い（動きベクトルがより小さい）ものを抽出する。そして、ステップS199において、判定部212は、ステップS198で抽出された動きベクトルが最小の動きベクトルかを判定する。
今、抽出された動きベクトルが最小の動きベクトルである場合には、ステップS201において、記憶部19は、最小の動きベクトルに対応するフレーム番号を記憶する。今抽出されたのが最小の動きベクトルではない場合には、ステップS201の処理はスキップされる。その後、ステップS202において、判定部18Bはすべてのフレームを検出したかを判定し、まだ検出してないフレームが存在する場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジと代表画面検出処理は終了される。
以上のようにして、記憶部19には、画像入力部11より入力された画像信号が記憶されるとともに、シーンチェンジ並びに各シーンの代表画面（最小の動きの画面）が記憶される。
画像を縮小することにより、画像の回転がシーンチェンジの検出に悪影響することを抑制することが可能であるが、さらに、図29に示されるように構成することで、回転による悪影響を抑制することが可能である。
すなわち、図29の実施の形態においては、画像入力部11A、領域抽出部12A、並びに画像縮小部13Aによる処理結果から、非画像検出部14Aにより非画像が検出されるとともに、画像入力部11B、領域抽出部12A、並びに画像縮小部13Bの処理結果から、非画像検出部14Bにより非画像が検出される。非画像検出部14Aのフーリエ変換部31A（演算部15のフーリエ変換部としての機能をも有する）の出力は、演算部15のクロスパワースペクトル検出部51の一方の入力に直接供給されている。
これに対して、非画像検出部14Bのフーリエ変換部31Bの出力は、回転／スケーリング変換部304に供給されている。回転／スケーリング変換部304は、フーリエ変換部31Bより入力された画像の回転またはスケーリングを、回転／スケーリング検出部303からの制御信号に基づいて変換し、演算部15のフーリエ変換部341に出力する。フーリエ変換部341は、回転／スケーリング変換部304からの信号をフーリエ変換し、クロスパワースペクトル検出部51の他方の入力に供給する。
非画像検出部14Aのフーリエ変換部31Aの出力はまた、演算部301Aの振幅スペクトル演算部311Aに供給されている。振幅スペクトル演算部311Aは、フーリエ変換部31Aから入力された信号の振幅スペクトルを演算する。演算された結果は、演算部301Aの対数極座標変換部312Aにより対数極座標に変換された後、演算部302のフーリエ変換部331Aに供給されている。振幅スペクトル演算部311Aの動作は、非画像検出部14Aの判定部33Aの出力に基づいて制御される。
同様に、演算部301Bの振幅スペクトル演算部311Bは、非画像検出部14Bのフーリエ変換部31Bの出力の振幅スペクトルを演算し、演算結果を演算部301Bの対数極座標変換部312Bに出力する。対数極座標変換部312Bは、振幅スペクトル演算部311Bからの信号を対数極座標に変換し、演算部302のフーリエ変換部331Bに出力する。振幅スペクトル演算部311Bの動作は、非画像検出部14Bの判定部33Bの出力に基づいて制御される。
SPOMFの演算を行う演算部302のクロスパワースペクトル検出部332は、フーリエ変換部331A,331Bの出力のクロスパワースペクトルを検出し、逆フーリエ変換部333は、クロスパワースペクトル検出部332の出力するクロスパワースペクトルを逆高速フーリエ変換する。回転／スケーリング検出部303は、逆フーリエ変換部333の出力から画像の回転またはスケーリングを検出し、その検出結果に基づいて、回転／スケーリング変換部304を制御する。
演算部15の出力が、正規化部16、計数部17、判定部18、並びに記憶部19により処理されることは、図１における場合と同様である。
次に、図29の実施の形態のシーンチェンジ検出処理について、図30と図31のフローチャートを参照して説明する。ステップS231において、画像入力部11A,11Bは画像を入力する。ステップS232において、領域抽出部12A,12Bは、それぞれ画像入力部11A,11Bがそれぞれ出力する異なるフレームの画像から所定の領域を抽出する。ステップS233において、画像縮小部13A,13Bは、領域抽出部12A,12Bの出力する画像を縮小する。
ステップS234において、フーリエ変換部31A,31Bは、それぞれ、画像縮小部13A,13Bが出力する信号を２次元高速フーリエ変換する。具体的には、それぞれ、式（７）または式（８）が演算される。
Figure 0004254802
ステップS235において、交流成分検出部32A,32Bは、それぞれフーリエ変換部31A,31Bの出力の交流成分を検出する。ステップS236において、判定部33A,33Bは、ステップS235で検出された交流成分が、予め設定されている閾値以上かを判定する。交流成分が閾値以上ではない場合には、ステップS252において、判定部33A,33Bは、今処理中のフレームはシーンチェンジではないと判定する。ステップS253において、判定部33A,33Bは、すべてのフレームを検出したかを判定する。まだ、すべてのフレームが検出されていない場合、処理はステップS231に戻り、それ以降の処理が繰り返し実行される。
ステップS236において、交流成分が閾値以上であると判定された場合、ステップS237において、振幅スペクトル演算部311A,311Bは、それぞれ、フーリエ変換部31A,31Bの出力の振幅スペクトルを演算する。具体的には、それぞれ、式（９）または式（10）が演算される。
Figure 0004254802
次に、ステップS238において、対数極座標変換部312A,312Bは、それぞれ、振幅スペクトル演算部311A,311Bの出力を対数極座標に変換する。具体的には、式（11）または式（12）に基づいて、式（９）または式（10）が、PF(ρ,θ)とPG(ρ,θ)に変換される。
Figure 0004254802
ステップS239において、フーリエ変換部331A,331Bは、それぞれ、対数極座標変換部312A,312Bの出力を２次元高速フーリエ変換する。具体的には、式（13）または式（14）が演算される。
Figure 0004254802
ステップS240において、クロスパワースペクトル検出部332は、フーリエ変換部331A,331Bの出力のクロスパワースペクトルを検出する。すなわち、式（15）または式（16）が演算される。
Figure 0004254802
ステップS241において、逆フーリエ変換部333は、クロスパワースペクトル検出部332が出力するクロスパワースペクトルを２次元逆高速フーリエ変換する。具体的には、式（17）が演算される。
Figure 0004254802
ステップS242において、回転／スケーリング検出部303は逆フーリエ変換部333が出力する信号からスケーリング比と回転角を求める。逆フーリエ変換部333の出力のうち、ρがスケーリング比を表し、θが回転角を表すことになる。ステップS243において、回転／スケーリング変換部304は、回転／スケーリング検出部303から供給されるスケーリングρと回転角θに基づいて、フーリエ変換部31Bより入力される信号のスケーリングと回転角を制御する。これにより、フーリエ変換部31Aの出力に対応するように、フーリエ変換部31Bの出力の回転角とスケーリングが調整されることになる。
ステップS244において、フーリエ変換部341は、回転／スケーリング変換部304の出力をフーリエ変換する。ステップS245において、クロスパワースペクトル検出部51はフーリエ変換部31Aからの入力信号と、フーリエ変換部341より入力された信号のクロスパワースペクトルを検出する。ステップS246において、逆フーリエ変換部52は、クロスパワースペクトル検出部51より入力されるクロスパワースペクトルを２次元逆高速フーリエ変換する。
ステップS247において、正規化部16は、逆フーリエ変換部52の出力を正規化する。すなわち、式（18）が演算される。
Figure 0004254802
ステップS248において、計数部17は、閾値以上の大きさの振幅の数を計算する。ステップS249において、判定部18は、ステップS248で計数された計数値が、予め設定されている閾値以上であるかを判定する。計数値が閾値以上ではない場合には、ステップS252において、判定部18は、今処理対象とされているフレームはシーンチェンジではないと判定する。その後、ステップS253において、判定部18はすべてのフレームを検出したかを判定する。まだすべてのフレームが検出されていない場合、処理はステップS231に戻り、それ以降の処理が繰り返し実行される。
ステップS249において、計数値が閾値以上であると判定された場合、判定部18は、今処理対象としているフレームはシーンチェンジであると判定する。そして、ステップS251において、記憶部19は判定結果を記憶する。ステップS253において、判定部18は、すべてのフレームを検出したかを判定する。まだすべてのフレームを検出してない場合には、処理はステップS231に戻る。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
以上のようにして、この実施の形態の場合、スケーリングまたは回転角が調整されるため、画像の回転角やスケーリングに影響されずに、より正確にシーンチェンジを検出することが可能となる。
図32は、SPOMFの以外の演算によりシーンチェンジを検出する実施の形態を表している。この実施の形態においては、画像入力部11A、領域抽出部12A、並びに画像縮小部13Aで処理された信号が、演算部351Aで処理される。また同様に、画像入力部11B、領域抽出部12B、並びに画像縮小部13Bで処理された信号が、演算部351Bで処理される。演算部351Aは、平均値演算部361Aと差分演算部362Aで構成されている。同様に、演算部351Bは、平均値演算部361Bと差分演算部362Bにより構成されている。
平均値演算部361A,361Bは、それぞれ、画像縮小部13A,13Bの出力の平均値を演算する。差分演算部362A,362Bは、画像縮小部13A,13Bの出力と平均値演算部361A,361Bの出力の差分をそれぞれ演算する。
差分演算部362A,362Bの出力は演算部352により演算される。演算部352は、マッチング部371と乗算部372により構成される。マッチング部371は、差分演算部362Aと差分演算部362Bの差分絶対値和を演算する。乗算部372は、マッチング部371が出力する差分絶対値和に-1を乗算する。
演算部352の出力は、上述した場合と同様に、正規化部16、計数部17、判定部18、並びに記憶部19により処理される。
次に、図32の実施の形態のシーンチェンジ検出処理について、図33と図34のフローチャートを参照して説明する。
ステップS301において、画像入力部11A,11Bは画像を入力する。ステップS302において、領域抽出部12A,12Bは、それぞれ、画像入力部11A,11Bから入力されたそれぞれ異なるフレームの画面の所定の領域を抽出する。ステップS303において、画像縮小部13A,13Bは、それぞれ、領域抽出部12A,12Bにより抽出された画像を縮小する。
ステップS304において、平均値演算部361A,361Bは、それぞれ、画像縮小部13A,13Bより出力された画像の１画面分の平均値を演算する。この平均値は、それぞれ、avg(f(x,y)),
avg(g(x,y))と表される。
ステップS305において、差分演算部362A,362Bは、それぞれ、画像縮小部13A,13Bの出力と平均値演算部361A,361Bの出力の差分を演算する。具体的には、次の式（19）と式（20）の演算が行われる。なお、以下の式において、「’」は、それが付されていない変数と異なる変数であることを表す。
Figure 0004254802
ステップS306において、マッチング部371は、差分演算部362A,362Bの出力の差分絶対値和を求める。具体的には、次の式（21）の演算が行われる。ステップS307において、乗算部372は、マッチング部371が出力する差分絶対値和に-1を乗算する。すなわち、式（22）が演算される。
Figure 0004254802
ステップS308において、正規化部16は、乗算部372の出力を正規化する。具体的には、次の式（23）が演算される。
Figure 0004254802
ステップS309において、計数部17は、閾値以上の大きさの振幅の数を計数する。ステップS310において、判定部18は、ステップS309で計数された計数値が閾値以上かを判定する。計数値が閾値以上ではない場合には、ステップS313において、判定部18は、今処理しているフレームはシーンチェンジではないと判定する。その後、ステップS314において、判定部18は、すべてのフレームを検出したかを判定し、まだすべてのフレームを検出していない場合、処理はステップS301に戻り、それ以降の処理が繰り返し実行される。
ステップS310において、計数値が閾値以上であると判定された場合、ステップS311において、判定部18は、処理対象のフレームはシーンチェンジであると判定する。ステップS312において、記憶部19は、ステップS311の判定結果を記憶する。そして、ステップS314において、判定部18は、同様にすべてのフレームを検出したかを判定する。まだすべてのフレームを検出していない場合、処理はステップS301に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
この実施の形態においても、非画像検出部、簡易検出部、分割部、あるいは代表画面検出部を付加する構成とすることができる。
図35は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）421は、ROM（Read Only Memory）422、または記憶部428に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）423には、CPU421が実行するプログラムやデータなどが適宜記憶される。これらのCPU421、ROM422、およびRAM423は、バス424により相互に接続されている。
CPU421にはまた、バス424を介して入出力インターフェース425が接続されている。入出力インターフェース425には、キーボード、マウス、マイクロホンなどよりなる入力部426、ディスプレイ、スピーカなどよりなる出力部427が接続されている。CPU421は、入力部426から入力される指令に対応して各種の処理を実行する。そして、CPU421は、処理の結果を出力部427に出力する。
入出力インターフェース425に接続されている記憶部428は、例えばハードディスクからなり、CPU421が実行するプログラムや各種のデータを記憶する。通信部429は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部429を介してプログラムを取得し、記憶部428に記憶してもよい。
入出力インターフェース425に接続されているドライブ430は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア431が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部428に転送され、記憶される。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図35に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア431、または、プログラムが一時的もしくは永続的に格納されるROM422や、記憶部428を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部429を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理装置の構成を示すブロック図である。 図１の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図１の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図２のステップS2の領域抽出を説明する図である。 図２のステップS3の画像を縮小する処理を説明する図である。 図２のステップS3の画像を縮小する処理を説明する図である。 図２のステップS3の画像を縮小する処理を説明する図である。 シーンチェンジである場合のSPOMFの演算結果の例を示す図である。 シーンチェンジではない場合のSPOMFの演算結果の例を示す図である。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図10の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図10の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図13の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図13の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 画像の分割を説明する図である。 図17の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図17の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図21の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。 図21の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。 図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。 図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図29の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図29の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。 図32の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 図32の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの構成を示すブロック図である。
符号の説明
１ 画像処理装置， 11 画像入力部， 12 領域抽出部， 13 画像縮小部， 14 非画像検出部， 15 演算部， 16 正規化部， 17 計数部， 18 判定部， 19 記憶部， 31 フーリエ変換部， 32 交流成分検出部， 33 判定部， 51 クロスパワースペクトル検出部， 52 逆フーリエ変換部， 71 遅延部， 91 差分演算部， 92 判定部， 111 分割部， 201 代表画面検出部

Claims (14)

  1. 複数の画面の画像信号の位相相関を演算する相関演算手段と、
    前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段とを備え、
    前記検出手段は、
    前記振幅の数を計数する計数手段と、
    前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段と
    を備える画像処理装置。
  2. 前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、
    前記計数手段は、正規化された前記振幅の数を計数する
    請求項１に記載の画像処理装置。
  3. 複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、
    前記相関演算手段は、抽出された領域の画像信号の位相相関を演算する
    請求項１に記載の画像処理装置。
  4. 抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、
    前記相関演算手段は、縮小された領域の画像信号の位相相関を演算する
    請求項３に記載の画像処理装置。
  5. 複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段をさらに備え、
    前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演
    算を行う
    請求項１に記載の画像処理装置。
  6. 前記非画像検出手段は、
    前記画像信号をフーリエ変換するフーリエ変換手段と、
    前記フーリエ変換された信号から交流成分を検出する交流成分検出手段と、
    検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による
    演算を禁止するように制御する制御手段と
    を備える請求項５に記載の画像処理装置。
  7. 複数の画面の画像信号の差分を演算する差分演算手段をさらに備え、
    前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行する
    請求項６に記載の画像処理装置。
  8. １つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段をさらに備え、
    前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算する
    請求項１に記載の画像処理装置。
  9. 前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段をさらに備える請求項１に記載の画像処理装置。
  10. 前記代表画面検出手段は、前記相関演算手段の演算の結果得られた動きベクトルの最小
    値に対応する画面を代表画面として検出する
    請求項９に記載の画像処理装置。
  11. 前記画面の画像信号をフーリエ変換するフーリエ変換手段と、
    フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段と、
    前記振幅スペクトルを対数極座標に変換する座標変換手段と、
    前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段とをさらに備え、
    前記相関演算手段は、変換処理された画像信号の位相相関を演算する
    請求項１に記載の画像処理装置。
  12. 複数の画面の画像信号の位相相関を演算する相関演算手段と、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段とを備える画像処理装置の画像処理方法であって、
    前記相関演算手段が、複数の画面の画像信号の位相相関を演算し、
    前記検出手段が、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップを含み、
    前記シーンチェンジを検出するステップにおいては、
    前記検出手段が有する計数手段が、前記振幅の数を計数し、
    前記検出手段が有する判定手段が、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する
    画像処理方法。
  13. 複数の画面の画像信号の位相相関を演算し、
    前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップをコンピュータに実行させ、
    前記シーンチェンジを検出するステップにおいては、
    前記振幅の数が計数され、
    前記振幅の数が基準値より多いとき、シーンチェンジであると判定される
    プログラム。
  14. 請求項１３に記載のプログラムが記録されている記録媒体。
JP2006132712A 2006-05-11 2006-05-11 画像処理装置および方法、プログラム並びに記録媒体 Expired - Fee Related JP4254802B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006132712A JP4254802B2 (ja) 2006-05-11 2006-05-11 画像処理装置および方法、プログラム並びに記録媒体
US11/799,694 US20070285579A1 (en) 2006-05-11 2007-05-02 Image processing apparatus, image processing method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006132712A JP4254802B2 (ja) 2006-05-11 2006-05-11 画像処理装置および方法、プログラム並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2007304869A JP2007304869A (ja) 2007-11-22
JP2007304869A5 JP2007304869A5 (ja) 2008-04-24
JP4254802B2 true JP4254802B2 (ja) 2009-04-15

Family

ID=38821537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006132712A Expired - Fee Related JP4254802B2 (ja) 2006-05-11 2006-05-11 画像処理装置および方法、プログラム並びに記録媒体

Country Status (2)

Country Link
US (1) US20070285579A1 (ja)
JP (1) JP4254802B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
US9264584B2 (en) * 2012-09-19 2016-02-16 Tata Consultancy Services Limited Video synchronization
US9275468B2 (en) * 2014-04-15 2016-03-01 Intel Corporation Fallback detection in motion estimation
CN111612760B (zh) * 2020-05-20 2023-11-17 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03290768A (ja) * 1990-04-06 1991-12-20 Nippon Telegr & Teleph Corp <Ntt> 画像の拡大・縮小と平行移動とのパラメータの検出方法
JP2000076462A (ja) * 1992-12-15 2000-03-14 Fuji Xerox Co Ltd 動画像シ―ン検出装置
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
JPH09284702A (ja) * 1996-04-09 1997-10-31 Oki Electric Ind Co Ltd シーン変化フレーム検出方法および装置
US6185312B1 (en) * 1997-01-28 2001-02-06 Nippon Telegraph And Telephone Corporation Method for embedding and reading watermark-information in digital form, and apparatus thereof
JP2001525151A (ja) * 1998-03-04 2001-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマークの検出
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
JP3861623B2 (ja) * 2001-06-05 2006-12-20 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
JP2003047004A (ja) * 2001-07-30 2003-02-14 Matsushita Electric Ind Co Ltd 映像特徴検出方法、映像特徴検出装置およびデータ記録媒体
JP2003299000A (ja) * 2002-04-02 2003-10-17 Oojisu Soken:Kk シーンチェンジ検出方法、シーンチェンジ検出装置、コンピュータプログラム及び記録媒体
JP4204818B2 (ja) * 2002-07-19 2009-01-07 富士重工業株式会社 画像処理装置
JP2004240931A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像照合装置、画像照合方法、およびプログラム
JP4334898B2 (ja) * 2003-03-26 2009-09-30 シャープ株式会社 データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
JP2005191680A (ja) * 2003-12-24 2005-07-14 Canon Inc 画像処理装置、画像処理方法、制御プログラム及び記憶媒体
JP4546762B2 (ja) * 2004-05-20 2010-09-15 日本放送協会 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム
CN100371953C (zh) * 2004-06-18 2008-02-27 索尼株式会社 图像匹配方法及图像匹配设备
JP4519678B2 (ja) * 2005-02-21 2010-08-04 株式会社東芝 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置

Also Published As

Publication number Publication date
JP2007304869A (ja) 2007-11-22
US20070285579A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
US9118846B2 (en) Apparatus for generating an image with defocused background and method thereof
JP4254802B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
US8155396B2 (en) Method, apparatus, and program for detecting faces
US8818024B2 (en) Method, apparatus, and computer program product for object tracking
JP4619927B2 (ja) 顔検出方法および装置並びにプログラム
US20180137632A1 (en) System and method of hybrid tracking for match moving
US20160133027A1 (en) Method and apparatus for separating foreground image, and non-transitory computer-readable recording medium
KR20120063858A (ko) 영상 정합 장치 및 그것의 영상 정합 방법
US8363909B2 (en) Image processing apparatus, image processing method, and computer program product
JP2011160379A (ja) 画像処理装置および方法、並びにプログラム
US8948469B2 (en) Information processing device, information processing method, and program
KR102013372B1 (ko) 영상 특징맵 생성 장치 및 방법
KR20090062049A (ko) 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
WO2014074959A1 (en) Real-time face detection using pixel pairs
US6963663B1 (en) Image processing for image correction
WO2009113598A1 (en) Template matching apparatus and method thereof
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US10348932B2 (en) Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium that decrease the lightness of pixels, except for a highlight region, based on a generated lightness histogram
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
US20240153097A1 (en) Methods and Systems for Automatically Generating Backdrop Imagery for a Graphical User Interface
KR100837435B1 (ko) 촬영장치 및 이의 대상 추적제어방법
US11636676B2 (en) Method and apparatus for extracting color scheme from video
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
KR102121534B1 (ko) 시퀀스 간의 유사성을 결정하는 방법 및 디바이스

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees