JP4241709B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4241709B2
JP4241709B2 JP2005296052A JP2005296052A JP4241709B2 JP 4241709 B2 JP4241709 B2 JP 4241709B2 JP 2005296052 A JP2005296052 A JP 2005296052A JP 2005296052 A JP2005296052 A JP 2005296052A JP 4241709 B2 JP4241709 B2 JP 4241709B2
Authority
JP
Japan
Prior art keywords
frame
scene
moving image
image
image file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005296052A
Other languages
English (en)
Other versions
JP2007110193A (ja
Inventor
要 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005296052A priority Critical patent/JP4241709B2/ja
Priority to TW095136787A priority patent/TW200737971A/zh
Priority to EP06021090A priority patent/EP1775664A3/en
Priority to KR1020060098575A priority patent/KR20070040313A/ko
Priority to CNB2006101411251A priority patent/CN100555328C/zh
Priority to US11/546,081 priority patent/US8014566B2/en
Publication of JP2007110193A publication Critical patent/JP2007110193A/ja
Application granted granted Critical
Publication of JP4241709B2 publication Critical patent/JP4241709B2/ja
Priority to US13/091,258 priority patent/US8160299B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、シーンの検出を行う画像処理装置に関し、特に選択された対象物を含むシーンの検出を行う画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、メモリの価格の低減やメモリに関する技術の発達により、デジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置におけるメモリの容量は増加している。これに伴い、撮像装置に保持される動画像の数も増えている。このような状況下においては、ユーザーが閲覧したい動画像の所定のシーンを探し出す技術が必要とされる。従来、デジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置において撮像した動画像からユーザーの所望する対象物を中心としたシーンを検出することは難しかった。
このような問題点を解決するものとして、動画像を構成するフレームの領域を選択してその領域に囲まれた画像が含まれるフレームを探し出し、その探し出したフレームが連続していると考えられる区間を一つのシーンとして選定して、その区間にキーワードを付与して動画像のシーンの検索に用いる技術が提案されている（例えば、特許文献１参照。）。この技術によれば、一つのシーンを選定する際に、探し出したフレームが連続する部分区間同士の間隔等に所定の条件を設定し、その所定の条件が満たされた場合にその部分区間同士を結合して一つのシーンとするものとしている。この技術においては、部分区間同士を結合する所定の条件として、ある部分区間と他の部分区間との間に位置するフレームの枚数が所定枚数以下であること等が開示されている。また、ユーザーの所望する対象物の画像をテンプレート画像とし、そのテンプレート画像と動画像を構成するフレームとを照合してそのテンプレート画像に類似する画像を含んだフレームの集まりを一つのシーンとする技術も提案されている。
特開平５−２０４９９０号公報（図１）
上述の探し出したフレームが連続していると考えられる区間を一つのシーンとして選定する技術では、所定の条件、例えばある部分区間と他の部分区間との間に位置するフレームの枚数が所定枚数以下であることが満たされている場合にはシーンの内容に関係なく一つのシーンとして結合されてしまうため、場合によっては明らかに無関係な場面まで一つのシーンに含められてしまうおそれがある。また、テンプレート画像と動画像を構成するフレームとを照合してそのテンプレート画像に類似する画像を含んだフレームの集まりを一つのシーンとする技術では、動画像において被写体が一時的に別の方向を向いた等のフレームはテンプレート画像に類似する画像を含んだフレームとして扱われないため、本来一塊であるはずのシーンが分割されてしまうことがあり得る。
そこで、本発明は、動画像において目的とする対象物が登場する一シーンを的確に検出する画像処理装置を提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画像ファイルを保持する動画像ファイル保持手段と、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手段と、上記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、上記画像照合手段において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて上記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段とを具備し、上記画像照合手段は、上記シーン変化検出手段において検出された上記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを新たに探索し、上記シーン変化検出手段は、上記画像照合手段において新たに探索されたフレームから時系列の前後に並んだフレーム間の上記分布差分積算値に基づいて上記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する画像処理装置である。これにより、動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。
また、この第１の側面において、上記画像照合手段は、上記フレームの取得において時系列に所定数置きに並んだフレームを上記動画像ファイル保持手段より取得するものである。これにより、ユーザーの所望する対象物が含まれるフレームの探索を高速に行わせるという作用をもたらす。
また、この第１の側面において、上記シーン変化検出手段は、上記画像照合手段において探索されたフレームの前後に時系列に並んだフレームを上記動画像ファイル保持手段より取得するフレーム取得手段と、上記フレーム取得手段によって取得されたフレームを構成する各画素の画素値の分布を生成する画素値分布生成手段と、上記時系列に隣り合うフレームにおける上記画素値の分布の差分を積算した分布差分積算値を算出する分布差分積算値算出手段と、上記分布差分積算値が所定の閾値を超えているか否かを判断して上記分布差分積算値が所定の閾値を超えている場合には上記シーンが変化したものとして上記所定の閾値を超えた上記分布差分積算値に対応するフレームを上記シーンの開始フレームまたは終了フレームと判断するシーン変化判断手段とを具備するものである。これにより、動画像を構成するフレームの各画素の画素値の分布という視覚的要素に基づいてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。動画像を構成するフレームの各画素の画素値の分布という視覚的要素を対象物が登場する一シーンの検出に用いれば、ユーザーの感覚に適合するシーンの検出が可能となる。
また、上記フレーム取得手段は、上記画像照合手段において探索されたフレームの前後に時系列に所定数置きに並んだフレームを上記動画像ファイル保持手段より取得するものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出を高速に行わせるという作用をもたらす。
また、上記画素値分布生成手段は、上記画素値としてＹＵＶを用いて表される量を用い、上記フレーム取得手段によって取得されたフレームを構成する各画素のＹＵＶそれぞれの成分の分布を生成し、上記分布差分積算値算出手段は、上記分布差分積算値として、上記時系列に隣り合うフレームにおける上記ＹＵＶそれぞれの成分に関する分布の差分を上記ＹＵＶそれぞれの成分毎に積算したＹ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値を算出し、上記シーン変化判断手段は、上記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値のそれぞれに対して設定された上記所定の閾値を超えているか否かを判断して上記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値の何れか一つが所定の閾値を超えている場合には上記シーンが変化したものとして上記所定の閾値を超えた上記Ｙ成分分布差積算値、Ｕ成分分布差積算値またはＶ成分分布差積算値に対応するフレームを上記シーンの開始フレームまたは終了フレームと判断するものである。これにより、動画像を構成するフレームの各画素のＹＵＶの分布という視覚的要素に基づいてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。
また、この第１の側面において、上記動画像ファイルを構成するフレームを縮小するフレーム縮小手段をさらに具備し、上記動画像ファイル保持手段は、上記フレーム縮小手段において縮小されたフレームをさらに保持し、上記領域選択受付手段は、上記縮小されたフレームの何れか一つに対する所定の領域の選択を受け付け、上記画像照合手段は、上記縮小されたフレームと上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含む上記縮小されたフレームを探索し、上記シーン変化検出手段は、上記縮小されたフレームを用いて上記画像照合手段において探索された縮小されたフレームを含むシーンの開始および終了を検出するものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出を高速に行わせるという作用をもたらす。すなわち、シーンの検出に用いるフレームは縮小されたフレームを用いるため、シーンの検出における演算量が低減されてシーンの検出を高速に行うことができる。
また、上記フレーム縮小手段は、時系列に並んだ上記フレームを所定数置きに縮小するものである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンの検出をさらに高速に行わせるという作用をもたらす。
また、この第１の側面において、上記動画像ファイル保持手段に保持された上記動画像ファイルより上記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、上記動画像ファイル情報取得手段によって取得された上記動画像ファイル情報および上記シーン変化検出手段によって検出された上記シーンの開始および終了に関する情報を上記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、上記動画像ファイルに対応する動画像の開始および終了に関する情報および上記シーンの開始および終了に関する情報に基づいて上記動画像が再生される全時間に対する上記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段とをさらに具備するものである。これにより、一つの動画像ファイルの総再生時間中における各シーンの時間的な位置を把握させるシーン時間位置表示を生成させるという作用をもたらす。
また、上記動画像ファイル情報取得手段は、上記動画像ファイルに対応する動画像の開始および終了に関する情報として上記動画像ファイルに含まれるフレーム数を取得し、上記シーン情報テーブルは、上記シーン検出手段によって検出された上記シーンの開始および終了に関する情報として上記シーンの開始フレーム番号および終了フレーム番号を保持し、上記シーン時間位置表示生成手段は、上記動画像ファイルに含まれるフレーム数、上記シーンの開始フレーム番号および終了フレーム番号に基づいて上記シーン時間位置表示を生成するものである。これにより、動画像ファイルに含まれるフレーム数、シーンの開始フレーム番号および終了フレーム番号に基づいて、一つの動画像ファイルの総再生時間中における各シーンの時間的な位置を把握させるシーン時間位置表示を生成させるという作用をもたらす。
また、上記シーン時間位置表示生成手段は、前のシーンの終了および次のシーンの開始が連続する場合には上記前のシーンおよび上記次のシーンを一つのシーンとして上記シーン時間位置表示を生成するものである。これにより、不自然に分割されたシーン同士を結合して一つのシーンを生成させるという作用をもたらす。
また、本発明の第２の側面は、被写体を撮像して動画像ファイルを生成する撮像手段と、上記動画像ファイルを保持する動画像ファイル保持手段と、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手段と、上記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、上記画像照合手段において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて上記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と、上記動画像ファイル保持手段に保持された上記動画像ファイルより上記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、上記動画像ファイル情報取得手段によって取得された上記動画像ファイル情報および上記シーン変化検出手段によって検出された上記シーンの開始および終了に関する情報を上記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、上記動画像ファイルに対応する動画像の開始および終了に関する情報および上記シーンの開始および終了に関する情報に基づいて上記動画像が再生される全時間に対する上記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と、上記シーン時間位置表示を表示する表示手段とを具備し、上記画像照合手段は、上記シーン変化検出手段において検出された上記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを新たに探索し、上記シーン変化検出手段は、上記画像照合手段において新たに探索されたフレームから時系列の前後に並んだフレーム間の上記分布差分積算値に基づいて上記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する画像処理装置である。これにより、撮像された動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させ、その結果を表示させるという作用をもたらす。
また、本発明の第３の側面は、動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置において以下の手順を実行する処理方法または以下の手順をコンピュータに実行させるプログラムであって、上記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、上記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手順と、上記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、上記画像照合手順において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて上記画像照合手順において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順とを具備する処理方法またはこれらの手順をコンピュータに実行させるプログラムであって、上記画像照合手順は、上記シーン変化検出手順において検出された上記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と上記テンプレート画像とを照合して上記テンプレート画像に類似する画像を含むフレームを新たに探索し、上記シーン変化検出手順は、上記画像照合手順において新たに探索されたフレームから時系列の前後に並んだフレーム間の上記分布差分積算値に基づいて上記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する処理方法またはこれらの手順をコンピューターに実行させるプログラムである。これにより、動画像においてユーザーの所望する対象物が登場する一シーンを的確に検出させるという作用をもたらす。
本発明によれば、動画像において目的とする対象物が登場する一シーンを的確に検出することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。なお、本発明の実施の形態においては、画像処理装置の一例として撮像装置について説明する。
図１は、本発明の実施の形態における撮像装置１００の一例である撮像装置１００ａおよび１００ｂの外観図である。撮像装置１００ａは、主として静止画像を撮像するものであり、撮像装置１００ｂは、主として動画像を撮像するものである。
図１（ａ）は、撮像装置１００ａの正面図である。撮像装置１００ａは、レンズ部１１０ａから被写体を撮像する。そして、撮像装置１００ａは、シャッター部１２０ａが押下されると静止画像ファイルを生成する。図１（ｂ）は、撮像装置１００ａの背面図である。レンズ部１１０ａによって捕らえられた被写体の動きはディスプレイ部１３０ａに映し出される。また、生成された静止画像ファイルもディスプレイ部１３０ａに映し出される。
図１（ｃ）は、撮像装置１００ｂの正面図である。撮像装置１００ｂは、レンズ部１１０ｂから被写体を撮像する。そして、撮像装置１００ｂは、（図示しない）録画ボタンが押下されると動画像ファイルを生成する。図１（ｄ）は、撮像装置１００ｂの背面図である。レンズ部１１０ｂによって捕らえられた被写体の動きはディスプレイ部１３０ｂに映し出される。また、生成された動画像ファイルもディスプレイ部１３０ｂに映し出される。また、撮像装置１００ｂは、静止画像ファイルも生成する機能を有しており、生成された静止画像ファイルもディスプレイ部１３０ｂに映し出される。
本発明の実施の形態においては、まず、撮像装置１００ａまたは１００ｂにより生成された動画像ファイルを構成するフレームの何れかに基づいてテンプレート画像を生成する。そして、この生成されたテンプレート画像に類似する画像を含むフレーム（以下、テンプレート画像類似フレームと呼ぶ。）を動画像ファイルより探索する。次に、テンプレート画像類似フレームを含む動画像の一シーンの開始時と終了時を動画像ファイルより検出する。この検出結果は、動画像ファイルが再生される全時間に対するシーンの時間的な位置を示す表示（以下、シーン時間位置表示と呼ぶ。）として出力される。
図２は、本発明の実施の形態における撮像装置１００の構成を示す図である。本発明の実施の形態における撮像装置１００は、撮像部１０と、記録再生処理部２０と、制御部３０と、バス４０と、キー入力部５０と、タッチパネル部６０、記憶装置７０とを備える。
撮像部１０は、撮像素子部１１と、撮像制御部１２と、画像処理部１３とを備える。撮像素子部１１は、内部に、被写体を撮像するためのレンズ群（図１におけるレンズ部１１０ａおよび１１０ｂに対応）、絞り調整機構、フォーカス調整機構および例えばＣＣＤ（Charge Coupled Devices）などの撮像素子などを備えており、レンズ群を通じた像がＣＣＤなどの撮像素子の結像面に結像される。撮像素子部１１は、シャッター操作に応じて制御部３０からバス４０を通じて供給される画像取り込みタイミング信号を受けて、撮像素子の結像面に結像されている被写体像を撮像信号に変換し、画像処理部１３に供給する。
撮像制御部１２は、制御部３０からバス４０を通じて供給される制御信号を受けて、撮像素子部１１に供給する制御信号を生成する。また、撮像制御部１２は、生成した制御信号を撮像素子部１１に供給して、ズーム制御、シャッター制御および露出制御などを行う。
画像処理部１３は、制御部３０からバス４０を通じて供給される制御信号に基づいて、撮像信号についてガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。
記録再生処理部２０は、画像符号化／復号部２１と、記録制御部２２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２３とを備える。画像符号化／復号部２１は、撮像部１０からバス４０を通じて供給される画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。また、画像符号化／復号部２１は、圧縮データから画像信号を復号する復号機能を有する。
記録制御部２２は、画像符号化／復号部２１から圧縮データを受けて記憶装置７０に書き込む。また、記録制御部２２は、記憶装置７０から圧縮データを読み出して画像符号化／復号部２１に供給する。なお、記憶装置７０は、撮像装置１００に外付けされたものでも内蔵されたものであってもよい。また、記憶装置７０としては、フラッシュメモリ（Flash memory）をカード型にパッケージしたメモリカード、ハードディスク等の磁気ディスク、ＤＶＤ等の光ディスク（Optical Disk）およびＭＯ等の光磁気ディスク（Magneto-Optical disk）のいずれかが想定されるが、これに限るものではない。ＳＤＲＡＭ２３は、符号化／復号部２１における符号化または復号のための作業領域として利用される。
制御部３０は、システム制御部３１と、入力制御部３２と、表示制御部３３と、出力画像処理部３４と、外部機器制御部３５と、ネットワーク制御部３６とを備える。
システム制御部３１は、制御部３０全体の処理を司るものである。入力制御部３２に接続されるキー入力部５０には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー（図１におけるシャッター部１２０ａに対応）、動画撮影用キーなどの複数のキーが設けられている。また、入力制御部３２に接続されるタッチパネル入力部６２は、表示部６１に表示されるメニューの選択や画像データの所定領域の指定を受け付けるものである。
入力制御部３２は、キー入力部５０およびタッチパネル入力部６２からの操作信号をシステム制御部３１に伝える。システム制御部３１は、キー入力部５０およびタッチパネル入力部６２においていずれのキー等が操作されたかを判別し、その判別結果に応じた制御処理を行う。
表示制御部３３に接続される表示部６１は、例えばＬＣＤ（Liquid Crystal Display）などにより構成され、システム制御部３１の制御の下に、撮像部１０からバス４０を通じて供給される画像信号や、記憶装置７０から読み出された画像信号を表示する。なお、表示部６１は、図１におけるディスプレイ部１３０ａおよび１３０ｂに対応するものである。
出力画像処理部３４は、画像データ再生時において画像データに所定の修飾処理を施すものである。修飾処理とは、例えば画像データの色補正等が想定される。なお、出力画像処理部３４で行われる画像データに対する処理をシステム制御部３１で行うように構成してもよい。
外部機器制御部３５に接続される外部機器８０は、例えばパーソナルコンピュータ（Personal Computer）等が想定されるが、これに限るものではない。なお、外部機器８０と外部機器制御部３５との間は、例えばＵＳＢ（Universal Serial Bus）ケーブルによって接続されることが想定されるが、これに限るものではない。外部機器制御部３５は、撮像装置１００と外部機器８０との間のデータのやりとりを制御するものである。
ネットワーク制御部３６は、撮像装置１００とネットワーク網９０との間でやりとりされるデータを制御するものである。なお、ネットワーク網としては、インターネットやＬＡＮ（Local Area Network）が想定されるが、これに限るものではない。
図３は、本発明の実施の形態におけるシーン検出機能の構成を示す図である。このシーン検出機能は、動画像ファイルを保持する動画像ファイル保持部２３１と、フレーム縮小部３１１と、領域選択受付部６０１と、テンプレート画像生成部３１２と、画像照合部３１３と、シーン変化検出部３１４と、動画像ファイル情報取得部３１９と、シーン情報テーブル３２０と、シーン時間位置表示生成部３２１とを備える。
フレーム縮小部３１１は、動画像ファイル保持部２３１に保持された動画像ファイルを構成するフレームを所定の縮小率で縮小するものである。フレーム縮小部３１１は、動画像ファイルを構成するフレーム全てを縮小してもよく、また、時系列に並んだフレームを所定数置きに縮小してもよい。縮小されたフレームは、動画像ファイル保持部２３１において保持される。
領域選択受付部６０１は、動画像ファイル保持部２３１に保持された動画像ファイルを構成するフレームのうち何れか一つのフレームの選択およびその選択したフレームにおいてテンプレート画像として切り出すべき領域の選択を受け付けるものである。領域選択受付部６０１において選択を受け付ける対象となるフレームは、フレーム縮小部３１１において縮小されたフレームであってもよい。
テンプレート画像生成部３１２は、領域選択受付部６０１において選択を受け付けられたテンプレート画像として切り出すべき領域をフレームから切り出すことによってテンプレート画像を生成するものである。なお、領域選択受付部６０１において選択を受け付けたフレームがフレーム縮小部３１１において縮小されたフレームである場合、テンプレート画像生成部３１２は、その縮小されたフレームよりテンプレート画像として切り出すべき領域を切り出す。
また、テンプレート画像生成部３１２は、上記切り出すことによって生成されたテンプレート画像を所定の倍率で拡大および縮小した画像も生成する。この拡大および縮小した画像もテンプレート画像として用いられる。また、テンプレート画像生成部３１２は、上記切り出すことによって生成されたテンプレート画像、拡大および縮小した画像を所定角度回転させた画像も生成する。この所定角度回転させた画像もテンプレート画像として用いられる。
画像照合部３１３は、動画像ファイル保持部２３１よりフレームを取得して、そのフレームの各々とテンプレート画像とを照合してテンプレート画像類似フレームを探索するものである。画像照合部３１３は、テンプレート画像類似フレームを探索するとその旨をフレーム取得部３１５に通知し、一旦テンプレート画像類似フレームの探索を中止する。
なお、テンプレート画像がフレーム縮小部３１１において縮小されたフレームに基づいて生成されたものである場合、画像照合部３１３が動画像ファイル保持部２３１より取得するフレームは、フレーム縮小部３１１において縮小されたフレームである。フレーム縮小部３１１において縮小されたフレームとテンプレート画像とを照合することによって、テンプレート画像とフレームとの照合に要する演算量が低減されるため、高速な照合が可能となる。
また、画像照合部３１３においてテンプレート画像とフレーム縮小部３１１によって縮小されたフレームとを照合してテンプレート画像類似フレームの候補を探索した後に、再度、テンプレート画像と縮小されていないフレームとを照合して、テンプレート画像類似フレームの候補をテンプレート画像類似フレームとして採用してよいかどうかを判断する構成にしてもよい。
シーン変化検出部３１４は、画像照合部３１３において探索されたテンプレート画像類似フレームを含むシーンの開始および終了を検出するものであり、フレーム取得部３１５と、画素値分布生成部３１６と、分布差分積算値算出部３１７と、シーン変化判断部３１８とを備える。
フレーム取得部３１５は、画像照合部３１３において探索されたテンプレート画像類似フレームの前後に時系列に並んだフレームを動画像ファイル保持部２３１より取得するものである。すなわち、フレーム取得部３１５は、画像照合部３１３において探索されたテンプレート画像類似フレームより時間的に前（過去）に位置するフレーム（以下、後方シーンフレームと呼ぶ。）および画像照合部３１３において探索されたテンプレート画像類似フレームより時間的に後（未来）に位置するフレーム（以下、前方シーンフレームと呼ぶ。）を取得する。フレーム取得部３１５においては、前方シーンフレームおよび後方シーンフレームの何れを先に取得するようにしてもよい。
フレーム取得部３１５は、画像照合部３１３においてテンプレート画像類似フレームが探索された場合に画像照合部３１３からその旨の通知を受ける。そして、フレーム取得部３１５は、その旨の通知を受けると動画像ファイル保持部２３１より前方シーンフレームまたは後方シーンフレームの何れかの取得を開始する。
フレーム取得部３１５において前方シーンフレームが先に取得される場合は、後述するシーン変化判断部３１８においてシーンの変化があったと判断されるとその旨の通知がフレーム取得部３１５にされる。フレーム取得部３１５は、この通知を受けると前方シーンフレームの取得を中止して、後方シーンフレームの取得を開始する。後方シーンフレームの取得を開始した後に、後述するシーン変化判断部３１８においてシーンの変化があったと判断されてその旨の通知を受けると、フレーム取得部３１５は後方シーンフレームの取得を中止する。
なお、フレーム取得部３１５において取得されるフレームは、フレーム縮小部３１１において縮小されていないフレームであってもよく、またフレーム縮小部３１１において縮小されたフレームであってもよい。また、上記述べたように、フレーム縮小部３１１において時系列に並んだフレームを所定数置きに縮小する場合もあり、この場合、フレーム取得部３１５は時系列に所定数置きに並んだ縮小されたフレームを取得する。
画素値分布生成部３１６は、フレーム取得部３１５によって取得されたフレームを構成する各画素の画素値の分布を生成するものである。ここで、画素値とは、画素の輝度や色差などをいい、例えば、ＹＵＶなどがこれに該当する。画素値としてＹ成分（輝度）に８ビットを割り当てる場合、０乃至２５５の範囲の値を有することになる。この場合、画素値分布生成部３１６は、各画素のＹ成分（輝度）の分布を、フレーム取得部３１５によって取得されたフレーム毎に生成する。なお、上記においては画素値がＹ成分（輝度）である場合を例にとって説明したが、画素値がＵ成分（輝度信号と青色成分の差）またはＶ成分（輝度信号と赤色成分の差）である場合の分布も同様に生成できる。
分布差分積算値算出部３１７は、時系列に隣り合うフレームにおける画素値の分布の差分を積算した分布差分積算値を算出するものである。例えば、画素値としてＹ成分（輝度）を用いた場合を考える。この場合、分布差分積算値算出部３１７は時系列に隣り合うフレームにおいて、例えばＹ成分（輝度）が０である画素の分布の差分を算出する。そして、分布差分積算値算出部３１７は、この差分の算出を全てのＹ成分（輝度）の範囲について行い、全ての差分を積算した分布差分積算値を算出する。これを画素値分布生成部３１６において生成された全てのフレームに対して行う。なお、上記においては画素値がＹ成分（輝度）である場合を例にとって説明したが、画素値がＵ成分（輝度信号と青色成分の差）またはＶ成分（輝度信号と赤色成分の差）である場合の分布も同様に生成できる。
シーン変化判断部３１８は、分布差分積算値が所定の閾値を超えているか否かを判断するものである。シーン変化判断部３１８において分布差分積算値が所定の閾値を超えていると判断されると、その分布差分積算値に対応する時系列に隣り合ったフレームにおいてシーンが変化したものと判断され、シーン情報テーブル３２０にそのフレームに関する情報が書き込まれる。シーン情報テーブル３２０に書き込まれるそのフレームに関する情報には、例えばそのフレームのフレーム番号が含まれる。
なお、分布差分積算値がＹ成分（輝度）、Ｕ成分（輝度信号と青色成分の差）およびＶ成分（輝度信号と赤色成分の差）について算出された場合、分布差分積算値はＹ成分（輝度）に関する分布差分積算値、Ｕ成分（輝度信号と青色成分の差）に関する分布差分積算値およびＶ成分（輝度信号と赤色成分の差）に関する分布差分積算値が存在することになるが、この場合それぞれの分布差分積算値について所定の閾値が設定されることになる。そして、Ｙ成分（輝度）に関する分布差分積算値、Ｕ成分（輝度信号と青色成分の差）に関する分布差分積算値およびＶ成分（輝度信号と赤色成分の差）に関する分布差分積算値の何れか一つがそれぞれの分布差分積算値に対して設定された閾値を超えた場合は、上記と同様にその分布差分積算値に対応する時系列に隣り合ったフレームにおいてシーンが変化したものと判断してもよい。これにより、Ｙ成分（輝度）のみならず、Ｕ成分（輝度信号と青色成分の差）およびＶ成分（輝度信号と赤色成分の差）も加味したシーンの検出をすることになるため、シーン検出における精度が向上する。
シーン変化判断部３１８においてシーンの変化があったと判断された場合、シーン変化判断部３１８はその旨をフレーム取得部３１５および画像照合部３１３に通知する。なお、シーン変化判断部３１８は、一つのシーンに対してシーンの開始および終了の２回分シーンの変化を判断するため、一つのシーンに対してフレーム取得部３１５および画像照合部３１３への通知は２回行われる。
フレーム取得部３１５において、例えば先に後方シーンフレームを取得するように設定されていた場合、１回目の通知はシーンの開始を検出した旨の通知となるが、フレーム取得部３１５はこの通知を受けると後方シーンフレームの取得を中止して、前方シーンフレームの取得を開始する。そして、２回目の通知はシーンの終了を検出した旨の通知となるが、フレーム取得部３１５はこの通知を受けると前方シーンフレームの取得を中止する。
また、画像照合部３１３はシーン変化判断部３１８からの１回目の通知を受けても特に何の処理も行わないが、２回目の通知を受け取ると一旦中止していたテンプレート画像類似フレームの探索を開始する。この場合、画像照合部３１３において照合を開始するフレームは、シーンの終了に対応するフレームの次のフレームである。
動画像ファイル情報取得部３１９は、動画像ファイル保持部２３１に保持された動画像ファイルより動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得するものである。そして、動画像ファイル情報取得部３１９は、取得した動画像ファイル情報をシーン情報テーブル３２０に書き込む。なお、動画像ファイルに対応する動画像の開始および終了に関する情報としては、例えば動画像ファイルの開始フレーム番号および終了フレーム番号や、動画像ファイルに対応する動画像を構成する総フレーム数が想定されるが、これに限るものではない。
シーン情報テーブル３２０は、動画像ファイル情報取得部３１９によって取得された動画像ファイル情報およびシーン変化検出部３１４によって検出されたシーンの開始および終了に関する情報を動画像ファイル毎に対応付けて保持するものである。なお、シーン変化検出部３１４によって検出されたシーンの開始および終了に関する情報としては、例えばシーンの開始フレーム番号および終了フレーム番号が想定されるが、これに限るものではない。
シーン時間位置表示生成部３２１は、シーン情報テーブル３２０に保持された動画像ファイルに対応する動画像の開始および終了に関する情報およびシーンの開始および終了に関する情報に基づいて、動画像が再生される全時間に対するシーンの時間的な位置を示す表示であるシーン時間位置表示を生成するものである。
なお、動画像ファイルに対応する動画像において複数のシーンが検出され、あるシーンの最終フレームと他のシーンの開始フレームとが時系列に隣り合う場合、シーン時間位置表示生成部３２１はその２つのシーンを結合させて一つのシーンとしてシーン時間位置表示を生成してもよい。
図４は、本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。図４（ａ）は、動画像ファイルを再生する様子を示す図である。再生ボタン６２１を選択すると動画像ファイルは動画表示部６１１において再生され、停止ボタン６２２を選択すると動画像ファイルの再生は停止される。早送りをする場合は早送りボタン６２４を選択し、巻き戻しをする場合は巻戻しボタン６２５を選択する。
動画像ファイルを再生させている際に所望の画像を含むフレームを見つけた場合、停止ボタン６２２を選択する。これにより、動画表示部６１１には停止ボタン６２２を選択した際に表示されていたフレームが表示される。さらに別のフレームを表示させたい場合には、再生ボタン６２１、早送りボタン６２４および巻戻しボタン６２５を選択して所望のフレームを表示させる。
所望の画像を含むフレームを動画表示部６１１に表示させた後に領域ボタン６２３を選択すると、表示画面６００には図４（ｂ）に示す領域選択画像表示６１２が表示される。なお、本発明の実施の形態においては、操作方式として表示画面を直接押下することによって操作の入力を行うタッチパネル方式を想定しているが、これに限るものではない。
図４（ｂ）は、図４（ａ）において説明した操作を行った後にフレームの領域を選択する様子を示す図である。領域選択画像表示６１２に表示されたフレームの領域の選択は、例えばスタイラス５０１により点６１３を選択した後に、スタイラス５０２により点６１４を選択する。スタイラス５０２により点６１４を選択すると、点６１３および点６１４を結んだ線を対角線とする領域６１５が表示される。この選択した領域６１５に含まれる画像がテンプレート画像になる。
領域６１５が表示された後に、ＯＫボタン６２６を選択すると、テンプレート画像が生成される。一方、領域６１５が表示された後に違う領域を選択する場合は、戻るボタン６２７を選択して、再び領域選択画像表示６１２に表示されたフレーム対して上記と同様の操作を行うことによって領域を選択する。
図５は、本発明の実施の形態におけるテンプレート画像生成のイメージを示す図である。フレームにおける領域が選択されると、テンプレート画像生成部３１２においてフレームにおける選択された領域は切り出され、図５（ａ）に示すテンプレート画像６３１が生成される。
また、テンプレート画像生成部３１２は、テンプレート画像６３１を拡大および縮小した画像であるテンプレート画像６３１ａ乃至６３１ｄも生成する。テンプレート画像６３１ａ乃至６３１ｄは、それぞれテンプレート画像６３１を、例えば１．２１倍、１．１倍、１．０倍、０．９０９倍、０．８２６倍したものが想定される。なお、図５（ａ）においては、テンプレート画像６３１以外のテンプレート画像データは４つしかないが、これに限るものではなくいくつあってもよい。
ここで、１．２１、１．１、１．０、０．９０９、０．８２６の数列は、（１．１）２、（１．１）１、（１．１）０、（１．１）−１、（１．１）−２であり、すなわち、公比が１．１の等比数列である。なお、公比を大きくするとテンプレート画像を用いて画像の探索を行う際に探索漏れを生じる可能性が高くなり、一方、公比を小さくするとテンプレート画像を用いて画像の探索を行う際に演算量が増えるという弊害が生じる。このため、公比は、１．１程度が好ましいが、これに限るものではなく、例えば１．０９や１．２等でも良い。
また、テンプレート画像として、テンプレート画像６３１を拡大および縮小した画像データのみならず、図５（ｂ）に示すように、さらに回転させたテンプレート画像６３２をも生成してもよい。
図６は、フレーム６３３とテンプレート画像６３１とを照合する様子を示す図である。フレーム６３３よりテンプレート画像６３１と類似する部分を探索する際には、テンプレート画像６３１とフレーム６３３とを照合する。照合した結果、フレーム６３３中にテンプレート画像６３１と一致または類似する部分があれば、そのフレーム６３３は、図１において説明したテンプレート画像類似フレームと判断される。
テンプレート画像６３１とフレーム６３３とを照合するに際して、図６に示すように例えば、フレーム６３３の左上端より照合を開始する。そして、例えば図６に示した右矢印方向に所定画素（例えば、１ピクセル）ずつずらしてテンプレート画像６３１とフレーム６３３とを照合する。この際、テンプレート画像６３１に類似する画像がフレーム６３３に含まれているか否かの評価は、例えば相互相関関数を用いて行う。この相互相関関数により算出された値が所定の閾値を超えた場合に、テンプレート画像６３１に類似する画像がフレーム６３３に含まれていると評価される。
所定画素ずらしながら右端まで照合が完了すると、次は、下矢印に所定画素（例えば、１ピクセル）ずらして、左端から右端までテンプレート画像６３１とフレーム６３３の照合を行う。また、フレーム６３３からテンプレート画像６３１と類似する部分を探索する際には、テンプレート画像６３１以外にも、図５で説明したテンプレート画像６３１を拡大および縮小したテンプレート画像６３１ａ乃至６３１ｄ、および、テンプレート画像６３１を所定角度回転させたテンプレート画像６３２についても上記説明した照合を行う。
なお、フレーム６３３からテンプレート画像６３１と類似する部分を探索する方法は、上記のようにフレーム６３３の全ての部分について照合を行う以外にも、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）を利用してフレーム６３３においてテンプレート画像６３１と類似する部分を探索してもよい。
図７は、本発明の実施の形態におけるシーン検出の様子を示す図である。本発明の実施の形態におけるシーン検出は、まずユーザーの選択によって生成されたテンプレート画像６３１と動画像ファイルを構成するフレームとを照合することから始まる。照合の結果、図７（ａ）に示すようにテンプレート画像６３１に類似する画像がフレーム６３３の領域６３３ａにおいて探索されると、そのフレーム６３３はテンプレート画像類似フレームとされる。
図７（ｂ）は、テンプレート画像類似フレームとシーンの検出の様子を示す図である。図７（ａ）においてテンプレート画像６３１に対応するテンプレート画像類似フレームであるフレーム６３３が探索されると、次にフレーム６３３の前後に時系列に並んだフレームを解析してシーンが変化するフレームを検出する処理が行われる。
この場合、フレーム取得部３１５において、例えばフレーム６３３より時間的に前（過去）に位置する後方シーンフレーム６３４ａが取得され、画素値分布生成部３１６において後方シーンフレーム６３４ａを構成する各画素の画素値の分布が生成される。そして、フレーム取得部３１５において後方シーンフレーム６３４ｂがさらに取得され、同様に画素値分布生成部３１６において後方シーンフレーム６３４ｂを構成する各画素の画素値の分布が生成される。
次に、分布差分積算値算出部３１７において、後方シーンフレーム６３４ａを構成する各画素の画素値の分布および後方シーンフレーム６３４ｂを構成する各画素の画素値の分布の差分の積算値である分布差分積算値が算出される。この分布差分積算値が所定の閾値を超えているか否かがシーン変化判断部３１８において判断される。
以上の処理が順次、後方シーンフレーム６３４ｃ乃至６３４ｆについても行われる。そして、後方シーンフレーム６３４ｅと後方シーンフレーム６３４ｆとの分布差分積算値がシーン変化判断部３１８において所定の閾値を超えていると判断されると、後方シーンフレーム６３４ｅがシーンの開始フレームと判断される。
シーンの開始フレームが検出されると、次にシーンの終了フレームの検出処理が行われる。この場合、フレーム取得部３１５においてフレーム６３３より時間的に後（未来）に位置する前方シーンフレーム６３５ａ乃至前方シーンフレーム６３５ｈが取得され、後方シーンフレーム６３４ａ乃至６３４ｆで説明したのと同様の処理が前方シーンフレーム６３５ａ乃至前方シーンフレーム６３５ｈにおいても行われる。
そして、前方シーンフレーム６３５ｇと前方シーンフレーム６３５ｈとの分布差分積算値がシーン変化判断部３１８において所定の閾値を超えていると判断されると、前方シーンフレーム６３５ｇがシーンの終了フレームと判断される。
これにより、後方シーンフレーム６３４ｆからフレーム６３３で構成される後方シーンとフレーム６３３から前方シーンフレーム６３５ｇで構成される前方シーンフレームとを一体にした一つのシーンが検出されたことになる。
一つのシーンが検出されると、次のシーンを探索するために再びテンプレート画像とフレームの照合が開始される。この場合、テンプレート画像と照合が開始されるフレームはシーンの最終フレームの次のフレームから行われる。図７（ｂ）においてシーンの最終フレームは前方シーンフレーム６３５ｇであるため、テンプレート画像６３１との照合が開始されるフレームは前方シーンフレーム６３５ｈである。
図８は、本発明の実施の形態におけるフレームを構成する各画素の画素値の分布の生成の様子を示す図である。図８（ａ）は、時系列に連続するｎ番目に並んだフレーム６３６ａおよびｎ＋１番目に並んだフレーム６３６ｂを示す図である。
フレーム６３６ａがフレーム取得部３１５によって取得されると、画素値分布生成部３１６においてフレーム６３６ａを構成する各画素の画素値の分布が生成される。画素値として輝度を考えた場合における各画素の輝度の分布の一例を図８（ｂ）に示す。この図８（ｂ）に示す各画素の輝度の分布の生成方法の一例を以下に述べる。まず、図８（ａ）に示したフレーム６３６ａの画素ａ１からｋ８における各画素の輝度を解析する。各画素における輝度を解析することによってフレーム６３６ａの画素ａ１からｋ８における各画素の輝度を求め、次に輝度毎に整理して各輝度を示す画素の数を求める。すなわち、輝度が０である画素の数、乃至、輝度が２５５である画素の数をそれぞれ求める。これにより、横軸に輝度ｘをとり、縦軸に輝度ｘに対応する画素の数Ｈｎ（ｘ）をとった各画素の輝度の分布が図８（ｂ）のように生成される。
同様に、フレーム６３６ｂがフレーム取得部３１５によって取得されると、画素値分布生成部３１６においてフレーム６３６ｂを構成する各画素の画素値の分布が生成される。画素値として輝度を考えた場合における各画素の輝度の分布の一例を図８（ｃ）に示す。図８（ｃ）の場合も図８（ｂ）の場合と同様に、横軸に輝度ｘをとり、縦軸に輝度ｘに対応する画素の数Ｈｎ＋１（ｘ）をとった各画素の輝度の分布が図８（ｃ）のように生成される。
そして、分布差分積算値算出部３１７において以下の数１に示す式に基づいて輝度に関する分布差分積算値ＦＨＤが算出される。なお、数１は、任意のフレームにおける輝度ｘに対応する画素の数Ｈｎ（ｘ）とその任意のフレームと時系列に隣り合うフレームにおける輝度ｘに対応する画素の数Ｈｎ＋１（ｘ）との差の絶対値を全ての画素値について積算したものである。
Figure 0004241709
この輝度に関する分布差分積算値ＦＨＤが所定の閾値を超えた場合にその輝度に関する分布差分積算値ＦＨＤに対応するフレームでシーンの変化があったものと判断され、シーンの開始または終了が検出されたことになる。
なお、図８においては、画素値として輝度を考えた場合について説明したが、画素値として色差を考えた場合も同様の方法により、各画素の色差の分布を生成して色差に関する分布差分積算値ＦＨＤを算出することができる。輝度に関する分布差分積算値ＦＨＤと色差に関する分布差分積算値ＦＨＤとを算出する構成にした場合、輝度に関する分布差分積算値ＦＨＤと色差に関する分布差分積算値ＦＨＤとにおいて別々の閾値を設定することとすれば、輝度と色差を適切に考慮したシーン変化の検出が可能となる。
図９は、動画像ファイルを構成するフレームの集まりであるフレーム群と縮小されたフレームとの対応を示す図である。フレーム縮小部３１１において縮小されるフレームは、図３において説明したように動画像ファイルを構成するフレーム全てであってもよいし、図９に示すように動画像ファイルを構成するフレームの一部であってもよい。
例えば、フレーム縮小部３１１において３つ置きに並んだフレーム６３７ａ乃至６３７ｈを縮小して縮小フレーム６３８ａ乃至６３８ｈを生成する。この場合、動画像ファイル保持部２３１には、フレーム群および縮小フレーム６３８ａ乃至６３８ｈが保持される。
上記説明したようにこの縮小されたフレームを用いて画像の照合や分布差分積算値を算出する場合、画素の数が低減されるため、画像照合部３１３、画素値分布生成部３１６および分布差分積算値算出部３１７における演算量も低減される。これにより、高速なシーン検出が可能となる。
図１０は、本発明の実施の形態におけるシーン情報テーブル３２０の内容を示す図である。シーン情報テーブル３２０は、動画像ファイルのファイル名を表すファイル名３２０１と、総フレーム数３２０２と、シーン情報３２１０とを含む。
総フレーム数３２０２は、動画像ファイルに対応する動画像を構成するフレームの総数である。この総フレーム数３２０２は動画像ファイルの再生時間を示す情報である。また、動画像ファイルの再生時間を示す情報として、総フレーム数３２０２の代わりに動画像ファイルに対応する動画像の開始フレーム番号および終了フレーム番号をシーン情報テーブル３２０に保持させる構成であってもよい。
シーン情報３２１０は、動画像ファイルを構成する動画像に含まれるシーンの開始と終了に関する情報である。この動画像ファイルを構成する動画像に含まれるシーンの開始と終了に関する情報としては、シーンの開始フレーム番号および終了フレーム番号が想定される。このシーン情報３２１０は、シーンの数だけ保持されることになる。
図１１は、本発明の実施の形態におけるシーン時間位置表示を示す図である。図１１（ａ）は、表示画面６００に表示されたシーン時間位置表示群６４０を示す図である。図４（ｂ）においてフレームの領域を選択した後にＯＫボタン６２６を選択すると、シーン検出等の処理が行われ、表示画面６００は図１１（ａ）に示すようにシーン時間位置表示群６４０が表示される。
図１１（ａ）においては、表示の一例として一度に３つの動画像ファイルに対応するシーン時間位置表示６４１乃至６４３が表示されるようになっている。シーン検出は、動画像ファイル保持部２３１に保持された全ての動画像ファイルに対して行われ、シーン時間位置表示も動画像ファイルの数だけ生成される。図１１（ａ）においてはファイルＡに対するシーン時間位置表示６４１とファイルＢに対するシーン時間位置表示６４２とファイルＣに対するシーン時間位置表示６４３とがシーン時間位置表示群６４０として表示されている。
他の動画像ファイルについてシーン時間位置表示を表示させたい場合は、「次へ」ボタン６５１または「戻る」ボタン６５２を選択すると、例えば（図示しない）ファイルＤに対するシーン時間位置表示等が表示画面６００に表示される。そして、シーン時間位置表示群６４０において着色表示された部分の何れかを選択した後に再生ボタン６５３を選択すると、そのシーンに対応する動画像が再生される。
図１１（ｂ）は、シーン時間位置表示群６４０に表示されたファイルＡに対応するシーン時間位置表示６４１の構成を示す図である。シーン時間位置表示６４１中の開始位置６６１から終了位置６６２までの長さがファイルＡの総再生時間である。
ファイルＡにおいては２つのシーンが検出されており、まずシーン＃１の６６３ａは動画像ファイルを構成するフレーム中においてテンプレート画像類似フレームとして探索されたフレームの位置を示す。また、シーン＃１の６６４ａは、シーン＃１の終了フレームの位置を示す。また、シーン＃１の６６５ａは、シーン＃１の開始フレームの位置を示す。６６５ａから６６３ａまでの長さで表される後方シーンと６６３ａから６６４ａまでの長さで表される前方シーンとでシーン＃１を構成する。
シーン＃２についても同様で、シーン＃２の６６３ｂは動画像ファイルを構成するフレーム中においてテンプレート画像類似フレームとして探索されたフレームの位置を示す。また、シーン＃２の６６４ｂは、シーン＃２の終了フレームの位置を示す。また、シーン＃２の６６５ｂは、シーン＃２の開始フレームの位置を示す。６６５ｂから６６３ｂまでの長さで表される後方シーンと６６３ｂから６６４ｂまでの長さで表される前方シーンとでシーン＃２を構成する。
図１２は、本発明の実施の形態におけるシーンの結合の様子を示す図である。図１２（ａ）に示すシーン情報テーブル３２０においてシーン＃１の終了フレーム番号とシーン＃２の開始フレーム番号が連続している。このシーン情報テーブル３２０に基づいて生成されたシーン時間位置表示が図１２（ｂ）に示すシーン時間位置表示６７０である。
このシーン時間位置表示６７０においてはシーン＃１の開始フレームの位置が位置６７３で終了フレームの位置が位置６７４である。また、シーン＃２の開始フレームの位置が位置６７４で終了フレームの位置が位置６７５である。このように２つのシーンが連続している場合、一つのシーンが様々な要因で２つのシーンに分かれてしまった可能性が高い。したがって、２つのシーンが連続している場合、その２つのシーンをまとめて一つのシーンとして扱うことが望ましい。
そこで、本発明の実施の形態では、２つのシーンが連続している場合、２つのシーンを一つのシーンとして処理する。具体的には、図１２（ａ）のようなシーン情報テーブル３２０がある場合、シーン時間位置表示生成部３２１において図１２（ｃ）のようにシーン情報テーブル３２０を書き換える。すなわち、シーン＃１の終了番号フレームをシーン＃２の終了番号フレームに書換え、シーン＃２を消去する。これにより、このシーン情報テーブル３２０に基づいて生成されるシーン時間位置表示は、一つのシーンのみを表示することになる。
なお、図１２（ｃ）に示したようにシーン情報テーブル３２０の内容を書き換えることなく、２つのシーンが連続している場合は一つのシーンとして図１２（ｄ）に示すシーン時間位置表示をシーン時間位置表示生成部３２１において生成するように構成してもよい。
次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
図１３は、本発明の実施の形態におけるシーン検出の流れを示す図である。まず、動画像ファイルを構成するフレームより所望のフレームの選択を受け付けた後、そのフレームの領域の選択を受け付ける（ステップＳ９１１）。ステップＳ９１１において選択された領域に基づいてテンプレート画像生成部３１２においてテンプレート画像が生成される（ステップＳ９１２）。具体的には、テンプレート画像生成部３１２において選択された領域をフレームから切り出すことによってテンプレート画像が生成される。また、この切り出された画像を拡大または縮小した画像もテンプレート画像として生成される。
次に、画像照合部３１３は、動画像ファイル保持部２３１に保持された動画像ファイルよりテンプレート画像と照合すべきフレームを取得する（ステップＳ９１３）。本発明の実施の形態においては、テンプレート画像と照合すべきフレームとして取得されるフレームは２通りある。１つ目は、シーンの終了フレームの次に位置するフレームである。このフレームが取得されるのは、シーンの検出が行われた場合である。２つ目は、直前に照合が行われたフレームの次に位置するフレームである。このフレームが取得されるのは、画像照合部３１３においてテンプレート画像類似フレームが探索されなかった場合である。そして、画像照合部３１３は、ステップＳ９１３において取得したフレームとテンプレート画像とを照合する（ステップＳ９１４）。
ステップＳ９１４における照合の後に、フレーム中の任意の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えたか否かが画像照合部３１３において判断される（ステップＳ９１５）。フレーム中の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えたと判断されると、シーン変化検出部３１４はそのフレームの後に時系列に並んだフレームを取得して、シーンが終了するフレームの検出を行う（ステップＳ９１６）。
次に、シーン変化検出部３１４はそのフレームの前に時系列に並んだフレームを取得して、シーンが開始するフレームの検出を行う（ステップＳ９１７）。以上のステップＳ９１６および９１７の処理によりシーンの開始と終了が検出され、一シーンが検出されたことになる。なお、ステップＳ９１６とステップＳ９１７とはどちらを先に行ってもよい。

次に、ステップＳ９１６において検出されたシーンの最終フレームが、動画像ファイルの最終フレームに当たるか否かが判断される（ステップＳ９１８）。ステップＳ９１６において検出されたシーンの最終フレームが、動画像ファイルの最終フレームに該当しないと判断されると、ステップＳ９１３においてシーンの最終フレームの次のフレームが取得されてステップＳ９１４以下の処理が行われる。
一方、そのシーンの最終フレームが動画像ファイルの最終フレームに該当すると判断されると、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されているか否かが判断される（ステップＳ９１９）。ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されていると判断されると、ステップＳ９１３に戻る。一方、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルが動画像ファイル保持部２３１に保持されていないと判断されると、シーン検出処理は終了する。
また、ステップＳ９１５において画像照合部３１３においてフレーム中の画像とテンプレート画像との類似する度合い（スコア）が所定の閾値を超えないと判断されると、そのフレームはテンプレート画像類似フレームとされず、ステップＳ９１６および９１７のシーン検出処理は行われない。この場合は、次にステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに当たるか否かが判断される（ステップＳ９１８）。
ステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに該当しないと判断されると、ステップＳ９１３に戻り、そのフレームの次に位置するフレームが取得されてステップＳ９１４以下の処理が行われる。一方、ステップＳ９１４において照合したフレームが動画像ファイルの最終フレームに該当すると判断されると、ステップＳ９１３から９１７までの処理を行っていない動画像ファイルがあるか否かがステップＳ９１９において判断される。ステップＳ９１９における処理は上記説明した通りである。
このように、本発明の実施の形態によれば、動画ファイルを構成する何れかのフレームに含まれる対象物を領域選択受付部６０１において選択することによってテンプレート画像を生成することができ、そのテンプレート画像に含まれる対象物が登場する一シーンをフレームの各画素の画素値の分布に基づいてシーン変化検出部３１４によって検出することができる。そして、フレームの各画素の画素値の分布に基づいてシーンの検出を行うことによって、人間の視覚的感覚に基づいたシーン検出ができるため、動画像において目的とする対象物が登場する一シーンを的確に検出することができる。また、検出に用いるフレームをフレーム縮小部３１１によって縮小することによって、画像照合部３１３におけるテンプレート画像に類似する画像を含むフレームの探索処理の演算量およびシーン変化検出部３１４におけるシーン変化検出処理の演算量を低減することができるため、高速なシーン検出が可能となる。
本発明の実施の形態では、撮像装置を例に説明したが、その他画像に関する処理を行うことができる電子機器において本発明を適用することは可能である。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項１において、動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手段は、例えば領域選択受付部６０１に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部３１２に対応する。また、画像照合手段は、例えば画像照合部３１３に対応する。また、シーン変化検出手段は、例えばシーン変化検出部３１４に対応する。
また、請求項３において、フレーム取得手段は、例えばフレーム取得部３１５に対応する。また、画素値分布生成手段は、例えば画素値分布生成部３１６に対応する。また、分布差分積算値算出手段は、例えば分布差分積算値算出部３１７に対応する。また、シーン変化判断手段は、例えばシーン変化判断部３１８に対応する。
また、請求項６において、フレーム縮小手段は、例えばフレーム縮小部３１１に対応する。
また、請求項８において、動画像ファイル情報取得手段は、例えば動画像ファイル情報取得部３１９に対応する。また、シーン情報テーブルは、例えばシーン情報テーブル３２０に対応する。また、シーン時間位置表示生成手段は、例えばシーン時間位置表示生成部３２１に対応する。
また、請求項１１において、撮像手段は例えば撮像部１０に対応する。動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手段は、例えば領域選択受付部６０１に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部３１２に対応する。また、画像照合手段は、例えば画像照合部３１３に対応する。また、シーン変化検出手段は、例えばシーン変化検出部３１４に対応する。動画像ファイル情報取得手段は、例えば動画像ファイル情報取得部３１９に対応する。また、シーン情報テーブルは、例えばシーン情報テーブル３２０に対応する。また、シーン時間位置表示生成手段は、例えばシーン時間位置表示生成部３２１に対応する。また、表示手段は、例えば表示部６１に対応する。
また、請求項１２および１３において、動画像ファイル保持手段は、例えば動画像ファイル保持部２３１に対応する。また、領域選択受付手順は、例えばステップＳ９１１に対応する。また、テンプレート画像生成手順は、例えばステップＳ９１２に対応する。また、画像照合手順は、例えばステップＳ９１３乃至９１５に対応する。また、シーン変化検出手順は、例えばステップＳ９１６および９１７に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における撮像装置１００の一例である撮像装置１００ａおよび１００ｂの外観図である。 本発明の実施の形態における撮像装置１００の構成を示す図である。 本発明の実施の形態におけるシーン検出機能の構成を示す図である。 本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。 本発明の実施の形態におけるテンプレート画像生成のイメージを示す図である。 フレーム６３３とテンプレート画像６３１とを照合する様子を示す図である。 本発明の実施の形態におけるシーン検出の様子を示す図である。 本発明の実施の形態におけるフレームを構成する各画素の画素値の分布の生成の様子を示す図である。 動画像ファイルを構成するフレームの集まりであるフレーム群と縮小されたフレームとの対応を示す図である。 本発明の実施の形態におけるシーン情報テーブル３２０の内容を示す図である。 本発明の実施の形態におけるシーン時間位置表示を示す図である。 本発明の実施の形態におけるシーンの結合の様子を示す図である。 本発明の実施の形態におけるシーン検出の流れを示す図である。
符号の説明
１０ 撮像部
１１ 撮像素子部
１２ 撮像制御部
１３ 画像処理部
２０ 記録再生処理部
２１ 画像符号化／復号部
２２ 記録制御部
２３ ＳＤＲＡＭ
３０ 制御部
３１ システム制御部
３２ 入力制御部
３３ 表示制御部
３４ 出力画像処理部
３５ 外部機器制御部
３６ ネットワーク制御部
４０ バス
５０ キー入力部
６０ タッチパネル部
６１ 表示部
６２ タッチパネル入力部
７０ 記憶装置
８０ 外部機器
９０ ネットワーク網
１００、１００ａ、１００ｂ 撮像装置
１１０ａ、１１０ｂ レンズ部
１２０ａ シャッター部
１３０ａ、１３０ｂ ディスプレイ部
２３１ 動画像ファイル保持部
３１１ フレーム縮小部
３１２ テンプレート画像生成部
３１３ 画像照合部
３１４ シーン変化検出部
３１５ フレーム取得部
３１６ 画素値分布生成部
３１７ 分布差分積算値算出部
３１８ シーン変化判断部
３１９ 動画像ファイル情報取得部
３２０ シーン情報テーブル
３２１ シーン時間位置表示生成部
６０１ 領域選択受付部

Claims (13)

  1. 動画像ファイルを保持する動画像ファイル保持手段と、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
    前記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手段と、
    前記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、
    前記画像照合手段において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と
    を具備し、
    前記画像照合手段は、前記シーン変化検出手段において検出された前記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを新たに探索し、
    前記シーン変化検出手段は、前記画像照合手段において新たに探索されたフレームから時系列の前後に並んだフレーム間の前記分布差分積算値に基づいて前記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する画像処理装置。
  2. 前記画像照合手段は、前記フレームの取得において時系列に所定数置きに並んだフレームを前記動画像ファイル保持手段より取得する請求項１記載の画像処理装置。
  3. 前記シーン変化検出手段は、
    前記画像照合手段において探索されたフレームの前後に時系列に並んだフレームを前記動画像ファイル保持手段より取得するフレーム取得手段と、
    前記フレーム取得手段によって取得されたフレームを構成する各画素の画素値の分布を生成する画素値分布生成手段と、
    前記時系列に隣り合うフレームにおける前記画素値の分布の差分を積算した分布差分積算値を算出する分布差分積算値算出手段と、
    前記分布差分積算値が所定の閾値を超えているか否かを判断して前記分布差分積算値が所定の閾値を超えている場合には前記シーンが変化したものとして前記所定の閾値を超えた前記分布差分積算値に対応するフレームを前記シーンの開始フレームまたは終了フレームと判断するシーン変化判断手段と
    を具備する請求項１記載の画像処理装置。
  4. 前記フレーム取得手段は、前記画像照合手段において探索されたフレームの前後に時系列に所定数置きに並んだフレームを前記動画像ファイル保持手段より取得する請求項３記載の画像処理装置。
  5. 前記画素値分布生成手段は、前記画素値としてＹＵＶを用いて表される量を用い、前記フレーム取得手段によって取得されたフレームを構成する各画素のＹＵＶそれぞれの成分の分布を生成し、
    前記分布差分積算値算出手段は、前記分布差分積算値として、前記時系列に隣り合うフレームにおける前記ＹＵＶそれぞれの成分に関する分布の差分を前記ＹＵＶそれぞれの成分毎に積算したＹ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値を算出し、
    前記シーン変化判断手段は、前記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値のそれぞれに対して設定された前記所定の閾値を超えているか否かを判断して前記Ｙ成分分布差積算値、Ｕ成分分布差積算値およびＶ成分分布差積算値の何れか一つが所定の閾値を超えている場合には前記シーンが変化したものとして前記所定の閾値を超えた前記Ｙ成分分布差積算値、Ｕ成分分布差積算値またはＶ成分分布差積算値に対応するフレームを前記シーンの開始フレームまたは終了フレームと判断する請求項３記載の画像処理装置。
  6. 前記動画像ファイルを構成するフレームを縮小するフレーム縮小手段をさらに具備し、
    前記動画像ファイル保持手段は、前記フレーム縮小手段において縮小されたフレームをさらに保持し、
    前記領域選択受付手段は、前記縮小されたフレームの何れか一つに対する所定の領域の選択を受け付け、
    前記画像照合手段は、前記縮小されたフレームと前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含む前記縮小されたフレームを探索し、
    前記シーン変化検出手段は、前記縮小されたフレームを用いて前記画像照合手段において探索された縮小されたフレームを含むシーンの開始および終了を検出する請求項１記載の画像処理装置。
  7. 前記フレーム縮小手段は、時系列に並んだ前記フレームを所定数置きに縮小する請求項６記載の画像処理装置。
  8. 前記動画像ファイル保持手段に保持された前記動画像ファイルより前記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、
    前記動画像ファイル情報取得手段によって取得された前記動画像ファイル情報および前記シーン変化検出手段によって検出された前記シーンの開始および終了に関する情報を前記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、
    前記動画像ファイルに対応する動画像の開始および終了に関する情報および前記シーンの開始および終了に関する情報に基づいて前記動画像が再生される全時間に対する前記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と
    をさらに具備する請求項１記載の画像処理装置。
  9. 前記動画像ファイル情報取得手段は、前記動画像ファイルに対応する動画像の開始および終了に関する情報として前記動画像ファイルに含まれるフレーム数を取得し、
    前記シーン情報テーブルは、前記シーン検出手段によって検出された前記シーンの開始および終了に関する情報として前記シーンの開始フレーム番号および終了フレーム番号を保持し、
    前記シーン時間位置表示生成手段は、前記動画像ファイルに含まれるフレーム数、前記シーンの開始フレーム番号および終了フレーム番号に基づいて前記シーン時間位置表示を生成する請求項８記載の画像処理装置。
  10. 前記シーン時間位置表示生成手段は、前のシーンの終了および次のシーンの開始が連続する場合には前記前のシーンおよび前記次のシーンを一つのシーンとして前記シーン時間位置表示を生成する請求項８記載の画像処理装置。
  11. 被写体を撮像して動画像ファイルを生成する撮像手段と、
    前記動画像ファイルを保持する動画像ファイル保持手段と、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
    前記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手段と、
    前記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手段と、
    前記画像照合手段において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて前記画像照合手段において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手段と、
    前記動画像ファイル保持手段に保持された前記動画像ファイルより前記動画像ファイルに対応する動画像の開始および終了に関する情報を含む動画像ファイル情報を取得する動画像ファイル情報取得手段と、
    前記動画像ファイル情報取得手段によって取得された前記動画像ファイル情報および前記シーン変化検出手段によって検出された前記シーンの開始および終了に関する情報を前記動画像ファイル毎に対応付けて保持するシーン情報テーブルと、
    前記動画像ファイルに対応する動画像の開始および終了に関する情報および前記シーンの開始および終了に関する情報に基づいて前記動画像が再生される全時間に対する前記シーンの時間的な位置を示す表示であるシーン時間位置表示を生成するシーン時間位置表示生成手段と、
    前記シーン時間位置表示を表示する表示手段と
    を具備し、
    前記画像照合手段は、前記シーン変化検出手段において検出された前記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを新たに探索し、
    前記シーン変化検出手段は、前記画像照合手段において新たに探索されたフレームから時系列の前後に並んだフレーム間の前記分布差分積算値に基づいて前記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する画像処理装置。
  12. 動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置における処理方法であって、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手順と、
    前記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、
    前記画像照合手順において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて前記画像照合手順において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順と
    を具備し、
    前記シーン変化検出手順において検出された前記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを新たに探索して、前記画像照合手順において新たに探索されたフレームから時系列の前後に並んだフレーム間の前記分布差分積算値に基づいて前記新たに探索されたフレームを含むシーンの開始および終了を新たに検出する処理方法。
  13. 動画像ファイルを保持する動画像ファイル保持手段を備えた画像処理装置において、
    前記動画像ファイルを構成するフレームの何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像に基づいてテンプレート画像を生成するテンプレート画像生成手順と、
    前記動画像ファイル保持手段より何れかのフレームを取得して当該フレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを探索する画像照合手順と、
    前記画像照合手順において探索されたフレームから時系列の前後に並んだフレーム間の分布差分積算値に基づいて前記画像照合手順において探索されたフレームを含むシーンの開始および終了を検出するシーン変化検出手順と
    をコンピュータに実行させるプログラムであって、
    前記シーン変化検出手順において検出された前記シーンの終了に対応するフレームの次のフレームからの何れかのフレームの各々と前記テンプレート画像とを照合して前記テンプレート画像に類似する画像を含むフレームを新たに探索して、前記画像照合手順において新たに探索されたフレームから時系列の前後に並んだフレーム間の前記分布差分積算値に基づいて前記新たに探索されたフレームを含むシーンの開始および終了を新たに検出するプログラム。
JP2005296052A 2005-10-11 2005-10-11 画像処理装置 Expired - Fee Related JP4241709B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005296052A JP4241709B2 (ja) 2005-10-11 2005-10-11 画像処理装置
TW095136787A TW200737971A (en) 2005-10-11 2006-10-03 Image processing apparatus
EP06021090A EP1775664A3 (en) 2005-10-11 2006-10-06 Image processing apparatus
KR1020060098575A KR20070040313A (ko) 2005-10-11 2006-10-10 화상 처리 장치
CNB2006101411251A CN100555328C (zh) 2005-10-11 2006-10-11 图像处理装置
US11/546,081 US8014566B2 (en) 2005-10-11 2006-10-11 Image processing apparatus
US13/091,258 US8160299B2 (en) 2005-10-11 2011-04-21 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005296052A JP4241709B2 (ja) 2005-10-11 2005-10-11 画像処理装置

Publications (2)

Publication Number Publication Date
JP2007110193A JP2007110193A (ja) 2007-04-26
JP4241709B2 true JP4241709B2 (ja) 2009-03-18

Family

ID=37401110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005296052A Expired - Fee Related JP4241709B2 (ja) 2005-10-11 2005-10-11 画像処理装置

Country Status (6)

Country Link
US (2) US8014566B2 (ja)
EP (1) EP1775664A3 (ja)
JP (1) JP4241709B2 (ja)
KR (1) KR20070040313A (ja)
CN (1) CN100555328C (ja)
TW (1) TW200737971A (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007052395A1 (ja) * 2005-10-31 2009-04-30 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20090150480A1 (en) * 2007-12-08 2009-06-11 Xiyuan Xia Publishing Assets Of Dynamic Nature In UPnP Networks
US20090150520A1 (en) * 2007-12-07 2009-06-11 David Garcia Transmitting Assets In UPnP Networks To Remote Servers
US20090150570A1 (en) * 2007-12-07 2009-06-11 Bo Tao Sharing Assets Between UPnP Networks
US20090150481A1 (en) * 2007-12-08 2009-06-11 David Garcia Organizing And Publishing Assets In UPnP Networks
GB2492246B (en) 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
CN101527040B (zh) * 2008-03-05 2012-12-19 华为终端有限公司 图像处理方法及系统
JP4798172B2 (ja) * 2008-05-20 2011-10-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像出力方法および画像出力プログラム
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5066037B2 (ja) 2008-09-02 2012-11-07 株式会社日立製作所 情報処理装置
CN101370126B (zh) * 2008-09-24 2012-02-08 中兴通讯股份有限公司 一种监控录像的播放控制方法及系统
JP5035292B2 (ja) * 2009-05-11 2012-09-26 株式会社ニコン 撮像装置、データ生成装置、およびデータ生成プログラム
JP5733565B2 (ja) 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
BR112013028780A2 (pt) 2011-05-11 2017-01-31 I-Cubed Res Center Inc aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado
JP5852370B2 (ja) * 2011-08-31 2016-02-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
EP2773111B1 (en) 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
JP5754458B2 (ja) * 2013-03-22 2015-07-29 カシオ計算機株式会社 動画像抽出装置、動画像抽出方法及びプログラム
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP2016039496A (ja) * 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
KR102535411B1 (ko) 2017-11-16 2023-05-23 삼성전자주식회사 메트릭 학습 기반의 데이터 분류와 관련된 장치 및 그 방법
CN107977675A (zh) * 2017-11-24 2018-05-01 清华大学 一种视觉模板自动提取方法、系统及存储介质
CN108810413B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10789990B2 (en) * 2018-12-17 2020-09-29 International Business Machines Corporation Video data learning and prediction
CN116013091B (zh) * 2023-03-24 2023-07-07 山东康威大数据科技有限公司 基于车流量大数据的隧道监控系统与分析方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JP3221028B2 (ja) 1992-01-29 2001-10-22 株式会社日立製作所 動画像情報のキーワード付与方法
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP3332166B2 (ja) 1992-09-30 2002-10-07 株式会社日立製作所 動画像の検索装置
US6195497B1 (en) * 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
JP3454396B2 (ja) 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
AU7412998A (en) * 1996-11-27 1998-06-22 Princeton Video Image, Inc. Motion tracking using imagetexture templates
US6560281B1 (en) * 1998-02-24 2003-05-06 Xerox Corporation Method and apparatus for generating a condensed version of a video sequence including desired affordances
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
JP3615657B2 (ja) * 1998-05-27 2005-02-02 株式会社日立製作所 映像検索方法及び装置ならびに記録媒体
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
DE60040184D1 (de) * 1999-01-28 2008-10-23 Toshiba Kawasaki Kk Verfahren zum Beschreiben von Bildinformationen, Wiederauffinden und Wiedergeben von Videodaten und Vorrichtung zum Wiedergeben von Videodaten
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
JP2000312310A (ja) 1999-04-27 2000-11-07 Hitachi Denshi Ltd 動画像編集方法
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
JP2003087772A (ja) 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
JP4082664B2 (ja) 2002-09-20 2008-04-30 Ｋｄｄｉ株式会社 映像検索装置
JP2004227519A (ja) * 2003-01-27 2004-08-12 Matsushita Electric Ind Co Ltd 画像処理方法
DE602006017977D1 (de) * 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
JP5067418B2 (ja) * 2007-03-16 2012-11-07 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Also Published As

Publication number Publication date
US20070127773A1 (en) 2007-06-07
CN1949271A (zh) 2007-04-18
JP2007110193A (ja) 2007-04-26
US8014566B2 (en) 2011-09-06
TWI334729B (ja) 2010-12-11
KR20070040313A (ko) 2007-04-16
US20110199513A1 (en) 2011-08-18
US8160299B2 (en) 2012-04-17
EP1775664A3 (en) 2009-11-04
EP1775664A2 (en) 2007-04-18
CN100555328C (zh) 2009-10-28
TW200737971A (en) 2007-10-01

Similar Documents

Publication Publication Date Title
JP4241709B2 (ja) 画像処理装置
JP4499693B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20180247673A1 (en) Apparatus and method for editing
JP5683851B2 (ja) 撮像装置及び画像処理装置
JP4618166B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9685199B2 (en) Editing apparatus and editing method
US20060146147A1 (en) Digital still camera and method of controlling operation of same
JP4877319B2 (ja) 画像生成装置、プログラム、画像表示方法、及び、撮像方法
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
US20100266160A1 (en) Image Sensing Apparatus And Data Structure Of Image File
US8078039B2 (en) Recording apparatus capable of recording moving image and still image
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JP4154012B2 (ja) 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置
JP2009290318A (ja) 撮像装置およびズーム調整方法
JP2008199330A (ja) 動画像管理装置
US11837257B2 (en) Electronic device and control methods thereof
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5200959B2 (ja) デジタルカメラ
JP2003153181A (ja) 光ディスク録画装置
JP2001313895A (ja) 電子カメラ
JP4673916B2 (ja) 情報処理装置、情報処理方法及び情報処理用プログラム
JP6263002B2 (ja) 撮像装置およびその制御方法、プログラム
US20060012687A1 (en) Format processing apparatus and format processing method
JP2012114531A (ja) 画像再生装置、画像再生方法及びプログラム
JP5020705B2 (ja) 動画撮像装置及び動画撮像方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees