JP4360425B2 - 画像処理装置、その処理方法およびプログラム - Google Patents

画像処理装置、その処理方法およびプログラム Download PDF

Info

Publication number
JP4360425B2
JP4360425B2 JP2007159468A JP2007159468A JP4360425B2 JP 4360425 B2 JP4360425 B2 JP 4360425B2 JP 2007159468 A JP2007159468 A JP 2007159468A JP 2007159468 A JP2007159468 A JP 2007159468A JP 4360425 B2 JP4360425 B2 JP 4360425B2
Authority
JP
Japan
Prior art keywords
image
images
shooting
unit
digest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007159468A
Other languages
English (en)
Other versions
JP2008312061A (ja
Inventor
雅友 倉田
崇 小形
誠 村田
啓宏 王
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2007159468A priority Critical patent/JP4360425B2/ja
Publication of JP2008312061A publication Critical patent/JP2008312061A/ja
Application granted granted Critical
Publication of JP4360425B2 publication Critical patent/JP4360425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Description

本発明は、画像処理装置に関し、特に、画像コンテンツを編集することが可能な画像処理装置、その処理方法および当該方法をコンピュータに実行させるプログラムに関する。
近年、デジタルビデオカメラが普及している。このため、例えば、結婚式披露宴等のイベントにおいて、このイベントの様子が出席者によりデジタルビデオカメラで撮影されることが広く行われている。また、例えば、結婚式披露宴等のように多数の出席者が集まるイベントでは、多数の出席者により同一のシーン(例えば、ケーキカットシーン)が撮影されることも多い。このため、1つのイベントにおける同一のシーンについて複数の動画が撮影される場合がある。このように撮影された動画については、例えば、家庭内において、パソコン(パーソナルコンピュータ)を用いてそのディスプレイで再生することができる。
例えば、撮影時間が比較的長い動画を再生する場合、その撮影された動画全体を最初から再生すると、再生時間が長くなってしまう。このため、再生時間の経過に応じて、再生中の動画に対する視聴者の興味が低減してしまうことがある。そこで、その撮影された動画全体から所望する部分を視聴者が検索して、検索された部分を順次再生することが考えられる。しかしながら、このように再生する場合には、検索に要する時間が必要であるとともに検索作業が煩雑である場合が多い。このため、撮影された動画に対する視聴者の興味が低減してしまうことがある。
そこで、動画を再生する場合において、この動画の各部におけるサムネイル画像を生成して、この生成されたサムネイル画像を用いて所望の記録位置から動画を再生させる技術が提案されている。例えば、記録媒体に記録されている複数の動画のシーンから各シーンを示す画面のサムネイル画像を複数形成し、これらのサムネイル画像を表示して、表示されているサムネイル画像から所望のサムネイル画像を選択することによって、選択されたサムネイル画像に対応するシーンの先頭から動画の再生を開始する再生装置が提案されている(例えば、特許文献1参照。)。
特開平11−289517号公報(図7)
上述の従来技術によれば、結婚式披露宴等のイベントで撮影された動画を視聴する場合において、これらの動画について表示されるサムネイル画像を用いて、所望するシーンの先頭から動画の再生を開始させることができる。
しかしながら、結婚式披露宴等のイベントで撮影が行われる場合には、撮影時間が比較的長くなることが多い。このように撮影時間が比較的長いイベントで複数の出席者により撮影された複数の動画を閲覧する場合において、上述の従来技術を用いてサムネイル画像を表示すると、表示されるサムネイル画像の数が非常に多くなることがある。この場合には、サムネイル画像の選択に要する時間が長くなり、サムネイル画像の選択作業が煩雑となる。
また、これらの複数の動画は、撮影者の位置に応じて異なる角度で撮影されることが多いため、同一シーンであっても異なるシーンのようにサムネイル画像が表示されることも考えられる。この場合には、同一のシーンを複数回選択することがあり、効率的に視聴することができない。このように、同一のイベントにおいて複数の撮像装置により撮影された複数の動画を視聴する場合には、効率的に視聴することが困難である。
そこで、本発明は、同一のイベントにおいて複数の撮像装置により撮影された画像を効率的に閲覧することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、時刻情報が関連付けられた複数の画像を記憶する画像記憶手段と、上記画像記憶手段に記憶されている各画像の特徴量を抽出する特徴量抽出手段と、上記画像記憶手段に記憶されている各画像のうちの撮影時刻が重複している重複部分について当該重複部分に含まれる画像のうちから少なくとも1つの画像を当該重複部分に含まれる画像に係る特徴量に基づいて選択する画像選択手段と、上記選択された画像に基づいて上記画像記憶手段に記憶されている複数の画像に関する要約画像を作成する要約画像作成手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の画像のうちの撮影時刻が重複している重複部分について、この重複部分に含まれる画像のうちから少なくとも1つの画像を、その重複部分に含まれる画像に係る特徴量に基づいて選択し、この選択された画像に基づいて、複数の画像に関する要約画像を作成するという作用をもたらす。
また、この第1の側面において、上記抽出された各特徴量を重み付け加算した値であるダイジェストスコアを画像毎に算出するダイジェストスコア算出手段をさらに具備し、上記画像選択手段は、上記重複部分に含まれる画像について上記算出されたダイジェストスコアを比較して最も高いダイジェストスコアに対応する1つの画像を選択することができる。これにより、各特徴量を重み付け加算した値であるダイジェストスコアを画像毎に算出し、複数の画像の重複部分に含まれる画像について、その算出されたダイジェストスコアを比較して、最も高いダイジェストスコアに対応する1つの画像を選択するという作用をもたらす。
また、この第1の側面において、上記要約画像作成手段は、上記選択された画像を時系列に並べて上記要約画像を作成することができる。これにより、選択された画像を時系列に並べて要約画像を作成するという作用をもたらす。
また、この第1の側面において、上記画像記憶手段に記憶されている画像は、時系列に撮影された動画であり、上記特徴量抽出手段は、上記画像記憶手段に記憶されている各動画の所定区間毎の特徴量を時系列に抽出し、上記画像選択手段は、上記画像記憶手段に記憶されている各動画のうちの撮影時刻が重複している区間において少なくとも1つの動画部分を上記区間に対応する特徴量に基づいて選択し、上記要約画像作成手段は、上記選択された動画部分に基づいて上記要約画像を作成することができる。これにより、複数の動画のうちの撮影時刻が重複している区間において、少なくとも1つの動画部分をその区間に対応する特徴量に基づいて選択し、この選択された動画部分に基づいて要約画像を作成するという作用をもたらす。
また、この第1の側面において、上記画像記憶手段に記憶されている複数の動画のうちで少なくとも一部の撮影時刻が他の動画と重複している動画を含む区間である重複撮影区間を上記時刻情報に基づいて抽出する重複撮影区間抽出手段をさらに具備し、上記特徴量抽出手段は、上記抽出された重複撮影区間に含まれる各動画の特徴量のみを抽出し、上記画像選択手段は、上記抽出された重複撮影区間において上記撮影時刻が重複している区間における動画部分を選択することができる。これにより、複数の動画のうちで少なくとも一部の撮影時刻が他の動画と重複している動画を含む重複撮影区間を抽出し、この抽出された重複撮影区間において、撮影時刻が重複している区間における動画部分を選択するという作用をもたらす。また、この場合において、上記重複撮影区間は、上記画像記憶手段に記憶されている複数の動画のうちで少なくとも一部の撮影時刻が他の動画と重複している動画を含む区間であって当該区間に所定数以上の動画を含む区間であることができる。これにより、所定数以上の動画を含む重複撮影区間において、撮影時刻が重複している区間における動画部分を選択するという作用をもたらす。
また、この第1の側面において、上記画像選択手段は、上記画像記憶手段に記憶されている複数の動画のうちで撮影時刻が重複していない動画部分については当該動画部分を選択し、上記要約画像作成手段は、上記選択された各動画部分を時系列に並べて上記要約画像を作成することができる。これにより、複数の動画のうちで撮影時刻が重複していない動画部分については、この動画部分を選択して、撮影時刻が重複している区間において選択された動画部分と、撮影時刻が重複していない区間における動画部分とを時系列に並べて要約画像を作成するという作用をもたらす。
また、この第1の側面において、上記抽出された各特徴量を重み付け加算した値であるダイジェストスコアを各動画の所定区間毎に算出するダイジェストスコア算出手段と、所定の閾値を保持する閾値保持手段と、上記算出されたダイジェストスコアのうちの上記閾値以上のダイジェストスコアに対応するダイジェスト区間を抽出するダイジェスト区間抽出手段とをさらに具備し、上記画像選択手段は、上記抽出されたダイジェスト区間において上記算出されたダイジェストスコアを比較して最も高いダイジェストスコアに対応する動画部分を選択することができる。これにより、ダイジェストスコアのうちの閾値以上のダイジェストスコアに対応するダイジェスト区間を抽出して、この抽出されたダイジェスト区間においてダイジェストスコアを比較し、最も高いダイジェストスコアに対応する動画部分を選択するという作用をもたらす。
また、本発明の第2の側面は、時刻情報が関連付けられた複数の画像を入力する画像入力手段と、上記入力された各画像の特徴量を抽出する特徴量抽出手段と、上記入力された各画像のうちの撮影時刻が重複している重複部分について当該重複部分に含まれる画像のうちから少なくとも1つの画像を当該重複部分に含まれる画像に係る特徴量に基づいて選択する画像選択手段と、上記選択された画像に基づいて上記入力された複数の画像に関する要約画像を作成する要約画像作成手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の画像のうちの撮影時刻が重複している重複部分について、この重複部分に含まれる画像のうちから少なくとも1つの画像を、その重複部分に含まれる画像に係る特徴量に基づいて選択し、この選択された画像に基づいて、複数の画像に関する要約画像を作成するという作用をもたらす。
本発明によれば、同一のイベントにおいて複数の撮像装置により撮影された画像を効率的に閲覧することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における画像処理装置100の機能構成例を示すブロック図である。この画像処理装置100は、撮影画像記憶部110と、重複撮影区間抽出部120と、特徴量抽出部130と、ダイジェストスコア算出部140と、ダイジェスト画像選択部150と、ダイジェスト画像作成部160と、ダイジェスト画像記憶部170と、表示制御部180と、操作受付部190と、表示部200とを備える。なお、この画像処理装置100は、例えば、動画コンテンツの編集機能を備えるパーソナルコンピュータで実現することができる。
撮影画像記憶部110は、デジタルビデオカメラ等で撮影された撮影画像等の動画コンテンツを記憶する記憶部である。また、撮影画像記憶部110に記憶される動画コンテンツには、その撮影時刻が関連付けられている。撮影画像記憶部110に記憶される動画コンテンツは、例えば、1または複数のデジタルビデオカメラで撮影されて画像処理装置100に入力された動画である。なお、本発明の実施の形態では、撮影画像記憶部110に複数の動画コンテンツが記録されている場合について説明する。また、本発明の実施の形態では、重要なシーンは、複数の人により同時に撮影されるという経験則に基づいて、複数の人により同時に撮影されていた時間帯におけるシーンを「盛上りシーン」と定義する。また、「盛上りシーン」における動画の重複部分から選択された各シーンを「みどころシーン」と定義する。
重複撮影区間抽出部120は、撮影画像記憶部110に記憶されている各動画コンテンツの撮影時刻に基づいて、同一時間帯に複数の撮影が行われた撮影区間を抽出するものであり、抽出された撮影区間を特徴量抽出部130に出力する。また、同一時間帯に複数の撮影が行われた撮影区間に所定数以上の動画コンテンツが存在することを条件に抽出することができる。このように抽出された撮影区間は、盛上りシーンに対応する区間である。これにより、複数の動画コンテンツから盛上りシーンを抽出して、この抽出された盛上りシーンを単位として各盛上りシーンを時系列順に並べることができる。この盛上りシーンとして、例えば、結婚式披露宴においては、ケーキカットや友人による演芸等のシーンが考えられる。また、運動会においては、リレー競争や踊り等のシーンが考えられる。なお、この盛上りシーンの抽出については、図3を参照して詳細に説明する。
特徴量抽出部130は、撮影画像記憶部110に記憶されている複数の動画コンテンツのうちで、重複撮影区間抽出部120により抽出された撮影区間に含まれる動画コンテンツについて各種画像解析を行い、動画コンテンツの所定区間毎(例えば、毎秒)の特徴量を抽出するものである。そして、抽出された特徴量をダイジェストスコア算出部140に出力する。なお、これらの盛上りシーンや特徴量の抽出は、例えば、動画コンテンツが撮影画像記憶部110に記録されたタイミングで随時行うようにしてもよく、ユーザからのダイジェスト画像生成指示等に基づいて行うようにしてもよい。なお、この特徴量の抽出については、図4(a)乃至(e)を参照して詳細に説明する。
ダイジェストスコア算出部140は、特徴量抽出部130により抽出された各特徴量に所定の重み付け係数をかけた値を加算した値であるダイジェストスコアを動画コンテンツの所定区間毎に算出するものである。そして、算出された各動画コンテンツのダイジェストスコアをダイジェスト画像選択部150に出力する。なお、このダイジェストスコアの算出については、図4(f)を参照して詳細に説明する。
ダイジェスト画像選択部150は、重複撮影区間抽出部120により抽出された撮影区間に含まれる各動画コンテンツについて、ダイジェストスコア算出部140により算出された各動画コンテンツのダイジェストスコアを時系列で比較して、これらの撮影区間においてダイジェストスコアが最も高い部分に対応する動画コンテンツを選択するものである。そして、選択された動画コンテンツに対応するアドレス情報(撮影画像記憶部110における記録位置を示すアドレス情報)をダイジェスト画像作成部160に出力する。なお、これらの動画コンテンツの選択については、図6を参照して詳細に説明する。
ダイジェスト画像作成部160は、ダイジェスト画像選択部150から出力されたアドレス情報に基づいて、ダイジェスト画像選択部150により選択された動画コンテンツを撮影画像記憶部110から読み出して、読み出された各動画コンテンツを時系列に並べてダイジェスト画像を作成するものである。ここで、ダイジェスト画像は、ダイジェスト画像選択部150により選択された動画コンテンツが時系列に並べて作成される動画である。そして、作成されたダイジェスト画像をダイジェスト画像記憶部170に出力して記憶させる。なお、これらのダイジェスト画像の作成については、図6を参照して詳細に説明する。
ダイジェスト画像記憶部170は、ダイジェスト画像作成部160により作成されたダイジェスト画像を記憶するものである。また、ダイジェスト画像記憶部170は、表示制御部180からの制御に基づいて、ダイジェスト画像を表示制御部180に出力する。
表示制御部180は、動画コンテンツのダイジェスト画像を再生させる旨の操作入力が操作受付部190により受け付けられた場合には、ダイジェスト画像記憶部170に記憶されているダイジェスト画像を読み出し、読み出されたダイジェスト画像を表示部200に表示させるものである。
操作受付部190は、各種操作キーを備え、これらのキー等から操作入力を受け付けると、受け付けた操作入力の内容を表示制御部180に出力するものである。例えば、ダイジェスト画像を再生させるための指示をするダイジェスト再生ボタン等が操作受付部190に設けられる。なお、ダイジェスト再生ボタン等を表示部200に表示させ、これらのボタンを操作受付部190の操作入力に応じて押下させるようにしてもよい。また、操作受付部190の少なくとも一部と表示部200とをタッチパネルとして一体化して構成するようにしてもよい。
表示部200は、表示制御部180からの制御に基づいて、ダイジェスト画像記憶部170に記憶されているダイジェスト画像を表示する表示部である。表示部200として、例えば、液晶表示装置(LCD:Liquid Crystal Display)を用いることができる。
次に、1つイベント(例えば、結婚式披露宴)において複数の撮像装置で撮影された複数の動画コンテンツを再生する場合について図面を参照して詳細に説明する。
図2は、結婚式披露宴において撮影された動画ファイル310、320、330に含まれる画像を模式的に示す図である。ここでは、動画ファイル310に含まれる画像311乃至316と、動画ファイル320に含まれる画像321、322と、動画ファイル330に含まれる画像331、332とのそれぞれを、時間軸t1乃至t3に沿って並べた場合を一例として説明する。なお、動画ファイル310、320、330は、A氏、B氏、C氏の3人によって、結婚式披露宴におけるケーキカットのシーンが撮影された動画ファイルであるものとする。また、画像312および313と画像321および322とは、同じ時刻に撮影された動画の一部であり、画像315および316と画像331および332とは、同じ時刻に撮影された動画の一部であるものとする。
図2(a)には、A氏によって撮影された動画ファイル310を示すとともに、新郎新婦がケーキカットをする場面において比較的遠くの位置から新郎新婦の正面に向かって撮影された動画ファイル310に含まれる画像311乃至316を示す。図2(b)には、B氏によって撮影された動画ファイル320を示すとともに、新郎新婦がケーキカットをする場面の前半部分のみを比較的近くの位置から新郎新婦の右側に向かって撮影された動画ファイル320に含まれる画像321および322を示す。図2(c)には、C氏によって撮影された動画ファイル330を示すとともに、新郎新婦がケーキカットをする場面の後半部分のみを、A氏とB氏の中間程度の位置から新郎新婦の左側に向かって撮影された動画ファイル330に含まれる画像331および332を示す。
図2(a)乃至(c)に示すように、結婚式披露宴におけるケーキカットシーンのように盛り上るシーンについては、複数の人により同時に撮影される傾向がある。このように、同じシーンが時間的に重なって撮影された動画ファイルを視聴する場合には、例えば、A氏により撮影された画像311乃至316を含む動画ファイル310を再生した後に、B氏により撮影された画像321および322を含む動画ファイル320を再生し、さらに、C氏により撮影された画像331および332を含む動画ファイル330を再生することが考えられる。しかしながら、動画ファイル310の中で、画像312および313を含む記録部分317と、画像315および316を含む記録部分318とは、動画ファイル320および330と同じシーンを異なる角度と距離で撮影されたものである。このため、上述したように動画ファイル310、320、330を順次再生する場合には、既に見ているシーンを複数回見ることになる。この場合には、動画ファイル310、320、330を順次再生するための時間が長くなるとともに、既に視聴したシーンである動画ファイル320、330については視聴の興味が低減することも考えられる。
そこで、本発明の実施の形態では、複数人により撮影された動画コンテンツであって同じシーンを含む複数の動画コンテンツを視聴する場合には、各人により撮影された視点の異なる各動画コンテンツの適切な部分を組み合わせて再生する。これにより、再生時間を短縮させるとともに、視聴者の興味を維持する再生を行うことができる。
例えば、図2(a)乃至(c)に示す動画ファイル310、320、330については、動画ファイル310に含まれる新郎新婦よりも、動画ファイル320または330に含まれる新郎新婦の方が大きく撮影されている。そこで、例えば、動画ファイル310において、画像312および313を含む記録部分317の代わりに、画像321および322を含む動画ファイル320を入れ替えるとともに、画像315および316を含む記録部分318の代わりに、画像331および332を含む動画ファイル330を入れ替える編集をする。このように動画ファイル310、320、330を編集することによって、画像311を含む動画ファイル310の記録部分を再生した後に、画像321および322を含む動画ファイル320を再生することができる。続いて、画像314を含む動画ファイル310の記録部分を再生した後に、画像331および332を含む動画ファイル330を再生することができる。このように再生をすることによって、ケーキカットシーンの全体について、動画ファイル320および330に対応する撮影区間については新郎新婦の大きな姿を視聴することができるとともに、動画ファイル320および330に含まれていない撮影区間については動画ファイル310のケーキカットシーンを視聴することができる。これにより、ケーキカットシーンの全体を時系列に迅速に視聴することができるとともに、ケーキカットシーンの各部において適切な動画コンテンツを視聴することができる。これらの編集については、図3乃至図6を参照して詳細に説明する。
次に、複数の動画コンテンツからダイジェスト画像を作成するダイジェスト画像作成方法について図面を参照して詳細に説明する。最初に、複数の動画コンテンツから、盛上りシーンに対応する撮影区間を抽出する方法について図面を参照して詳細に説明する。
図3は、時系列に並べた3つの動画群410、420、430を模式的に示す図である。ここでは、動画群410、420、430は、同一のイベントにおいて3人により異なる角度で撮影された複数の動画から構成される動画群である。すなわち、動画群410は、そのイベントにおいて複数の時間帯に撮影された複数の動画411および412から構成される動画群である。また、動画群420は、そのイベントにおいて複数の時間帯に撮影された複数の動画421および422から構成される動画群である。さらに、動画群430は、そのイベントにおいて複数の時間帯に撮影された複数の動画431乃至436から構成される動画群である。図3においては、これらの動画411、412、421、422、431乃至436を撮影時刻に沿って表し、これらの各動画の記録部分を斜線で示す。
図3に示すように、同一のイベントにおいて複数人により撮影された動画411、412、421、422、431乃至436が存在する場合には、これらの各動画について、盛上りシーンに対応する撮影区間が抽出される。例えば、同一時間帯において、所定の数以上の人により撮影された動画が存在するか否かに基づいて盛上りシーンに対応する撮影区間を抽出することができる。例えば、撮影時刻が重複する動画が複数存在する撮影区間を抽出して、この撮影区間にN以上の動画が存在するか否かに基づいて、盛上りシーンに対応する撮影区間を抽出することができる。ここで、Nは、2以上の整数であり、ユーザにより設定可能とすることができる。例えば、Nの値を比較的高い値に設定した場合には、多数の人により撮影されたシーンのみをダイジェスト生成することが可能である。一方、Nの値を比較的低い値に設定した場合には、少数の人により撮影されたシーンについてもダイジェスト生成の対象とすることが可能である。本発明の実施の形態では、N=2が設定されている場合について説明する。
例えば、図3に示すように、動画411、421、431乃至434の時間帯には、撮影時刻が重複する動画が2つ以上存在するため、これらの動画を含む区間が盛上りシーンに対応する撮影区間450として抽出される。一方、動画412、422、435、436の時間帯には、撮影時刻が重複する動画が存在しないため、これらの動画を含む区間からは盛上りシーンが抽出されない。
次に、盛上りシーンに対応する撮影区間に含まれる動画からダイジェストスコアを算出する算出方法について図面を参照して詳細に説明する。
図4は、動画500から抽出された特徴量およびこの特徴量に基づいて算出されたダイジェストスコアの一例を示す図である。ここで、動画500は、盛上りシーンに対応する撮影区間に含まれる動画であるものとする。
図4(a)は、動画500に含まれる顔の有無を示す特徴量を表すグラフであり、図4(b)は、動画500に含まれる顔の数の多少を示す特徴量を表すグラフであり、図4(c)は、動画500に含まれる顔のズームアップの有無を示す特徴量を表すグラフであり、図4(d)は、動画500に含まれるスピーチ(会話)の有無を示す特徴量を表すグラフであり、図4(e)は、動画に含まれる笑い声の有無を示す特徴量を表すグラフである。ここで、図4(a)乃至(e)に示すグラフにおいて、横軸は撮影時刻を示し、縦軸は特徴量を示す。なお、この例では、抽出された特徴量を「1」または「0」で表した場合を例にして説明するが、抽出された特徴量が「1」または「0」以外の連続値となる場合についても同様に適用することができる。
顔の有無を示す特徴量は、動画に顔が含まれるか否かを示す特徴量であり、例えば、動画に顔が含まれる場合には特徴量として「1」が記録され、動画に顔が含まれない場合には特徴量として「0」が記録される。
顔の数の多少を示す特徴量は、動画に含まれる顔の数を示す特徴量であり、例えば、動画に含まれる顔の数が比較的少ない場合には特徴量として「1」が記録され、動画に含まれる顔の数が比較的多い場合には特徴量として「0」が記録される。
顔のズームアップの有無を示す特徴量は、動画に含まれる顔がズームアップされているか否かを示す特徴量であり、例えば、動画に含まれる顔がズームアップされている場合(画面上における顔が比較的大きい場合)には特徴量として「1」が記録され、動画に含まれる顔がズームアップされていない場合には特徴量として「0」が記録される。
スピーチ(会話)の有無を示す特徴量は、動画にスピーチが含まれるか否かを示す特徴量であり、例えば、動画にスピーチが含まれる場合(動画に対応する音声情報にスピーチが含まれる場合)には特徴量として「1」が記録され、動画にスピーチが含まれない場合には特徴量として「0」が記録される。
笑い声の有無を示す特徴量は、動画に笑い声が含まれるか否かを示す特徴量であり、例えば、動画に笑い声が含まれる場合(動画に対応する音声情報に笑い声が含まれる場合)には特徴量として「1」が記録され、動画に笑い声が含まれない場合には特徴量として「0」が記録される。
図4(a)乃至(e)に示すように、動画の特徴量を抽出する場合には、動画の映像および音声が時系列に解析され、この映像および音声の解析結果に基づいて各特徴量が時系列に抽出されて記録される。なお、映像および音声の解析方法の詳細については、公知の各種解析方法を用いることができる。また、その他の特徴量の抽出方法を用いるようにしてもよい。
本発明の実施の形態では、動画から抽出される特徴量として、「動画に含まれる顔の有無」、「動画に含まれる顔の数の多少」、「動画に含まれる顔のズームアップの有無」、「動画に含まれるスピーチ(会話)の有無」、「動画に含まれる笑い声の有無」を用いる場合を例にして説明するが、動画から抽出される特徴量として、これらの特徴量以外の他の特徴量を用いるようにしてもよい。例えば、特徴量として、「シーンチェンジ」、「顔の位置」、「顔の方向」、「カメラワーク(パン、チルト、ズーム)」、「音量」、「映っている人」、「映っているモノ」等を用いることができる。
図4(f)は、図4(a)乃至(e)に示す各特徴量に基づいて求められた値であるダイジェストスコアを表すグラフである。なお、図4(f)に示すグラフにおいて、横軸は撮影時刻を示し、縦軸はダイジェストスコアを示す。
ダイジェストスコアは、図4(a)乃至(e)に示す各特徴量に重み付け係数(weight)をかけた値が加算されて算出される値である。
例えば、「動画に含まれる顔の有無」を示す特徴量FSの重み付け係数を「0.5」とし、「動画に含まれる顔の数の多少」を示す特徴量FNの重み付け係数を「1.0」とし、「動画に含まれる顔のズームアップの有無」を示す特徴量FZの重み付け係数を「2.0」とし、「動画に含まれるスピーチ(会話)の有無」を示す特徴量SPの重み付け係数を「1.0」とし、「動画に含まれる笑い声の有無」を示す特徴量SMの重み付け係数を「3.0」として、次式を用いてダイジェストスコアDSを算出することができる。
DS=FS×0.5+FN×1.0+FZ×2.0+SP×1.0+SM×3.0
図4(f)には、この式を用いて算出されたダイジェストスコアの一例を示す。ここで、ダイジェストスコアの算出に用いる重み付け係数について説明する。重み付け係数は、各特徴量が映像シーンでの盛上りにどれだけ寄与するかを示す係数である。この例では、笑い声が有る区間の重み付け係数を「3.0」とし、顔がズームされている区間の重み付け係数を「2.0」として、これらの重み付け係数を高い値に設定している。これは、笑い声がある映像シーンや、人がズームアップされている映像シーンは、「面白い」または「盛り上がっている」ことが多いという経験則に基づくものである。また、次の(1)乃至(3)に示す統計的な学習によって求められたパラメータを重み付け係数として用いるようにしてもよい。
(1)撮影された動画を見ながら、「盛り上っている」と思われる場面をユーザが手動でマーキングする。
(2)ユーザによりマーキングされた場面に対応する各特徴量とそのマーキングされた位置との相関を求める。
(3)各特徴量のうちで、ユーザによりマーキングされた場面と相関の高い特徴量が、ユーザによる関心が高く、ダイジェスト画像に対する寄与率が高いと判断し、この特徴量に対する重み付け係数を比較的高い値に設定する。
また、これらの重み付け係数を、ユーザからのフィードバックにより更新されるようにしてもよい。例えば、操作受付部190に「肯定的ボタン」および「否定的ボタン」を設け、ダイジェスト画像作成部160により作成されたダイジェスト画像の再生中または再生後に、「肯定的ボタン」または「否定的ボタン」をユーザに押下してもらう。そして、この押下により、ダイジェスト画像に対するユーザからのフィードバックを得られるようにする。例えば、ダイジェスト画像における笑い声の部分の再生中に「肯定的ボタン」が押下された場合には、「動画に含まれる笑い声の有無」を示す特徴量の重み付け係数を高く設定する。また、例えば、ダイジェスト画像における顔の数が多く含まれる部分の再生中に「否定的ボタン」が押下された場合には、「動画に含まれる顔の数の多少」を示す特徴量の重み付け係数を低く設定する。このように、ユーザからのフィードバックによって、重み付け係数をパーソナライズするようにしてもよい。
さらに、ユーザが各重み付け係数の値を操作受付部190から入力することによって、ユーザの好みに応じた重み付け係数を設定するようにしてもよい。
図5は、図3に示す動画群410、420、430から抽出された撮影区間450に含まれる動画411、421、431乃至434を示す図である。また、図5には、各動画について算出されたダイジェストスコアを表すグラフを各動画の記録区間内に示す。例えば、図5(a)には、動画411について算出されたダイジェストスコアをグラフ414として示し、図5(b)には、動画421について算出されたダイジェストスコアをグラフ424として示し、図5(c)には、動画431乃至434について算出された各ダイジェストスコアをグラフ438乃至441として示す。
図5(a)乃至(c)に示すように、動画群410、420、430から抽出された撮影区間450に含まれる動画411、421、431乃至434について、図4を用いて説明した算出方法によって、ダイジェストスコアが算出される。
図6は、図5に示す撮影区間450に含まれる動画411、421、431乃至434について算出されたダイジェストスコアを表すグラフと、このダイジェストスコアに基づいて作成されたダイジェスト画像480を示す図である。図6(a)には、図5(a)乃至(c)に示すグラフ414、424、438乃至441を重ね合わせた状態を示す。図6(b)には、図6(a)に示すグラフ414、424、438乃至441の比較結果に対応させたダイジェスト画像480を示す。
図6(a)に示すように、撮影区間461、463乃至469、471においては、同じ時間帯において複数のグラフが重なっている。すなわち、撮影区間461、463乃至469、471においては、同じ時間帯において複数の動画が重複している。このように、撮影区間450において複数の動画が重複する撮影区間については、撮影区間に含まれる各画像のダイジェストスコアを比較して、ダイジェストスコアの値が最も大きい画像が選択される。
例えば、撮影区間461においては、動画421および431(図3に示す)の一部または全部が含まれる。そして、図6(a)に示すように、動画421に対応するグラフ424よりも、動画431に対応するグラフ438が高い位置にあるため、グラフ424に対応する画像のダイジェストスコアの値よりも、グラフ438に対応する画像のダイジェストスコアの値が大きい。このため、撮影区間461においては、グラフ438に対応する動画431の全部がダイジェスト画像として選択される。
また、同様に、2つの動画が重複する撮影区間463においては、グラフ424に対応する動画421の一部がダイジェスト画像として選択され、3つの動画が重複する撮影区間464においては、グラフ439に対応する動画432の全部がダイジェスト画像として選択され、2つの動画が重複する撮影区間465においては、グラフ414に対応する動画411の一部がダイジェスト画像として選択され、3つの動画が重複する撮影区間467においては、グラフ414に対応する動画411の一部がダイジェスト画像として選択され、3つの動画が重複する撮影区間468においては、グラフ424に対応する動画421の一部がダイジェスト画像として選択され、2つの動画が重複する撮影区間469においては、グラフ424に対応する動画421の一部がダイジェスト画像として選択され、2つの動画が重複する撮影区間471においては、グラフ424に対応する動画421の一部がダイジェスト画像として選択される。
また、複数の動画が重なっていない撮影区間462、470、472においては、各撮影区間に含まれる動画がダイジェスト画像として選択される。
このように、ダイジェストスコアの比較によって、撮影区間450において選択された各動画の一部または全部を編集して、図6(b)に示すダイジェスト画像480が作成される。なお、図6(b)に示すダイジェスト画像480における斜線は、図3に示す動画群410、420、430に対応する斜線である。図6(b)に示すように、この例では、同一の撮影区間内において、複数の動画が記録されている場合には、何れかの動画の部分を用いることにする。
このように、複数の人により同じシーンが別の角度から撮影された複数の動画について、その撮影時刻とその特徴量とに基づいて、編集・再生することができる。これにより、複数の人により同じシーンが別の角度から撮影された複数の動画について、ユーザによって煩雑な編集作業をしなくても、いわゆる「良いとこ取り」をした編集画像であるダイジェスト画像を再生することができる。
次に、本発明の実施の形態における画像処理装置100の動作について図面を参照して説明する。
図7は、画像処理装置100によるダイジェスト画像の作成処理の処理手順を示すフローチャートである。
最初に、撮影画像記憶部110に記憶されている動画が入力される(ステップS911)。この入力される動画は、1または複数の動画である。
続いて、入力された動画の中に、何れかの撮影時刻が重複する複数の動画が存在するか否かが判断される(ステップS912)。入力された動画の中に、撮影時刻が重複する複数の動画が存在しない場合には(ステップS912)、ダイジェスト画像の対象となる動画が存在しないため、ダイジェスト画像の作成処理の動作を終了する。例えば、図3に示す動画群410、420、430の場合には、動画411、421、431乃至434のそれぞれが少なくとも他の動画と撮影時刻が重複している。一方、動画412、422、435、436については、他の動画と撮影時刻が重なっていない。
入力された動画の中に、何れかの撮影時刻が重複する複数の動画が存在する場合には(ステップS912)、撮影時刻が重複する複数の動画が存在する区間内にN以上の動画が存在するか否かが判断される(ステップS913)。この例では、N=2が設定されているものとする。例えば、図3に示す動画群410、420、430において、他の動画と撮影時刻が重複する動画411、421、431乃至434を含む撮影区間450においては、2以上の動画が存在する。なお、撮影時刻が重複する複数の動画が存在する区間内にN以上の動画が存在しない場合には(ステップS913)、ダイジェスト画像の対象となる動画が存在しないため、ダイジェスト画像の作成処理の動作を終了する。
続いて、撮影時刻が重複する複数の動画が存在する区間内にN以上の動画が存在する場合には(ステップS913)、その区間を盛上りシーンに対応する撮影区間として、この撮影区間に含まれる動画が抽出される(ステップS914)。例えば、図3に示す動画群410、420、430については、動画411、421、431乃至434のそれぞれが抽出される。
続いて、抽出された各動画について特徴量が抽出される(ステップS915)。例えば、図4(a)乃至(e)に示すように、各動画についての特徴量が時系列で抽出される。続いて、抽出された特徴量が重み付け加算されて、ダイジェストスコアが動画毎に時系列で算出される。例えば、図4(f)に示すように、各動画についてのダイジェストスコアが算出される。
続いて、算出された各画像のダイジェストスコアが撮影時間の時間軸上において比較される(ステップS917)。例えば、図5に示すように、動画411、421、431乃至434について算出されたダイジェストスコアを、図6(a)に示すように、撮影時刻の時間軸上で比較する。
続いて、各画像のダイジェストスコアの比較結果に基づいて、盛上りシーンに対応する撮影区間の各部で最も値が大きいダイジェストスコアに対応する動画部分が選択される(ステップS918)。例えば、図6(a)に示すように、撮影区間450に含まれる区間461乃至472において、ダイジェストスコアの比較結果に基づいて、ダイジェストスコアの値が最も大きい動画部分が選択される。
続いて、選択された各部に対応する動画部分が撮影画像記憶部110から読み出され、この読み出された動画部分が撮影時刻の時間軸に応じて並べられてダイジェスト画像が作成される(ステップS919)。例えば、図6(a)に示すように、撮影区間450に含まれる区間461乃至472における比較結果に基づいて選択された動画部分が、図6(b)に示すように、ダイジェスト画像480として作成される。
続いて、作成されたダイジェスト画像がダイジェスト画像記憶部170に記憶される(ステップS920)。
次に、本発明の実施の形態における画像処理装置を含む画像処理システムについて図面を参照して詳細に説明する。
図8は、本発明の実施の形態における画像処理システム600を示すシステム構成図である。画像処理システム600は、画像処理装置610と、撮像装置620、630、640とで構成されている画像処理システムである。
撮像装置620、630、640は、デジタルビデオカメラ等の画像記録装置であり、撮像された動画を撮影画像記憶部621、631、641に記憶する。
画像処理装置610は、本発明の実施の形態における画像処理装置100の一部を変形したものであり、1または複数の撮像装置と接続するための接続端子(図示せず)が複数設けられ、この接続端子を介して撮像装置の動画が撮影画像入力部611から入力される。この例では、画像処理装置610と、撮像装置620、630、640とが、それぞれUSB(Universal Serial Bus)ケーブル等の装置間インタフェースで接続されている。なお、この装置間インタフェースとして、USBケーブル等の有線ケーブル以外に、UWB(Ultra Wide Band:超広帯域無線)等の無線インタフェースを用いることができる。
画像処理装置610は、装置間インタフェースで接続されている撮像装置620、630、640の撮影画像記憶部621、631、641に記憶されている動画を読み出し、読み出された動画を表示部612に表示して再生することが可能な画像再生装置である。また、画像処理装置610は、撮像装置620、630、640のそれぞれから読み出した複数の動画について、画像処理装置100と同様に、ダイジェスト画像を作成して、表示部612に表示する。
図9は、本発明の実施の形態における画像処理システム601を示すシステム構成図である。画像処理システム601は、画像処理装置610と、撮像装置625、635、645とで構成されている画像処理システムである。
撮像装置625、635、645は、デジタルビデオカメラ等の画像記録装置であり、撮像部626、636、646で撮像された動画を、撮影画像送信部627、637、647から画像処理装置610に送信する。この例では、撮影画像送信部627、637、647から画像処理装置610に無線により送信する場合について説明するが、有線回線を介して送信する場合についても同様に適用することができる。
画像処理装置610は、図8に示す画像処理装置610に撮影画像受信部613を設けたものである。また、画像処理装置610は、撮像装置625、635、645から送信された動画を撮影画像受信部613で受信して、受信された動画を表示部612に表示して再生することが可能な画像再生装置である。また、画像処理装置610は、撮像装置625、635、645から送信された複数の動画を記憶しておき、これらの各動画について、図8に示す画像処理装置610と同様に、ダイジェスト画像を作成して、表示部612に表示する。このように、撮像装置に記憶部を備えずに、撮像装置により撮像された画像を画像処理装置に送信する場合についても、本発明の実施の形態を適用することができる。
図10は、本発明の実施の形態における画像処理システム602を示すシステム構成図である。画像処理システム602は、撮像装置650、660、670で構成されている画像処理システムである。
撮像装置650、660、670は、デジタルビデオカメラ等の画像記録装置であるとともに、本発明の実施の形態における画像処理装置100の一部を変形したものであり、それぞれがアドホックに無線接続されるものである。すなわち、撮像装置650、660、670は、複数の動画について、図8に示す画像処理装置610と同様に、ダイジェスト画像を作成して表示部に表示することができる。この例では、撮像装置660、670の撮像部661、671で撮像された動画を、撮影画像送信部664、674から撮像装置650に送信する場合について説明するが、他の各撮像装置間で送受信する場合についても同様に適用することができる。
例えば、撮像装置650は、撮像装置660、670から送信された動画を撮影画像受信部653で受信して、受信された動画を表示部652に表示して再生することができる。また、撮像装置650は、撮像装置660、670から送信された複数の動画を記憶しておき、これらの各動画について、図8に示す画像処理装置610と同様に、ダイジェスト画像を作成して、表示部652に表示する。このように、アドホックに無線接続される複数の撮像装置により撮像された画像を、1つの撮像装置に無線送信する場合についても、本発明の実施の形態を適用することができる。
このように、本発明の実施の形態によれば、重複撮影区間抽出部120により抽出された、いわゆる盛上りシーンに対応する撮影区間において、ダイジェストスコア算出部140により算出された各ダイジェストスコアをダイジェスト画像選択部150が比較処理することによって、視聴に最適な動画の部分を選択して、この動画の部分をダイジェスト画像作成部160が同期編集することができる。
これにより、複数のユーザにより同時に撮影された大量の動画を効果的に編集して視聴することができる。また、ダイジェスト画像を最初に視聴することによって、大量の動画の全体を迅速に把握することができるため、大量の動画を視聴するきっかけをユーザに提示することができる。また、例えば、結婚式披露宴等においては、複数の撮影者により同時に撮影されたシーンの中から「良いところ取り」されたダイジェスト画像を視聴することができる。また、運動会等においては、さまざまな視点からのリレー競争のシーンを容易に視聴することができる。
次に、本発明の実施の形態の変形について図面を参照して詳細に説明する。
図11は、本発明の実施の形態の変形における画像処理装置700の機能構成例を示すブロック図である。この画像処理装置700は、撮影画像記憶部110と、重複撮影区間抽出部120と、特徴量抽出部130と、ダイジェストスコア算出部140と、ダイジェスト画像選択部150と、ダイジェスト画像作成部160と、ダイジェスト画像記憶部170と、表示制御部180と、操作受付部190と、表示部200と、閾値保持部710と、ダイジェスト区間抽出部720とを備える。ここで、画像処理装置700は、ダイジェスト画像選択部150、閾値保持部710、および、ダイジェスト区間抽出部720以外の構成は画像処理装置100と同様であるため、これらの構成以外の構成についての説明は省略する。
閾値保持部710は、動画の各特徴量に基づいて算出されたダイジェストスコアを閾値処理するために用いる閾値を保持するものである。閾値として、例えば、「4.0」が保持されている。
ダイジェスト区間抽出部720は、重複撮影区間抽出部120により抽出された撮影区間に含まれる各動画について、閾値保持部710に保持されている閾値以上のダイジェストスコアに対応する記録区間を抽出するものである。そして、抽出された各記録区間をダイジェスト画像選択部150に出力する。なお、この記録区間の抽出については、図12(f)および(g)を参照して詳細に説明する。
ダイジェスト画像選択部150は、ダイジェスト区間抽出部720により抽出された記録区間に含まれる各動画部分について、ダイジェストスコア算出部140により算出された各動画のダイジェストスコアを時系列で比較して、これらの記録区間においてダイジェストスコアが最も高い部分に対応する動画部分を抽出する。
図12は、動画500から抽出された特徴量およびこの特徴量に基づいて算出されたダイジェストスコアと、このダイジェストスコアおよび閾値に基づいて抽出された動画500の記録部分の一例を示す図である。なお、図12(a)乃至(e)については、図4(a)乃至(e)と同様であるため、ここでの説明を省略する。
図12(f)は、図12(a)乃至(e)に示す各特徴量に基づいて求められた値であるダイジェストスコアを表すグラフであり、このグラフは、図4(f)に示すグラフと同様である。なお、図12(f)に示すグラフにおいて、横軸は撮影時刻を示し、縦軸はダイジェストスコアを示す。
本発明の実施の形態では、重複撮影区間抽出部120により抽出された撮影区間に含まれる動画の各特徴量に基づいて算出されたダイジェストスコアの全てを用いてダイジェスト画像を作成する例を示した。この変形例では、動画の各特徴量に基づいて算出されたダイジェストスコアを閾値処理し、閾値以上のダイジェストスコアを用いてダイジェスト画像を作成する例を示す。
図12(f)に示すように、閾値保持部710に保持されている閾値711以上のダイジェストスコアに対応する記録区間を用いてダイジェスト画像選択部150が動画の一部または全部を選択する。
図12(g)は、閾値711以上のダイジェストスコアに対応する記録区間721乃至726を撮影時刻に沿って示す図であり、閾値711以上のダイジェストスコアに対応する記録区間を斜線で示す。このように、閾値711以上のダイジェストスコアに対応する記録区間721乃至726について、ダイジェストスコア算出部140により算出された各動画のダイジェストスコアを時系列で比較して、これらの記録区間においてダイジェストスコアが最も高い部分に対応する動画部分が選択される。
なお、本発明の実施の形態の変形例では、閾値としては固定値「4.0」を用いる例を説明したが、各動画のダイジェストスコアの分布に応じて、閾値を調整するようにしてもよい。例えば、各記録区間において算出されたダイジェストスコアの上位10%が選ばれるように、記録区間毎に閾値を設定するようにしてもよい。また、ユーザが閾値を操作受付部190から入力することによって、ユーザの好みに応じた閾値を設定するようにしてもよい。
このように、本発明の実施の形態の変形例によれば、閾値保持部710に保持されている閾値を用いて、視聴に最適な動画の部分を選択することによって、動画がさらに短縮されたダイジェスト画像を作成することができる。これにより、複数のユーザにより同時に撮影された大量の動画を効果的に編集してさらに迅速に視聴することができる。
なお、本発明の実施の形態では動画について説明したが、連続して撮影された写真画像等の画像についても本発明の実施の形態を適用することができる。また、作成されたダイジェスト画像を構成する各区間(例えば、図6に示す撮影区間461乃至472)の動画部分について代表サムネイル画像を抽出し、この各代表サムネイル画像をダイジェスト画像の再生前等に時系列に表示するようにしてもよい。
また、本発明の実施の形態では、画像処理装置を例にして説明したが、複数の画像を入力して表示することができる携帯端末装置等の画像表示装置や、デジタルスチルカメラ等の撮像装置に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
画像処理装置100の機能構成例を示すブロック図である。 結婚式披露宴において撮影された動画ファイル310、320、330に含まれる画像を模式的に示す図である。 時系列に並べた3つの動画群410、420、430を模式的に示す図である。 動画500から抽出された特徴量およびこの特徴量に基づいて算出されたダイジェストスコアの一例を示す図である。 撮影区間450に含まれる動画411、421、431乃至434を示す図である。 撮影区間450に含まれる各動画のダイジェストスコアと、このダイジェストスコアに基づいて作成されたダイジェスト画像480を示す図である。 画像処理装置100によるダイジェスト画像の作成処理の処理手順を示すフローチャートである。 画像処理システム600を示すシステム構成図である。 画像処理システム601を示すシステム構成図である。 画像処理システム602を示すシステム構成図である。 画像処理装置700の機能構成例を示すブロック図である。 動画500から抽出された特徴量およびダイジェストスコアと、これらから抽出された動画500の記録部分の一例を示す図である。
符号の説明
100 画像処理装置
110 撮影画像記憶部
120 重複撮影区間抽出部
130 特徴量抽出部
140 ダイジェストスコア算出部
150 ダイジェスト画像選択部
160 ダイジェスト画像作成部
170 ダイジェスト画像記憶部
180 表示制御部
190 操作受付部
200 表示部
600、601、602 画像処理システム
610 画像処理装置
611 撮影画像入力部
612 表示部
620、630、640 撮像装置
621、631、641 撮影画像記憶部
700 画像処理装置
710 閾値保持部
720 ダイジェスト区間抽出部

Claims (11)

  1. 撮影時刻に関する時刻情報が関連付けられて撮影された複数の画像を記憶する画像記憶部と、
    前記画像記憶部に記憶されている各画像に関連付けられている時刻情報に基づいて同一時間帯に複数の撮像装置により撮影が行われた撮影区間を抽出する区間抽出部と、
    前記画像記憶部に記憶されている各画像から特徴量を抽出する特徴量抽出部と、
    前記画像記憶部に記憶されている各画像のうち前記抽出された撮影区間において撮影された画像であって撮影時刻が互いに重複している各画像について当該撮影時刻が互いに重複している各画像のうちから少なくとも1つの画像を当該撮影時刻が互いに重複している各画像について抽出された前記特徴量に基づいて選択する画像選択部と、
    前記選択された画像に基づいて前記画像記憶部に記憶されている複数の画像に関する要約画像を作成する要約画像作成部
    を具備する画像処理装置。
  2. 前記抽出された各特徴量を重み付け加算した値であるダイジェストスコアを画像毎に算出するダイジェストスコア算出部をさらに具備し、
    前記画像選択部は、前記撮影時刻が互いに重複している各画像について前記算出されたダイジェストスコアを比較して最も高いダイジェストスコアに対応する1つの画像を選択す
    求項1記載の画像処理装置。
  3. 前記要約画像作成部は、前記選択された画像を時系列に並べて前記要約画像を作成する請求項1記載の画像処理装置。
  4. 前記画像記憶部に記憶されている画像は、時系列に撮影された動画であり、
    前記特徴量抽出部は、前記画像記憶部に記憶されている各動画の所定区間毎の特徴量を時系列に抽出し、
    前記画像選択部は、前記画像記憶部に記憶されている各動画のうち前記抽出された撮影区間において撮影された動画であって撮影時刻が互いに重複している各動画について当該撮影時刻が互いに重複している各動画のうちから少なくとも1つの動画部分を当該撮影時刻が互いに重複している各動画について抽出された前記特徴量に基づいて選択し、
    前記要約画像作成部は、前記選択された動画部分に基づいて前記要約画像を作成す
    求項1記載の画像処理装置。
  5. 前記区間抽出部は、前記画像記憶部に記憶されている複数の動画のうちで少なくとも一部の撮影時刻が他の動画と重複している動画を含む区間を前記撮影区間として抽出し、
    前記特徴量抽出部は、前記抽出された撮影区間に含まれる各動画の特徴量のみを抽出し、
    前記画像選択部は、前記抽出された撮影区間において前記撮影時刻が重複している区間における動画部分を選択す
    求項4記載の画像処理装置。
  6. 前記区間抽出部は、前記画像記憶部に記憶されている複数の動画のうち所定数以上の動画を含む区間を前記撮影区間として抽出する請求項4記載の画像処理装置。
  7. 前記画像選択部は、前記画像記憶部に記憶されている複数の動画のうち前記抽出された撮影区間において撮影された動画部分であって撮影時刻が重複していない動画部分については当該動画部分を選択し、
    前記要約画像作成部は、前記選択された各動画部分を時系列に並べて前記要約画像を作成す
    求項4記載の画像処理装置。
  8. 前記抽出された各特徴量を重み付け加算した値であるダイジェストスコアを各動画の所定区間毎に算出するダイジェストスコア算出部と、
    所定の閾値を保持する閾値保持部と、
    前記算出されたダイジェストスコアのうちの前記閾値以上のダイジェストスコアに対応するダイジェスト区間を抽出するダイジェスト区間抽出部とをさらに具備し、
    前記画像選択部は、前記抽出されたダイジェスト区間において前記算出されたダイジェストスコアを比較して最も高いダイジェストスコアに対応する動画部分を選択す
    求項4記載の画像処理装置。
  9. 撮影時刻に関する時刻情報が関連付けられて撮影された複数の画像を入力する画像入力部と、
    前記入力された各画像に関連付けられている時刻情報に基づいて同一時間帯に複数の撮像装置により撮影が行われた撮影区間を抽出する区間抽出部と、
    前記入力された各画像から特徴量を抽出する特徴量抽出部と、
    前記入力された各画像のうち前記抽出された撮影区間において撮影された画像であって撮影時刻が互いに重複している各画像について当該撮影時刻が互いに重複している各画像のうちから少なくとも1つの画像を当該撮影時刻が互いに重複している各画像について抽出された前記特徴量に基づいて選択する画像選択部と、
    前記選択された画像に基づいて前記前記入力された複数の画像に関する要約画像を作成する要約画像作成部
    を具備する画像処理装置。
  10. 区間抽出部が、撮影時刻に関する時刻情報が関連付けられて撮影された複数の画像について前記時刻情報に基づいて同一時間帯に複数の撮像装置により撮影が行われた撮影区間を抽出する手順と、
    特徴量抽出部が、前記複数の画像のうち前記抽出された撮影区間において撮影された各画像から特徴量を抽出する手順と、
    画像選択部が、前記複数の画像のうち前記抽出された撮影区間において撮影された画像であって撮影時刻が互いに重複している各画像について当該撮影時刻が互いに重複している各画像のうちから少なくとも1つの画像を当該撮影時刻が互いに重複している各画像について抽出された前記特徴量に基づいて選択する手順と、
    要約画像作成部が、前記選択された画像に基づいて前記複数の画像に関する要約画像を作成する手順
    を具備する画像処理方法。
  11. 区間抽出部が、撮影時刻に関する時刻情報が関連付けられて撮影された複数の画像について前記時刻情報に基づいて同一時間帯に複数の撮像装置により撮影が行われた撮影区間を抽出する手順と、
    特徴量抽出部が、前記複数の画像のうち前記抽出された撮影区間において撮影された各画像から特徴量を抽出する手順と、
    画像選択部が、前記複数の画像のうち前記抽出された撮影区間において撮影された画像であって撮影時刻が互いに重複している各画像について当該撮影時刻が互いに重複している各画像のうちから少なくとも1つの画像を当該撮影時刻が互いに重複している各画像について抽出された前記特徴量に基づいて選択する手順と、
    要約画像作成部が、前記選択された画像に基づいて前記複数の画像に関する要約画像を作成する手順
    をコンピュータに実行させるプログラム。
JP2007159468A 2007-06-15 2007-06-15 画像処理装置、その処理方法およびプログラム Active JP4360425B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007159468A JP4360425B2 (ja) 2007-06-15 2007-06-15 画像処理装置、その処理方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007159468A JP4360425B2 (ja) 2007-06-15 2007-06-15 画像処理装置、その処理方法およびプログラム
US12/139,202 US8346014B2 (en) 2007-06-15 2008-06-13 Image processing apparatus and method and program
CN2008101259889A CN101325680B (zh) 2007-06-15 2008-06-16 图像处理装置和方法

Publications (2)

Publication Number Publication Date
JP2008312061A JP2008312061A (ja) 2008-12-25
JP4360425B2 true JP4360425B2 (ja) 2009-11-11

Family

ID=40132385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159468A Active JP4360425B2 (ja) 2007-06-15 2007-06-15 画像処理装置、その処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8346014B2 (ja)
JP (1) JP4360425B2 (ja)
CN (1) CN101325680B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2377303B1 (es) * 2009-06-05 2013-02-01 Vodafone España S.A.U. Método y sistema para recomendar fotografías.
JP5381459B2 (ja) * 2009-07-27 2014-01-08 富士通株式会社 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム
JP2011124979A (ja) * 2009-11-13 2011-06-23 Jvc Kenwood Holdings Inc 映像処理装置、映像処理方法、および映像処理プログラム
US8964065B2 (en) 2010-02-10 2015-02-24 Panasonic Intellectual Property Management Co., Ltd. Video picture extracting apparatus, imaging apparatus and recording medium
JP5243487B2 (ja) * 2010-06-03 2013-07-24 三菱電機株式会社 データ再生装置及びデータ再生方法
JP2012044390A (ja) * 2010-08-18 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 映像要約装置および映像要約プログラム
JP5092000B2 (ja) * 2010-09-24 2012-12-05 株式会社東芝 映像処理装置、方法、及び映像処理システム
US8639034B2 (en) * 2010-11-19 2014-01-28 Ricoh Co., Ltd. Multimedia information retrieval system with progressive feature selection and submission
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
JP5752585B2 (ja) 2011-12-16 2015-07-22 株式会社東芝 映像処理装置、方法及びプログラム
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
EP2701078A1 (en) * 2012-08-24 2014-02-26 Alcatel Lucent Process for summarising automatically a video content for a user of at least one video service provider in a network
WO2014105816A1 (en) * 2012-12-31 2014-07-03 Google Inc. Automatic identification of a notable moment
US9712800B2 (en) 2012-12-20 2017-07-18 Google Inc. Automatic identification of a notable moment
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
JP2016100778A (ja) * 2014-11-21 2016-05-30 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6640595B2 (ja) 2016-02-19 2020-02-05 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法およびプログラム
JP2020035149A (ja) * 2018-08-29 2020-03-05 国立大学法人 東京大学 動画像データ処理装置、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62299189A (en) 1986-06-18 1987-12-26 Matsushita Electric Ind Co Ltd Video signal changing-over device
JPH04294694A (en) 1991-03-25 1992-10-19 Nippon Telegr & Teleph Corp <Ntt> Automatic summarizing editing method for video
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JPH11289517A (ja) 1998-04-02 1999-10-19 Sony Corp 再生装置及び再生方法
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
JP2002094971A (ja) 2000-09-14 2002-03-29 Omron Corp 表示切替装置および表示切替システム
JP2002344897A (ja) 2001-05-16 2002-11-29 Mitsubishi Electric Corp 映像表示装置
JP4039873B2 (ja) 2002-03-27 2008-01-30 三洋電機株式会社 映像情報記録再生装置
US8287281B2 (en) * 2006-12-06 2012-10-16 Microsoft Corporation Memory training via visual journal

Also Published As

Publication number Publication date
JP2008312061A (ja) 2008-12-25
CN101325680A (zh) 2008-12-17
US20080310725A1 (en) 2008-12-18
CN101325680B (zh) 2011-10-19
US8346014B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
US10367997B2 (en) Enriched digital photographs
US9502073B2 (en) System and method for semi-automatic video editing
JP5877895B2 (ja) 所定の人間を含むビデオサマリー
JP6249202B2 (ja) 画像表示装置、画像表示方法、およびプログラム
TWI579838B (zh) 編譯視訊的自動產生
US9143683B2 (en) Camera and method for recording image files
KR100714888B1 (ko) 화상표시방법 및 화상표시장치
KR100596910B1 (ko) 화상표시제어방법 및 화상표시제어장치
US8253794B2 (en) Image processing apparatus and image display method
JP5326910B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4148228B2 (ja) 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
JP4483501B2 (ja) 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4241709B2 (ja) 画像処理装置
CN101276405B (zh) 使用焦点信息显示图像的移动通信终端和方法
WO2014024475A1 (ja) 映像提供方法、送信装置および受信装置
JP5340895B2 (ja) 画像データ作成支援装置および画像データ作成支援方法
JP3615195B2 (ja) コンテンツ記録再生装置およびコンテンツ編集方法
US8860865B2 (en) Assisted video creation utilizing a camera
US20140153900A1 (en) Video processing apparatus and method
US20130343729A1 (en) System and method for semi-automatic video editing
CN101026726B (zh) 图像再现方法及图像再现装置
JP4510718B2 (ja) 画像出力装置及びその制御方法
US8970717B2 (en) Photographing apparatus
KR100775176B1 (ko) 동영상 정보를 썸네일로 재생하는 방법 및 이를 이용한단말기
US20110293250A1 (en) Determining key video snippets using selection criteria

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R151 Written notification of patent or utility model registration

Ref document number: 4360425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250