JP5664120B2 - 編集装置、編集方法、プログラム、および記録媒体 - Google Patents

編集装置、編集方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP5664120B2
JP5664120B2 JP2010238170A JP2010238170A JP5664120B2 JP 5664120 B2 JP5664120 B2 JP 5664120B2 JP 2010238170 A JP2010238170 A JP 2010238170A JP 2010238170 A JP2010238170 A JP 2010238170A JP 5664120 B2 JP5664120 B2 JP 5664120B2
Authority
JP
Japan
Prior art keywords
image
story
candidate
time
editing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010238170A
Other languages
English (en)
Other versions
JP2012094949A (ja
Inventor
弘幸 安田
弘幸 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010238170A priority Critical patent/JP5664120B2/ja
Priority to US13/273,773 priority patent/US8655151B2/en
Priority to CN201110326628.7A priority patent/CN102567446B/zh
Publication of JP2012094949A publication Critical patent/JP2012094949A/ja
Application granted granted Critical
Publication of JP5664120B2 publication Critical patent/JP5664120B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、編集装置、編集方法、プログラム、および記録媒体に関する。
近年、例えばPC(Personal Computer)などのコンピュータの処理能力の飛躍的な向上に伴い、特別な装置を用いなくとも、実用的な処理時間で画像(動画像/静止画像)の編集を行うことが可能となりつつある。また、上記に伴い、例えば個人的、家庭的に画像の編集を行うユーザの数は、増加している。ここで、画像を編集するためには、例えば、“画像(素材)の分類”、“ストーリの決定”、“画像の選択”、“画像の繋ぎ方の選択”など、様々な作業を要する。そのため、画像の編集の自動化を望むニーズが存在する。
このような中、画像の編集を自動的に行う技術が開発されている。動画像から当該動画像が示すコンテンツの流れを反映させたイベントなどを抽出し、コンテンツの流れが反映されたシーンが繋ぎ合わされた、ダイジェストの画像を自動的に生成する技術としては、例えば、特許文献1が挙げられる。
特開2009−153144号公報
画像の編集を自動的に行う従来の技術(以下、単に「従来の技術」という。)が適用された編集装置(以下、「従来の編集装置」という。)は、“起承転結”という観点に基づいて動画像からシーンを抽出し、抽出されたシーンが繋ぎ合わされた、ダイジェストの画像を生成する。しかしながら、従来の編集装置は、“起承転結”という観点に基づいて動画像からシーンを抽出するので、“起承転結”が成立していないコンテンツを示す動画像を処理する場合には、当該動画像からシーンを抽出できるとは限らない。
また、画像の編集を自動的に行う他の方法としては、例えば、編集装置が、予め用意された、編集後に作成される画像が示すコンテンツの流れ(いわゆる、ストーリ)を規定するストーリ・テンプレートに基づいて、複数の画像の中から画像を選択して時系列に繋ぎ合わせることが想定される。
しかしながら、編集の対象となりうる画像(以下、「候補画像」という。)の中に、ストーリ・テンプレートに適した候補画像があるとは限らない。そのため、ストーリ・テンプレートを用いる場合には、ストーリ・テンプレートに適した候補画像がないことによって、当該ストーリ・テンプレートが規定するストーリが完成されない、未完成の画像が編集後の画像として得られてしまう恐れがある。
また、ストーリ・テンプレートに適した候補画像がない場合、編集装置が、例えば候補画像の中から任意の候補画像を選択することによって、一応完成された画像が、編集後の画像として得られる。しかしながら、上記の場合には、ストーリ・テンプレートを用いて編集を行う趣旨を十分に活かすことはできない。
上記のように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、“起承転結”という観点(一種のストーリ)に合致するシーンの抽出や、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。したがって、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することが可能な、新規かつ改良された編集装置、編集方法、プログラム、および記録媒体を提供することにある。
上記目的を達成するために、本発明の第1の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、上記ストーリ決定部において決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出する評価値算出部と、上記評価値算出部において算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択する画像選択部と、上記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、を備える編集装置が提供される。
かかる構成により、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
また、上記評価値算出部は、上記評価値として、上記候補画像の特徴値と上記候補画像の特徴値の期待値とに基づくマンハッタン距離を上記選択時間ごとに算出してもよい。
また、上記画像選択部は、上記選択時間それぞれにおける上記評価値が最小の候補画像を、上記選択時間ごとの上記選択画像として選択してもよい。
また、上記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、上記選択時間ごとの上記選択画像を選択してもよい。
また、上記候補画像に基づいて、上記候補画像に対する上記特徴値を設定する画像評価部をさらに備えてもよい。
また、上記画像評価部は、上記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が上記所定の時間内となるように上記候補画像を分割し、分割された上記候補画像それぞれに対して上記特徴値を設定してもよい。
また、ユーザ操作に基づいて、上記候補画像を決定する候補画像決定部をさらに備えてもよい。
また、外部装置と通信を行う通信部をさらに備え、上記ストーリ決定部は、上記通信部が受信した、上記外部装置から送信された上記ストーリを示すストーリ情報に基づいて、上記ストーリを決定してもよい。
上記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表されてもよい。
上記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表されてもよい。
上記目的を達成するために、本発明の第2の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップと、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップと、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、を有する編集方法が提供される。
かかる方法を用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
上記目的を達成するために、本発明の第3の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
上記目的を達成するために、本発明の第4の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
かかる記録媒体に記録されたプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
本発明によれば、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
本発明の実施形態に係る編集装置における編集アプローチに係る処理の一例を示す流れ図である。 本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。 本発明の実施形態に係る編集装置におけるストーリ決定処理の一例を示す流れ図である。 本発明の実施形態に係る編集装置における評価値算出処理の一例を示す流れ図である。 本発明の実施形態に係る編集装置における画像選択処理の一例を説明するための説明図である。 本発明の実施形態に係る編集装置における画像選択処理の他の例を説明するための説明図である。 本発明の実施形態に係る編集装置における画像選択処理の一例を示す流れ図である。 本発明の実施形態に係る編集装置の構成の一例を示すブロック図である。 本発明の実施形態に係る編集装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本発明の実施形態に係るアプローチ
2.本発明の実施形態に係る制御装置
3.本発明の実施形態に係るプログラム
4.本発明の実施形態に係るプログラムが記録された記録媒体
(本発明の実施形態に係るアプローチ)
本発明の実施形態に係る編集装置(以下、「編集装置100」と示す場合がある。)の構成について説明する前に、本発明の実施形態に係る画像の編集アプローチについて説明する。ここで、本発明の実施形態に係る画像とは、静止画像または動画像である。以下では、編集の対象となりうる画像である候補画像を、「素材」と示す場合がある。なお、以下に示す本発明の実施形態に係る編集アプローチに係る処理は、本発明の実施形態に係る編集方法に係る処理と捉えることができる。
[編集アプローチの概要]
上述したように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。上記のように、候補画像の選択をすることができないことが生じた場合には、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
そこで、本発明の実施形態に係る編集装置100は、時間の関数で表されるストーリと、候補画像それぞれに設定されている特徴値とに基づいて、候補画像それぞれに対する評価値を選択時間ごとに算出する。また、編集装置100は、選択時間ごとに算出された評価値に基づいて、候補画像の中から画像を選択する。そして、編集装置100は、選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせることによって、編集後の画像を生成する。
ここで、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数(具体例は、後述する。)で表される。また、本発明の実施形態に係る選択時間は、ストーリにおいて評価値を算出する時間を示すものである。つまり、本発明の実施形態に係る選択時間は、編集装置100が、ストーリに沿って候補画像を選択するための処理を行うための時間を示す。選択時間としては、例えば、編集を開始時点から経過時間(例えば、秒、分、時間などで表される。)が挙げられる。ここで、本発明の実施形態に係る選択時間は、例えば、予め規定されたものであってもよいし、ユーザにより適宜設定されてもよい。
編集装置100は、上記のように、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小(または、最大)の候補画像(すなわち、評価がより高い候補画像)を、選択時間ごとの選択画像とする。よって、本発明の実施形態に係る編集装置100では、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことが防止される。したがって、編集装置100は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
また、編集装置100は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像(例えば、評価値が最小の評価画像や、評価値が最大の評価画像)を、選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。よって、編集装置100は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を、候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
さらに、編集装置100は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。これに対して、ストーリ・テンプレートは、人間である作成者が作成するものであるので、自動的にストーリ・テンプレートを変更することは困難である。つまり、ストーリ・テンプレートに変更を加えてストーリの延長、短縮を図ることは困難であり、ストーリ・テンプレートを用いるときにストーリの延長、短縮を行う場合には、例えば、複数のストーリ・テンプレートを容易して、これらのストーリ・テンプレートを適宜変更する必要がある。よって、編集装置100は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置100は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
[編集アプローチに係る処理の具体例]
次に、上述した本発明の実施形態に係る編集アプローチを実現するための処理の一例について説明する。図1は、本発明の実施形態に係る編集装置100における編集アプローチに係る処理の一例を示す流れ図である。
編集装置100は、素材グループを決定する(S100)。ステップS100の処理が行われることによって、候補画像が決定されることとなる。ここで、本発明の実施形態に係る素材グループとは、例えば、運動会や結婚式、海などのように、候補画像が、所定のテーマでグループ化されているものである。本発明の実施形態に係る素材グループは、例えば、ユーザが手動で分類したものであってもよいし、また、編集装置100や、サーバなどの外部装置が画像処理を行って自動的に分類したものであってもよい。
編集装置100は、例えばユーザ操作に基づいてステップS100の処理を行う。ここで、本発明の実施形態に係る「ユーザ操作に基づいて処理を行う」とは、例えば、編集装置100が、操作部(後述する)から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号、または、ネットワークを介して(あるいは直接的に)外部装置から送信された操作信号に基づいて、処理を行うことをいう。
なお、本発明の実施形態に係る編集装置100は、図1に示すステップS100の処理を行わなくてもよい。上記の場合には、編集装置100は、例えば、ユーザ操作に基づいて決定された、特段のグループ化されていない候補画像から選択画像を選択することとなる。
編集装置100は、上述したように、例えばステップS100において決定された候補画像に設定されている特徴値に基づいて処理を行う。ここで、本発明の実施形態に係る候補画像に設定された特徴値について説明する。
図2は、本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。ここで、図2では、画像m1〜m14に対して設定されている特徴値の一例を示している。
候補画像には、カテゴリ(C)ごとに特徴値(いわゆる、スコア)が設定される。ここで、本発明の実施形態に係るカテゴリとは、画像を分類し、編集後の画像の指向を定める、画像における着目点である。本発明の実施形態に係るカテゴリは、例えば、予め規定されたものであってもよいし、複数のカテゴリの候補の中から、ユーザが任意に選択したものであってもよい。本発明の実施形態に係るカテゴリとしては、例えば、画像の撮像時刻に基づく着目点を示す時刻(c1)や、画像の撮像場所に基づく着目点を示す場所(c2)、画角に基づく着目点を示す画角(c3)、被写体が特定のものであるかに基づく着目点を示すポートレート度(c4)、撮像対象または撮像装置がどの程度動いているか(パンやズームを含んでいてもよい)に基づく着目点を示す動き度(c5)などが挙げられる。なお、本発明の実施形態に係るカテゴリは、上記に限られない。例えば、本発明の実施形態に係るカテゴリは、被写体の数や、シャッター速度などに基づく着目点を示していてもよい。
編集装置100は、例えば、候補画像を画像解析することや、候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。例えば場所(c2)の特徴値を設定する場合には、編集装置100は、GPS(Global Positioning System)などを利用して取得した自装置の位置と各候補画像が撮像された位置との間の一次元の距離に応じて10段階で、各候補画像の特徴値を設定する。また、画角(c3)の特徴値を設定する場合には、編集装置100は、広角を1、望遠を10とした10段階で、各候補画像の特徴値を設定する。また、ポートレート度(c4)の特徴値を設定する場合には、編集装置100は、被写体がない候補画像を1、特定の被写体に注視している候補画像(例えば、被写体が中央に写っているなど)を10とした10段階で、各候補画像の特徴値を設定する。なお、編集装置100における特徴値の設定方法は、上記に限られず、例えば、具体的な数値を正規化することによって、正規化された特徴値を設定してもよい。
また、編集装置100は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を時間軸で分割することも可能である。上記の場合、編集装置100は、分割された候補画像それぞれに対して特徴値を設定する。ここで、編集装置100は、例えば、候補画像のメタデータを参照することによって、当該候補画像の再生時間を特定するが、本発明の実施形態に係る候補画像の再生時間の特定方法は、上記に限られない。また、上記所定の時間は、例えば、予め規定されたものであってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
上記のように、再生時間が所定の時間内となるように候補画像を時間軸で分割し、分割された候補画像それぞれに対して特徴値を設定することによって、編集装置100は、分割前の候補画像に対して特徴値を設定する場合よりも、より画像の特徴が表された特徴値を設定することができる。
以下では、候補画像(M)に対するカテゴリ(C)の特徴値を、「S(M,C)」と示す。例えば図2に示す画像m1におけるカテゴリ(c2)の特徴値は、S(m1,c2)=1と表される。なお、図2では、候補画像それぞれに複数のカテゴリ(C)が設定されている例を示しているが、本発明の実施形態に係る候補画像に設定されるカテゴリ(C)が、1つであってもよいことは、言うまでもない。
編集装置100は、例えば上記のように、候補画像それぞれに対して特徴値を設定する。ここで、編集装置100は、例えばステップS100において候補画像として決定された画像に対して、特徴値を設定するが、本発明の実施形態に係る編集装置100における処理は、上記に限られない。例えば、編集装置100は、ステップS100の処理が行われたか否かによらず、候補画像となりうる画像に対して、特徴値を設定する処理を行うことも可能である。なお、編集装置100は、特徴値を設定する処理を行わず、例えば、候補画像(または候補画像となりうる画像)をサーバなどの外部装置へ送信し、当該外部装置において設定された特徴値を用いて後述する評価値の算出に係る処理を行うこともできる。
再度図1を参照して、本発明の実施形態に係る編集装置100における編集アプローチに係る処理の一例について説明する。ステップS100において素材グループが決定されると、編集装置100は、ストーリを決定する(S102;ストーリ決定処理)。編集装置100は、例えば、操作部(後述する)から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する。なお、編集装置100におけるストーリの決定方法は、上記に限られない。例えば、編集装置100は、ネットワークを介して(あるいは直接的に)接続されている外部装置から送信された、ストーリが記録されたストーリ情報を受信した場合には、当該ストーリ情報が示すストーリを、後述する処理に用いるストーリとして決定することもできる。
上述したように、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数で表される。ストーリは、例えば、選択時間tにおける候補画像の特徴値の期待値(SX)と、特徴値とを用いて表される。以下では、候補画像におけるカテゴリ(cn)(nは、1以上の整数)の選択時間tにおける期待値を「SX(cn,t)」と示す。
下記の数式1〜数式3は、本発明の実施形態に係るストーリの一例を示している。ここで、数式1は、候補画像(M)の特徴値と候補画像の期待値とに基づくマンハッタン距離D(M)(t)を、選択時間tにおける評価値として算出するためのストーリの一例を示している。また、数式2、数式3は、選択時間tにおけるカテゴリごとの期待値の一例を示している。ここで、数式1、数式3に示すNは、候補画像のカテゴリ数を示している。
なお、本発明の実施形態に係るストーリは、上記数式1〜数式3に示すものに限られない。例えば、編集装置100は、実距離に限られず、カテゴリ(C)に対して重み付けをした上でマンハッタン距離を、評価値として算出してもよい。また、編集装置100は、例えば、カテゴリ(C)に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることができる。また、時間の関数であるストーリのグラフ(例えば横軸に時間、縦軸に期待値をとるグラフ)をユーザに提示し、ユーザ操作に基づき変化した当該グラフが示す期待値の値を、ストーリとして用いることもできる。
〔ストーリ決定処理の一例〕
ここで、本発明の実施形態に係る編集装置100におけるストーリ決定処理について、より具体的に説明する。図3は、本発明の実施形態に係る編集装置100におけるストーリ決定処理の一例を示す流れ図である。ここで、図3は、編集装置100が、ユーザ操作に応じた操作信号や、ユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する場合の処理の一例を示している。以下では、編集装置100が、ユーザ操作に応じた操作信号に基づいてストーリを決定する場合を例に挙げて説明する。
編集装置100は、ストーリを初期設定する(S200)。ここで、ステップS200の処理は、例えばプリセットされたストーリを設定する処理に相当する。編集装置100は、例えば、記憶部(後述する)に記憶されたストーリ情報を読み出すことによって、ステップS200の処理を行う。なお、編集装置100におけるステップS200の処理は、上記に限られない。例えば、編集装置100は、ストーリ情報を記憶するサーバなどの外部装置と通信を行い、当該外部装置から取得したストーリ情報を用いてステップS200の処理を行うこともできる。
ステップS200においてストーリが初期設定されると、編集装置100は、適用可能なストーリを提示する(S202)。ここで、適用可能なストーリとは、後述するステップS208においてエラーが表示されたストーリに該当しないストーリである。つまり、ステップS200において初期設定されたストーリは、ステップS202において提示される。
ステップS202においてストーリが提示されると、編集装置100は、ストーリが指定されたか否かを判定する(S204)。編集装置100は、例えばユーザ操作に応じた操作信号に基づいて、ステップS204の判定を行う。
ステップS204においてストーリが指定されたと判定されない場合には、編集装置100は、ストーリが指定されたと判定されるまで処理を進めない。なお、図3では示していないが、例えばステップS202の処理が行われてから所定の時間、操作信号が検出されない場合には、編集装置100は、ストーリ決定処理を終了してもよい(いわゆる、タイムアウト)。また、上記の場合、編集装置100は、例えばストーリ決定処理を終了した旨をユーザに通知する。
ステップS204においてストーリが指定されたと判定された場合には、編集装置100は、指定されたストーリが適用可能なストーリか否かを判定する(S206)。上述したように、編集装置100は、例えば、カテゴリ(C)に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることが可能である。編集装置100は、例えばユーザにより異常値が入力された場合に、適用可能なストーリではないと判定する。
ステップS206において適用可能なストーリであると判定されない場合には、編集装置100は、エラーを通知する(S208)。そして、編集装置100は、ステップS202からの処理を繰り返す。ここで、編集装置100は、例えば、表示画面にエラー画面を表示させることや、エラー音声を出力することによって、視覚的、および/または、聴覚的にエラーを通知するが、編集装置100におけるステップS208の処理は、上記に限られない。
また、ステップS206において適用可能なストーリであると判定された場合には、編集装置100は、ストーリを確定するか否かを判定する(S210)。編集装置100は、例えば、表示画面にストーリの確定するか否かをユーザに選択させるための画面を表示させ、ユーザ操作に応じた操作信号に基づいて、ステップS210の判定を行う。
ステップS210においてストーリを確定すると判定されない場合には、編集装置100は、ステップS202からの処理を繰り返す。
また、ステップS210においてストーリを確定すると判定された場合には、編集装置100は、ステップS204において指定されたストーリを処理に用いるストーリとして決定し(S212)、ストーリ決定処理を終了する。
編集装置100は、例えば図3に示す処理を行うことによって、ストーリを決定する。なお、本発明の実施形態に係るストーリ決定処理が、図3に示す例に限られないことは、言うまでもない。
再度図1を参照して、本発明の実施形態に係る編集装置100における編集アプローチに係る処理の一例について説明する。ステップS102においてストーリが決定されると、編集装置100は、候補画像に対する評価値を算出する(S104;評価値算出処理)。
〔評価値算出処理の一例〕
図4は、本発明の実施形態に係る編集装置100における評価値算出処理の一例を示す流れ図である。ここで、図4は、編集装置100が、数式1に示す候補画像(M)の特徴値と候補画像の期待値とに基づくマンハッタン距離D(M)(t)を選択時間tにおける評価値として算出する処理の一例を示している。図4では、各候補画像が、図2に示すように、mx(xは、1以上の整数)で表されるものとして説明する。
編集装置100は、選択時間tの値としてt=0を設定し(S300)、評価値を算出する対象の候補画像を規定するxの値としてx=0を設定する(S302)。
ステップS302の処理が行われると、編集装置100は、候補画像(mx)に対する評価値D(mx)(t)を算出する(S304)。ここで、編集装置100は、例えば、数式1と、図3のステップS212において確定された期待値とを用いて、マンハッタン距離D(mx)(t)を評価値として算出する。
ステップS304において評価値D(mx)(t)が算出されると、編集装置100は、算出された評価値D(mx)(t)を記憶する(S306)。そして、編集装置100は、xの値をx+1に更新する(S308)。
ステップS308においてxの値が更新されると、編集装置100は、xの値が候補画像数より小さいか否かを判定する(S310)。ステップS310においてxの値が候補画像数より小さいと判定された場合には、評価値を算出していない候補画像が存在するので、編集装置100は、ステップS304からの処理を繰り返す。
また、ステップS310においてxの値が候補画像数より小さいと判定されない場合には、編集装置100は、tの値をt+Δtに更新する(S312)。ここで、本発明の実施形態に係るΔtは、選択時間tの間隔を規定する。図4では、Δtが一定である場合を示しているが、本発明の実施形態に係るΔtは、上記に限られない。例えば、本発明の実施形態に係るΔtは、ユーザにより変更された不定の値であってもよいし、編集装置100がランダムに設定することも可能である。
ステップS312においてtの値が更新されると、編集装置100は、tの値が、編集後の画像の再生総時間Tより小さいか否かを判定する(S314)。ここで、本発明の実施形態に係る再生総時間Tは、例えば、予め規定された値であってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
ステップS314においてtの値が再生総時間Tより小さいと判定された場合には、編集装置100は、ステップS302からの処理を繰り返す。また、ステップS314においてtの値が再生総時間Tより小さいと判定されない場合には、編集装置100は、評価値算出処理を終了する。
編集装置100は、例えば図4に示す処理を行うことによって、候補画像それぞれに対する評価値を、選択時間ごとに算出する。なお、本発明の実施形態に係る評価値算出処理が、図4に示す例に限られないことは、言うまでもない。
再度図1を参照して、本発明の実施形態に係る編集装置100における編集アプローチに係る処理の一例について説明する。ステップS104において候補画像に対する評価値が算出されると、編集装置100は、評価値に基づいて、候補画像の中から選択画像を選択する(S106;画像選択処理)。
図5は、本発明の実施形態に係る編集装置100における画像選択処理の一例を説明するための説明図である。ここで、図5は、図2に示す候補画像m1〜m14に対して数式1〜数式3に示すストーリを適用することによって、各選択時間tにおいて算出された評価値と(図5に示すA)、各選択時間tにおいて選択される選択画像と(図5に示すB)を示している。
図5に示すように、マンハッタン距離D(M)(t)を評価値として算出した場合には、各選択時間tにおける評価値の最小値をとる候補画像が、選択画像として選択される。なお、本発明の実施形態に係る編集装置100は、評価値の最小値をとる候補画像を選択画像として選択することに限られず、評価値の種類によっては、評価値の最大値をとる候補画像を選択画像として選択してもよい。つまり、編集装置100は、評価値に基づいて評価がより高い候補画像を選択画像として選択する。よって、編集装置100は、よりストーリに沿った候補画像を、選択時間ごとに選択することができる。また、編集装置100は、評価値が最小(または最大)となる候補画像が複数ある場合には、例えば、これらの候補画像の中からランダムに選択画像を選択してもよいし、予め規定された候補画像の優先度に応じて選択画像を選択してもよい。
なお、本発明の実施形態に係る編集装置100における画像選択処理は、図5に示すように、同一の候補画像が、複数回選択画像として選択される処理に限られない。図6は、本発明の実施形態に係る編集装置100における画像選択処理の他の例を説明するための説明図である。ここで、図6は、図5と同様に、図2に示す候補画像m1〜m14に対して数式1〜数式3に示すストーリを適用することによって、各選択時間tにおいて算出された評価値と(図6に示すC)、各選択時間tにおいて選択される選択画像と(図6に示すD)を示している。
図6に示すように、編集装置100は、一度選択画像として選択された候補画像を除外し、除外後の候補画像の中から選択画像を選択することもできる。図6に示すように選択画像を選択することによって、同一の候補画像が選択画像として選択されることが防止されるので、編集装置100は、図5に示す処理を行う場合よりもより多様性に富んだ画像を生成することが可能となる。
〔画像選択処理の一例〕
ここで、本発明の実施形態に係る編集装置100における画像選択処理について、より具体的に説明する。図7は、本発明の実施形態に係る編集装置100における画像選択処理の一例を示す流れ図である。ここで、図7は、編集装置100が、数式1に示す候補画像(M)の特徴値と候補画像の期待値とに基づくマンハッタン距離D(M)(t)を選択時間tにおける評価値として算出した場合における画像選択処理の一例を示している。また、図7は、図5に示すように、複数の選択時間において同一の候補画像が選択画像として選択されうる画像選択処理の一例を示している。さらに、図7は、評価値が同一の候補画像が複数あった場合には、より先に処理を行った候補画像が優先的に選択画像として選択される場合の処理を示している。
編集装置100は、選択時間tにおける評価値の最小値min(t)の値として、min(t)=0を設定する(S400)。また、編集装置100は、図4のステップS300、S302と同様に、選択時間tの値としてt=0を設定し(S402)、評価値を算出する対象の候補画像を規定するxの値としてx=0を設定する(S404)。
ステップS404の処理が行われると、編集装置100は、評価値D(mx)(t)の値がmin(t)よりも小さいか否かを判定する(S406)。ステップS406において評価値D(mx)(t)の値がmin(t)よりも小さいと判定されない場合には、編集装置100は、後述するステップS410の処理を行う。
また、ステップS406において評価値D(mx)(t)の値がmin(t)よりも小さいと判定された場合には、編集装置100は、min(t)の値を、min(t)=D(mx)(t)に更新する(S408)。
ステップS406において評価値D(mx)(t)の値がmin(t)よりも小さいと判定されない場合、または、ステップS408のの処理が行われた場合には、編集装置100は、xの値をx+1に更新する(S410)。
ステップS410においてxの値が更新されると、編集装置100は、xの値が候補画像数より小さいか否かを判定する(S412)。ステップS412においてxの値が候補画像数より小さいと判定された場合には、編集装置100は、ステップS406からの処理を繰り返す。
また、ステップS412においてxの値が候補画像数より小さいと判定されない場合には、編集装置100は、min(t)に対応する候補画像を、選択時間tにおける選択画像とする(S414)。
ステップS414の処理が行われると、編集装置100は、tの値をt+Δtに更新する(S416)。そして、編集装置100は、tの値が、編集後の画像の再生総時間Tより小さいか否かを判定する(S418)。
ステップS418においてtの値が再生総時間Tより小さいと判定された場合には、編集装置100は、ステップS404からの処理を繰り返す。また、ステップS418においてtの値が再生総時間Tより小さいと判定されない場合には、編集装置100は、画像選択処理を終了する。
編集装置100は、例えば図7に示す処理を行うことによって、各選択時間において評価値の最小値をとる候補画像(すなわち、より評価が高い候補画像)を、選択時間ごとの選択画像として選択する。なお、本発明の実施形態に係る画像選択処理が、図7に示す例に限られないことは、言うまでもない。
再度図1を参照して、本発明の実施形態に係る編集装置100における編集アプローチに係る処理の一例について説明する。ステップS106において選択時間ごとの選択画像が選択されると、編集装置100は、選択画像を時系列に繋ぎ合わせることによって、編集を行う(S108;編集処理)。
例えば図1に示す処理を行うことによって、編集装置100は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、選択時間ごとに評価値が最小の候補画像(評価がより高い候補画像)を、選択時間ごとの選択画像とすることが可能である。よって、例えば図1に示す処理を行うことによって、編集装置100は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置100は、例えば図1に示す処理を行うことによって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集アプローチに係る処理が、図1に示す例に限られないことは、言うまでもない。
また、上記では、本発明の実施形態に係る編集アプローチに係る処理を、編集装置100が行うものとして説明したが、本発明の実施形態に係る編集アプローチに係る処理は、1つの装置で実現されることに限られない。例えば、本発明の実施形態に係る編集アプローチに係る処理(すなわち、本発明の実施形態に係る編集方法に係る処理)は、例えば、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム(編集システム)における分散処理により実現されてもよい。
(本発明の実施形態に係る編集装置)
次に、上述した本発明の実施形態に係る編集アプローチに係る処理を行うことが可能な、本発明の実施形態に係る編集装置100の構成の一例について説明する。図8は、本発明の実施形態に係る編集装置100の構成の一例を示すブロック図である。
図8を参照すると、編集装置100は、例えば、記憶部102と、通信部104と、制御部106と、操作部108と、表示部110とを備える。
また、編集装置100は、例えば、ROM(Read Only Memory;図示せず)や、RAM(Random Access Memory;図示せず)などを備えてもよい。編集装置100は、例えば、データの伝送路としてのバス(bus)により各構成要素間を接続する。ここで、ROM(図示せず)は、例えば制御部106が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、例えば制御部106により実行されるプログラムなどを一時的に記憶する。
[編集装置100のハードウェア構成例]
図9は、本発明の実施形態に係る編集装置100のハードウェア構成の一例を示す説明図である。図9を参照すると、編集装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、編集装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、MPU(Micro Processing Unit)や、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置100全体を制御する制御部106として機能する。また、MPU150は、編集装置100において、後述する候補画像決定部120、画像評価部122、ストーリ決定部124、評価値算出部126、画像選択部128、および編集処理部130としての役目を果たすこともできる。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部102として機能し、例えば、画像データや、ストーリ情報、図2に示すような画像の特徴値が記録された画像評価情報、アプリケーションなどを記憶する。ここで、記録媒体156としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられる。また、編集装置100は、編集装置100から着脱可能な記録媒体156を備えることもできる。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部108として機能し、また、表示デバイス162は、表示部110として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、編集装置100上に備えられ、編集装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、編集装置100上に備えられ、編集装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、入出力インタフェース158が、編集装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイス(例えば、外部ディスプレイなど)と接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、編集装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行うための通信部104として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
編集装置100は、例えば図9に示す構成によって、本発明の実施形態に係る編集アプローチに係る処理を行う。なお、本発明の実施形態に係る編集装置100のハードウェア構成は、図9に示す構成に限られない。例えば、編集装置100は、DSP(Digital Signal Processor)と、増幅器(アンプ)やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、編集装置100は、例えば図3のステップS208においてエラー音声を上記音声出力デバイスから出力することによって、聴覚的にエラーを通知することが可能となる。また、編集装置100は、例えば、図9に示す操作デバイス160や表示デバイス162を備えない構成であってもよい。
再度図8を参照して、本発明の実施形態に係る編集装置100の構成について説明する。記憶部102は、編集装置100が備える記憶手段である。ここで、記憶部102としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
また、記憶部102は、例えば、画像データや、ストーリ情報、画像評価情報、アプリケーションなどを記憶する。ここで、図8では、画像データ140、…と、ストーリ情報142と、画像評価情報144とが記憶部102に記憶されている例を示している。
通信部104は、編集装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行う。また、通信部104は、例えば、制御部106により通信が制御される。
ここで、通信部104としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部104の構成は、上記に限られない。例えば、通信部104は、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部106は、例えば、MPUや、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置100全体を制御する役目を果たす。また、制御部106は、候補画像決定部120と、画像評価部122と、ストーリ決定部124と、評価値算出部126と、画像選択部128と、編集処理部130とを備え、本発明の実施形態に係る編集アプローチに係る処理を主導的に行う役目を果たす。また、制御部106は、サーバなどの外部装置との通信を制御する通信制御部(図示せず)を備えていてもよい。
候補画像決定部120は、ユーザ操作に基づいて候補画像を決定する。より具体的には、候補画像決定部120は、例えば図1に示すステップS100の処理を主導的に行う役目を果たす。
画像評価部122は、候補画像に基づいて当該候補画像に対する特徴値を設定する。より具体的には、画像評価部122は、例えば、候補画像決定部120において候補画像が決定されるごとに、決定された候補画像を画像解析することや候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。そして、画像評価部122は、例えば、画像評価情報を生成して記憶部102に記録する。なお、記憶部102に画像評価情報が記憶されている場合には、当該画像評価情報を上書き更新してもよいし、別途記録してもよい。なお、画像評価部122の処理は、上記に限られない。例えば、画像評価部122は、候補画像決定部120において候補画像が決定されることに依存せず、記憶部102に記憶されている画像データに対して特徴値を設定してもよい。
また、画像評価部122は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を分割し、分割された候補画像それぞれに対して特徴値を設定する。
ストーリ決定部124は、ストーリを決定する。より具体的には、ストーリ決定部124は、例えば図1に示すステップS102の処理を主導的に行う役目を果たす。
評価値算出部126は、ストーリ決定部124において決定されたストーリと、複数の候補画像それぞれに設定されている特徴値とに基づいて、候補画像ごとの評価値を選択時間ごとに算出する。より具体的には、評価値算出部126は、例えば、ストーリ決定部124において決定されたストーリと、記憶部102に記憶された画像評価情報144とを用いて、図1に示すステップS104の処理を主導的に行う役目を果たす。
画像選択部128は、評価値算出部126において算出された評価値に基づいて、候補画像の中から選択時間ごとに選択画像を選択する。より具体的には、画像選択部128は、例えば図1に示すステップS106の処理を主導的に行う役目を果たす。
編集処理部130は、画像選択部128において選択時間ごとに選択された選択画像を、時系列に繋ぎ合わせる。つまり、編集処理部130は、例えば図1に示すステップS108の処理を主導的に行う役目を果たす。
制御部106は、例えば候補画像決定部120、画像評価部122、ストーリ決定部124、評価値算出部126、画像選択部128、および編集処理部130を備えることによって、編集アプローチに係る処理を主導的に行うことができる。なお、制御部106の構成が、図8に示す構成に限られないことはいうまでもない。
操作部108は、ユーザによる操作を可能とする編集装置100が備える操作手段である。編集装置100は、操作部108を備えることによって、ユーザ操作を可能とし、ユーザ操作に応じてユーザが所望する処理を行うことができる。ここで、操作部108としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
表示部110は、編集装置100が備える表示手段であり、表示画面に様々な情報を表示する。表示部110の表示画面に表示される画面としては、例えば、例えば図3のステップS208においてエラーを視覚的に通知するためのエラー画面や、画像データが示す画像が表示される再生画面、所望する動作を編集装置100に対して行わせるための操作画面などが挙げられる。また、表示部110としては、例えば、LCDや有機ELディスプレイなどが挙げられる。なお、編集装置100は、表示部110を、タッチスクリーンで構成することもできる。上記の場合には、表示部110は、ユーザ操作および表示の双方が可能な操作表示部として機能することとなる。
編集装置100は、例えば図8に示す構成によって、例えば図1に示すような本発明の実施形態に係る編集アプローチに係る処理を実現することができる。したがって、編集装置100は、例えば図8に示す構成によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集装置100の構成が、図8に示す構成に限られないことは、言うまでもない。
以上のように、本発明の実施形態に係る編集装置100は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小(または、最大)の候補画像(すなわち、評価がより高い候補画像)を、選択時間ごとの選択画像とする。よって、編集装置100は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置100は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
また、編集装置100は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像を選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。したがって、編集装置100は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
さらに、編集装置100は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。つまり、編集装置100は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置100は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
以上、本発明の実施形態として編集装置100を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、PCやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。
また、本発明の実施形態は、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム(編集システム)を構成するコンピュータ群などに適用することができる。
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る編集装置として機能させるためのプログラム(例えば図1、図3、図4、図7に示すような、本発明の実施形態に係る編集アプローチに係る処理を実現するためのプログラム)によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
(本発明の実施形態に係るプログラムを記録した記録媒体)
また、上記では、コンピュータを、本発明の実施形態に係る制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、本発明の実施形態に係る編集装置100は、図8に示す候補画像決定部120、画像評価部122、ストーリ決定部124、評価値算出部126、画像選択部128、および編集処理部130を個別に備える(例えば、それぞれを個別の処理回路で実現する)ことができる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
100 編集装置
102 記憶部
104 通信部
106 制御部
108 操作部
110 表示部
120 候補画像決定部
122 画像評価部
124 ストーリ決定部
126 評価値算出部
128 画像選択部
130 編集処理部

Claims (12)

  1. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
    前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
    前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
    前記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、
    を備え、
    前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離を前記選択時間ごとに算出する、編集装置。
  2. 前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとの前記選択画像として選択する、請求項1に記載の編集装置。
  3. 前記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、前記選択時間ごとの前記選択画像を選択する、請求項1、または2に記載の編集装置。
  4. 前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備える、請求項1、または2に記載の編集装置。
  5. 前記画像評価部は、
    前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、
    分割された前記候補画像それぞれに対して前記特徴値を設定する、請求項4に記載の編集装置。
  6. ユーザ操作に基づいて、前記候補画像を決定する候補画像決定部をさらに備える、請求項1、または2に記載の編集装置。
  7. 外部装置と通信を行う通信部をさらに備え、
    前記ストーリ決定部は、前記通信部が受信した、前記外部装置から送信された前記ストーリを示すストーリ情報に基づいて、前記ストーリを決定する、請求項1、または2に記載の編集装置。
  8. 前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表される、請求項1に記載の編集装置。
  9. 前記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表される、請求項8に記載の編集装置。
  10. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップと、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップと、
    前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、
    を有し、
    前記算出するステップでは、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離が前記選択時間ごとに算出される、編集方法。
  11. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
    前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
    をコンピュータに実行させ、
    前記算出するステップでは、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離が前記選択時間ごとに算出される、プログラム。
  12. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、1または2以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
    前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
    をコンピュータに実行させ、
    前記算出するステップでは、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離が前記選択時間ごとに算出される、プログラムを記録したコンピュータ読み取り可能な記録媒体。

JP2010238170A 2010-10-25 2010-10-25 編集装置、編集方法、プログラム、および記録媒体 Expired - Fee Related JP5664120B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010238170A JP5664120B2 (ja) 2010-10-25 2010-10-25 編集装置、編集方法、プログラム、および記録媒体
US13/273,773 US8655151B2 (en) 2010-10-25 2011-10-14 Editing apparatus, editing method, program, and recording media
CN201110326628.7A CN102567446B (zh) 2010-10-25 2011-10-25 编辑装置和编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010238170A JP5664120B2 (ja) 2010-10-25 2010-10-25 編集装置、編集方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2012094949A JP2012094949A (ja) 2012-05-17
JP5664120B2 true JP5664120B2 (ja) 2015-02-04

Family

ID=45973099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010238170A Expired - Fee Related JP5664120B2 (ja) 2010-10-25 2010-10-25 編集装置、編集方法、プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US8655151B2 (ja)
JP (1) JP5664120B2 (ja)
CN (1) CN102567446B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595015B2 (en) * 2012-04-05 2017-03-14 Nokia Technologies Oy Electronic journal link comprising time-stamped user event image content
JP2014017779A (ja) * 2012-07-11 2014-01-30 Sony Corp 編集装置、編集方法、プログラム、および記録媒体
JP6016749B2 (ja) 2013-10-24 2016-10-26 株式会社ソニー・インタラクティブエンタテインメント キャプチャ可否制御装置、キャプチャ可否制御方法、プログラム及び情報記憶媒体
JP6341184B2 (ja) * 2015-11-18 2018-06-13 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10658006B2 (en) 2015-11-18 2020-05-19 Casio Computer Co., Ltd. Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium
JP6614198B2 (ja) 2017-04-26 2019-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3921015B2 (ja) * 1999-09-24 2007-05-30 富士通株式会社 画像解析装置及び方法並びにプログラム記録媒体
CN1622138B (zh) * 2003-11-27 2010-10-13 富士胶片株式会社 图像编辑装置和方法以及程序
JP4343027B2 (ja) * 2004-05-25 2009-10-14 富士フイルム株式会社 スライドショー作成装置および方法ならびにプログラム
CN1989502A (zh) 2004-06-30 2007-06-27 松下电器产业株式会社 事件重要度调整方法和实施该方法的装置
US20060193000A1 (en) * 2005-02-25 2006-08-31 Fuji Photo Film Co., Ltd. Print production system, print order receiver, and image forming apparatus and method
JP2007079641A (ja) * 2005-09-09 2007-03-29 Canon Inc 情報処理装置及び情報処理方法及びプログラム及び記憶媒体
JP2008022506A (ja) * 2006-07-14 2008-01-31 Tatsumasa Sugimoto 動画作品編集システム、動画作品編集方法及び動画作品編集プログラム
JP2008131617A (ja) * 2006-11-27 2008-06-05 Hitachi Ltd 映像処理装置
KR100849844B1 (ko) * 2006-12-22 2008-08-01 삼성전자주식회사 자동 앨범 구성 장치 및 방법과 앨범의 커버 이미지 관리장치 및 방법
JP4811433B2 (ja) * 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
KR101382501B1 (ko) * 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
JP2009290651A (ja) * 2008-05-30 2009-12-10 Access Co Ltd コンテンツ管理方法、コンテンツ自動編集方法、コンテンツ管理プログラム、コンテンツ自動編集プログラム、サーバ、情報機器、およびコンテンツ自動編集システム
JP5552769B2 (ja) * 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム

Also Published As

Publication number Publication date
US8655151B2 (en) 2014-02-18
CN102567446B (zh) 2016-09-07
CN102567446A (zh) 2012-07-11
US20120099842A1 (en) 2012-04-26
JP2012094949A (ja) 2012-05-17

Similar Documents

Publication Publication Date Title
JP5664120B2 (ja) 編集装置、編集方法、プログラム、および記録媒体
WO2020107297A1 (zh) 视频剪辑控制方法、终端设备和系统
US10607653B2 (en) Image processing method, image processing apparatus, and program
US9141190B2 (en) Information processing apparatus and information processing system
KR20110106292A (ko) 정보 처리 장치, 동화상 절출 방법 및 동화상 절출 프로그램
US20140193132A1 (en) Method and apparatus for controlling contents in electronic device
US10115431B2 (en) Image processing device and image processing method
US20070200936A1 (en) Apparatus, method, and program for controlling moving images
JP2019033430A (ja) 動画再生装置およびその制御方法、並びにプログラム
KR20150023406A (ko) 캡쳐된 지리적 메타데이터의 향상 방법
CN104584536A (zh) 显示控制装置、显示控制系统以及显示控制方法
US10972811B2 (en) Image processing device and image processing method
JP4939465B2 (ja) コンテンツ編集装置及びその方法並びにコンテンツ編集プログラム
US20160100110A1 (en) Apparatus, Method And Computer Program Product For Scene Synthesis
JP2011250095A (ja) 電子機器、映像編集方法及びプログラム
JP2014017779A (ja) 編集装置、編集方法、プログラム、および記録媒体
US9600160B2 (en) Image processing device, image processing method, and program
JP6632360B2 (ja) 情報処理装置
JP6217221B2 (ja) コンテンツ再生方法、装置及びプログラム
JP7342087B2 (ja) 映像作成プログラム
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
JP6354624B2 (ja) 動画撮像システム、情報処理端末、動画確認方法及びプログラム
KR20180053221A (ko) 전자 장치 및 그의 제어 방법
US11523061B2 (en) Imaging apparatus, image shooting processing method, and storage medium for performing control to display a pattern image corresponding to a guideline
JP6492783B2 (ja) 動画撮像システム、情報処理端末、動画確認方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

LAPS Cancellation because of no payment of annual fees