JP5955035B2 - 映像生成装置及びその制御方法 - Google Patents

Description

本発明は、映像を生成する映像生成装置及びその制御方法に関する。

近年、静止画・動画などの素材映像からシーンの選択や構成や削除、エフェクトやトランジションの付与など映像生成を行い、見栄えの良い映像を生成したいというニーズが高まっている。しかし、映像生成に不慣れなユーザにとっては、シーンの選択やシーンの構成や削除、エフェクトやトランジションの指定等の作業が困難だという問題がある。
そこで、映像を全自動または半自動で編集するツールが開発されている。このうち全自動で映像を生成するものでは、入力として編集対象の素材映像とユーザが指定したテンプレートを受け取るだけで、映像生成を行い、映像を生成するものがある。
例えば特許文献１では、テンプレートに、使用する素材映像の条件と順序および付与するエフェクト・トランジションの情報が記載されている。素材映像の特徴量とテンプレートに記載された使用する素材映像の条件とを照らし合わせる。条件が一致した素材映像を指定順に並べ、指定されたエフェクト・トランジションを付与することにより映像を生成する。また、特許文献２では、編集対象の素材映像にあらかじめつけられたテーマと一致するテーマが付与されたテンプレートを選択し、映像を生成する。
半自動で映像を生成するものでは、使用素材映像の候補をユーザに示すものがある。特許文献３では、ユーザによってＮ番目に選択された素材映像の特徴量とその他の素材映像の特徴量の関連性から、各素材映像のＮ＋１番目に配置すべきか否かを示す推薦度を算出する。算出された推薦度に基づき、ユーザにＮ＋１番目に配置すべき素材映像の候補を提示し、ユーザに選択させる。

特許第４４２４３８９号 特許第４３４３０２７号 特開２０１１−３０１５９号公報

上記特許文献１、２は、ユーザがテンプレートを指定している。しかし、テンプレートが使用する素材の条件に合致する素材が、編集する映像中に存在しない、テンプレートが意図した映像を生成できない場合があった。また、テーマに基づきテンプレートを指定することも行われている。しかし、この場合、素材映像の構図などの特徴量を考慮に入れていないため、素材映像に合った映像が生成されない場合があった。
また、上記特許文献３の半自動の手法では、隣り合った素材映像の特徴量の相関しか見ていない。そのため、複数のカットで構成されストーリー性のあるシーンを持つ映像を自動生成できない。尚、ここでカットとは、映像中の連続的に撮影されている区間のことである。また、シーンは、複数のカットで構成され、一つの意味やストーリーを持つ塊である。
上記課題を鑑みて、本発明は、ユーザが所望する素材に合いかつ並び順のある複数シーンを持つ映像を容易に生成する映像生成装置を実現することを目的とする。

上記の目的を達成するための本発明の一態様による映像生成装置は以下の構成を備える。すなわち、複数の映像から、少なくとも１つの映像を第１の映像として選択する第１の映像選択手段と、前記第１の映像の特徴量を取得する特徴量取得手段と、複数の映像の中から複数の映像を選択し、接続するための選択条件を含む選択条件セットを複数保持する保持手段に保持された複数の前記選択条件セットの中から、前記取得された特徴量に基づいて、選択条件セットを選択する選択条件選択手段と、前記選択された選択条件セットに含まれる選択条件に基づき、前記複数の映像から複数の第２の映像を選択する第２の映像選択手段と、前記第１の映像及び複数の前記第２の映像を接続することで構成される１つの映像を生成する映像生成手段とを有し、前記選択条件セットには、前記映像生成手段によって生成される前記１つの映像における、前記第１の映像及び複数の前記第２の映像を接続する順序を規定する情報が含まれ、前記映像生成手段は、前記選択条件選択手段によって選択された選択条件セットに含まれる前記順序を規定する情報に基づく順序で前記第１の映像及び複数の前記第２の映像が接続された１つの映像を生成することを特徴とする。

また、上記の目的を達成するための一態様による映像生成装置は以下の構成を備える。すなわち、複数の素材映像に対応する画像を表示する第１の表示エリアと、前記第１の表示エリアで表示された画像から選択された素材映像に対応する該素材映像を含む複数の映像の配置である映像列を複数生成する映像列生成手段と、前記第１の表示エリアで表示された画像から選択された複数の前記素材映像各々に対応する前記生成手段で生成された複数の映像列に対応する画像を表示する第２の表示エリアとを有する。

本発明によれば、ユーザ自身には映像編集の知識が豊かでは無かったとしても、ユーザの所望する素材の特徴を効果的に利用した複数シーンを持つ映像を容易に生成することが可能となる。

映像生成装置のハードウェア構成図 映像生成装置の機能ブロック図 素材映像のデータ構成を表す概念図 選択条件列から生成される映像の具体例の各カットのサムネイル 選択条件列のデータ構成を表す概念図 映像生成処理装置の処理のフローチャート 映像生成装置のＵＩ画面 選択条件列選択処理のフローチャート 第２の素材映像選択処理のフローチャート 映像生成処理装置の構成図 映像生成処理装置の機能ブロック図 第２の素材映像選択処理のフローチャート 映像生成処理装置の機能ブロック図 映像加工処理内容の概念図 映像加工処理加工情報のテーブル 第２の素材映像選択処理のフローチャート 映像生成装置のＵＩ操作に応じた処理のフローチャート 映像生成装置の編集画面の構成を示す図 映像生成装置の構成を示す図 映像生成処理を示すフローチャート 複数の選択条件列を示す図 ユーザ選択映像を入れ替えた際の映像生成装置の編集画面の構成を示す図

（実施形態１）
図に基づいて実施形態１の説明を行う。図１は、本実施形態を実現する映像生成装置のハードウェアの概略を示した図である。

ＣＰＵ１０１は、各構成の全ての処理にかかわり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。後述するフローの処理もＣＰＵ１０１で行われる。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。

記録媒体１０４は、画像データなどを記憶するハードディスク、ＣＦカード、ＳＤカード、ＵＳＢメモリ、メモリーカードなどである。入力装置１０５は、タッチスクリーンなどの入力機器であり、ユーザからの指示を受け取る。出力装置１０６は、一般的には液晶ディスプレイが広く用いられており、画像や文字の表示を行う。また、タッチパネル機能を有していても良く、その場合は、入力装置１０５として扱うことも可能である。

図７に、本実施形態における映像生成装置のＵＩ画面を示す。ウインドウ７０１は、本実施形態における映像生成装置のＵＩ画面である。エリア７０２には、素材映像のサムネイル７０３の一覧が表示される。サムネイル７０４は、ユーザが使用してほしいと選択した素材映像のサムネイルで、選択されると枠が太くなる。

ボタン７０５は、本実施形態における映像生成処理を開始する映像生成開始ボタンである。エリア７０６は、本実施形態における映像生成処理の処理結果である映像を再生する表示エリアである。ボタン７０７は、本実施形態における映像生成処理の処理結果である映像の再生を開始する再生ボタンである。

図２に、機能ブロック図を示す。尚、各部の処理の詳細については後述する。ここでは、素材映像２０１は、静止画および動画データであるとして説明する。

図３に素材映像２０１のデータ構造を示す。素材映像２０１のデータ構造は、撮影情報３０１と映像データ３０２からなるＥＸＩＦフォーマットとなっている。撮影日時は、カメラ内の時計のデータを取得すればよい。絞りや焦点距離はレンズ情報を取得すればよい。カメラ姿勢は、カメラに搭載されたジャイロセンサーが検出した値を取得すればよい。

引き続き図２に基づき、実施形態１の説明を行う。映像生成装置２０２は、本実施形態における映像生成装置である。第１の素材映像選択部２０３は、ユーザが指定した素材映像を第１の素材映像として選択する。尚、本実施形態では、第１の素材映像２０３をユーザが直接指定しているが、ユーザが選択条件として素材映像が持つ特徴量を指定し、指定された選択条件に基づき、第１の素材映像を選択してもよい。

ここで特徴量とは、素材映像の各種特徴を表す情報であり、素材映像についているＥＸＩＦから取得するか、素材映像を解析した結果から取得する。ＥＸＩＦからは、撮影日時、撮影機器名、解像度、撮影方向、シャッタースピード、絞り、ＩＳＯ感度、測光モード、焦点距離、ＧＰＳ情報などが取得できる。また、解析は、顔検出、人物認識、視線検出を用い、顔の数、顔のサイズ、人物認識、視線方向の特徴量を取得できる。尚、他の解析を用いて、特徴量を取得してもよい。例えば、音声検出や笑顔検出などを用いてもよい。また、特徴量は、その都度解析処理を行い取得してもよいし、予め取得しておき素材映像に対応づけて記録媒体１０４に記録しておいてもよい。

特徴量取得部２０４は、第１の素材映像の特徴量を取得する。編集パターンを表わすデータである選択条件列２０５は、少なくとも映像の各カットで使用する素材映像の選択条件および素材の並び順を定義する配置位置の情報が記載され、記憶媒体１０４に、複数の選択条件列２０５が記録されている。選択条件は、後述するが、例えば、撮影場所や顔の数、顔の大きさなどである。

図４に選択条件列を適用することにより生成される映像の具体例を示す。図４（ａ）は、被写体のアクションリアクションを効果的に表現する編集パターンの一つである。カット４０１は、撮影場所の状況を説明するための撮影場所のロングショットである。二番目のカット４０２は、被写体が何かを見上げているカットである。三番目のカット４０３は、カット４０２で被写体が見上げている月のカットである。四番目のカット４０４は、被写体の感情を表すための被写体のクローズアップのカットである。

図４（ｂ）は、登場人物の紹介などで使用できる編集パターンである。カット４１１は、集合写真のカットである。カット４１２、カット４１３、カット４１４は、カット４１１に登場した人物の紹介するためのカットである。

図４（ｃ）は、カット間で視線方向を一致させることにより、自然な映像を実現するための編集パターンである。カット４２１は、ＡとＢが向かい合っているロングショットである。カット４２２は、Ａがカット４２１と同じ方向を見ているカットである。カット４２３は、Ｂがカット４２１と同じ方向を見ているカットである。尚、これらは一例であり、これに限るものではない。

図５に、選択条件のデータ構造を示す。テーブル５０１は、素材映像の選択条件である。ＣｈｅｃｋＦｌａｇの項目５０２は、後述する処理において第１の素材映像の特徴量を持つか否かを判定する選択条件を決める項目である。値が１の選択条件については判定を行う。詳細は後述する。

Ｐｏｓｉｔｉｏｎの項目５０３は、各カットの時間的な表示位置を表す。Ｓｔａｒｔはカットの開始時間を、Ｅｎｄはカットの終了時間を表す。単位はｍｓｅｃである。Ｃｏｎｄｉｔｉｏｎの項目５０４は、素材映像を選択するための条件であり、選択される素材映像が持つべき特徴量について記載されている。例えば、Ｌｏｃａｔｉｏｎは、撮影場所である。ＶａｌｕｅをＣｕｔ４と同じに値を持つものとしたい場合は、値に“Ｃｕｔ４”を設定する。ＦａｃｅＮｕｍｂｅｒは顔の数である。ＦａｃｅＳｉｚｅ顔の大きさである。Ｌｉｎｅ ｏｆ Ｓｉｇｈｔ視線方向である。Ｅｌｅｖａｔｉｏｎ ｏｆ Ｃａｍｅｒａは、カメラの仰角方向である。３０以上の値を指定したい場合は、“３０＜“と不等号を加えて記載する。尚、これら選択条件の記載方法は一例であり、これに限るものではない。

テーブル５０５は、エフェクトの情報が記載されたテーブルである。Ｅｆｆｅｃｔ Ｔｙｐｅの項目５０６は、エフェクトの種類を表す。Ｂｌｕｒはぼかしのエフェクト、Ｔｒａｎｓｆｏｒｍは拡大・縮小・移動・回転の基本変形のエフェクトである。尚、他のエフェクトを使用してもよい。Ｐｏｓｉｔｉｏｎの項目５０７は、エフェクトを付与する範囲を表す。Ｓｔａｒｔはエフェクトの開始位置、Ｅｎｄはエフェクトの終了位置を表す。単位はｍｓｅｃである。Ｐａｒａｍｅｔｅｒの項目５０８は、エフェクトのパラメタを表す。例えばＴｙｐｅの項目は、パラメタの種類を表す。Ｖａｌｕｅの項目は、パラメタの値を表す。Ｔｉｍｅの項目は、パラメタの値が時間によって変化していく場合に、Ｖａｌｕｅの項目の値が、どの時間のものかを表す。

テーブル５０９は、トランジションの情報が記載されたテーブルである。Ｔｒａｎｓｉｔｉｏｎ Ｔｙｐｅの項目５１０は、トランジションの種類を表す。Ｂｌａｃｋ Ｏｕｔ Ｉｎはブラックアウト・インのトランジション、Ｃｒｏｓｓ Ｆａｄｅはクロスフェードのトランジションである。尚、他のトランジションを使用してもよい。Ｐｏｓｉｔｉｏｎの項目５１１は、トランジションを付与する範囲を表す。Ｓｔａｒｔはトランジションの開始位置、Ｅｎｄはトランジションの終了位置を表す。

この３つのテーブル５０１、５０５、５０９を一組で選択条件列とし、記録媒体１０４に複数の編集パターンが記録されている。尚、編集パターンのデータ構造を示したが、これは一例であり、これに限るものではない。例えば、テーブル５０１だけでもよい。

引き続き図２に基づき、実施形態１の説明を行う。選択条件列選択部２０６は、ＣｈｅｃｋＦｌａｇの項目５０２が１の選択条件に、第１の素材映像の特徴量を含む選択条件列を選択する。

尚、ここで述べた選択条件列の選択方法は一例であり、これに限るものではない。例えば、すべての選択条件で判定を行い、どれか一つでも満たされる選択条件列を選択してもよい。また、選択条件列の各々の条件列を満たす素材映像がすべて存在する選択条件列を選択してもよい。

複数の選択条件列が選択可能な場合、ユーザが選択してもよいし、選択条件列に予め付与した優先度に基づき優先度が高い選択条件列を選択してもよい。

優先度は、選択条件列の選択履歴から、選択頻度、選択間隔、配置を判定し、判定結果に基づき、変更してもよい。例えば、同一の選択条件列が連続して選択された際は、選択条件列の優先度を下げる。

また、ユーザから生成結果の映像のカット切り替えのテンポの速さやＢＧＭの曲調などの雰囲気を表すテーマ情報を受け取り、テーマ情報毎に優先度を設定してもよい。例えば、テンポが早めのテーマ情報の場合、カット数が多くこまめに切り替わるような選択条件列の優先度をあげる。

また、選択条件列を適用し生成される映像が、生成結果の映像の時間的にどの位置に配置されるのかに基づいて、優先度を設定してもよい。例えば、序盤に配置される場合は、登場人物の紹介する図４の（ｂ）のような選択条件列の優先度をあげる。

第２の素材映像選択部２０７は、選択された選択条件列２０５の選択条件に基づき、第２の素材映像を選択する。映像生成部２０８は、第１および第２の素材映像を、選択された選択条件列２０５に基づき並べ映像２０９を生成し、記録媒体１０４に記録するか、出力装置１０６に出力する。尚、第１の素材映像が複数選択されていた場合、ユーザが指定した順に第１の素材映像が並ぶように、映像を生成する。尚、これは一例であり、これに限るものではない。例えば、第１の素材映像が、撮影日時順に並ぶように映像を生成してもよい。

図１７に、実施形態１における映像生成装置のＵＩ操作に応じた処理のフローチャートを示す。ステップＳ１７０１で、電源が起動されるとウインドウ７０１が表示される。ステップＳ１７０２で、入力装置１０５に入力されたユーザ入力を取得する。ステップＳ１７０３で、ユーザ入力が電源オフか否か判定する。ステップＳ１７０３で、ユーザ入力が電源オフではなかった場合、ステップＳ１７０４でユーザ入力が素材映像選択操作か否か判定する。ステップＳ１７０４で、ユーザ入力が素材映像選択操作だった場合、ステップＳ１７０５で、選択された素材のサムネイルの枠を太く表示し、ステップＳ１７０２で、ユーザ入力取得へ移行する。

ステップＳ１７０４で、ユーザ入力が素材映像選択操作ではない場合、ステップＳ１７０６で、ユーザ操作が映像生成開始ボタン押下か否かを判定する。ステップＳ１７０６で、ユーザ操作が映像生成開始ボタン押下の場合、ステップＳ１７０７で、映像生成処理を開始し、ステップＳ１７０２で、ユーザ入力取得へ移行する。映像生成処理の詳細は後述する。

ステップＳ１７０６で、ユーザ操作が映像生成開始ボタン押下ではない場合、ステップＳ１７０８で、ユーザ操作が映像再生ボタン押下か否かを判定する。ステップＳ１７０８で、ユーザ操作が映像再生ボタン押下の場合、ステップＳ１７０７の直前の映像生成処理で生成した映像をステップＳ１７０９で再生する。ステップＳ１７０９で、ユーザ操作が映像再生ボタン押下ではない場合、ステップＳ１７０２で、ユーザ入力取得へ移行する。ユーザ入力が電源オフだった場合、ステップＳ１７０３で終了する。

図６に、実施形態１における映像生成装置の映像生成処理ステップＳ１７０６のフローチャートを示す。映像生成処理が開始すると、ステップＳ６０１で、ユーザ入力を受け取る。入力の取得Ｓ６０１で取得したユーザ入力に基づき、ステップＳ６０２で、ユーザが選択した素材を第１の素材として選択する。ステップＳ６０３で、第１の素材映像の特徴量に基づき選択条件列を取得する。尚、選択条件列選択処理の詳細については後述する。ステップＳ６０４で、選択された選択条件列に基づき、第２の素材映像を選択する。尚、選択条件選択処理の詳細については後述する。

ステップＳ６０５で、すべての第１の素材映像の選択条件列を選択したか否かを判定する。ステップＳ６０５で、すべての第１の素材映像の選択条件列を選択していないと判定した場合、ステップＳ６０２で、次の第１の素材映像選択処理へ移行する。ステップＳ６０５で、すべての第１の素材映像の選択条件列を選択したと判定した場合、映像生成処理を行う。映像生成処理は、選択された第１および第２の素材映像を、選択された選択条件列に基づき並べ映像を生成し、記録媒体１０４へ記録し、映像生成処理を終了する。

図８は、ステップＳ６０３の選択条件選択処理のフローである。ステップＳ８０１で、第１の素材映像の特徴量を取得する。選択条件列のＣｈｅｃｋＦｌａｇの項目５０２が、１となっている選択条件を、判定対象の選択条件としてステップＳ８０２で取得する。判定対象となる選択条件に、第１の素材映像の特徴量が含まれるかステップＳ８０３で判定する。ステップＳ８０３で、第１の素材映像の特徴量が含まれないと判定された場合、ステップＳ８０２で、次の選択条件列の判定対象となる選択条件を取得する。ステップＳ８０３で、第１の素材映像の特徴量が含まれると判定された場合、選択する選択条件列として判定し、ステップＳ８０４で、選択条件列選択処理を終了する。

図９に、図６のステップＳ６０４の第２の素材映像選択処理のフローを示す。第２の素材映像選択処理が開始すると、ステップＳ６０３で選択した選択条件列をステップＳ９０１取得する。選択条件列から、ステップＳ７０２で第１の特徴量を含むと判定された選択条件以外の選択条件をＳステップＳ９０２取得する。ステップＳ９０３で素材映像の特徴量を取得する。

ステップＳ９０４で選択条件に、素材映像の特徴量が含まれるか判定する。ステップＳ９０４で素材映像の特徴量が含まれると判定した場合、ステップＳ９０５で第２の素材映像と判定する。ステップＳ９０６ですべての素材映像のチェックを終えたか判定する。ステップＳ９０６で、すべての素材映像をチェックしていないと判定した場合、ステップＳ９０３で次の素材映像の特徴量を取得する。

ステップＳ９０６で、すべての素材映像をチェックしたと判定した場合、ステップＳ９０７で、第２の素材映像と判定された素材映像の中から、第１の素材映像と撮影日時が最も近いものを第２の素材映像と選択する。

尚、これは一例でありこれに限るものではない。例えば、一番初めに第２の素材映像と判定された素材映像を、第２の素材映像としてもよい。

また、素材映像の特徴量に重みづけを行い各素材映像の優先度を算出し、優先度が高い素材映像を第２の素材映像として選択してもよい。ステップＳ９０８で、すべての選択条件をチェックしたか否かを判定する。ステップＳ９０８で、すべての選択条件をチェックしていないと判定された場合、ステップＳ９０２で、次の選択条件を取得する。ステップＳ９０８で、すべての選択条件をチェックしたと判定された場合、第２の素材映像選択処理を終了する。

ステップＳ６０６で、選択された全ての素材映像をつなげることで、編集された編集映像を生成する。選択条件列と選択条件列の接続に関しては、ここでは順番につなげることとするが、選択条件列に予め順番を持たせてもよいし、つなぎ目の素材映像に応じて順序を決定してもよい。

このように構成し処理することにより、容易に素材に合いかつ並び順のある複数シーンを持つ映像を生成することが可能となる。

また、編集映像は、全ての素材映像がユーザによって選択したものではなく、ユーザが選択した画像から自動的に画像が選択されるので、ユーザの操作回数を減らすことができる。

（実施形態２）
図に基づいて実施形態２の説明を行う。尚、実施形態１に準ずる箇所は説明を割愛する。

図１０に、実施形態２における映像生成装置の構成図を示す。ネットワークＩ／Ｆ１００１は、ネットワーク１００２を介して、外部にある素材映像サーバ１００３から画像データ情報を受信したりするための通信制御を行う。

図１１に、実施形態２における映像生成装置の機能ブロック図を示す。第２の素材映像選択部１１０１は、記録媒体１０４に格納されている素材映像２０１に選択条件を満たす素材映像がなかった場合、外部素材映像検索部１１０３で、ネットワーク１００２を介し外部の素材映像サーバ１００３の素材映像を検索する。

図１２に、実施形態２における近傍素材選択処理のフローチャートを示す。ステップＳ１２０１で、第２の素材映像が記録媒体１０４にないか否かを判定する。ステップＳ１２０１で、第２の素材映像が記録媒体１０４にない場合、ステップＳ１２０２で、選択条件に基づき素材映像サーバ１００３を検索する。ステップＳ１２０３で、選択条件を満たす素材映像が素材映像サーバ１００３にあるか否かを判定する。ステップＳ１２０３で、選択条件と一致する素材映像が素材映像サーバ１００３にあった場合、ステップＳ１２０４で、素材映像サーバの素材映像を第２の素材映像として判定する。

このように構成することにより、素材映像に選択条件を満たす素材映像がない場合であっても、容易に素材に合いかつ並び順のある複数シーンを持つ映像を生成することが可能となる。

（実施形態３）
図に基づいて実施形態３の説明を行う。尚、実施形態１および２と共通する箇所については説明を割愛する。

図１３に実施形態３における映像生成装置の機能ブロック図を示す。第２の素材映像選択部１３０１は、素材映像２０１の特徴量が選択条件と一致しなかった場合、映像加工部１３０２で、選択条件を満たすように素材映像に映像加工を施し、第２の素材映像として選択する。

尚、加工後の素材映像は、新たに作成し、不要になった時点で廃棄する。また、加工できるか否かの判定は、加工元の素材映像の条件である加工元素材映像条件と加工処理内容を、あらかじめ選択条件と対応付けたテーブルを用意しておき、テーブルを参照することによって判定する。

図１４に映像加工部１３０２の処理結果の一例を示す。素材映像１４０１および素材映像１４０４は、映像加工前の素材映像である。領域１４０２および領域１４０５は、素材画像１４０１および素材画像１４０４をそれぞれ切り取ったクロップ領域である。１４０３および１４０６は、映像加工後の素材映像である。このような映像加工を施すことにより、ロングショットの素材映像から、クローズアップの素材映像を生成することができる。

図１５に実施形態３における加工元の素材映像の条件と加工処理内容と選択条件と対応づけテーブルを示す。Ｃｏｎｄｉｔｉｏｎの項目１５０１は、選択条件である。ＢａｓｅＣｏｎｄｉｔｉｏｎの項目１５０２は、加工元の素材映像の条件である。ＥｄｉｔｉｎｇＦｕｎｃｔｉｏｎの項目１５０３は、加工処理内容である。尚、これは一例であり、これに限るものではない。

図１６に実施形態３における近傍素材選択処理のフローチャートを示す。ステップＳ１６０１は、選択条件に対応した加工元素材映像の条件である条件１５０２を取得する。ステップＳ１６０２で、素材映像の特徴量が、加工元素材映像の条件１５０２を含むか判定する。ステップＳ１６０２で、素材映像の特徴量が、加工元素材映像の条件１５０２を含む場合、ステップＳ１６０３で、加工条件１５０３を取得する。ステップＳ１６０４で、取得した加工条件に基づき、素材映像を加工する。

このように構成し処理することにより、素材映像の特徴量が選択条件と一致しない場合であっても、容易に素材映像に合いかつ並び順のある複数シーンを持つ映像を生成することが可能となる。

（実施形態４）
次に、上記実施形態１〜３で説明した映像生成装置の編集画面の実施形態を説明する。

図１８は、映像生成装置の編集画面の構成を示す図であり、図１の出力装置１０６に該当する。図１９は、本実施形態の映像生成装置の編集画面の構成を示す図である。

表示装置１１は、映像編集を行い、図１８に示す編集画面を表示する。表示装置１９１１は、液晶ディスプレイやＣＲＴで構成され、ユーザが選択操作する際の表示、映像生成装置が提示する映像列の候補の表示などを行う。コンピュータ１９１２は、図示しないが、更に素材映像選択手段、映像列生成手段、映像生成手段等を有し、映像編集を行うプログラムを実行し、前述のフロー及び後述の図２０の処理の制御を行う。マウス１９１３は、ユーザの選択操作を行う操作手段である。

記憶媒体１９１４は、図１の１０４に該当し複数の選択条件の配置が記述された選択条件列が複数記録されている。選択条件は、編集を行う際に用いる静止画または動画からなる素材映像や、映像生成装置が提示する映像列の候補を生成するための素材映像を選択するための条件である。また、映像編集を行うプログラムが記録されている。インターネット回線１９１５は、インターネット上のサーバーにある素材映像を、インターネット回線１９１５を介して記録媒体１４に保存し、映像編集に用いることもできる。

図２０は、映像生成処理を示すフローチャートである。

図１８の編集画面の構成を示す図と、図２０のフローチャートを用いて、動作を説明する。映像生成処理が開始すると、ステップＳ２００１で、記録媒体１９１４に記憶されている素材映像を読み込む。次に、編集画面の素材映像表示エリア１８２０に表示するための素材映像の表示用画像として、ステップＳ２００２で、素材映像表示エリアに生成した素材映像の表示用画像を表示する。

ユーザは編集画面の素材映像表示エリア１８２０（第１の表示エリアとも呼ぶ）に選択可能に表示された複数の素材映像の表示用画像１８２１の中から、マウス１９１３の左ボタンでクリックすることで素材映像選択手段がユーザ選択映像を選択する。映像生成装置は、ステップＳ２００３で、ユーザ選択映像の入力を検出し、ステップＳ２００４で、編集画面のユーザ選択映像表示エリア１８３０にユーザにより選択されたユーザ選択映像の表示用画像１８３１を表示する。

ユーザが素材映像表示エリア１８２０から映像編集に使用したい素材映像を順にマウス１９１３で選択することで、ステップＳ２００３からステップＳ２００４の処理を繰り返し、複数のユーザ選択映像の表示用画像１８３１〜１８３３がユーザ映像表示エリア１８３０（第３の表示エリアとも呼ぶ）に表示される。

映像処理装置は、ユーザ選択映像１８３１〜１８３３について、ステップＳ２００５で、顔検出処理を行う。この顔検出処理では、顔の大きさを大、中、小に分類し、映っている人物の区別を検出する。次に、顔検出の結果を用いて、映像列の生成を行う。映像列とは、各々のユーザ選択映像に繋げて並べた映像のことで、ステップＳ２００５で検出した顔検出の結果を用いて、ステップＳ２００６で、映像列生成手段が、映像列を生成する。

映像列は、記憶媒体１９１４に記憶された素材映像の選択条件と選択した素材映像の配置の条件を記述した選択条件列に基づいて生成される。図２１に示すような配置順と選択条件が記述された選択条件列が複数用意されており、ユーザ選択映像に対して、どのような条件の素材映像を選択して、どのような配置順で映像列を生成するかが記述されている。

例えば、顔検出で分かったユーザ選択映像に映っている人物と同じ顔が映っている素材映像を選択し、その中から顔が小さい素材映像を１番目に、ユーザが選択したユーザ選択映像を２番目に、顔が大きい素材映像を３番目に並べ、これらを繋げて映像列とする。このようにして、素材映像の選択条件と選択された素材映像の配置の条件に基づいて、選択された素材映像毎に複数の映像列を生成する。

次に、編集画面の映像列選択エリア１８４０（第２の表示エリアとも呼ぶ）に、ユーザ選択映像１８３１〜１８３３の各々について、それに対応する複数の映像列として、ステップＳ２００７で、１−Ａ、１−Ｂ、１−Ｃと２−Ａ、２−Ｂ、２−Ｃと３−Ａ、３−Ｂ、３−Ｃの表示用画像列を配置して表示する。

映像列選択エリアに表示する映像列の表示用画像列は、素材映像のサムネイル画像を配置順に従って並べてもよいし、素材映像が静止画と動画で構成されている場合は、動画についてはサムネイル画像ではなく、動画を縮小した動く縮小画像を並べて表示しても良い。映像列の生成及び表示のタイミングは、ここでは全ての素材映像を選択してからとしたが、素材映像が選択されるたびに、対応する素材映像の映像列の生成及び表示をするようにしてもよい。

次に、ユーザは編集画面の映像列選択エリア１８４０の複数の映像列１−Ａ、１−Ｂ、１−Ｃの中から、マウス１９１３の左ボタンでクリックすることで、ユーザ選択映像１８３１に対応するユーザ選択映像列を選択する。映像生成装置は、ステップＳ２００８で、ユーザ選択映像列の入力を検出し、ステップＳ２００９で、編集画面のユーザ選択映像表示エリア１８３０にユーザにより選択されたユーザ選択映像列１−Ｂの表示用画像列を表示する。

同様にして、ユーザは、ユーザ選択映像３２に対応するユーザ選択映像列を、複数の映像列２−Ａ、２−Ｂ、２−Ｃ の中から、ユーザ選択映像３３に対応するユーザ選択映像列を、複数の映像列３−Ａ、３−Ｂ、３−Ｃ の中から選択する。

このようにして選択されたユーザ選択映像列１−Ｂ、２−Ｃ、３−Ａは、映像列配置指定エリア１８５０（第４の表示エリアとも呼ぶ）に順に表示される。ユーザ選択映像列を変更したい場合は、映像列配置指定エリア１８５０内の変更したいユーザ選択映像列をマウス１９１３の左ボタンを押したままドラックして、並べ替えたい位置に移動し、左ボタンを離してドロップすればよい。

映像生成装置は、ステップＳ２０１１で、ユーザ選択映像列の配置の入力を検出し、ステップＳ２０１２で、ユーザ選択映像列の表示用画像列を再配置表示する。ステップＳ２０１３で、映像生成手段がユーザ操作により指定された映像列を繋いで映像を生成し、ステップＳ２０１４で、編集画面の編集結果表示エリア１８６０に表示する。編集結果表示エリア１８６０の下部には左から早戻し、停止、再生、早送りボタンが配置されており、このボタンを操作することで、編集結果をプレビューすることができる。

以上のように、素材映像からユーザ選択映像を選択すると、各々のユーザ選択映像に繋げて並べた映像列が複数提示され、その中から映像列を選択することが可能となるので、編集作業を容易にすることが出来る。

また、各表示エリアを同一画面上に表示することにより、表示画面を切り替えることなく、ドラックアンドドロップで操作可能となり、操作性がよい。

なお、本実施例では、ユーザ選択映像を選択する際、素材映像表示エリア１８２０の中から、マウス１９１３の左ボタンでクリックして選択する例を示したが、いったん選択したユーザ選択映像を入れ替えたい場合は、以下のようにする。図１８のユーザ選択映像表示エリア１８３０に表示されているユーザ選択映像の中から、削除したいユーザ選択映像１８３１をマウス１９１３の右ボタンでクリックすると削除することが出来る。

次に、入れ替えたいユーザ選択映像を素材映像表示エリア１８２０の中から、マウス１９１３の左ボタンでクリックして選択する。そうすると、図２２に示すように、新たに選択されたユーザ選択映像１８３４が、ユーザ選択映像表示エリア１８３０の中の、削除したユーザ選択映像１８３１のあった位置に入れ替わって配置される。これに連動して、映像列選択エリア１８４０の映像列１−Ａ、１−Ｂ、１−Ｃが、ユーザ選択映像４１に対応した映像列４−Ａ、４−Ｂ、４−Ｃに置き換わる。

更に、映像列配置指定エリア１８５０内のユーザ選択映像列１−Ｂが、４−Ｂに置き換わる。このため、ユーザ選択映像１８４１に対応した映像列が映像列選択エリア内に表示されている２番目の４−Ｂのままでよい場合は、ユーザが映像列を再度選択する操作が省ける。

また、本実施形態では、選択条件列に記述されている選択条件の例として、顔検出での結果を用いる例について述べたが、選択条件としては、撮影日時、ＧＰＳ情報で得られた場所等でもよく、顔検出での結果に限定されるものではなく、また、これらを複合させたものでもよい。

以上説明したように、ドラック＆ドロップで選択するだけでユーザの所望する素材に合いかつ配置のある複数シーンを持つ映像を容易に生成することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (20)

1. 複数の映像から、少なくとも１つの映像を第１の映像として選択する第１の映像選択手段と、
   前記第１の映像の特徴量を取得する特徴量取得手段と、
   複数の映像の中から複数の映像を選択し、接続するための選択条件を含む選択条件セットを複数保持する保持手段に保持された複数の前記選択条件セットの中から、前記取得された特徴量に基づいて、選択条件セットを選択する選択条件選択手段と、
   前記選択された選択条件セットに含まれる選択条件に基づき、前記複数の映像から複数の第２の映像を選択する第２の映像選択手段と、
   前記第１の映像及び複数の前記第２の映像を接続することで構成される１つの映像を生成する映像生成手段と
   を有し、
   前記選択条件セットには、前記映像生成手段によって生成される前記１つの映像における、前記第１の映像及び複数の前記第２の映像を接続する順序を規定する情報が含まれ、
   前記映像生成手段は、前記選択条件選択手段によって選択された選択条件セットに含まれる前記順序を規定する情報に基づく順序で前記第１の映像及び複数の前記第２の映像が接続された１つの映像を生成することを特徴とする映像生成装置。
2. 前記選択条件セットには、前記映像生成手段によって生成される１つの映像を構成する複数の映像の各々に関して規定される選択条件を含むことを特徴とする請求項１に記載の映像生成装置。
3. 前記選択条件セットには、さらに、前記映像生成手段によって生成される１つの映像を構成する複数の映像の各々に関して規定される映像効果に関する情報を含むことを特徴とする請求項２に記載の映像生成装置。
4. 前記映像生成手段は、前記第１の映像及び複数の前記第２の映像と、前記選択された選択条件セットに含まれる前記映像効果に関する情報に基づいて、前記第１の映像及び複数の前記第２の映像を接続することで構成される１つの映像を生成することを特徴とする請求項３に記載の映像生成装置。
5. 前記選択条件選択手段は、複数の前記選択条件セットのうち、前記複数の映像の各々に関して規定される選択条件のすべてが、前記複数の映像に含まれる映像によって満たされる選択条件セットを選択すること、
   を特徴とする請求項２に記載の映像生成装置。
6. 前記選択条件セットとは、前記選択条件が複数並べられた構造を有する１以上のテーブルから構成され、
   前記選択条件選択手段は、前記テーブルの予め定めた位置に格納された選択条件に、前記選択された特徴量を含む前記選択条件セットを選択し、前記テーブルの予め定めた位置とは、前記順序における所定位置を表すことを特徴とする請求項１記載の映像生成装置。
7. 前記選択条件選択手段は、前記取得された特徴量に適合する選択条件を含む選択条件セットを選択することを特徴とする請求項１に記載の映像生成装置。
8. 前記選択条件選択手段は、前記取得された特徴量に適合する選択条件を含む選択条件セットが複数存在する場合、ユーザが指定した前記選択条件セットを選択することを特徴とする請求項１に記載の映像生成装置。
9. 前記選択条件選択手段は、選択可能な前記選択条件セットが複数存在する場合、前記選択条件セットに予め付与された優先度に基づき、前記優先度が高い前記選択条件セットを選択することを特徴とする請求項１に記載の映像生成装置。
10. 前記選択条件選択手段は、前記選択条件セットに含まれる選択履歴、テーマ情報、映像の時間的な配置位置に基づき前記優先度を設定することを特徴とする請求項９に記載の映像生成装置。
11. 前記第２の映像選択手段は、ネットワークを介し、外部装置に保持された映像を第２の映像として選択することを特徴とする請求項１に記載の映像生成装置。
12. 前記第２の映像選択手段は、前記選択条件に合うように、前記映像に映像加工を施し、前記第２の映像として選択することを特徴とする請求項１に記載の映像生成装置。
13. 前記第１の映像選択手段は、ユーザが選択した映像を前記第１の映像として選択することを特徴とする請求項１に記載の映像生成装置。
14. 前記第１の映像選択手段は、ユーザが指定した特徴量を持つ映像を前記第１の映像として選択することを特徴とする請求項１に記載の映像生成装置。
15. 前記映像生成手段は、前記第１の映像が複数選択された場合、前記第１の映像及び複数の前記第２の映像が接続された１つの映像において、前記第１の映像をユーザが指定した順に並べた上で、前記第２の映像と接続することで前記映像を生成することを特徴とする請求項１に記載の映像生成装置。
16. 前記映像生成手段は、前記第１の映像が複数選択された場合、前記第１の映像及び複数の前記第２の映像が接続された１つの映像において、前記第１の映像を撮影日時順に並べた上で、前記第２の映像と接続することで前記映像を生成すること、
    を特徴とする請求項１に記載の映像生成装置。
17. 表示手段を更に有し、
    該表示手段は、前記第１の映像選択手段で選択された映像を表示するユーザ選択映像表示エリアと、前記映像生成手段によって生成された映像列を複数表示する映像列選択エリアを有することを特徴とする請求項１に記載の映像生成装置。
18. 第１の映像選択手段が複数の映像から、少なくとも１つの映像を第１の映像として選択する第１の映像選択工程と、
    特徴量取得手段が前記第１の映像の特徴量を取得する特徴量取得工程と、
    複数の映像の中から複数の映像を選択し、接続するための選択条件を含む選択条件セットを複数保持する保持手段に保持された複数の前記選択条件セットの中から、前記取得された特徴量に基づいて、選択条件セットを選択条件選択手段が選択する選択条件選択工程と、
    前記選択された選択条件セットに含まれる選択条件に基づき、前記複数の映像から第２の映像選択手段が複数の第２の映像を選択する第２の映像選択工程と、
    映像生成手段が前記第１の映像及び複数の前記第２の映像を接続することで構成される１つの映像を生成する映像生成工程と
    を有し、
    前記選択条件セットには、前記映像生成手段によって生成される前記１つの映像における、前記第１の映像及び複数の前記第２の映像を接続する順序を規定する情報が含まれ、
    前記映像生成工程では、前記選択条件選択工程で選択された選択条件セットに含まれる前記順序を規定する情報に基づく順序で前記第１の映像及び複数の前記第２の映像が接続された１つの映像が生成されることを特徴とする映像生成装置の制御方法。
19. 請求項１８に記載の映像生成装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１９に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images