JP6019612B2

JP6019612B2 - 映像編集装置、テレビジョン受像機、および映像編集プログラム

Info

Publication number: JP6019612B2
Application number: JP2012038964A
Authority: JP
Inventors: 啓一新田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-24
Filing date: 2012-02-24
Publication date: 2016-11-02
Anticipated expiration: 2032-02-24
Also published as: JP2013175922A

Description

本発明は、映像編集装置、テレビジョン受像機、および映像編集プログラムに関する。

ビデオカメラで撮影された映像を、所定のシナリオにしたがって編集し、見栄えの良い編集映像を生成する映像編集装置が知られている（例えば、特許文献１参照）。

特開２０１０−２３２８１３号公報

特許文献１に開示される映像編集装置によると、一のビデオカメラで撮影された映像に何らかの映像障害が発生している間、他のビデオカメラで撮影された映像を挿入する技術が開示されている。しかしながら、他のビデオカメラで撮影された映像は補完的に用いられるに過ぎないため、主に一のビデオカメラで撮影された映像から生成された編集映像は、ユーザの撮影技量によっては単調になりやすいという問題がある。

請求項１に記載の映像編集装置は、記憶部に記憶された、場面構成を規定した編集用シナリオにしたがって、複数の映像の映像データを用いて編集映像を生成する映像生成部を備え、前記映像生成部は、前記編集映像に特定被写体が含まれる時間が、前記編集映像に他の被写体が含まれる時間よりも長くなるように前記編集映像を生成し、前記特定被写体の向きに基づいて前記特定被写体の位置を決定し、前記特定被写体の発話期間が、前記他の被写体の発話期間よりも短いと前記編集映像のフレーム画像数を変更する。
請求項１４に記載の映像編集プログラムは、記憶部に記憶された、場面構成を規定した編集用シナリオにしたがって、複数の映像の映像データを用いて編集映像をコンピュータに生成させる映像生成命令を備え、前記映像生成命令は、前記編集映像に特定被写体が含まれる時間が、前記編集映像に他の被写体が含まれる時間よりも長くなるように前記編集映像を前記コンピュータに生成させ、前記特定被写体の向きに基づいて前記特定被写体の位置を決定させ、前記特定被写体の発話期間が、前記他の被写体の発話期間よりも短いと前記編集映像のフレーム画像数を変更させる。

本発明による映像編集装置は、ユーザの撮影技量が編集映像の単調性に及ぼす影響を低減できる。

本実施の形態における映像編集装置と、映像編集装置に接続される周辺装置とを示す図である。映像解析部が、同じイベントを撮影した２台のビデオカメラからそれぞれ入力される２つの映像ファイルを解析して生成した記録データの一例を示す図である。編集映像生成部の構成を示す図である。編集処理部による編集映像の生成処理の一例を示す図である。編集映像の出力イメージの一例である。映像編集装置の編集映像生成部が行う映像編集処理フローを示す図である。主要被写体の横顔を含むクロップフレーム画像の一例を示す図である。

本発明の一実施の形態における映像編集装置について、図１〜７を用いて説明する。図１は、本実施の形態における映像編集装置１１０と、映像編集装置１１０に接続される周辺装置とを示す図である。

映像編集装置１１０は、映像解析部１１１と編集映像生成部１１２と主要被写体設定部１１３と映像再生部１１４と、記憶装置１１５とを含む。映像解析部１１１と編集映像生成部１１２と主要被写体設定部１１３と映像再生部１１４とは、ハードウェアまたはコンピュータプログラムのいずれによって実現されても良い。映像編集装置１１０に接続される周辺装置は、複数のビデオカメラ（撮影装置）１１０と入力装置１３０と表示装置１４０とを含む。

映像解析部１１１は、複数のビデオカメラ１２０から入力される複数の映像の映像データを解析する。入力される複数の映像の各々は、所定のフレームレートで生成される複数の単位フレーム画像によって構成される動画像である。映像解析部１１１は、単位フレーム画像に被写体が含まれるか否かを解析し、解析結果に基づいて後述するように記録データを生成する。単位フレーム画像に被写体が含まれるか否かは、例えば記憶装置１１５に予め保存された被写体の画像データを用いて単位フレーム画像に対するパターンマッチングを行うことによって判定される。映像解析部１１１は、入力された複数の映像の映像データを、それら複数の映像の各々について生成した記録データに対応付けて記憶装置１１５に保存する。

編集映像生成部１１２は、記憶装置１１５において、映像編集用シナリオのシナリオファイルと、編集対象となる複数の映像の映像データおよび記録データとを検索し、映像編集用シナリオにしたがって複数の映像から複数の場面を連ねた編集映像を生成する。映像編集用シナリオは、編集映像を生成するために規定された、複数の場面を所定の順序で所定の場面別収録時間ずつ連ねる場面構成を規定し、例えば特開２０１０−２３２８１３号公報に開示されるシナリオである。編集映像生成部１１２は、後述する主要被写体設定部１１３によって設定された主要被写体の情報に基づいて、シナリオファイルと映像データおよび記録データとを検索する。編集映像生成部１１２は、生成した編集映像の編集映像データを記憶装置１１５に保存する。編集映像生成部１１２は、生成した編集映像の編集映像データを後述する映像再生部１１４に引き渡すことにより、編集映像が表示装置１４０に表示されるようにしても良い。

主要被写体設定部１１３は、編集映像生成部１１２によって編集映像が編集される際、前もって入力装置１３０を介してユーザによって決定された主要被写体を、編集映像の主要被写体として設定する。例えば、記憶装置１１５に予め保存された画像データに基づいて人物の顔や全身の画像が表示装置１４０の画面に表示され、ユーザはその表示画面を見ながら、入力装置１３０を用いて１つの画像を選択する。主要被写体設定部１１３は、こうして選択された画像に対応する被写体を主要被写体として設定する。

映像再生部１１４は、記憶装置１１５に保存された編集映像を再生して表示装置１４０に表示する。上述したように、映像再生部１１４は、編集映像生成部１１２によって引き渡された編集映像を再生して表示装置１４０に表示しても良い。

記憶装置１１５は、映像編集用シナリオのシナリオファイルと、編集対象となる複数の映像の映像データおよび記録データとを記憶するとともに、編集映像生成部１１２によって生成された編集映像の編集映像データを記憶する。

図２は、映像解析部１１１が、例えば同じイベントを撮影した２台のビデオカメラ１２０からそれぞれ入力される２つの映像ファイルＦ１およびＦ２を解析して生成した記録データの一例を示す図である。図２（ａ）は映像ファイルＦ１に基づく記録データ２１０を示し、図２（ｂ）は映像ファイルＦ２に基づく記録データ２２０を示す。

記録データ２１０には、イベントの参加者である「花子」、「太郎」、「ヒロシ」、「よしこ」、および「観客」といった被写体の各々について、映像ファイルＦ１を構成する単位フレーム画像毎に各被写体の出現の有無、すなわち各被写体が単位フレーム画像に含まれているかいないかが記録されている。映像ファイルＦ１を構成する全ての単位フレーム画像のうち、各被写体が含まれる単位フレーム画像の枚数を映像解析部１１１が計数し、計数結果を記録データ２１０に含めることとしても良い。

記録データ２２０には、記録データ２１０と同じ被写体の各々について、映像ファイルＦ２を構成する単位フレーム画像毎に各被写体の出現の有無、すなわち各被写体が単位フレーム画像に含まれているかいないかが記録されている。映像ファイルＦ２を構成する全ての単位フレーム画像のうち、各被写体が含まれる単位フレーム画像の枚数を映像解析部１１１が計数し、計数結果を記録データ２２０に含めることとしても良い。

図３は、編集映像生成部１１２の構成を示す図である。編集映像生成部１１２は、検索処理部３１０とクロップ処理部３２０とリサイズ処理部３３０と編集処理部３４０とを含む。検索処理部３１０とクロップ処理部３２０とリサイズ処理部３３０と編集処理部３４０とは、ハードウェアまたはコンピュータプログラムのいずれによって実現されても良い。検索処理部３１０は、記憶装置１１５を参照し、主要被写体設定部１１３によって設定された主要被写体の情報に基づいて、映像編集用シナリオのシナリオファイルと、編集対象となる複数の映像の映像データおよび記録データとを検索する。

この検索処理について、編集対象となる複数の映像の映像データが例えば同じイベントを撮影した上述の映像ファイルＦ１およびＦ２であるとき、かつ主要被写体設定部１１３によってそのイベントの参加者である「太郎」が主要被写体として設定された場合を例に説明する。検索処理部３１０は、記憶装置１１５に保存されている複数のシナリオファイルの中から、そのイベントに応じた映像編集用シナリオのシナリオファイルを検索する。

記憶装置１１５に複数のシナリオファイルが保存されているときは、編集映像全体の収録時間において、編集映像を構成するフレーム画像に主要被写体「太郎」が出現する期間が、主要被写体と同じ種類（人物）の他の被写体、例えば他の被写体「花子」、「ヒロシ」および「よしこ」のそれぞれが出現する期間よりも長くなるような映像編集用シナリオに対応するシナリオファイルが検索される。編集映像を構成するフレーム画像のフレーム間隔が一定であるとき、主要被写体「太郎」が出現するフレーム画像数は、他の被写体「花子」、「ヒロシ」および「よしこ」のそれぞれが出現するフレーム画像数のいずれよりも多くなる。編集映像を構成する各フレーム画像が所定サイズ以上の被写体を含むとき、そのフレーム画像にその被写体が出現しているという。

検索処理部３１０は、記憶装置１１５に保存されている複数の記録データの中から、単位フレーム画像毎に出現の有無が記録されている被写体の中に「太郎」が含まれている記録データ２１０および２２０を検索する。検索処理部３１０は、記憶装置１１５に保存されている複数の映像の映像データの中から、記録データ２１０および２２０にそれぞれ対応付けられている映像ファイルＦ１およびＦ２を検索する。

クロップ処理部３２０は、検索処理部３１０によって検索されたシナリオファイルの映像編集用シナリオに沿った各場面を構成するフレーム画像を生成するために、検索処理部３１０によって検索された映像ファイルＦ１およびＦ２に含まれる単位フレーム画像に対してクロップ処理を行ってクロップフレーム画像を生成する。クロップ処理される対象の画像領域の位置および大きさは、検索処理部３１０によって検索された記録データ２１０および２２０とシナリオファイルとに基づいて、クロップ処理部３２０によって単位フレーム画像毎に決定される。クロップ処理が行われる単位フレーム画像は、検索処理部３１０によって検索された記録データ２１０および２２０と、シナリオファイルとに基づいて特定される。例えば主要被写体が、クロップフレーム画像上の略中央等の所定の位置を含む、クロップフレーム画像領域の一部である所定領域内に配置されるようにクロップ処理が行われる。編集映像を構成する各フレーム画像がこのようなクロップフレーム画像に基づいて生成されるとき、主要被写体はそのフレーム画像の略中央に出現することとなる。

リサイズ処理部３３０は、検索処理部３１０によって検索されたシナリオファイルの映像編集用シナリオに沿った各場面を構成するフレーム画像を生成し、所定の表示画素数（所定の表示画素サイズ）を有する表示装置１４０に表示させるために、クロップ処理部３２０によるクロップ処理で生成された各クロップフレーム画像に対して拡大および縮小等のリサイズ処理を行う。リサイズ処理部３３０は、各クロップフレーム画像を、所定のサイズ（例えば表示装置１４０の表示画像サイズ）にリサイズしてリサイズフレーム画像を生成する。

編集処理部３４０は、リサイズ処理部３３０によって生成されたリサイズフレーム画像に基づいて、検索処理部３１０によって検索されたシナリオファイルの映像編集用シナリオに沿った各場面を構成するフレーム画像を生成する。こうして映像編集用シナリオに沿った各場面が構成される。映像編集用シナリオによっては、スローモーション等の時間軸変換のため、フレーム画像が補間されることとしてもよい。編集処理部３４０は、映像編集用シナリオにしたがって、各場面を所定の順序で所定の場面別収録時間ずつ連ねた編集映像を生成し、編集映像を記憶装置１１５または映像再生部１１４へ出力する。

図４は、編集処理部３４０による編集映像の生成処理の一例を示す図である。この編集映像は、上述した映像ファイルＦ１およびＦ２と記録データ２１０および２２０とに基づき、イベントの参加者「太郎」を主要被写体として生成されるものとする。

６つの場面Ｓｎ１〜６が連ねられたこの編集映像は、イベントと主要被写体とに応じて検索された映像編集用シナリオにしたがって、場面Ｓｎ１〜６の順序で構成され、各場面別収録時間として、場面Ｓｎ１に対して５秒、場面Ｓｎ２に対して１５秒、場面Ｓｎ３およびＳｎ４に対してそれぞれ３秒ずつ、場面Ｓｎ５に対して７秒、場面Ｓｎ６に対して１５秒が割り当てられている。各被写体について、各場面毎に引かれている矢印は、その被写体がその場面を構成するフレーム画像に出現する期間を示す。主要被写体および他の被写体の各々が各場面を構成するフレーム画像に出現する期間は、編集映像全体の収録時間において、編集映像を構成するフレーム画像に主要被写体が出現する期間が他の被写体の各々が出現する期間よりも長くなる範囲で、映像編集用シナリオにしたがってそれぞれ定まる。矢印の下に記載された「小」、「中」、「大」は、その被写体が出現するフレーム画像において、その被写体が占める領域のサイズを示す。主要被写体および他の被写体が各場面を構成するフレーム画像に占める領域のサイズは、映像編集用シナリオにしたがってそれぞれ定まる。

映像編集用シナリオにしたがって連ねられる場面Ｓｎ１〜６の各場面には、その映像編集用シナリオに応じて映像ファイルＦ１およびＦ２が適用される。図４の例では、場面Ｓｎ１およびＳｎ２には映像ファイルＦ２が適用され、場面Ｓｎ３〜６には映像ファイルＦ１が適用されている。

図５は、図４に示す編集処理で生成される編集映像の出力イメージの一例である。この編集映像は、男女混合ロードレースイベントにおいて、２番のゼッケンを着用した参加者５２０「太郎」を主要被写体として生成されるものとする。図５（ａ）は、編集映像のイントロダクションとなる場面Ｓｎ１の一例を示しており、場面Ｓｎ１には観客５５０が被写体として出現している。図５（ｂ）および（ｃ）は場面Ｓｎ２の例を示しており、場面Ｓｎ２を構成する当初のフレーム画像には１〜４番のゼッケンを着用した４名の参加者５１０〜５４０と観客５５０とが出現している。上述したクロップ処理およびリサイズ処理が行われながら所定時間が経過すると、場面Ｓｎ２を構成するフレーム画像には、２番のゼッケンを着用した主要被写体の参加者５２０「太郎」および３番のゼッケンを着用した参加者５３０「ヒロシ」のみが出現する。

図５（ｄ）に示すように、レースの中盤を収録した場面Ｓｎ３を構成するフレーム画像には、上述したクロップ処理およびリサイズ処理が行われて得られる主要被写体の参加者５２０「太郎」のクローズアップされた上半身が出現する。場面Ｓｎ３は、映像編集用シナリオにしたがって、例えばスローモーションの映像として収録される。引き続いて、図５（ｅ）に示すように、レースの中盤を収録した場面Ｓｎ４を構成するフレーム画像には、上述したクロップ処理およびリサイズ処理が行われて得られる主要被写体の参加者５２０「太郎」のクローズアップされた下半身が出現する。

図５（ｆ）に示すように、参加者５２０「太郎」が参加者５３０「ヒロシ」を追い抜くクライマックスシーンを収録した場面Ｓｎ５を構成するフレーム画像には、上述したクロップ処理およびリサイズ処理により、追い抜く参加者５２０「太郎」と追い抜かれる参加者５３０「ヒロシ」とが出現する。編集映像の最後の場面Ｓｎ６を構成するフレーム画像には、図５（ｇ）に示すように、走り去って行く４名の参加者５１０〜５４０と観客５５０とが出現する。

図６は、映像編集装置１１０の編集映像生成部１１２が行う映像編集処理フローを示す図である。ステップＳ６１０において、編集映像生成部１１２の検索処理部３１０は、記憶装置１１５に保存されている複数のシナリオファイルの中から、撮影されたイベント種別等に応じた映像編集用シナリオのシナリオファイルを検索する。ステップＳ６２０において、検索処理部３１０は、記憶装置１１５に保存されている複数の記録データおよび複数の映像の映像データの中から、記録データおよび記録データに対応付けられている編集対象映像ファイルを検索する。

ステップＳ６３０において、編集映像生成部１１２のクロップ処理部３２０は、検索処理部３１０によって検索されたシナリオファイルの映像編集用シナリオに沿った各場面を構成するフレーム画像を生成するために、検索処理部３１０によって検索された編集対象映像ファイルに含まれる単位フレーム画像に対してクロップ処理を行ってクロップフレーム画像を生成する。

ステップＳ６４０において、編集映像生成部１１２のリサイズ処理部３３０は、検索処理部３１０によって検索されたシナリオファイルの映像編集用シナリオに沿った各場面を構成するフレーム画像を生成するために、クロップ処理部３２０によるクロップ処理で生成された各クロップフレーム画像に対して拡大および縮小等のリサイズ処理を行ってリサイズフレーム画像を生成する。

ステップＳ６５０において、編集映像生成部１１２の編集処理部３４０は、リサイズ処理部３３０によって生成されたリサイズフレーム画像に基づいて、映像編集用シナリオに沿った各場面を構成するフレーム画像を生成し、映像編集用シナリオにしたがって各場面を所定の順序で所定の場面別収録時間ずつ連ねた編集映像を生成する。ステップＳ６６０において、編集処理部３４０は、編集映像を記憶装置１１５または映像再生部１１４へ出力する。

以上で説明した本実施の形態の映像編集装置１１０は、複数の場面Ｓｎ１〜Ｓｎ６を所定の順序で所定の場面別収録時間ずつ連ねる場面構成を規定した映像編集用シナリオのシナリオファイルを記憶する記憶装置１１５と、参加者５２０「太郎」を主要被写体として設定する主要被写体設定部１１３と、複数の場面を複数のビデオカメラ１２０で撮影した映像ファイルＦ１およびＦ２の映像データと、映像ファイルＦ１およびＦ２の各々について単位フレーム画像に主要被写体の参加者５２０「太郎」および他の被写体の参加者５３０「ヒロシ」が含まれるか否かを記録した記録データ２１０および２２０とを互いに対応付けて記憶する記憶装置１１５と、記憶装置１１５によって記憶された映像ファイルＦ１およびＦ２の映像データならびに記録データ２１０および２２０に基づき、映像ファイルＦ１およびＦ２から映像編集用シナリオにしたがって複数の場面Ｓｎ１〜Ｓｎ６を連ねた編集映像を生成する映像生成部１１２とを備え、映像生成部１１２は、編集映像全体の全体収録時間において、編集映像に主要被写体の参加者５２０「太郎」が含まれる時間が、該編集映像に他の被写体の参加者５３０「ヒロシ」が含まれる時間よりも長くなるように編集映像を生成する。これにより、映像編集装置１１０は、ユーザの撮影技量が編集映像の単調性に及ぼす影響を低減できるという作用効果を奏する。

−−−変形例−−−
（１）上述した実施の形態では、映像解析部１１１は映像編集装置１１０に含まれることとしたが、映像解析部１１１は映像編集装置１１０の外部装置に配置されることとしても良い。

（２）上述した実施の形態では、映像解析部１１１は、単位フレーム画像に被写体が含まれるか否かを判定する際、例えば記憶装置１１５に予め保存された被写体の画像データを用いることとした。記憶装置１１５は、その被写体に関する詳細情報をその被写体の画像データに対応付けて記憶することとしても良い。被写体に関する詳細情報は、例えば人物名等の被写体名称、単位フレーム画像中における被写体の位置、または被写体の移動方向等である。被写体に関する詳細情報は、被写体が動物や人物である場合はさらに、表情、顔の向き、発話しているか否かの別、発話内容、または動作であっても良い。例えば、記憶装置１１５に予め保存された被写体の画像データに人物名が対応付けられている場合は、ユーザが主要被写体を決定する際に入力装置１３０を介して人物名を入力すれば、主要被写体設定部１１３は入力された人物名を主要被写体として設定する。編集映像生成部１１２は、その設定された人物名に基づいて、シナリオファイルと映像データおよび記録データとを検索する。

（３）上述した実施の形態では、映像解析部１１１は、単位フレーム画像に被写体が含まれるか否かを解析し、解析結果に基づいて後述するように記録データを生成することとした。しかし、映像解析部１１１は、外部装置によって生成された記録データを、例えばメタデータや電子番組表（ＥＰＧ）のように放送や通信によって配信される情報として取得することとしても良い。

（４）記憶装置１１５は映像編集装置１１０に含まれることとしたが、映像編集装置１１０に接続される外部装置として記憶装置１１５を配置し、映像編集装置１１０とこれに接続される外部装置としての記憶装置１１５とを有する映像編集システムを、本発明の他の実施の形態としても良い。

（５）主要被写体設定部１１３は、入力装置１３０を介してユーザによって決定された主要被写体を、編集映像の主要被写体として設定することとした。ユーザは、複数の主要被写体を決定しても良い。例えば、ユーザが第１被写体と第２被写体とを主要被写体として決定したとき、主要被写体設定部１１３は、第１被写体および第２被写体のいずれか一方を主要被写体として設定しても良いし、第１被写体および第２被写体の両方を主要被写体として設定しても良い。

第１被写体および第２被写体の両方が主要被写体として設定されたとき、編集映像生成部１１２は、第１被写体および第２被写体をともに主要被写体とする１つの編集映像を生成しても良いし、第１被写体および第２被写体をそれぞれ主要被写体とする２つの編集映像を生成しても良い。編集映像生成部１１２によって第１被写体および第２被写体をそれぞれ主要被写体とする２つの編集映像が生成されたとき、映像再生部１１４が第１被写体を主要被写体とする編集映像を再生して表示装置１４０に表示するとともに、編集映像生成部１１２が第２被写体を主要被写体とする編集映像を記憶装置１１５に保存することとしても良い。

（６）上述した図６のステップＳ６５０において編集映像が生成された際に、編集映像を構成するフレーム画像における各被写体の出現頻度や、各フレーム画像の中央から各被写体位置までの距離を計測しても良い。主要被写体の出現頻度が他の被写体の出現頻度よりも少ない場合や、各フレーム画像の中央から主要被写体の位置までの距離が他の被写体の位置までの距離よりも大きい場合、クロップ処理部３２０によってクロップ処理される画像領域の位置および大きさや、編集映像を構成するフレーム画像数を変更しても良い。

（７）上述した図６のステップＳ６５０において編集映像が生成された際に、編集映像において各被写体が発話している期間や、各被写体が正面を向いている期間を計測しても良い。主要被写体の発話期間が他の被写体の発話期間よりも短い場合や、主要被写体の正面を向いている期間が他の被写体の正面を向いている期間よりも短い場合、編集映像を構成するフレーム画像数を変更しても良い。

（８）上述したクロップ処理部３２０によってクロップフレーム画像が生成される際、主要被写体の横顔を含むクロップフレーム画像においては、見やすさのため、主要被写体の顔が向いている方向とは反対寄りに主要被写体を配置するようにしても良い。図７は、主要被写体の横顔を含むクロップフレーム画像７００の一例を示す図である。クロップフレーム画像７００には、主要被写体である参加者５２０「太郎」と他の被写体である参加者５３０「ヒロシ」とが含まれている。主要被写体である参加者５２０「太郎」は、クロップフレーム画像７００に向かって左を向いているため、クロップフレーム画像７００の中央よりも右寄りに配置されている。すなわち、クロップフレーム画像７００において、主要被写体である参加者５２０「太郎」の位置からクロップフレーム画像７００の左端までの距離ｄ＿１は、クロップフレーム画像７００の右端までの距離ｄ＿２よりも長い。距離ｄ＿１とｄ＿２との比は、例えば２：１である。

（９）上述した映像解析部１１１には、同じイベントを撮影した２台のビデオカメラ１２０から２つの映像ファイルＦ１およびＦ２がそれぞれ入力されるものとして説明した。しかし、２つの映像ファイルＦ１およびＦ２がそれぞれ前半と後半とで分割されたことにより、４つの映像ファイルが映像解析部１１１に入力されても良い。

（１０）上述した編集映像生成部１１２は、生成した編集映像の編集映像データを記憶装置１１５に保存するものとして説明した。しかし、編集映像生成部１１２は、図６の映像編集処理フローを通じて、検索したシナリオファイルおよび編集対象映像ファイルに関する情報と、クロップ処理される単位フレーム画像ならびにクロップ処理される画像領域の位置および大きさに関する情報と、リサイズ処理されるクロップフレーム画像およびリサイズフレーム画像の大きさに関する情報と、映像編集用シナリオに規定される各場面を構成するフレーム画像とに関する情報とを含む編集データを生成し、編集データを記憶装置１１５に保存しても良い。映像再生部１１４が編集映像を再生する際、編集映像生成部１１２は編集データに基づいて図６の映像編集処理フローを素早く実行し、編集映像データを映像再生部１１４へ引き渡すことができる。

（１１）上述した映像解析部１１は、映像ファイルＦ１およびＦ２を解析して、イベントの参加者である「花子」、「太郎」、「ヒロシ」、「よしこ」、および「観客」といった被写体の各々について、映像ファイルＦ１およびＦ２を構成する単位フレーム画像毎における各被写体の出現の有無についての記録データを生成する。記録データに、単位フレーム画像に含まれる複数の被写体のリストのリストデータを含めることとしても良い。主要被写体設定部１１３は、そのリストを表示装置１４０に表示し、ユーザはそのリストに基づいて主要被写体を決定し、主要被写体設定部１１３はその主要被写体を設定することができる。

（１２）上述した映像編集装置１１０は、パーソナルコンピュータであっても良いし、映像編集専用の装置であっても良い。映像編集装置と、編集映像を表示するテレビ画面表示装置とを有するテレビジョン受像機の映像編集装置に、上述した映像編集装置１１０を適用しても良い。このように構成すれば、放送局によって送信される放送映像に対して上述の編集処理が施される。これにより、放送の視聴者が好む被写体を主要被写体とした映像が自動的に生成されるため、視聴者は自分自身の好みに応じたコンテンツを視聴することが可能となる。

１１０映像編集装置
１１１映像解析部、１１２編集映像生成部
１１３主要被写体設定部、１１４映像再生部、１１５記憶装置
１２０ビデオカメラ、１３０入力装置、１４０表示装置
２１０、２２０記録データ
３１０検索処理部、３２０クロップ処理部
３３０リサイズ処理部、３４０編集処理部
５１０、５２０、５３０、５４０参加者、５５０観客
７００クロップフレーム画像

Claims

記憶部に記憶された、場面構成を規定した編集用シナリオにしたがって、複数の映像の映像データを用いて編集映像を生成する映像生成部を備え、
前記映像生成部は、前記編集映像に特定被写体が含まれる時間が、前記編集映像に他の被写体が含まれる時間よりも長くなるように前記編集映像を生成し、前記特定被写体の向きに基づいて前記特定被写体の位置を決定し、前記特定被写体の発話期間が、前記他の被写体の発話期間よりも短いと前記編集映像のフレーム画像数を変更する映像編集装置。
請求項１に記載の映像編集装置において、
前記映像生成部によって前記編集映像が生成される際の前記編集映像に前記特定被写体または他の被写体が含まれるというのは、前記編集映像に含まれる複数のフレーム画像の各画像が所定サイズ以上の前記特定被写体または他の被写体を含むことをいう映像編集装置。
請求項１または２に記載の映像編集装置において、
前記編集映像のうち前記特定被写体が含まれるフレーム画像数は、前記編集映像のうち前記他の被写体が含まれるフレーム画像数より多い映像編集装置。
請求項１乃至３のいずれか１項に記載の映像編集装置において、
前記編集映像に含まれる複数のフレーム画像のうち前記特定被写体を含むフレーム画像の所定領域内に前記特定被写体が位置する映像編集装置。
請求項１乃至４のいずれか１項に記載の映像編集装置において、
前記映像生成部は、前記編集映像に含まれる複数のフレーム画像における前記特定被写体の出現頻度が前記他の被写体の出現頻度よりも少ない場合、前記特定被写体を含む前記フレーム画像における所定の位置および所定の大きさの画像領域を対象としてクロップ処理を行うことにより生成するクロップフレーム画像に基づき、前記編集映像を生成する映像編集装置。
請求項１乃至４のいずれか１項に記載の映像編集装置において、
前記映像生成部は、前記特定被写体を含むフレーム画像の中央から前記特定被写体の位置までの距離が前記他の被写体の位置までの距離よりも大きい場合、前記特定被写体を含む前記フレーム画像における所定の位置および所定の大きさの画像領域を対象としてクロップ処理を行うことにより生成するクロップフレーム画像に基づき、前記編集映像を生成する映像編集装置。
請求項１乃至６のいずれか１項に記載の映像編集装置において、
前記編集映像を再生して表示装置に表示する映像再生部をさらに備える映像編集装置。
請求項１乃至７のいずれか１項に記載の映像編集装置において、
前記編集映像の編集映像データを記憶する映像記憶装置をさらに備える映像編集装置。
請求項７に記載の映像編集装置において、
前記編集映像の編集映像データを記憶する映像記憶装置と、
第１被写体および第２被写体を前記特定被写体として設定する被写体設定部を備え、
前記映像生成部は前記第１被写体を特定被写体とする前記編集映像を生成し、
前記映像再生部は前記編集映像を再生して前記表示装置に表示するとともに、
前記映像生成部は前記第２被写体を特定被写体とする前記編集映像を生成し、
前記映像記憶装置は前記編集映像の編集映像データを記憶する映像編集装置。
請求項１乃至７のいずれか１項に記載の映像編集装置において、
前記映像生成部によって前記編集映像が生成されるとき、ユーザによって決定された第１被写体および第２被写体のうちの少なくとも一方を特定被写体として設定する被写体設定部を備えた映像編集装置。
請求項９または１０に記載の映像編集装置において、
前記被写体設定部は、単位フレーム画像に含まれる複数の被写体のリストを表示装置に表示し、前記リストに基づいてユーザにより決定された前記特定被写体を設定する映像編集装置。
請求項１乃至１１のいずれか１項に記載の映像編集装置において、
前記映像データを解析して記録データを生成する映像解析部をさらに備える映像編集装置。
請求項１乃至１２のいずれか１項に記載の映像編集装置と、
前記映像編集装置において編集され、かつ再生された前記編集映像を表示するテレビ画面表示装置とを備えるテレビジョン受像機。
記憶部に記憶された、場面構成を規定した編集用シナリオにしたがって、複数の映像の映像データを用いて編集映像をコンピュータに生成させる映像生成命令を備え、
前記映像生成命令は、前記編集映像に特定被写体が含まれる時間が、前記編集映像に他の被写体が含まれる時間よりも長くなるように前記編集映像を前記コンピュータに生成させ、前記特定被写体の向きに基づいて前記特定被写体の位置を決定させ、前記特定被写体の発話期間が、前記他の被写体の発話期間よりも短いと前記編集映像のフレーム画像数を変更させる映像編集プログラム。