WO2020189057A1

WO2020189057A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2020189057A1
Application number: PCT/JP2020/004030
Authority: WO
Inventors: 広志池田; 伸穂池田
Original assignee: ソニー株式会社
Priority date: 2019-03-20
Filing date: 2020-02-04
Publication date: 2020-09-24
Also published as: US20220191406A1; US11800047B2; JPWO2020189057A1; EP3944610A1; EP3944610A4

Abstract

複数の画像のうちで主画像とする一の画像を選択し、選択された画像を主画像として継続させる継続期間長を、複数の画像分類のうちで該選択された画像が該当する画像分類に応じて設定するようにする。

Description

画像処理装置、画像処理方法、プログラム

　本技術は画像処理装置、画像処理方法、プログラムに係り、特には画像のスイッチングについての技術分野に関する。

　放送や配信等のために作成する画像コンテンツでは、複数のカメラによる撮像画像（ショット）を、撮像しているシーンの内容に応じて切り替えていくことが多い。これにより臨場感があり、また面白みのある画像コンテンツが制作できる。

　近年、動画等の画像配信のプラットフォームが拡がり、画像制作や画像配信の需要が増えている。特にスタッフが少人数であったり、専門知識がない人であったりしても、例えばライブ映像の制作や配信ができるように、自動的に画像切り替え（スイッチング）を行う自動スイッチング機能を有する機器も開発されている。
　下記特許文献１には、複数のカメラから同時並行的に送信される撮影画像について、どの撮影画像を利用するかを自動的に選択する技術が開示されている。

特開２００７－１５８８６０号公報

　ところが動画等における画像（ショット）のスイッチングは、そのスイッチングのタイミングが視聴者の画像への興味を維持するための重要な要素の１つである。１つのシーンが長すぎても短すぎても、視聴者が違和感を抱いたり、興味を持続できないことがある。さらに或る１つのカメラのショットを継続する適切な時間は、そのショットの画像の内容によっても異なる。このため熟練したスイッチングスタッフが行うような画面切り替えを自動で行うことは難しい。例えば自動スイッチングの場合、各ショットの継続期間長が一定になってしまうことで、画像コンテンツとしての面白みに欠けたり、不自然な流れになってしまうことがある。

　そこで本開示では、複数の画像の内でいずれかが自動的に選択されて放送や配信などで利用される画像となる場合に、その選択された画像を継続させる期間長を考慮したスイッチング制御を行う技術を提案する。

　本技術に係る画像処理装置は、複数の画像のうちで主画像とする一の画像を選択する主画像選択部と、前記主画像選択部で選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する期間設定部とを備える。
　主画像とは、動画や静止画スライドショウなどとして時間軸方向の長さを有する画像コンテンツのリアルタイム放送、配信、記録、転送などのために、スイッチング処理により時間軸上で或る期間長で用いられる画像をいう。例えばスイッチング処理により、放送等のために出力される動画内容として使用される画像である。
　そして例えば複数のカメラでイベントを撮像してリアルタイム放送等を行っている場合、各カメラの撮像画像が複数の画像となり、そのうちで、現在放送等で出力されている或るカメラによる撮像画像が、ここでいう主画像に該当する。
　また１つのカメラでイベントを撮像してリアルタイム放送を行っている場合、そのカメラの撮像画像から切り出し領域を変えた複数の画像のうちで、現在放送等で出力されている或る切り出し領域の画像も、ここでいう主画像に該当する。

　上記した本技術に係る画像処理装置においては、前記継続期間長は、前記選択画像が主画像に切り替えられてから、前記複数の画像のうち、前記主画像選択部で前記選択画像の次に選択された他の画像が主画像に切り替えられるまでの期間の長さであることが考えられる。
　例えば放送画像などとして出力される画像は、主画像が逐次切り替わるようにスイッチングされる。継続期間長の一例としては、このような場合に、１つの画像が主画像として採用されている期間長をいうものとする。

　上記した本技術に係る画像処理装置においては、前記画像分類は、画像の被写体情報に基づいて決定されることが考えられる。
　画像分類は、一例としては全体画像、主役画像、脇役画像、話者画像などの分類が考えられる。そのような画像分類は、画像毎に予め設定されたり、ユーザ操作により分類されてもよいが、被写体情報に基づいて決定されても良い。例えば画像解析により被写体を判定し、該当する画像分類を判定する。

　上記した本技術に係る画像処理装置においては、前記継続期間長に達した場合、又は、所定状況を検知し、且つ、現在の主画像の継続期間が前記継続期間長よりも短い第１の期間長を経過した場合に、主画像を前記選択画像から前記複数の画像のうち他の画像へと切り替える制御を行う切り替え制御部を備えることが考えられる。
　主画像を、現在主画像となっている画像について設定した継続期間長に達していなくても他の画像に切り替える場合があるようにする。

　上記した本技術に係る画像処理装置においては、前記切り替え制御部は、主画像とされている画像の画像分類が、前記主画像選択部によって主画像とするものとして選択したときの画像分類から変化した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を他の画像へ切り替える制御を行うことが考えられる。
　即ち主画像とする画像は、画像分類によって選択するが、主画像としている画像の画像分類が変化してしまった場合は、設定した継続期間長にかかわらず主画像を切り替える場合があるようにする。

　上記した本技術に係る画像処理装置においては、前記切り替え制御部は、主画像とされていない画像のなかで、画像分類が主要被写体画像とされる画像が発生した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を、主要被写体画像であることを示す画像分類の画像へ切り替える制御を行うことが考えられる。
　主要被写体画像とは、主役である特定の人物等を含む画像や、撮像シーン内で主たる行動をしている人物等（例えば話者）を含む画像などである。
　例えば主要被写体が変化するような場合、主要被写体を含むことを示す画像分類となる画像が異なるものとなる。そこで現在の主画像とは別の画像が主要被写体を含むことを示す画像分類となったら、設定した継続期間長にかかわらず主画像を切り替える場合があるようにする。

　上記した本技術に係る画像処理装置においては、前記主画像選択部は、画像分類が全体画像とされた画像が主画像となっていない期間が第２の期間長を経過している場合は、前記複数の画像のうち全体画像であることを示す画像分類の画像を新たな主画像として選択することが考えられる。
　全体画像とは、例えば複数の画像の中で最も広角にシーンを撮像している画像などと考えることができる。例えば複数の人物等が含まれたり、個々の人物等が比較的小さく写っている画像となる。
　例えば第２の期間長は期間設定部が設定する継続期間長の最大値より長く設定された期間長などであり、全体画像を表示しないことが許容される期間の目安となる期間長とする。換言すれば、全体画像を表示しないまま第２の期間長を経過したら全体画像を表示させるほうがよいとされる期間長とする。

　上記した本技術に係る画像処理装置においては、前記画像分類は、少なくとも主要被写体画像、副被写体画像、全体画像のいずれか１つを含む画像分類であるとすることが考えられる。
　副被写体画像は、上述の主要被写体画像に該当する主役等の人物以外の人物等が含まれている画像である。主要被写体画像、副被写体画像、全体画像のそれぞれで、主画像としての継続期間長が異なるようにする。

　上記した本技術に係る画像処理装置においては、前記期間設定部は、主要被写体画像が、継続期間長が最も長く、全体画像が、継続期間長が最も短くなるように、画像分類に応じて継続期間長を設定することが考えられる。
　例えば継続期間長は、主要被写体画像＞副被写体画像＞全体画像となるようにする。
　或いは継続期間長は、主要被写体画像＞全体画像＞副被写体画像となるようにしてもよい。

　上記した本技術に係る画像処理装置においては、前記主画像選択部は、主画像とされている画像以外の複数の画像のうちで、所定の選択ルールに応じた処理を用いて、次に主画像とする画像を選択することが考えられる。
　次の主画像の選択は、全ての画像からランダム選択でもよいが、所定の選択ルールを設けて選択するようにしてもよい。

　上記した本技術に係る画像処理装置においては、前記選択ルールに応じた処理の１つは、主画像とされている画像が主要被写体画像ではなく、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理であることが考えられる。
　現在の主画像が主要被写体画像でない場合には、他に主要被写体画像を主画像としても視聴者にとって違和感のない選択となる。

　上記した本技術に係る画像処理装置においては、前記選択ルールに応じた処理の１つは、主画像とされている画像が主要被写体画像であり、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理であることが考えられる。
　現在の主画像が主要被写体画像であるときに、他に主要被写体画像がある場合は、それを次の主画像としても視聴者にとって違和感のない選択となる。

　上記した本技術に係る画像処理装置においては、前記選択ルールに応じた処理の１つは、主画像とされている画像と同一の画像分類の画像を次の主画像の候補から除外する処理であることが考えられる。
　現在と同一の画像分類の画像が主画像として連続しないようにする。

　上記した本技術に係る画像処理装置においては、前記選択ルールに応じた処理の１つは、主画像とされている画像の被写体と同一の副被写体が含まれる画像を次の主画像の候補から除外する処理であることが考えられる。
　現在と同一の画像分類の画像が主画像として連続しないようにする。

　上記した本技術に係る画像処理装置においては、前記選択ルールに応じた処理の１つは、主画像とされている画像が全体画像であり、且つ、前記複数の画像のうちの他の画像として主要被写体画像があるときに、副被写体画像を次の主画像の候補から除外する処理であることが考えられる。
　全体画像を表示した次のタイミングでなるべく脇役が表示されないようにする。

　上記した本技術に係る画像処理装置においては、前記主画像選択部は、前記選択ルールに応じた処理により、全体画像以外で次に主画像とする画像の候補となる画像が存在しなくなった場合は、全体画像を次の主画像として選択することが考えられる。
　選択ルールに応じた場合、全ての画像、もしくは全体画像を除いた全ての画像が選択不可となることも有り得る。その場合は全体画像を次の主画像として選択する。

　上記した本技術に係る画像処理装置においては、前記主画像選択部は、次に主画像とする候補とした画像のうちで、画像毎に重み付けを加えた選択処理で、次の主画像とする画像を選択することが考えられる。
　次の主画像の選択は、全ての画像を候補として抽選処理で選択したり、所定の選択ルールを設けて選択する画像の候補を決めたうえで、候補とした画像のうちで、抽選処理で選択したりする。このときに重み付け抽選を行う。

　上記した本技術に係る画像処理装置においては、前記主画像選択部は、次に主画像とする候補とした画像のうちに主要被写体画像が存在しない場合は、候補とした画像に対するランダムな抽選処理で次の主画像を選択することが考えられる。
　選択ルールに応じて候補を選択した場合は、その中に主要被写体画像が存在しなければランダムに次の主画像を選択する。

　本技術に係る画像処理方法は、複数の画像のうちで主画像とする一の画像を選択し、選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する。
　つまり画像分類に応じてスイッチング処理により主画像とされる期間長が異なるものとなるようにする。
　本技術に係るプログラムは、上記画像処理方法の処理を情報処理装置に実行させるプログラムである。例えば撮像装置、スイッチャー装置、汎用端末装置などにおける情報処理装置、プロセッサーにより、本開示の技術を実行できるようにする。

実施の形態の動作を実現する装置構成例の説明図である。実施の形態の動作を実現する装置構成例の説明図である。実施の形態の動作を実現する装置構成例の説明図である。実施の形態の動作を実現する装置構成例の説明図である。実施の形態の動作を実現する装置構成例の説明図である。実施の形態の撮像装置のブロック図である。実施の形態の情報処理装置のブロック図である。実施の形態の画像処理装置の機能構成の説明図である。実施の形態の全体ショット、主役ショット、脇役ショットの説明図である。実施の形態の全体ショット、話者ショット、脇役ショットの説明図である。実施の形態のモニタ画面の説明図である。実施の形態の複数の撮像装置の各撮像画像としてのショットに対する画像処理装置の処理の説明図である。実施の形態の１つの撮像装置からのクロップ画像としてのショットに対する画像処理装置の処理の説明図である。比較例のショットスイッチング動作の説明図である。実施の形態のショットスイッチング動作の説明図である。実施の形態のフレーム毎の処理のフローチャートである。第１の実施の形態の切り替え判定処理のフローチャートである。第１の実施の形態のショット選択処理のフローチャートである。第２の実施の形態の切り替え判定処理のフローチャートである。第２の実施の形態のショット選択処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．画像処理装置の機能構成例＞
＜３．ショットスイッチングの自動制御＞
＜４．第１の実施の形態の処理例＞
＜５．第２の実施の形態の処理例＞
＜６．まとめ及び変形例＞

　なお、実施の形態の説明で使用する用語について説明しておく。
　「画像」とは動画や静止画としての画像であるが、特に本実施の形態の説明では、撮像装置によって撮像され、スイッチング処理の対象とされて放送等のための画像コンテンツに使用されうるものを指している。その画像は、撮像装置で撮像された画枠全体の画像や、撮像された画像から切り出し（クロップ）された領域の画像などであり、いわゆるカメラショットとしての画像の全体または一部領域である。そこでこれらのスイッチングの対象となる撮像画像を「ショット」と呼ぶこととする。

　「主画像」とは、動画や静止画スライドショウなどとして時間軸方向の長さを有する画像コンテンツのリアルタイム放送、配信、記録、転送などのために、スイッチング処理により時間軸上で或る期間長で用いられる画像（ショット）をいう。つまりスイッチング処理において選ばれることにより、放送等のために出力される動画内容として使用されるショットである。
　複数のショットのいずれかが逐次選択されて主画像となる。

　「画像分類」とは、ショットの被写体であったりカメラワークによって決まる画像内容に応じた分類である。
　実施の形態では、各ショットの画像分類として「主要被写体ショット」「脇役ショット」「全体ショット」を挙げる。
　また「主要被写体ショット」の細分類として「主役ショット」「話者ショット」を挙げる。

　「主要被写体ショット」は、撮像しているイベント等において主要な被写体（人、動物、光景等）を含むショットを指す。広義では、主要な被写体を含む（脇役等を含む場合もある）ショットで、狭義では主要な被写体とその背景のみを含むショットである。本実施の形態の処理に関しては、広義、狭義のいずれが採用されてもよい。
　実施の形態では、この「主要被写体ショット」には「主役ショット」や「話者ショット」が含まれる例で説明する。
　「主役ショット」は、例えば主役として予め決めた人等（イベント等における主役となる人など）を写しているショットを指す。例えば音楽家Ａ氏のコンサートであれば、Ａ氏を写しているショットが主役ショットとなる。
　「話者ショット」は、そのとき話している人を写しているショットである。

　「脇役ショット」は、撮像しているイベント等において主要な被写体ではない被写体（人、動物、光景等）を含むショットを指す。例えば音楽家Ａ氏のコンサートであれば、Ａ氏のバックミュージシャンを写しているショットが脇役ショットとなる。

　「全体ショット」は、例えばイベントを全体的に写しているようなショットである。例えば複数のショットの内で、最も広角の画像、被写体となっている人の数が最も多い画像、被写体となっている人のサイズが最も小さい画像、ステージ等を最も正面に近い状態で撮っている画像などを、全体ショットと判定してもよい。

　なお、各ショットに対して、それが「主要被写体ショット」「脇役ショット」「全体ショット」等のどれに該当するかは必ずしも固定的ではない。各ショットは、写されている被写体や状況により、「主要被写体ショット」「脇役ショット」「全体ショット」などに変化する。但しカメラワークや切り出し処理の内容によっては各ショットの画像分類が固定的となる場合もある。

＜１．画像処理装置として適用できる機器の構成＞
　本開示の実施の形態としての画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。

　図１は携帯端末２が本技術の画像処理装置としての機能を備える例である。携帯端末２とは、スマートフォンやタブレット機器等の装置である。
　携帯端末２には、１台の撮像装置１から、撮像している動画としてのショットＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４が送信されてくる。なお以下では、これらの複数のショットを区別せずに総称する場合や、特に限定されない或る１つのショットを指す場合などには、「ショットＶＤ」の用語を用いる。
　撮像装置１と携帯端末２の通信は、例えば有線通信で行われたり、無線通信（例えば近距離無線通信など）で行われる。

　ここで図１では、ショットＶＤ１には添え字として「（ＣＳ）」を付加しているが、これは撮像した画角全体の画像であることを表すものとする。
　またショットＶＤ２，ＶＤ３，ＶＤ４には添え字として「（ＣＲ）」を付加しているが、これは撮像した画角全体の画像から切り出し（クロップ）された画像であることを表すものとする。
　つまり撮像装置１は、イベント等の撮像を行って、その撮像した画像自体を、ショットＶＤ１として出力するとともに、撮像画像から所定の領域を切り出したクロップ画像をショットＶＤ２，ＶＤ３，ＶＤ４として出力する。
　なお添え字「（ＣＳ）」「（ＣＲ）」については図２，図３，図４も同様に付している。

　図１の携帯端末２は撮像装置１から供給されるショットＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４をスイッチング処理で逐次選択して動画コンテンツＣＴを生成し、送信出力、表示出力、記録、アップロード等を行うことができる。
　なお、撮像装置１からは例えばショットＶＤ１のみ送信されるものとし、携帯端末２内でショットＶＤ１からクロップ処理でショットＶＤ２，ＶＤ３，ＶＤ４を生成した上でスイッチング処理を行うことも想定される。

　図２は複数の撮像装置１を使用するとともに、スイッチャー３が本技術の画像処理装置としての機能を備える例である。
　スイッチャー３とは、複数系統の入力画像に対して出力画像（主画像）を選択するスイッチングを行う機器である。例えば通常はオペレータが手動でスイッチング操作を行うが、本実施の形態の機能を備えることで自動スイッチングが行われるようにすることが想定される。

　この例では、スイッチャー３に対しては、３台の撮像装置１からそれぞれショットＶＤ１，ＶＤ２，ＶＤ３が送信されてくる。それぞれの撮像装置１は、イベント等を撮像した画像自体を、１つのショットとして出力する。
　各撮像装置１は、例えば有線通信や無線通信によりショットＶＤとしての動画をスイッチャー３に送信する。
　スイッチャー３はショットＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４をスイッチング処理で逐次切り替えて動画コンテンツＣＴを生成し、送信出力、表示出力、記録、アップロード等を行うことができる。

　図３は複数の撮像装置を使用するとともに、コンピュータ装置５が本技術の画像処理装置としての機能を備える例である。コンピュータ装置５とは例えばパーソナルコンピュータ等である。但し上述の携帯端末２であってもよい。

　この例では、３台の撮像装置１の１つから、それぞれクロップ画像としてのショットＶＤ１，ＶＤ２，ＶＤ３が送信されてくる。また、残りの２台の撮像装置１からは、それぞれイベント等を撮像した画像自体であるショットＶＤ４、ＶＤ５が送信されてくる。
　各撮像装置１とコンピュータ装置５の通信は、例えば有線通信で行われたり、無線通信（例えば近距離無線通信など）で行われる。
　コンピュータ装置５はショットＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４，ＶＤ５をスイッチング処理で逐次切り替えて動画コンテンツＣＴを生成し、送信出力、表示出力、記録、アップロード等を行うことができる。

　図４は撮像装置１とネットワーク６を介して通信するクラウドスイッチャー４が本技術の画像処理装置としての機能を備える例である。
　ネットワーク６は、例えばインターネット、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network：仮想専用網）、イントラネット、エキストラネット、衛星通信網、ＣＡＴＶ（Community Antenna TeleVision）通信網、電話回線網、移動体通信網等の各種の形態が想定される。

　この例では、撮像装置１が、それぞれクロップ画像としてのショットＶＤ１，ＶＤ２，ＶＤ３を、ネットワーク６を介してクラウドスイッチャー４に送信する例としている。
　クラウドスイッチャー４は、ショットＶＤ１，ＶＤ２，ＶＤ３をスイッチング処理で逐次切り替えて動画コンテンツＣＴを生成し、ネットワーク６を介して送信出力する。

　図５は、撮像装置１が本技術の画像処理装置としての機能を備える例である。
　例えば撮像装置１では、撮像を行うとともに内部的なクロップ処理を行うことで、複数のショットＶＤ（例えばＶＤ１，ＶＤ２，ＶＤ３）を生成する。そしてその複数のショットＶＤ１，ＶＤ２，ＶＤ３を対象として自動的なスイッチング処理を行って、動画コンテンツＣＴを生成し、出力する。

　以上、本実施の形態の画像処理装置となり得る具体的な機器の例を挙げたが、これらは一例であり、他にも具体的な機器の例は多様に想定される。
　また、図１，図２，図３，図４の例では、撮像装置１から送信出力するショットＶＤの例と、本実施の形態の画像処理装置に該当する携帯端末２、スイッチャー３、コンピュータ装置５、クラウドスイッチャー４の組み合わせを示したが、この組み合わせに限定されるものではない。あくまでショット出力の例と、画像処理装置となる機器の例を挙げたものであるため、図示していない他の組み合わせも想定される。

　以下では、例えば図１のような撮像装置１と携帯端末２を想定して、実施の形態の構成及び動作の例を説明していく。

　まず撮像装置１の構成例を図６で説明する。
　図６に示すように撮像装置１は、レンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２を有する。

　レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。

　撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
　この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。

　カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサーとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。

　前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
　同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

　カメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理やファイル生成を行う。
　例えば動画として出力するストリーム画像データとしての処理や、動画記録のための画像ファイルの生成などを行う。
　なおカメラ信号処理部１３は、元の撮像画像からの切り出し処理により生成したストリーム画像データを生成することもできる。
　また図６では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、ストリーム画像データや記録用の画像ファイルには動画としての画像データとともに音声データも含まれるようにしてもよい。

　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像等を記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

　表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
　表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
　例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
　また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
　また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

　出力部１６は、外部機器との間のデータ通信やネットワーク通信等を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対してカメラ信号処理部１３で処理された撮像画像データ（例えば動画としてのストリーム画像信号）の送信出力を行う。
　特に本実施の形態の場合、出力部１６は、画像処理装置の実現例として図１，図２，図３，図４に例示した携帯端末２、スイッチャー３、コンピュータ装置５、クラウドスイッチャー４等の機器に対して、現在撮像している動画としてのショットＶＤを送信する処理を行うことになる。

　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
　操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

　カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
　メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
　例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

　メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

　次に本実施の形態の画像処理装置として機能する情報処理装置７０の構成を図７に示す。
　例えば携帯端末２やコンピュータ装置５は、この情報処理装置７０として構成される。スイッチャー３、クラウドスイッチャー４等も、この情報処理装置７０と同等の構成を有することで、本実施の形態の画像処理装置として機能できる。

　図７において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

　また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスであったり、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。

　入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
　ドライブ８２により、リムーバブル記録媒体８１からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本開示の画像処理装置としての処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜２．画像処理装置の機能構成例＞
　本実施の形態の画像処理装置は、例えば情報処理装置７０のＣＰＵ７１に、ソフトウエア（アプリケーションプログラム）により、図８の機能構成が備えられることで実現される。

　即ち情報処理装置７０（又はＣＰＵ７１）は、主画像選択部３１、期間設定部３２を少なくとも備えることで、本実施の形態の画像処理装置として機能する。
　また情報処理装置７０（又はＣＰＵ７１）は、さらに切り替え制御部３３を有する場合もある。
　さらに情報処理装置７０（又はＣＰＵ７１）は、被写体認識部３４、ショット解析部３５、クロップ処理部３６、モニタ表示制御部３７の全部又は一部を備える場合もある。

　例えば図１の携帯端末２や図３のコンピュータ装置５は、図７の情報処理装置７０の構成とされ、ＣＰＵ７１が図８の機能構成を備えることで本実施の形態の画像処理装置として機能する。
　また図２のスイッチャー３や図４のクラウドスイッチャー４は、図７に相当する構成（もしくは少なくともＣＰＵ７１に相当する構成）を有し、ＣＰＵ７１が図８の機能構成を備えるようにすることで本実施の形態の画像処理装置として機能する。
　また図５のように撮像装置１が画像処理装置として機能する場合は、例えば図６のカメラ信号処理部１３又はカメラ制御部１８が図８の機能構成を備えることで本実施の形態の画像処理装置として機能する。

　例えばこのように実現される本実施の形態の画像処理装置は、例えば１又は複数の撮像装置１により得られる複数のショットＶＤについて自動的にスイッチングして出力する装置である。例えばライブ映像としての動画コンテンツを放送、配信、記録等する場合に、逐次、複数のうちのいずれかのショットＶＤを主画像として選択し、選択に応じてショットＶＤを切り替えて出力する。この逐次切り替えられていく複数のショットＶＤによる映像ストリームが、例えばライブ映像としての動画コンテンツＣＴを構成することになる。
　そして本実施の形態の画像処理装置は、この場合に、コンテンツの目的や制作趣旨、或いは視聴者を飽きさせないための「切り替えタイミングの生成」や、コンテンツにあった「出力画像の切り替え（主画像の選択）」を行うことで、より品質の高い動画コンテンツ制作を可能とする。

　図８に示す主画像選択部３１は、複数のショットＶＤのうちで主画像とする一の画像を選択する機能である。
　つまり動画コンテンツにおいて使用する次のショットＶＤとして、適切なショットを選択する処理を行う。

　期間設定部３２は、主画像選択部３１で選択されたショットＶＤを主画像として継続させる継続期間長を、複数の画像分類のうちで該選択されたショットＶＤが該当する画像分類に応じて設定する機能である。

　ここで継続期間長とは、主画像選択部３１で選択された一のショットＶＤが主画像に切り替えられてから、主画像が、次に主画像選択部３１で選択される他のショットＶＤに切り替えられるまで期間の長さ（時間長）である。
　つまり期間設定部３２により、主画像に選択されるショットＶＤ毎に、継続期間長が設定されることになる。

　切り替え制御部３３は、期間設定部３２で設定された継続期間長に応じて、主画像を切り替える機能である。つまり主画像とされたショットＶＤが、そのショットＶＤについて設定された継続期間長で示される時間、主画像として継続させた後、次のショットＶＤに切り替えるスイッチング動作の制御を行う。
　また切り替え制御部３３は、主画像の切り替えタイミングの判定も行う。例えば切り替え制御部３３は現在の主画像が継続期間長に達したことによる切り替えタイミングの判定を行う。
　また切り替え制御部３３は、各ショットＶＤの画像分類ＰＤを監視し、例えば現在主画像とされているショットＶＤの画像分類の変化などに応じて、切り替えタイミングの判定を行う場合もある。
　また切り替え制御部３３は、ユーザ操作に応じて切り替えタイミングの判定を行う場合もある。

　被写体認識部３４は、ショットＶＤの画像に対する画像解析等の処理を行い、ショットＶＤ内の被写体を認識する機能である。
　例えば顔検出、人検出、姿勢推定などで被写体を検出、追尾する処理を行うことがある。
　また、顔識別（個人の識別）を行い、被写体が誰か（主役などの重要被写体か否か）を認識する処理を行うことがある。
　また、顔パーツ検出で検出した口の動きから、話者を検出する処理を行うことがある。　なお被写体認識部３４の処理は必ずしも画像処理装置内で行われなくても良い。
　また被写体認識部３４は、クロップする領域を判定するための被写体認識処理を行う場合もある。

　ショット解析部３５は、被写体認識部３４による認識結果から、ショット情報を抽出し、またそのショットＶＤの画像分類を判定する機能である。
　ショット情報とは、誰が写っているかという情報であったり、構図（配置）、カメラワークなどの情報が想定される。

　誰が写っているかという被写体の情報は、例えば画像内で大きく映っている被写体を対象とする。
　構図（配置）の情報とは、俯瞰ショット、引き（フルショット、ニーショット）、寄り（ウエストショット、バストショット、アップショット）などの区別の情報であったり、ショットＶＤがいわゆる日の丸構図、三分割法、など、構図や被写体配置の類型のどれに該当するかの情報などである。またショットＶＤの画像内の被写体サイズなどの別も構図の情報に含まれる。
　カメラワークの情報とは、固定、フォロー、パン、ズーム、ドリー等のカメラワーク自体を示す情報である。

　これらのショット情報に基づいて、ショット解析部３５は、全てのショットＶＤを、主要被写体ショット（主役ショット／話者ショット）、脇役ショット、全体ショット（大人数或いは正面のショット）等に分類する。
　このようなショット情報に基づく画像分類の判定は機械学習に基づいて行われることが考えられる。
　また全体ショットは、最も正面の画像、最も引きの画像、最も被写体人数が多い画像などの条件で判定してもよいし、ユーザの指定に基づいて特定されるものでもよい。例えば常に被写体の正面から引きで撮像を行う撮像装置１が配置されている場合、その撮像装置１によるショットＶＤは、常に全体ショットであるとして、ユーザが設定することも考えられる。
　なお被写体認識部３４の処理は必ずしも画像処理装置内で行われなくても良い。

　図９でショットＶＤの画像分類の例を示す。図９にはショットＶＤ１，ＶＤ２，ＶＤ３としてのある時点の画像内容を例示している。このショットＶＤ１，ＶＤ２，ＶＤ３は、例えば３台の撮像装置１によって、それぞれ撮像されたショットＶＤであるとしている。
　例えばショットＶＤ１はライブステージの正面から全体を「引き」で撮っているショットであり、「全体ショット」に該当する。

　ショットＶＤ２はピアニストよりステージ奥にある撮像装置１からピアニストを「寄り」で撮っているショットである。
　このライブイベントのメインミュージシャンがショットＶＤ２のピアニストの場合、例えば顔識別、個人認識に基づいて、このピアニストが含まれるショットＶＤが「主役ショット」又は「主要被写体ショット」と判定される。例えば予め主役の顔等を学習させておくことで、特定の個人を写すショットＶＤを主役ショットと判定できる。
　ショットＶＤ３は、ステージ脇の撮像装置１から、ギタリストを寄りで撮っているショットである。これは主役ではない被写体のショットであるため「脇役ショット」と判定されることになる。

　クロップ処理部３６は、１つの撮像画像から一部の領域を切り出して１つのショットＶＤを生成する処理を行う。例えば４人の人物が写っている全体画像から、各被写体人物を切り出して４つのクロップ画像としてのショットＶＤを生成するような処理である。
　なおクロップ処理部３６の処理も、必ずしも画像処理装置内で行われなくても良い。

　図１０は１台の撮像装置１でインタビューの場面の撮像を行い、放送等をすることを想定した画像例である。
　この場合のショットＶＤ１は、撮像装置１がインタビュー場面の正面から全体を撮像している画像である。
　この画像において、例えばクロップ枠ＣＲＷで示される４つの領域が、それぞれクロップされて、それぞれショットＶＤ２，ＶＤ３，ＶＤ４，ＶＤ５とされるとする。
　クロップ処理部３６は、このように１つの画像の一部を切り出してクロップ画像を生成する処理を行う機能である。

　この図１０の場合におけるショット解析部３５による画像分類についても説明しておく。
　図１０のショットＶＤ１はインタビュー場面の正面から全体を引きで撮っているショットであり、「全体ショット」に該当する。

　ショットＶＤ２は、インタビューを受けている人の一人を切り出した画像であるが、この時点では、この画像に写る人が話者となっている。例えば画像から検出される口の動きなどにより話者と判定された場合、このショットＶＤ２が現時点の「話者ショット」又は「主要被写体ショット」と判定される。話者ショットと判定されるショットＶＤは、話者が変わるたびに変更されることになる。
　ショットＶＤ３は、話者以外の人のショットであるため、この時点では「脇役ショット」と判定されることになる。後にこの人物が話す場面となったら、このショットＶＤ３が「話者ショット」又は「主要被写体ショット」と判定される。

　図８のモニタ表示制御部３７は、例えば表示部７７等において、スイッチング動作のモニタ画面を表示させる制御を行う機能である。
　図１１にモニタ画面の一例を示す。
　モニタ画面は、例えば画面を複数の領域に分割して必要な画像の表示が行うものとする。
　例えば画面の右上に、現在、主画像ＭＰとして出力されているショットＶＤが表示される。
　また画面の下部には、比較的小さい領域で、スイッチング対象として入力されている複数のショットＶＤ１，ＶＤ２，ＶＤ３・・・がそれぞれ表示される。
　また図のように画面の左上に、次の主画像ＭＰとして出力される予定（次画像ＭＰＮ）のショットＶＤが表示されるようにしてもよい。例えばユーザ（オペレータ）が手動で次の主画面として予約したショットＶＤを表示させる。これによりユーザは手動切り替えのタイミングを計ることができる。

　ユーザは、このモニタ画面によりスイッチング動作の状況を確認できる。また、自動スイッチングの際に、一時的に手動スイッチングを実行可能としてもよい。
　なお、図１１の画面例はあくまでも一例であり、モニタ画面の構成や表示内容はこれに限られない。

　以上の図８の機能による画像処理装置の処理の流れの例を図１２で説明する。
　図１２では、ｎ個のショットＶＤ（ＶＤ１、ＶＤ２・・・ＶＤｎ）が画像処理装置に入力されるとしている。ｎ個のショットＶＤが画像処理装置に入力される場合とは、図１，図２，図３，図４のように１又は複数の撮像装置１から複数のショットＶＤが入力されるような場合である。

　各ショットＶＤは、それぞれ被写体認識部３４によるショット内の被写体認識の処理が行われる。
　そして被写体認識結果に基づいて、ショット解析部３５により、各ショットＶＤの画像分類が判定される。
　各ショットＶＤの画像分類ＰＤ（ＰＤ１，ＰＤ２・・・ＰＤｎ）は、主画像選択部３１に供給される（「画像分類ＰＤ」の用語は複数のショットＶＤのそれぞれの画像分類を総称する場合に用いる）。

　主画像選択部３１は、各ショットＶＤの画像分類ＰＤ１，ＰＤ２・・・ＰＤｎに基づいて、次に主画像ＭＰとするショットＶＤの選択を行う。ショット選択の具体的な処理例については後述する。

　期間設定部３２は、主画像選択部３１が次に主画像ＭＰとするものとして選択したショットＶＤについて、その分類情報ＰＤに基づいて、継続期間長を設定する。

　ｎ個のショットＶＤ（ＶＤ１、ＶＤ２・・・ＶＤｎ）は、それぞれ切り替え部４０に供給され、スイッチングされる。即ちショットＶＤ１、ＶＤ２・・・ＶＤｎのいずれかが切り替え部４０で選択されて、現時点の主画像ＭＰとして出力される。

　切り替え制御部３３は、切り替え判定処理により切り替えタイミングを判定し、切り替えタイミングにおいて、切り替え部４０のスイッチング動作を制御する。
　即ち切り替え制御部３３は、主画像選択部３１が選択したショットＶＤが、期間設定部３２が設定した継続期間長、主画像ＭＰとして出力されるように切り替え部４０の制御を行う。
　また切り替え制御部３３は、このような切り替え制御のために、切り替えタイミングに応じて主画像選択部３１の処理が行われるようにもする。例えば現在の主画像ＭＰの継続時間を期間設定部が設定した継続期間長Ｔｘに達したか否かを監視し、それに応じて主画像選択部３１や期間設定部３２の処理が行われるようにする。

　なお切り替え制御部３３は、以上の主画像選択部３１、期間設定部３２の処理に基づく切り替え制御だけでなく、例えばユーザ操作による割込的な切り替え制御も実行可能である。例えば切り替え制御部３３は、ユーザの手動の操作情報ＳＳが入力されることに応じて、ユーザが指示したショットＶＤを即時、主画像ＭＰとして出力するように切り替え部４０を制御することができる。
　或いは切り替え制御部３３は、ユーザの画像分類ＰＤの指定に応じて、指定された画像分類に該当するショットＶＤを即時、主画像ＭＰとして出力するように切り替え部４０を制御することができる。
　さらに切り替え制御部３３は、現在の各ショットＶＤについてショット解析部３５で判定されている画像分類ＰＤを監視し、例えば現在の主画像ＭＰとされているショットＶＤの画像分類の変化や、他のショットＶＤの画像分類などに応じて、切り替えタイミングを判定する場合もある。

　同じく上記の図８の機能による画像処理装置の処理の流れの他の例を図１３で説明する。この図１３では、クロップ処理部３６の機能を加えた例を示している。
　例えば図５のように撮像装置１でスイッチングが行われる場合に、内部でクロップ処理が行われる場合や、図１，図２，図３，図４のように撮像装置１から供給されるショットの一部について、画像処理装置でさらにクロップを行ってショット数を増やすような場合である。

　例えば１つの撮像装置１からショットＶＤ１が画像処理装置に供給されるとする。
　被写体認識部３４は、ショットＶＤ１について被写体認識処理を行う。なお、この場合の被写体認識処理は、クロップすべき領域を判定する処理も含む。例えば被写体人物の顔領域、身体全体の領域、バストアップの領域などを判定することが想定される。

　クロップ処理部３６は、被写体認識部３４の認識結果を用いて、各フレームから適切な領域の切り出し処理を行う。切り出された画像が、例えばそれぞれショットＶＤ２・・・ＶＤｎとされる。

　クロップ元の全体画像であるショットＶＤ１、及びクロップ画像であるショットＶＤ２・・・ＶＤｎは、それぞれショット解析部３５により画像分類が判定される。
　各ショットＶＤの画像分類ＰＤ（ＰＤ１，ＰＤ２・・・ＰＤｎ）は、主画像選択部３１に供給される。

　主画像選択部３１は、各ショットＶＤの画像分類ＰＤ１，ＰＤ２・・・ＰＤｎに基づいて、次に主画像ＭＰとするショットＶＤの選択を行う。
　期間設定部３２は、主画像選択部３１が次に主画像ＭＰとするものとして選択したショットＶＤについて、その分類情報ＰＤに基づいて、継続期間長を設定する。

　ｎ個のショットＶＤ（ＶＤ１、ＶＤ２・・・ＶＤｎ）は、それぞれ切り替え部４０に供給され、スイッチングされる。
　切り替え制御部３３は、図１２の場合と同様に、主画像選択部３１、期間設定部３２の処理に基づく切り替え制御を行ったり、ユーザ操作に応じた切り替え制御を行う。

　なお、図１２において、一部のショットＶＤ（例えばショットＶＤ１，ＶＤ２）が図１３で説明したようにクロップされたショットＶＤであるなど、図１２，図１３の複合的な処理の流れも想定される。

＜３．ショットスイッチングの自動制御＞
　以上のように行われる本実施の形態の画像処理装置によるスイッチング自動制御の意味について説明する。

　まず図１４の第１比較例、第２比較例は、本実施の形態を用いない場合のスイッチング動作例を示している。図の横方向が時間軸を示し、１つの動画コンテンツとして、ショットＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４が時間軸上で逐次主画像ＭＰとして切り替えられて出力される状態を示している。

　なお、図１４及び後述の図１５では、説明上の便宜のため、ショットＶＤ１は常に全体ショット、ショットＶＤ２は常に主役ショット、ショットＶＤ３、ＶＤ４は常に脇役ショットであるとする。
　カメラワークやクロップ処理によっては、各ショットＶＤの画像分類が固定的になる場合もあるため、ここでは、そのような状況を想定して説明する。もちろん、必ずしも各ショットＶＤの画像分類が常に固定的であるとは限らない。

　第１比較例は、各ショットＶＤが、規則的に順番に選択される例である。また１つのショットＶＤが主画像ＭＰとして出力される継続期間長は、時間Ｔｆとして固定される。
　自動スイッチングの単純な処理としては、このように、各ショットＶＤを順番に、時間Ｔｆずつ出力していくことが考えられ、このような処理によって、各ショットＶＤを有効利用した動画コンテンツを制作できる。
　その動画コンテンツは、各種のアングルの画像や、各被写体人物のアップ画像等が切り替わることで、単に１つの全体画面を継続して写すよりはコンテンツとしての充実したものとすることができる。しかし、常に特定の順番で定期的に画像が切り替わるものであり、視聴者にとっては退屈な動画と感じられてしまう。

　第２比較例は、各ショットＶＤの選択順序をランダムにした例である。選択順序をランダムにすることで、視聴者が退屈さを感じることを若干解消できる。
　しかしながら、それぞれのショットＶＤが出力される継続期間長が固定の時間Ｔｆとされることで、結局は視聴者にとって飽きやすいコンテンツとなる。
　ショットスイッチングのタイミングが周期的であると、視聴者が動画の緊張感やダイナミクスを感じる傾向が徐々に無くなる傾向にあるためである。
　さらにランダムでショットＶＤを選択することで、動画コンテンツ制作の趣旨が反映されにくいことも生ずる。例えば或る一人の音楽家を主役としてフィーチャーした動画コンテンツを制作したいのに、ランダム選択であると、脇役ばかりが写ったり、各メンバー主役と脇役がほぼ均等に表示されるような動画になってしまうこともある。

　そこで本実施の形態では、このような点を鑑みて、動画制作の趣旨を反映し、しかも視聴者を飽きさせにくいような動画コンテンツＣＴを、容易に実現できる自動スイッチング処理を、上述した図１２や図１３の処理により実現するものである。

　実施の形態のスイッチング動作で実現される動画コンテンツＣＴの第１例、第２例を図１５に示す。
　第１例は、画像分類に応じて継続期間長を異なるようにした例である。
　即ち継続期間長を、全体ショットは時間Ｔａ、主役ショットは時間Ｔｂ、脇役ショットは時間Ｔｃとする。この例ではＴｂ＞Ｔｃ＞Ｔａとしている。Ｔｂ＞Ｔａ＞Ｔｃとしてもよい。即ち主役ショットの継続期間長を最も長くする。脇役ショットと全体ショットは、いずれかの継続期間長が最も短くなるようにする。
　一例として継続時間長は、主役ショットは８秒、脇役ショットは６秒、全体ショットは４秒などとする。

　そして、主画像選択部３１で選択されたショットＶＤが、順次、そのショットＶＤの画像分類ＰＤに応じて設定された継続期間長ずつ、主画像ＭＰとして出力されていく。
　即ち最初にショットＶＤ１が時間Ｔａだけ継続され、次にショットＶＤ２が時間Ｔｂだけ継続され、次にショットＶＤ４が時間Ｔｃだけ継続される、というように順次切り替えられていく。
　また、主画像選択部３１による選択は、順番でもなければ完全ランダムでもない。後述する所定の選択ルールを反映して次に主画像ＭＰとして出力されるショットＶＤが選択されるようにしている。

　このようにすることで、動画制作の意図に沿ったスイッチングであって、また固定的なスイッチングタイミングでないことにより視聴者を飽きさせにくくした動画コンテンツＣＴを自動スイッチングにより容易に実現できるようにしている。
　特に選択ルールにより主役ショットが主画像ＭＰとして選ばれやすくしたり、継続時間長を長くすることで、主役被写体が十分にフィーチャーされ、しかも場面の切り替えにおいて視聴者に良い意味の緊張感を与えるような動画が実現される。

　第２例は、さらに切り替えタイミング（換言すれば主画像ＭＰとしての継続時間長）を変化させることで、よりダイナミクスのある動画コンテンツを実現する例である。
　即ちこの第２例は、継続時間長としての全体ショットの時間Ｔａ、主役ショットの時間Ｔｂ、脇役ショットの時間Ｔｃについて、Ｔｂ＞Ｔｃ＞Ｔａ、又はＴｂ＞Ｔａ＞Ｔｃとすることは第１例と同様であるが、それぞれの画像分類の継続時間長に幅を持たせる例である。
　例えば主役ショットの場合の継続時間長は、時間Ｔｂ１、Ｔｂ２、Ｔｂ３などでバリエーションを持たせる。同様に脇役ショットの継続時間長は、時間Ｔｃ１、Ｔｃ２、Ｔｃ３などとし、全体ショットの継続時間長は、時間Ｔａ１、Ｔａ２、Ｔａ３などとする。
　一例として継続時間長は、全体ショットは３．５秒から４秒の間、脇役ショットは４秒から６秒の間、主役ショットは６秒から８秒の間、などとする。
　例えば主役ショットの継続時間長は、時間Ｔｂ１、Ｔｂ２、Ｔｂ３が６秒から８秒の間でランダムに設定されるなどとする。脇役ショット、全体ショットも同様である。
　これにより、ショットＶＤの切り替えタイミングの周期性がより薄くなり、緊張感のある動画となりやすい。

　なお、必ずしも常にＴｂ＞Ｔｃ＞Ｔａ、又はＴｂ＞Ｔａ＞Ｔｃの関係が守られなくてもよい。例えば多少オーバーラップして、全体ショットは３秒から５秒の間、脇役ショットは４秒から６秒の間、主役ショットは５秒から８秒の間などとしてもよい。

＜４．第１の実施の形態の処理例＞
　例えば以上の第１例、第２例のようなスイッチング動作を実現する画像処理装置の第１の実施の形態の処理例を図１６、図１７、図１８で説明する。
　各処理は、例えば図８の機能を備えた図７のＣＰＵ７１で行われるものとして説明する。即ち画像処理装置は、図１，図２，図３，図４のように、携帯端末２、コンピュータ装置５、スイッチャー３、クラウドスイッチャー４などにおいて実現される例とする。なお、図５のように撮像装置１に本実施の形態の画像処理装置が内蔵される場合、以下の処理は図６のカメラ信号合処理部１３又はカメラ制御部１８で行われるものと考えれば良い。

　なお、以下の処理は、複数のショットＶＤが存在することを前提として示している。図１３で説明したように、複数のショットＶＤを得るためのクロップ処理が別途行われる場合もある。

　図１６はショットＶＤとして供給される画像の１フレームタイミング（或いは間欠的なフレームタイミング）毎に行われる処理を示している。
　ＣＰＵ７１は、ステップＳ１０１としてカウンタＴＭ１，ＴＭ２をインクリメントする。カウンタＴＭ１は、現在の主画像ＭＰの継続期間長を監視するためのカウンタである。カウンタＴＭ２は、全体ショットを出力していない期間を監視するためのカウンタである。

　ステップＳ１０２でＣＰＵ７１は、入力される各ショットＶＤのそれぞれについて、上述した被写体認識部３４の機能による被写体認識処理を行う。
　ステップＳ１０３でＣＰＵ７１は、上述したショット解析部３５の機能によるショット解析を行う。つまり各ショットＶＤのそれぞれについて画像分類を判定する。

　ステップＳ１０４でＣＰＵ７１は、上述した切り替え制御部３３の機能による切り替え判定処理を行う。これは、現在、主画像ＭＰの切り替えタイミングであるか否かを判定する処理である。

　切り替え判定処理を図１７に示す。
　ＣＰＵ７１はステップＳ２０１で現在の主画像ＭＰとされたショットＶＤについて設定された継続期間長Ｔｘと、カウンタＴＭ１で計測されている時間を比較する。
　ＴＭ１≧ＴｘでなければＣＰＵ７１は、現在は切り替えタイミングではないと判定し、ステップＳ２０３で切り替えフラグＦｃをオフとする。
　ＴＭ１≧Ｔｘであれば、ＣＰＵ７１は現在、切り替えタイミングに至ったと判定し、ステップＳ２０２で切り替えフラグＦｃをオンとする。

　図１６のステップＳ１０４の処理をこの図１７のように行ったら、ＣＰＵ７１はステップＳ１０５で切り替えフラグＦｃを参照して処理を分岐する。
　切り替えフラグＦｃがオフであれば、ステップＳ１０７で現在の主画像ＭＰのショットＶＤをそのまま主画像ＭＰとして維持する判定とする。実際には、切り替え制御部３３による切り替え部４０の切り替え制御を行わないということになる。

　ステップＳ１０５で切り替えフラグＦｃがオンであれば、ＣＰＵ７１はステップＳ１０６に進み、ショット選択の処理を行う。
　具体的には、主画像選択部３１による次の主画像ＭＰとして出力するショットＶＤの選択、期間設定部３２による当該ショットＶＤの継続期間長Ｔｘの設定、切り替え制御部３３による切り替え部４０の切り替え制御を実行する。

　ステップＳ１０６のショット選択処理を図１８に示している。
　ステップＳ３０１でＣＰＵ７１は、カウンタＴＭ２と第２の期間長Ｔ２を比較する。この期間長Ｔ２とは、全体ショットのインターバルとしての比較基準となる固定値である。全体ショットは、イベント全体を写すものであって視聴者にイベント内容を伝えやすい画像であるため、ある程度頻繁に主画像ＭＰとして出力されることが望ましい。換言すれば、あまりに全体ショットのインターバル（全体ショットが出力されていない期間）が長くなることは、動画コンテンツとしては望ましくない。そこで、全体画像のインターバルが長くなりすぎないような判定を行うようにしている。
　例えば期間長Ｔ２＝３０秒などとする。
　一方、カウンタＴＭ２は、主画像ＭＰが全体ショットから他の画像分類のショットＶＤの切り替えられたときにリセットされるため、全体ショットのインターバルの時間をカウントするものとなっている。

　そこでＴＭ２≧Ｔ２であれば、ＣＰＵ７１はステップＳ３０１からＳ３０５に進み、次の主画像ＭＰとして全体ショットを選択する。
　これは、全体ショットを出力していない時間が例えば３０秒を越えたことに応じて、そろそろ全体ショットを挿入するという趣旨の判定となる。
　なお、もし全体ショットが複数ある場合は、そのうちでランダム選択を行うことが考えられる。

　一方、ＴＭ２≧Ｔ２でなければ、ＣＰＵ７１はステップＳ３０１からＳ３０２に進み、所定の選択ルールに則った次の主画像ＭＰの選択を行う。
　ステップＳ３０２では、次の主画像ＭＰにはふさわしくない除外ショットを判定する。
　例えば「現在の主画像のショットと同一又は同等のショット」を次の主画像ＭＰとして選択しない、という選択ルールがあるものとする。
　この場合の「同一のショット」とは現在主画像ＭＰとされているショットＶＤを指す。また「同等のショット」とは、例えば現在主画像ＭＰとされているショットＶＤと同じ被写体のショット、同じアングル及び画角のショット、同じサイズや構図のショットなどを指す。
　このようなショットＶＤは、切り替えても動画上、変わり映えがしないため、選択の候補から除外する。
　このステップＳ３０２で除外ショットと判定されなかったショットＶＤが、次に主画像ＭＰとして選択される候補のショットとなる。

　ＣＰＵ７１はステップＳ３０３で、候補となったショットＶＤのうちで、全体ショット以外のショットＶＤが存在するか否かを確認する。
　もし、全体ショットしか候補として残っていなければ、ＣＰＵ７１はステップＳ３０５で全体ショットを次の主画像ＭＰとして選択する。

　全体ショット以外のショットＶＤが存在する場合（候補の全てが全体ショット以外のショットである場合や、候補の一部が全体ショットで全体ショット以外のショットＶＤも存在する場合）は、ＣＰＵ７１はステップＳ３０４に進み、抽選処理で候補の中から次の主画像ＭＰとするショットＶＤを選択する。
　この場合、全体ショット、主要被写体ショット（主役ショット、話者ショット）、脇役ショットのいずれかで候補となっているショットＶＤのいずれかが、ランダム抽選により選択される。

　ステップＳ３０４又はＳ３０５で主画像ＭＰとするショットＶＤを選択したら、ＣＰＵ７１はステップＳ３０６で、その選択したショットＶＤの画像分類に応じて、主画像ＭＰとしての継続期間長Ｔｘを設定する。
　例えば図１５の第１例のように、画像分類に応じた継続期間長Ｔｘとする。或いは第２例のように、画像分類に応じた時間範囲内で今回の継続期間長Ｔｘを設定する。

　ステップＳ３０７でＣＰＵ７１は、カウンタＴＭ１をリセットする。これは次の主画像ＭＰの継続期間長Ｔｘの監視のためである（図１７のステップＳ２０１参照）。

　ステップＳ３０８でＣＰＵ７１は、全体ショットの終了タイミングであるか否かを確認する。つまり、現在が全体ショット以外のショットで、今回、ステップＳ３０４で選択されたショットＶＤ、つまり次の主画像ＭＰが、全体ショット以外の画像分類であるか否かを確認する。そしてその結果により処理を分岐する。
　今回が全体ショットから他の画像分類のショットＶＤに切り替わることになるタイミングである場合、ＣＰＵ７１はステップＳ３０９に進んで、カウンタＴＭ２をリセットする。これは全体ショットのインターバルの時間の監視のためである（ステップＳ３０１参照）。

　そしてステップＳ３１０でＣＰＵ７１は、切り替え制御部３３の機能により切り替え部４０の切り替え制御を行う。つまりステップＳ３０４又はＳ３０５で選択したショットＶＤが主画像ＭＰとされるように切り替え制御を行う。

　以上の図１７，図１８の処理を含む図１６の処理が、例えばフレームタイミング毎に行われることで、図１５に示したようなスイッチングが実現される。
　なお、図示していないが、ユーザ操作があった場合は、それに応じた割込処理として、即時、又は次のフレームのタイミングなどで、切り替え制御部３３による切り替え部４０の切り替え制御が行われるようにするとよい。この点は次の第２の実施の形態でも同様である。

＜５．第２の実施の形態の処理例＞
　ところで、上記の第１の実施の形態では、ステップＳ３０２の選択ルールがシンプルなものとした例で説明した。第２の実施の形態の処理例は、主役ショット、脇役ショット、全体ショット等の別に応じた、より精細な選択ルールを用いる例とする。
　さらに第２の実施の形態の処理例は、設定した継続期間長Ｔｘに基づくタイミングだけでなく、別のタイミングでも切り替えを行う処理例ともする。

　なお、フレームタイミング毎の処理は図１６と同様となるため説明を省略する。そして図１６のステップＳ１０４の切り替え判定処理を図１９に示し、またステップＳ１０６のショット選択処理を図２０に示して説明する。
　図１９、図２０において図１８，図１９と同一の処理については同一のステップ番号を付している。

　図１９に示す切り替え判定処理では、まずステップＳ２１０でＣＰＵ７１は、カウンタＴＭ１を第１の期間長Ｔ１と比較する処理を行う。
　この期間長Ｔ１とは、主画像ＭＰの切り替えを行わない最低限の時間として設定されている固定値であるとする。例えばＴ１＝３秒などとする。この期間長Ｔ１を用いて、一旦主画像ＭＰとしたものは、最低でも３秒間は切り替えない（主画像ＭＰとして継続させる）という趣旨の処理を行う。
　即ち、ステップＳ２１０でＴＭ１≧Ｔ１でなければＣＰＵ７１は、現在の主画像ＭＰが期間長Ｔ１だけ継続されていない（例えば主画像ＭＰになって３秒たっていない）として、そのまま主画像ＭＰの状態を継続させるため、ステップＳ２０３で切り替えフラグＦｃをオフとする。これにより、スイッチングは行われない（図１６のステップＳ１０７参照）

　一方、ステップＳ２１０でＴＭ１≧Ｔ１であれば、主画像ＭＰの切り替えが許容されることになる。そこでＣＰＵ７１はステップＳ２１１に進む。

　ステップＳ２１１でＣＰＵ７１は、現在、話者ショットではない或るショットＶＤが主画像ＭＰとされており、他に話者ショットが存在するか否かを確認する。
　現在の主画像ＭＰが話者ショットではなく、他に話者ショットが存在する場合は、ＣＰＵ７１はステップＳ２０２に進み切り替えフラグＦｃをオンとする。

　現在の主画像ＭＰが話者ショットである場合や、現在の主画像ＭＰが話者ショットでなく他にも話者ショットが存在しない場合は、ＣＰＵ７１はステップＳ２１１からＳ２１２に進む。そしてＣＰＵ７１は現在主画像ＭＰとされているショットＶＤの画像分類ＰＤが変化したか否かを確認する。

　例えば話者ショットと判定されたショットＶＤの被写体が話をやめた場合、或いは主役を捉えていたショットＶＤにおいて、主役がステージからバックステージに行ってしまった場合などで、「主要被写体ショット」と判定されていたショットＶＤが主要被写体ショットに該当しなくなる場合がある。
　また、脇役を写してしたショットＶＤのカメラアングルが変わり、主役を写すことになった場合、画像分類ＰＤが脇役ショットから主役ショットに変化してしまう。
　このような現在の主画像ＭＰについての画像分類の変化が生じた場合、ＣＰＵ７１はステップＳ２０２に進み切り替えフラグＦｃをオンとする。

　現在の主画像ＭＰについての画像分類の変化が生じていなければ、ＣＰＵ７１はステップＳ２１２からＳ２１３に進み、現在の主画像ＭＰとされたショットＶＤについて設定された継続期間長Ｔｘと、カウンタＴＭ１で計測されている時間を比較する。
　ＴＭ１≧ＴｘでなければＣＰＵ７１は、現在は切り替えタイミングではないと判定し、ステップＳ２０３で切り替えフラグＦｃをオフとする。
　ＴＭ１≧Ｔｘであれば、ＣＰＵ７１は現在、切り替えタイミングに至ったと判定し、ステップＳ２０２で切り替えフラグＦｃをオンとする。

　このように切り替え判定処理を行うことで、継続期間長Ｔｘに応じた切り替えタイミング以外に、ショット内容の変化や話者の変化などの事情に応じても、切り替えタイミングが設定されることになる。

　切り替えフラグＦｃがオンとされることで、図１６の処理はステップＳ１０６のショット選択に進む。
　このショット選択の処理としてＣＰＵ７１は、まず図２０のステップＳ３０１で、カウンタＴＭ２と期間長Ｔ２を比較する。即ち図１８と同様に全体ショットのインターバルの時間が長くなりすぎないようにする処理である。
　ＴＭ２≧Ｔ２であれば、全体ショットが出力されていない期間が長くなった（例えば３０秒を越えた）として、ＣＰＵ７１はステップＳ３０１からＳ３２６に進み、次の主画像ＭＰとして全体ショットを選択する。

　一方、ＴＭ２≧Ｔ２でなければ、ＣＰＵ７１はステップＳ３０１からＳ３２１に進み、所定の選択ルールに則った次の主画像ＭＰの選択を行う。
　ステップＳ３２１では、次の主画像ＭＰにはふさわしくない除外ショットを判定する。この場合、次の選択ルールを用いる。
・「現在の主画像のショットと同一又は同等のショット」を次の主画像ＭＰとして選択しない
・「現在の主画像が脇役ショットの場合、現在の主画像のショットと同一被写体のショット」を次の主画像ＭＰとして選択しない
・「現在の主画像が全体ショットで他に主役ショットがある場合の脇役ショット」を次の主画像ＭＰとして選択しない
・「現在の主画像が脇役ショットで他に主役ショットがある場合の脇役ショット」を次の主画像ＭＰとして選択しない
・「話者ショットがある場合の話者ショット以外のショット」を次の主画像ＭＰとして選択しない

　ステップＳ３２１でＣＰＵ７１は、現在の各ショットＶＤにおいてこれらに該当するショットがあれば、それらを次の主画像ＭＰの候補から除外する。除外されなかったショットが、次に主画像ＭＰとして選択される候補のショットとなる。

　ＣＰＵ７１は、除外ショットを選択したら、ステップＳ３２２で、候補となったショットＶＤのうちで、全体ショット以外のショットＶＤが存在するか否かを確認する。
　もし、全体ショットしか候補として残っていなければ、ＣＰＵ７１はステップＳ３２６で全体ショットを次の主画像ＭＰとして選択する。

　全体ショット以外のショットＶＤが存在する場合（候補の全てが全体ショット以外のショットである場合や、候補の一部が全体ショットで全体ショット以外のショットも存在する場合）は、ＣＰＵ７１はステップＳ３２３に進み、まず候補の中に主要被写体ショット（主役ショット又は話者ショット）が存在するか否かを判定する。
　候補の中に主要被写体ショットが存在しなければＣＰＵ７１はステップＳ３２５に進み、抽選処理で候補の中から次の主画像ＭＰとするショットＶＤを選択する。この場合、全体ショット、脇役ショットのいずれかで候補となっているショットＶＤのいずれかが、ランダム抽選により選択される。

　候補の中に主役ショットが存在する場合、ＣＰＵ７１はステップＳ３２４に進み、候補の中からショット毎の重み付きの選択ルールに則って、次の主画像ＭＰとするショットＶＤを選択する。
　例えば候補のショットＶＤの中から、次の選択ルールでショットを選択する。
・話者ショットがある場合、話者ショットを選択する。
・重要被写体ショットと脇役ショットがある場合、重要被写体と脇役の選択が一定割合になるよう確率的に選択する（例えば、５対１）。
・同一の画像分類のショットがある場合、ランダムに選択する。ショットサイズ、被写体人数で優先的に選択しても良い。
・選択可能なショットがない場合、全体ショットを選択する。

　このような重み付き選択ルールによれば、話者ショットが最も優先、主役ショットが２番目に優先されるような重み付け選択が行われることになる。

　ステップＳ３２４、Ｓ３２５、又はＳ３２６で主画像ＭＰとするショットＶＤを選択したら、ＣＰＵ７１はステップＳ３０６で、その選択したショットＶＤの画像分類に応じて、主画像ＭＰとしての継続期間長Ｔｘを設定する。
　例えば図１５の第１例のように、画像分類に応じた継続期間長Ｔｘとする。或いは第２例のように、画像分類に応じた時間範囲内で今回の継続期間長Ｔｘを設定する。

　そして図１８の例と同様にＣＰＵ７１は、ステップＳ３０７でカウンタＴＭ１をリセットし、ステップＳ３０８で全体ショットの終了タイミングであるか否かを確認し、今回が全体ショットから他の画像分類のショットＶＤに切り替わることになるタイミングである場合、ＣＰＵ７１はステップＳ３０９に進んで、カウンタＴＭ２をリセットする。
　そしてステップＳ３１０でＣＰＵ７１は、切り替え制御部３３の機能により切り替え部４０の切り替え制御を行う。つまりステップＳ３２４、Ｓ３２５、又はＳ３２６で選択したショットＶＤが主画像ＭＰとされるように切り替え制御を行う。

　以上の図１９，図２０の処理を含む図１６の処理が、例えばフレームタイミング毎に行われることで、図１５に示したようなスイッチングが実現される。
　さらにこの第２の実施の形態では、図１９のステップＳ２１１の判定及び図２０のステップＳ３２３，Ｓ３２４により、例えばインタビュー中継などで話者が変わってしまった際に、継続期間長Ｔｘにかかわらず、迅速に主画像ＭＰが話者ショットに切り替えられる。つまり最重要な被写体を適切なタイミングで主画像ＭＰとすることができる。
　またショットＶＤの意図（被写体、被写体の状態）が変わってしまった場合（主役がステージ奥に下がってしまった場合など）は、そのままだと意図しない画像内容になってしまうが、図１９のステップＳ２１２の判定及び図２０のステップＳ３２１，Ｓ３２３，Ｓ３２４，Ｓ３２５により、継続期間長Ｔｘにかかわらず、迅速に主画像ＭＰが他のショットＶＤに切り替えられる。
　これらの処理によって、よりイベント等の実情に即した内容的な品質のよい画像コンテンツ生成が可能となっている。

　但し、例えば話者が変わるなどがあっても、あまりに短時間で映像を切り替えると見栄えが悪い（放送事故のようになる）ところ、ステップＳ２１０の処理により、最低限、期間長Ｔ１（例えば３秒）は、現在の主画像ＭＰが継続される。これにより、慌てたスイッチングのような見栄えの悪い画像内容にならない。
　これも画像コンテンツとしての内容的な品質の向上に寄与する。

　なお、ステップＳ３２１の選択ルール（候補から除外するショットのルール）を５つ挙げたが、これら全部を用いなくてもよい。また、それら５つの選択ルール以外の除外ショットの選択ルールを用いても良い。
　またステップＳ３２４では重み付き選択を行うための選択ルールを４つ挙げたが、これら全部を用いなくてもよい。また、それら４つの選択ルール以外の重み付き選択のための選択ルールを用いても良い。

＜６．まとめ及び変形例＞
　以上の実施の形態によれば次の効果が得られる。
　実施の形態の画像処理装置は、複数のショット（画像）ＶＤのうちで主画像ＭＰとする一のショットＶＤを選択する主画像選択部３１を備える（図１８のＳ３０１からＳ３０６、図２０のＳ３０１からＳ３２６）。
　また画像処理装置は、主画像選択部３１で選択されたショットＶＤ（選択画像）を主画像ＭＰとして継続させる継続期間長Ｔｘを、複数の画像分類のうちで選択されたショットＶＤが該当する画像分類に応じて設定する期間設定部３２を備えている（Ｓ３０６）。
　これにより、画像内容、例えば全体ショット、主役や話者などの主要被写体ショット、脇役ショットなどに応じて、主画像ＭＰとされる継続期間長Ｔｘを可変設定でき、放送や記録される動画コンテンツとしてその放送等の目的や意図に沿ったものが実現される。
　そしてそのようなスイッチングが自動的に行われることで、ユーザ（オペレータ）の操作負担を生じさせずに、内容的に自然であり高品質で面白みのある放送や動画記録を行うことができる。
　例えば単に話者が写っているショットＶＤなど所定の評価値により重要度の高いショットを切り換えていくのみでは、同じショットＶＤが長期間続いてしまったりショットＶＤが頻繁に切り替わったりして、視聴者に不自然さを感じさせることがある。本実施の形態の場合、原則的には画像分類に応じて継続期間長Ｔｘが決められることで、不自然なスイッチングが生じることを減少させることができる。

　なお主画像ＭＰのスイッチングの後段の処理、つまり選択されたショットＶＤが連続する画像コンテンツとしては、例えばリアルタイム放送画像として出力されることが想定されるが、それに限らない。
　例えばスイッチング後の動画を記録媒体に記録したり、表示装置で表示したり、インターネット等のネットワークを介して所定のサーバにアップロードするなどしてもよい。
　また動画の時間軸に合わせた主画像ＭＰの選択情報をメタデータとして、各ショットＶＤの画像とともに記録、転送等を行い、後に該メタデータを用いて同様のスイッチングを行うことができるようにしてもよい。
　さらには該メタデータや各ショットＶＤを編集装置に転送し、再編集として、主画像ＭＰの選択情報としてのメタデータの一部又は全部を更新し、最初のスイッチングを利用しながら異なるスイッチングによる動画コンテンツを生成するようにしてもよい。

　また実施の形態では主に動画を対象として説明したが、主画像ＭＰとする静止画の選択にも本技術は適用できる。例えば複数の静止画をスライドショウとして表示させたり放送出力、アップロード等を行ってもよい。静止画の内容についての画像分類に応じて、主画像ＭＰの継続期間長、つまりその静止画が表示される時間が設定されることで、単純な一定時間毎のスライドショウよりも視聴者の興味を引き立てるスライドショウを実現できる可能性がある。

　また図１６の処理例では、ショットＶＤの選択及び切り替えは切り替えフラグＦｃがオンとなった時点においてステップＳ１０６で行うようにしているが、これにより、切り替えを行う時点の各ショットＶＤの状況を反映してショットの選択を行うことができる。
　一方で、まだ切り替えフラグＦｃがオンとなっていない時点で、次に主画像ＭＰとするショットＶＤを選択しておき、切り替えフラグＦｃがオンとなった時点で、選択していた次のショットＶＤに切り替えるようにしてもよい。これによりショット切り替え時の処理負担が軽減される。

　またショットの画像分類は「主要被写体ショット（主役ショット、話者ショット）」「脇役ショット」「全体ショット」の例に限られない。
　主要被写体ショットの細分類としては、例えば話者ショット、第１主役ショット、第２主役ショットなど、より多様にしてもよい。
　同様に、第１脇役ショット、第２脇役ショットなど脇役毎に区別した画像分類を設けてもよい。
　さらに解説画面を指す解説ショット、タイトルショットなどの定型画面を指す定型画面ショット、人のいない風景を指す風景ショット、特殊状況で発生する割込ショットなどの画像分類を設けてもよい。

　実施の形態では、継続期間長Ｔｘは、選択画像である一の画像が主画像ＭＰに切り替えられてから、複数の画像のうち、主画像選択部３１で次の選択画像とされた他の画像が主画像ＭＰに切り替えられるまで期間の長さとしている。
　このような継続期間長を、主画像ＭＰとされるショットＶＤが該当する画像分類に応じて決めることで、放送画像等において、主役ショット、話者ショット、脇役ショット、全体ショットなどが、その撮像対象や放送意図などに沿って配分される。これにより不自然であったり退屈になったりしないショットＶＤのスイッチングが実現される。

　ところで画像分類に応じた継続期間長は、固定でもよいし可変でもよい。
　例えば主要被写体ショットは８秒、脇役ショットは４秒、全体ショットは６秒としたり、或いは主要被写体ショットは８秒、脇役ショットは６秒、全体ショットは４秒とするなど、画像分類に応じて固定値を設定しておくことが考えられる。もちろん、主要被写体ショットでも、話者ショットは８．５秒、主役ショットは７．５秒などと、細かく設定してもよい。
　一方で、脇役ショットは２秒から４秒の範囲、全体ショットは４秒から６秒の範囲、主要被写体ショットは６秒から８秒の範囲などとし、それぞれ範囲内で可変設定されるものとしてもよい。このようにすることで、ショットＶＤの切り替わりのタイミングが多様化し、視聴者を飽きさせない自動スイッチングを促進できる。

　実施の形態では、ショットＶＤの画像分類は、そのショットＶＤの被写体情報に基づいて決定される例を挙げた。例えば全体ショット、話者ショット、主役ショット、脇役ショットなどの画像分類は、ショットＶＤ毎に予め設定されたり、ユーザ操作により分類されてもよいが、被写体情報に基づいて決定されても良い。例えば画像解析により被写体を判定し、該当する画像分類を判定する。
　画像分類を被写体情報に基づいて判定することで、ユーザが操作を行う必要はなく、オペレーションを容易化できる。またショットＶＤの被写体が変わってしまったような場合も即座に対応し、適切な継続期間長Ｔｘを設定できる。

　第１，第２の実施の形態で説明したように、画像処理装置は、期間設定部３２で設定された継続期間長Ｔｘに応じて、主画像ＭＰを切り替える切り替え制御部３３を備える（Ｓ３１０）。
　そして切り替え制御部３３は、所定状況の検知により、現在の主画像ＭＰの継続時間が、期間設定部３２が設定した継続期間長Ｔｘに達していない場合でも、継続期間長Ｔｘより短い期間長Ｔ１を経過していることを条件として（Ｓ２１０）、主画像ＭＰを他のショットＶＤへ切り替える制御を行う（Ｓ２１１，Ｓ２１２，Ｓ２０２，Ｓ３１０）。
　このように状況に応じて、主画像ＭＰとして出力されるショットＶＤを、継続期間長Ｔｘに達していない時点でも他のショットＶＤに切り替える場合を設けることで、緊急的に切り替えた方がよい場合に対応できる。
　但しこのとき、ある程度短い最低限の期間長として設定した期間長Ｔ１に達するまでは主画像ＭＰの切り替えは行わない。これにより、或るショットＶＤが主画像ＭＰとされた後、直ぐに他のショットＶＤに切り替わってしまうことがないようにする。あまりにも短い時間でショットＶＤが切り替わることは、視聴者に不自然な感じを与えたり、不都合な画像と思われたりすることがあり、放送画像や動画コンテンツとしての品質を低下させるため、そのようなことが生じないようにしている。

　第２の実施の形態では、主画像ＭＰとされているショットＶＤの画像分類が、主画像選択部３１によって主画像ＭＰとするものとして選択したときの画像分類から変化した場合、継続期間長Ｔｘより短い期間長Ｔ１を経過していることを条件として、主画像ＭＰを他の画像へ切り替える制御を行う例を挙げた（図１９のＳ２１２、Ｓ２０２）。
　主画像ＭＰとして選択されているショットＶＤの画像分類が変わってしまうことがある。例えばステージ上の主役をとらえていたショットＶＤにおいて主役がステージ裏に下がってしまうなどして主役が存在しなくなった場合などである。このような場合に、そのまま現在の主画像ＭＰを継続してしまうと、放送等では意図しない画像が続いたり、視聴者に不自然な画像と感じられてしまいやすい。そこで、そのような場合、設定した継続期間長に達していない場合でも主画像ＭＰを他のショットＶＤに切り替えるようにする。これにより自然な主画像出力、適切な主画像出力が行われるようにする。
　但しこの場合、期間長Ｔ１に達するまでは主画像ＭＰの切り替えは行わないことで、或るショットＶＤが主画像ＭＰとされた後、直ぐに他のショットＶＤに切り替わってしまうことがないようにし、不自然感や品質低下などが生じないようにいている。

　第２の実施の形態では、主画像ＭＰとされていないショットＶＤのなかで、画像分類が話者ショットとされるショットＶＤが発生した場合、継続期間長Ｔｘより短い期間長Ｔ１を経過していることを条件として、主画像ＭＰを、画像分類が話者ショットとされているショットＶＤに切り替える制御を行う例を挙げた（図１９のＳ２１１、Ｓ２０２及び図２０のＳ３２４）。
　例えば話者は主画像ＭＰとして適しているが、或る人（Ａ氏）が話者とされて主画像ＭＰになっているときに、他の人（Ｂ氏）が話者となった場合、Ａ氏の画像を主画像ＭＰにしたままであると不自然である。そこで、Ａ氏の画像が設定した継続期間長に達していなくても、Ｂ氏の画像に切り替えるようにする。このようにすることで、設定した継続期間長Ｔｘに縛られすぎない臨機応変なスイッチングが実現でき、放送や記録する画像コンテンツとしての品質を高めることができる。
　この場合も、期間長Ｔ１に達するまでは主画像ＭＰの切り替えは行わない。これにより、或るショットＶＤが主画像ＭＰとされた後、直ぐに他のショットＶＤに切り替わってしまうことがないようにし、あまりにも短い時間で画像が切り替わることによる不自然感や品質低下などが生じないようにしている。

　第１，第２の実施の形態では、画像分類が全体ショットとされたショットＶＤが主画像ＭＰとなっていない期間が期間長Ｔ２を経過している場合は、画像分類が全体ショットとされているショットＶＤを新たな主画像ＭＰとして選択するようにした（図１８のＳ３０１，Ｓ３０５、図２０のＳ３０１，Ｓ３２６）
　全体ショットは視聴者にイベントの全体像を伝えることができる。即ち全体ショットを見ることで視聴者はイベントの内容や状況を把握しやすい。
　例えば図１０のようなインタビューイベントでは、全体ショットにより、インタビューの状況が伝わりやすく、また図９のような音楽ライブイベントでは、全体ショットにより音楽ライブの状況、演奏状況などが視聴者にわかりやすい。そのため、期間長Ｔ２を目安としてある程度の間隔で、全体ショットが主画像ＭＰとされるようにする。これにより視聴者に内容が伝わりやすい画像コンテンツとすることができる。

　なお図１８、図２０のショット選択の処理では、期間長Ｔ２の判定のためのカウンタＴＭ２は、ステップＳ３０８で、全体ショットから他のショットに切り替えた時点を起点としてリセットしているため、カウンタＴＭ２の値は、全体ショットが主画像ＭＰでなくなったときからの経過時間となる。
　これに限らず、カウンタＴＭ２の値は全体ショットが最後に主画像ＭＰとなった時点からの経過時間としてもよい。つまり、ステップＳ３０８では、全体ショットに切り替わったか否かを判定してステップＳ３０９でカウンタＴＭ２をリセットするものとしてもよい。この場合は、カウンタＴＭ２の値から、全体ショットの主画像ＭＰとしての期間（例えば継続期間長Ｔｘ）を減算したものが、全体ショットが主画像ＭＰとなっていない期間となるため、それに応じて期間長Ｔ２が適切に設定されればよい。

　実施の形態では、少なくとも主要被写体ショット（主要被写体画像）、脇役ショット（副被写体画像）、全体ショット（全体画像）のいずれかを含む画像分類に分類される複数の画像から一の画像を主画像ＭＰとして選択する。この場合に主要被写体ショット、脇役ショット、全体ショットという画像分類に応じて継続期間長Ｔｘを設定する例を挙げた。或いは話者ショット、主役ショット、脇役ショット、全体ショットという画像分類に応じて継続期間長Ｔｘを設定してもよい。
　イベント等の場合の代表的なショットとしては、全体ショット、主役や話者などの主要被写体ショット、主役や話者以外の脇役ショットに分類される。これらのショットＶＤをそれぞれ適切な期間長で出力することで、視聴者に興味を継続させる自動スイッチングが実現できる。

　実施の形態では、主要被写体ショットは継続期間長Ｔｘが最も長く、全体ショット又は脇役ショットが、継続期間長Ｔｘが最も短くなるように、画像分類に応じて継続期間長を設定する例を挙げた。
　例えば継続期間長は、主要被写体ショット＞脇役ショット＞全体ショットとなるようにする。主要被写体ショットは、視聴者にとって最もアピールしたい画像であるため継続期間長Ｔｘを長くする。全体ショット（いわゆる“引き”の画像）は、撮像対象を伝えるために重要であるため、たびたび選択されることが望ましいが、それに対応して、１回の継続期間長Ｔｘは短めとすることが望ましい場合が多い。これらの設定によりスイッチングを行うことで、自動制御でありながら、視聴者が飽きにくい画像を出力できるようになる。
　また例えば主要被写体ショット＞全体ショット＞脇役ショットの順番で継続期間長Ｔｘを設定してもよい。例えば主役を際立たせたい動画制作意図の場合は、脇役ショットを短くすることが適しているためである。

　実施の形態では、主画像ＭＰとされているショット以外の複数のショットＶＤのうちで、所定の選択ルールに応じた処理を用いて、次に主画像ＭＰとするショットＶＤを選択する例を挙げた（図１８のＳ３０１からＳ３０５、図２０のＳ３０１からＳ３２６）。
　例えばステップＳ３０２やステップＳ３２１で選択ルールに沿った除外ショットの判定を行い、除外されなかったショットを候補としてステップＳ３１２からＳ３１６で次の主画像ＭＰとなるショットＶＤの選択を行う。このようにすることで、全てのショットＶＤから次のショットＶＤをランダムに選択するよりも視聴者にとって適切と想定されるスイッチングを実現できる。
　なおステップＳ３０４の抽選処理はランダムに選択すると述べたが、あくまで選択ルールに沿って除外ショットが除かれたうえでのランダム抽選であるため、単に全てのショットＶＤからのランダム選択とは違って、内容的には適した選択であり、かつ固定的ではない選択が行われることになる。
　また図２０の例では、ステップＳ３２４の重み付き選択ルールも用いることで、より動画制作意図に沿ったショット選択が行われることになる。また、このステップＳ３２４でも「同一の画像分類のショットがある場合、ランダムに選択する」などというランダム抽選を一部に用いることで、内容的には適した選択であり、かつ固定的ではない選択が行われることにもなる。

　実施の形態の選択ルールに応じた処理の１つは、主画像ＭＰとされているショットＶＤが主要被写体ショットではないときに、他の主要被写体ショットとしてのショットＶＤがある場合は、それを次の主画像ＭＰの候補とする処理とした。
　現在の主画像ＭＰが脇役ショットや全体ショットであって主要被写体ショットでない場合には、他に主要被写体ショットを主画像ＭＰとしても視聴者にとって違和感のない選択となるため、主画像ＭＰの選択の候補に残すことが適切となる。従って次に主画像ＭＰとされることが、動画構成上、好適とされるショットＶＤが選択されるようになる。
　具体的には、現在の主画像ＭＰが脇役ショットや全体ショットである場合の他の主要被写体ショットは、図２０のステップＳ３２１で選択対象からの除外ショットとはされないようにしている。「現在の主画像が全体ショットで他に主役ショットがある場合の脇役ショット」や「現在の主画像が脇役ショットで他に主役ショットがある場合の脇役ショット」に該当しないためである。
　この場合の主要被写体ショットは、ステップＳ３２４で次の主画像ＭＰとして選択されやすいため、主要被写体ショットが他のショットに比べてなるべく頻繁に選ばれる状態とすることができる。

　実施の形態の選択ルールに応じた処理の１つは、主画像ＭＰとされているショットＶＤが主要被写体ショットであるときに、他の主要被写体ショットとしてのショットＶＤがある場合は、それを次の主画像ＭＰの候補とする処理とした。
　現在のショットＶＤが主要被写体ショットであっても、他に主要被写体ショットがある場合、それを主画像ＭＰとしても視聴者にとって違和感のない選択となるため、主画像ＭＰの選択の候補に残すことが適切となる。
　具体的には図２０のステップＳ３２１で選択候補からの除外ショットとはされないようにしている。つまり当該他の主要被写体ショットは「現在の主画像のショットと同一又は同等のショット」や「現在の主画像のショットと同一被写体のショット」や「話者ショットがある場合の話者ショット以外のショット」に該当しないためである。
　この場合の他の主要被写体ショットは、ステップＳ３２４で次のショットとして選択されやすくなるため、主要被写体ショットが比較的頻繁に選ばれる状態とすることができる。特にこの場合、複数の主役がいる場合であったり、話者が変わるような場合にも有効なスイッチングのルールとなる。

　実施の形態の選択ルールに応じた処理の１つは、現在主画像ＭＰとされているショットＶＤと同一の画像分類のショットＶＤを次の主画像ＭＰの候補から除外する処理であるとした。
　具体的には図２０のステップＳ３２１で「現在の主画像のショットと同一又は同等のショット」や「現在の主画像が脇役ショットの場合、現在の主画像のショットと同一被写体のショット」は、選択対象から除外する。これにより、同一の被写体が続いて視聴者を飽きさせやすくするような画像出力を防止できる。

　実施の形態の選択ルールに応じた処理の１つは、現在主画像ＭＰとされているショットＶＤの被写体と同一の副被写体（例えば脇役）が含まれるショットＶＤを次の主画像ＭＰの候補から除外する処理であるとした。
　具体的には図２０のステップＳ３２１で「現在の主画像のショットと同一又は同等のショット」や「現在の主画像が脇役ショットの場合、現在の主画像のショットと同一被写体のショット」として、脇役が写されている画像を、次の主画像ＭＰの候補から除外する。
　例えば現在の主画像ＭＰが全体ショットであるときの脇役ショットや、現在の主画像ＭＰが脇役ショットであるときの、その脇役を写した別の脇役ショットは、次の主画像ＭＰとはしないようにする。これにより、同一の脇役被写体が続いてしまうことを防止する。これは、視聴者が当該脇役を主役と誤認しやすい画像となってしまうことを避ける意味がある。

　実施の形態の選択ルールに応じた処理の１つは、現在主画像ＭＰとされているショットＶＤが全体ショットであり、他の画像として主要被写体画像があるときに、副被写体画像を次の主画像ＭＰの候補から除外する処理であるとした。つまり全体ショットを表示した次のタイミングでなるべく脇役が表示されないようにする。
　具体的には図２０のステップＳ３２１で「現在の主画像が全体ショットで他に主役ショットがある場合の脇役ショット」が次の主画像ＭＰの候補から除外される。これにより全体ショットの次に脇役ショットに切り替えることがあまり生じないようにする。つまり主要被写体ショットが存在しないときのみ脇役ショットに切り替えられるようにする。
　視聴者は、全体ショットの次に写される被写体を主役と認識し易い傾向がある。そこで、全体ショットの次に脇役ショットが出力されて、脇役が主役と誤認されるような状況が起こらないようにする。

　実施の形態では、選択ルールに応じた処理により、全体ショット以外で次に主画像ＭＰとする候補となるショットＶＤが存在しなくなった場合は、全体ショットを次の主画像ＭＰとして選択することとした（図１８のＳ３０３、Ｓ３０５、図２０のＳ３２２，Ｓ３２６）。
　例えばステップＳ３０２やステップＳ３２１の除外ショットの選択が行われた結果としては、その選択ルールにもよるが、全てのショットＶＤが候補とならなかった場合や、全体ショットを除いた全てのショットＶＤが候補とならなかった場合が想定される。そのような場合は全体ショットを次の主画像ＭＰとして選択する。全体ショットは、最も視聴者に誤認や混乱を与えないショットであるとともに、なるべく挿入したいショットであるためである。
　そしてこの処理により、ステップＳ３１２やステップＳ３２１の除外ショット選択を行うことでショット切り替えができないような自体に陥ることを回避できる。つまり除外ショット選択を行うことによる適切な主画像選択の実現という効果を得つつ、除外ショット判定に起因する主画像選択不能といった事態を生じさせないようにすることができる。

　第２の実施の形態では、次に主画像ＭＰとする候補としたショットのうちで、重み付けを加えた選択処理で、次の主画像ＭＰとするショットを選択する例を挙げた。
　例えばステップＳ３２４では、複数のショットＶＤが次の主画像ＭＰとしての候補となったときに、候補のショットＶＤの画像分類に応じて重み付けを与えた選択ルールに基づく処理で次の主画像ＭＰを選択するものとした。例えば話者ショット、主役ショット、脇役ショット、全体ショットの別による重み付けを行う。
　これにより例えば話者ショットや主役ショットが選択されやすくする。
　さらに主役ショットと話者ショットの間も優先度が異なる。話者ショットがあれば話者ショット優先される。主役がいても他に話している人がいる場合は、話者の方がイベント内容として重要なためである。
　これらの重み付けにより、制作者がなるべく見せたい想定するショットが選択されやすくなり、制作意図に合致するスイッチングが行われる。
　またステップＳ３２４ではランダム性も加味している。単に主役ショットがあれば主役ショットを選択するというような単純な処理ではなく、脇役ショットや全体ショットが選択される可能性も残している。これにより、より多様な選択順序の自動スイッチングが実現され、視聴者を飽きさせにくい画像を出力できる。
　重み付けは、画像分類に応じたものに限られない。例えば画像内容として、被写体の人数、被写体サイズ（アップ画像か全身画像かなど）、画像の明るさ、色の傾向など、多様な要素に応じた重み付けが行われるようにすることが考えられる。
　また重みの付け方は一定ではなく、時点毎、或いはユーザ操作等に応じて変化されるようにしてもよい。

　第２の実施の形態では、次に主画像ＭＰとする候補としたショットＶＤのうちに主要被写体ショットが存在しない場合は、候補としたショットに対するランダムな抽選処理で次の主画像ＭＰを選択する例とした。
　即ちステップＳ３２１の除外ショットの選択が行われた結果として、主要被写体ショットが候補に含まれなかった場合、ステップＳ３２５ではランダムな抽選処理を行う。この場合、ランダム選択にすることで多様な選択順序の自動スイッチングが実現され、視聴者を飽きさせにくい画像を出力できる。また主要被写体ショットが存在しないことで、ランダム選択であっても画像制作意図にそぐわないものにはなりにくい。

　そして以上の実施の形態によれば、コンテンツにあった「切り替えタイミングの生成」やコンテンツにあった「出力画像の選択」を行うことで、より品質の高い画像コンテンツの制作が可能になる。

　実施の形態の処理の変形例はさらに多様に考えられる。
　選択ルールや画像分類は多様に考えられるし、判定可能な選択ルールや判定する画像分類のそれぞれをユーザがオン／オフできるようにしてもよい。
　例えば話者ショットの検出をオフとしたり、話者ショットに関する選択ルールをオフにすることを可能にしてもよい。
　また例えば主役ショットの検出をオフとしたり、主役ショットに関する選択ルールをオフにすることを可能にしてもよい。
　また例えば主要被写体ショットの検出をオフとしたり、主要被写体ショットに関する選択ルールをオフにすることを可能にしてもよい。
　また例えば脇役ショットの検出をオフとしたり、脇役ショットに関する選択ルールをオフにすることを可能にしてもよい。
　ユーザがこれらの選択をできるようにすることで、そのときの動画コンテンツ制作意図に沿った自動スイッチングが行われるように調整できる。

　また、画面分割して複数のショットＶＤを主画像ＭＰとする場合を加えても良いし、その場合に主画像ＭＰとして選択する複数のショットＶＤを実施の形態の選択ルールに沿って選択することも考えられる。
　例えば２つのショットを画面分割して表示させる場合、一方の主画像ＭＰを図１８や図２０の処理で選択し、他方の主画像ＭＰを他のショットからランダムに選択したり、両方の主画像ＭＰを図１８や図２０の処理で選択することが考えられる。

　実施の形態のプログラムは、図１６，図１７，図１８の処理、又は図１６，図１９，図２０の処理、或いはこれらの変形例に相当する処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、複数のショットＶＤのうちで主画像ＭＰとする一のショットＶＤを選択する処理と、選択されたショットＶＤを主画像ＭＰとして継続させる継続期間長Ｔｘを、複数の画像分類のうちで該選択されたショットＶＤが該当する画像分類に応じて設定する処理とを情報処理装置に実行させるプログラムである。
　このようなプログラムにより、上述した画像処理装置を、例えば携帯端末２、スイッチャー３、クラウドスイッチャー４、コンピュータ装置５、撮像装置１などの機器において実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　複数の画像のうちで主画像とする一の画像を選択する主画像選択部と、
　前記主画像選択部で選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する期間設定部と、を備えた
　画像処理装置。
　（２）
　前記継続期間長は、前記選択画像が主画像に切り替えられてから、前記複数の画像のうち、前記主画像選択部で前記選択画像の次に選択された他の画像が主画像に切り替えられるまでの期間の長さである
　上記（１）に記載の画像処理装置。
　（３）
　前記画像分類は、画像の被写体情報に基づいて決定される
　上記（１）又は（２）に記載の画像処理装置。
　（４）
　前記継続期間長に達した場合、又は、所定状況を検知し、且つ、現在の主画像の継続期間が前記継続期間長よりも短い第１の期間長を経過した場合に、主画像を前記選択画像から前記複数の画像のうち他の画像へと切り替える制御を行う切り替え制御部を備える
　上記（１）から（３）のいずれかに記載の画像処理装置。
　（５）
　前記切り替え制御部は、主画像とされている画像の画像分類が、前記主画像選択部によって主画像とするものとして選択したときの画像分類から変化した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を他の画像へ切り替える制御を行う
　上記（４）に記載の画像処理装置。
　（６）
　前記切り替え制御部は、主画像とされていない画像のなかで、画像分類が主要被写体画像とされる画像が発生した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を、主要被写体画像であることを示す画像分類の画像へ切り替える制御を行う
　上記（４）又は（５）に記載の画像処理装置。
　（７）
　前記主画像選択部は、画像分類が全体画像とされた画像が主画像となっていない期間が第２の期間長を経過している場合は、前記複数の画像のうち全体画像であることを示す画像分類の画像を新たな主画像として選択する
　上記（１）から（６）のいずれかに記載の画像処理装置。
　（８）
　前記画像分類は、少なくとも主要被写体画像、副被写体画像、全体画像のいずれか１つを含む画像分類である
　上記（１）から（６）のいずれかに記載の画像処理装置。
　（９）
　前記期間設定部は、主要被写体画像が、継続期間長が最も長く、全体画像又は副被写体画像が、継続期間長が最も短くなるように、画像分類に応じて継続期間長を設定する
　上記（８）に記載の画像処理装置。
　（１０）
　前記主画像選択部は、主画像とされている画像以外の複数の画像のうちで、所定の選択ルールに応じた処理を用いて、次に主画像とする画像を選択する
　上記（１）から（９）のいずれかに記載の画像処理装置。
　（１１）
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が主要被写体画像ではなく、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理である
　上記（１０）に記載の画像処理装置。
　（１２）
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が主要被写体画像であり、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理である
　上記（１０）又は（１１）に記載の画像処理装置。
　（１３）
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像と同一の画像分類の画像を次の主画像の候補から除外する処理である
　上記（１０）から（１２）のいずれかに記載の画像処理装置。
　（１４）
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像の被写体と同一の副被写体が含まれる画像を次の主画像の候補から除外する処理である
　上記（１０）から（１３）のいずれかに記載の画像処理装置。
　（１５）
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が全体画像であり、他の画像として主要被写体画像があるときに、副被写体画像を次の主画像の候補から除外する処理である
　上記（１０）から（１４）のいずれかに記載の画像処理装置。
　（１６）
　前記主画像選択部は、前記選択ルールに応じた処理により、全体画像以外で次に主画像とする画像の候補となる画像が存在しなくなった場合は、全体画像を次の主画像として選択する
　上記（１０）から（１５）のいずれかに記載の画像処理装置。
　（１７）
　前記主画像選択部は、次に主画像とする候補とした画像のうちで、画像毎に重み付けを加えた選択処理で、次の主画像とする画像を選択する
　上記（１）から（１６）のいずれかに記載の画像処理装置。
　（１８）
　前記主画像選択部は、次に主画像とする候補とした画像のうちに主要被写体画像が存在しない場合は、候補とした画像に対するランダムな抽選処理で次の主画像を選択する
　上記（１）から（１７）のいずれかに記載の画像処理装置。
　（１９）
　画像処理装置が行う画像処理方法として、
　複数の画像のうちで主画像とする一の画像を選択し、
　選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する
　画像処理方法。
　（２０）
　複数の画像のうちで主画像とする一の画像を選択する処理と、
　選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する処理と、
　を情報処理装置に実行させるプログラム。

　１　撮像装置、２　携帯端末、３　スイッチャー、４　クラウドスイッチャー、５　コンピュータ装置、６　ネットワーク、１１　レンズ系、１２　撮像素子部、１３　カメラ信号処理部、１４　記録制御部、１５　表示部、１６　出力部、１７　操作部、１８　カメラ制御部、１９　メモリ部、２２　ドライバ部、３１　主画像選択部、３２　期間設定部、３３　切り替え制御部、３４　被写体認識部、３５　ショット解析部、３６　クロップ処理部、３７　モニタ表示制御部、４０　切り替え部、７０　情報処理装置、７１　ＣＰＵ、７２　ＲＯＭ、７３　ＲＡＭ、７４　バス、７５　入出力インタフェース、７６　入力部、７７　表示部、７８　音声出力部、７９　記憶部、８０　通信部、８１　リムーバブル記録媒体、８２　ドライブ、Ｔ１　期間長、Ｔ２　期間長、ＭＰ　主画像、ＶＤ，ＶＤ１、ＶＤ２，ＶＤ３・・・ＶＤｎ　ショット、ＰＤ　画像分類

Claims

　複数の画像のうちで主画像とする一の画像を選択する主画像選択部と、
　前記主画像選択部で選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する期間設定部と、を備えた
　画像処理装置。
　前記継続期間長は、前記選択画像が主画像に切り替えられてから、前記複数の画像のうち、前記主画像選択部で前記選択画像の次に選択された他の画像が主画像に切り替えられるまでの期間の長さである
　請求項１に記載の画像処理装置。
　前記画像分類は、画像の被写体情報に基づいて決定される
　請求項１に記載の画像処理装置。
　前記継続期間長に達した場合、又は、所定状況を検知し、且つ、現在の主画像の継続期間が前記継続期間長よりも短い第１の期間長を経過した場合に、主画像を前記選択画像から前記複数の画像のうち他の画像へと切り替える制御を行う切り替え制御部を備える
　請求項１に記載の画像処理装置。
　前記切り替え制御部は、主画像とされている画像の画像分類が、前記主画像選択部によって主画像とするものとして選択したときの画像分類から変化した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を他の画像へ切り替える制御を行う
　請求項４に記載の画像処理装置。
　前記切り替え制御部は、主画像とされていない画像のなかで、画像分類が主要被写体画像とされる画像が発生した場合、前記期間設定部が設定する継続期間長より短い第１の期間長を経過していることを条件として、主画像を、主要被写体画像であることを示す画像分類の画像へ切り替える制御を行う
　請求項４に記載の画像処理装置。
　前記主画像選択部は、画像分類が全体画像とされた画像が主画像となっていない期間が第２の期間長を経過している場合は、前記複数の画像のうち全体画像であることを示す画像分類の画像を新たな主画像として選択する
　請求項１に記載の画像処理装置。
　前記画像分類は、少なくとも主要被写体画像、副被写体画像、全体画像のいずれか１つを含む画像分類である
　請求項１に記載の画像処理装置。
　前記期間設定部は、主要被写体画像が、継続期間長が最も長く、全体画像又は副被写体画像が、継続期間長が最も短くなるように、画像分類に応じて継続期間長を設定する
　請求項８に記載の画像処理装置。
　前記主画像選択部は、主画像とされている画像以外の複数の画像のうちで、所定の選択ルールに応じた処理を用いて、次に主画像とする画像を選択する
　請求項１に記載の画像処理装置。
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が主要被写体画像ではなく、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理である
　請求項１０に記載の画像処理装置。
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が主要被写体画像であり、且つ、他の主要被写体画像としての画像がある場合は、それを次の主画像の候補とする処理である
　請求項１０に記載の画像処理装置。
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像と同一の画像分類の画像を次の主画像の候補から除外する処理である
　請求項１０に記載の画像処理装置。
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像の被写体と同一の副被写体が含まれる画像を次の主画像の候補から除外する処理である
　請求項１０に記載の画像処理装置。
　前記選択ルールに応じた処理の１つは、
　主画像とされている画像が全体画像であり、且つ、前記複数の画像のうちの他の画像として主要被写体画像があるときに、副被写体画像を次の主画像の候補から除外する処理である
　請求項１０に記載の画像処理装置。
　前記主画像選択部は、前記選択ルールに応じた処理により、全体画像以外で次に主画像とする画像の候補となる画像が存在しなくなった場合は、全体画像を次の主画像として選択する
　請求項１０に記載の画像処理装置。
　前記主画像選択部は、次に主画像とする候補とした画像のうちで、画像毎に重み付けを加えた選択処理で、次の主画像とする画像を選択する
　請求項１に記載の画像処理装置。
　前記主画像選択部は、次に主画像とする候補とした画像のうちに主要被写体画像が存在しない場合は、候補とした画像に対するランダムな抽選処理で次の主画像を選択する
　請求項１に記載の画像処理装置。
　画像処理装置が行う画像処理方法として、
　複数の画像のうちで主画像とする一の画像を選択し、
　選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する
　画像処理方法。
　複数の画像のうちで主画像とする一の画像を選択する処理と、
　選択された選択画像を主画像として継続させる継続期間長を、複数の画像分類のうちで前記選択画像が該当する画像分類に応じて設定する処理と、
　を情報処理装置に実行させるプログラム。