WO2020054241A1 - 画像処理装置、プログラムおよび画像処理方法 - Google Patents

Abstract

撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部（２４０）と、前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部（２４８）と、を備える、画像処理装置（２０）。

Description

画像処理装置、プログラムおよび画像処理方法

　本開示は、画像処理装置、プログラムおよび画像処理方法に関する。

　近年、ＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）よりも高解像度な、４Ｋまたは８ＫなどのＵＨＤ（Ｕｌｔｒａ　ＨＤ）での撮像が普及しつつある。ＵＨＤでの撮像により得られたＵＨＤ画像の解像度は高いので、ＵＨＤ画像の複数の構図枠の各々からＨＤ画像を切り出す（ＨＤクロップ）ことが可能である。ＨＤクロップによれば、１の撮像装置を用いて、複数の撮像装置により得られたかのような画像を作成できることから、低予算の撮影現場ではＨＤクロップを利用する映像製作者が増えつつある。

　例えば特許文献１には、画像から当該画像の一部を構成する部分画像を切り出すための技術が開示されている。具体的には、特許文献１には、ユーザにより部分画像の領域が指定された場合には、当該領域の部分画像を予め定められたデジタルカメラワークを用いて切出すための技術が開示されている。

特開２００９－１７７４３１号公報

　しかし、切出しのための領域をユーザが指定することはユーザにとって手間である。また、見切れが生じている、構図バランスが悪い、または画素数が少ないなど、品質が不十分な領域がユーザによって指定されることも考えられる。

　そこで、本開示では、好適な構図枠を自動的に設定することが可能な、新規かつ改良された画像処理装置、プログラムおよび画像処理方法を提案する。

　本開示によれば、撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、を備える、画像処理装置が提供される。

　また、本開示によれば、コンピュータを、撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、として機能させるための、プログラムが提供される。

　また、本開示によれば、撮像画像の第１の領域が品質条件を満たすか否かをプロセッサにより評価することと、前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定することと、を含む、画像処理方法が提供される。

　以上説明したように本開示によれば、好適な構図枠を自動的に設定することが可能である。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態による画像処理システムの構成を示す説明図である。 ＨＤ画像のクロップ例を示す説明図である。 出力画像の切替えのための操作画面を示す説明図である。 ベースショットの第１の登録手順を示す説明図である。 ベースショットの第２の登録手順を示す説明図である。 ベースショットの第３の登録手順を示す説明図である。 スイッチャー２０の外観構成を示す説明図である。 品質面で懸念のある構図枠の具体例を示す説明図である。 本開示の実施形態によるスイッチャー２０におけるクロップ処理のための構成を示す説明図である。 水平方向での見切れの具体例を示す説明図である。 垂直方向での見切れの具体例を示す説明図である。 顔の大きさの比率を加味した見切れの判断の具体例を示す説明図である。 水平方向に余白の偏りがあるショット領域の具体例を示す説明図である。 垂直方向に余白の偏りがあるショット領域の具体例を示す説明図である。 画素数が閾値未満であるショット領域の具体例を示す説明図である。 見切れへの対応例を示す説明図である。 余白の偏りの回避例を示す説明図である。 画素数の不足の回避例を示す説明図である。 ショットの継続評価の具体例を示す説明図である。 認識結果が得られなかった場合の構図枠の設定の具体例を示す説明図である。 ベースショットの登録動作を示すフローチャートである。 クロップ動作を示すフローチャートである。 ループ処理を示すフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

　また、以下に示す項目順序に従って本開示を説明する。
　１．画像処理システムの概要
　　１－１．画像処理システムの構成
　　１－２．ベースショットの登録
　　１－３．スイッチャーの外観
　　１－４．背景
　２．スイッチャーの構成
　　２－１．各機能の概要
　　２－２．ショット領域の品質評価
　　２－３．修正ショットの生成
　　２－４．ショットの継続評価
　　２－５．認識結果が得られない場合
　３．スイッチャーの動作
　　３－１．ベースショットの登録動作
　　３－２．クロップ動作
　４．むすび

　＜１．画像処理システムの概要＞
　本開示の実施形態は、１の撮像装置により得られた画像から一部の画像を切出す（クロップ）ための画像処理システムに関する。特に、本開示の実施形態による画像処理システムは、ＵＨＤでの撮像が可能なＵＨＤ撮像装置を用い、ＵＨＤ撮像装置により得られたＵＨＤ画像から１または２以上のＨＤ画像をクロップする。また、本開示の実施形態による画像処理システムは、ＵＨＤとＨＤの間の解像度を有する画像をクロップし、当該画像をリサイズすることによりＨＤ画像を得ることも可能である。このような画像処理システムは、例えば映像制作の現場で用いられ得る。以下、本開示の実施形態による画像処理システムの概要を説明する。

　　（１－１．画像処理システムの構成）
　図１は、本開示の実施形態による画像処理システムの構成を示す説明図である。図１に示したように、本開示の実施形態による画像処理システムは、ＵＨＤ撮像装置１０、スイッチャー２０、および操作端末３０を備える。

　ＵＨＤ撮像装置１０は、４Ｋまたは８ＫなどのＵＨＤ（Ｕｌｔｒａ　ＨＤ）で被写体を撮像することが可能な撮像装置である。ＵＨＤ撮像装置１０は撮像により得たＵＨＤ撮像画像をスイッチャー２０に出力する。図１では、被写体として、演奏中の５人組のバンドが示されており、ＵＨＤ撮像装置１０は、５人組のバンドのＵＨＤ撮像画像をスイッチャー２０に出力する。

　なお、図１では、１のＵＨＤ撮像装置１０がスイッチャー２０に接続されているが、複数のＵＨＤ撮像装置１０がスイッチャー２０に接続されてもよい。また、本明細書では撮像装置としてＵＨＤ撮像装置１０が用いられ、ＵＨＤ撮像画像が処理される例を主に説明するが、撮像装置としてＵＨＤ未満の解像度で被写体を撮像する非ＵＨＤ撮像装置が用いられ、ＵＨＤ未満の解像度を有するＨＤ撮像画像などが処理されてもよい。すなわち、ＵＨＤ撮像装置１０に加えて、またはＵＨＤ撮像装置１０に代えて、非ＵＨＤ撮像装置がスイッチャー２０に接続されてもよい。

　スイッチャー２０は、複数の画像のうちで出力画像を切替える画像処理装置である。特に、本開示の実施形態によるスイッチャー２０は、ＵＨＤ撮像装置１０から入力されるＵＨＤ撮像画像から複数のＨＤ画像をクロップし、ＵＨＤ撮像画像および複数のＨＤ画像を含む複数の画像のうちで出力画像を切替える。ここで、図２および図３を参照し、ＨＤ画像のクロップおよび出力画像の切替えの具体例を説明する。

　図２は、ＨＤ画像のクロップ例を示す説明図である。図２には、ＵＨＤ撮像画像に複数の構図枠Ｆ１～Ｆ３が示されている。スイッチャー２０は、これら構図枠Ｆ１～Ｆ３を、例えば複数のベースショットに従ってＵＨＤ撮像画像に設定する。そして、スイッチャー２０は、構図枠Ｆ１～Ｆ３の各々に含まれるＨＤ画像をクロップする。なお、ベースショットは、主要被写体、スペーシング、主要被写体の身体パーツおよびカメラワークなどに関連する情報である。スイッチャー２０は、ベースショットにより示される（indicated）主要被写体の身体パーツを含み、ベースショットにより示されるスペーシングを有し、ベースショットにより示されるカメラワークが適用された構図枠を設定し得る。ベースショットの登録方法は図４～図６を参照して後述する。

　図３は、出力画像の切替えのための操作画面を示す説明図である。図３に示したように、操作画面は、ＵＨＤ撮像画像の表示領域６０、構図枠Ｆ１からクロップされたＨＤ画像の表示領域６１、構図枠Ｆ２からクロップされたＨＤ画像の表示領域６２、構図枠Ｆ３からクロップされたＨＤ画像の表示領域６３、ＰＧＭ表示領域６４、およびＮＥＸＴ表示領域６５を含む。

　スイッチャー２０のユーザは、表示領域６０～表示領域６４に表示される画像から、出力画像または次の出力画像を選択することが可能である。出力画像として選択された画像はＰＧＭ表示領域６４に表示され、次の出力画像として選択された画像はＮＥＸＴ表示領域６５に表示される。このように、本開示の実施形態によれば、１のＵＨＤ撮像装置１０により得られるＵＨＤ撮像画像を用いて、ＵＨＤ撮像画像および１または２以上のＨＤ画像を含む複数の画像のうちで出力画像を切替えられるので、画像処理システムで用いられるＵＨＤ撮像装置１０の数が少なくても、リッチなコンテンツを製作することが可能である。なお、図３に示した操作画面は、操作端末３０に表示されてもよいし、操作端末３０以外の表示操作装置に表示されてもよい。

　操作端末３０は、スイッチャー２０の動作のための情報または指示をユーザが操作により入力するための操作表示装置である。図１においては操作端末３０としてノートＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を示しているが、タッチパネルデバイス、ジョイスティックまたはゲームコントローラなどの他の表示操作装置が操作端末３０として用いられてもよい。

　ユーザは、このような操作端末３０を操作して、例えば構図枠を設定するためのベースショットをスイッチャー２０に登録することが可能である。以下、ベースショットの幾つかの登録手順を説明する。

　（１－２．ベースショットの登録）
　ベースショットの登録手順は多様である。ここでは、ユーザが何を指定するかが異なる３種類の登録手順を順次説明する。

　図４は、第１の登録手順を示す説明図である。まず、図４Ａに示したＵＨＤ撮像画像において、ユーザが被写体の位置を指定すると、図４Ｂに示したように、スイッチャー２０は指定された位置にマーカー７１を配置する。

　そして、スイッチャー２０は、指定された位置に被写体の認識結果があれば、被写体の各身体パーツの範囲を推定し、図４Ｃに示したように各身体パーツの範囲を示すパーツ範囲表示７３を配置する。指定された位置に被写体の認識結果が無ければ、スイッチャー２０は、デフォルトの設定に従ってパーツ範囲表示７３を配置し、ユーザ操作に従って各身体パーツの範囲を調整する。なお、身体パーツとしては、例えば、顔、胸、腰および膝下などが挙げられる。

　その後、ユーザは、図４Ｄに示したように、処理枠７５を例えばドラッグアンドドロップにより指定する。そして、ユーザは、図４Ｅにおいて処理枠７５の位置および大きさを調整する。処理枠７５が確定すると、図４Ｆに示したように、ユーザがカメラワークを設定する。

　上記の登録手順により、ユーザが指定した主要被写体を示す情報、処理枠７５に含まれる身体パーツに対する処理枠７５の相対位置および大きさ（スペーシング）を示す情報、処理枠７５に含まれる身体パーツを示す情報、およびユーザにより指定されたカメラワークを示す情報がベースショットとして登録される。なお、上記スペーシングは、処理枠７５の主要被写体に対する水平方向または垂直方向の余白とも言える。また、カメラワークとしては、ズームイン、ズームアウト、パンイン、パンアウトおよびフォローなどが挙げられる。フォローは、ベースショットの指示を維持しながら動く被写体に追従するためのカメラワークである。イン動作時には、ベースショットに従って特定される構図枠がゴールになるようにカメラワークが行われ、アウト動作時には、ベースショットに従って特定される構図枠をスタートにしてカメラワークが行われる。

　図５は、第２の登録手順を示す説明図である。第２の登録手順では、スイッチャー２０は、図５Ａに示したＵＨＤ撮像画像の認識処理を実行し、認識結果に基づき、図５Ｂに示したように処理枠７５を自動的に抽出および配置する。ユーザは、処理枠７５が所望の処理枠でない場合、操作端末３０へ処理枠の変更操作を行う。スイッチャー２０は、処理枠の変更操作に応じて、図５Ｃに示したように次の処理枠７６を配置する。ユーザは、処理枠７６が所望の処理枠である場合、図５Ｄに示したようにカメラワークを設定する。

　なお、処理枠の変更操作には、主要被写体の変更操作および構図の変更操作がある。図５Ｂから図５Ｃへの遷移は主要被写体の変更操作に基づくものであり、図５Ｃにおいて構図の変更操作が行われると、図５Ｅに示すように構図が変更された処理枠７７が配置され得る。主要被写体の変更操作は例えば操作端末３０の左右キーの操作により行われ、構図の変更操作は例えば操作端末３０の上記キーの操作により行われてもよい。

　上記の登録手順により、ユーザが選択した処理枠に含まれる主要被写体を示す情報、処理枠に含まれる主要被写体の身体パーツに対する処理枠の相対位置および大きさ（スペーシング）を示す情報、処理枠に含まれる被写体の身体パーツを示す情報、およびユーザにより指定されたカメラワークを示す情報がベースショットとして登録される。

　図６は、第３の登録手順を示す説明図である。第３の登録手順では、図６Ａに示したＵＨＤ撮像画像において、ユーザが、図６Ｂに示したように処理枠７８を例えばドラッグアンドドロップにより指定する。スイッチャー２０は、処理枠７８が指定されると、処理枠７８の重心に最も近い被写体が主要被写体として特定し、処理枠７８に含まれる当該主要被写体の身体パーツが特定する。

　スイッチャー２０は、特定した主要被写体、特定した身体パーツに対する処理枠７８の相対位置および大きさ（スペーシング）を示す情報、特定した身体パーツを示す情報、およびユーザにより指定されたカメラワークを示す情報をベースショットとして登録する。

　なお、上述した第１の登録手順～第３の登録手順の各々において、カメラワークの設定は省略されてもよい。

　（１－３．スイッチャーの外観）
　続いて、図７を参照し、スイッチャー２０の外観構成を説明する。

　図７は、スイッチャー２０の外観構成を示す説明図である。図７に示したように、スイッチャー２０は、端子群２１１、音声操作部２１２、画像選択部２１４、ベースショット選択部２１５、および出力画像切替部２１６を有する。

　端子群２１１は、スイッチャー２０に画像および音声を入力するための入力端子、およびスイッチャー２０から画像および音声を出力するための出力端子を含む。例えば、ＵＨＤ撮像装置１０により得られたＵＨＤ撮像画像は端子群２１１を介してスイッチャー２０に入力される。

　音声操作部２１２は、音声に関する操作が行われる構成である。

　画像選択部２１４は、ＵＨＤ撮像画像および複数のＨＤ画像を含む複数の画像からＰＧＭ画像およびＮＥＸＴ画像を選択するための構成である。例えば、画像選択部２１４は、１番～４番のボタンを含み、スイッチャー２０は、１番～４番のボタンのうちで選択されたボタンに対応する画像をＰＧＭ画像またはＮＥＸＴ画像とする。

　ベースショット選択部２１５は、画像選択部２１４の各ボタンにベースショットを対応付けるための操作が行われる構成である。例えば、２番のボタンには、図２を参照して説明した構図枠Ｆ１を特定するために用いられたベースショットＳ１が対応付けられ、３番のボタンには、構図枠Ｆ２を特定するために用いられたベースショットＳ２が対応付けられ、４番のボタンには、構図枠Ｆ３を特定するために用いられたベースショットＳ３が対応付けられてもよい。

　出力画像切替部２１６は、ＰＧＭ画像を現在ＮＥＸＴ画像に設定されている画像に切り替えるための操作が行われる構成である。

　（１－４．背景）
　常に上述したベースショットに従って構図枠を設定する方法では、構図枠の品質が不十分となる場合がある。例えば、ベースショットに従って設定される構図枠は主要被写体の移動に伴って変化する、ベースショットに従って設定される構図枠に含まれる他の被写体の状態が変化する、などの事情により、被写体の見切れが生じている、構図バランスが悪い、または画素数が少ないなど、品質面で懸念のある構図枠が設定され得る。ここで、図８を参照し、品質面で懸念のある構図枠をより具体的に説明する。

　図８は、品質面で懸念のある構図枠の具体例を示す説明図である。図８Ａに示した構図枠Ｆには、主要被写体である被写体ｍ１に加えて、主要被写体でない被写体ｍ２が見切れた状態で写り込んでいる。図８Ｂに示した構図枠Ｆでは、被写体ｍ２が見切れていないものの、主要被写体ｍ１の左側に偏った余白ｓ１が存在しており、構図バランスが悪い。図８Ｃに示した構図枠Ｆは小さく、このため、構図枠Ｆを構成する画素数が下限値よりも少ない。

　本件発明者は、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、品質面での懸念が軽減された構図枠を自動的に設定することが可能である。以下、このような本開示の実施形態によるスイッチャー２０におけるクロップ処理のための構成および動作を順次詳細に説明する。

　＜２．スイッチャーの構成＞
　（２－１．各機能の概要）
　図９は、本開示の実施形態によるスイッチャー２０におけるクロップ処理のための構成を示す説明図である。図９に示したように、本開示の実施形態によるスイッチャー２０は、ベースショット登録部２２０、ベースショット記憶部２２４、画像認識部２２８、ベースショット領域特定部２３２、修正ショット領域特定部２３６、評価部２４０、ショット選択部２４４、構図枠設定部２４８、カメラワーク設定部２５２およびクロップ部２５６を有する。なお、ベースショット登録部２２０～クロップ部２５６の各機能は、スイッチャー２０に設けられるＣＰＵおよびＲＡＭなどのハードウェアと、ソフトウェアとの協働により実現され得る。

　ベースショット登録部２２０は、「１－２．ベースショットの登録」で説明した登録手順に従って、ベースショットをベースショット記憶部２２４に登録する。ベースショット記憶部２２４は、ベースショットを記憶しておく。

　画像認識部２２８は、ＵＨＤ撮像装置１０から順次入力されるＵＨＤ撮像画像を順次に認識する。例えば、画像認識部２２８は、ＵＨＤ撮像画像から被写体（例えば、顔）を検出し、１フレーム前のＵＨＤ撮像画像において検出された被写体からの追尾を実行する。

　ベースショット領域特定部２３２は、画像認識部２２８による認識の結果を用いて、ベースショット記憶部２２４に記憶されているベースショットに従い、ＵＨＤ撮像画像からベースショット領域を特定する。具体的には、ベースショット領域特定部２３２は、ベースショットにより示される主要被写体の身体パーツを含み、ベースショットにより示されるスペーシングを有するベースショット領域を特定する。なお、ベースショットは第１のルールの一例であり、ベースショット領域は第１の領域の一例であり、ベースショット領域特定部２３２は第１の領域特定部の一例である。

　修正ショット領域特定部２３６は、ベースショット記憶部２２４に記憶されているベースショットを修正して修正ショットを生成し、修正ショットに従いＵＨＤ撮像画像から修正ショット領域を特定する。具体的には、修正ショット領域特定部２３６は、修正ショットにより示される主要被写体の身体パーツを含み、修正ショットにより示されるスペーシングを有する修正ショット領域を特定する。修正ショットの生成方法については「２－３．修正ショットの生成」において後述する。なお、修正ショットは第２のルールの一例であり、修正ショット領域は第２の領域の一例であり、修正ショット領域特定部２３６は第２の領域特定部の一例である。

　評価部２４０は、ベースショット領域特定部２３２により特定されたベースショット領域が品質条件を満たすか否か、および修正ショット領域特定部２３６により特定された修正ショット領域が品質条件を満たすか否か、を評価する。評価部２４０による品質の評価方法については「２－２．ショット領域の品質評価」において後述する。

　ショット選択部２４４は、評価部２４０による評価の結果に基づき、ベースショットまたは修正ショット領域特定部２３６により生成された修正ショットを選択する。具体的には、ショット選択部２４４は、ベースショット領域が品質条件を満たす場合にはベースショットを選択し、ベースショット領域が品質条件を満たさず、修正ショット領域が品質条件を満たす場合には、修正ショットを選択する。ショット選択部２４４は、一度修正ショットを選択した後は、修正ショット領域が品質条件を満たさなくなるまで修正ショットの選択を維持する。かかる構成により、ショットの安定性が向上される。なお、ショット選択部２４４はルール選択部の一例である。

　構図枠設定部２４８は、ショット選択部２４４により選択されたショットに基づき構図枠をＵＨＤ撮像画像に設定する。先の説明から理解されるように、ショット選択部２４４により選択されるショットはベースショット領域の品質の評価結果に応じて異なるので、構図枠設定部２４８は、ベースショット領域の品質の評価結果に応じて異なる構図枠をＵＨＤ撮像画像に設定する。なお、構図枠設定部２４８により設定される構図枠は、ベースショット領域および修正ショット領域と異なる領域に対応してもよい。例えば、構図枠設定部２４８は、フレーム画像間の滑らかな変化のために、ショット選択部２４４により選択されたショットに従う領域に調整を加えて構図枠を設定してもよい。

　カメラワーク設定部２５２は、構図枠設定部２４８により設定された構図枠に対して、ショット選択部２４４により選択されたショットが示すカメラワークを設定する。カメラワークとしては、ズームイン、ズームアウト、パンインおよびパンアウトなどが挙げられる。

　クロップ部２５６は、構図枠設定部２４８により設定された構図枠に含まれるＨＤ画像をクロップする切出し部の一例である。クロップ部２５６は、カメラワークが実行される際には、カメラワークが適用された構図枠に含まれるＨＤ画像をクロップする。

　（２－２．ショット領域の品質評価）
　以上、本開示の実施形態によるスイッチャー２０の各機能の概要を説明した。続いて、評価部２４０によるベースショット領域および修正ショット領域の品質評価についてより具体的に説明する。なお、以下では、ベースショットおよび修正ショットをショットと総称し、ベースショット領域および修正ショット領域をショット領域と総称する場合がある。

　－見切れの評価－
　評価部２４０は、ショット領域が品質条件を満たすか否かを、当該ショット領域における主要被写体以外の被写体（他の被写体）の存在を加味して評価する。例えば、品質条件は見切れに関する条件を含み、評価部２４０は、他の被写体の見切れが生じているショット領域に関し、他の被写体の見切れ度合いに基づいて見切れに関する条件が満たされるか否かを評価する。被写体の見切れとしては、水平方向での見切れ、または垂直方向での見切れが生じ得る。

　水平方向での見切れに関し、評価部２４０は、例えば、被写体の顔がショット領域に含まれ、かつ、被写体の顔全体の水平方向の大きさに対し、ショット領域に含まれる被写体の顔の大きさが所定の割合（例えば、８割）未満であることに基づき、当該ショット領域が見切れに関する条件を満たさないと評価する。図１０を参照し、水平方向での見切れの具体例を説明する。ただし、水平方向での見切れに関する条件はここで説明される条件に限定されず、水平方向での見切れに関する条件には他の条件が適用されてもよい。

　図１０は、水平方向での見切れの具体例を示す説明図である。図１０以降の図面では、ショット領域を一点鎖線の矩形で示している。図１０Ａに示した例では、被写体の顔がショット領域に含まれていないので、水平方向での見切れは生じていない。また、図１０Ｄに示した例では、被写体の顔の全体がショット領域に含まれるので、見切れに関する条件が満たされる。一方、図１０Ｂおよび図１０Ｃに示した例では、被写体の顔がショット領域に含まれ、かつ、ショット領域に含まれる被写体の顔の大きさが所定の割合未満であるので、見切れに関する条件が満たされない。

　垂直方向での見切れに関し、評価部２４０は、例えば、被写体の眉毛がショット領域に含まれており、被写体の胸がショット領域に含まれていない状態、および、被写体の顔の下部がショット領域に含まれており、被写体の眉毛がショット領域に含まれていないことに基づき、当該ショット領域が見切れに関する条件を満たさないと評価する。図１１を参照し、垂直方向での見切れの具体例を説明する。ただし、垂直方向での見切れに関する条件はここで説明される条件に限定されず、垂直方向での見切れに関する条件には他の条件が適用されてもよい。例えば、眉毛に代えて目または額などが用いられてもよいし、胸に代えて首または腹部などが用いられてもよい。

　図１１は、垂直方向での見切れの具体例を示す説明図である。図１１Ａに示した例では、被写体の眉毛および被写体の顔の下部のいずれもショット領域に含まれていないので、垂直方向での見切れは生じていない。図１１Ｂおよび図１１Ｃに示した例では、ショット領域に被写体の眉毛が含まれるものの、被写体の胸まではショット領域に含まれていないので、見切れに関する条件が満たされない。図１１Ｄ、図１１Ｅおよび図１１Ｆに示した例では、ショット領域に被写体の眉毛および被写体の胸が含まれるので、見切れに関する条件が満たされる。図１１Ｇに示した例では、被写体の顔の下部がショット領域に含まれており、被写体の眉毛がショット領域に含まれていないので、見切れに関する条件が満たされない。図１１Ｈに示した例では、被写体の眉毛および顔の下部のいずれもショット領域に含まれていないので、見切れに関する条件が満たされる。なお、眉毛の認識方法は特に限定されず、眉毛は公知の顔器官検出方法を用いて認識されてもよい。公知の顔器官検出方法としては、例えば、「One　millisecond　face　alignment　with　an　ensemble　of　regression　trees（<　http://www.csc.kth.se/~vahidk/face_ert.html>）」が挙げられる。その他の方法として、検出された顔領域の枠の重心に対する顔枠幅の比率から眉毛の領域を類推してもよい。

　ただし、評価部２４０は、主要被写体の顔の大きさに対し、他の被写体の顔の大きさが所定の割合未満（例えば、３割未満）である場合には、他の被写体の見切れ度合いによらず、ショット領域が見切れに関する条件を満たすと評価してもよい。図１２を参照し、顔の大きさの比率を加味した見切れの判断の具体例を説明する。

　図１２は、顔の大きさの比率を加味した見切れの評価の具体例を示す説明図である。図１２Ａに示した例では、主要被写体ｍ１に加え、被写体ｍ２の顔の一部がショット領域に含まれ、かつ、被写体ｍ２の顔全体の水平方向の大きさに対しショット領域に含まれる被写体ｍ１の顔の大きさが所定の割合未満である。さらに、主要被写体ｍ１の顔の大きさと被写体ｍ２の顔の大きさは概ね等しい。このため、評価部２４０は、図１２Ａに示したショット領域は見切れに関する条件を満たさないと評価する。

　図１２Ｂに示した例では、主要被写体ｍ１に加え、被写体ｍ２の顔の一部がショット領域に含まれ、かつ、被写体ｍ２の顔全体の水平方向の大きさに対しショット領域に含まれる被写体ｍ１の顔の大きさが所定の割合未満である。さらに、被写体ｍ２の顔の大きさは、主要被写体ｍ１の顔の大きさよりも大きい。このため、評価部２４０は、図１２Ｂに示したショット領域は見切れに関する条件を満たさないと評価する。

　図１２Ｃに示した例では、主要被写体ｍ１に加え、被写体ｍ２の顔の一部がショット領域に含まれ、かつ、被写体ｍ２の顔全体の水平方向の大きさに対しショット領域に含まれる被写体ｍ１の顔の大きさが所定の割合未満である。しかし、被写体ｍ２の顔の大きさは、主要被写体ｍ１の顔の大きさに対して十分に小さい。このため、評価部２４０は、図１２Ｃに示したショット領域は見切れに関する条件を満たすと評価する。

　－構図バランスの評価－
　また、品質条件はショット領域の構図バランスに関する条件を含み、評価部２４０は、主要被写体および他の被写体の水平方向または垂直方向の余白に偏りがあるショット領域は構図バランスに関する条件を満たさないと評価する。以下、図１３および図１４を参照し、水平方向における余白の偏りを評価する方法、および垂直方向における余白の偏りを評価する方法の具体例を説明する。

　図１３は、水平方向に余白の偏りがあるショット領域の具体例を示す説明図である。図１３において、主要被写体および他の被写体の左側の余白の長さｓ１、および主要被写体および他の被写体の右側の余白の長さｓ２を示している。（ｓ１／ｓ２）は右側の余白に対する左側の余白の大きさを意味し、（ｓ１／ｓ２）が過度に大きい場合、左側に余白の偏りがあると考えられる。このため、評価部２４０は、（ｓ１／ｓ２）が水平閾値以上である場合、水平方向に余白の偏りがあると判断する。同様に、（ｓ２／ｓ１）が過度に大きい場合、右側に余白の偏りがあると考えられるので、評価部２４０は、（ｓ２／ｓ１）が水平閾値以上である場合、水平方向に余白の偏りがあると判断してもよい。

　図１４は、垂直方向に余白の偏りがあるショット領域の具体例を示す説明図である。図１４において、被写体に外接する矩形の高さｈ、および垂直方向における余白高さｈｒを示している。（ｈｒ／ｈ）は被写体の高さに対する垂直方向における余白の大きさを意味し、（ｈｒ／ｈ）が過度に大きい場合、被写体の大きさに対して偏った余白が垂直方向に存在すると考えられる。このため、評価部２４０は、（ｈｒ／ｈ）が垂直閾値以上である場合、垂直方向に余白の偏りがあると判断する。

　－画素数の不足－
　また、品質条件はショット領域の画素数に関する条件を含み、評価部２４０は、画素数が閾値未満であるショット領域は画素数に関する条件を満たさないと評価する。以下、図１５を参照し、画素数が閾値未満であるショット領域の具体例を説明する。

　図１５は、画素数が閾値未満であるショット領域の具体例を示す説明図である。図１５に示した例では、ＵＨＤ撮像画像の水平方向の画素数がＸであり、垂直方向の画素数がＹである。一方、ショット領域の水平方向の画素数がｘであり、垂直方向の画素数がｙである。評価部２４０は、（ｘ＊ｙ）／（Ｘ＊Ｙ）が閾値未満である場合（例えば、１割未満である場合）、当該ショット領域は画素数に関する条件を満たさないと評価する。

　（２－３．修正ショットの生成）
　以上、ショット領域の品質評価について説明した。続いて、ベースショット領域が品質条件を満たさない場合に修正ショット領域特定部２３６により生成される修正ショットの具体例を説明する。

　－見切れが生じている場合－
　修正ショット領域特定部２３６は、ベースショット領域が見切れに関する条件を満たさない場合、ベースショットが示す主要被写体の身体パーツまたはスペーシングと異なる身体パーツまたはスペーシングを示す修正ショットを生成する。このような修正ショットに従って特定される修正ショット領域の大きさはベースショット領域と異なり、結果、修正ショット領域は見切れに関する条件を満たし得る。以下、図１６を参照して見切れへの対応例を説明する。

　図１６は、見切れへの対応例を示す説明図である。図１６Ａに示した例では、ベースショットが被写体の身体パーツとして顔および胸を示し、ベースショット領域８１に、主要被写体である被写体ｍ１のバストショットに加えて、主要被写体でない被写体ｍ２が見切れた状態で写り込んでいる。

　そこで、修正ショット領域特定部２３６は、ベースショットが示す身体パーツよりも多い身体パーツを示す修正ショットを生成してもよい。例えば、修正ショット領域特定部２３６は、顔、胸および腰を示す修正ショットを生成してもよい。この場合、修正ショット領域特定部２３６は、図１６Ｂに示したように、当該修正ショットに従い主要被写体ｍ１のウエストショットを含む修正ショット領域８２－１を特定し得る。当該修正ショット領域８２－１は、図１６Ａに示したベースショット領域８１より大きく、見切れに関する条件が満たされるように被写体ｍ２を含む。

　他の方法として、修正ショット領域特定部２３６は、ベースショットが示す余白よりも小さい余白を示す修正ショットを生成してもよい。例えば、修正ショット領域特定部２３６は、主要被写体の右側の余白がベースショットより小さい修正ショットを生成してもよい。この場合、修正ショット領域特定部２３６は、図１６Ｃに示したように、当該修正ショットに従い、主要被写体ｍ１を含み、被写体ｍ２を含まない修正ショット領域８２－２を特定し得る。

　－余白に偏りがある場合－
　修正ショット領域特定部２３６は、ベースショット領域が構図バランスに関する条件を満たさない場合、水平方向または垂直方向の余白の大きさがベースショットと異なる修正ショットを生成する。以下、図１７を参照して余白の偏りの回避例を説明する。

　図１７は、余白の偏りの回避例を示す説明図である。図１７Ａに示した例では、ベースショット領域８３に、主要被写体ｍ１の左側に偏った余白ｓが存在しており、構図バランスが悪い。この場合、修正ショット領域特定部２３６は、ベースショットよりも、左側の余白が小さく右側の余白が大きい修正ショットを生成し得る。そして、修正ショット領域特定部２３６は、当該修正ショットに従い、図１７Ｂに示したように余白の偏りが回避された修正ショット領域８４を特定することが可能である。

　－画素数に不足がある場合－
　修正ショット領域特定部２３６は、ベースショット領域が画素数に関する条件を満たさない場合、ベースショットが示す主要被写体の身体パーツまたはスペーシングと異なる身体パーツまたはスペーシングを示す修正ショットを生成する。このような修正ショットに従って特定される修正ショット領域の大きさはベースショット領域と異なり、結果、画素数の不足を回避し得る。以下、図１８を参照し、画素数の不足の回避例を説明する。

　図１８は、画素数の不足の回避例を示す説明図である。図１８Ａに示した例では、ベースショットが被写体の身体パーツとして顔および胸を示し、ベースショット領域８５に、主要被写体である被写体ｍ１のバストショットが含まれている。しかし、ＵＨＤ撮像画像に対するベースショット領域８５の大きさが小さく、ベースショット領域８５の画素数は閾値未満である。

　そこで、修正ショット領域特定部２３６は、ベースショットが示す身体パーツよりも多い身体パーツを示す修正ショットを生成してもよい。例えば、修正ショット領域特定部２３６は、全身を示す修正ショットを生成してもよい。この場合、修正ショット領域特定部２３６は、当該修正ショットに従い、図１８Ｂに示したように主要被写体ｍ１のフルショットを含む修正ショット領域８６を特定し得る。修正ショット領域８６の画素数は、ベースショット領域８５の画素数および閾値を上回るので、十分な解像度を確保することが可能である。

　（２－４．ショットの継続評価）
　ショット選択部２４４により選択されるショットがフレーム画像毎に変わると、構図枠設定部２４８により設定される構図枠が安定しない。このため、ショット選択部２４４によりベースショットまたは修正ショットが選択された場合、評価部２４０は、選択されたショットに従うショット領域の品質の評価を継続的に行う。そして、ショット選択部２４４は、選択したショットに従うショット領域が品質条件を満たさなくなるまで当該ショットの選択を維持する。そして、ショット選択部２４４は、当該ショット領域が品質条件を満たさなくなった後、ベースショット、または新たに修正ショット領域特定部２３６に生成された修正ショットを選択する。以下、図１９を参照し、このようなショットの継続評価の具体例を説明する。

　図１９は、ショットの継続評価の具体例を示す説明図である。図１９Ａに示した例では、ベースショット領域９１が見切れに関する条件を満たさないので、ショット選択部２４４は、図１９Ｂに示したように見切れに関する条件が満たされるように被写体ｍ２を含む修正ショット領域９２のための修正ショットを選択する。その後、ショット選択部２４４が修正ショットの選択を維持し、評価部２４０が、図１９Ｃに示した修正ショット領域９３などを継続的に評価する。

　そして、図１９Ｄに示したように、被写体ｍ２の見切れにより修正ショット領域９４が見切れに関する条件を満たさなくなると、ショット選択部２４４は、ショットを再選択する。具体的には、ショット選択部２４４は、ベースショット領域特定部２３２により特定されるベースショット領域が見切れに関する条件を満たす場合にはベースショットを選択し、修正ショット領域特定部２３６により特定される新たな修正ショット領域が見切れに関する条件を満たす場合には新たな修正ショットを選択する。図１０Ｅには、ショット選択部２４４がベースショットを選択し、見切れに関する条件を満たすベースショット領域９５を示している。

　かかる構成により、ショットの安定化を図りつつ、ショット領域の高品質を維持することが可能である。

　（２－５．認識結果が得られない場合）
　画像認識部２２８によるＵＨＤ撮像画像の認識処理で、ベースショットが示す主要被写体が認識されない場合がある。ショット選択部２４４によりショットが選択されていない状態で主要被写体が認識されなかった場合、構図枠設定部２４８は、ベースショットが登録された際の処理枠の位置に構図枠を設定する。一方、ショット選択部２４４によりショットの選択が維持されている状態で主要被写体が認識されなくなった場合、直近のフレーム画像で設定した構図枠を維持する。その後、主要被写体が認識されると、構図枠設定部２４８は主要被写体が構図枠に含まれるように、構図枠の位置を滑らかに移動させる。以下、図２０を参照して、認識結果が得られなかった場合の構図枠の設定の具体例を説明する。

　図２０は、認識結果が得られなかった場合の構図枠の設定の具体例を示す説明図である。図２０Ａに示したフレーム画像においては、ベースショットが示す主要被写体ｍ１が認識されず、構図枠設定部２４８が、ベースショットが登録された際の処理枠の位置に構図枠９６を設定している。その後、主要被写体ｍ１が認識されるまで構図枠９６の位置が維持され、主要被写体ｍ１が認識されるようになると、構図枠設定部２４８は、図２０Ｂに示したように、ベースショットまたは修正ショットに従って、主要被写体ｍ１を含む構図枠９７に向けて構図枠を滑らかに移動させる。

　かかる構成により、主要被写体が認識されたフレーム画像、主要被写体が認識されなかったフレーム画像が混在する場合でも、これらフレーム画像に亘って自然なクロップを実現することが可能である。

　＜３．スイッチャーの動作＞
　以上、本開示の実施形態によるスイッチャー２０におけるクロップ処理に関する構成を説明した。続いて、本開示の実施形態によるスイッチャー２０の動作を整理する。

　（３－１．ベースショットの登録動作）
　図２１は、ベースショットの登録動作を示すフローチャートである。図２１に示したように、処理枠をマニュアル指定しない方法では（Ｓ３０４／Ｎｏ）、ベースショット登録部２２０がＵＨＤ撮像画像の認識処理を実行する（Ｓ３０８）。そして、ベースショット登録部２２０は、認識結果に基づき、処理枠の候補を自動的に生成する（Ｓ３１２）。その後、ユーザにより処理枠が選択され（Ｓ３１６）、選択が確定されると（Ｓ３２０／Ｙｅｓ）、ユーザによりカメラワークが指定される（Ｓ３４４）。そして、ベースショット登録部２２０は、ユーザにより選択された処理枠に含まれる主要被写体、処理枠に含まれる主要被写体の身体パーツに対する処理枠の相対位置および大きさ（スペーシング）、処理枠に含まれる被写体の身体パーツ、およびユーザにより指定されたカメラワークを示すベースショットをベースショット記憶部２２４に登録する（Ｓ３４８）。

　一方、処理枠および被写体をマニュアル指定する方法では（Ｓ３０４／Ｙｅｓ、Ｓ３２４／Ｙｅｓ）、ユーザによりＵＨＤ撮像画像において被写体および身体パーツが指定され（Ｓ３２８）、さらにユーザにより処理枠が指定される（Ｓ３３２）。そして、ユーザによりカメラワークが指定されると（Ｓ３４４）、ベースショット登録部２２０は、ユーザが指定した主要被写体、身体パーツ、身体パーツに対する処理枠の相対位置および大きさ、およびユーザにより指定されたカメラワークを示すベースショットをベースショット記憶部２２４に登録する（Ｓ３４８）。

　また、処理枠をマニュアル指定し（Ｓ３０４／Ｙｅｓ）、被写体をマニュアル指定しない方法では（Ｓ３２４／Ｎｏ）、ユーザにより処理枠が指定されると（Ｓ３３６）、ベースショット登録部２２０が、処理枠の重心に最も近い被写体が主要被写体として特定し、処理枠に含まれる当該主要被写体の身体パーツを特定する（Ｓ３４０）。そして、ユーザによりカメラワークが指定されると（Ｓ３４４）、ベースショット登録部２２０は、特定した主要被写体、特定した身体パーツに対する処理枠の相対位置および大きさ（スペーシング）、特定した身体パーツ、およびユーザにより指定されたカメラワークを示すベースショットをベースショット記憶部２２４に登録する（Ｓ３４８）。

　（３－２．クロップ動作）
　図２２は、クロップ動作を示すフローチャートである。まず、画像認識部２２８が、ＵＨＤ撮像装置１０から入力されるＵＨＤ撮像画像の画像認識を実行し、被写体の検出および追尾などを行う（Ｓ４０４）。そして、ベースショット領域特定部２３２が、画像認識部２２８による認識の結果を用いて、およびベースショット記憶部２２４に記憶されているベースショットに従い、ＵＨＤ撮像画像からベースショット領域を特定する（Ｓ４０８）。続いて、修正ショット領域特定部２３６は、ベースショット記憶部２２４に記憶されているベースショットを修正して修正ショットを生成し、修正ショットに従いＵＨＤ撮像画像から修正ショット領域を特定する（Ｓ４１２）。

　そして、ベースショット領域特定部２３２により特定されたベースショット領域が品質条件を満たすか否かを評価部２４０が評価し、ショット選択部２４４は、評価部２４０による評価の結果に基づき、ベースショットまたは修正ショット領域特定部２３６により生成された修正ショットを選択する（Ｓ４１６）。

　続いて、構図枠設定部２４８がショット選択部２４４により選択されたショットに基づき構図枠をＵＨＤ撮像画像に設定する（Ｓ４２０）。そして、カメラワーク設定部２５２が、構図枠設定部２４８により設定された構図枠に対して、ショット選択部２４４により選択されたショットが示すカメラワークを設定する（Ｓ４２４）。さらに、クロップ部２５６は、カメラワークが適用された構図枠に含まれるＨＤ画像をクロップする（Ｓ４２８）。

　その後、ＵＨＤ撮像装置１０からのＵＨＤ撮像画像の入力が終了するまで（Ｓ４３２）、スイッチャー２０は図２３を参照して説明するループ処理を実行する（Ｓ５００）。

　図２３は、ループ処理を示すフローチャートである。まず、画像認識部２２８が、ＵＨＤ撮像装置１０から順次入力されるＵＨＤ撮像画像の画像認識を実行し、被写体の検出および追尾などを行う（Ｓ５０４）。そして、評価部２４０が、ショット選択部２４４により選択されているショットに基づくショット領域が品質条件を満たすか否かを評価する（Ｓ５０８）。

　ショット領域が品質条件を満たす場合（Ｓ５１２／Ｙｅｓ）、構図枠設定部２４８が、ショット選択部２４４により選択されているショットに基づき構図枠を設定する（Ｓ５２８）。そして、カメラワーク設定部２５２が、構図枠設定部２４８により設定された構図枠に対して、ショット選択部２４４により選択されているショットが示すカメラワークを設定する（Ｓ５３２）。さらに、クロップ部２５６は、カメラワークが適用された構図枠に含まれるＨＤ画像をクロップする（Ｓ５３６）。

　一方、ショット領域が品質条件を満たさない場合（Ｓ５１２／Ｎｏ）、ベースショット領域特定部２３２が、ベースショット記憶部２２４に記憶されているベースショットに従い、ＵＨＤ撮像画像からベースショット領域を特定する（Ｓ５１６）。また、修正ショット領域特定部２３６は、ベースショット記憶部２２４に記憶されているベースショットを修正して修正ショットを生成し、修正ショットに従いＵＨＤ撮像画像から修正ショット領域を特定する（Ｓ５２０）。そして、ベースショット領域特定部２３２により特定されたベースショット領域が品質条件を満たすか否かを評価部２４０が評価し、ショット選択部２４４は、評価部２４０による評価の結果に基づき、ベースショットまたは修正ショット領域特定部２３６により生成された修正ショットを選択する（Ｓ５２４）。その後、上述したＳ５２８～Ｓ５３６の処理が行われる。

　＜４．むすび＞
　以上説明したように、本開示の実施形態によれば、被写体に追従するような好適な構図枠を自動的に設定することが可能である。さらに、構図枠の設定に用いられるショットを、各ショットにより従って特定されるショット領域の品質に応じて選択することにより、構図枠の品質を維持することが可能である。例えば、本開示の実施形態によれば、見切れ、構図バランスまたは画素数などの観点から好適な構図枠を設定することが可能である。すなわち、本開示の実施形態によれば、好適な構図枠を設定するためのユーザの手間を大幅に削減すること、および、被写体に動きがある場合であっても、被写体の動きに応じて好適な構図枠を設定することが可能である。

　なお、本開示の実施形態を説明した。以下では、本開示の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。

　例えば、本明細書のスイッチャー２０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、スイッチャー２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

　また、スイッチャー２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したスイッチャー２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、
　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、を備える、画像処理装置。
（２）
　前記画像処理装置は、
　第１のルールに従って前記第１の領域を特定する第１の領域特定部と、
　第２のルールに従って前記撮像画像の第２の領域を特定する第２の領域特定部と、
　前記第１の領域が前記品質条件を満たすか否かに基づき前記第１のルールまたは前記第２のルールを選択するルール選択部と、
をさらに備え、
　前記構図枠設定部は、前記ルール選択部により選択されたルールに基づき前記構図枠を設定する、前記（１）に記載の画像処理装置。
（３）
　前記第１のルールおよび前記第２のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
　前記評価部は、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、前記（２）に記載の画像処理装置。
（４）
　前記品質条件は、前記他の被写体の見切れに関する条件を含み、
　前記評価部は、前記他の被写体の見切れ度合に基づいて、前記領域が前記見切れに関する条件を満たすか否か評価する、前記（３）に記載の画像処理装置。
（５）
　前記評価部は、前記領域に前記他の被写体の顔が含まれ、かつ、前記領域に含まれる顔の範囲が前記顔全体の所定の割合未満であることに基づき、前記領域が前記見切れに関する条件を満たさないと評価する、前記（４）に記載の画像処理装置。
（６）
　前記評価部は、前記領域における前記他の被写体の大きさが、前記領域における前記主要被写体の大きさの所定の割合未満である場合、前記他の被写体の見切れ度合いによらず、前記領域は前記見切れに関する条件を満たすと評価する、前記（４）または（５）に記載の画像処理装置。
（７）
　前記第２の領域特定部は、前記第１の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含み、前記見切れに関する条件を満たす領域を前記第２の領域として特定する、前記（４）～（６）のいずれか一項に記載の画像処理装置。
（８）
　前記第２の領域特定部は、前記第１の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含まない領域を前記第２の領域として特定する、前記（４）～（６）のいずれか一項に記載の画像処理装置。
（９）
　前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
　前記第２の領域特定部は、前記第１のルールが示す身体パーツと異なる身体パーツを示すルールを前記第２のルールとして設定し、当該第２のルールに従って前記第２の領域を特定する、前記（７）または（８）に記載の画像処理装置。
（１０）
　前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
　前記第２の領域特定部は、前記第１のルールが示す前記余白と異なる余白を示すルールを前記第２のルールとして設定し、当該第２のルールに従って前記第２の領域を特定する、前記（７）または（８）に記載の画像処理装置。
（１１）
　前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
　前記品質条件は、前記領域における前記主要被写体および前記他の被写体の水平方向または垂直方向の余白の偏りに関する条件を含み、
　前記評価部は、前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある領域は、前記余白の偏りに関する条件を満たさないと評価する、前記（３）～（１０）のいずれか一項に記載の画像処理装置。
（１２）
　前記第２の領域特定部は、前記第１の領域において前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある場合、前記偏りが軽減された領域を前記第２の領域として特定する、前記（１１）に記載の画像処理装置。
（１３）
　前記品質条件は、前記領域の画素数に関する条件を含み、
　前記評価部は、画素数が閾値未満である領域は前記画素数に関する条件を満たさないと評価する、前記（３）～（８）のいずれか一項に記載の画像処理装置。
（１４）
　前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
　前記第２の領域特定部は、前記第１の領域の画素数が閾値未満である場合、画素数が前記閾値を上回る領域を前記第２の領域として特定する、前記（１３）に記載の画像処理装置。
（１５）
　前記撮像画像は動画であり、
　前記ルール選択部は、
　前記動画を構成する１のフレーム画像に関し、前記第１の領域が前記品質条件を満たさず、前記第２の領域が前記品質条件を満たす場合には前記第２のルールを選択し、
　前記１のフレーム画像以降のフレーム画像に関し、前記第２のルールに従って特定される前記第２の領域が前記品質条件を満たさなくなるまで前記第２のルールの選択を維持し、
　前記第２の領域が前記品質条件を満たさなくなった後、前記第１のルールまたは新たな第２のルールを選択する、前記（２）～（１４）のいずれか一項に記載の画像処理装置。
（１６）
　前記構図枠設定部は、前記撮像画像から主要被写体が認識されないフレーム画像においては、直近のフレーム画像で設定した構図枠を維持する、前記（１５）に記載の画像処理装置。
（１７）
　前記画像処理装置は、前記構図枠設定部により設定された構図枠に含まれる画像を前記撮像画像から切り出す切出し部をさらに備える、前記（１）～（１６）のいずれか一項に記載の画像処理装置。
（１８）
　前記撮像画像に含まれる複数の第１の領域の各々に関して前記評価部および前記構図枠設定部を含む各構成による処理が実行され、前記撮像画像に複数の構図枠が設定される、前記（１）～（１７）のいずれか一項に記載の画像処理装置。
（１９）
　コンピュータを、
　撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、
　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、として機能させるための、プログラム。
（２０）
　撮像画像の第１の領域が品質条件を満たすか否かをプロセッサにより評価することと、
　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定することと、を含む、画像処理方法。

１０　ＵＤＨ撮像装置
２０　スイッチャー
３０　操作端末
２１１　端子群
２１２　音声操作部
２１４　画像選択部
２１５　ベースショット選択部
２１６　出力画像切替部
２２０　ベースショット登録部
２２４　ベースショット記憶部
２２８　画像認識部
２３２　ベースショット領域特定部
２３６　修正ショット領域特定部
２４０　評価部
２４４　ショット選択部
２４８　構図枠設定部
２５２　カメラワーク設定部
２５６　クロップ部

Claims (20)

1. 　撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、
   　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、を備える、画像処理装置。
2. 　前記画像処理装置は、
   　第１のルールに従って前記第１の領域を特定する第１の領域特定部と、
   　第２のルールに従って前記撮像画像の第２の領域を特定する第２の領域特定部と、
   　前記第１の領域が前記品質条件を満たすか否かに基づき前記第１のルールまたは前記第２のルールを選択するルール選択部と、
   をさらに備え、
   　前記構図枠設定部は、前記ルール選択部により選択されたルールに基づき前記構図枠を設定する、請求項１に記載の画像処理装置。
3. 　前記第１のルールおよび前記第２のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
   　前記評価部は、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、請求項２に記載の画像処理装置。
4. 　前記品質条件は、前記他の被写体の見切れに関する条件を含み、
   　前記評価部は、前記他の被写体の見切れ度合に基づいて、前記領域が前記見切れに関する条件を満たすか否か評価する、請求項３に記載の画像処理装置。
5. 　前記評価部は、前記領域に前記他の被写体の顔が含まれ、かつ、前記領域に含まれる顔の範囲が前記顔全体の所定の割合未満であることに基づき、前記領域が前記見切れに関する条件を満たさないと評価する、請求項４に記載の画像処理装置。
6. 　前記評価部は、前記領域における前記他の被写体の大きさが、前記領域における前記主要被写体の大きさの所定の割合未満である場合、前記他の被写体の見切れ度合いによらず、前記領域は前記見切れに関する条件を満たすと評価する、請求項４に記載の画像処理装置。
7. 　前記第２の領域特定部は、前記第１の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含み、前記見切れに関する条件を満たす領域を前記第２の領域として特定する、請求項４に記載の画像処理装置。
8. 　前記第２の領域特定部は、前記第１の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含まない領域を前記第２の領域として特定する、請求項４に記載の画像処理装置。
9. 　前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
   　前記第２の領域特定部は、前記第１のルールが示す身体パーツと異なる身体パーツを示すルールを前記第２のルールとして設定し、当該第２のルールに従って前記第２の領域を特定する、請求項７に記載の画像処理装置。
10. 　前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
    　前記第２の領域特定部は、前記第１のルールが示す前記余白と異なる余白を示すルールを前記第２のルールとして設定し、当該第２のルールに従って前記第２の領域を特定する、請求項７に記載の画像処理装置。
11. 　前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
    　前記品質条件は、前記領域における前記主要被写体および前記他の被写体の水平方向または垂直方向の余白の偏りに関する条件を含み、
    　前記評価部は、前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある領域は、前記余白の偏りに関する条件を満たさないと評価する、請求項３に記載の画像処理装置。
12. 　前記第２の領域特定部は、前記第１の領域において前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある場合、前記偏りが軽減された領域を前記第２の領域として特定する、請求項１１に記載の画像処理装置。
13. 　前記品質条件は、前記領域の画素数に関する条件を含み、
    　前記評価部は、画素数が閾値未満である領域は前記画素数に関する条件を満たさないと評価する、請求項３に記載の画像処理装置。
14. 　前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
    　前記第２の領域特定部は、前記第１の領域の画素数が閾値未満である場合、画素数が前記閾値を上回る領域を前記第２の領域として特定する、請求項１３に記載の画像処理装置。
15. 　前記撮像画像は動画であり、
    　前記ルール選択部は、
    　前記動画を構成する１のフレーム画像に関し、前記第１の領域が前記品質条件を満たさず、前記第２の領域が前記品質条件を満たす場合には前記第２のルールを選択し、
    　前記１のフレーム画像以降のフレーム画像に関し、前記第２のルールに従って特定される前記第２の領域が前記品質条件を満たさなくなるまで前記第２のルールの選択を維持し、
    　前記第２の領域が前記品質条件を満たさなくなった後、前記第１のルールまたは新たな第２のルールを選択する、請求項２に記載の画像処理装置。
16. 　前記構図枠設定部は、前記撮像画像から主要被写体が認識されないフレーム画像においては、直近のフレーム画像で設定した構図枠を維持する、請求項１５に記載の画像処理装置。
17. 　前記画像処理装置は、前記構図枠設定部により設定された構図枠に含まれる画像を前記撮像画像から切り出す切出し部をさらに備える、請求項１に記載の画像処理装置。
18. 　前記撮像画像に含まれる複数の第１の領域の各々に関して前記評価部および前記構図枠設定部を含む各構成による処理が実行され、前記撮像画像に複数の構図枠が設定される、請求項１に記載の画像処理装置。
19. 　コンピュータを、
    　撮像画像の第１の領域が品質条件を満たすか否かを評価する評価部と、
    　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、として機能させるための、プログラム。
20. 　撮像画像の第１の領域が品質条件を満たすか否かをプロセッサにより評価することと、
    　前記第１の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定することと、を含む、画像処理方法。

Images