JPWO2022004302A5 - - Google Patents

Description

被写体認識部４８Ａ２は、ライブビュー画像データに対して画像解析を行うことで、撮像領域に含まれる人物の顔を被写体として認識する。ここで、人物の顔は、本開示の技術に係る「被写体」の一例であり、人物の顔は、本開示の技術に係る「顔」の一例である。また、画像（例えば、ライブビュー画像）内での人物の顔を示す顔領域は、本開示の技術に係る「被写体領域」の一例である。なお、ここでは、被写体認識部４８Ａ２によって人物の顔が被写体として認識される例を挙げているが、本開示の技術はこれに限らず、被写体認識部４８Ａ２によって人物の全体が被写体として認識されるようにしてもよい。

図１６に示す例では、撮像開始指示をトリガーにして特定処理が行われる形態例が示されているが、本開示の技術はこれに限定されない。例えば、実行部４８Ａ７は、表示制御部４８Ａ４からオブジェクト枠表示信号が入力されると、ディスプレイ２６に対して、ユーザに本露光を伴う撮像の準備が整ったことを示す情報を表示させる処理、すなわち、ディスプレイ２６に対して、ユーザに本露光を伴う撮像の開始を促す表示を行わせる処理を実行する。この処理の具体例としては、ディスプレイ２６に対して、「撮像開始指示を行って下さい。」というメッセージ、「レリーズボタンを全押して下さい。」というメッセージ、又は、撮像開始指示を促すマーク（例えば、撮像開始指示を受け付けるソフトキー）を表示させる処理等が挙げられる。

図１９Ｂに示すステップＳＴ２１４で、表示制御部４８Ａ４は、図２０に示す撮像支援処理に含まれるステップＳＴ２５４の特定処理が行われたか否かを判定する。ステップＳＴ２１４において、特定処理が行われていない場合は、判定が否定されて、オブジェクト枠表示処理はステップＳＴ２１６へ移行する。ステップＳＴ２１４において、特定処理が行われた場合は、判定が肯定されて、オブジェクト枠表示処理はステップＳＴ２１８へ移行する。

次のステップＳＴ２２０で、表示制御部４８Ａ４は、オブジェクト枠表示処理を終了する条件（以下、「オブジェクト枠表示処理終了条件」とも称する）を満足したか否かを判定する。オブジェクト枠表示処理終了条件の一例としては、撮像装置１０に対して設定されている撮像モードが解除された、との条件、又は、オブジェクト枠表示処理を終了させる指示が受付デバイス８０によって受け付けられた、との条件等が挙げられる。ステップＳＴ２２０において、オブジェクト枠表示処理終了条件を満足していない場合は、判定が否定されて、オブジェクト枠表示処理は、図１９Ａに示すステップＳＴ２００へ移行する。ステップＳＴ２２０において、オブジェクト枠表示処理終了条件を満足した場合は、判定が肯定されて、オブジェクト枠表示処理が終了する。

また、本実施形態に係る撮像装置１０では、グループ化画像領域１００の外輪郭を示す輪郭線が、複数の被写体領域を取り囲むオブジェクト枠９８である。従って、本構成によれば、特定の複数の被写体が含まれる領域とそれ以外の領域との境界を視覚的に把握することができる。なお、オブジェクト枠９８は、密集度条件を満たす複数の被写体領域を取り囲む枠であってもよい。すなわち、オブジェクト枠９８は、画像内において、複数の被写体領域（例えば、被写体認識部４８Ａ２によってマスクを着用していない顔であると認識された複数の被写体に対応する複数の被写体領域）が既定密集度（例えば、単位面積当たりの被写体領域の密度）を超える密集度で密集している領域（例えば、上述したグループ化画像領域１００に相当する領域）を取り囲む枠であってもよい。また、オブジェクト枠９８がディスプレイ（例えば、ディスプレイ２６及び／又はディスプレイ２６とは別のディスプレイ）に表示されると共に、密集度が既定密集度以上であることを報知するアラートがスピーカ又はディスプレイ（例えば、ディスプレイ２６及び／又はディスプレイ２６とは別のディスプレイ）を介して発せられるようにしてもよい。

また、本実施形態に係る撮像装置１０では、ライブビュー画像データ及び学習済みモデル９２に基づいて被写体群に含まれる被写体が認識される。従って、本構成によれば、目視のみで被写体群を認識する場合に比べ、被写体群を短時間で認識することができる。

上記実施形態では、オブジェクト枠入りライブビュー画像内に個別枠９６が表示されない形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２１に示すように、表示制御部４８Ａ４は、オブジェクト枠入りライブビュー画像内に個別枠９６も表示するようにしてもよい。図２１に示す例では、オブジェクト枠９８内の複数の顔領域（図２１に示す例では、３つの顔領域）の各々が取り囲まれる個別枠９６が示されている。このように、本構成によれば、既定条件を満たす複数の顔領域を個別に取り囲む複数の個別枠９６と、オブジェクト枠９８とがライブビュー画像内に表示されるので、特定の複数の被写体の塊と、特定の複数の被写体の各々との関係を視覚的に把握することができる。

次のステップＳＴ３０８で、作成部４８Ａ３は、ステップＳＴ３０６で除外されることで残った複数の注目被写体を示す複数の注目被写体領域を、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目被写体領域として特定する。すなわち、作成部４８Ａ３は、ステップＳＴ３０６で除外されることで残った複数の注目顔を示す複数の注目顔領域を、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目顔領域として特定する。そして、作成部４８Ａ３は、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目被写体領域として特定した複数の注目顔領域を、１つのオブジェクトとして取り囲むオブジェクト枠９８を作成する。

このように、図２５に示す個別枠表示処理が実行されることで、撮像装置１０の撮像モードが起動した場合に、ライブビュー画像内において、個別枠９６よりも先にオブジェクト枠９８が表示されるので、撮像装置１０の撮像モードが起動した場合に、特定の複数の被写体の纏りを視覚的に把握することができる。

図２７に示す例によれば、ステップＳＴ４５０の既定条件として至近側ピント合わせ条件が用いられることで、常に既定の被写界深度内にピント合わせが行われる場合に比べ、既定の被写界深度に含まれる被写体を示す被写体領域の鮮鋭度を弱めることができる。この場合、被写体領域内において、物体側焦点の位置から距離が離れるほど鮮鋭度が低くなり、例えば、ディスプレイ２６の図中正面視の中央下の人物、中央右の人物、及び中央左上の人物の順に鮮鋭度が低くなる。この鮮鋭度の順位は、物体側焦点の位置を変えることによって任意に又は選択的に変更することが可能である。そのため、物体側焦点の位置を変更する入力を受け付けて、鮮鋭度の順位を変更可能としてもよい。

作成部４８Ａ３は、メモリ４８Ｃから認識結果情報９４を取得し、取得した認識結果情報９４を参照してオブジェクト枠９８内の主要注目被写体領域を特定する。作成部４８Ａ３は、注目被写体を示す主要注目被写体領域（図３６に示す例では、「富士太郎」という主要注目被写体を示す主要注目被写体領域）のうちの顔領域の中心の位置と十字マーク１０２の交差点の位置とが一致するように、十字マーク１０２をオブジェクト枠９８内に配置したオブジェクト枠入りライブビュー画像データを生成する。そして、表示制御部４８Ａ４は、作成部４８Ａ３によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ２６に対して表示させる。すなわち、表示制御部４８Ａ４は、複数の注目被写体領域を１つのオブジェクトとして取り囲んだオブジェクト枠９８が重畳されたライブビュー画像であって、十字マーク１０２が主要注目被写体領域の顔領域に重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ２６に対して表示させる。

ステップＳＴ５０８で、作成部４８Ａ３は、オブジェクト枠９８から、一部の被写体領域、すなわち、上述した移動注目被写体領域を離脱させる形態にオブジェクト枠９８を変形させる。ステップＳＴ５０８の処理が実行されることによって変形されたオブジェクト枠９８は、表示制御部４８Ａ４によってディスプレイ２６にライブビュー画像に重畳された状態で表示される。

一例として図３９に示すように、表示制御部４８Ａ４は、ディスプレイ２６に対して、オブジェクト枠入りライブビュー画像を表示させる。図３９に示す例では、オブジェクト枠入りライブビュー画像内のオブジェクト枠９８内に注目被写体領域（図３９に示す例では、注目顔領域）を取り囲む個別枠９６が表示されている。表示制御部４８Ａ４は、タッチパネル２８によって受け付けられた指示に従って、オブジェクト枠９８内の個別枠９６を選択し、選択した個別枠９６をオブジェクト枠９８から外す。図３９に示す例では、表示制御部４８Ａ４は、タッチパネル２８に対して行われたタッチ操作に応じて個別枠９６を選択し、タッチパネル２８に対して行われたスワイプ操作に応じて個別枠９６をオブジェクト枠９８から外している。

このように、個別枠９６がオブジェクト枠９８から外されると、表示制御部４８Ａ４は、オブジェクト枠９８内から個別枠９６が外されることで空いた領域を回避するようにオブジェクト枠９８を変形させる。

また、ＣＰＵ４８Ａは、複数の注目被写体領域のうち少なくとも１つの注目被写体領域の輪郭線を抽出し、抽出した輪郭線をライブビュー画像上に表示するようにしてもよい。この場合、一例として図４６に示すように、表示制御部４８Ａ４は、ストレージ４８Ｂから位置情報を取得する。そして、表示制御部４８Ａ４は、取得した位置情報により示される輪郭線（図４６に示す破線で示した２つの注目被写体領域の輪郭線）が重畳された状態のライブビュー画像（図４６に示す「輪郭線入りライブビュー画像」）をディスプレイ２６に対して表示させる。

このように、図４９及び図５０に示す例によれば、ライブビュー画像内において、個別枠９６及びオブジェクト枠９８の一方がフェードアウト方式で表示され、他方がフェードイン方式で表示されるので、個別枠９６とオブジェクト枠９８との両方を常に表示させておく場合に比べ、表示される画像に対する視認性を高めることができる。

Images