JP6739064B1 - 撮像装置 - Google Patents

Abstract

【課題】音声を取得しながら撮像を行う撮像装置において、ユーザが音声の収音を意図する被写体を確認し易くすることができる撮像装置を提供する。【解決手段】撮像装置（１００）は、情報を表示する表示部（１３０）と、被写体を撮像して画像データを生成する撮像部（１１５）と、撮像部による撮像中に収音される音声を示す音声データを取得する音声取得部（１６５）と、検出部は、画像データにおいて被写体に対応する被写体領域を検出する検出部（１２２）と、検出部によって検出された被写体領域に応じて、音声信号における収音対象とする被写体及び主要被写体を決定する制御部（１３５）とを備える。制御部は、検出部によって複数の被写体領域が検出されたとき、主要被写体で且つ収音対象とする被写体を示す第１の識別情報と、主要被写体とは異なる被写体で且つ収音対象を示す第２の識別情報とを区別して、表示部に表示するように制御する。【選択図】図１４

Description

本開示は、音声を取得しながら撮像を行う撮像装置に関する。

特許文献１は、顔検出機能を有するビデオカメラを開示している。特許文献１のビデオカメラは、ズーム比率及び撮影した画面内の人物の顔の大きさに応じて、マイクの指向角を変化させる。これにより、当該ビデオカメラは、ビデオカメラと被写体映像の距離に、マイクの指向角を関連付けて制御することで、映像と音声の整合をとりつつ、被写体の声をより確実に捉えるようにマイクの指向角を変化させる制御の実現を図っている。この際、当該ビデオカメラは、人物（被写体）の顔の位置及び大きさを検出し、検出した顔部分に枠（顔検出枠）を付けて表示するとともに、顔検出枠の大きさ（顔の大きさ）の情報を利用する。

特開２０１０−２８３７０６号公報

本開示は、音声を取得しながら撮像を行う撮像装置において、ユーザが音声の収音を意図する被写体を確認し易くすることができる撮像装置を提供する。

本開示において、撮像装置は、表示部と、撮像部と、音声取得部と、検出部と、制御部とを備える。表示部は、情報を表示する。撮像部は、被写体を撮像して画像データを生成する。音声取得部は、撮像部による撮像中に収音される音声を示す音声データを取得する。検出部は、画像データにおいて被写体に対応する被写体領域を検出する。制御部は、検出部によって検出された被写体領域に応じて、音声信号における収音対象とする被写体及び主要被写体を決定する。制御部は、検出部によって複数の被写体領域が検出されたとき、主要被写体で且つ収音対象とする被写体を示す第１の識別情報と、主要被写体とは異なる被写体で且つ収音対象を示す第２の識別情報とを区別して、表示部に表示するように制御する。

本開示に係る撮像装置によると、画像データにおける検出部の検出結果に基づき、検出した被写体領域に応じて収音対象の被写体を決定し、他の被写体と区別して表示する。これにより、ユーザが音声の収音を意図する被写体を確認し易くすることができる。

本開示の実施の形態１に係るデジタルカメラ１００の構成を示す図 デジタルカメラ１００におけるビーム形成部１７２の構成を例示する図 デジタルカメラ１００において収音エリアを例示する図 実施の形態１に係るデジタルカメラ１００の動作を例示するフローチャート デジタルカメラ１００の動作の概要を説明するための図 実施の形態１に係るデジタルカメラ１００の収音対象の選別処理（図４のＳ３）を例示するフローチャート デジタルカメラ１００における収音対象の選別処理を説明するための図 デジタルカメラ１００における収音エリアの決定処理（図４のＳ４）を例示するフローチャート デジタルカメラ１００における収音エリアの決定処理を説明するための図 デジタルカメラ１００における顔認識を用いた収音制御（図４のＳ５）を例示するフローチャート 収音エリアの決定処理によって得られる管理情報を説明するための図 デジタルカメラ１００における水平画角および合焦距離からゲインを求める関係を例示する図 デジタルカメラ１００における顔認識を用いない収音制御（図４のＳ６）を例示するフローチャート 実施の形態２に係るデジタルカメラ１００の表示例を示す図 実施の形態２に係るデジタルカメラ１００の動作を例示するフローチャート 実施の形態２に係るデジタルカメラ１００における収音対象の追加操作に応じた動作例を示す図 実施の形態２に係るデジタルカメラ１００における収音対象の除外操作に応じた動作例を示す図 実施の形態２に係るデジタルカメラ１００における収音対象の選別処理（図１５のＳ３Ａ）を例示するフローチャート 実施の形態２に係るデジタルカメラ１００における収音対象の表示処理（図１５のＳ５１）を例示するフローチャート 実施の形態２の変形例１を示す図 実施の形態２の変形例２を示す図 実施の形態２の変形例３を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１)
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術に基づいて被写体を検出し、検出した被写体の大きさに応じた収音エリアの制御、及び収音する音声を強調する収音ゲインの制御を行うデジタルカメラについて説明する。

〔１−１．構成〕

図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、マイク１６１と、マイク用のアナログ／デジタル（Ａ／Ｄ）コンバータ１６５と、音声処理エンジン１７０とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

イメージセンサ１１５は、動画像、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが例えば静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。
スルー画像、動画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人の顔といった被写体の検出機能を実現する顔認識部１２２を含む。顔認識部１２２は、例えば、ルールベースの画像認識処理によって顔検出を行い、検出情報を出力する。顔検出は、種々の画像認識アルゴリズムによって行われてもよい。検出情報は、被写体の検出結果に対応する位置情報を含む。位置情報は、例えば処理対象の画像Ｉｍ上の水平位置及び垂直位置で規定され、例えば検出された被写体として人の顔を矩形状に囲む領域を示す（図５参照）。

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

操作部１５０は、デジタルカメラ１００の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズ釦、モードダイヤル、タッチパネル、カーソルボタン、ジョイスティックを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。

コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ−Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。

マイク１６１は、音を収音する収音部の一例である。マイク１６１は、収音した音声を電気信号であるアナログ信号に変換して出力する。本実施形態のマイク１６１は、３つのマイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒを含む。マイク１６１は、２つ又は４つ以上のマイクロフォン素子から構成されてもよい。

マイク用のＡ／Ｄコンバータ１６５は、マイク１６１からのアナログ信号をデジタル信号の音声データに変換する。マイク用のＡ／Ｄコンバータ１６５は、本実施形態における音声取得部の一例である。なお、マイク１６１は、デジタルカメラ１００の外部にあるマイクロフォン素子を含んでもよい。この場合、デジタルカメラ１００は音声取得部として、外部のマイク１６１に対するインタフェース回路を備える。

音声処理エンジン１７０は、マイク用のＡ／Ｄコンバータ１６５等の音声取得部から出力された音声データを受信して、受信した音声データに対して種々の音声処理を施す。音声処理エンジン１７０は、本実施形態における音声処理部の一例である。

本実施形態の音声処理エンジン１７０は、例えば図１に示すように、ビーム形成部１７２と、ゲイン調整部１７４とを備える。ビーム形成部１７２は、音声の指向性を制御する機能を実現する。ビーム形成部１７２の詳細については後述する。ゲイン調整部１７４は、入力される音声データに、例えばコントローラ１３５によって設定される収音ゲインを乗じる乗算処理を行って、音声を増幅する。ゲイン調整部１７４は、入力の音声データに負のゲインを乗じて音声を抑圧する処理を行ってもよい。収音ゲイン調整部１４はさらに、入力される音声データの周波数特性及びステレオ特性を変化させる機能を有してもよい。収音ゲインの設定についての詳細は後述する。

〔１−１−１．ビーム形成部について〕
本実施形態におけるビーム形成部１７２の詳細を、以下説明する。

ビーム形成部１７２は、マイク１６１が収音する音声の指向性を制御するビームフォーミングを行う。本実施形態におけるビーム形成部１７２の構成例を図２に示す。

図２に示すように、ビーム形成部１７２は、例えばフィルタＤ１〜Ｄ３と加算器１７３を備え、各マイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒで収音された音声の遅延期間を調整して、その重み付き和を出力する。ビーム形成部１７２によると、マイク１６１の収音指向性の方向および範囲を制御して、マイク１６１が収音する物理的な範囲を設定できる。

ビーム形成部１７２は、図示では１つの加算器１７３により１チャネルの出力を行うが、２つ以上の加算器を備え、例えばステレオ出力のような各チャネルで異なる出力を行う構成であってもよい。また、加算器１７３の他に減算器を用いて、特に感度が低い方向である死角を特定方向に有する指向性を形成してもよいし、環境に適応して処理を変える適応ビームフォーミングを行ってもよい。また、音声信号の周波数帯域によって異なる処理を適用してもよい。

図２では、マイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒを直線的に配置した例を示しているが、各マイクロフォン素子の配置は、これに限らない。例えば、三角形状に配置する場合であっても、フィルタＤ１〜Ｄ３の遅延期間及び重みを適宜調整して、マイク１６１の収音指向性を制御できる。また、ビーム形成部１７２は、収音指向性の制御に公知の手法を適用してもよい。例えば、ＯＺＯ Ａｕｄｉｏといった音声処理技術を用いて、指向性を形成する処理を行い、併せて音声の雑音を抑制する処理等を実行してもよい。

上記のようなビーム形成部１７２により設定可能なデジタルカメラ１００の収音エリアについて説明する。

〔１−１−２．収音エリアについて〕
図３は、デジタルカメラ１００において定義される収音エリアの例を示す。図３は、収音エリアを、デジタルカメラ１００を中心とする円の扇形領域によって例示しており、Ｘ，ＹおよびＺ軸は、それぞれデジタルカメラ１００の水平画角方向、垂直画角方向および光学系１１０におけるレンズの光軸方向に対応する。本実施形態のデジタルカメラ１００では、水平画角方向は、マイクロフォン素子１６１Ｒ，１６１Ｃおよび１６１Ｒが並ぶ方向と一致する。

図３（Ａ）は、角度範囲４０１（例えば７０°）において、デジタルカメラ１００の前方（すなわち撮影方向）に収音エリアを向ける「前方中心収音エリア」４１を示す。図３（Ｂ）は、角度範囲４０１において、デジタルカメラ１００の左方に収音エリアを向ける「左半分収音エリア」４２を示す。図３（Ｃ）は、角度範囲４０１において、デジタルカメラ１００の右方に収音エリアを向ける「右半分収音エリア」４３を示す。図３（Ｄ）は、角度範囲４０１より大きい角度範囲４０２（例えば１６０°）において、デジタルカメラ１００の前方に収音エリアを向ける「前方収音エリア」４４を示す。これらの収音エリアは、本実施形態における複数の所定エリアの一例であり、角度範囲４０１及び４０２は、第１の角度範囲及び第２の角度範囲の一例である。

本実施形態のデジタルカメラ１００は、被写体が撮像画像の中心部分に位置するとき、図３（Ａ）の前方中心収音エリア４１を用いる。また、被写体が撮像画像の左半分に位置するとき、図３（Ｂ）の左半分収音エリア４２を用い、被写体が撮像画像の右半分に位置するとき、図３（Ｃ）の右半分収音エリア４３を用いる。さらに、被写体が撮像画像の全体に位置するとき、主に図３（Ｄ）の前方収音エリア４４を用いる。

図５（Ｂ）の例では、収音対象の被写体Ｒ１及びＲ３が撮像画像の中心部分に位置するため、前方中心収音エリア４１が用いられる。図５（Ｃ）の例では、収音対象の被写体Ｒ１及びＲ２が撮像画像の左半分に位置するため、左半分収音エリア４２が用いられる。

デジタルカメラ１００のマイク１６１といった撮像装置の収音部において、マイクロフォン素子の数および配置は、素子の搭載スペース等の事情により制約を受ける。例えば、ユーザが複数の被写体について音声を記録したい撮影場面において、マイクロフォン素子数の制約により収音指向性を十分に狭められない場合がある。こうした場合でも、本実施形態のデジタルカメラ１００は、ユーザの撮影場面を想定して収音エリアを定義しておき、顔認識を用いて収音エリアを決定することで、ユーザの意図に沿った収音エリアを提供することができる。

〔１−２．動作〕
以上のように構成されるデジタルカメラ１００の動作について説明する。以下では、デジタルカメラ１００による動画撮影時の動作を説明する。

デジタルカメラ１００は順次、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成し、バッファメモリ１２５に記録する。また、画像処理エンジン１２０の顔認識部１２２は、撮像データが示す画像に基づき、被写体の領域を検出して、例えば検出情報をコントローラ１３５に出力する。

本実施形態のデジタルカメラ１００は、顔認識部１２２に入力された撮像画像において、画像認識処理により顔検出を行い、検出情報に基づいてオートフォーカス（ＡＦ）制御の対象とする被写体を特定する動作モードである顔認識モードを備える。

以上の撮像動作と同時並行で、デジタルカメラ１００は、マイク１６１において収音を行う。マイク用のＡ／Ｄコンバータ１６５から収音結果の音声データを音声処理エンジン１７０にて処理する。音声処理エンジン１７０は、処理後の音声データＡｏｕｔをバッファメモリ１２５に記録する。
コントローラ１３５は、バッファメモリ１２５を介して、画像処理エンジン１２０から受け付ける画像データと音声処理エンジン１７０から受け付ける音声データとの間で、同期を取って動画をメモリカード１４２に記録する。また、コントローラ１３５は逐次、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により随時、撮影の構図等を確認することができる。動画撮影の動作は、操作部１５０におけるユーザの操作に応じて開始／終了される。

以上のようなデジタルカメラ１００の動画撮影は、例えば撮影者とその同伴者など、仲間内で会話をする被写体のグループに注目して行われる場合がある。この場合、音声についても、当該被写体のグループの発声を明瞭に収音したいとのニーズが考えられる。

本実施形態のデジタルカメラ１００は、画像処理エンジン１２０における顔認識部１２２の検出情報によって被写体を検出し、ＡＦ対象の被写体が決定されたときに、音声処理エンジン１７０において、当該被写体および撮影する空間で当該被写体の周囲にいる被写体について収音する音声を強調する処理を実行する。このように、画像処理エンジン１２０の顔認識と音声処理エンジン１７０の音声強調等とを連動させて、上記のような会話をする被写体のグループによる音声を強調した収音を精度良く実現する。

〔１−２−１．動作の概要〕
図４及び図５を用いて、本実施形態に係るデジタルカメラ１００の動作の概要を説明する。

図４は、本実施形態に係るデジタルカメラ１００の動作を例示するフローチャートである。図４のフローチャートに示す各処理は、例えばデジタルカメラ１００の動作モードが顔認識モードであるとき、動画の撮影中に所定の周期で繰り返し実行される。所定の周期は、例えば動画のフレーム周期である。図５は、本実施形態に係るデジタルカメラ１００の動作の概要を説明するための図である。

コントローラ１３５は、顔認識部１２２による検出情報に基づいてＡＦ対象を特定し、ＡＦ制御を実行する（Ｓ１）。ＡＦ対象は、ＡＦ制御の対象とする被写体の画像上の領域を示す。図５（Ａ）は、顔認識部１２２の検出情報において被写体が検出された領域を示す顔領域Ｒ１，Ｒ２及びＲ３を含む撮像画像Ｉｍを例示する。顔領域Ｒ１，Ｒ２及びＲ３は、本実施形態における被写体領域の一例である。例えば顔領域Ｒ１がＡＦ対象の顔領域６０として特定される。

次にコントローラ１３５は、ＡＦ対象として特定された顔領域が存在するか否かを判断する（Ｓ２）。具体的には、コントローラ１３５は、顔領域が検出されていて、かつＡＦ対象が顔領域であるか否かを判断する。

ＡＦ対象の顔領域６０がある場合（Ｓ２でＹＥＳ）、コントローラ１３５は、検出情報における被写体からマイク１６１の収音対象を選別する処理を実行する（Ｓ３）。収音対象は、マイク１６１により音声を強調して収音する対象とする被写体である。ＡＦ対象として特定された顔領域Ｒ１（６０）は、収音対象になる。図５（Ｂ）は、図５（Ａ）に示す検出情報に基づき、顔領域Ｒ１及びＲ３を収音対象に決定し、一方で顔領域Ｒ２を収音対象としない例を示す。

本実施形態のデジタルカメラ１００は、収音対象の選別処理（Ｓ３）において、ＡＦ対象の顔領域Ｒ１（６０）に加え、撮像画像Ｉｍにおいて顔領域Ｒ１と同程度の顔の大きさを示す顔Ｒ３を、更なる収音対象として決定する。一方で、顔領域Ｒ１と異なる大きさの顔領域Ｒ２は収音対象から外される。これにより、人物２１と人物２３がデジタルカメラ１００から同程度の距離にいて（すなわち、Ｚ軸方向の距離の差が小さい）、人物２２は異なる距離にいることを反映して、例えば仲間内で会話する被写体のグループを収音対象とすることができる。収音対象の選別処理（Ｓ３）についての詳細は後述する。

次に、コントローラ１３５は、決定した収音対象に基づいて、収音エリアを決定する処理を行う（Ｓ４）。収音エリアの決定処理（Ｓ４）は、決定した全ての収音対象を含む収音エリアを決定する。図５（Ｂ）の例において、収音エリアを収音対象の顔領域Ｒ１及びＲ３を含むように前方中心収音エリア４１（図３（Ａ））に決定されている。収音エリアの決定処理（Ｓ４）についての詳細は後述する。

次に、コントローラ１３５は、決定した収音対象及び収音エリアに基づいて、顔認識を用いて収音の制御を行う（Ｓ５）。顔認識を用いた収音制御（Ｓ５）は、コントローラ１３５が決定した収音対象、収音エリア及び収音ゲインを含む収音パラメータを、音声処理エンジン１７０に設定することによって行われる。音声処理エンジン１７０は、収音パラメータに応じた収音指向性及び収音ゲインを実現する。

一方、例えば顔認識モードの動作中に顔領域が検出されない等、ＡＦ対象の顔領域６０がない場合（Ｓ２でＮＯ）、コントローラ１３５は、顔認識を用いない収音制御（Ｓ６）を行う。顔認識を用いた、または用いない収音制御（Ｓ５，Ｓ６）についての詳細は後述する。

コントローラ１３５は、ステップＳ５またはＳ６の収音制御を実行後、ステップＳ１以降の処理を繰り返す。

以上の処理によると、本実施形態のデジタルカメラ１００は、顔認識により検出した被写体から収音対象を選別し、収音対象を全て含む収音エリアを決定して、顔認識を用いた収音制御を行う。これにより、例えば仲間内で会話をする被写体のグループについて、音声を強調して収音することができる。

なお、顔認識によるＡＦ制御（Ｓ１）において、検出情報に基づくＡＦ対象の特定は、例えば表示モニタ１３０に表示させたスルー画像上に顔領域を示す枠表示等を行い、操作部１５０によりユーザが枠表示を選択する操作を受けて実行することができる。

図５（Ｃ）は、図５（Ａ），（Ｂ）とは異なる位置に人物２１〜２３がいる場合の撮像画像Ｉｍの例を示す。デジタルカメラ１００は、図５（Ｂ）の例と同様に、まず、例えば顔領域Ｒ１をＡＦ対象の顔領域６０として特定し（Ｓ１）、収音対象に決定する。図５（Ｃ）の例において、収音対象の選別処理（Ｓ３）は、撮像画像Ｉｍ上で顔領域Ｒ１と同程度の顔の大きさである顔領域Ｒ２を収音対象に決定し、顔領域Ｒ３を収音対象から外す。収音エリアの決定処理（Ｓ４）は、収音対象として決定された顔領域Ｒ１及びＲ２を含む左半分収音エリア４２（図３（Ｂ））を収音エリアに決定する。顔認識を用いた収音制御（Ｓ５）は、左半分収音エリア４２に指向性を制御して人物２１及び２２の音声を明瞭に収音するように、収音パラメータを設定することによって行われる。

〔１−２−２．収音対象の選別処理〕
図４のステップＳ３における収音対象の選別処理の詳細を、図６〜７を用いて説明する。

図６は、デジタルカメラ１００の収音対象の選別処理（Ｓ３）を例示するフローチャートである。図６に示すフローチャートによる各処理は、図４のステップＳ１１でＹＥＳに進んだとき、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

図７は、デジタルカメラ１００における収音対象の選別処理（Ｓ３）を説明するための図である。以下では、図５（Ａ），（Ｂ）の例で収音対象を決定する動作について説明する。

図６のフローチャートにおいて、コントローラ１３５は、図４のステップＳ１において特定したＡＦ対象の顔領域に対応する被写体を収音対象に決定する（Ｓ１０）。このとき、コントローラ１３５は、顔認識部１２２から取得した検出情報に基づいて、ＡＦ対象の顔領域の大きさ（即ち顔幅Ｗ）を、他の被写体から収音対象を選別する基準に設定する。

図７（Ａ）は、図５（Ａ），（Ｂ）の例において収音対象が選別される場合を例示する。顔幅Ｗ１，Ｗ２，Ｗ３は、撮像画像Ｉｍにおける顔領域Ｒ１，Ｒ２，Ｒ３の大きさをＸ軸方向の幅で示す。図７（Ａ）の例において、コントローラ１３５は、ＡＦ対象の顔領域Ｒ１の顔幅Ｗ１を、基準の顔幅Ｗに設定する（Ｓ１０）。設定した顔幅Ｗは、例えばコントローラ１３５のＲＡＭ等に保持される。

次に、コントローラ１３５は、ＡＦ対象の他に検出された被写体があるか否かを判断する（Ｓ１１）。具体的には、コントローラ１３５は、顔認識部１２２の検出情報がＡＦ対象の顔領域の他に顔領域を含むか否かを判断する。

ＡＦ対象の他に検出された被写体がある場合（Ｓ１１でＹＥＳ）、コントローラ１３５は、収音対象の候補である収音候補として、一つの被写体ｉを選択する（Ｓ１２）。図７（Ａ）の例では、検出情報はＡＦ対象の顔領域Ｒ１の他の顔領域Ｒ２及びＲ３が、ステップＳ１２ごとに順次、収音候補の被写体ｉに対応付けて選択される。

コントローラ１３５は、選択した被写体ｉの顔幅Ｗｉと、基準の顔幅Ｗとを比較する演算を行う（Ｓ１３）。具体的には、コントローラ１３５は、基準の顔幅Ｗに対する被写体ｉの顔幅Ｗｉの割合Ｗｉ／Ｗを算出する。図７（Ａ）の例において、顔領域Ｒ２を収音候補とする選択時（Ｓ１２）には、その顔幅Ｗ２についての割合Ｗ２／Ｗが算出される（Ｓ１３）。

コントローラ１３５は、収音候補の顔幅Ｗｉと基準の顔幅Ｗ間の割合Ｗｉ／Ｗが、所定範囲内であるか否かを判断する（Ｓ１４）。所定範囲は、例えば収音候補の顔幅Ｗｉが相対的に基準の顔幅Ｗｉと同程度であるとみなす範囲を規定する観点から、「１」よりも大きい上限値と、「１」よりも小さい下限値で規定される。なお、所定範囲を設定するためのユーザインタフェースが提供されてもよく、例えばユーザが操作部１５０により設定した所定範囲がバッファメモリ１２５等に保持されてもよい。

コントローラ１３５は、顔幅の割合Ｗｉ／Ｗが所定範囲内であると判断すると（Ｓ１４でＹＥＳ）、被写体ｉを収音対象とすることを決定する（Ｓ１５）。

一方、コントローラ１３５は、顔幅の割合Ｗｉ／Ｗが所定範囲内でないと判断すると（Ｓ１４でＮＯ）、コントローラ１３５は、被写体ｉを収音対象としないことを決定する（Ｓ１６）。図７（Ａ）の例において、割合Ｗ２／Ｗは所定範囲の下限値を下回り、顔領域Ｒ２を収音対象としないことが決定される。

コントローラ１３５は、被写体ｉを収音対象とするか否かを決定すると（Ｓ１５またはＳ１６）、例えば被写体ｉについて決定した結果をバッファメモリ１２５に記録する（Ｓ１７）。次に、コントローラ１３５は、収音候補として選択済みの被写体とは他の被写体について、ステップＳ１１以降の処理を再び行う。

図７（Ａ）の例では、顔領域Ｒ２の他に顔領域Ｒ３が検出情報に含まれる（Ｓ１１でＹＥＳ）。コントローラ１３５は、顔領域Ｒ３に対応する被写体を選択する（Ｓ１２）と、顔領域Ｒ２の場合と同様に、基準の顔幅Ｗに対する顔幅Ｗ３の割合Ｗ３／Ｗを算出する（Ｓ１３）。図７（Ａ）の例では、割合Ｗ３／Ｗは「１」近傍に算出される。コントローラ１３５は、算出した顔幅の割合Ｗ３／Ｗが収音対象の所定範囲内であると判断して（Ｓ１４でＹＥＳ）、顔領域Ｒ３に対応する被写体を収音対象として決定する（Ｓ１５）。

コントローラ１３５は、収音候補として選択されていない被写体がなくなるまで（ステップＳ１１でＮＯ）、ステップＳ１１〜Ｓ１７の処理を繰り返す。その後、コントローラ１３５は、収音対象の選別処理（Ｓ３）を終了して、図４のステップＳ４に進む。

以上の処理によると、顔認識により検出した被写体について、ＡＦ対象として特定した顔領域Ｒ１を基準とする相対的な顔領域Ｒ２，Ｒ３の大きさ比較が行われる。これにより、相対的な顔領域Ｒ３の大きさがＡＦ対象の顔領域Ｒ１と同程度である被写体を選別して収音対象に決定することができる。

図７（Ｂ）は、図５（Ｃ）の例において収音対象が選別される場合を例示する。図７（Ｂ）の例において、顔領域Ｒ１は、図７（Ａ）の例と同様にＡＦ対象として特定されている。このことから、コントローラ１３５は、顔領域Ｒ１を収音対象に決定し、顔幅Ｗ１を基準の顔幅Ｗに設定する（Ｓ１０）。

図７（Ｂ）の例では、顔領域Ｒ２の顔幅Ｗ２は、基準の顔幅Ｗ（＝Ｗ１）と同程度の大きさである。一方、顔領域Ｒ３の顔幅Ｗ３は、他の顔幅Ｗ１及びＷ２と比較して大きい。本例において、コントローラ１３５は、割合Ｗ２／Ｗが所定範囲内であると判断して（Ｓ１４でＹＥＳ）、顔領域Ｒ２の被写体を収音対象として決定する（Ｓ１５）。一方、割合Ｗ３／Ｗが所定範囲の上限値を上回るため（Ｓ１４でＮＯ）、顔領域Ｒ３の被写体は収音対象としないことが決定される（Ｓ１６）。よって、本例の収音対象は、顔領域Ｒ１及びＲ２に対応する２つの被写体に決定される（図５（Ｃ）参照）。

図７（Ｃ）は、図５（Ｃ）と同様の撮影画像Ｉｍにおいて顔領域Ｒ３がＡＦ対象の顔領域６０として特定された（図４のＳ１）場合を例示する。コントローラ１３５は、顔領域Ｒ３を収音対象に決定し、顔幅Ｗ３を基準の顔幅Ｗに設定する（Ｓ１０）。図７（Ｃ）の例において、割合Ｗ２／Ｗ及びＷ１／Ｗが所定範囲の下限値を下回るため（Ｓ１４でＮＯ）、顔領域Ｒ１及びＲ２に対応する被写体を収音対象としないことが決定される（Ｓ１６）。よって、本例の収音対象は、顔領域Ｒ３に対応する１つの被写体に決定される。

以上のように、本実施形態のデジタルカメラ１００は、画像認識により検出した複数の被写体から、ＡＦ対象と同程度の大きさである被写体を収音対象として決定することで、後述するユーザの意図に沿った収音エリアの決定に利用することができる。

〔１−２−３．収音エリアの決定処理〕
図４のステップＳ４における収音エリアの決定処理の詳細を、図８〜９を用いて説明する。

図８は、本実施形態のデジタルカメラ１００における収音エリアの決定処理（Ｓ４）を例示するフローチャートである。図８に示すフローチャートによる各処理は、図４のステップＳ３を実行した後、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

図９は、デジタルカメラ１００における収音エリアの決定処理（Ｓ４）を説明するための図である。図９（Ａ），（Ｂ）は、それぞれ図７（Ａ），（Ｂ）の例に続いて、収音エリアを決定する場合を例示する。図９（C）は、図９（Ａ），（Ｂ）とは更に別の場合を例示する。図９（Ａ）〜（Ｃ）において、中心位置ｘ０は、Ｘ軸方向における撮像画像Ｉｍの中心の位置を示し、画像幅Ｗｈは、Ｘ軸方向における撮像画像Ｉｍの幅を示す。画像範囲は、撮像画像Ｉｍ上で中心位置ｘ０を基準に、Ｘ座標−ｘｈからｘｈの範囲ｘ０±ｘｈと規定される。Ｘ座標ｘｈは、ｘｈ＝Ｗｈ／２（＞０）で定義される。

図８のフローチャートにおいて、コントローラ１３５は、全ての収音対象について、顔領域の中心等の位置が撮像画像Ｉｍの中心範囲にあるか否かを判断する（Ｓ２０）。中心範囲は、撮像画像Ｉｍにおいて前方中心収音エリア４１に対応付けられる範囲である。

中心範囲は、例えば図９（Ａ）に示すように、撮像画像Ｉｍ上で中心位置ｘ０を基準に、Ｘ座標−ｘｅからｘｅの範囲ｘ０±ｘｅとして規定される。Ｘ座標ｘｅは、所定の画角θｅと、画像幅Ｗｈに対応する水平画角θｈとに基づき、例えばｘｅ＝ｘｈ×θｅ／θｈ（＞０）で定義される。所定の画角θｅは、例えば１人の人物を含める観点から予め設定され、例えば３０°等である。コントローラ１３５は、例えば光学系１１０のズームレンズのズーム倍率等から現在の水平画角θｈを取得して、中心範囲ｘ０±ｘｅを算出する。

水平画角θｈが大きい広角撮影においては、Ｘ座標ｘｅが小さくなり中心範囲ｘ０±ｘｅは狭い。一方、水平画角θｈが小さい望遠撮影においては、Ｘ座標ｘｅが大きくなり中心範囲ｘ０±ｘｅは広い。これにより、撮像する物理的な範囲と距離に対応した収音エリアの決定を実現しやすくすることができる。

全収音対象の顔領域の位置が中心範囲内にある場合（Ｓ２０でＹＥＳ）、コントローラ１３５は、収音エリアを前方中心収音エリア４１に決定する（Ｓ２１）。図９（Ａ）の例では、収音対象は顔領域Ｒ１及びＲ３に対応する。それぞれの顔領域Ｒ１及びＲ３の中心の位置ｘ１及びｘ３は、いずれもｘ０±ｘｅの範囲内にある（Ｓ２０でＹＥＳ）。よって、収音エリアが前方中心収音エリア４１に決定される（Ｓ２１，図５（Ｂ）参照）。

一方、少なくとも一つ以上の収音対象の顔領域の位置が中心範囲内にない場合（Ｓ２０でＮＯ）、前方中心収音エリア４１以外の収音エリアが用いられる。この場合、コントローラ１３５は、全ての収音対象について、例えば顔領域の位置が撮像画像Ｉｍにおける左右いずれか半分の範囲のみにあるか否かを判断する（Ｓ２２）。左半分の範囲はＸ軸方向の中心位置ｘ０よりもＸ座標が小さい範囲であり、右半分の範囲は中心位置ｘ０よりもＸ座標が大きい範囲である。

全ての収音対象について、顔領域の位置が撮像画像Ｉｍにおける左半分または右半分の範囲のみにある場合（Ｓ２２でＹＥＳ）、コントローラ１３５は、さらに全収音対象の顔領域の位置が撮像画像Ｉｍにおける左半分の範囲内であるか否かを判断する（Ｓ２３）。

全収音対象の顔領域の位置が撮像画像Ｉｍにおける左半分の範囲内である場合（Ｓ２３でＹＥＳ）、コントローラ１３５は、収音エリアを左半分収音エリア４２に決定する（Ｓ２４）。図９（Ｂ）の例では、収音対象は顔領域Ｒ１及びＲ２に対応する。顔領域Ｒ１の位置ｘ１及び顔領域Ｒ２の位置ｘ２が、Ｘ軸方向の中心位置ｘ０より左（すなわち、Ｘ座標が小さい）側にあるため（Ｓ２３でＹＥＳ）、収音エリアは左半分収音エリア４２に決定される（Ｓ２４，図５（Ｃ）参照）。

一方、全収音対象の顔領域の位置が撮像画像Ｉｍにおける右半分の範囲内であって、左半分の範囲内でない（Ｓ２３でＮＯ）、コントローラ１３５は、収音エリアを右半分収音エリア４３に決定する（Ｓ２５）。

また、全ての収音対象の顔領域の位置が、撮像画像Ｉｍにおける左右いずれか半分の範囲のみにはない場合（Ｓ２２でＮＯ）、コントローラ１３５は、収音エリアを前方収音エリア４４に決定する（Ｓ２６）。図３（Ｄ），（Ａ）に示すように、前方収音エリア４４は、前方中心収音エリア４１の角度範囲４０１より広い角度範囲４０２を有する。すなわち、前方収音エリア４４は、撮像画像ＩｍにおいてＸ軸方向に広い範囲に位置する収音対象の被写体を含む。

図９（Ｃ）の例では、収音対象は、顔領域Ｒ１，Ｒ２及びＲ３に対応する。顔領域Ｒ１〜Ｒ３の中心の位置ｘ１，ｘ２及びｘ３は、中心範囲ｘ０±ｘｅ外の位置ｘ１及びｘ２を含み（Ｓ２０でＮＯ）、且つ、左半分の範囲内の位置ｘ１と右半分の範囲内の位置ｘ２及びｘ３とを含む（Ｓ２２，Ｓ２３でＮＯ）。したがって、本例において収音エリアは、前方収音エリア４４に決定される（Ｓ２６）。

コントローラ１３５は、収音エリアを決定すると（Ｓ２１，Ｓ２４〜Ｓ２６）、決定した収音エリアをバッファメモリ１２５等に管理情報として記録する（Ｓ２７）。これにより、収音エリアの決定処理（Ｓ４）は終了し、図４のステップＳ５に進む。

以上の処理によると、収音対象として決定した被写体の撮像画像上での位置に応じて、予め定義した複数の収音エリアから、全ての収音対象を含むように収音エリアが決定される。これにより、動画撮影において、ユーザの意図に沿った収音対象の被写体を含むように、収音エリアを決定することができる。

図１１は、収音エリアの決定処理（Ｓ４）によって得られる管理情報を説明するための図である。図１１（Ａ）は、図７（Ａ）及び図９（Ａ）の例において、収音対象の選別処理（Ｓ３）及び収音エリアの決定処理（Ｓ４）を実行した段階で得られる管理情報を例示する。図１１（Ｂ）は、図７（Ｂ）及び図９（Ｂ）の例における管理情報を例示する。

管理情報は、例えば収音対象の選別処理（Ｓ３）によって決定される「収音対象」、収音エリアの決定処理（Ｓ４）によって決定される「収音エリア」、「水平画角」及び「合焦距離」を関連付けて管理する。なお、合焦距離は、例えば顔認識によるＡＦ制御（Ｓ１）を実行する際に取得される。例えば、コントローラ１３５は、合焦時における光学系１１０の各種レンズの位置或いは焦点距離に基づいて、対応する合焦距離を取得してもよい。また、デジタルカメラ１００は、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）技術または測距センサによる測定により、合焦距離を検出してもよい。

なお、本実施形態のデジタルカメラ１００は、前方中心収音エリアの判断（Ｓ２０）で用いる中心範囲の画角θｅを設定可能であり、例えばコントローラ１３５のＲＯＭ等に記録される。また、画角θｅを設定するためのユーザインタフェースが提供され、例えばユーザが操作部１５０により設定した値がバッファメモリ１２５等に保持されてもよい。

〔１−２−４．収音制御〕
（１）図４のステップＳ５について
図４のステップＳ５における顔認識を用いた収音制御の詳細を、図１０〜１２を用いて説明する。

収音パラメータ設定による収音制御において、本実施形態のデジタルカメラ１００は、例えばＡＦ対象の顔領域に対応する被写体について動画音声を強調するように、収音ゲインの設定を行う。収音ゲインは、例えば周波数フィルタ特性およびステレオセパレーション特性を有する。デジタルカメラ１００は、例えばデジタルカメラ１００が動画の撮影中に、ＡＦ対象の顔領域に合焦したときの水平画角及び合焦距離に基づき、収音ゲインを算出する。収音ゲインは、例えば算出される値が大きいほど人の声以外の周波数帯を抑制したりステレオ効果を制御したりして収音ズーム効果を生じさせるように規定される。

図１０は、顔認識を用いた収音制御（Ｓ５）を例示するフローチャートである。図１０のフローチャートに示す各処理は、図４のステップＳ４を実行した後、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

デジタルカメラ１００は、図１１に示す管理情報が保持された状態で、ステップＳ５の処理を開始する。

コントローラ１３５は、例えばバッファメモリ１２５から水平画角を取得して、水平画角に基づくゲインＧｈを算出する（Ｓ３０）。図１２（Ａ）は、水平画角からゲインＧｈを求める関係を例示する。図１２（Ａ）の例で、ゲインＧｈは、予め定めたゲインの最大値Ｇｍａｘと最小値Ｇｍｉｎの間で、水平画角が小さくなるほど増加する。これにより、ズーム等で水平画角が小さいほど収音時にゲインを大きくして、望遠側で撮影される被写体の音声を強調することができる。

コントローラ１３５は、ステップＳ３０と同様に合焦距離を取得して、合焦距離に基づくゲインＧｄを算出する（Ｓ３１）。図１２（Ｂ）は、合焦距離からゲインＧｄを求める関係を例示する。図１２（Ｂ）の例で、ゲインＧｄは、予め定めたゲインの最大値Ｇｍａｘと最小値Ｇｍｉｎの間で、合焦距離が大きくなるほど増加する。これにより、デジタルカメラ１００から遠い被写体に合焦するときほど収音時にゲインを大きくして、遠い被写体ほど音声を強調することができる。

コントローラ１３５は、算出した水平画角による収音ゲインＧｈと、合焦距離による収音ゲインＧｄと比較し、いずれか大きいゲインを収音ゲインＧとする（Ｓ３２）。これにより、例えば望遠の水平画角または遠い合焦距離で撮影を行うユーザの意図に沿って被写体の音声を強調するように、収音ゲインＧを算出することができる。

コントローラ１３５は、過去の所定回数（例えば５回）にわたり算出された収音ゲインＧ及び決定された収音エリアが、互いに同じであるか否かを判断する（Ｓ３３）。例えば収音ゲインＧは、図４のステップＳ１〜Ｓ５の実行周期における所定回数の範囲内で、算出される毎に上記の管理情報と共に記憶される。コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じであると判断した場合と（Ｓ３３でＹＥＳ）、ステップＳ３４に進む。

コントローラ１３５は、ステップＳ３の収音対象の選別処理により決定した収音対象と、ステップＳ４の収音エリアの決定処理により決定した収音エリアと、ステップＳ３２で算出した収音ゲインＧを、音声処理エンジン１７０に収音パラメータとして設定する（Ｓ３４）。音声処理エンジン１７０は、ビーム形成部１７２及びゲイン調整部１７４により、設定された収音パラメータに応じた収音エリア及び収音ゲインを実現する。

収音パラメータの設定（Ｓ３４）後、コントローラ１３５は、顔認識を用いた収音制御の処理（Ｓ５）を終了する。また、コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じでないと判断した場合（Ｓ３３でＮＯ）、ステップＳ３４の処理を行わずに図４のステップＳ５の処理を終了する。その後、図４のステップＳ１以降の処理が繰り返される。

以上の処理によると、算出した収音ゲインと、顔認識に基づいて決定された収音対象及び収音エリアを、収音パラメータに設定して、ＡＦ対象を含む収音対象の被写体の音声を明瞭に収音しやすくする収音エリア及び収音ゲインを実現することができる。

なお、ステップＳ３０とＳ３１の実行順序は、本フローチャートの順に限らず、例えばステップＳ３１でゲインＧｄを算出してから、ステップＳ３０でゲインＧｈを算出してもよく、またはステップＳ３０とＳ３１を並列に実行してもよい。

また、以上のステップＳ３３によると、収音エリア及び収音ゲインＧが所定回数（例えば５回）変化しない場合のみ、収音パラメータが設定する処理（Ｓ３４）が実行される。これにより、被写体の動きなどにより過度に頻繁に収音エリア及び収音ゲインＧが変更されることを防ぎ、顔認識を用いた収音制御（Ｓ５）をユーザの意図に沿って精度よく実現することができる。

（２）図４のステップＳ６について
図４のステップＳ６における顔認識を用いない収音制御（Ｓ６）の詳細を、図１３を用いて説明する。

図１３は、顔認識を用いない収音制御（Ｓ６）を例示するフローチャートである。図１３のフローチャートに示す各処理は、顔領域が検出されない等、図４のステップＳ２においてＡＦ対象の顔領域がない（Ｓ２でＮＯ）場合に、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

まず、コントローラ１３５は、収音エリアを、例えば前方収音エリア４４に決定する（Ｓ４０）。

次に、コントローラ１３５は、水平画角に基づくゲインＧｈをステップＳ３０と同様に算出して、収音ゲインＧとする（Ｓ４１）。さらに、コントローラ１３５は、ステップＳ３３と同様に、過去の所定回数にわたり算出された収音ゲインＧ及び決定された収音エリアが、互いに同じであるか否かを判断する（Ｓ４２）。

コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じであると判断した場合（Ｓ４２でＹＥＳ）、収音エリアと収音ゲインＧを収音パラメータに設定し（Ｓ４３）、顔認識を用いない収音制御（Ｓ６）を終了する。また、コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じでないと判断した場合（Ｓ４２でＮＯ）、ステップＳ４３の処理を行わずに図４のステップＳ６を終了する。ステップＳ６の終了後、ステップＳ１以降の処理が繰り返される。

以上の処理によると、ＡＦ対象の顔領域がない場合でも、デジタルカメラ１００の前方における広い範囲の音声を収音するように、また、ズーム等で水平画角が小さいほど収音ゲインを大きくするようにして、撮像される範囲の音声を明瞭に収音しやすくすることができる。

なお、デジタルカメラ１００の動作モードに応じて、デジタルカメラ１００の周囲３６０°の角度範囲を有する全体収音エリアが定義され、ステップＳ４０において全体収音エリアに決定されてもよい。このとき、例えば全体収音エリアのみが収音パラメータに設定されてもよい。

〔１−３．効果等〕

本実施形態において、コントローラ１３５は、コントローラ１３５は、顔認識部１２２によって検出された被写体領域、すなわち顔領域Ｒ１〜Ｒ３の大きさである顔幅Ｗ１，Ｗ２及びＷ３に応じて、音声信号における収音対象とする被写体を決定し（Ｓ３）、収音対象に決定した被写体を含めるように、収音エリアを制御する（Ｓ４〜Ｓ５）。これにより、例えば複数の被写体から、被写体領域の大きさに応じて、収音対象とする被写体と、収音対象としない被写体との選別を実現することができる。

本実施形態において、顔認識部１２２は、被写体領域として画像データにおける人の顔領域Ｒ１〜Ｒ３を検出する。なお、被写体領域は、人の顔領域に限らず、例えば動物の顔領域が検出されてもよい。また、被写体領域の大きさは、顔幅に限らず、例えば撮像画像Ｉｍにおける顔領域Ｒ１〜Ｒ３のＹ軸方向の幅、または顔領域Ｒ１〜Ｒ３の面積であってもよい。

本実施形態において、コントローラ１３５は、ＡＦ対象の被写体（主要被写体）に合焦するように、イメージセンサ１１５（撮像部）の撮像動作を制御する。なお、主要被写体はＡＦ対象に限定されない。デジタルカメラ１００は、主要被写体について合焦の動作に代えて又はこれに加えて、例えば露出制御といった各種の動作を実行してもよい。

（実施の形態２）

以下、図面を用いて実施の形態２を説明する。実施の形態１では、動画撮影時等に収音対象を選別して決定するデジタルカメラ１００について説明した。実施の形態２では、実施の形態１のような動作時に、決定された収音対象に関する情報をユーザに可視化するデジタルカメラ１００について説明する。

以下、実施の形態１に係るデジタルカメラ１００と同様の構成、動作の説明は適宜省略して、本実施形態に係るデジタルカメラ１００を説明する。

〔２−１．概要〕
図１４を用いて、本実施形態に係るデジタルカメラ１００が各種情報を表示する動作の概要を説明する。

図１４は、本実施形態に係るデジタルカメラ１００の表示例を示す。図１４の表示例は、デジタルカメラ１００が図５（Ｂ）に例示するように収音対象を決定した場合に、表示部１３０においてリアルタイムに表示される一例を示す。本表示例において、デジタルカメラ１００は表示モニタ１３０に、ＡＦ対象の被写体を示すＡＦ枠１１及びＡＦ対象以外の検出された被写体を示す検出枠１３に加えて、収音対象の被写体を示す収音アイコン１２を、撮像画像Ｉｍ上に重畳して表示している。

本実施形態のデジタルカメラ１００は、収音アイコン１２を、ＡＦ枠１１及び検出枠１３に組み合わせて用いることで、ＡＦ対象のような主要被写体とそれ以外に検出した被写体が、ＡＦ対象及び／または収音対象に決定されているか否かをユーザに可視化する。

例えば図１４の表示例において、デジタルカメラ１００は、図５（Ｂ）の例で顔領域Ｒ１（６０）に対応する被写体をＡＦ対象かつ収音対象として決定したことから、人物２１にＡＦ枠１１と収音アイコン１２を表示する。また、デジタルカメラ１００は、図５（Ｂ）の例で顔領域Ｒ３に対応する被写体をＡＦ対象以外の収音対象として決定したことから、人物２３に検出枠１３と収音アイコン１２を表示する。さらに、デジタルカメラ１００は、収音アイコン１２を伴わない検出枠１３の表示により、図５（Ｂ）の例で顔領域Ｒ２に対応するＡＦ対象以外の被写体を収音対象としない決定をしたことをユーザに可視化する。

本実施形態のデジタルカメラ１００において、ユーザは、ＡＦ枠１１または検出枠１３のいずれか一方の表示により、検出した被写体がＡＦ対象か否かを確認できる。ユーザはまた、収音アイコン１２の有無により、収音対象か否かを確認できる。ＡＦ枠１１と収音アイコン１２との組み合わせは、本実施形態における第１の識別情報の一例である。検出枠１３と収音アイコン１２との組み合わせは、本実施形態における第２の識別情報の一例である。検出枠１３は、第３の識別情報の一例である。

以上のように、本実施形態に係るデジタルカメラ１００は、検出情報が含む被写体から決定した収音対象及びＡＦ対象の被写体を区別する表示を行う。これによりユーザは、デジタルカメラ１００が検出した被写体のうち収音対象の被写体を把握して、例えば意図に沿った被写体が収音対象として決定されているか否かを確認することができる。さらに、本実施形態のデジタルカメラ１００は、ユーザが当該表示に基づき収音対象に被写体を追加する操作をしたり、収音対象から被写体を除外する操作をしたりすることができるように、こうしたユーザ操作を入力可能に動作する。

〔２−２．動作の詳細〕
図１５は、本実施形態に係るデジタルカメラ１００の動作を例示するフローチャートである。図１５のフローチャートに示す各処理は、実施の形態１における図４のフローチャートと同様に、例えばデジタルカメラ１００のコントローラ１３５によって実行される。図１５におけるステップＳ２，Ｓ４〜Ｓ６の処理は実施の形態１（図４）と同様であり、以下ではその説明を省略する。

本実施形態では、例えば顔認識によるＡＦ制御（Ｓ１Ａ）において、コントローラ１３５は、図４のステップＳ１と同様に顔認識部１２２の検出結果に基づきＡＦ対象を決定すると、上述したＡＦ枠１１及び検出枠１３を表示モニタ１３０に表示させる。

さらに、本実施形態の収音対象の選別処理（Ｓ３Ａ）は、図４のステップＳ３と同様の処理において、上記のユーザ操作を反映する処理を実行する。本実施形態における収音対象の選別処理（Ｓ３Ａ）についての詳細は後述する。

本実施形態においてコントローラ１３５は、例えば顔認識を用いた収音制御（Ｓ５）の実行後、収音対象に関する情報を表示する処理を行う（Ｓ５１）。図１４の表示例において、コントローラ１３５は、ステップＳ１Ａで表示したＡＦ枠１１及び検出枠１３に加えて、ステップＳ３Ａで決定した収音対象の被写体に収音アイコン１２を表示させる（Ｓ５１）。収音対象の表示処理（Ｓ５１）についての詳細は後述する。

次に、コントローラ１３５は、操作部１５０において、決定した収音対象に被写体を追加するユーザ操作または収音対象から被写体を除外するユーザ操作が入力されたか否かを判断する（Ｓ５２）。こうした収音対象の追加または除外操作は、例えば表示モニタ１３０の表示画面と重畳して配置された操作部１５０のタッチパネルにおいて、位置を指定するタッチ操作に予め設定される（図１６，１７参照）。上記のユーザ操作を入力すると、コントローラ１３５は、指定された位置を含む顔領域等の被写体を示す情報と、収音対象の追加または除外操作の何れかを示す情報とを対応付けて、例えばバッファメモリ１２５に入力情報として保持する。

コントローラ１３５は、収音対象の追加または除外操作が入力されたと判断した場合（Ｓ５２でＹＥＳ）、ステップＳ３Ａ以降を再び実行する。この際の収音対象の選別処理（Ｓ３Ａ）において、ステップＳ５２で入力された入力情報が参照される。

図１６は、収音対象の追加操作に応じた動作例を示す図である。図１６（Ａ）は、図１４の表示例から、ユーザが収音対象の追加操作を行う例を示す。図１６（Ｂ）は、図１６（Ａ）の追加操作に応じて収音エリアが図５（Ｂ）から変更された状態を例示する。図１６（Ｃ）は、図１６（Ｂ）の状態に対応する表示モニタ１３０の表示例を示す。

図１６の動作例において、ユーザは、収音アイコン１２が表示されていない人物２２の検出枠１３にタッチ操作を行う。当該追加操作に応答して、デジタルカメラ１００のコントローラ１３５は、顔領域Ｒ２の被写体を収音対象として決定し（Ｓ３Ａ）、顔領域Ｒ２を含む前方収音エリア４４に決定する（Ｓ４）。その後、図１６（Ｃ）に示すように、コントローラ１３５は、収音対象に決定した被写体に収音アイコン１２を表示する（Ｓ５１）。

図１７は、収音対象の除外操作に応じた動作例を示す図である。図１７（Ａ）は、図１６の追加操作が入力された後、ユーザが収音対象の除外操作を行う例を示す。図１７（Ｂ）は、図１７（Ａ）の除外操作に応じて収音エリアが図１６（Ｂ）から変更された状態を例示する。図１７（Ｃ）は、図１７（Ｂ）の状態に対応する表示モニタ１３０の表示例を示す。

図１７の動作例において、ユーザは、収音アイコン１２が表示されている人物２３の検出枠１３にタッチ操作を行う。当該除外操作に応答して、コントローラ１３５は、顔領域Ｒ３の被写体を収音対象としないことを決定し（Ｓ３Ａ）、顔領域Ｒ３を含まない左半分収音エリア４２に決定する（Ｓ４）。その後、図１７（Ｃ）に示すように、コントローラ１３５は、収音対象としないことを決定した被写体には収音アイコン１２を表示しない（Ｓ５１）。

図１５に戻り、収音対象の被写体を追加または除外する操作が特に入力されない場合（Ｓ５２でＮＯ）、コントローラ１３５は、ステップＳ１Ａ以降の処理を繰り返す。

以上の処理によると、本実施形態のデジタルカメラ１００は、検出した被写体にＡＦ枠１１または検出枠１３を表示し（Ｓ１Ａ）、収音対象を決定して（Ｓ３Ａ）、収音対象か否かを区別する表示を行う（Ｓ５１）。デジタルカメラ１００は、これらの表示に基づくユーザによる収音対象の追加または除外操作を受け付ける（Ｓ５２）。

このように、本実施形態のデジタルカメラ１００は、被写体が収音対象か否かの表示に基づくユーザ操作に応じて、ユーザ指定の被写体を図１６に示すように収音対象に追加したり、図１７に示すように収音対象から除外したりすることができる。これにより、デジタルカメラ１００は、決定した収音対象がユーザの意図とは異なる場合であってもユーザの意図に沿った収音対象に変更可能である。

なお、図１５のステップＳ５とＳ５１の処理は、以上の説明とは異なる順序で実行されてもよい。例えば、ステップＳ５１の処理を実行後に、ステップＳ５の処理が行われてもよい。また、ステップＳ５２におけるユーザ操作の入力は、特にタッチ操作に限らず、例えば操作部１５０のカーソルキーまたはジョイスティックにより行われてもよい。

〔２−２−１．実施の形態２に係る収音対象の選別処理〕
図１８は、本実施形態のデジタルカメラ１００における収音対象の選別処理（図１５のＳ３Ａ）を例示するフローチャートである。以下、図１５のステップＳ５２において収音対象の追加または除外操作が入力された（Ｓ５２でＹＥＳ）場合の例について説明する。本実施形態では、実施の形態１における図６のフローチャートに示す処理に加え、ステップＳ５２で入力された操作に応じて収音対象を決定する処理が実行される。図１８におけるステップＳ１０〜Ｓ１２，Ｓ１３〜Ｓ１７の処理は実施の形態１（図６）と同様であり、以下ではその説明を省略する。

コントローラ１３５は、図６のフローチャートと同様に収音候補の被写体ｉを選択すると（Ｓ１２）、当該被写体ｉに関して収音対象の追加操作があったか否かを判断する（Ｓ７１）。具体的には、コントローラ１３５は、図１５のステップＳ５２においてバッファメモリ１２５に格納した入力情報を参照して、被写体ｉが追加操作と対応付いて入力情報に記録されているか否かを判断する。

被写体ｉの追加操作がない場合（Ｓ７１でＮＯ）、コントローラ１３５は、同被写体ｉに関して収音対象の除外操作があったか否かを判断する（Ｓ７２）。この際、コントローラ１３５は、ステップＳ７１の判断と同様に入力情報を参照して、被写体ｉが除外操作と対応付いて入力情報に記録されているか否かを判断する。

被写体ｉの除外操作がない場合（Ｓ７２でＮＯ）、コントローラ１３５は、図６のフローチャートと同様にステップＳ１３以降の処理を実行する。この場合、実施の形態１と同様に、顔領域の大きさの比較に応じて被写体ｉを収音対象とするか否かが決定される。

一方、コントローラ１３５は、被写体ｉの追加操作があった判断すると（Ｓ７１でＹＥＳ）、ステップＳ１３〜Ｓ１４の処理を特に実行せずに、被写体ｉを収音対象とすることを決定する（Ｓ１５）。図１６の例では、人物２２の顔領域Ｒ２が収音候補の被写体ｉに選択されたときに（Ｓ１２）、コントローラ１３５は、ステップＳ７１でＹＥＳに進み、顔領域Ｒ２の大きさに依らず当該被写体ｉを収音対象とすることを決定する。

また、コントローラ１３５は、被写体ｉの除外操作があったと判断すると（Ｓ７２でＹＥＳ）、ステップＳ１３〜Ｓ１４の処理を特に実行せずに、被写体ｉを収音対象としないことを決定する（Ｓ１６）。図１７の例では、人物２３の顔領域Ｒ３が収音候補の被写体ｉに選択されたときに（Ｓ１２）、コントローラ１３５は、ステップＳ７２でＹＥＳに進み、顔領域Ｒ３の大きさに依らず当該被写体ｉを収音対象としないことを決定する（Ｓ１６）。

なお、上記の例では、収音対象の追加操作及び除外操作が入力されたか否かを判断する（Ｓ７１，Ｓ７２）デジタルカメラ１００を説明したが、これに限らない。例えば、デジタルカメラ１００は、図１５のステップＳ５２において追加操作または除外操作のいずれか一方のみの入力を受け付け、各操作に応じて図１８のステップＳ７１またはＳ７２のいずれか一方のみを実行してもよい。

〔２−２−２．収音対象の表示処理〕
図１５のステップＳ５１における収音対象の表示処理（Ｓ５１）の詳細を、図１９を用いて説明する。

図１９は、収音対象の表示処理（Ｓ５１）を例示するフローチャートである。以下では、図５（Ｂ）の例と対応する図１４の表示例において、収音対象を表示する動作について説明する。

まず、コントローラ１３５は、収音対象の選別処理（図１５のＳ３Ａ）でＡＦ対象の被写体を収音対象に決定した（図６のＳ１０参照）ことに応じて、表示モニタ１３０においてＡＦ対象の被写体に収音アイコン１２を表示させる（Ｓ６０）。図５（Ｂ）の例では、表示モニタ１３０は、図１４に示すようにＡＦ対象の顔領域６０に対応する被写体に、ＡＦ枠１１と共に収音アイコン１２を表示する。

次に、コントローラ１３５は、図４のステップＳ４において決定した収音エリアに含まれる被写体の中で、ＡＦ対象の他に被写体があるか否かを判断する（Ｓ６１）。具体的には、コントローラ１３５は、顔認識部１２２の検出情報における位置情報と、決定した収音エリアの方向及び角度範囲に対応する撮像画像Ｉｍ上の位置とを比較することにより、収音エリアにＡＦ対象の他に被写体を含むか否かを判断する。

収音エリアにＡＦ対象の他に含まれる被写体がある場合（Ｓ６１でＹＥＳ）、コントローラ１３５は、当該被写体から１つの被写体ｉを選択する（Ｓ６２）。図５（Ｂ）の例では、前方中心収音エリア４１に、ＡＦ対象の顔領域６０の他に顔領域Ｒ３が含まれることから、コントローラ１３５は、顔領域Ｒ３を選択する。

続いてコントローラ１３５は、選択した被写体ｉに収音アイコン１２を表示する（Ｓ６３）。これにより、図５（Ｂ）の例では、表示モニタ１３０は、図１４に示すように顔領域Ｒ３に対応する人物２３に、検出枠１３と共に収音アイコン１２を表示している。

その後、コントローラ１３５は、選択した被写体ｉに収音アイコン１２を表示すると（Ｓ６３）、選択済みの被写体の他に収音エリアに含まれる被写体があるか否かを判断し（Ｓ６１）、他に被写体があると（Ｓ６１でＹＥＳ）、ステップＳ４２以降の処理を再び行う。

コントローラ１３５は、収音エリアに他に含まれる被写体がなくなると（Ｓ４１でＮＯ）、収音対象の表示処理（Ｓ５１）を終了して、図１５のステップＳ５２に進む。

以上の処理によると、収音エリアに含まれる被写体に収音アイコン１２を表示することで、ユーザが収音対象の被写体を把握することができる。これによりユーザは、ＡＦ対象といった主要被写体に加えて収音を意図する被写体が、収音対象であるか否かを確認し易い。

なお、図１９に例示するフローチャートにおいて、コントローラ１３５は、収音エリアに含まれる被写体から被写体ｉを選択した（Ｓ６１〜６２）が、これに限らない。例えば、被写体ｉは、図１５のステップＳ３Ａで決定した収音対象から選択されてもよく、検出情報が含む全ての被写体から選択されてもよい。また、例えば図１５のフローチャートにおいてステップＳ５１が２回目以降に実行される場合、ステップＳ６１は省略されてもよく、別の判断基準が用いられてもよい。

〔２−３．効果等〕
以上のように、上記の実施の形態のデジタルカメラ１００は、表示モニタ１３０（表示部）と、イメージセンサ１１５（撮像部）と、マイク用のＡ／Ｄコンバータ１６５（音声取得部）と、顔認識部１２２（検出部）と、コントローラ１３５（制御部）とを備える。表示モニタ１３０は、情報を表示する。イメージセンサ１１５は、被写体を撮像して画像データを生成する。マイク用のＡ／Ｄコンバータ１６５は、イメージセンサ１１５による撮像中に収音される音声を示す音声信号を取得する。顔認識部１２２は、イメージセンサ１１５によって生成された画像データにおいて、被写体に対応する被写体領域の一例として顔領域Ｒ１，Ｒ２及びＲ３を検出する。コントローラ１３５は、顔認識部１２２によって検出された顔領域Ｒ１〜Ｒ３に応じて、音声信号における収音対象とする被写体及びＡＦ対象の被写体（主要被写体）を決定する。コントローラ１３５は、顔認識部１２２によって複数の顔領域Ｒ１〜Ｒ３が検出されたとき、ＡＦ対象で且つ収音対象とする被写体を示すＡＦ枠１１及び収音アイコン１２（第１の識別情報）と、主要被写体とは異なる被写体で且つ収音対象を示す検出枠１３及び収音アイコン１２（第２の識別情報）とを区別して表示モニタ１３０に表示するように制御する（Ｓ１Ａ，Ｓ５１）。

以上のデジタルカメラ１００によると、主要被写体で且つ収音対象の被写体と、主要被写体以外で且つ収音対象の被写体とが区別して表示されることから、主要被写体以外にも収音対象となっている被写体があるのかがユーザに可視化される。これにより、ユーザが音声の収音を意図する被写体を確認し易くすることができる。

実施の形態２において、コントローラ１３５は、収音対象ではない被写体を示す検出枠１３（第３の識別情報）を、第１の識別情報及び第２の識別情報と区別して、表示モニタ１３０に表示させる（Ｓ１Ａ）。これにより、ユーザは表示モニタ１３０において、検出された被写体のうち収音対象ではない被写体も確認することができる。

本実施形態において、第１の識別情報は、ＡＦ対象の被写体（主要被写体）であるか否かを示すＡＦ枠１１の有無（第１の識別表示）において主要被写体と識別して、且つ収音対象であるか否かを示す収音アイコン１２の有無（第２の識別表示）において収音対象と識別する。第２の識別情報は、ＡＦ枠１１の有無においてＡＦ対象の被写体でないと識別して、且つ収音アイコン１２の有無において収音対象と識別する。第３の識別情報は、ＡＦ枠１１の有無においてＡＦ対象でないと識別して、且つ収音アイコン１２の有無において収音対象でないと識別する（図１４参照）。

以上のデジタルカメラ１００によると、ＡＦ枠１１においてＡＦ対象か否か、及び収音アイコン１２において収音対象か否かの２つの観点から被写体を識別する表示を行うことで、ユーザにとって分かり易い可視化をすることができる。

本実施形態において、デジタルカメラ１００は、表示モニタ１３０に表示された情報に基づいて、収音対象から特定の被写体を除外するユーザ操作と、特定の被写体を収音対象に追加するユーザ操作との少なくとも一方を入力する操作部１５０をさらに備える。これにより、デジタルカメラ１００は、決定した収音対象の被写体がユーザの意図とは異なる場合であっても、例えばユーザが所望の被写体を選択する操作を入力することで、ユーザの意図に沿って収音対象に追加したり、収音対象から除外したりすることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、上記の各実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

実施の形態２では、デジタルカメラ１００は、図１４に例示するＡＦ枠１１、収音アイコン１２及び検出枠１３を表示した（図１５のＳ１Ａ，Ｓ５１）。本実施形態のデジタルカメラ１００は、実施の形態２とは異なる表示態様において、決定された収音対象に関する情報をユーザに可視化してもよい。図２０、図２１及び図２２は、それぞれ実施の形態２の変形例１、変形例２及び変形例３を示す図である。

図２０、図２１は、それぞれ実施の形態２とは異なる収音アイコン１２Ａ及び１２Ｂを表示した表示モニタ１３０の例を示す。図２０は、マイクを模した収音アイコン１２Ａを例示する。図２１は、枠表示による収音アイコン１２Ｂを例示する。収音アイコン１２Ｂは、特に図２１の例に限らず、例えば矩形状の枠表示であってもよい。また、本実施形態のデジタルカメラ１００は、例えばユーザが収音アイコン１２Ａ，１２Ｂといった各種の収音アイコンから、表示させる収音アイコンを操作部１５０において選択するユーザ操作を受け付けてもよい。

また、実施の形態２に係る第１の識別情報、第２の識別情報、及び第３の識別情報は、ＡＦ枠１１の有無において主要被写体か否かを識別し、収音アイコン１２の有無において収音対象か否かを識別した。本実施形態において、第１〜第３の識別情報は、特にこれに限らず、例えば３種類の枠表示であってもよい。図２２は、本実施形態における３種類の枠表示を例示する。図２２の例では、ＡＦ対象かつ収音対象の被写体を示す枠表示１１Ａ、ＡＦ対象以外で収音対象の被写体を示す枠表示１３Ａ及び収音対象でない被写体を示す枠表示１３Ｂにより、ＡＦ対象及びそれ以外の被写体の表示と収音対象の表示とが一体的に為されている。

実施の形態１〜２では、図４のフローチャートにおいて、デジタルカメラ１００が内蔵するマイク１６１について、顔認識を用いた又は用いない収音制御（Ｓ５又はＳ６）を行う動作例を説明した。本実施形態のデジタルカメラ１００は、内蔵のマイク１６１に代えて、外付けのマイク（以下「マイク１６１ａという」）を備えてもよい。マイク１６１ａは、デジタルカメラ１００の外部にあるマイクロフォン素子を含み、３つ以上のマイクロフォン素子を備える。本実施形態においてコントローラ１３５は、マイク１６１ａについて、予めマイクロフォン素子の配置に関する情報をバッファメモリ１２５等に保持しておくことにより、実施の形態１と同様にステップＳ５又はＳ６を実行することができる。この場合においても、実施の形態１と同様に決定した収音対象及び／または収音エリアに応じて、被写体の音声を明瞭に得やすくすることができる。

また、実施の形態１〜２では、図１０のフローチャートにおいて、デジタルカメラ１００の撮像範囲に対応する水平画角に基づき、ゲインＧｈを算出（Ｓ３０）する動作例を説明した。この場合の水平画角は、図８のフローチャートにおける前方中心収音エリアの判定（Ｓ２０）に用いる水平画角θｈと同一である。本実施形態において、ゲインＧｈの算出に、ステップＳ２０における水平画角θｈと異なる用いる水平画角を用いてもよい。例えば、撮像画像上で全ての収音対象の被写体を含むＸ軸方向の幅に対応する角度範囲を、ステップＳ３０における水平画角とする。これにより、収音対象が映る画角に応じて、遠くの被写体の声をより明瞭に収音するように、ゲインＧｈを算出することができる。

また、実施の形態１〜２では、顔認識部１２２が人の顔を検出した。本実施形態において、顔認識部１２２は、例えば動物の顔を検出してもよい。動物の顔は、動物の種別によって大きさが多様であることが考えられる。この場合でも、例えば収音対象を選別するための所定範囲（Ｓ１４参照）を拡大することにより、実施の形態１と同様に収音対象を選別することができる。さらに、顔認識部１２２が動物の種別ごとに顔を検出し、種別に応じてステップＳ１４における所定範囲を設定してもよい。

また、実施の形態１〜２では、顔認識部１２２を備えるデジタルカメラ１００を説明した。本実施形態において、顔認識部１２２は、外部サーバに設けられてもよい。この場合、デジタルカメラ１００は、通信モジュール１５５を介して、外部サーバに撮像画像の画像データを送信し、外部サーバから顔認識部１２２による処理結果の検出情報を受信してもよい。このようなデジタルカメラ１００においては、通信モジュール１５５が検出部として機能する。

また、実施の形態１〜２では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

また、実施の形態１〜２では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、音声を取得しながら撮像を行う撮像装置に適用可能である。

１００ デジタルカメラ
１１５ イメージセンサ
１２０ 画像処理エンジン
１２２ 顔認識部
１２５ バッファメモリ
１３０ 表示モニタ
１３５ コントローラ
１４５ フラッシュメモリ
１５０ 操作部
１１ ＡＦ枠
１２，１２Ａ，１２Ｂ 収音アイコン
１３ 検出枠

Claims (10)

1. 情報を表示する表示部と、
   被写体を撮像して画像データを生成する撮像部と、
   前記撮像部による撮像中に収音される音声を示す音声信号を取得する音声取得部と、
   前記画像データにおいて前記被写体に対応する被写体領域を検出する検出部と、
   前記検出部によって検出された被写体領域に応じて、前記音声信号における収音対象とする被写体及び主要被写体を決定する制御部と
   を備え、
   前記制御部は、
   前記検出部によって複数の被写体領域が検出されたとき、前記主要被写体で且つ収音対象とする被写体を示す第１の識別情報と、前記主要被写体とは異なる被写体で且つ前記収音対象を示す第２の識別情報とを区別して、前記表示部に表示するように制御する
   撮像装置。
2. 前記制御部は、前記収音対象ではない被写体を示す第３の識別情報を、前記第１の識別情報及び前記第２の識別情報と区別して、前記表示部に表示させる
   請求項１に記載の撮像装置。
3. 前記第１の識別情報は、前記主要被写体であるか否かを示す第１の識別表示において前記主要被写体と識別して、且つ前記収音対象であるか否かを示す第２の識別表示において前記収音対象と識別し、
   前記第２の識別情報は、前記第１の識別表示において前記主要被写体でないと識別して、且つ前記第２の識別表示において前記収音対象と識別し、
   前記第３の識別情報は、前記第１の識別表示において前記主要被写体でないと識別して、且つ前記第２の識別表示において前記収音対象でないと識別する
   請求項２に記載の撮像装置。
4. 前記表示部に表示された情報に基づいて、前記収音対象から特定の被写体を除外するユーザ操作と、特定の被写体を前記収音対象に追加するユーザ操作との少なくとも一方を入力する操作部をさらに備える、
   請求項１から３のいずれか１つに記載の撮像装置。
5. 前記制御部は、
   前記被写体領域の大きさに応じて、前記収音対象とする被写体を決定し、
   前記収音対象に決定した被写体を含めるように、前記音声信号において前記被写体からの音声を収音する収音エリアを制御する
   請求項１から４のいずれか１つに記載の撮像装置。
6. 前記検出部は、前記被写体領域として前記画像データにおける人の顔領域を検出する
   請求項１から５のいずれか１つに記載の撮像装置。
7. 前記制御部は、前記主要被写体に合焦するように、前記撮像部の撮像動作を制御する
   請求項１から６のいずれか１つに記載の撮像装置。
8. 情報を表示する表示部と、
   被写体を撮像して画像データを生成する撮像部と、
   前記撮像部による撮像中に収音される音声を示す音声信号を取得する音声取得部と、 前記画像データにおいて前記被写体に対応する被写体領域を検出する検出部と、
   前記検出部によって検出された被写体領域に応じて、前記音声信号における収音対象としない被写体及び主要被写体を決定する制御部と
   を備え、
   前記制御部は、
   前記検出部によって複数の被写体領域が検出されたとき、前記主要被写体で且つ前記収音対象とする被写体を示す第１の識別情報と、前記主要被写体とは異なる被写体で且つ前記収音対象としない被写体を示す第３の識別情報とを区別して、前記表示部に表示するように制御する
   撮像装置。
9. 情報を表示する表示部と、
   被写体を撮像して画像データを生成する撮像部と、
   前記撮像部による撮像中に収音される音声を示す音声信号を取得する音声取得部と、
   前記画像データにおいて前記被写体に対応する被写体領域を検出する検出部と、
   前記検出部によって検出された被写体領域に応じて、前記音声信号における収音対象とする被写体、前記音声信号における収音対象としない被写体及び主要被写体を決定する制御部と
   を備え、
   前記制御部は、
   前記検出部によって複数の被写体領域が検出されたとき、前記主要被写体で且つ前記収音対象とする第１の被写体と、前記主要被写体とは異なり且つ前記収音対象とする第２の被写体と、前記主要被写体とは異なり且つ前記収音対象としない第３の被写体とを夫々区分する情報を前記表示部に表示するように制御する
   撮像装置。
10. 前記表示部に表示された情報に基づいて、前記収音対象から特定の被写体を除外するユーザ操作と、特定の被写体を前記収音対象に追加するユーザ操作との少なくとも一方を入力する操作部をさらに備える、
    請求項８又は９に記載の撮像装置。

Images