JP6793369B1 - 撮像装置 - Google Patents

Abstract

【課題】音声を取得しながら撮像を行う撮像装置において、ユーザの意図に沿って被写体の音声を明瞭に得やすくすることができる撮像装置を提供する。【解決手段】撮像装置（１００）は、被写体を撮像して画像データを生成する撮像部（１１５）と、撮像部による撮像中に収音される音声を示す音声データを取得する音声取得部（１６５）と、画像データにおいて前記被写体に対応する被写体領域を検出する検出部（１２２）と、音声信号において被写体からの音声を収音する収音エリアを制御する制御部（１３５）とを備える。制御部は、検出部によって検出された被写体領域の大きさに応じて、音声信号における収音対象とする被写体を決定し、収音対象に決定した被写体を含めるように、収音エリアを制御する。【選択図】図４

Description

本開示は、音声を取得しながら撮像を行う撮像装置に関する。

特許文献１は、映像と対になる音声に、映像の撮影意図に沿うような補正を施す音声補正装置を備える撮像装置を開示している。特許文献１の音声補正装置は、撮影画角内で検出された人数の情報を入力し、人数の情報に応じて、映像と対になって記録又は再生される音声に音声補正処理（音源分離処理、ステレオ化処理、指向性処理、音声強調処理など）を施す。音声補正処理において、さらに必要に応じて、顔・口等の動き情報、顔・人物検出位置情報や、焦点情報、ズーム倍率情報を基に音声補正制御方法を決定する。これにより、当該音声補正装置を備える撮像装置は、映像の撮影意図に沿うような音声補正を施すことを図っている。

特開２００９−１５６８８８号公報

本開示は、音声を取得しながら撮像を行う撮像装置において、ユーザの意図に沿って被写体の音声を明瞭に得やすくすることができる撮像装置を提供する。

本開示において、撮像装置は、被写体を撮像して画像データを生成する撮像部と、撮像部による撮像中に収音される音声を示す音声データを取得する音声取得部と、画像データにおいて前記被写体に対応する被写体領域を検出する検出部と、音声信号において被写体からの音声を収音する収音エリアを制御する制御部とを備える。制御部は、検出部によって検出された被写体領域の大きさに応じて、音声信号における収音対象とする被写体を決定し、収音対象に決定した被写体を含めるように、収音エリアを制御する。

本開示に係る撮像装置によると、画像データにおける検出部の検出結果に基づき、検出した被写体領域の大きさに応じて、収音エリアを制御する。これにより、撮像装置においてユーザの意図に沿った被写体の音声を明瞭に得やすくすることができる。

本開示の実施の形態１に係るデジタルカメラ１００の構成を示す図 デジタルカメラ１００におけるビーム形成部１７２の構成を例示する図 デジタルカメラ１００において収音エリアを例示する図 デジタルカメラ１００の動作を例示するフローチャート デジタルカメラ１００の動作の概要を説明するための図 デジタルカメラ１００の収音対象の選別処理（図４のＳ３）を例示するフローチャート デジタルカメラ１００における収音対象の選別処理を説明するための図 デジタルカメラ１００における収音エリアの決定処理（図４のＳ４）を例示するフローチャート デジタルカメラ１００における収音エリアの決定処理を説明するための図 デジタルカメラ１００における顔認識を用いた収音制御（図４のＳ５）を例示するフローチャート 収音エリアの決定処理によって得られる管理情報を説明するための図 デジタルカメラ１００における水平画角および合焦距離からゲインを求める関係を例示する図 デジタルカメラ１００における顔認識を用いない収音制御（図４のＳ６）を例示するフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１)
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術に基づいて被写体を検出し、検出した被写体の大きさに応じた収音エリアの制御、及び収音する音声を強調する収音ゲインの制御を行うデジタルカメラについて説明する。

〔１−１．構成〕

図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、マイク１６１と、マイク用のアナログ／デジタル（Ａ／Ｄ）コンバータ１６５と、音声処理エンジン１７０とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

イメージセンサ１１５は、動画像、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが例えば静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。
スルー画像、動画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人の顔といった被写体の検出機能を実現する顔認識部１２２を含む。顔認識部１２２は、例えば、ルールベースの画像認識処理によって顔検出を行う。顔検出は、種々の画像認識アルゴリズムによって行われてもよい。

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

操作部１５０は、デジタルカメラ１００の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズ釦、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。

コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ−Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。

マイク１６１は、音を収音する収音部の一例である。マイク１６１は、収音した音声を電気信号であるアナログ信号に変換して出力する。本実施形態のマイク１６１は、３つのマイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒを含む。マイク１６１は、２つ又は４つ以上のマイクロフォン素子から構成されてもよい。

マイク用のＡ／Ｄコンバータ１６５は、マイク１６１からのアナログ信号をデジタル信号の音声データに変換する。マイク用のＡ／Ｄコンバータ１６５は、本実施形態における音声取得部の一例である。なお、マイク１６１は、デジタルカメラ１００の外部にあるマイクロフォン素子を含んでもよい。この場合、デジタルカメラ１００は音声取得部として、外部のマイク１６１に対するインタフェース回路を備える。

音声処理エンジン１７０は、マイク用のＡ／Ｄコンバータ１６５等の音声取得部から出力された音声データを受信して、受信した音声データに対して種々の音声処理を施す。音声処理エンジン１７０は、本実施形態における音声処理部の一例である。

本実施形態の音声処理エンジン１７０は、例えば図１に示すように、ビーム形成部１７２と、ゲイン調整部１７４とを備える。ビーム形成部１７２は、音声の指向性を制御する機能を実現する。ビーム形成部１７２の詳細については後述する。ゲイン調整部１７４は、入力される音声データに、例えばコントローラ１３５によって設定される収音ゲインを乗じる乗算処理を行って、音声を増幅する。ゲイン調整部１７４は、入力の音声データに負のゲインを乗じて音声を抑圧する処理を行ってもよい。収音ゲイン調整部１４はさらに、入力される音声データの周波数特性及びステレオ特性を変化させる機能を有してもよい。収音ゲインの設定についての詳細は後述する。

〔１−１−１．ビーム形成部について〕
本実施形態におけるビーム形成部１７２の詳細を、以下説明する。

ビーム形成部１７２は、マイク１６１が収音する音声の指向性を制御するビームフォーミングを行う。本実施形態におけるビーム形成部１７２の構成例を図２に示す。

図２に示すように、ビーム形成部１７２は、例えばフィルタＤ１〜Ｄ３と加算器１７３を備え、各マイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒで収音された音声の遅延期間を調整して、その重み付き和を出力する。ビーム形成部１７２によると、マイク１６１の収音指向性の方向および範囲を制御して、マイク１６１が収音する物理的な範囲を設定できる。

ビーム形成部１７２は、図示では１つの加算器１７３により１チャネルの出力を行うが、２つ以上の加算器を備え、例えばステレオ出力のような各チャネルで異なる出力を行う構成であってもよい。また、加算器１７３の他に減算器を用いて、特に感度が低い方向である死角を特定方向に有する指向性を形成してもよいし、環境に適応して処理を変える適応ビームフォーミングを行ってもよい。また、音声信号の周波数帯域によって異なる処理を適用してもよい。

図２では、マイクロフォン素子１６１Ｌ，１６１Ｃ及び１６１Ｒを直線的に配置した例を示しているが、各マイクロフォン素子の配置は、これに限らない。例えば、三角形状に配置する場合であっても、フィルタＤ１〜Ｄ３の遅延期間及び重みを適宜調整して、マイク１６１の収音指向性を制御できる。また、ビーム形成部１７２は、収音指向性の制御に公知の手法を適用してもよい。例えば、ＯＺＯ Ａｕｄｉｏといった音声処理技術を用いて、指向性を形成する処理を行い、併せて音声の雑音を抑制する処理等を実行してもよい。

上記のようなビーム形成部１７２により設定可能なデジタルカメラ１００の収音エリアについて説明する。

〔１−１−２．収音エリアについて〕
図３は、デジタルカメラ１００において定義される収音エリアの例を示す。図３は、収音エリアを、デジタルカメラ１００を中心とする円の扇形領域によって例示しており、Ｘ，ＹおよびＺ軸は、それぞれデジタルカメラ１００の水平画角方向、垂直画角方向および光学系１１０におけるレンズの光軸方向に対応する。本実施形態のデジタルカメラ１００では、水平画角方向は、マイクロフォン素子１６１Ｒ，１６１Ｃおよび１６１Ｒが並ぶ方向と一致する。

図３（Ａ）は、角度範囲４０１（例えば７０°）において、デジタルカメラ１００の前方（すなわち撮影方向）に収音エリアを向ける「前方中心収音エリア」４１を示す。図３（Ｂ）は、角度範囲４０１において、デジタルカメラ１００の左方に収音エリアを向ける「左半分収音エリア」４２を示す。図３（Ｃ）は、角度範囲４０１において、デジタルカメラ１００の右方に収音エリアを向ける「右半分収音エリア」４３を示す。図３（Ｄ）は、角度範囲４０１より大きい角度範囲４０２（例えば１６０°）において、デジタルカメラ１００の前方に収音エリアを向ける「前方収音エリア」４４を示す。これらの収音エリアは、本実施形態における複数の所定エリアの一例であり、角度範囲４０１及び４０２は、第１の角度範囲及び第２の角度範囲の一例である。

本実施形態のデジタルカメラ１００は、被写体が撮像画像の中心部分に位置するとき、図３（Ａ）の前方中心収音エリア４１を用いる。また、被写体が撮像画像の左半分に位置するとき、図３（Ｂ）の左半分収音エリア４２を用い、被写体が撮像画像の右半分に位置するとき、図３（Ｃ）の右半分収音エリア４３を用いる。さらに、被写体が撮像画像の全体に位置するとき、主に図３（Ｄ）の前方収音エリア４４を用いる。

図５（Ｂ）の例では、収音対象の被写体Ｒ１及びＲ３が撮像画像の中心部分に位置するため、前方中心収音エリア４１が用いられる。図５（Ｃ）の例では、収音対象の被写体Ｒ１及びＲ２が撮像画像の左半分に位置するため、左半分収音エリア４２が用いられる。

デジタルカメラ１００のマイク１６１といった撮像装置の収音部において、マイクロフォン素子の数および配置は、素子の搭載スペース等の事情により制約を受ける。例えば、ユーザが複数の被写体について音声を記録したい撮影場面において、マイクロフォン素子数の制約により収音指向性を十分に狭められない場合がある。こうした場合でも、本実施形態のデジタルカメラ１００は、ユーザの撮影場面を想定して収音エリアを定義しておき、顔認識を用いて収音エリアを決定することで、ユーザの意図に沿った収音エリアを提供することができる。

〔１−２．動作〕
以上のように構成されるデジタルカメラ１００の動作について説明する。以下では、デジタルカメラ１００による動画撮影時の動作を説明する。

デジタルカメラ１００は順次、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成し、バッファメモリ１２５に記録する。また、画像処理エンジン１２０の顔認識部１２２は、撮像データが示す画像に基づき、被写体の領域を検出して、例えば検出情報をコントローラ１３５に出力する。

本実施形態のデジタルカメラ１００は、顔認識部１２２に入力された撮像画像において、画像認識処理により顔検出を行い、検出情報に基づいてオートフォーカス（ＡＦ）制御の対象とする被写体を特定する動作モードである顔認識モードを備える。

以上の撮像動作と同時並行で、デジタルカメラ１００は、マイク１６１において収音を行う。マイク用のＡ／Ｄコンバータ１６５から収音結果の音声データを音声処理エンジン１７０にて処理する。音声処理エンジン１７０は、処理後の音声データＡｏｕｔをバッファメモリ１２５に記録する。
コントローラ１３５は、バッファメモリ１２５を介して、画像処理エンジン１２０から受け付ける画像データと音声処理エンジン１７０から受け付ける音声データとの間で、同期を取って動画をメモリカード１４２に記録する。また、コントローラ１３５は逐次、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により随時、撮影の構図等を確認することができる。動画撮影の動作は、操作部１５０におけるユーザの操作に応じて開始／終了される。

以上のようなデジタルカメラ１００の動画撮影は、例えば撮影者とその同伴者など、仲間内で会話をする被写体のグループに注目して行われる場合がある。この場合、音声についても、当該被写体のグループの発声を明瞭に収音したいとのニーズが考えられる。

本実施形態のデジタルカメラ１００は、画像処理エンジン１２０における顔認識部１２２の検出情報によって被写体を検出し、フォーカス対象の被写体が決定されたときに、音声処理エンジン１７０において、当該被写体および撮影する空間で当該被写体の周囲にいる被写体について収音する音声を強調する処理を実行する。このように、画像処理エンジン１２０の顔認識と音声処理エンジン１７０の音声強調等とを連動させて、上記のような会話をする被写体のグループによる音声を強調した収音を精度良く実現する。

〔１−２−１．動作の概要〕
図４及び図５を用いて、本実施形態に係るデジタルカメラ１００の動作の概要を説明する。

図４は、本実施形態に係るデジタルカメラ１００の動作を例示するフローチャートである。図４のフローチャートに示す各処理は、例えばデジタルカメラ１００の動作モードが顔認識モードであるとき、動画の撮影中に所定の周期で繰り返し実行される。所定の周期は、例えば動画のフレーム周期である。図５は、本実施形態に係るデジタルカメラ１００の動作の概要を説明するための図である。

コントローラ１３５は、顔認識部１２２による検出情報に基づいてＡＦ対象を特定し、ＡＦ制御を実行する（Ｓ１）。ＡＦ対象は、ＡＦ制御の対象とする被写体の画像上の領域を示す。図５（Ａ）は、顔認識部１２２の検出情報において被写体が検出された領域を示す顔領域Ｒ１，Ｒ２及びＲ３を含む撮像画像Ｉｍを例示する。顔領域Ｒ１，Ｒ２及びＲ３は、本実施形態における被写体領域の一例である。例えば顔領域Ｒ１がＡＦ対象の顔領域６０として特定される。

次にコントローラ１３５は、ＡＦ対象として特定された顔領域が存在するか否かを判断する（Ｓ２）。具体的には、コントローラ１３５は、顔領域が検出されていて、かつＡＦ対象が顔領域であるか否かを判断する。

ＡＦ対象の顔領域６０がある場合（Ｓ２でＹＥＳ）、コントローラ１３５は、検出情報における被写体からマイク１６１の収音対象を選別する処理を実行する（Ｓ３）。収音対象は、マイク１６１により音声を強調して収音する対象とする被写体である。ＡＦ対象として特定された顔領域Ｒ１（６０）は、収音対象になる。図５（Ｂ）は、図５（Ａ）に示す検出情報に基づき、顔領域Ｒ１及びＲ３を収音対象に決定し、一方で顔領域Ｒ２を収音対象としない例を示す。

本実施形態のデジタルカメラ１００は、収音対象の選別処理（Ｓ３）において、ＡＦ対象の顔領域Ｒ１（６０）に加え、撮像画像Ｉｍにおいて顔領域Ｒ１と同程度の顔の大きさを示す顔Ｒ３を、更なる収音対象として決定する。一方で、顔領域Ｒ１と異なる大きさの顔領域Ｒ２は収音対象から外される。これにより、人物２１と人物２３がデジタルカメラ１００から同程度の距離にいて（すなわち、Ｚ軸方向の距離の差が小さい）、人物２２は異なる距離にいることを反映して、例えば仲間内で会話する被写体のグループを収音対象とすることができる。収音対象の選別処理（Ｓ３）についての詳細は後述する。

次に、コントローラ１３５は、決定した収音対象に基づいて、収音エリアを決定する処理を行う（Ｓ４）。収音エリアの決定処理（Ｓ４）は、決定した全ての収音対象を含む収音エリアを決定する。図５（Ｂ）の例において、収音エリアを収音対象の顔領域Ｒ１及びＲ３を含むように前方中心収音エリア４１（図３（Ａ））に決定されている。収音エリアの決定処理（Ｓ４）についての詳細は後述する。

次に、コントローラ１３５は、決定した収音対象及び収音エリアに基づいて、顔認識を用いて収音の制御を行う（Ｓ５）。顔認識を用いた収音制御（Ｓ５）は、コントローラ１３５が決定した収音対象、収音エリア及び収音ゲインを含む収音パラメータを、音声処理エンジン１７０に設定することによって行われる。音声処理エンジン１７０は、収音パラメータに応じた収音指向性及び収音ゲインを実現する。

一方、例えば顔認識モードの動作中に顔領域が検出されない等、ＡＦ対象の顔領域６０がない場合（Ｓ２でＮＯ）、コントローラ１３５は、顔認識を用いない収音制御（Ｓ６）を行う。顔認識を用いた、または用いない収音制御（Ｓ５，Ｓ６）についての詳細は後述する。

コントローラ１３５は、ステップＳ５またはＳ６の収音制御を実行後、ステップＳ１以降の処理を繰り返す。

以上の処理によると、本実施形態のデジタルカメラ１００は、顔認識により検出した被写体から収音対象を選別し、収音対象を全て含む収音エリアを決定して、顔認識を用いた収音制御を行う。これにより、例えば仲間内で会話をする被写体のグループについて、音声を強調して収音することができる。

なお、顔認識によるＡＦ制御（Ｓ１）において、検出情報に基づくＡＦ対象の特定は、例えば表示モニタ１３０に表示させたスルー画像上に顔領域を示す枠表示等を行い、操作部１５０によりユーザが枠表示を選択する操作を受けて実行することができる。

図５（Ｃ）は、図５（Ａ），（Ｂ）とは異なる位置に人物２１〜２３がいる場合の撮像画像Ｉｍの例を示す。デジタルカメラ１００は、図５（Ｂ）の例と同様に、まず、例えば顔領域Ｒ１をＡＦ対象の顔領域６０として特定し（Ｓ１）、収音対象に決定する。図５（Ｃ）の例において、収音対象の選別処理（Ｓ３）は、撮像画像Ｉｍ上で顔領域Ｒ１と同程度の顔の大きさである顔領域Ｒ２を収音対象に決定し、顔領域Ｒ３を収音対象から外す。収音エリアの決定処理（Ｓ４）は、収音対象として決定された顔領域Ｒ１及びＲ２を含む左半分収音エリア４２（図３（Ｂ））を収音エリアに決定する。顔認識を用いた収音制御（Ｓ５）は、左半分収音エリア４２に指向性を制御して人物２１及び２２の音声を明瞭に収音するように、収音パラメータを設定することによって行われる。

〔１−２−２．収音対象の選別処理〕
図４のステップＳ３における収音対象の選別処理の詳細を、図６〜７を用いて説明する。

図６は、デジタルカメラ１００の収音対象の選別処理（Ｓ３）を例示するフローチャートである。図６に示すフローチャートによる各処理は、図４のステップＳ１１でＹＥＳに進んだとき、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

図７は、デジタルカメラ１００における収音対象の選別処理（Ｓ３）を説明するための図である。以下では、図５（Ａ），（Ｂ）の例で収音対象を決定する動作について説明する。

図６のフローチャートにおいて、コントローラ１３５は、図４のステップＳ１において特定したＡＦ対象の顔領域に対応する被写体を収音対象に決定する（Ｓ１０）。このとき、コントローラ１３５は、顔認識部１２２から取得した検出情報に基づいて、ＡＦ対象の顔領域の大きさ（即ち顔幅Ｗ）を、他の被写体から収音対象を選別する基準に設定する。

図７（Ａ）は、図５（Ａ），（Ｂ）の例において収音対象が選別される場合を例示する。顔幅Ｗ１，Ｗ２，Ｗ３は、撮像画像Ｉｍにおける顔領域Ｒ１，Ｒ２，Ｒ３の大きさをＸ軸方向の幅で示す。図７（Ａ）の例において、コントローラ１３５は、ＡＦ対象の顔領域Ｒ１の顔幅Ｗ１を、基準の顔幅Ｗに設定する（Ｓ１０）。設定した顔幅Ｗは、例えばコントローラ１３５のＲＡＭ等に保持される。

次に、コントローラ１３５は、ＡＦ対象の他に検出された被写体があるか否かを判断する（Ｓ１１）。具体的には、コントローラ１３５は、顔認識部１２２の検出情報がＡＦ対象の顔領域の他に顔領域を含むか否かを判断する。

ＡＦ対象の他に検出された被写体がある場合（Ｓ１１でＹＥＳ）、コントローラ１３５は、収音対象の候補である収音候補として、一つの被写体ｉを選択する（Ｓ１２）。図７（Ａ）の例では、検出情報はＡＦ対象の顔領域Ｒ１の他の顔領域Ｒ２及びＲ３が、ステップＳ１２ごとに順次、収音候補の被写体ｉに対応付けて選択される。

コントローラ１３５は、選択した被写体ｉの顔幅Ｗｉと、基準の顔幅Ｗとを比較する演算を行う（Ｓ１３）。具体的には、コントローラ１３５は、基準の顔幅Ｗに対する被写体ｉの顔幅Ｗｉの割合Ｗｉ／Ｗを算出する。図７（Ａ）の例において、顔領域Ｒ２を収音候補とする選択時（Ｓ１２）には、その顔幅Ｗ２についての割合Ｗ２／Ｗが算出される（Ｓ１３）。

コントローラ１３５は、収音候補の顔幅Ｗｉと基準の顔幅Ｗ間の割合Ｗｉ／Ｗが、所定範囲内であるか否かを判断する（Ｓ１４）。所定範囲は、例えば収音候補の顔幅Ｗｉが相対的に基準の顔幅Ｗｉと同程度であるとみなす範囲を規定する観点から、「１」よりも大きい上限値と、「１」よりも小さい下限値で規定される。なお、所定範囲を設定するためのユーザインタフェースが提供されてもよく、例えばユーザが操作部１５０により設定した所定範囲がバッファメモリ１２５等に保持されてもよい。

コントローラ１３５は、顔幅の割合Ｗｉ／Ｗが所定範囲内であると判断すると（Ｓ１４でＹＥＳ）、被写体ｉを収音対象とすることを決定する（Ｓ１５）。

一方、コントローラ１３５は、顔幅の割合Ｗｉ／Ｗが所定範囲内でないと判断すると（Ｓ１４でＮＯ）、コントローラ１３５は、被写体ｉを収音対象としないことを決定する（Ｓ１６）。図７（Ａ）の例において、割合Ｗ２／Ｗは所定範囲の下限値を下回り、顔領域Ｒ２を収音対象としないことが決定される。

コントローラ１３５は、被写体ｉを収音対象とするか否かを決定すると（Ｓ１５またはＳ１６）、例えば被写体ｉについて決定した結果をバッファメモリ１２５に記録する（Ｓ１７）。次に、コントローラ１３５は、収音候補として選択済みの被写体とは他の被写体について、ステップＳ１１以降の処理を再び行う。

図７（Ａ）の例では、顔領域Ｒ２の他に顔領域Ｒ３が検出情報に含まれる（Ｓ１１でＹＥＳ）。コントローラ１３５は、顔領域Ｒ３に対応する被写体を選択する（Ｓ１２）と、顔領域Ｒ２の場合と同様に、基準の顔幅Ｗに対する顔幅Ｗ３の割合Ｗ３／Ｗを算出する（Ｓ１３）。図７（Ａ）の例では、割合Ｗ３／Ｗは「１」近傍に算出される。コントローラ１３５は、算出した顔幅の割合Ｗ３／Ｗが収音対象の所定範囲内であると判断して（Ｓ１４でＹＥＳ）、顔領域Ｒ３に対応する被写体を収音対象として決定する（Ｓ１５）。

コントローラ１３５は、収音候補として選択されていない被写体がなくなるまで（ステップＳ１１でＮＯ）、ステップＳ１１〜Ｓ１７の処理を繰り返す。その後、コントローラ１３５は、収音対象の選別処理（Ｓ３）を終了して、図４のステップＳ４に進む。

以上の処理によると、顔認識により検出した被写体について、ＡＦ対象として特定した顔領域Ｒ１を基準とする相対的な顔領域Ｒ２，Ｒ３の大きさ比較が行われる。これにより、相対的な顔領域Ｒ３の大きさがＡＦ対象の顔領域Ｒ１と同程度である被写体を選別して収音対象に決定することができる。

図７（Ｂ）は、図５（Ｃ）の例において収音対象が選別される場合を例示する。図７（Ｂ）の例において、顔領域Ｒ１は、図７（Ａ）の例と同様にＡＦ対象として特定されている。このことから、コントローラ１３５は、顔領域Ｒ１を収音対象に決定し、顔幅Ｗ１を基準の顔幅Ｗに設定する（Ｓ１０）。

図７（Ｂ）の例では、顔領域Ｒ２の顔幅Ｗ２は、基準の顔幅Ｗ（＝Ｗ１）と同程度の大きさである。一方、顔領域Ｒ３の顔幅Ｗ３は、他の顔幅Ｗ１及びＷ２と比較して大きい。本例において、コントローラ１３５は、割合Ｗ２／Ｗが所定範囲内であると判断して（Ｓ１４でＹＥＳ）、顔領域Ｒ２の被写体を収音対象として決定する（Ｓ１５）。一方、割合Ｗ３／Ｗが所定範囲の上限値を上回るため（Ｓ１４でＮＯ）、顔領域Ｒ３の被写体は収音対象としないことが決定される（Ｓ１６）。よって、本例の収音対象は、顔領域Ｒ１及びＲ２に対応する２つの被写体に決定される（図５（Ｃ）参照）。

図７（Ｃ）は、図５（Ｃ）と同様の撮影画像Ｉｍにおいて顔領域Ｒ３がＡＦ対象の顔領域６０として特定された（図４のＳ１）場合を例示する。コントローラ１３５は、顔領域Ｒ３を収音対象に決定し、顔幅Ｗ３を基準の顔幅Ｗに設定する（Ｓ１０）。図７（Ｃ）の例において、割合Ｗ２／Ｗ及びＷ１／Ｗが所定範囲の下限値を下回るため（Ｓ１４でＮＯ）、顔領域Ｒ１及びＲ２に対応する被写体を収音対象としないことが決定される（Ｓ１６）。よって、本例の収音対象は、顔領域Ｒ３に対応する１つの被写体に決定される。

以上のように、本実施形態のデジタルカメラ１００は、画像認識により検出した複数の被写体から、ＡＦ対象と同程度の大きさである被写体を収音対象として決定することで、後述するユーザの意図に沿った収音エリアの決定に利用することができる。

〔１−２−４．収音エリアの決定処理〕
図４のステップＳ４における収音エリアの決定処理の詳細を、図８〜９を用いて説明する。

図８は、本実施形態のデジタルカメラ１００における収音エリアの決定処理（Ｓ４）を例示するフローチャートである。図８に示すフローチャートによる各処理は、図４のステップＳ３を実行した後、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

図９は、デジタルカメラ１００における収音エリアの決定処理（Ｓ４）を説明するための図である。図９（Ａ），（Ｂ）は、それぞれ図７（Ａ），（Ｂ）の例に続いて、収音エリアを決定する場合を例示する。図９（C）は、図９（Ａ），（Ｂ）とは更に別の場合を例示する。図９（Ａ）〜（Ｃ）において、中心位置ｘ０は、Ｘ軸方向における撮像画像Ｉｍの中心の位置を示し、画像幅Ｗｈは、Ｘ軸方向における撮像画像Ｉｍの幅を示す。画像範囲は、撮像画像Ｉｍ上で中心位置ｘ０を基準に、Ｘ座標−ｘｈからｘｈの範囲ｘ０±ｘｈと規定される。Ｘ座標ｘｈは、ｘｈ＝Ｗｈ／２（＞０）で定義される。

図８のフローチャートにおいて、コントローラ１３５は、全ての収音対象について、顔領域の中心等の位置が撮像画像Ｉｍの中心範囲にあるか否かを判断する（Ｓ２０）。中心範囲は、撮像画像Ｉｍにおいて前方中心収音エリア４１に対応付けられる範囲である。

中心範囲は、例えば図９（Ａ）に示すように、撮像画像Ｉｍ上で中心位置ｘ０を基準に、Ｘ座標−ｘｅからｘｅの範囲ｘ０±ｘｅとして規定される。Ｘ座標ｘｅは、所定の画角θｅと、画像幅Ｗｈに対応する水平画角θｈとに基づき、例えばｘｅ＝ｘｈ×θｅ／θｈ（＞０）で定義される。所定の画角θｅは、例えば１人の人物を含める観点から予め設定され、例えば３０°等である。コントローラ１３５は、例えば光学系１１０のズームレンズのズーム倍率等から現在の水平画角θｈを取得して、中心範囲ｘ０±ｘｅを算出する。

水平画角θｈが大きい広角撮影においては、Ｘ座標ｘｅが小さくなり中心範囲ｘ０±ｘｅは狭い。一方、水平画角θｈが小さい望遠撮影においては、Ｘ座標ｘｅが大きくなり中心範囲ｘ０±ｘｅは広い。これにより、撮像する物理的な範囲と距離に対応した収音エリアの決定を実現しやすくすることができる。

全収音対象の顔領域の位置が中心範囲内にある場合（Ｓ２０でＹＥＳ）、コントローラ１３５は、収音エリアを前方中心収音エリア４１に決定する（Ｓ２１）。図９（Ａ）の例では、収音対象は顔領域Ｒ１及びＲ３に対応する。それぞれの顔領域Ｒ１及びＲ３の中心の位置ｘ１及びｘ３は、いずれもｘ０±ｘｅの範囲内にある（Ｓ２０でＹＥＳ）。よって、収音エリアが前方中心収音エリア４１に決定される（Ｓ２１，図５（Ｂ）参照）。

一方、少なくとも一つ以上の収音対象の顔領域の位置が中心範囲内にない場合（Ｓ２０でＮＯ）、前方中心収音エリア４１以外の収音エリアが用いられる。この場合、コントローラ１３５は、全ての収音対象について、例えば顔領域の位置が撮像画像Ｉｍにおける左右いずれか半分の範囲のみにあるか否かを判断する（Ｓ２２）。左半分の範囲はＸ軸方向の中心位置ｘ０よりもＸ座標が小さい範囲であり、右半分の範囲は中心位置ｘ０よりもＸ座標が大きい範囲である。

全ての収音対象について、顔領域の位置が撮像画像Ｉｍにおける左半分または右半分の範囲のみにある場合（Ｓ２２でＹＥＳ）、コントローラ１３５は、さらに全収音対象の顔領域の位置が撮像画像Ｉｍにおける左半分の範囲内であるか否かを判断する（Ｓ２３）。

全収音対象の顔領域の位置が撮像画像Ｉｍにおける左半分の範囲内である場合（Ｓ２３でＹＥＳ）、コントローラ１３５は、収音エリアを左半分収音エリア４２に決定する（Ｓ２４）。図９（Ｂ）の例では、収音対象は顔領域Ｒ１及びＲ２に対応する。顔領域Ｒ１の位置ｘ１及び顔領域Ｒ２の位置ｘ２が、Ｘ軸方向の中心位置ｘ０より左（すなわち、Ｘ座標が小さい）側にあるため（Ｓ２３でＹＥＳ）、収音エリアは左半分収音エリア４２に決定される（Ｓ２４，図５（Ｃ）参照）。

一方、全収音対象の顔領域の位置が撮像画像Ｉｍにおける右半分の範囲内であって、左半分の範囲内でない（Ｓ２３でＮＯ）、コントローラ１３５は、収音エリアを右半分収音エリア４３に決定する（Ｓ２５）。

また、全ての収音対象の顔領域の位置が、撮像画像Ｉｍにおける左右いずれか半分の範囲のみにはない場合（Ｓ２２でＮＯ）、コントローラ１３５は、収音エリアを前方収音エリア４４に決定する（Ｓ２６）。図３（Ｄ），（Ａ）に示すように、前方収音エリア４４は、前方中心収音エリア４１の角度範囲４０１より広い角度範囲４０２を有する。すなわち、前方収音エリア４４は、撮像画像ＩｍにおいてＸ軸方向に広い範囲に位置する収音対象の被写体を含む。

図９（Ｃ）の例では、収音対象は、顔領域Ｒ１，Ｒ２及びＲ３に対応する。顔領域Ｒ１〜Ｒ３の中心の位置ｘ１，ｘ２及びｘ３は、中心範囲ｘ０±ｘｅ外の位置ｘ１及びｘ２を含み（Ｓ２０でＮＯ）、且つ、左半分の範囲内の位置ｘ１と右半分の範囲内の位置ｘ２及びｘ３とを含む（Ｓ２２，Ｓ２３でＮＯ）。したがって、本例において収音エリアは、前方収音エリア４４に決定される（Ｓ２６）。

コントローラ１３５は、収音エリアを決定すると（Ｓ２１，Ｓ２４〜Ｓ２６）、決定した収音エリアをバッファメモリ１２５等に管理情報として記録する（Ｓ２７）。これにより、収音エリアの決定処理（Ｓ４）は終了し、図４のステップＳ５に進む。

以上の処理によると、収音対象として決定した被写体の撮像画像上での位置に応じて、予め定義した複数の収音エリアから、全ての収音対象を含むように収音エリアが決定される。これにより、動画撮影において、ユーザの意図に沿った収音対象の被写体を含むように、収音エリアを決定することができる。

図１１は、収音エリアの決定処理（Ｓ４）によって得られる管理情報を説明するための図である。図１１（Ａ）は、図７（Ａ）及び図９（Ａ）の例において、収音対象の選別処理（Ｓ３）及び収音エリアの決定処理（Ｓ４）を実行した段階で得られる管理情報を例示する。図１１（Ｂ）は、図７（Ｂ）及び図９（Ｂ）の例における管理情報を例示する。

管理情報は、例えば収音対象の選別処理（Ｓ３）によって決定される「収音対象」、収音エリアの決定処理（Ｓ４）によって決定される「収音エリア」、「水平画角」及び「合焦距離」を関連付けて管理する。なお、合焦距離は、例えば顔認識によるＡＦ制御（Ｓ１）を実行する際に取得される。例えば、コントローラ１３５は、合焦時における光学系１１０の各種レンズの位置或いは焦点距離に基づいて、対応する合焦距離を取得してもよい。また、デジタルカメラ１００は、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）技術または測距センサによる測定により、合焦距離を検出してもよい。

なお、本実施形態のデジタルカメラ１００は、前方中心収音エリアの判断（Ｓ２０）で用いる中心範囲の画角θｅを設定可能であり、例えばコントローラ１３５のＲＯＭ等に記録される。また、画角θｅを設定するためのユーザインタフェースが提供され、例えばユーザが操作部１５０により設定した値がバッファメモリ１２５等に保持されてもよい。

〔１−２−５．収音制御〕
（１）図４のステップＳ５について
図４のステップＳ５における顔認識を用いた収音制御の詳細を、図１０〜１２を用いて説明する。

収音パラメータ設定による収音制御において、本実施形態のデジタルカメラ１００は、例えばＡＦ対象の顔領域に対応する被写体について動画音声を強調するように、収音ゲインの設定を行う。収音ゲインは、例えば周波数フィルタ特性およびステレオセパレーション特性を有する。デジタルカメラ１００は、例えばデジタルカメラ１００が動画の撮影中に、ＡＦ対象の顔領域に合焦したときの水平画角及び合焦距離に基づき、収音ゲインを算出する。収音ゲインは、例えば算出される値が大きいほど人の声以外の周波数帯を抑制したりステレオ効果を制御したりして収音ズーム効果を生じさせるように規定される。

図１０は、顔認識を用いた収音制御（Ｓ５）を例示するフローチャートである。図１０のフローチャートに示す各処理は、図４のステップＳ４を実行した後、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

デジタルカメラ１００は、図１１に示す管理情報が保持された状態で、ステップＳ５の処理を開始する。

コントローラ１３５は、例えばバッファメモリ１２５から水平画角を取得して、水平画角に基づくゲインＧｈを算出する（Ｓ３０）。図１２（Ａ）は、水平画角からゲインＧｈを求める関係を例示する。図１２（Ａ）の例で、ゲインＧｈは、予め定めたゲインの最大値Ｇｍａｘと最小値Ｇｍｉｎの間で、水平画角が小さくなるほど増加する。これにより、ズーム等で水平画角が小さいほど収音時にゲインを大きくして、望遠側で撮影される被写体の音声を強調することができる。

コントローラ１３５は、ステップＳ３０と同様に合焦距離を取得して、合焦距離に基づくゲインＧｄを算出する（Ｓ３１）。図１２（Ｂ）は、合焦距離からゲインＧｄを求める関係を例示する。図１２（Ｂ）の例で、ゲインＧｄは、予め定めたゲインの最大値Ｇｍａｘと最小値Ｇｍｉｎの間で、合焦距離が大きくなるほど増加する。これにより、デジタルカメラ１００から遠い被写体に合焦するときほど収音時にゲインを大きくして、遠い被写体ほど音声を強調することができる。

コントローラ１３５は、算出した水平画角による収音ゲインＧｈと、合焦距離による収音ゲインＧｄと比較し、いずれか大きいゲインを収音ゲインＧとする（Ｓ３２）。これにより、例えば望遠の水平画角または遠い合焦距離で撮影を行うユーザの意図に沿って被写体の音声を強調するように、収音ゲインＧを算出することができる。

コントローラ１３５は、過去の所定回数（例えば５回）にわたり算出された収音ゲインＧ及び決定された収音エリアが、互いに同じであるか否かを判断する（Ｓ３３）。例えば収音ゲインＧは、図４のステップＳ１〜Ｓ５の実行周期における所定回数の範囲内で、算出される毎に上記の管理情報と共に記憶される。コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じであると判断した場合と（Ｓ３３でＹＥＳ）、ステップＳ３４に進む。

コントローラ１３５は、ステップＳ３の収音対象の選別処理により決定した収音対象と、ステップＳ４の収音エリアの決定処理により決定した収音エリアと、ステップＳ３２で算出した収音ゲインＧを、音声処理エンジン１７０に収音パラメータとして設定する（Ｓ３４）。音声処理エンジン１７０は、ビーム形成部１７２及びゲイン調整部１７４により、設定された収音パラメータに応じた収音エリア及び収音ゲインを実現する。

収音パラメータの設定（Ｓ３４）後、コントローラ１３５は、顔認識を用いた収音制御の処理（Ｓ５）を終了する。また、コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じでないと判断した場合（Ｓ３３でＮＯ）、ステップＳ３４の処理を行わずに図４のステップＳ５の処理を終了する。その後、図４のステップＳ１以降の処理が繰り返される。

以上の処理によると、算出した収音ゲインと、顔認識に基づいて決定された収音対象及び収音エリアを、収音パラメータに設定して、ＡＦ対象を含む収音対象の被写体の音声を明瞭に収音しやすくする収音エリア及び収音ゲインを実現することができる。

なお、ステップＳ３０とＳ３１の実行順序は、本フローチャートの順に限らず、例えばステップＳ３１でゲインＧｄを算出してから、ステップＳ３０でゲインＧｈを算出してもよく、またはステップＳ３０とＳ３１を並列に実行してもよい。

また、以上のステップＳ３３によると、収音エリア及び収音ゲインＧが所定回数（例えば５回）変化しない場合のみ、収音パラメータが設定する処理（Ｓ３４）が実行される。これにより、被写体の動きなどにより過度に頻繁に収音エリア及び収音ゲインＧが変更されることを防ぎ、顔認識を用いた収音制御（Ｓ５）をユーザの意図に沿って精度よく実現することができる。

（２）図４のステップＳ６について
図４のステップＳ６における顔認識を用いない収音制御（Ｓ６）の詳細を、図１３を用いて説明する。

図１３は、顔認識を用いない収音制御（Ｓ６）を例示するフローチャートである。図１３のフローチャートに示す各処理は、顔領域が検出されない等、図４のステップＳ２においてＡＦ対象の顔領域がない（Ｓ２でＮＯ）場合に、例えばデジタルカメラ１００のコントローラ１３５によって実行される。

まず、コントローラ１３５は、収音エリアを、例えば前方収音エリア４４に決定する（Ｓ４０）。

次に、コントローラ１３５は、水平画角に基づくゲインＧｈをステップＳ３０と同様に算出して、収音ゲインＧとする（Ｓ４１）。さらに、コントローラ１３５は、ステップＳ３３と同様に、過去の所定回数にわたり算出された収音ゲインＧ及び決定された収音エリアが、互いに同じであるか否かを判断する（Ｓ４２）。

コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じであると判断した場合（Ｓ４２でＹＥＳ）、収音エリアと収音ゲインＧを収音パラメータに設定し（Ｓ４３）、顔認識を用いない収音制御（Ｓ６）を終了する。また、コントローラ１３５は、過去の所定回数の収音ゲインＧおよび収音エリアが同じでないと判断した場合（Ｓ４２でＮＯ）、ステップＳ４３の処理を行わずに図４のステップＳ６を終了する。ステップＳ６の終了後、ステップＳ１以降の処理が繰り返される。

以上の処理によると、ＡＦ対象の顔領域がない場合でも、デジタルカメラ１００の前方における広い範囲の音声を収音するように、また、ズーム等で水平画角が小さいほど収音ゲインを大きくするようにして、撮像される範囲の音声を明瞭に収音しやすくすることができる。

なお、デジタルカメラ１００の動作モードに応じて、デジタルカメラ１００の周囲３６０°の角度範囲を有する全体収音エリアが定義され、ステップＳ４０において全体収音エリアに決定されてもよい。このとき、例えば全体収音エリアのみが収音パラメータに設定されてもよい。

〔１−３．効果等〕
以上のように、実施の形態１のデジタルカメラ１００は、撮像部の一例としてイメージセンサ１１５と、音声取得部の一例としてマイク用のＡ／Ｄコンバータ１６５と、検出部の一例として顔認識部１２２と、制御部の一例としてコントローラ１３５とを備える。イメージセンサ１１５は、被写体を撮像して画像データを生成する。マイク用のＡ／Ｄコンバータ１６５は、イメージセンサ１１５による撮像中に収音される音声を示す音声信号を取得する。顔認識部１２２は、イメージセンサ１１５によって生成された画像データにおいて、被写体に対応する被写体領域の一例として顔領域Ｒ１，Ｒ２及びＲ３を検出する。コントローラ１３５は、音声信号において被写体からの音声を収音する収音エリアを制御する。コントローラ１３５は、顔認識部１２２によって検出された被写体領域、すなわち顔領域Ｒ１〜Ｒ３の大きさである顔幅Ｗ１，Ｗ２及びＷ３に応じて、音声信号における収音対象とする被写体を決定し（Ｓ３）、収音対象に決定した被写体を含めるように、収音エリアを制御する（Ｓ４〜Ｓ５）。

以上のデジタルカメラ１００によると、顔認識部１２２によって検出された被写体領域の大きさに応じて、収音対象の被写体を決定し、収音対象の被写体を含めるように収音エリアを制御した音声信号が得られる。これにより、収音対象の被写体による音声を明瞭に得やすくすることができる。

本実施形態において、顔認識部１２２によって複数の被写体領域が検出されたとき、コントローラ１３５は、複数の被写体領域のうちの特定の被写体領域の大きさと、他の被写体領域の大きさとを比較して、比較結果に基づき各々の被写体領域に対応する被写体を収音対象とするか否かを決定する（Ｓ３）。特定の被写体領域は、例えばＡＦ対象の顔領域６０のように、ＡＦ制御の対象とする被写体領域である。これにより、複数の被写体から、特定の被写体領域の大きさを基準として、収音対象とする被写体と、収音対象としない被写体とを選別することができる。

本実施形態において、コントローラ１３５は、複数の被写体領域のうちの一の被写体領域の大きさが、特定の被写体領域の大きさ（例えば顔幅Ｗ）を基準とする所定範囲内である場合に、当該一の被写体領域に対応する被写体を収音対象とすることを決定する（Ｓ１５）。コントローラ１３５は、一の被写体領域の大きさが、所定範囲内ではない場合に、当該一の被写体領域に対応する被写体を収音対象としないことを決定する（Ｓ１６）。

例えば、図７（Ａ）の例における顔領域Ｒ３を一の被写体領域とする場合の大きさである顔幅Ｗ３は、特定の被写体領域すなわちＡＦ対象の顔領域６０の大きさである顔幅Ｗ（＝Ｗ１）を基準とする所定範囲内であり、当該顔領域Ｒ３に対応する被写体を収音対象とすることが決定される（Ｓ１５）。一方、同例における顔領域Ｒ２を一の被写体領域とする場合の大きさである顔幅Ｗ２は、所定範囲内ではなく、当該顔領域Ｒ２に対応する被写体を収音対象としないことが決定される（Ｓ１６）。このように、複数の被写体から、被写体領域の大きさに応じて、収音対象とする被写体と、収音対象としない被写体との選別を実現することができる。

本実施形態において、コントローラ１３５は、収音対象に決定した被写体を含めるように、複数の所定エリアの中で収音エリアを切り替える（Ｓ２０〜Ｓ２６）。これにより、被写体ごとの音声を明瞭に得るように収音指向性の幅を制御することが困難な場合においても、収音エリアに含まれる収音対象の被写体の音声を明瞭に得やすくすることができる。

本実施形態において、複数の所定エリアは、第１の角度範囲４０１においてデジタルカメラ１００の前方に向いた収音エリアの一例として前方中心収音エリア４１と、左方に向いた収音エリアの一例として左半分収音エリア４２と、右方に向いた収音エリアの一例として右半分収音エリア４３と、第１の角度範囲４０１よりも大きい第２の角度範囲４０２を有する収音エリアの一例として前方収音エリア４４とを含む。なお、複数の所定エリアは、これらの収音エリアに限らず、第２の角度範囲４０２よりも大きい角度範囲を有する全体収音エリアを含んでもよい。

本実施形態において、コントローラ１３５は、撮像における合焦距離および画角の少なくとも一方に基づいて、音声信号が示す音声を強調するゲインを制御する（図１２参照）。本実施形態における画角は、例えば撮像画像Ｉｍの画像幅Ｗｈに対応する水平画角θｈである。これにより、例えばデジタルカメラ１００による広角または望遠での撮影に応じてゲインを制御し、音声を強調することができる。

本実施形態において、顔認識部１２２は、被写体領域として画像データにおける人の顔領域Ｒ１〜Ｒ３を検出する。なお、被写体領域は、人の顔領域に限らず、例えば動物の顔領域が検出されてもよい。また、被写体領域の大きさは、顔幅に限らず、例えば撮像画像Ｉｍにおける顔領域Ｒ１〜Ｒ３のＹ軸方向の幅、または顔領域Ｒ１〜Ｒ３の面積であってもよい。

本実施形態において、デジタルカメラ１００は、収音部の一例としてマイク１６１をさらに備える。Ａ／Ｄコンバータ１６５は、マイク１６１の収音結果を示す音声信号を取得する。なお、Ａ／Ｄコンバータ１６５は、マイク１６１に限らず、デジタルカメラ１００の外部にあるマイクから音声信号を取得してもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施の形態１では、図４のフローチャートにおいて、デジタルカメラ１００が内蔵するマイク１６１について、顔認識を用いた又は用いない収音制御（Ｓ５又はＳ６）を行う動作例を説明した。本実施形態のデジタルカメラ１００は、内蔵のマイク１６１に代えて、マイク１６１ａを備える。マイク１６１ａは、デジタルカメラ１００の外部にあるマイクロフォン素子を含み、３つ以上のマイクロフォン素子を備える。本実施形態では、マイク１６１ａについて、実施の形態１と同様にステップＳ５又はＳ６を実行する。この場合においても、実施の形態１と同様に決定した収音対象及び／または収音エリアに応じて、被写体の音声を明瞭に得やすくすることができる。

また、上記の実施の形態１では、図１０のフローチャートにおいて、デジタルカメラ１００の撮像範囲に対応する水平画角に基づき、ゲインＧｈを算出（Ｓ３０）する動作例を説明した。この場合の水平画角は、図８のフローチャートにおける前方中心収音エリアの判定（Ｓ２０）に用いる水平画角θｈと同一である。本実施形態において、ゲインＧｈの算出に、ステップＳ２０における水平画角θｈと異なる用いる水平画角を用いてもよい。例えば、撮像画像上で全ての収音対象の被写体を含むＸ軸方向の幅に対応する角度範囲を、ステップＳ３０における水平画角とする。これにより、収音対象が映る画角に応じて、遠くの被写体の声をより明瞭に収音するように、ゲインＧｈを算出することができる。

また、上記の実施の形態１では、顔認識部１２２が人の顔を検出した。本実施形態において、顔認識部１２２は、例えば動物の顔を検出してもよい。動物の顔は、動物の種別によって大きさが多様であることが考えられる。この場合でも、例えば収音対象を選別するための所定範囲（Ｓ１４参照）を拡大することにより、実施の形態１と同様に収音対象を選別することができる。さらに、顔認識部１２２が動物の種別ごとに顔を検出し、種別に応じてステップＳ１４における所定範囲を設定してもよい。

また、上記の各実施形態において、顔認識部１２２を備えるデジタルカメラ１００を説明した。本実施形態において、顔認識部１２２は、外部サーバに設けられてもよい。この場合、デジタルカメラ１００は、通信モジュール１５５を介して、外部サーバに撮像画像の画像データを送信し、外部サーバから顔認識部１２２による処理結果の検出情報を受信してもよい。このようなデジタルカメラ１００においては、通信モジュール１５５が検出部として機能する。

また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、音声を取得しながら撮像を行う撮像装置に適用可能である。

１００ デジタルカメラ
１１５ イメージセンサ
１２０ 画像処理エンジン
１２２ 顔認識部
１２５ バッファメモリ
１３０ 表示モニタ
１３５ コントローラ
１４５ フラッシュメモリ
１５０ 操作部

Claims (5)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記撮像部による撮像中に収音される音声を示す音声信号を取得する音声取得部と、
   前記画像データにおいて前記被写体に対応する被写体領域を検出する検出部と、
   前記音声信号において前記被写体からの音声を収音する収音エリアを制御する制御部とを備え、
   前記検出部によって、複数の被写体領域が検出されたとき、
   前記制御部は、
   前記複数の被写体領域のうちの一の被写体領域の大きさが、特定の被写体領域の大きさを基準とする所定範囲内である場合に、当該一の被写体領域に対応する被写体を前記音声信号における収音対象とすることを決定し、
   前記一の被写体領域の大きさが、前記所定範囲内ではない場合に、当該一の被写体領域に対応する被写体を前記収音対象としないことを決定する
   撮像装置。
2. 前記制御部は、前記収音対象に決定した被写体を含めるように、複数の所定エリアの中で前記収音エリアを切り替える
   請求項１に記載の撮像装置。
3. 前記制御部は、前記撮像における合焦距離および画角の内の少なくとも一方に基づいて、前記音声信号が示す音声を強調するゲインを制御する
   請求項１又は２に記載の撮像装置。
4. 前記検出部は、前記被写体領域として前記画像データにおける人の顔領域を検出する
   請求項１又は２に記載の撮像装置。
5. 音声を収音する収音部をさらに備え、
   前記音声取得部は、前記収音部の収音結果を示す音声信号を取得する
   請求項１又は２に記載の撮像装置。

Images