JPWO2020080037A1

JPWO2020080037A1 - 撮像装置

Info

Publication number: JPWO2020080037A1
Application number: JP2020521615A
Authority: JP
Inventors: 充義岡本
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-10-18
Filing date: 2019-09-20
Publication date: 2021-02-15
Anticipated expiration: 2039-09-20
Also published as: US11431893B2; JP7113364B2; US20210321034A1; WO2020080037A1

Abstract

撮像装置は、撮像部と、表示部と、第１及び第２の検出部と、制御部とを備える。撮像部は、被写体を撮像して撮像画像を生成する。表示部は、撮像画像を表示する。第１の検出部は、被写体が人の場合、人の少なくとも一部を検出する。第２の検出部は、被写体が動物の場合、動物の少なくとも一部を検出する。制御部は、表示部を制御して、撮像画像上に、人に応じた第１検出枠、及び動物に応じた第２検出枠を表示させる。制御部は、第１検出枠と第２検出枠とが、被写体のうちの主要被写体に応じた第３検出枠ではない場合に共通の表示態様において表示されるように、表示部を制御する。

Description

本開示は、人と動物を検出する機能を有する撮像装置に関する。

特許文献１は、動物の顔画像に注目したＡＦ処理等のペット撮像タスクを実行する電子カメラを開示している。特許文献１の電子カメラは、ペット撮像モードが選択されると、ペット撮像タスクと並列して人顔検出タスクを実行し、人顔検出タスクの完了後にペット顔検出タスクを実行する。人顔検出タスクにおいて人物の顔画像が発見されると、人物の顔画像を囲う顔枠キャラクタが電子カメラのＬＣＤモニタに表示され、その後のペット顔検出タスクは、人物の顔画像に対応する一部の動物顔辞書を参照して実行される。これにより、動物の顔画像の探索に要する時間を短縮して、撮像性能を向上する目的が達成されている。

特開２０１１−２３９１２０号公報

本開示は、人と動物を検出する撮像装置において、ユーザの不快感を生じる可能性を低減することができる撮像装置を提供する。

本開示に係る撮像装置は、撮像部と、表示部と、第１の検出部と、第２の検出部と、制御部とを備える。撮像部は、被写体を撮像して撮像画像を生成する。表示部は、撮像画像を表示する。第１の検出部は、被写体が人の場合、人の少なくとも一部を検出する。第２の検出部は、被写体が動物の場合、動物の少なくとも一部を検出する。制御部は、表示部を制御して、撮像画像上に、人に応じた第１検出枠、及び動物に応じた第２検出枠を表示させる。制御部は、第１検出枠と第２検出枠とが、被写体のうちの主要被写体に応じた第３検出枠ではない場合に共通の表示態様において表示されるように、表示部を制御する。

本開示に係る撮像装置によると、主要被写体以外の人に応じた第１検出枠と動物に応じた第２検出枠とが区別なく表示されることにより、人と動物を検出する撮像装置において、ユーザの不快感を生じる可能性を低減することができる。

本開示の実施の形態１に係るデジタルカメラの構成を示す図デジタルカメラにおける画像認識部を説明するための図デジタルカメラの動作の概要を説明するための図デジタルカメラにおけるモード設定画面の表示例を示す図デジタルカメラにおけるモード設定の処理を説明するためのフローチャートデジタルカメラによる人検出モードの動作を例示するフローチャートデジタルカメラによる人検出モードの動作を説明するための図デジタルカメラによる人／動物検出モードの動作を例示するフローチャートデジタルカメラにおける動物体枠と動物顔枠を説明するための図デジタルカメラにおける人検出枠と動物検出枠の表示例を示す図人／動物検出モードにおける優先表示を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術に基づき人と動物を検出する機能を有するデジタルカメラについて説明する。このような検出機能においては、人を動物と間違う誤検出が生じたときに、ユーザに不快感を与える事態が懸念される。そこで、本実施形態では、上記の検出機能における誤検出が、ユーザの不快感を生じる可能性を低減できるデジタルカメラを提供する。

〔１−１．構成〕
実施の形態１に係るデジタルカメラの構成について、図１を用いて説明する。

図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人と動物の検出機能を実現する画像認識部１２２を含む。画像認識部１２２の詳細については後述する。

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。又、表示部は、表示モニタ１３０に限らず、例えばＥＶＦ（電子ビューファインダ）であってもよい。

操作部１５０は、デジタルカメラ１００の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズ釦、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。

コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ−Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信デットワークに接続可能であってもよい。

〔１−１−１．画像認識部について〕
本実施形態における画像認識部１２２の詳細を、図２を用いて説明する。

図２は、デジタルカメラ１００における画像認識部１２２を説明するための図である。画像認識部１２２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用する。画像認識部１２２は、イメージセンサ１１５の撮像画像Ｉｍを示す情報を学習済みモデルに入力して、当該モデルによる画像認識処理を実行する。画像認識部１２２は、画像認識処理による人と動物の検出結果を示す人検出情報Ｄ１を出力する第１検出器１２２ａおよび動物検出情報Ｄ２を出力する第２検出器１２２ｂとして機能する。画像認識部１２２は、本実施形態における第１及び第２の検出部の一例である。

画像認識部１２２の画像認識処理は、例えば学習済みモデルに入力された画像Ｉｍにおいて、予め設定された複数のカテゴリの何れかに分類される被写体が映っている領域を示す位置情報を、各カテゴリに対応付けて出力することにより、各検出情報Ｄ１，Ｄ２を生成する。複数のカテゴリは、例えば、人の体、顔および瞳といった人の各部、並びに動物の体、顔および瞳といった動物の各部を含む。人検出情報は人の各部の検出結果に対応する位置情報を含み、動物検出情報は動物の各部の検出結果に対応する位置情報を含む。位置情報は、例えば処理対象の画像Ｉｍ上の水平位置及び垂直位置で規定され、例えば検出された各部を矩形状に囲む領域を示す（図３参照）。

画像認識部１２２は、各カテゴリについて、予め設定された最大の個数までの被写体を同時に検出することができる。また、上記の動物のカテゴリは、さらに、動物の種類に応じて分類されてもよい。例えば、犬、猫および鳥などのカテゴリが別々に設定されてもよいし、犬と猫を１つにまとめたカテゴリが設定されてもよい。

以上のような画像認識部１２２の学習済みモデルは、例えば、各カテゴリの被写体が映った画像を正解とする正解ラベルと画像中の被写体の位置情報等を関連付けた画像データを教師データとして用いた教師あり学習によって得ることができる。学習済みモデルは、各カテゴリの検出結果に関する信頼度或いは尤度を生成してもよい。第１検出器１２２ａと第２検出器１２２ｂとは、一部又は全てが共通の学習済みモデルを適用してもよいし、別々の学習済みモデルを適用してもよい。

画像認識部１２２の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。また、画像認識部１２２は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。また、画像認識部１２２は、例えば人の顔および瞳などの一部のカテゴリに対する検出がルールベースの画像認識処理によって行われるように構成されてもよい。画像認識部１２２は、例えばＤＳＰ等で構成されてもよい。また、画像認識部１２２は、画像処理エンジン１２０とは別に構成されてもよく、コントローラ１３５と一体的に構成されてもよい。

〔１−２．動作〕
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。

デジタルカメラ１００は、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成する。コントローラ１３５は、例えば静止画像の撮像動作において、画像処理エンジン１２０にて生成された画像データをカードスロット１４０に装着されたメモリカード１４２に記録する。

また、デジタルカメラ１００は、スルー画像の撮像動作において、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により、静止画像の撮像のための構図を確認することができる。コントローラ１３５は、例えばユーザによるレリーズボタンの操作に応じて、光学系１１０のフォーカスレンズを駆動するレンズ駆動部１１２を制御する合焦動作を行う。

以上のような撮像動作時に、本実施形態のデジタルカメラ１００は、例えば合焦の対象とする主要被写体を特定するために、スルー画像等の撮像画像Ｉｍに対する画像認識を行って人および動物を検出する。図３（Ａ），（Ｂ）を用いて、本実施形態に係るデジタルカメラ１００の動作の概要を説明する。

図３（Ａ）は、デジタルカメラ１００の被写体として人２１〜２３と動物２０が検出された状態の一例を示す。図３（Ｂ）は、図３（Ａ）の例における表示モニタ１３０の表示例を示す。

本実施形態のデジタルカメラ１００は、イメージセンサ１１５の撮像画像Ｉｍに対する画像認識部１２２の画像認識処理により、人検出枠３０および動物検出枠４０を認識し、表示モニタ１３０のスルー画像上に各検出枠３０，４０を表示させる。人検出枠３０は、画像認識部１２２の検出結果における人検出情報Ｄ１において検出された人の各部に応じた画像上の領域を示す。動物検出枠４０は、動物検出情報Ｄ２において検出された動物の各部に応じた画像上の領域を示す。本実施形態において、人検出枠３０は第１検出枠の一例であり、動物検出枠４０は第２検出枠の一例である。

図３（Ａ）は、人２１〜２３と動物２０が映った撮像画像Ｉｍにおいて、人検出枠３０，３１及び動物検出枠４０，４１が認識された状態を例示している。各検出枠３０，３１，４０，４１は、例えば矩形状に、対応する被写体２１，２３，２０，２２の領域を囲んでいる。人検出枠３０，３１及び動物検出枠４０，４１は、特に矩形状に限らず、種々の多角形状、円状或いは楕円状等の種々の形状に設定されてもよい。

各検出枠３０〜４１が表示されることにより、ユーザはデジタルカメラ１００に認識された被写体２０〜２３を把握したり、認識された被写体２０〜２３の中からオートフォーカス（ＡＦ）の対象とする主要被写体を、各々の検出枠３０〜４１を用いて指定したりすることができる。例えば、図３（Ａ），（Ｂ）の例の主要被写体は、図中右側の人２３であり、対応する人検出枠３１がＡＦ対象の検出枠５０として表示されている。ＡＦ対象の検出枠５０は、本実施形態における第３検出枠の一例である。

ここで、図３（Ａ）では、主要被写体とは別の人２２が、誤って動物として検出された例を示している。このような誤検出により、動物検出枠４１が人２２を囲んでいる。このような場合に、人検出枠３０，３１と動物検出枠４０，４１とがそのまま区別して表示されると、人２２を動物と間違えた誤検出をユーザに視認させてしまい、ユーザの不快感を招くことが懸念される。

そこで、本実施形態のデジタルカメラ１００は、表示モニタ１３０に各検出枠３０〜４１を表示する際に、人の検出結果と動物の検出結果とを区別しない表示態様を用いる。例えば、図３（Ｂ）の表示例では、ＡＦ対象の検出枠５０以外の人検出枠３０と動物検出枠４０，４１とが、同じ色、線種、線幅、及び枠形状となっている。このため、人２２の誤検出による動物検出枠４１は、人検出枠３０と同じように表示される。このように、人２２を動物と間違えた誤検出がユーザに視認されないようにして、ユーザの不快感を回避することができる。

〔１−２−１．モード設定について〕
本実施形態のデジタルカメラ１００は、以上のような人の検出及び動物の検出を行う人／動物検出モードと、動物の検出を行わずに人の検出を行う人検出モードとに設定可能である一方、人の検出を行なわずに動物の検出を行うような動作モード（以下「動物検出モード」という）には、設定不可能に構成される。本実施形態のデジタルカメラ１００におけるモード設定について、図４，５を用いて説明する。

図４は、本実施形態のデジタルカメラ１００におけるモード設定画面の表示例を示す。図４（Ａ）は、人検出モードが設定された場合の表示例であり、図４（Ｂ）は、人／動物検出モードが設定された場合の表示例である。図５は、デジタルカメラ１００におけるモード設定の処理を説明するためのフローチャートである。

本実施形態のデジタルカメラ１００では、例えば合焦動作のために被写体を自動認識する動作モードとして、人検出モードおよび人／動物検出モードが設定可能である。図４（Ａ），（Ｂ）の例において、表示モニタ１３０は、オートフォーカスのモード設定画面において、動物認識キー６０を表示している。動物認識キー６０は、デジタルカメラ１００の画像認識において動物の検出を実行するか否かを決定するためのキーである。

本実施形態のデジタルカメラ１００において、コントローラ１３５は、操作部１５０を介して動物認識キー６０の操作を受け付けて、図５に示す処理を実行する。動物認識キー６０がオフに操作されると（Ｓ１でＮＯ）、コントローラ１３５は、デジタルカメラ１００を人検出モードに設定する（Ｓ２）。図４（Ａ）では、人検出モードに設定された状態を示す人検出アイコン６１が表示されている。本実施形態の人検出モードにおいて、デジタルカメラ１００は、人の体、顔、及び瞳の検出を実行する。人検出モードの動作については後述する。

一方、動物認識キー６０がオンに操作されると（Ｓ１でＹＥＳ）、コントローラ１３５は、デジタルカメラ１００を人／動物検出モードに設定する（Ｓ３）。図４（Ｂ）では、人／動物検出モードに設定された状態を示す人／動物検出アイコン６２が表示されている。本実施形態の人／動物検出モードにおいて、デジタルカメラ１００は、人検出モードにおける人の各部の検出に加えて、動物の各部の検出を実行する。人／動物検出モードの動作については後述する。

以上のように、本実施形態のデジタルカメラ１００は、人検出モード（第１検出モードの一例）と人／動物検出モード（第２検出モードの一例）とを有する一方、人の検出を伴わない動物検出モード（第３検出モードの一例）を有していない。

例えば動物検出モードを有するカメラにおいては、動物検出モードに設定した状態で人が検出されることが、人を動物と間違う誤検出以外にあり得ないこととなる。この場合、上記の誤検出が生じたときに、誤検出をユーザに気付かせないようにすることが困難である。これに対して、本実施形態のデジタルカメラ１００は、動物検出モードを有しておらず、動物の検出が行われる動作モードは人の検出を伴う人／動物検出モードとなるため、人を動物と間違う誤検出が生じたとしても、誤検出をユーザに気付かせないようにすることが可能となる。

なお、本実施形態のデジタルカメラ１００は、被写体の自動認識を行わない動作モード、即ち人の検出も動物の検出も行わない動作モードを有してもよい。例えば、デジタルカメラ１００は、予め設定された撮像画像Ｉｍ上の位置についてオートフォーカスを行う各種動作モードを有してもよい。

〔１−２−２．人検出モードの動作〕
本実施形態の人検出モードの動作について、図６〜７を用いて説明する。

図６は、デジタルカメラ１００による人検出モードの動作を例示するフローチャートである。図６のフローチャートは、デジタルカメラ１００が人検出モードに設定された場合に実行される（図４（Ａ）参照）。本フローチャートにおける各処理は、デジタルカメラ１００のコントローラ１３５によって実行される。

まず、コントローラ１３５は、画像認識部１２２から人検出情報Ｄ１を取得する（Ｓ１０）。画像認識部１２２は、例えば撮像画像Ｉｍのフレーム周期などの所定の周期で画像認識処理を実行し、人検出情報Ｄ１を生成する。これと同時に、画像認識部１２２は、動物検出情報Ｄ２を生成してもよい。

コントローラ１３５は、取得した人検出情報Ｄ１に基づいて、表示モニタ１３０に表示する候補となる表示候補の検出枠があるか否かを判断する（Ｓ１１）。本実施形態において、人検出情報Ｄ１は、人の体、顔および瞳が検出された領域を示す位置情報を含んでいる。表示候補の検出枠の一例を図７（Ａ）に示す。

図７（Ａ）の例では、撮像画像Ｉｍ上で人の体の領域を囲む人体枠３０１、及び人の顔の領域を囲む人顔枠３０２が、表示候補として認識されている。各枠３０１，３０２の位置及びサイズは、それぞれ取得された人検出情報Ｄ１に応じて設定される。コントローラ１３５は、取得した人検出情報Ｄ１に基づき人体枠３０１及び人顔枠３０２を認識し、表示候補としてバッファメモリ１２５等に保持する。人体枠３０１及び人顔枠３０２は、それぞれ人検出枠３０を構成する第１枠及び第２枠の一例である。

なお、画像認識部１２２からの人検出情報Ｄ１において人検出枠３０が認識されなかったとき、コントローラ１３５は、表示候補の検出枠がないと判断して（Ｓ１１でＮＯ）、ステップＳ１０に戻る。

表示候補の検出枠がある場合（Ｓ１１でＹＥＳ）、コントローラ１３５は、認識した人顔枠３０２が囲む領域と人体枠３０１が囲む領域とが重なっているか否かを判断する（Ｓ１２）。例えば図７（Ａ）の場合、人顔枠３０２が人体枠３０１内部の領域に包含されるように重なっていることから、コントローラ１３５は、ステップＳ１２において「ＹＥＳ」に進む。

人顔枠３０２の領域と人体枠３０１の領域とが重なっている場合（Ｓ１２でＹＥＳ）、コントローラ１３５は、重なった人体枠３０１を、表示候補から削除する（Ｓ１３）。この場合、人体枠３０１は表示されずに、人顔枠３０２が優先して表示される（図７（Ｂ）参照）。一方、人顔枠３０２の領域と人体枠３０１の領域とが重なっていない場合（Ｓ１２でＮＯ）、コントローラ１３５は、特にステップＳ１３の処理を行わずにステップＳ１４に進む。

次に、コントローラ１３５は、表示候補の検出枠が１つか否かを判断する（Ｓ１４）。表示候補の検出枠が１つの場合（Ｓ１４でＹＥＳ）、コントローラ１３５は、当該検出枠を、ＡＦ対象の表示態様において表示するように、表示モニタ１３０を制御する（Ｓ１５）。この場合の表示態様は、例えば図３（Ｂ）におけるＡＦ対象の検出枠５０の表示態様と同様である。

一方、表示候補として複数の検出枠がある場合（Ｓ１４でＮＯ）、コントローラ１３５は、複数の検出枠の中からＡＦ対象として１つの検出枠を選択する（Ｓ１６）。ステップＳ１６の選択は、ユーザの操作に従ってもよいし、ランダムであってもよいし、所定の優先順位を用いてもよい。優先順位は、人体枠３０１よりも人顔枠３０２を優先するように設定されてもよい。

次に、コントローラ１３５は、選択した検出枠をＡＦ対象の表示態様において表示させると共に、他の検出枠をＡＦ対象とは別の表示態様において表示させる（Ｓ１７）。ＡＦ対象ではない検出枠が同時に表示される個数には適宜、上限が設定されてもよい。

また、コントローラ１３５は、例えばステップＳ１０で取得した人検出情報Ｄ１に基づいて、ＡＦ対象の検出枠５０内部の領域において、瞳が検出されたか否かを判断する（Ｓ１８）。コントローラ１３５は、瞳が検出されたと判断すると（Ｓ１８でＹＥＳ）、検出された瞳の位置に応じて、瞳の検出結果を示す情報５１を追加して表示するように表示モニタ１３０を制御する（Ｓ１９）。図７（Ｂ）に、ステップＳ１９の表示例を例示する。

また、コントローラ１３５は、瞳が検出されていないと判断すると（Ｓ１８でＮＯ）、特にステップＳ１９の追加表示をせずに、ステップＳ１０に戻る。コントローラ１３５は、以上のステップＳ１０〜Ｓ１９の処理を周期的に繰り返し実行する。

以上の人検出モードの動作によると、画像認識部１２２の人検出情報Ｄ１に基づいて人を検出する一方、動物の検出は特に行われない。人検出枠３０が表示モニタ１３０に表示されることにより、ユーザは、デジタルカメラ１００に認識された人を把握することができる。また、デジタルカメラ１００は、例えばＡＦ対象の検出枠５０中のコントラスト評価値等を用いることにより、主要被写体に合焦する合焦動作を行うことができる。

なお、人検出モードにおいて動物を囲む検出枠が表示された場合、デジタルカメラ１００が動物を人と間違う誤検出を生じたと考えられるが、このような誤検出がユーザに視認されることは、許容されてもよい。この場合であっても、人検出モードでは人として検出できるか否かしか判断対象とならないことから、人が検出できなかった場合の理由が動物と間違った誤検出であったとしても、当該理由がユーザに認識される事態は回避できる。このように、人を動物と間違う誤検出によってユーザの不快感を生じる可能性を低減できる。

〔１−２−３．人／動物検出モードの動作〕
本実施形態の人／動物検出モードの動作について、図８〜１１を用いて説明する。

図８は、デジタルカメラ１００による人／動物検出モードの動作を例示するフローチャートである。図８のフローチャートは、デジタルカメラ１００が人／動物検出モードに設定された場合に実行される（図４（Ｂ）参照）。本フローチャートにおける各処理は、デジタルカメラ１００のコントローラ１３５によって実行される。

図８のフローチャートにおいて、コントローラ１３５は、図６のステップＳ１０と同様の人検出情報Ｄ１に加えて、画像認識部１２２から、動物検出情報Ｄ２を取得する（Ｓ２０）。コントローラ１３５は、取得した人検出情報Ｄ１及び動物検出情報Ｄ２に基づいて、人検出枠３０と動物検出枠４０との表示が区別なく為されるように、以降のステップＳ２１〜Ｓ２９の各処理をそれぞれステップＳ１１〜Ｓ１９の各処理と同様に行う。

例えば、人体枠３０１及び人顔枠３０２の場合（図７（Ａ）参照）と同様に、コントローラ１３５は、図９（Ａ）に示すように、動物検出情報Ｄ２に応じて撮像画像Ｉｍ上で検出された動物の体の領域を囲む動物体枠４０１、及び動物の顔の領域を囲む動物顔枠４０２を表示候補として認識する（Ｓ２１）。動物体枠４０１及び動物顔枠４０２は、それぞれ動物検出枠４０を構成する第３枠及び第４枠の一例である。

また、表示候補の検出枠がある場合（Ｓ２１でＹＥＳ）、コントローラ１３５は、例えば、人顔枠３０２と人体枠３０１の重なりの判断と同様に（図６のＳ１２参照）、動物顔枠４０２の領域と動物体枠４０１の領域とが重なるか否かを判断する（Ｓ２２）。動物顔枠４０２の領域と動物体枠４０１の領域とが重なる場合（Ｓ２２でＹＥＳ）、コントローラ１３５は、動物顔枠４０２が重なった動物体枠４０１を表示候補から削除する（Ｓ２３）。これにより、動物体枠４０１よりも優先して動物顔枠４０２が表示される（図９（Ｂ）参照）。

ステップＳ２２において、コントローラ１３５は、上記と同様に、動物顔枠４０２と人体枠３０１の重なりを判断したり、人顔枠３０２と動物体枠４０１の重なりを判断したりしてもよい。人顔枠３０２又は動物顔枠４０２の領域と、人体枠３０１又は動物体枠４０１の領域とが重なる場合に（Ｓ２２でＹＥＳ）、コントローラ１３５が、重なった人体枠３０１又は動物体枠４０１を削除することにより（Ｓ２３）、人顔枠３０２及び動物顔枠４０２の表示を優先できる。

表示候補の検出枠が１つの動物検出枠４０である場合（Ｓ２４でＹＥＳ）についても同様に、コントローラ１３５は、ＡＦ対象が人検出枠３０の場合と同じ表示態様においてＡＦ対象の検出枠５０を表示させる（Ｓ２５）。一方、表示候補として複数の検出枠がある場合（Ｓ２４でＮＯ）、コントローラ１３５は、複数の検出枠の中からＡＦ対象として１つの検出枠を選択する（Ｓ２６）。

次にコントローラ１３５は、例えば表示候補からＡＦ対象の検出枠を選択すると（Ｓ２６）、選択した検出枠以外の人検出枠３０と動物検出枠４０とを区別しない表示態様で、各検出枠３０，４０を表示させる（Ｓ２７）。各種の人検出枠３０と動物検出枠４０を含む場合の表示例を図１０に示す。

図１０に例示するように、ＡＦ対象でない動物体枠４０１と人体枠３０１とは同じ表示態様で表示される。また、ＡＦ対象でない動物顔枠４０２と人顔枠３０２とは同じ表示態様で表示される。各顔枠３０２，４０２は、例えば図１０に示すように、各体枠３０１，４０１とは、枠形状が異なるなど別の表示態様で表示されてもよい。また、ＡＦ対象の検出枠５０と他の検出枠３０１〜４０２との表示態様の違いは、例えば色であってもよい。例えば、ＡＦ対象の検出枠５０は有彩色（例えば黄色）である一方、他の検出枠３０１〜４０２は無彩色（例えば白色）であってもよい。

以上の処理によると、人／動物検出モードにおいて、被写体における人及び動物が検出される際に、人検出枠３０と動物検出枠４０とが区別されずに表示される（Ｓ２７）。これにより、人と動物の誤検出に起因してユーザの不快感を招く事態を回避し易くすることができる。

例えば、図１０の例において、ＡＦ対象でない人顔枠３０２と動物顔枠４０２とは、同じ表示態様で表示されている。このため、仮に人の顔が動物の顔と誤検出されたとしても、誤検出の有無によって表示態様は変動せず、誤検出をユーザに視認させないようにすることができる。

また、以上のステップＳ２２，Ｓ２３によると、例えば人顔枠３０２の領域と動物体枠４０１の領域とが重なる場合（Ｓ２２でＹＥＳ）、コントローラ１３５は、人顔枠３０２が重なった動物体枠４０２を表示候補から削除する（Ｓ２３）。このような一例を図１１（Ａ），（Ｂ）に示す。

図１１（Ａ）の例では、被写体における２人の人２１，２２のうち、１人目の人２１の顔および体と、２人目の人２２の顔とは正常に検出されているが、２人目の人２２の体は動物と誤検出されている。このとき、コントローラ１３５は、１人目の人顔枠３０２が重なった人体枠３０１を表示させないと共に、２人目の人顔枠３０３が重なった動物体枠４０１を表示させず、図１１（Ｂ）に示すように各人顔枠３０２，３０３を優先表示させる（Ｓ２２，Ｓ２３）。このように、部分的に動物と誤検出された人２２についての優先表示が、正常に検出された人２１の優先表示と同様に行われ、人顔枠３０２，３０３の優先表示についてのデジタルカメラ１００の挙動からユーザが誤検出に気付くような事態を回避し易い。

また、例えばユーザの操作等によってＡＦ対象の主要被写体が、動物２０から人２２に変更された場合にも、変更前後のＡＦ対象の検出枠５０の表示態様は同じになる（Ｓ２７）。このとき、仮に人２２が動物と誤検出されたとしても、ＡＦ対象についても表示態様が変動せず、ユーザが誤検出に気付く不快感を回避し易い。

〔１−３．効果等〕
以上のように、本実施形態において、撮像装置の一例であるデジタルカメラ１００は、イメージセンサ１１５（撮像部）と、表示モニタ１３０（表示部）と、画像認識部１２２（第１及び第２の検出部）と、コントローラ１３５（制御部）とを備える。イメージセンサ１１５は、被写体を撮像して撮像画像Ｉｍを生成する。表示モニタ１３０は、撮像画像Ｉｍを表示する。画像認識部１２２は第１検出器１２２ａとして、被写体が人の場合、人の少なくとも一部を検出する。画像認識部１２２は第２検出器１２２ｂとして、被写体が動物の場合、動物の少なくとも一部を検出する。コントローラ１３５は、表示モニタ１３０を制御して、撮像画像Ｉｍ上に、人に応じた人検出枠３０（第１検出枠）、及び動物に応じた動物検出枠４０（第２検出枠）を表示させる。コントローラ１３５は、人検出枠３０と動物検出枠４０とが、被写体のうちの主要被写体に応じたＡＦ対象の検出枠５０（第３検出枠）ではない場合に共通の表示態様において表示されるように、表示モニタ１３０を制御する。

以上のデジタルカメラ１００によると、ＡＦ対象の検出枠５０以外の人検出枠３０と動物検出枠４０とが区別なく表示される（Ｓ２７）。これにより、人と動物を検出するデジタルカメラ１００において、人を動物と間違う誤検出が生じた場合に、ユーザの不快感を生じる可能性を低減することができる。

本実施形態において、ＡＦ対象の検出枠５０は、主要被写体が人の場合と動物の場合との間で共通の表示態様において表示される（Ｓ２５，Ｓ２７）。これにより、主要被写体について人を動物と間違う誤検出が生じた場合においても、対応する検出枠５０の表示態様は変わらず、ユーザの不快感を生じる可能性を低減できる。

また、本実施形態において、人検出枠３０は、撮像画像Ｉｍ上で人の体を囲む領域を示す人体枠３０１（第１枠）と、人の顔を囲む領域を示す人顔枠３０２（第２枠）とを含む。コントローラ１３５は、人体枠３０１の領域と人顔枠３０２の領域とが重なる場合（Ｓ１２でＹＥＳ）、人体枠３０１を表示せずに人顔枠３０２を表示するように、表示モニタ１３０を制御する（Ｓ１３）。これにより、人体枠３０１よりも人顔枠３０２を優先して表示することができる。

また、本実施形態において、動物検出枠４０は、撮像画像Ｉｍ上で動物の体を囲む領域を示す動物体枠４０１（第３枠）を含む。コントローラ１３５は、動物体枠４０１の領域と人顔枠３０２の領域とが重なる場合（Ｓ２２でＹＥＳ）、動物体枠４０１を表示せずに人顔枠３０２を表示するように、表示モニタ１３０を制御する（Ｓ２３）。これにより、人の体が動物の体と誤検出された場合においても、人顔枠３０２の優先表示を行って、ユーザが誤検出に気付く可能性を低減できる。

また、本実施形態において、動物検出枠４０は、撮像画像Ｉｍ上で動物の顔の領域を囲む領域を示す動物顔枠４０２（第４枠）をさらに含む。コントローラ１３５は、人体枠３０１と動物体枠４０１とを区別せず、且つ人顔枠３０２と動物顔枠４０２とを区別せずに表示モニタ１３０に表示させる（Ｓ２７，Ｓ２５）。これにより、人と動物間で体についても顔についても同様に各検出枠３０１〜４０２が表示され、誤検出をユーザに気付かせにくくすることができる。

本実施形態の画像認識部１２２の第１検出器１２２ａは、人の体、顔および瞳のうちの少なくとも１つを検出してもよい。また、本実施形態の画像認識部１２２の第２検出器１２２ｂは、動物の体、顔および瞳のうちの少なくとも１つを検出してもよい。

本実施形態のコントローラ１３５は、ＡＦ対象の検出枠５０に基づいて、主要被写体に合焦するように、デジタルカメラ１００の合焦動作を制御してもよい。

本実施形態において、上述した表示態様は、各検出枠３０，４０，５０の色、線種、線幅、および枠形状のうちの少なくとも１つを含んでもよい。ＡＦ対象の検出枠５０以外の人検出枠３０と動物検出枠４０間で、色、線種、線幅、および枠形状のうちの少なくとも１つが共通であってもよい。

また、本実施形態において、デジタルカメラ１００は、デジタルカメラ１００の動作モードを設定可能な操作部１５０をさらに備えてもよい。デジタルカメラ１００は、動作モードとして、人の検出を行って動物の検出を行わない人検出モード（第１検出モード）と、人の検出を行って且つ動物の検出を行う人／動物検出モード（第２検出モード）とを有し、人の検出を行わずに動物の検出を行う動物検出モード（第３検出モード）を有さない。これにより、動物しか検出されない筈の動物検出モードには設定不可能にすることで、人を動物と間違う誤検出に起因してユーザの不快感を生じる可能性を低減することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施の形態１では、図８のフローチャートにおいて動物検出情報Ｄ２に基づく動物顔枠４０２が表示候補となる動作例を説明した。本実施形態において、動物顔枠４０２は表示候補とならなくてもよい。例えば、動物検出情報Ｄ２に基づく表示候補の動物検出枠４０は動物体枠４０１のみである一方、人検出情報Ｄ１に基づく表示候補の人検出枠３０は人体枠３０１及び人顔枠３０２であってもよい。この場合においても、各検出枠３０，４０が表示される際には人検出枠３０と動物検出枠４０とが区別されずに表示されるため、実施の形態１と同様に、ユーザの不快感を生じる可能性を低減することができる。

上記の場合において、動物顔枠４０２は、表示候補とは別にデジタルカメラ１００の各種内部動作に使用されてもよい。例えば、コントローラ１３５は、動物体枠４０１をＡＦ対象の検出枠５０として表示させる際に当該動物体枠４０１に重なる動物顔枠４０２がある場合に、動物顔枠４０２に基づき合焦動作を行ってもよい。

また、上記の各実施形態では、画像認識部１２２が人と動物とについてそれぞれ体、顔および瞳を検出した。本実施形態において、人の検出対象の部位と、動物の検出対象の部位とは異なってもよい。例えば、画像認識部１２２における動物の顔の検出が省略されてもよいし、動物の瞳の検出が省略されてもよい。

また、上記の各実施形態において、画像認識部１２２を備えるデジタルカメラ１００を説明した。本実施形態において、画像認識部１２２は、外部サーバに設けられてもよい。この場合、デジタルカメラ１００は、通信モジュール１５５を介して、外部サーバに撮像画像の画像データを送信し、外部サーバから画像認識部１２２による処理結果の人検出情報Ｄ１および動物検出情報Ｄ２を受信してもよい。このようなデジタルカメラ１００においては、通信モジュール１５５が第１及び第２の検出部として機能する。

また、上記の各実施形態において、第１及び第２の検出部が一体的に構成される例を説明したが、第１の検出部と第２の検出部とは適宜、別体で構成されてもよい。

また、上記の各実施形態では、主要被写体に応じた第３検出枠の一例として、ＡＦ対象の検出枠５０を説明した。本実施形態において、第３検出枠はＡＦ対象でなくてもよく、合焦動作以外にもデジタルカメラ１００における各種の用途（例えば露出制御）に適用されてもよい。

また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、人と動物を検出する機能を有する撮像装置に適用可能である。

Claims

被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像を表示する表示部と、
前記被写体が人の場合、前記人の少なくとも一部を検出する第１の検出部と、
前記被写体が動物の場合、前記動物の少なくとも一部を検出する第２の検出部と、
前記表示部を制御して、前記撮像画像上に、前記人に応じた第１検出枠、及び前記動物に応じた第２検出枠を表示させる制御部とを備え、
前記制御部は、前記第１検出枠と前記第２検出枠とが、前記被写体のうちの主要被写体に応じた第３検出枠ではない場合に共通の表示態様において表示されるように、前記表示部を制御する
撮像装置。
前記第３検出枠は、前記主要被写体が前記人の場合と前記動物の場合との間で共通の表示態様において表示される
請求項１に記載の撮像装置。
前記第１検出枠は、前記撮像画像上で前記人の体を囲む領域を示す第１枠と、前記人の顔を囲む領域を示す第２枠とを含み、
前記制御部は、前記第１枠の領域と前記第２枠の領域とが重なる場合、前記第１枠を表示せずに前記第２枠を表示するように、前記表示部を制御する
請求項１又は２に記載の撮像装置。
前記第２検出枠は、前記撮像画像上で前記動物の体を囲む領域を示す第３枠を含み、
前記制御部は、前記第３枠の領域と前記第２枠の領域とが重なる場合、前記第３枠を表示せずに前記第２枠を表示するように、前記表示部を制御する
請求項３に記載の撮像装置。
前記第２検出枠は、前記撮像画像上で前記動物の顔を囲む領域を示す第４枠をさらに含み、
前記制御部は、前記第１枠と前記第３枠とを区別せず、且つ前記第２枠と前記第４枠とを区別せずに前記表示部に表示させる
請求項４に記載の撮像装置。
前記第１の検出部は、前記人の体、顔および瞳のうちの少なくとも１つを検出し、
前記第２の検出部は、前記動物の体、顔および瞳のうちの少なくとも１つを検出する
請求項１〜４のいずれか１項に記載の撮像装置。
前記制御部は、前記第３検出枠に基づいて、前記主要被写体に合焦するように、前記撮像装置の合焦動作を制御する
請求項１〜６のいずれか１項に記載の撮像装置。
前記表示態様は、各検出枠の色、線種、線幅、および枠形状のうちの少なくとも１つを含む
請求項１〜７のいずれか１項に記載の撮像装置。
前記撮像装置の動作モードを設定可能な操作部をさらに備え、
前記動作モードとして、前記人の検出を行って前記動物の検出を行わない第１検出モードと、前記人の検出を行って且つ前記動物の検出を行う第２検出モードとを有し、前記人の検出を行わずに前記動物の検出を行う第３検出モードを有さない
請求項１〜８のいずれか１項に記載の撮像装置。