JP6231869B2 - 撮像装置、通信機器およびそれらの制御方法、プログラム - Google Patents

Description

本発明は、撮像装置を外部から操作して撮影を行う技術に関する。

最近のデジタルカメラは、人物の顔や動きを検出したり、特定の人物を識別する機能を有しており、様々なシーンにおいて、デジタルカメラが自動で最適な撮影条件を決定して好適な画像を撮影することが可能となっている。また、無線ＬＡＮなどのネットワーク環境の普及によって、デジタルカメラに無線通信機能を搭載し、無線ネットワークを介して通信可能に接続されたスマートフォンなどをリモコンのように外部から操作してリモート撮影可能なデジタルカメラも存在する。

例えば、特許文献１には、連続して撮像された画像から顔検出と顔の動き検出を行い、特定の人物を追尾する技術が記載され、特許文献２には、デジタルカメラを、無線接続されたＰＣなどにより外部から操作してリモート撮影を行う技術が記載されている。

特開２０１０−０５０７４６号公報 特開２００７−３２５０９７号公報

ところで、デジタルカメラが自動で最適な撮影条件を決定するオート撮影モードでは、顔検出機能や動き検出機能、人物認証機能を実行する必要がある。一方、リモート撮影を行うためには、デジタルカメラの無線通信機能を動作させる必要がある。しかしながら、これらの機能を同時に動作させると消費電力や演算処理負荷が増え、消費電力の増加による撮影可能枚数の減少や、演算処理負荷の増加によるライブビュー画像の表示レートの低下を引き起こすおそれがある。

本発明は、上記課題に鑑みてなされ、その目的は、リモート撮影時における消費電力の増加や演算処理負荷の増加を抑える技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、外部装置と通信する通信手段と、被写体を撮像して画像データを生成する撮像手段と、撮影条件を設定する設定手段と、前記設定手段による前記撮影条件の設定に用いられる、前記撮像手段により撮像された画像データにおける被写体を特定する特定手段と、前記通信手段を介して接続された前記外部装置から指示を受けて撮影を行う場合は、撮影者が装置を直接操作して撮影を行う場合に比べて、前記被写体を特定するための処理を少なくするよう制御する制御手段と、を有する。

本発明によれば、リモート撮影時における消費電力の増加や演算処理負荷の増加を抑えることができる。

本実施形態の通常撮影モードとリモート撮影モードを説明する図。 本実施形態の撮像装置の構成を示すブロック図。 本実施形態の通信機器の構成を示すブロック図。 本実施形態の通常撮影動作を示すフローチャート。 本実施形態の撮像装置の表示画面を例示する図。 実施形態１のリモート撮影動作を示すフローチャート。 実施形態１のリモート撮影モード時の通信機器の表示画面を例示する図。 実施形態２のリモート撮影動作を示すフローチャート。 実施形態２のリモート撮影モード時の通信機器の表示画面を例示する図。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の撮像装置および通信機器としてデジタルカメラとスマートフォンを適用し、通信機器により撮像装置を外部から操作してリモート撮影を行うシステムについて説明する。なお、本実施形態では、通信機器として携帯電話の一種であるスマートフォンを想定しているが、他のカメラ付き携帯電話やタブレット端末などの携帯型電子機器にも適用可能である。また、カメラ付きのパーソナルコンピュータなどの情報処理装置であっても良い。

＜撮影モードの説明＞まず、図１を参照して、本実施形態による通常撮影モードとリモート撮影モードについて説明する。

図１において、（ａ）は通常撮影モードの場合、（ｂ）はリモート撮影モードの場合をそれぞれ示している。

通常撮影モードでは、図１（ａ）に示すように、撮影者１０１と被写体１０２は異なっており、撮影者１０１はデジタルカメラ２００を直接操作することで被写体１０２を撮影する。

これに対して、リモート撮影モードでは、図１（ｂ）に示すように、撮影者１０１は被写体１０２にもなり、撮影者１０１が所持するスマートフォン３００を使用してデジタルカメラ２００を遠隔操作することで撮影を行う。

このように、リモート撮影モードでは、撮影者１０１はスマートフォン３００をデジタルカメラ２００と無線接続して、スマートフォン３００によりデジタルカメラ２００を外部から操作する。撮影者１０１を被写体１０２として撮影を行う場合、撮影者１０１はスマートフォン３００の表示画面を見ながら、自身がフレーム内に収まるようにデジタルカメラ２００の画角を調節し、デジタルカメラ２００へ撮影指示を送信して撮影を実施する。

＜撮像装置の構成＞図２を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、制御部２０１は、デジタルカメラ２００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ２０４に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。なお、制御部２０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部２０２は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部２０２は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。

画像処理部２０３は、撮像部２０２により撮像された画像データに、ホワイトバランスや色、明るさ等を調整する画質調整処理を施し、また、表示用サイズへのリサイズ処理などを行う。また、画像処理部２０３は、画質調整処理が施された画像データをＪＰＥＧ等により圧縮符号化して画像ファイルを生成し、記録媒体２１０に記録する。また、画像処理部２０３は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づき制御部２０１が撮像部２０２のフォーカスレンズや絞り、シャッターを制御することで、ＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理を行う。さらに、画像処理部２０３は、水平方向および垂直方向のバンドパスフィルタにより画像データからエッジ成分を検出し、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出して被写体の顔を検出する。そして、画像処理部２０３は、検出された顔の特徴情報などを記録媒体２１０に記録する。さらにまた、画像処理部２０３は、連続的に撮像された画像データの差分から動きベクトルを抽出し、被写体の動きを検出する機能や、顔の特徴情報が登録されたデータベースを参照することにより、検出された顔の人物を認証する機能を備えている。なお、これらの機能は所定のプログラムに基づき実行しても良いし、画像処理部２０３に各機能を実現するための回路を組み込んでも良い。いずれの場合であっても、制御部２０１の制御により、画像処理部２０３が各画像処理を行う手段として動作することになる。

不揮発性メモリ２０４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２０４には、制御部２０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

作業用メモリ２０５は、制御部２０１の動作用の定数、変数、不揮発性メモリ２０４から読み出したプログラムなどを展開する作業領域として使用される。また、作業用メモリ２０５は、撮像部２０２で撮像された画像データを一時的に保持するバッファメモリや、表示部２０７の画像表示用メモリとして使用される。

操作部２０６は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなり、例えば、電源スイッチ、シャッタースイッチ、モード切替スイッチなどを含む。モード切替スイッチは回転式のダイヤルスイッチ（図５のモードダイヤル５０１）からなり、制御部２０１の動作モードを静止画記録モード、動画記録モード、再生モードなどに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード（Ｍ）、プログラムＡＥモード（Ｐ）、カスタムモード、リモート撮影モードなどがある。また、シャッタースイッチは、デジタルカメラ２００に設けられたシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１を受けて、制御部２０１は撮像部２０２を制御することによりＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの動作を開始する。また、シャッタースイッチは、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。制御部２０１は、第２シャッタースイッチ信号ＳＷ２を受けて、撮像部２０２からの信号読み出しから記録媒体２１０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

表示部２０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。表示部２０７は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示部２０７は、デジタルカメラ２００と一体化された構成であっても、デジタルカメラ２００と接続された外部機器であっても良い。

記録媒体２１０は、画像処理部２０３により符号化された画像ファイルが記録されたり、制御部２０１により既に記録されている画像ファイルが読み出される。記録媒体２１０は、デジタルカメラ２００に装着されるメモリカードやハードディスクドライブなどであっても良いし、デジタルカメラ２００に内蔵されたフラッシュメモリやハードディスクドライブであっても良い。

接続部２１１は、スマートフォン３００などの外部装置と接続するためのインターフェースである。本実施形態のデジタルカメラ２００は、接続部２１１を介して、外部装置とデータの授受を行うことができる。なお、本実施形態では、接続部２１１は外部装置と無線ＬＡＮで通信するためのインターフェースを含む。制御部２０１は、接続部２１１を制御することで外部装置との無線通信を実現する。なお、通信方式は無線ＬＡＮに限定されるものではなく、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＢｌｕｅｔｏｏｔｈ（登録商標）などを用いることができる。なお、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）など、通信距離が１０ｃｍ前後の近接無線通信を用いることもできるが、リモート撮影のメリットを享受するためにはある程度の通信距離（数ｍ以上）を有する通信方法が望ましい。

なお、本実施形態におけるデジタルカメラ２００は、無線ＬＡＮのインフラストラクチャモードにおけるスレーブ装置として動作することが可能である。スレーブ装置として動作する場合、周辺のアクセスポイント（以下、ＡＰ）に接続することで、ＡＰが形成するネットワークに参加することが可能である。また、本実施形態におけるデジタルカメラ２００は、ＡＰの一種ではあるが、より機能が限定された簡易的なＡＰ（以下、簡易ＡＰ）として動作することも可能である。なお、本実施形態におけるＡＰは中継装置の一例である。デジタルカメラ２００が簡易ＡＰとして動作すると、デジタルカメラ２００は自身でネットワークを形成する。デジタルカメラ２００の周辺の装置は、デジタルカメラ２００をＡＰと認識し、デジタルカメラ２００が形成したネットワークに参加することが可能となる。上記のようにデジタルカメラ２００を動作させるためのプログラムは不揮発性メモリ２０４に保持されているものとする。

なお、本実施形態におけるデジタルカメラ２００はＡＰの一種であるものの、スレーブ装置から受信したデータをインターネットプロバイダなどに転送するゲートウェイ機能は有していない簡易ＡＰである。したがって、自機が形成したネットワークに参加している他の装置からデータを受信しても、それをインターネットなどのネットワークに転送することはできない。

＜通信機器の構成＞次に、図３を参照して、本発明の通信機器を適用した一実施形態のスマートフォン３００の構成及び機能について説明する。なお、以下では、本発明の通信機器の一例としてスマートフォンについて述べるが、これに限られない。本発明は、例えば携帯電話、無線機能付きのデジタルカメラ、携帯型のメディアプレーヤやいわゆるタブレットデバイス、パーソナルコンピュータ（ＰＣ）などの情報処理装置にも適用できる。

本実施形態のスマートフォン３００は、制御部３０１、撮像部３０２、不揮発性メモリ３０３、作業用メモリ３０４、操作部３０５、表示部３０６、記録媒体３１０、接続部３１１を備える。上記各要素の基本的な機能はデジタルカメラ２００と同様であり、詳細な説明は省略する。なお、通信機器をＰＣとした場合、ＰＣは表示部を備えている必要はなく、表示部の表示を制御する表示制御機能を有していれば良い。

なお、不揮発性メモリ３０３には、デジタルカメラ２００と通信するためのプログラムが保持され、カメラアプリケーションとしてインストールされているものとする。なお、本実施形態におけるスマートフォン３００の処理は、カメラアプリケーションにより提供されるプログラムを読み込むことにより実現される。なお、カメラアプリケーションはスマートフォン３００にインストールされたＯＳの基本的な機能を利用するためのプログラムを有しているものとする。なお、スマートフォン３００のＯＳが本実施形態における処理を実現するためのプログラムを有していても良い。

公衆網接続部３１２は、公衆無線通信を行う際に用いられるインターフェースである。スマートフォン３００は、公衆網接続部３１２を介して、他の機器と通話をしたり、データ通信をすることができる。通話の際には、制御部３０１はマイク３１３およびスピーカ３１４を介して音声信号の入力と出力を行う。本実施形態では、公衆網接続部３１２は３Ｇを用いた通信を行うためのインターフェースを含むものとする。なお、３Ｇに限らず、ＬＴＥやＷｉＭＡＸ、ＡＤＳＬ、ＦＴＴＨ、いわゆる４Ｇといった他の通信方式を用いても良い。また、接続部３１１および公衆網接続部３１２は必ずしも独立したハードウェアで構成する必要はなく、例えば１つのアンテナで兼用することも可能である。

＜通常撮影モード時の撮影制御＞次に、図４および図５を参照して、本実施形態のデジタルカメラ２００による通常撮影モード（図１（ａ））における撮影動作について説明する。

図５は、通常撮影モード時にデジタルカメラ２００の表示部２０７に表示されるビューファインダー画面を例示している。（ａ）は露出制御モードの設定を変更する際の画面、（ｂ）はホワイトバランス制御モードの設定を変更する際の画面、（ｃ）はフォーカス制御モードの設定を変更する際の画面を例示している。

図５（ａ）では、ユーザは操作部２０６に含まれるモードダイヤル５０１を回転させることにより、露出制御モードの設定を自動で行うプログラムＡＥモード（Ｐ）からマニュアルモード（Ｍ）に変更することができる。マニュアルモード（Ｍ）では、ユーザは、４方向ボタン５０４やＳＥＴボタン５０５を操作することによって、表示部２０７に表示されたシャッター速度５０２や絞り（Ｆ）値５０３を所望の値に設定できる。そして、制御部２０１はユーザにより設定された露出条件で撮影を実施する。

図５（ｂ）では、ユーザは４方向ボタン５０４を操作し、ファンクションメニュー５０６から所望のモードを選択することによって、ホワイトバランス制御モードの設定をオートからマニュアルに変更することができる。マニュアル設定では、ユーザは白データを指定することができ、制御部２０１はユーザにより指定された白データを基準としたホワイトバランスで撮影を実施する。

図５（ｃ）では、ユーザは操作部２０６に含まれるマニュアルフォーカスボタン（４方向ボタン５０４の左ボタン５０４ａ）を押下することによって、フォーカス制御モードの設定をオートからマニュアル（ＭＦ）に変更することができる。マニュアルフォーカス（ＭＦ）では、ユーザはフォーカスインジケータ５０７を見ながら操作部２０６を操作することで、ピントを合わせる位置を指定することができ、制御部２０１はユーザにより指定されたピントの位置に合わせて撮影を実施する。

このように、図１（ａ）に示す通常撮影モードにおいて、デジタルカメラ２００をマニュアルモードに設定した場合には、ユーザが撮影条件を詳細に設定することができる。

＜通常撮影動作＞図４を参照して、本実施形態のデジタルカメラ２００による通常撮影動作について説明する。

なお、図４の処理は、不揮発性メモリ２０４に格納されたプログラムを、作業用メモリ２０５に読み出して制御部２０１が実行することにより実現される。また、図４の処理は、静止画記録モードなどに設定された状態でデジタルカメラ２００が起動されると開始される。

ステップＳ４０１では、制御部２０１は、撮像部２０２によりライブビュー表示用の画像のキャプチャを開始する。

ステップＳ４０２では、制御部２０１は、画像処理部２０３により、ステップＳ４０１にてキャプチャされた画像データから、ライブビュー表示用の画像データを生成し、作業用メモリ２０５に書き込む。また、制御部２０１は、画像処理部２０３により、撮像された画像データに、ホワイトバランスや色、明るさ等を調整する画質調整処理や表示用サイズへのリサイズ処理などを行う。

ステップＳ４０３では、制御部２０１は、ステップＳ４０２で生成されたライブビュー表示用画像データを表示部２０７に表示する。このようにライブビュー表示用画像データが生成される度に、表示部２０７に表示される画像が更新されることで、電子ビューファインダー機能（ＥＶＦ）が実現される。

ステップＳ４０４では、制御部２０１は、画像処理部２０３により、ステップＳ４０２で生成した表示用画像データの中に人物の顔が存在するか否かを検出する（被写体検出処理）。ここでは、画像処理部２０３が、水平方向および垂直方向のバンドパスフィルタにより画像データからエッジ成分を検出し、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出して人物の顔を検出する。そして、制御部２０１は、顔が検出された場合、検出された顔領域の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数などを顔情報として作業用メモリ２０５に記憶し、顔が検出されなかった場合、作業用メモリ２０５の顔情報に０を設定する。

ステップＳ４０５では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ４０４において顔が検出されたか否かを判定する。顔が検出されていない場合、制御部２０１は、何もせずにステップＳ４０９に進む。顔が検出されている場合はステップＳ４０６に進む。

ステップＳ４０６では、制御部２０１は画像処理部２０３により、ステップＳ４０２で生成した表示用画像データと１フレーム直前の画像データの顔領域における輝度信号Ｙの差分の積分値が最小になる位置を検出し、移動量を被写体の動きベクトルとして抽出する。この処理は動き検出処理の一例である。

ステップＳ４０７では、制御部２０１は、画像処理部２０３により人物認証処理を行う。人物認証処理では、制御部２０１は、ステップＳ４０２で生成した表示用画像データ内の検出された顔の特徴情報を抽出し、不揮発性メモリ２０４に記憶されている人物の特徴情報と比較して、登録されている人と一致するか否かを判定する。この処理は、被写体認証処理の一例である。

ステップＳ４０８では、制御部２０１は、ステップＳ４０４で検出された顔情報、ステップＳ４０６で抽出された動きベクトルおよびステップＳ４０７における人物認証結果に基づいて主顔（主被写体）を特定する。

ステップＳ４０９では、制御部２０１は、シャッタースイッチが半押しされて第１シャッタースイッチ信号ＳＷ１がＯＮとなったか否かを判定する。判定の結果、第１シャッタースイッチ信号ＳＷ１がオンとなっていない場合はステップＳ４０１に戻り、オンとなった場合はステップＳ４１０に進む。

ステップＳ４１０では、制御部２０１は、露出制御モードがマニュアルモード（Ｍ）にセットされているか否かを判定する（図５（ａ））。マニュアルモード（Ｍ）にセットされている場合はステップＳ４１１に進み、マニュアルモードでない場合はステップＳ４１２に進む。

ステップＳ４１１では、制御部２０１は、撮像部２０２のシャッターおよび絞りをユーザが設定した値になるよう露出制御を行い、ステップＳ４１５に進む。

ステップＳ４１２では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ４０４において顔が検出されたか否かを判定する。判定の結果、顔が検出されている場合はステップＳ４１３に進み、検出されていない場合はステップＳ４１４に進む。

ステップＳ４１３では、制御部２０１は、ステップＳ４０８で特定した主顔領域に対して測光処理を行い、主顔領域が適正露出となるシャッター速度および絞り値になるよう撮像部２０２のシャッターおよび絞りを自動で制御する。

ステップＳ４１４では、制御部２０１は、画面全体に対して測光処理を行い、適正露出となるシャッター速度および絞り値になるよう撮像部２０２のシャッターおよび絞りを自動で制御する。

ステップＳ４１５では、制御部２０１は、ホワイトバランス制御モードがマニュアルにセットされているか否かを判定する（図５（ｂ））。マニュアルにセットされている場合はステップＳ４１６に進み、オートにセットされている場合はステップＳ４１７に進む。

ステップＳ４１６では、制御部２０１は、画像処理部２０３の色処理の設定をユーザが設定した値になるよう制御し、ステップＳ４２０に進む。

ステップＳ４１７では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ４０４において顔が検出されたか否かを判定する。判定の結果、顔が検出されている場合はステップＳ４１８に進み、検出されていない場合はステップＳ４１９へ進む。

ステップＳ４１８では、制御部２０１は、ステップＳ４０８で特定した主顔領域に対して、肌の色が適正となるよう画像処理部２０３の色処理の設定を自動で調節する。

ステップＳ４１９では、制御部２０１は、適正な色となるよう画像処理部２０３の色処理の設定を自動で調節する。

ステップＳ４２０では、制御部２０１は、フォーカス制御モードがマニュアルにセットされているか否かを判定する（図５（ｃ））。判定の結果、マニュアルフォーカスにセットされている場合はステップＳ４２１に進み、オートフォーカスにセットされている場合はステップＳ４２２に進む。

ステップＳ４２１では、制御部２０１は、撮像部２０２のフォーカスレンズをユーザが設定した距離にピントが合うよう制御し、ステップＳ４２５に進む。

ステップＳ４２２では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ４０４において顔が検出されたか否かを判定する。判定の結果、顔が検出されている場合はステップＳ４２３に進み、検出されていない場合はステップＳ４２４に進む。

ステップＳ４２３では、制御部２０１は、ステップＳ４０８で特定した主顔領域に対して測距処理を行い、主顔領域にピントが合うよう撮像部２０２のフォーカスレンズを自動で制御する。

ステップＳ４２４では、制御部２０１は、画面全体を複数のブロックに分けて測距処理を行い、ピントが合うよう撮像部２０２のフォーカスレンズを自動で制御する。

ステップＳ４２５では、制御部２０１は、ステップＳ４０１と同様に、撮像部２０２により、ライブビュー表示用の画像のキャプチャを行う。

ステップＳ４２６では、制御部２０１は、ステップＳ４０２と同様に、画像処理部２０３により、ステップＳ４２５にてキャプチャされた画像データから、表示部２０７にライブビュー表示用の画像データを生成し、作業用メモリ２０５に書き込む。

ステップＳ４２７では、制御部２０１は、ステップＳ４０４と同様に、ステップＳ４２６で生成されたライブビュー表示用画像データを表示部２０７に表示する。

ステップＳ４２８では、制御部２０１は、シャッタースイッチが全押しされて第２シャッタースイッチ信号ＳＷ２がＯＮとなったか否かを判定する。判定の結果、第２シャッタースイッチ信号ＳＷ２がオンとなっていない場合はステップＳ４０９に進み、オンとなった場合はステップＳ４３０に進む。

ステップＳ４２９では、制御部２０１は、シャッタースイッチが半押しされたまま第１シャッタースイッチ信号ＳＷ１がＯＮとなっているか否かを判定する。判定の結果、第１シャッタースイッチ信号ＳＷ１がオンとなっていない場合はステップＳ４０１に戻り、オンとなっている場合はステップＳ４２５に戻り、次のフレームの処理を続行する。

ステップＳ４３０では、制御部２０１は、撮影処理を行う。撮影処理では、撮像部２０２により静止画用にキャプチャされた画像データに対し、画像処理部２０３で各種処理を行った後、ＪＰＥＧ等により圧縮符号化し、作業用メモリ２０５に書き込む。

ステップＳ４３１では、制御部２０１は、ステップＳ４３０でキャプチャされた画像データから、画像処理部２０３によりレビュー表示用の画像データを生成し、作業用メモリ２０５に書き込み、表示部２０７に表示する。

ステップＳ４３２では、制御部２０１は、ステップＳ４２９で作業用メモリ２０５に書き込まれた圧縮画像データを画像ファイルとして記録媒体２１０に記録し、撮影動作を終了する。

以上説明したように、通常撮影動作では、露出、ホワイトバランス、フォーカスといった撮影条件に関して、カメラ任せのオート撮影とユーザが設定した条件によるマニュアル撮影が選択可能である。また、マニュアル撮影では、ユーザは詳細な撮影条件の設定が可能である。オート撮影では、顔検出により得られた顔情報に基づいてＡＦ、ＡＥ、ＡＷＢなどの制御を行うことで、人物を適正な露出で、人物の肌を適正な色で、人物にピントを合わせて撮影を行うことができる。また、動き検出を行い抽出された動きベクトルを利用することによって、被写体が動いている場合にも、主顔を特定することができ、人物を適正な露出で、人物の肌を適正な色で、人物にピントを合わせて撮影を行うことができる。さらに、人物認証結果に基づいて主顔を特定することで、主被写体以外の人物が画面内に存在し、画面の中央以外に配置されている場合でも、主被写体である人物を適正な露出で、人物の肌を適正な色で、人物にピントを合わせて撮影を行うことができる。

＜リモート撮影モード時の撮影制御＞次に、図６および図７を参照して、本実施形態のデジタルカメラ２００によるリモート撮影モード（図１（ｂ））における撮影動作について説明する。

図７は、リモート撮影モード時のスマートフォン３００の表示部３０６に表示される画面を例示している。（ａ）はリモート撮影モードの設定をする際の画面、（ｂ）および（ｃ）はユーザがズームやストロボ、セルフタイマーなどの設定を行う際の画面を例示している。

図７において、ユーザがスマートフォン３００にインストールされているカメラアプリケーション（以下、カメラアプリ）を起動すると、カメラアプリは図７（ａ）に示すＧＵＩをユーザが選択可能に表示部３０６に表示する。ユーザが表示部３０６に表示されたＧＵＩからリモート撮影ボタン７０１をタッチして選択すると、無線接続されたデジタルカメラ２００からキャプチャされた画像が送信され、図７（ｂ）に示すライブビュー画像が表示される。ユーザは、図７（ｂ）に示すライブビュー画像の下に表示されたズーム設定ボタン７０２を操作することで、ライブビュー画像のズーム倍率を設定できる。

図７（ｂ）において、ユーザが表示部３０６に表示されたＧＵＩから設定ボタン７０３をタッチして選択すると、図７（ｃ）に示すストロボ設定変更ボタン７０４とセルフタイマー設定ボタン７０５が表示される。ユーザは、ストロボ設定変更ボタン７０４をタッチ操作することでストロボ発光のＯＮ／ＯＦＦを設定でき、セルフタイマー設定ボタン７０５をタッチ操作することでセルフタイマーのＯＮ／ＯＦＦを設定できる。

本実施形態におけるリモート撮影モードでは、スマートフォン３００をリモコンとして撮影者自身を撮影するユースケースを想定しているため、ストロボやセルフタイマーの設定を変更できる。一方、本実施形態におけるリモート撮影モードでは、露出制御、ホワイトバランス制御、およびフォーカス制御などの撮影条件は、全てカメラ任せのオート撮影のみとなり、マニュアル撮影の選択は不可となる。

＜リモート撮影動作＞図６を参照して、本実施形態のデジタルカメラ２００によるリモート撮影動作について説明する。

なお、図６の処理は、不揮発性メモリ２０４に格納されたプログラムを、作業用メモリ２０５に読み出して制御部２０１が実行することにより実現される。また、図６の処理は、スマートフォン３００のカメラアプリが起動され、スマートフォン３００との間で無線接続を確立し、静止画記録モードなどに設定された状態でデジタルカメラ２００が起動されると開始される。

ここで、無線接続は、制御部２０１が接続部２１１を制御することで実現され、無線ネットワークの接続を確立する無線ＬＡＮ接続処理と、相手機器との通信セッションを確立する機器接続処理からなる。スマートフォン３００との無線接続処理は、例えば次のような処理を実行することで実現される。デジタルカメラ２００は、まず周辺の無線ネットワークの検索を行い、接続する無線ネットワークが存在するか確認する。その後、所望の無線ネットワークへの無線ＬＡＮ接続処理を行い、ＩＰアドレスの設定処理を実行する。なお、前述のように周辺の無線ネットワークを検索し、所望の無線ネットワークに参加することも可能であるが、デジタルカメラ２００自身が無線ネットワークを生成することも可能である。この場合、スマートフォン３００をデジタルカメラ２００が生成した無線ネットワークに参加させることで無線ＬＡＮ接続を確立することも可能である。その後、接続した無線ネットワーク上で接続相手のスマートフォン３００の検索を行う。機器の検索はＵＰｎＰ（Ｕｎｉｖａｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）やｍＤＮＳ（Ｍｕｌｔｉｃａｓｔ ＤＮＳ）等の機器検索プロトコルにより実現される。機器検索処理により接続相手のスマートフォン３００を発見すると、スマートフォン３００との間で通信セッションを確立するための機器接続処理を行う。

図６において、ステップＳ６０１では、制御部２０１は、撮像部２０２により、スマートフォン３００に送信するための、ライブビュー表示用の画像のキャプチャを開始する。

ステップＳ６０２では、制御部２０１は、撮像部２０２によりキャプチャされた画像データに対し、画像処理部２０３で各種処理を行った後、ＪＰＥＧ等により圧縮符号化する。そして、圧縮符号化した画像に基づき、スマートフォン３００に送信するライブビュー表示用（以下、リモート表示用）の画像データを生成し、作業用メモリ２０５に書き込む。

ステップＳ６０３では、制御部２０１は、スマートフォン３００から、リモート表示用の画像データの送信要求を受信したか否かを判定する。判定の結果、送信要求を受けていない場合はステップＳ６０５に進み、送信要求を受けた場合はステップＳ６０４に進む。

ステップＳ６０４では、制御部２０１は、ステップＳ６０２で作業用メモリ２０５に書き込まれたリモート表示用の画像データを、スマートフォン３００に送信する。このように、デジタルカメラ２００は、スマートフォン３００にリモート表示用の画像データを転送することで、スマートフォン３００の表示部３０６にライブビュー表示を行うことができる。

ステップＳ６０５では、制御部２０１は、画像処理部２０３により、ステップＳ６０２で生成した表示用画像データの中に人物の顔が存在するか否かを検出する。

ステップＳ６０６では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ６０５において顔が検出されたか否かを判定する。判定の結果、顔が検出されていない場合はステップＳ６０８に進み、検出されている場合はステップＳ６０７に進む。

ステップＳ６０７では、制御部２０１は、ステップＳ６０５で検出された顔情報に基づいて主顔（主被写体）を特定する。なお、本フローチャートでは、主顔の特定に動き検出や人物認証を用いない。

ステップＳ６０８では、制御部２０１は、スマートフォン３００から撮影要求を受信したか否かを判定する。判定の結果、静止画撮影要求を受けた場合はステップＳ６０９に進み、受けていない場合はステップＳ６０１に戻り、次のフレームの処理を続行する。

ステップＳ６０９では、制御部２０１は、作業用メモリ２０５に記憶されている顔情報を参照し、ステップＳ６０５において顔が検出されたか否かを判定する。判定の結果、顔が検出されている場合はステップＳ６１０に進み、検出されていない場合はステップＳ６１３に進む。

ステップＳ６１０では、制御部２０１は、ステップＳ６０７で特定した主顔領域に対して測光処理を行い、主顔領域が適正露出となるシャッター速度および絞り値になるよう撮像部２０２のシャッターおよび絞りを自動で制御する。

ステップＳ６１１では、制御部２０１は、ステップＳ６０７で特定した主顔領域に対して、肌の色が適正となるよう画像処理部２０３の色処理の設定を自動で調節する。

ステップＳ６１２では、制御部２０１は、ステップＳ６０７で特定した主顔領域に対して測距処理を行い、主顔領域にピントが合うよう撮像部２０２のフォーカスレンズを自動で制御し、ステップＳ６１６に進む。

一方、ステップＳ６１３では、制御部２０１は、画面全体に対して測光処理を行い、適正露出となるシャッター速度および絞り値になるよう撮像部２０２のシャッターおよび絞りを自動で制御する。

ステップＳ６１４では、制御部２０１は、適正な色となるよう画像処理部２０３の色処理の設定を自動で調節する。

ステップＳ６１５では、制御部２０１は、画面全体を複数のブロックに分けて測距処理を行い、ピントが合うよう撮像部２０２のフォーカスレンズを自動で制御し、ステップＳ６１６に進む。

ステップＳ６１６では、制御部２０１は、撮像部２０２により静止画用にキャプチャされた画像データに対し、画像処理部２０３で各種処理を行った後、ＪＰＥＧ等により圧縮符号化し、作業用メモリ２０５に書き込む。

ステップＳ６１７では、制御部２０１は、ステップＳ６１６で作業用メモリ２０５に書き込まれた圧縮画像データを画像ファイルとして記録媒体２１０に記録する。

ステップＳ６１８では、制御部２０１は、スマートフォン３００から撮影画像の送信要求を受信したか否かを判定する。判定の結果、送信要求を受けた場合はステップＳ６１９に進み、受けていない場合は処理を終了する。

ステップＳ６１９では、制御部２０１は、ステップＳ６１７において記録媒体２１０に記録した圧縮画像データを、スマートフォン３００に送信する。スマートフォン３００は、デジタルカメラ２００から受信した圧縮画像データを記録媒体３１０に記録する。

以上説明したように、本実施形態におけるリモート撮影では、露出制御、ホワイトバランス制御、およびフォーカス制御などの撮影条件は、全てカメラ任せのオート撮影のみとなり、マニュアル撮影の選択は不可となる。また、スマートフォン３００を遠隔操作して撮影者自身を撮影するユースケースを想定しているため、被写体が動いている場合や、主被写体以外の人物が画面内に存在し、画面の中央以外に配置されている場合を考慮する必要がない。このため、通常撮影動作のような動き検出や人物認証を行わなくとも、顔検出により得られた顔情報に基づいてＡＦ、ＡＥ、ＡＷＢなどの制御を行うことで、人物を適正な露出で、人物の肌を適正な色で、人物にピントを合わせて撮影できる可能性が高くなる。

このように、本実施形態でのリモート撮影では、撮影に影響の少ない動き検出や人物認証を行わないことで、消費電力の増加による撮影可能枚数の減少や、演算処理負荷の増加によるリモート表示用画像の表示レート低下を抑えることができる。

［実施形態２］次に、実施形態２として、デジタルカメラ２００は動き検出や人物認証を行わず、主被写体をユーザが指定する例について説明する。

本実施形態では、リモート表示用画像が表示されたスマートフォン３００を操作することで主被写体を指定できる。このようにすることで、指定された主被写体情報に基づいてＡＦ、ＡＥ、ＡＷＢなどの制御を行い、主被写体を適正な露出、適正な色で、主被写体にピントを合わせて撮影を行うことができる。また、動き検出や人物認証を行わず、顔検出も指定された主被写体に制限して実行されるため、さらに消費電力や演算処理負荷を低減できるようになる。

＜リモート撮影モード時の撮影制御＞図８および図９を参照して、本実施形態のデジタルカメラ２００によるリモート撮影モード（図１（ｂ））における撮影動作について説明する。

図９は、リモート撮影モード時のスマートフォン３００の表示部３０６に表示される画面を例示している。（ａ）は主被写体を指定する際のユーザ操作および画面、（ｂ）はユーザにより指定された主被写体が識別できるように表示された画面を例示している。

ユーザが、図９（ａ）に示すようにスマートフォン３００の表示部３０６に表示されたライブビュー画像を見ながら、主被写体に指定したい位置をタッチすると、図９（ｂ）に示すように、表示部３０６のタッチした位置に主被写体を示す枠９０１が表示される。また、主被写体が指定されると、スマートフォン３００から主被写体領域の情報がデジタルカメラ２００に送信される。デジタルカメラ２００では、指定された主被写体領域から検出された被写体情報に基づいてＡＦ、ＡＥ、ＡＷＢなどの制御を行い、主被写体を適正な露出、適正な色で、主被写体にピントを合わせて撮影を行うことができる。

＜リモート撮影動作＞図８を参照して、本実施形態のデジタルカメラ２００によるリモート撮影動作について説明する。

なお、図８の処理は、不揮発性メモリ２０４に格納されたプログラムを、作業用メモリ２０５に読み出して制御部２０１が実行することにより実現される。また、図８の処理は、スマートフォン３００のカメラアプリが起動され、リモコンであるスマートフォン３００との間で無線接続を確立し、静止画記録モードなどに設定された状態でデジタルカメラ２００が起動されると開始される。

なお、図８のステップＳ８０１〜Ｓ８０４、Ｓ８０７、Ｓ８０９〜Ｓ８１８はそれぞれ、図６のステップＳ６０１〜Ｓ６０４、Ｓ６０８、Ｓ６１０〜Ｓ６１９と同様である。よって、以下では、図６と異なる点を中心に説明を進める。

図８において、ステップＳ８０５では、制御部２０１は、無線接続されたスマートフォン３００から主被写体領域の情報を受信したか、つまり、主被写体領域の指定が行われたか否かを判定する。判定の結果、主被写体領域が指定されていない場合はステップＳ８０７に進み、主被写体領域が指定された場合はステップＳ８０６に進む。

ステップＳ８０６では、制御部２０１は、スマートフォン３００から受信した主被写体領域の情報に基づいて主被写体を特定し、主被写体情報として位置座標、サイズ（幅、高さ）を作業用メモリ２０５に記憶する。なお、制御部２０１は、主被写体領域に対して顔検出を行い、検出された顔領域の位置座標、サイズ（幅、高さ）などを顔情報として作業用メモリ２０５に記憶し、顔が検出されなかった場合、作業用メモリ２０５の顔情報に０を設定する。

その後、ステップＳ８０７でスマートフォン３００から撮影要求を受けると、ステップＳ８０８に進み、制御部２０１は、作業用メモリ２０５に記憶されている主被写体情報を参照し、主被写体情報があるか否かを判定する。判定の結果、主被写体情報がある場合はステップＳ８０９に進み、主被写体情報がない場合はステップＳ８１２〜Ｓ８１８の処理を実行する。

ステップＳ８０９では、制御部２０１は、作業用メモリ２０５に記憶されている主被写体情報を参照し、主被写体領域に対して測光処理を行う。そして、主被写体領域が適正露出となるシャッター速度および絞り値になるよう撮像部２０２のシャッターおよび絞りを自動で制御する。

ステップＳ８１０では、制御部２０１は、作業用メモリ２０５に記憶されている主被写体情報を参照し、主被写体領域の色が適正となるよう画像処理部２０３の色処理の設定を自動で調節する。

ステップＳ８１１では、制御部２０１は、作業用メモリ２０５に記憶されている主被写体情報を参照し、主被写体領域に対して測距処理を行い、主被写体領域にピントが合うよう撮像部２０２のフォーカスレンズを自動で制御する。

その後、ステップＳ８１５〜Ｓ８１８の処理を実行する。

以上説明してきたように、本実施形態のリモート撮影動作では、動き検出や人物認証を行わず、顔検出もユーザが指定した主被写体のみに限定して行う。このようにスマートフォン３００から主被写体を指定できるようにして、指定された主被写体情報に基づいてＡＦ、ＡＥ、ＡＷＢなどの制御を行うことで、主被写体を適正な露出、適正な色で、主被写体にピントを合わせて撮影を行うことができる。また、動き検出や人物認証を行わず、顔検出もユーザが指定した主被写体のみに限定して行うため、さらに消費電力や演算処理負荷を低減できるようになる。

［他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (17)

1. 外部装置と通信する通信手段と、
   被写体を撮像して画像データを生成する撮像手段と、
   撮影条件を設定する設定手段と、
   前記設定手段による前記撮影条件の設定に用いられる、前記撮像手段により撮像された画像データにおける被写体を特定する特定手段と、
   前記通信手段を介して接続された前記外部装置から指示を受けて撮影を行う場合は、撮影者が装置を直接操作して撮影を行う場合に比べて、前記被写体を特定するための処理を少なくするよう制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記特定手段により特定された被写体に応じて設定された撮影条件に基づいて撮影を制御する撮影制御手段をさらに有し、
   前記被写体を特定するための処理は、被写体の特徴を検出する被写体検出処理の結果と、被写体の動きを検出する動き検出処理および前記動き検出処理により検出された被写体が所定の被写体であるか判定する被写体認証処理のうち少なくとも１つの結果とを利用することが可能であり、
   前記制御手段は、前記通信手段を介して接続された前記外部装置から指示を受けて撮影を行う場合、前記動き検出処理または前記被写体認証処理を行わず、前記被写体検出処理を行うよう制御することを特徴とする請求項１に記載の撮像装置。
3. 撮影モードを選択する選択手段をさらに有し、
   前記選択手段は、前記撮影者が装置を直接操作して撮影を行う通常撮影モードと、前記通信手段を介して接続された前記外部装置から指示を受けて撮影を行うリモート撮影モードとが選択可能であり、
   前記通常撮影モードで撮影を行う場合、前記特定手段は、前記被写体検出処理と前記動き検出処理と前記被写体認証処理の結果を用いて被写体を特定し、
   前記リモート撮影モードで撮影を行う場合、前記特定手段は、前記動き検出処理と前記被写体認証処理の結果を用いず、前記被写体検出処理の結果を用いて被写体を特定することを特徴とする請求項２に記載の撮像装置。
4. 前記外部装置は、前記撮像手段により撮像された画像データを表示する表示手段と、前記表示手段に表示されている画像から被写体を指定する指定手段と、を有し、
   前記撮像装置において、
   前記特定手段は、前記指定手段による指定に基づき被写体を特定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記選択手段は、前記撮影条件を自動で設定するオート撮影と、ユーザがマニュアルで前記撮影条件の設定が可能なマニュアル撮影とが選択可能であり、
   前記通常撮影モードで撮影を行う場合は、前記オート撮影と前記マニュアル撮影のいずれかを選択可能とし、前記リモート撮影モードで撮影を行う場合は、前記マニュアル撮影の選択を不可とすることを特徴とする請求項３に記載の撮像装置。
6. 前記撮影条件は、露出制御、フォーカス制御、ホワイトバランス制御の少なくともいずれかに関する情報を含むことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記被写体検出処理は、人物の顔を検出することを特徴とする請求項２ないし５のいずれか１項に記載の撮像装置。
8. 前記外部装置からの送信要求を受けて前記撮像手段により撮像された画像データを前記外部装置に送信する第１の送信手段と、
   前記外部装置からの撮影指示を受けて前記撮像手段により撮像された画像データを記録する記録手段と、
   前記外部装置からの送信要求を受けて前記記録手段に記録された画像データを前記外部装置に送信する第２の送信手段と、をさらに有することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記外部装置は携帯電話であることを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 前記外部装置はスマートフォンであることを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
11. 前記外部装置はタブレット端末であることを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
12. 前記通信手段は、無線通信であることを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 前記通信手段は、無線ＬＡＮに基づく通信であることを特徴とする請求項１１に記載の撮像装置。
14. 前記通信手段は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく通信であることを特徴とする請求項１１に記載の撮像装置。
15. アクセスポイントとして動作し、ネットワークを形成する形成手段をさらに有することを特徴とする請求項１ないし１４のいずれか１項に記載の撮像装置。
16. 外部装置と通信する通信手段と、撮影条件を設定する設定手段とを有する撮像装置の制御方法であって、
    被写体を撮像して画像データを生成するステップと、
    前記撮影条件の設定に用いられる、前記撮像された画像データにおける被写体を特定するステップと、
    前記通信手段を介して接続された前記外部装置から指示を受けて撮影を行う場合は、撮影者が装置を直接操作して撮影を行う場合に比べて、前記被写体を特定するための処理を少なくするよう制御するステップと、を有することを特徴とする方法。
17. コンピュータを、請求項１ないし１５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

Images