以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)、(b)に第一実施形態を適用可能な撮像制御装置の一例としてのデジタルカメラの外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。表示部28は画像や各種情報を表示する表示部であり、タッチ操作を受付可能(タッチ検出可能)なタッチパネル70aが重畳して設けられている。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための(切替可能な)操作部である。端子カバー40は外部機器とデジタルカメラ100とを接続する接続ケーブル等のコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は、操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー74は操作部70に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー74の押した部分に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。LVボタン(ライブビューボタン)78は操作部70に含まれ、静止画撮影モードにおいては、表示部28におけるライブビュー(以下、LV)表示のONとOFFを切り替えるボタンである。動画撮影モードにおいては、動画撮影(記録)の開始、停止の指示に用いられる。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。
グリップ部90は、デジタルカメラ100を保持しながら操作をするための保持部(把持部)であり、グリップ部90側には操作部70がある。
ユーザは、ファインダ16を覗きこむと、光学ファインダ(OVF)を通して被写体を見ることができる(視認可能)。接眼センサ77は、物体が1センチや2センチ等の所定距離より近い距離(所定距離以内)に接近していることを検知するための物体検知手段(接眼検知)である。例えばユーザがファインダ内表示部76を見ようとファインダ16に目を近付け(接眼部16aを覗きこむようにする)、接眼センサ77が物体(目)の接近を検知すると、OVFを通して見える被写体に、ファインダ内表示部76の表示が重畳して見える。また、接眼センサ77は所定距離以上物体(目)が離れたことを検知すると、ファインダ内表示部76からアイテム等の表示を非表示にする。また、ユーザがファインダ16を覗きこむと、表示部28は非表示になるが、AF位置の設定等のためのタッチパネル70aへのタッチ操作は受け付けることができる。このとき、グリップ部90を保持しシャッターボタン61に指をかけた状態で、タッチパネル70aへタッチ操作をすると、ファインダ内表示部76の表示(とOVFを通して見える被写体)を見ながら、AF位置の移動操作と撮影指示とを素早く行うことができる。ただし、ファインダ16の表示は、OVFでなくても、EVF(電子ビューファインダ)でもよい。
レンズユニット150は、デジタルカメラ100に取り外し可能なレンズ部である。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子10はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。
AEセンサー17は、レンズユニット150、クイックリターンミラー12を通し、フォーカシングスクリーン13上に結像した被写体(像)の輝度を測光する。
クイックリターンミラー12(以下、ミラー12)は、露光、ライブビュー撮影、動画撮影の際にシステム制御部50から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー12は、レンズ103から入射した光束をファインダ16側と撮像部22側とに切替えるためのミラーである。ミラー12は通常時はファインダ16へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部22へと光束を導くように上方に跳ね上がり光束中から待避する(ミラーアップ)。またミラー12はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部11に入射するように透過させる。
撮影者は、ペンタプリズム14とファインダ16を介して、フォーカシングスクリーン13上に結合された像を観察することで、レンズユニット150を通して得た被写体の光学像の焦点状態や構図の確認が可能となる。
ファインダ内表示部76は、レンズ103からファインダ16までの光路上に配置された表示部であり、システム制御部50を介して、現在AF位置を示す枠や、カメラの設定状態を表すアイコン等(アイテム、マーク、記号等)が表示される。フォーカシングスクリーン13とファインダ内表示部76は近接した位置にあり、それぞれの表示を一度に確認できるように重ねて配置される。
焦点検出部11(AFセンサー)は、撮像画像よりシステム制御部50にデフォーカス量情報を出力する位相差検出方式のAFセンサーである。システム制御部50は通信端子6,10を介して、レンズユニット150を制御可能であり、AF駆動回路3を介して、デフォーカス量情報に基づいて位相差AFを行い、レンズ103の位置を変位させることで位相差AFを行う(AF実行可能)。AFの方法は、位相差AFでなくてもよく、コントラストAFでもよい。
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
表示部28は画像を表示するための背面モニタであり、画像を表示するディスプレイであれば液晶方式に限らず、有機ELなど他の方式のディスプレイであってもよい。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28やファインダ内表示部76に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28やファインダ内表示部76により表示される。表示部28やファインダ内表示部76は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ変換する。さらに、表示部28(ファインダ内の表示がEVFである場合にはEVF)に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開され、RAMが用いられる。また、システム制御部50はメモリ32、D/A変換器19、表示部28、ファインダ内表示部76等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、シャッターボタン61、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを撮影モード、再生モード等のいずれかに切り替える。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、メニュー画面に含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、メニュー画面に一旦切り換えた後に、メニュー画面に含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、LVボタン78、再生ボタン79。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源スイッチ72は、電源のONとOFFの切替操作を受け付ける。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(スルー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信(受信可能)することができる。
なお操作部70の一つとして、表示部28に対する接触を検知可能なタッチパネル70aを有する。タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、恰もユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を構成することができる。このように、タッチ操作が行われた位置と表示部28の位置とを対応づけて指示を受け付ける設定を絶対座標設定という。
また、絶対座標設定とは異なり、表示部28の所定の位置から、タッチ座標ではなく、タッチ操作の移動量や移動方向等に応じて移動した位置(移動操作に応じた量移動した位置)への指示を受け付ける設定を相対座標設定という。
ファインダ内表示部76を見ながら操作をする場合には、絶対座標設定でタッチ操作をすると、タッチパネル70a(表示部28)を見ないでタッチすることになり、所望の位置からずれた位置に誤ってタッチ操作をしてしまう可能性が高い。一方で、相対座標設定でタッチ操作をすると、タッチ操作の位置ではなく移動量で移動指示をするので、ファインダ内表示部76に表示される操作対象の位置を見ながら所望の位置まで、移動する操作をすれば所望の位置への指示をすることができる。絶対座標設定と相対座標設定はメニュー画面のタッチパッド設定において設定することができる。相対座標設定の場合に、表示部28をユーザが見ている状態で操作をすると、タッチ位置と指示位置がずれて操作性がよくない可能性がある。よって、接眼センサ77が物体の接近を検知した時に相対座標でのタッチ操作を受け付けると、表示部28をみている場合にもファインダ内表示部76を見ている場合にも操作性がよい。なお、表示部28に画像を表示しないが、タッチパネル70aがタッチ操作を受け付ける機能をタッチパッド機能と称する。
システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネルにタッチしていなかった指やペンが新たにタッチパネルにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネルを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネルを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネルへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネルに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。タッチオンが検出されてからタッチムーブせずに、素早タッチアップする一連の操作をタップという。またタッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。
顔検出機能について説明する。システム制御部50は顔検出対象の画像データを画像処理部24に送る。システム制御部50の制御下で画像処理部24は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部50の制御下で画像処理部24は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部50は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部50は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数や顔の撮影画像に対する座標などの情報をシステムメモリ52に記憶する。
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。
図3を用いて本実施形態におけるデジタルカメラ側のAF位置の指定処理について、主顔の選択を例に説明する。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、デジタルカメラ300に電源が入ると開始する。
S301では、システム制御部50は、リモコン504と通信可能であるか否かを判定する。リモコン504に電源が入っており、リモコン504とデジタルカメラ300との通信が確立していれば(データの送受信が可能であれば)、S302へ進み、そうでない場合は、S303へ進む。
S302では、システム制御部50は、リモコン504と接続状態であることをシステムメモリ52に記録する。
S303では、システム制御部50は、リモコン504と非接続状態であることをシステムメモリ52に記録する。
S304では、システム制御部50は、現在設定されているモードが撮影モードであるか否かを判定する。撮影モードは、モード切替スイッチ60やメニュー画面において設定することができる。撮影モードであると判定された場合には、S305へ進み、そうでない場合は、S306へ進む。
S305では、システム制御部50は、図5(a)に示すように、表示部501にホーム画面を表示する。図5(a)、(b)、(f)は、ホーム画面やAFする位置を選択する画面を表示した表示部501と、表示部501の上辺と下辺に配置されており、表示部501とは別に設けられている物理的なボタンとを示したものである。図5(a)において表示部501にはホーム画面が表示されている。ホーム画面の上側においては、FPS(フレームレート)アイコン520、AUDIO(オーディオ)アイコン521、SHUTTER(シャッター速度)アイコン522が表示される。また、ホーム画面の下側には、WB(ホワイトバランス)アイコン523、INFO(情報表示)アイコン524、FOCUS(フォーカス設定)アイコン525が表示される。アイコン520(FPS)〜アイコン525(FOCUS)は、各アイコンへのタッチ操作または、アイコンと対応する位置にあるボタン(上辺のアイコンはその上辺に沿った位置にあるボタン)への押下によって選択される。例えば、FOCUSアイコン520はボタン502g、AUDIOアイコン521はボタン502cの押下により選択可能である。また、上辺に沿ったアイコンの下部分、下辺に沿ったアイコンの上部分には、各アイコンの示す設定(機能)の設定値が表示されている。各アイコンは機能を示しており、表示部501の上辺にある、FPSアイコン520であればフレームレートの設定、AUDIOアイコン521であれば音量の設定、SHUTTERアイコン522であればシャッター速度の設定をすることができる。さらに、表示部501の下辺に沿った位置にある、WBアイコン523であればホワイトバランスの設定、INFOアイコン524であれば情報表示のON/OFFの切り替え、FOCUSアイコン525であればフォーカスの設定をすることができる。
S306では、システム制御部50は、S304において撮影モードではないと判定されたので他のモードの処理を行う。他のモードにおいては、撮影済みの画像を再生する再生モードでの画像再生処理や、メニュー画面において項目の設定をする処理等を行う。
S307では、システム制御部50は、S305で上述したFPS520〜FOCUS525の機能のいずれかが選択されたか否かを判定する。すなわち、ボタン502b〜502g(ハードウェアキー)の押下または、アイコン520〜525へのタッチがされたか(タッチ検出したか)否かを判定する。機能が選択されたと判定した場合は、S309へ進み、そうでない場合は、S308へ進む。
S308では、システム制御部50は、フォーカス設定が選択されたか否かを判定する。フォーカス設定は、アイコン525へのタッチまたは、ボタン502gへの押下によって選択される。またはリモコン504からの指示に応じて設定可能である。フォーカス設定が選択されたと判定した場合は、S310へ進み、そうでない場合は、S311へ進む。
S309では、システム制御部50は、通信部506を介して機能選択に関するリモコン504側からの指示を受け付けたか否かを判定する。リモコン504側からの指示を受け付けたと判定した場合には、S308へ進み、そうでない場合は、S304に戻る。
S310では、システム制御部50は、S309においてフォーカス設定が選択されたと判定された後、さらに顔AFに設定されたか否かを判定する。フォーカス設定が選択され、さらにAFとMFの切り替えや、顔検知の設定のON/OFFを設定することができ、AFかつ顔検知がONになる顔AFが可能となる。つまり、アイコン526へのタッチ操作またはボタン502dの押下によりAFに設定され、さらにアイコン527へのタッチ操作またはボタン502bの押下により顔検知がONになると設定される。また、アイコン526へのタッチ操作またはボタン502dの押下により、AFからMF(マニュアルフォーカス)へと切り替え可能であり、さらにアイコン527へのタッチ操作またはボタン502bの押下により、顔検知をONからOFFに切り替え可能である。フォーカス設定画面において顔AFに設定されると、図5(b)に示す検出された顔座標の位置と、検出された顔の中から主顔を選択可能な主顔設定画面が表示部501に表示される。図5(b)の主顔設定画面においては、上述した検出された顔の位置を示す顔枠528と主顔を示す主顔枠530が表示される。
S311では、システム制御部50は、S309でフォーカス設定以外の機能が選択されたと判定されたので、他の機能に関する設定処理を行う。他の機能とは例えば、オーディオ設定や、フレームレートの設定、ホワイトバランスの設定等である。
S312では、システム制御部50は、S310においてフォーカス設定が顔AF以外に設定されたと判定されたので、AF(顔AFでない)またはMFの処理を行う。AF処理では、ユーザの撮像指示に応じてAF処理をする。このとき、合焦する被写体(位置)を選択できるようにしてもよい。また、MF処理では、図5(g)に示すようにフォーカス距離を選択できるようにしてもよい。図5(g)は、MFをする場合の表示部501の表示例であり、MFをする場合であっても撮像画像は表示部501には表示しない。
S313では、システム制御部50は、電源のOFFや電池が切れたことにより処理が終了されたか否かを判定する。電源のOFFは、電源スイッチ72のスイッチ切替により行うことができる。処理が終了されたと判定した場合には、処理を終了し電源をOFFにして処理を終了する、そうでない場合には、S314へ進む。デジタルカメラ300側の処理が終了するとリモコン504側の処理も終了する。
S314では、システム制御部50は、撮像部22により得られた撮像画像から、上述した顔検出の処理により顔を検出し、さらに顔のある位置の座標を取得する。座標は、図5(b)に示すように、主顔選択可能範囲(合焦可能な範囲)のうち左上の点を原点として右方向にX軸、下方向にY軸を設ける。図5(b)に示す座標軸XとYは、座標を説明するための表示であり、実際に表示部501に表示されるわけではない。このとき、検出された顔の位置座標はシステムメモリ52に記録され、検出がされる度に更新される。
S315では、システム制御部50は、表示部501とファインダ内表示部91に、S314において検出された顔の座標(A、B、Cとする)に顔枠を表示する。図5(b)の表示部501に示すように、顔枠528を表示し、さらに主顔には主顔に主顔枠530を表示する。図5(b)では、S314において検出された顔の数が3、一番右にいる人物(座標Cの位置にいる人物)が主顔としたが、人数や主顔となる被写体はこれに限らず、撮像部22により得られた撮像範囲内(撮像画像内)から検出された顔検出結果による。また、図5(c)のファインダ内表示部91に示すように、撮像画像531(ライブビュー画像)に重畳して、顔枠528を表示し、さらに主顔枠530を表示する。主顔枠530は後述するS318、S319においてユーザの指示による主顔の選択を受け付けるまで表示しなくてもよいし、検出された顔のうち、撮像画像において面積の大きな顔を主顔として主顔枠530を表示するようにしてもよい。
S316では、システム制御部50は、システムメモリ52に記憶されているリモコン504との接続状態が、接続状態か、非接続状態であるかを判定する。接続状態であると判定した場合には、S317へ進み、そうでない場合は、S318へ進む。
S317では、システム制御部50は、通信部506を介してリモコン504側に顔の数、各顔の位置座標、主顔の位置座標等を送信する。下記に示すように、検出された顔の数、各顔の位置座標、主顔の位置座標を送信する。
デジタルカメラからリモコンへの送信の情報
顔の数:3
顔の位置座標:A(Xa,Ya)、B(Xb,Yb)、C(Xc,Yc)
主顔の位置座標:C(Xc,Yc)
主顔が選択されていなければ、主顔に関する情報は送信しなくてもよい。
S318では、システム制御部50は、通信部506を介してリモコン504からの主顔情報を受け付けたか否かを判定する。リモコン504からの主顔情報を受け付けたと判定した場合は、S326へ進み、そうでない場合は、S319へ進む。下記にはリモコン504からの主顔情報を示す。
リモコンからデジタルカメラへの送信情報
主顔の位置座標:B(Xb,Yb)
S319では、システム制御部50は、表示部501において主顔を選択する操作があったか否かを判定する。表示部501における(デジタルカメラ300側の)主顔の選択は、タッチパネル502aに表示される顔枠へのタッチ操作により行うことができる。主顔の選択操作があったと判定した場合には、S324へ進み、そうでない場合は、S320へ進む。
S320では、システム制御部50は、撮影指示があったか否かを判定する。撮影指示は、シャッターボタン61への押下により行うことができる。撮影指示があったと判定した場合は、S321へ進み、そうでない場合は、S313へ進む。
S321では、システム制御部50は、現在動画の撮影中(動画の記録中)であるか否かを判定する。撮影中であると判定した場合には、S322へ進み、そうでない場合は、S323へ進む。
S322では、システム制御部50は、S321で記録中であると判定されたので、S320の撮影指示に応じて撮影を終了し、記録終了処理をする。記録終了処理では、動画の属性情報、フレーム間情報、サムネイルの作成、圧縮処理等を行い作成した動画を再生できるような処理を行う。これらの情報は記録媒体200に動画と共に保存される。このとき、システムメモリ52に記録されていた主顔情報も共に記録してもよい。
S323では、システム制御部50は、動画の記録を開始する。このとき、現在選択されている主顔に合焦した画像が記録される。S314〜S327の処理において、記録中であっても主顔を変更することができるので、動画の撮影中にも、ある人物に合焦した後に他の人物に素早く合焦する人物を切り替えることができる。
S324では、システム制御部50は、システムメモリ52に記憶されているリモコン504との接続状態が、接続状態か、非接続状態であるかを判定する。接続状態であると判定した場合には、S325へ進み、そうでない場合は、S326へ進む。
S325では、システム制御部50は、表示部501において選択した主顔に関する情報を含む情報(顔の数、各顔の位置座標、主顔の位置座標等)を、通信部506を介して送信する。
S326では、システム制御部50は、表示部501及びファインダ内表示部91に、選択された主顔の座標に主顔枠530を表示する。また、もともと主顔に設定されていた他の被写体(顔)がある場合には、もともとの主顔の位置には、主顔枠530ではなく顔枠528が表示される。S315と同様に、ファインダ内表示部91では、撮像画像531に重畳して顔枠と主顔枠は表示される。また、このとき、選択された主顔の位置座標はシステムメモリ52に記録される。
S327では、システム制御部50は、選択された主顔にAFする処理をし、S313に戻り、再びS314以降の処理を行う。被写体の顔の位置がずれたり、撮像範囲内にある顔の数が変わったとしても、S314において再び顔のある位置座標を取得するので、顔枠や主顔枠が表示される位置や数を更新することができる。なお、顔検出はS314だけでなく、所定期間毎に行うようにしてもよい。
なお、本実施形態では、デジタルカメラ300側から主顔情報や位置座標等をリモコン504側に送信することを説明したが、必ずしも送信しなくても、例えばリモコン504がシャッター速度やホワイトバランス等の他の項目の設定中には送信しなくてもよい。
次に、図4を用いて本実施形態におけるリモコン側のAF位置の指定処理について説明する。この処理は、不揮発性メモリ511に記録されたプログラムをシステムメモリ510に展開してシステム制御部509が実行することで実現する。なお、この処理は、リモコン504に電源が入ると開始する。
S401では、システム制御部509は、デジタルカメラ300と通信可能であるか否かを判定する。通信可能である場合には、デジタルカメラ300に電源が入っており、リモコン504側とデジタルカメラ300側の通信が確立すると、通信可能となる。通信可能であると判定された場合には、S402へ進み、そうでない場合は、通信が確立するまで待つ。
S402では、システム制御部509は、デジタルカメラ300から通信部503を介して、デジタルカメラ300本体のモード(再生モード、撮影モード等のいずれであるか)を取得する。
S403では、システム制御部509は、S402で取得したデジタルカメラ300のモードが撮影モードであるか否か(S304においてYesとなったか)を判定する。撮影モードであると判定された場合は、S404へ進み、そうでない場合は、S405へ進む。
S404では、システム制御部509は、ホーム画面を表示部505に表示する。図5(d)に示すように、リモコン504側の表示部505にも、表示部505とは別に設けられたボタン508b〜508gが表示部505の上辺と下辺に沿ってある。図5(d)においては、ボタン508bの表示されている上辺の左側の位置に対応する、表示部505の上辺の左側の位置にはアイコン527が表示されている。ボタン508bの押下によって、アイコン527の選択操作を行うことができ、またアイコン527への(タッチパネル508aへの)タッチ操作によっても選択をすることができる。このように、リモコン504においても表示部505の周辺に配置されるボタンへの押下や、タッチパネル508aへのタッチ操作によって項目の選択や機能の実行等の操作をすることができる。また、表示部505の上辺に沿っては、ボタン508b〜ボタン508dが、下辺に沿っては、ボタン508e〜ボタン508gが配置されている。
S405では、システム制御部509は、図3のS306と同様に他のモード処理をする。
S406では、システム制御部509は、リモコン504側で図3のS307と同様に機能が選択されたか否かを判定する。機能が選択されたと判定した場合は、S408へ進み、そうでない場合は、S407へ進む。
S407では、システム制御部50は、通信部503を介して機能選択に関するデジタルカメラ300側からの指示を受け付けたか否かを判定する。デジタルカメラ300側からの指示を受け付けたと判定した場合には、S408へ進み、そうでない場合は、S403に戻る。
S408では、システム制御部50は、リモコン504側の操作もしくはS407で受け付けたデジタルカメラ300側の指示によって、フォーカス設定がされたか否かを判定する。リモコン504におけるフォーカス設定は、S406におけるホーム画面でのFOCUS525へのタッチ、もしくはボタン502gの押下により行うことができる。フォーカス設定がされたと判定した場合は、S410へ進み、そうでない場合は、S409へ進む。
S409では、システム制御部50は、図3のS311と同様に他の処理を行う。
S410では、システム制御部50は、図3のS310と同様にフォーカス設定が顔AFであるか否かを判定する。設定が顔AFであると判定した場合には、S412へ進み、そうでない場合は、S411へ進む。
S411では、システム制御部50は、図3のS312と同様にMFやAFの処理を行う。ただし、リモコン504側では、デジタルカメラ300側にMFやAFの指示をする処理を行い、実際の合焦動作はデジタルカメラ300側で行われる。AF処理を行う場合に、合焦する被写体を選択できるようにしてもよい。また、MF処理では、図5(g)に示すようにフォーカス距離を選択できるようにしてもよい。
S412では、システム制御部50は、図3のS313と同様に、電源のOFFや電池が切れたことにより処理が終了されたか否かを判定する。さらにS412では、デジタルカメラ300側の電源がOFFになった場合でも終了したと判定する。処理が終了されたと判定した場合には、処理を終了し電源をOFFにして、そうでない場合には、S413へ進む。
S413では、システム制御部50は、デジタルカメラ300側から(図3のS317またはS325で送信された)顔の数、各顔の位置座標、主顔の位置座標等を取得する。取得した情報はシステムメモリ510に記録される。
S414では、システム制御部50は、表示部505に顔枠を表示する。図5(d)は主顔設定画面を示しており、デジタルカメラ300で撮像された画像をリモコン504は通信部503を介して受信していないので、主顔設定画面には撮像画像は表示されない。リモコン504は、デジタルカメラ300で検出された顔の位置を示す顔座標と、検出された顔の中で選択された顔である主顔の座標とを取得し、表示部505上の対応する座標位置に顔枠528と主顔枠530を表示する。図5(d)では、図4のS317でデジタルカメラ300側から送信された情報を受信した場合の表示例を示している。検出された顔の位置座標はA,B,CなのでA,B,Cの位置に人物の顔があり、主顔はCの位置であるという情報を受信したので、主顔設定画面においては座標A,Bの位置に顔枠528を、座標Cの位置に主顔枠530を表示する。ユーザは、実際の被写体や、撮像表示画面、シナリオに沿って、顔枠と対応する人物とを認識し、表示された顔枠の情報に基づいて主顔の選択をすることができる。このときに、撮像画像は送受信せずに、検出された顔座標と主顔に関する情報を送受信しているので、主顔設定画面に表示される被写体の位置情報に遅延が少ない。そのため、被写体が頻繁に動く場合や被写体同士の位置が変わる場合にも実際の被写体の位置と主顔設定画面上での位置とのずれが撮像画像の送受信をするよりも少なくなるため、狙った被写体へのAF指示をより正確に行うことができる。
S415では、システム制御部50は、表示部505において顔枠を選択する操作があったか否かを判定する、顔枠を選択する操作があったと判定した場合は、S416へ進み、そうでない場合は、S412へ戻る。顔枠の選択は、図5(d)の主顔設定画面に示すように、顔枠へのタッチ操作によって行うことができる。
S416では、システム制御部50は、S415において選択された主顔に主顔枠530を表示する。図5(d)において座標Bにある顔枠528がタッチされると、図5(e)の主顔設定画面に示すように、座標Bに主顔枠530が表示される。一方で、今まで主顔であったCの位置にある顔は主顔ではなくなるので、主顔枠530から顔枠528へと表示が切り替わる。選択された主顔に関する情報はシステムメモリ510に記録される。このように、主顔枠530と顔枠528との表示形態を(識別可能に)変えることで、被写体(人物の顔)の位置と、AF処理を行っている位置との情報を把握することができる。
S417では、システム制御部50は、S415において選択された主顔の座標を、通信部503を介してデジタルカメラ300に送信する。下記に、リモコン504からデジタルカメラ300への送信情報を示す。
リモコンからデジタルカメラへの送信情報
主顔の位置座標:B(Xb,Yb)
リモコン504側では、顔検出を行わないので、主顔情報(主顔座標)のみを送信する。このとき、デジタルカメラ300のファインダ内表示部91では、図5(f)に示すようにBの座標の被写体に主顔枠530が表示され、Bにフォーカスが合うように処理が行われる。
以上、説明した実施形態によれば、デジタルカメラにおいてAF位置等の特定の処理の基準となる位置(被写体)を、デジタルカメラから離れた位置にあるリモコン等のリモートで選択する場合に、より確実にユーザが意図した被写体を基準とすることができる。撮像画像は送受信せず、撮像画像より検出された顔の座標情報を送受信するので、通信量が限られていたり、撮像画像の容量が大きい場合であっても、被写体の位置に関する情報は実際に撮像されたタイミングにより近いタイミングでリモコン側に伝わる。よって、ユーザは撮像されたタイミングからよりずれが少ない状態で、被写体の位置情報を認識することができ、さらに主顔の選択をすることができる。実際に撮像されたタイミングからのずれが少ないと被写体の撮像範囲内での位置のずれも少ないので、ユーザの選択した被写体がリモコンからの指示後にも、同じまたは近い位置にいる可能性が高い。よって、デジタルカメラ側ではより確実にユーザがリモコンで選択した被写体へとAF処理をすることができる。また、被写体の座標情報だけを表示すればよいので表示領域が限られているような場合であっても、ユーザはAF処理する被写体の選択を行うことができる。
なお、検出された顔に番号を付与し、デジタルカメラ300側からリモコン504側へは、各顔の番号と座標とを対応させて送信し、リモコン504側からは選択された主顔の番号のみをデジタルカメラ300に送信してもよい。または、顔の識別番号でなくても、デジタルカメラ300での顔検出と同時に、検出された顔の人物特定も行い(事前に顔情報を登録する)人物名(名前、記号、印等の識別子)と座標情報を対応させて表示してもよい。リモコン504の表示部505(デジタルカメラ300の表示部501でも)人物名が表示されると、顔枠だけの表示であってもすぐに人物と顔の位置とが分かる。リモコン504で表示領域が十分にない場合には、人物名のみを送受信して、主顔とする人物を選択できるようにしてもよい。
なお、本実施形態では顔枠は一重の線で、主顔枠を二重の線で表現したが必ずしもこのような表示形態でなくてもよく、例えば、四角で囲ったり、顔の領域に色をつけて顔があることをユーザが認識できればよい。
本実施形態では、デジタルカメラ300側からの顔座標や主顔情報を受け取ったことに応じて、リモコン504側の表示部505の表示も、受け取った顔座標や主顔情報に合わせて表示し直すことを説明した。しかし、必ずしもデジタルカメラ300側から顔座標や主顔情報を受け取ったら、受け取った情報に合わせて表示をし直さなくてもよく、例えば顔AF以外の制御を行っていない場合等には、必ずしも切り替えなくてもよい。ただし、顔AFの制御を行っている場合には、主顔に関する情報をデジタルカメラ300側と合わせる必要がある。
なお、本実施形態では、顔枠の選択をタッチ操作で行うものとして説明したが、タッチでなくても十字キーへの操作やダイヤル操作、ボタン操作等の操作であってもよい。
なお、システム制御部50、509が行うものとして説明した上述の各フローチャートの制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、上述した各種実施形態においては、本発明をデジタルカメラ300、リモコン504に適用した場合を例にして説明した。しかし、この例に限定されず、AF処理、AE処理、WB処理といった特定の処理を行う位置を変更する制御を行うことができる撮像制御装置であれば適用可能である。即ち、本発明はパーソナルコンピュータ(PC)や、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレットPC、スマートフォン、家電装置等に適用可能である。また、デジタルカメラ等のAF情報を有線または無線通信を介して受信して表示し、リモートでデジタルカメラ(ネットワークカメラを含む)を制御するスマートフォンやタブレットPC、デスクトップPCなどの装置にも適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。