JP5043736B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5043736B2
JP5043736B2 JP2008088754A JP2008088754A JP5043736B2 JP 5043736 B2 JP5043736 B2 JP 5043736B2 JP 2008088754 A JP2008088754 A JP 2008088754A JP 2008088754 A JP2008088754 A JP 2008088754A JP 5043736 B2 JP5043736 B2 JP 5043736B2
Authority
JP
Japan
Prior art keywords
subject
image
optical system
face
imaging optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008088754A
Other languages
English (en)
Other versions
JP2009246558A (ja
Inventor
武士 阪口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008088754A priority Critical patent/JP5043736B2/ja
Priority to US12/407,254 priority patent/US8184192B2/en
Priority to CN200910132356XA priority patent/CN101547312B/zh
Publication of JP2009246558A publication Critical patent/JP2009246558A/ja
Priority to US13/451,296 priority patent/US20120200760A1/en
Application granted granted Critical
Publication of JP5043736B2 publication Critical patent/JP5043736B2/ja
Priority to US14/597,079 priority patent/US9894280B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮像装置及びその制御方法に係り、特に、人物を被写体として撮影する際、撮像素子の撮像信号を用いて被写体の顔を検知する撮像装置及びその制御方法に関する。
従来、位相差検出方式のAFカメラであって、複数の焦点検出点を有するカメラでは、被写界における複数の焦点検出点について焦点検出し、これらの焦点検出点の中から自動又は任意で選択された一つの焦点検出点に焦点が合うように制御される。焦点検出点を自動で選択するとき、一般的なカメラでは、各焦点検出点での焦点検出結果に基づき、被写体までの距離が最も小さい焦点検出点を選択して焦点を合わせる。
一方、撮像レンズによって形成される被写体像を撮像素子で撮像し、フォーカスエリア内の撮像信号を用いて合焦位置を決定するコントラスト方式によるAFカメラがある。コントラスト方式のカメラは、フォーカスエリア内の焦点評価値がピークを示す焦点位置で焦点を合わせる。
この種のコントラストAFカメラでは、特に、人物の顔の領域を検知して顔に焦点を合わせるカメラが知られている。顔検知手法については、すでに多くの手法が提案されている。例えば特許文献1には、人の顔の形状に相当する顔候補領域を決定し、この顔候補領域の特徴量から顔領域を決定する手法が提案されている。また、同文献には、画像から人の顔の輪郭を抽出することにより顔候補領域を検出する手法、及び、顔の様々な形状をした複数のテンプレートとの相関値を計算し、この相関値に基づいて顔候補領域を検出する手法が提案されている。
しかし、いずれのAFの焦点検出方式であっても、焦点距離の長いレンズをカメラに装着して、被写界深度が浅くなる状況下で焦点を合わせることは難しい。特に、複数の人が遠近異なる距離に存在する場合、この中から撮影者が焦点を合わせたい主被写体に焦点を合わせることは、被写界深度内に主被写体が存在するとは限らないため困難である。
位相差方式のカメラによると、複数の焦点検出点から自動で一つの焦点検出点に焦点を合わせるように制御するとき、その焦点検出点の近くに撮影者が意図しない被写体が入ると、その被写体に焦点が合ってしまう。このため、位相差方式のカメラでは、撮影者が意図する肝心の主被写体には焦点が合わないという問題がある。
また、コントラスト方式のカメラによると、コントラストのピークが一番大きい被写体に合焦するように焦点が検出される。このため、例えば、主被写体より背景のコントラストのピークが大きい場合、背景に焦点が合ってしまう。また、被写体の顔より洋服のコントラストのピークが大きい場合、洋服に焦点が合ってしまう。このように、コントラスト方式のカメラでは、検出されるべき焦点の位置が不安定となり、撮影者が望む位置に焦点が合わないという問題がある。
さらに、被写体の顔を検知して焦点を合わせる顔検知方式のカメラでは、焦点位置における被写界深度内に存在する被写体の顔は検知できるが、この被写界深度内に主被写体が存在しないときは主被写体を見つけられないという問題がある。
これらの方法に対して、特許文献2には、複数人の被写体の顔を検知し、これらの顔に対する被写体距離及び被写体輝度などの撮影パラメータからグループ化を行う方法が提案されている。同文献によれば、これらのグループ毎に最適な撮影パラメータを設定して撮影することにより、それぞれの被写体にとって最適な撮影パラメータでの撮影を行うことができる。
特開平8−63597号公報 特開2006−345254号公報
しかしながら、カメラの被写界深度が浅い状況では、複数の人が遠近異なる距離に存在する場合、撮影者が焦点を合わせたい主被写体に焦点を合わせることが困難である。
現在の焦点位置における被写界深度内に主被写体が存在しない場合、フォーカシングレンズを駆動させながら他の焦点位置における被写界深度内で主被写体に焦点を合わせる必要がある。この際、位相差方式のカメラであれば、最も近い被写体に焦点が合い、また、コントラスト方式であれば、コントラストのピークが一番高いところに焦点が合う。しかし、必ずしも焦点を合わせた位置が主被写体であるということにはならない。
複数人数の被写体の顔を検知し、これらの顔に対する被写体距離及び被写体輝度などの撮像パラメータからグループ化を行い、グループ毎に最適な撮像パラメータを設定して撮影する方法はある。この方法は、一度のレリーズ動作で、被写体の顔を検知した複数の焦点位置にて撮影するため、画面内の複数の人物に対して撮影を行うことができる。
しかしながら、この方法では、主被写体に焦点が合った画像を記録することはできるが、それ以外の画像も記録するため、不要な画像を増やすことになり、撮影後の画像整理に多大な時間がかかる。この方法によれば、画面内に複数の人が存在する場合において、主被写体のみに焦点を合わせて画像を記録することができない。
そこで、本発明は、例えば被写体の顔などの被写体領域を検知して被写体に焦点を合わせる撮像装置であって、被写体領域の検知が成立した複数の被写体を一覧表示させる撮像装置を提供する。また、主被写体として焦点を合わせたい被写体を選択して焦点を合わせることができる撮像装置を提供する。
上記課題を解決するため、本発明の一側面としての撮像装置は、撮像光学系によって形成される被写体像を光電変換して画像を生成する画像生成手段と、前記撮像光学系のフォーカス制御を行う制御手段と、前記画像生成手段により生成された前記画像に基づき、複数の被写体領域を検知する被写体検知手段と、前記被写体検知手段により検知された前記複数の被写体領域を表示する表示手段と、前記表示手段に表示された前記複数の被写体領域の一つを選択する選択手段と、を有し、前記被写体検知手段は、前記撮像光学系を移動させた複数の焦点位置において前記被写体領域の検出を行うとともに、前記被写体領域を検出できた場合には該被写体領域に対応させて前記撮像光学系の焦点位置を記憶し、前記制御手段は、前記選択手段により選択された被写体領域に対応させて記憶した前記撮像光学系の焦点位置を用いてフォーカス制御を行う。
また、本発明の他の側面としての撮像装置の制御方法は、撮像光学系によって形成される被写体像を光電変換して画像を生成する画像生成ステップと、前記撮像光学系を移動させた複数の焦点位置において、前記画像生成ステップで生成された前記画像に基づき、複数の被写体領域の検出を行うとともに、前記被写体領域を検出できた場合には該被写体領域に対応させて前記撮像光学系の焦点位置を記憶する検知ステップと、前記検知ステップで検知された前記複数の被写体領域を表示させる表示ステップと、前記表示ステップで表示された前記複数の被写体領域の一つが選択されることにより、選択された被写体領域に対応させて記憶した前記撮像光学系の焦点位置を用いてフォーカス制御を行う制御ステップとを有する。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、撮影者が選択する被写体に対してフォーカス制御が可能な撮像装置を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、本発明の実施例におけるカメラ100(撮像装置)のブロック図を示したものである。
図1において、101は撮像光学系(撮像レンズ)である。107は複数の画素からなる撮像素子である。撮像素子107は、撮像光学系101を通過した被写体光学像を形成するCCDやCMOSセンサ等である。撮像素子107は、撮像光学系101によって形成される被写体像を光電変換して撮像信号を出力する。
102は、半透過部を有する主ミラーである。主ミラー102は、撮影時には撮影光束外へ退避し、焦点検出時には撮影光束内(光路中)に斜設される。図1では、主ミラー102が撮影光束内に挿入された状態(ミラーダウン)を示している。また、主ミラー102は、撮影光束内に斜設された状態で、撮像光学系101を通過した光束の一部をピント板103、ペンタプリズム104、及び、接眼レンズ105から構成されるファインダ光学系に導く。
106はサブミラーである。サブミラー106は、主ミラー102の動作に同期して主ミラー102に対して折り畳み、展開可能に構成されている。主ミラー102の半透過部を通過した光束の一部は、サブミラー106によって下方へ反射され、位相差方式の焦点検出装置108に入射し、撮像光学系101の合焦状態が検出される。
一方、コントラスト方式では、常時、主ミラー102を撮影光束外へ退避させる。この動作に同期して、サブミラー106を主ミラー102に対して折り畳んだ状態(ミラーアップ)で、撮像光学系101を通過した被写体光学像を撮像素子107に結像させ、撮像光学系101の合焦状態が検出される。
109はアナログ信号処理回路である。アナログ信号処理回路109は、撮像光学系101に結像された被写体光学像の光量に応じて撮像素子107から出力された撮像信号について、ノイズ除去などの処理を行う。110はA/D変換器である。A/D変換器110は、アナログ信号処理回路109から出力されたアナログ信号をデジタル信号に変換する。
111はデジタル信号処理回路である。デジタル信号処理回路111は、後述のシステムコントローラ112に接続され、A/D変換器110から出力されたデジタル信号について、シェーディング補正やガンマ補正などの画像処理を施す。
上記で説明した撮像素子107、アナログ信号処理回路109、A/D変換器110、及び、デジタル信号処理回路111は、画像生成手段130を構成する。画像生成手段130は、撮像光学系101によって形成される被写体像を光電変換して画像を生成する。
112はシステムコントローラである。システムコントローラ112は、カメラ100全体の制御を行うCPU、記憶装置(記憶手段)であるRAMなどから構成され、レンズ駆動装置113など後述する各部の動作を適宜制御する。システムコントローラ112の記憶装置は、後述のように、顔検知回路121により検知された複数の被写体領域の焦点位置及び画面位置を記憶する。
113はレンズ駆動装置(レンズ駆動手段)である。レンズ駆動装置113は、システムコントローラ112に接続され、撮像光学系101と通信を行う通信回路と、焦点調節を行うために撮像光学系101を駆動するレンズ駆動機構と、その駆動機構を駆動させる駆動回路を備える。
システムコントローラ112及びレンズ駆動装置113は、制御手段140を構成する。後述のように、制御手段140は、撮像光学系101のフォーカス制御を行う。
114はミラー駆動装置である。ミラー駆動装置114は、システムコントローラ112に接続され、主ミラー102を撮影光束外へ駆動する。115は撮像素子駆動装置である。撮像素子駆動装置115は、システムコントローラ112に接続され、撮像素子107を駆動する。
116はバッファメモリである。バッファメモリ116は、デジタル信号処理回路111に接続され、撮像素子107で撮像された複数フレーム分のデータを記憶可能なフレームメモリである。A/D変換器110にてA/D変換されたデジタル信号は、一旦、バッファメモリ116に記憶される。デジタル信号処理回路111は、バッファメモリ116に記憶されたデータを読み込んで上述した各処理を行う。デジタル信号処理回路111による処理後のデータは、再び、バッファメモリ116に記憶される。
117は記録・再生信号処理回路である。記録・再生信号処理回路117は、デジタル信号処理回路111に接続される。上述のとおり、デジタル信号処理回路111にて各種デジタル処理が施された画像データはバッファメモリ116に記憶される。記録・再生信号処理回路117は、その後、バッファメモリ116に記憶された画像データをメモリカード等の外部記憶媒体118に記録させる。
画像データを外部記憶媒体118に記録する際には、画像データの圧縮、例えば、JPEG方式でデータ圧縮が行われる。一方、画像データを外部記憶媒体118から読み込む際、記録・再生信号処理回路117は、画像データの伸長処理を行う。記録・再生信号処理回路117には、外部記憶媒体118との間でデータ通信を行うためのインタフェースも含まれている。
120は表示装置(表示手段)である。表示装置120は、撮像素子107にて撮像された画像を表示する。また、表示装置120は、外部記憶媒体118に記録されている画像データを再生表示する際にも用いられる。表示装置120に画像を表示する場合には、バッファメモリ116に記憶された画像データを読み出す。読み出された画像データは、D/A変換器119によりデジタル画像データをアナログ映像信号に変換される。表示装置120は、D/A変換器119により変換されたアナログ映像信号を用いて画像を表示する。なお、後述のとおり、表示装置120は、顔検知回路121により検知された複数の被写体領域を表示する。
撮像素子107で撮像された画像を表示装置120で表示する場合、2つの表示形態がある。一つは、レリーズ操作が行われないときの表示形態である。この表示形態は、撮像素子107で繰り返し撮像される画像を逐次更新表示するスルー画と呼ばれる表示形態である。もう一つは、カメラ100のレリーズ操作後に、撮像素子107で撮像された画像を所定時間表示するフリーズ画と呼ばれる表示形態である。
121は顔検知回路(被写体検知手段)である。顔検知回路121は、デジタル信号処理回路111に接続され、デジタル信号処理回路111で各種デジタル処理が施された画像データ中に顔(被写体領域)が存在するか否かを検知する。このように、顔検知回路121は、画像生成手段130により生成された画像に基づき、複数の被写体領域を検知する。なお、顔検知方法については、例えば特許文献1に開示されているように、すでに多くの手法が提案されている。
122は操作部(選択手段)である。操作部122は、システムコントローラ112に接続され、カメラ100の電源をオン・オフするための電源スイッチ、レリーズボタン、人物撮影モードなどの撮影モードを選択するための設定ボタンなど、カメラ100を操作するための操作部材が設けられている。これらのスイッチやボタンを操作すると、その操作に応じた信号がシステムコントローラ112に入力される。後述のとおり、操作部122は、表示装置120に表示された複数の被写体領域の一つを選択する。そして、システムコントローラ112は、操作部122により選択された被写体領域に対してフォーカス制御を行う。
なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第1ストローク操作(半押し操作)によりONするレリーズスイッチSW1と、レリーズボタンの第2ストローク操作(全押し操作)によりONするレリーズスイッチSW2とが接続されている。
次に、本実施例のカメラ100における撮像処理について説明する。
図2は、本実施例のカメラにおける撮像処理のフローチャートである。本実施例における撮像処理は、被写体の顔を検出して認識することにより、主被写体の顔に焦点を合わせた撮影を行うものである。
まずステップS101において、システムコントローラ112が操作部122の一つであるレリーズスイッチSW1が押されたかどうかを判断する。レリーズスイッチSW1が押されていない場合には、レリーズスイッチSW1が押下されるまで、ステップS101の処理を繰り返す。一方、レリーズスイッチSW1が押されている場合には、ステップS102へ進む。
ステップS102では、システムコントローラ112がレンズ駆動装置113を介して撮像光学系101と通信し、撮像光学系101の全駆動範囲内で撮像光学系101を駆動させる。このような制御により、顔検知回路121は、複数の焦点位置において、デジタル信号処理回路111で各種処理が施された画像データから被写体の顔を検知することができる。このような顔サーチ処理の詳細については後述する。
ステップS102は、撮像光学系101によって形成される被写体像を光電変換して画像を生成する画像生成ステップ、及び、画像生成ステップで生成された画像に基づき、複数の被写体領域を検知する検知ステップを含む。
ステップS103では、ステップS102における顔サーチ処理の結果、顔の検知が成立したか否かを判断する。顔の検知が成立しなければ、撮影処理を終了する。一方、顔の検知が成立すれば、ステップS104へ進む。
ステップS104では、システムコントローラ112が、ステップS102において検知が成立した複数の顔の一覧を作成する。作成された顔の一覧は、デジタル信号処理回路111を介して、表示装置120に表示される。このように、ステップS104は、ステップS102で検知された複数の被写体領域を表示させる表示ステップである。この詳細については後述する。
ステップS105では、ステップS104において表示装置120に表示された顔の一覧表示の中から、撮影者が主被写体として焦点を合わせたい顔を操作部122より選択されたか否かを判断する。この判断は、システムコントローラ112により行われる。撮影者による顔の選択がなされていない場合には、ステップS101に戻り、上記の処理を繰り返す。一方、撮影者により所定の顔が選択された場合には、ステップS106へ進む。
ステップS106では、システムコントローラ112が、ステップS105において選択された顔の検知が成立した焦点位置までレンズ駆動装置113を介して撮像光学系101を駆動する。このように、ステップS106は、ステップS104で表示された複数の被写体領域の一つがステップS105において選択されることにより、選択された被写体領域に対してフォーカス制御を行う制御ステップである。
ステップS106において、レンズ駆動装置113は、操作部122により選択された被写体領域の焦点位置まで撮像光学系101を駆動する。この動作は、後述のとおり、システムコントローラ112が、操作部122により選択された被写体領域の焦点位置をシステムコントローラ112内の記憶装置(記憶手段)から読み出すことにより実行される。レンズ駆動装置113(制御手段140)は、記憶装置から読み出された被写体領域の焦点位置に基づいて、フォーカス制御を行う。
その後、もう一度、顔検知処理を行っても良いし、そのままステップS107へ進んでも良い。
ステップS107では、システムコントローラ112が、操作部122の一つであるレリーズスイッチSW2が押されたか否かを判断する。レリーズスイッチSW2が押されていない場合には、ステップS101に戻り、上記の処理を繰り返す。一方、レリーズスイッチSW2が押された場合、ステップS108へ進む。
最後に、ステップS108において、システムコントローラ112が撮影を行い、撮影した画像を保存する。
次に、図2のステップS102における顔サーチ処理について詳細に説明する。図3は、ステップS102における顔サーチ処理のフローチャートである。
ステップS201において、システムコントローラ112は、レンズ駆動装置113を介して、装着された撮像光学系101の全駆動範囲において顔サーチ処理を行ったか否かを判断する。撮像光学系101の全駆動範囲において顔サーチ処理を行った場合には、顔サーチ処理を終了する。一方、撮像光学系101の全駆動範囲において顔サーチ処理を行っていない場合には、ステップS202へ進む。
ステップS202において、システムコントローラ112は、撮像素子107から出力された撮像信号をA/D変換器110、デジタル信号処理回路111を介して、バッファメモリ116に画像データとして書き込む。
ステップS203では、ステップS202においてバッファメモリ116に書き込まれた画像データから、顔検知回路121が顔サーチ処理(顔認識処理)を行う。
ステップS204では、ステップS203において顔認識処理が成立したか否かを判断する。顔認識処理が成立しなければステップS206へ進む。一方、顔認識処理が成立すればステップS205へ進む。
ステップS205では、ステップS203において、顔認識処理が成立した顔、焦点位置、及び、画面位置をシステムコントローラ112内の記憶装置に記憶する。このように、システムコントローラ112は、顔検知回路121により検知された複数の被写体領域の焦点位置及び画面位置を記憶する。
ステップS206において、システムコントローラ112は、撮像光学系101を駆動するレンズ駆動装置113を介して焦点調節を行う。焦点調整が完了した後、ステップS201へ戻り、撮像光学系101の全駆動範囲における顔サーチ処理が完了するまで、ステップS201からステップS206を繰り返す。
次に、図2のステップS104における顔一覧表示処理について詳細に説明する。図4は、ステップS104における顔一覧表示処理のフローチャートである。
ステップS301において、システムコントローラ112は、ステップS102の顔サーチ処理の際に顔認識が成立したか否かを判断する。顔認識が成立していない場合には、ステップS304へ進み、顔認識が成立しなかったことを撮影者に通知する。一方、顔認識が成立した場合には、ステップS302へ進む。
ステップS302では、ステップS301において認識された顔をソートする。ソートする順としては、距離順、又は、構図順などがある。顔をソートする際には、顔検知回路121により検知された複数の顔の焦点位置又は画面位置などの情報を、制御手段140のシステムコントローラ112に設けられた記憶装置から読み出す。そして、画像生成手段130のデジタル信号処理回路111が、これらの情報に基づいてソートを行う。
ソートする順として距離順を採用する場合には、例えば、近い距離順に並べることができる。ソートする順として構図順を採用する場合には、例えば、画面の中央から周辺方向、画面の左から右方向、又は、時計回り方向における順に並べることができる。これらの方向を組み合わせて並べるものであってもよい。また、ソートすることなしに、顔の検知が成立した順に表示することや、ランダムに表示するものであってもよい。
ステップS303では、ステップS302において作成した顔の一覧を表示装置120に表示させる。ステップS303においては、画像生成手段130が、顔検知回路121により検知された複数の被写体領域に関する情報に基づいて、表示装置120に複数の被写体領域を表示させる。その一例を図5乃至図7に示す。図5乃至図7は、本実施例の表示装置における顔一覧の表示形式を示している。
図5に示されるように、顔一覧の表示形式は、ライブビュー中の画像201と顔一覧202とを表示する第1表示形式を採用することができる。ここでは、ライブビュー中の画像201における被写体A乃至Hに対応して、それぞれ、被写体の顔a乃至hが表示されている。
図5の顔一覧の第1表示形式において、顔一覧202(顔a乃至h)は、ステップS302において距離順にソートされ、近距離の被写体Aから遠距離の被写体Hの順に左から右へ並べて表示したものである。顔一覧202で表示される顔は、顔サーチ処理においてシステムコントローラの記憶装置に記憶した被写体領域そのままのサイズでも良いし、統一されたサイズに拡大、または、縮小して表示しても良い。
また、ライブビュー中の画像201は、顔一覧202の中の最も近い被写体Aに焦点を合わせて表示したものである。ライブビュー中の画像201は、顔一覧202を表示して撮影者が焦点を合わせる顔を選択するまで、最も近い被写体Aに焦点を合わせた画像とすることができる。また、これに代えて、ある一定時間ごとに被写体Aから被写体Hまで順に焦点を合わせた画像を表示しても良い。
顔一覧の表示形式として、図6に示されるように、被写体の顔一覧203(顔a乃至h)のみを表示する第2表示形式を採用しても良い。また、図7に示されるように、ライブビュー中の画像に顔検知が成立した顔を重ねた画像204を表示する第3表示形式を採用しても良い。ここでも、被写体A乃至Hのそれぞれに対応して、顔a乃至hが表示されている。顔一覧の表示形式は、撮影者が操作部122を操作することにより変更できるように構成しても良い。
図8は、本実施例の表示装置における顔一覧の第4表示形式である。図8は、被写体I、J、Kがカメラから等距離に存在するシーンを示している。これらの被写体I、J、Kは、同じ焦点位置における被写界深度内であるものとする。
ライブビュー中の画像301には、被写体I、J、Kの全員に焦点が合った画像が表示されている。また、顔一覧302には、顔検知が成立した被写体I、J、Kの顔i、j、kを構図順(画面の中央から周辺へ反時計回り)で表示したものである。
図9は、本実施例の表示装置における顔一覧の第5表示形式である。図9は、図8と同様に、被写体I、J、Kがカメラから等距離に存在するシーンを示している。
被写体I、J、Kが同じ焦点位置における被写界深度内に存在する被写体であれば、図9のライブビュー中の画像401として示されるように、被写体I、J、Kをグルーピングして被写体Lとすることができる。そして、顔一覧402には、グループLの代表者の顔lを表示することができる。このとき、顔lは、例えば画面の中央の顔など構図順で選ぶ。グルーピングは、撮影者の操作部122の操作により行っても良いし、画面内の被写体の数に応じて自動的に行っても良い。このように、システムコントローラ112(画像生成手段130)は、顔検知回路121が複数の被写体領域を被写界深度内で検知したとき、複数の被写体領域をグルーピングして代表となる被写体領域を表示装置120に表示させる。
以上のとおり、本実施例の撮像装置によれば、顔検知が成立した複数の被写体の顔の一覧表示から、撮影者が主被写体として焦点を合わせたい被写体の顔を選択することにより、主被写体に対するフォーカス制御を行うことができる。したがって、撮影者が選択した主被写体に対するフォーカス制御が可能な撮像装置を提供することができる。
以上、本発明の実施例について具体的に説明した。ただし、本発明は上記実施例として記載された事項に限定されるものではなく、本発明の技術思想を逸脱しない範囲内で適宜変更が可能である。
例えば、上述では、撮影者の意図する被写体を人物として記述し、焦点調節のための領域を顔検出された領域としたが、これに限るものではない。例えば、背景から被写体像を切り出して被写体検出をし、その被写体位置に対応する領域を焦点検出のための被写体領域として設定してもよい。
本実施例におけるカメラのブロック図である。 本実施例のカメラにおける撮像処理のフローチャートである。 本実施例のステップS102における顔サーチ処理のフローチャートである。 本実施例のステップS104における顔一覧表示処理のフローチャートである。 本実施例の表示装置における顔一覧の第1表示形式を示すものである。 本実施例の表示装置における顔一覧の第2表示形式を示すものである。 本実施例の表示装置における顔一覧の第3表示形式を示すものである。 本実施例の表示装置における顔一覧の第4表示形式を示すものである。 本実施例の表示装置における顔一覧の第5表示形式を示すものである。
符号の説明
100 カメラ
101 撮像光学系
102 主ミラー
106 サブミラー
111 デジタル信号処理回路
112 システムコントローラ
113 レンズ駆動装置
116 ブッファメモリ
120 表示装置
121 顔検知処理
122 操作部
130 画像生成手段
140 制御手段

Claims (5)

  1. 撮像光学系によって形成される被写体像を光電変換して画像を生成する画像生成手段と、
    前記撮像光学系のフォーカス制御を行う制御手段と、
    前記画像生成手段により生成された前記画像に基づき、複数の被写体領域を検知する被写体検知手段と、
    前記被写体検知手段により検知された前記複数の被写体領域を表示する表示手段と、
    前記表示手段に表示された前記複数の被写体領域の一つを選択する選択手段と、を有し、
    前記被写体検知手段は、前記撮像光学系を移動させた複数の焦点位置において前記被写体領域の検出を行うとともに、前記被写体領域を検出できた場合には該被写体領域に対応させて前記撮像光学系の焦点位置を記憶し、
    前記制御手段は、前記選択手段により選択された被写体領域に対応させて記憶した前記撮像光学系の焦点位置を用いてフォーカス制御を行うことを特徴とする撮像装置。
  2. 前記画像生成手段は、前記被写体検知手段により検知された前記複数の被写体領域に関する情報に基づいて、前記表示手段に該複数の被写体領域を表示させることを特徴とする請求項1記載の撮像装置。
  3. 前記表示手段は、少なくとも被写体領域に対応する焦点位置、及び、画面内における位置のいずれか一方に基づいて被写体領域を並べて表示することを特徴とする請求項1に記載の撮像装置。
  4. 前記画像生成手段は、前記被写体検知手段が前記複数の被写体領域を被写界深度内で検知したとき、該複数の被写体領域をグルーピングして代表となる被写体領域を前記表示手段に表示させることを特徴とする請求項1乃至3のいずれか一に記載の撮像装置。
  5. 撮像光学系によって形成される被写体像を光電変換して画像を生成する画像生成ステップと、
    前記撮像光学系を移動させた複数の焦点位置において、前記画像生成ステップで生成された前記画像に基づき、複数の被写体領域の検出を行うとともに、前記被写体領域を検出できた場合には該被写体領域に対応させて前記撮像光学系の焦点位置を記憶する検知ステップと、
    前記検知ステップで検知された前記複数の被写体領域を表示させる表示ステップと、
    前記表示ステップで表示された前記複数の被写体領域の一つが選択されることにより、選択された被写体領域に対応させて記憶した前記撮像光学系の焦点位置を用いてフォーカス制御を行う制御ステップと、を有することを特徴とする撮像装置の制御方法。
JP2008088754A 2008-03-28 2008-03-28 撮像装置及びその制御方法 Expired - Fee Related JP5043736B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008088754A JP5043736B2 (ja) 2008-03-28 2008-03-28 撮像装置及びその制御方法
US12/407,254 US8184192B2 (en) 2008-03-28 2009-03-19 Imaging apparatus that performs an object region detection processing and method for controlling the imaging apparatus
CN200910132356XA CN101547312B (zh) 2008-03-28 2009-03-30 摄像设备和摄像设备的控制方法
US13/451,296 US20120200760A1 (en) 2008-03-28 2012-04-19 Imaging apparatus and method for controlling the imaging apparatus
US14/597,079 US9894280B2 (en) 2008-03-28 2015-01-14 Imaging apparatus for displaying selected face in in-focus state and method for controlling imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088754A JP5043736B2 (ja) 2008-03-28 2008-03-28 撮像装置及びその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012151912A Division JP5367129B2 (ja) 2012-07-05 2012-07-05 撮像装置、制御装置及びそれらの制御方法

Publications (2)

Publication Number Publication Date
JP2009246558A JP2009246558A (ja) 2009-10-22
JP5043736B2 true JP5043736B2 (ja) 2012-10-10

Family

ID=41116579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088754A Expired - Fee Related JP5043736B2 (ja) 2008-03-28 2008-03-28 撮像装置及びその制御方法

Country Status (3)

Country Link
US (3) US8184192B2 (ja)
JP (1) JP5043736B2 (ja)
CN (1) CN101547312B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706601B2 (en) * 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
JP5424732B2 (ja) * 2009-06-15 2014-02-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5564996B2 (ja) * 2009-07-23 2014-08-06 株式会社リコー 撮像装置及び撮像方法
KR101630304B1 (ko) * 2010-02-04 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2011164543A (ja) * 2010-02-15 2011-08-25 Hoya Corp 測距点選択システム、オートフォーカスシステム、およびカメラ
US8558923B2 (en) 2010-05-03 2013-10-15 Canon Kabushiki Kaisha Image capturing apparatus and method for selective real time focus/parameter adjustment
JP2012186670A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 撮像装置と撮像方法並びに撮像プログラム
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
FR2978894A1 (fr) * 2011-08-02 2013-02-08 St Microelectronics Grenoble 2 Procede de previsualisation d'image dans un appareil de prise de vue numerique
JP5907738B2 (ja) * 2012-01-23 2016-04-26 オリンパス株式会社 撮像装置、表示方法、プログラム
JP5867424B2 (ja) 2013-02-28 2016-02-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR102182398B1 (ko) * 2013-07-10 2020-11-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
GB2531439B (en) 2013-08-21 2016-10-26 Canon Kk Image capturing apparatus and control method thereof
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
US10212330B2 (en) 2015-10-27 2019-02-19 Blackberry Limited Autofocusing a macro object by an imaging device
CN108337546B (zh) 2017-01-20 2020-08-28 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
WO2021044692A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5934504A (ja) 1982-08-20 1984-02-24 Sony Corp オ−トフオ−カス装置
JP3130905B2 (ja) * 1989-09-22 2001-01-31 キヤノン株式会社 光学機器
JP3557659B2 (ja) 1994-08-22 2004-08-25 コニカミノルタホールディングス株式会社 顔抽出方法
US7106376B1 (en) * 1998-10-22 2006-09-12 Flashpoint Technology, Inc. Method and system for improving image quality of portrait images using a focus zone shift
JP2002335436A (ja) * 2001-05-08 2002-11-22 Fuji Photo Film Co Ltd カメラ
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
JP4196714B2 (ja) * 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ
JP4461747B2 (ja) * 2003-09-10 2010-05-12 オムロン株式会社 対象決定装置
JP4746295B2 (ja) * 2003-08-25 2011-08-10 富士フイルム株式会社 デジタルカメラおよび撮影方法
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
JP4574459B2 (ja) 2005-06-09 2010-11-04 キヤノン株式会社 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
JP4515972B2 (ja) * 2005-06-22 2010-08-04 富士フイルム株式会社 撮像レンズの合焦位置決定装置およびその方法
JP4538386B2 (ja) * 2005-07-06 2010-09-08 富士フイルム株式会社 対象画像記録装置および撮像装置ならびにそれらの制御方法
KR100679049B1 (ko) * 2005-09-21 2007-02-05 삼성전자주식회사 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치
JP4687451B2 (ja) * 2005-12-27 2011-05-25 カシオ計算機株式会社 撮像装置、及びスルー画像表示方法
JP2007215091A (ja) * 2006-02-13 2007-08-23 Casio Comput Co Ltd 撮像装置及びそのプログラム
US7725018B2 (en) * 2006-08-01 2010-05-25 Canon Kabushiki Kaisha Focus control apparatus, image sensing apparatus and focus control method
JP2008098739A (ja) * 2006-10-06 2008-04-24 Sony Corp 撮像装置、撮像装置に用いられる画像処理方法および当該画像処理方法をコンピュータに実行させるプログラム
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
JP4571617B2 (ja) * 2006-12-28 2010-10-27 三星デジタルイメージング株式会社 撮像装置及び撮像方法
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
US8285006B2 (en) * 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera

Also Published As

Publication number Publication date
US20150124144A1 (en) 2015-05-07
JP2009246558A (ja) 2009-10-22
CN101547312A (zh) 2009-09-30
CN101547312B (zh) 2011-06-01
US20120200760A1 (en) 2012-08-09
US8184192B2 (en) 2012-05-22
US20090244354A1 (en) 2009-10-01
US9894280B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
JP5043736B2 (ja) 撮像装置及びその制御方法
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP4674471B2 (ja) デジタルカメラ
JP5623915B2 (ja) 撮像装置
JP4548156B2 (ja) カメラ装置、カメラ装置の自動焦点制御方法
JP4727534B2 (ja) 撮像装置
JP2010081535A (ja) 撮像装置、撮像方法、及びプログラム
JP2007215091A (ja) 撮像装置及びそのプログラム
TW201301866A (zh) 可產生廣角影像之影像處理裝置、影像處理方法、及記錄媒體
JP2007310813A (ja) 画像検索装置およびカメラ
KR20120115127A (ko) 광각 화상을 생성 가능한 화상 처리 장치
JP5367129B2 (ja) 撮像装置、制御装置及びそれらの制御方法
JP4957263B2 (ja) 撮像装置、撮像方法及びそのプログラム
JP2006303961A (ja) 撮像装置
JP4853707B2 (ja) 撮像装置及びそのプログラム
JP5100410B2 (ja) 撮像装置及びその制御方法
JP2008015097A (ja) 撮像装置及び撮像方法
JP2003262786A (ja) 撮像装置及びその自動合焦方法
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP5163333B2 (ja) カメラ装置、及びその画像表示方法と画像表示プログラム
JP5157528B2 (ja) 撮影装置
JP2009004950A (ja) 撮像装置および編集装置
JP5648563B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5641352B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009194469A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R151 Written notification of patent or utility model registration

Ref document number: 5043736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees