JPWO2020137602A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
JPWO2020137602A1
JPWO2020137602A1 JP2020563075A JP2020563075A JPWO2020137602A1 JP WO2020137602 A1 JPWO2020137602 A1 JP WO2020137602A1 JP 2020563075 A JP2020563075 A JP 2020563075A JP 2020563075 A JP2020563075 A JP 2020563075A JP WO2020137602 A1 JPWO2020137602 A1 JP WO2020137602A1
Authority
JP
Japan
Prior art keywords
area
pupil
unit
frame
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020563075A
Other languages
English (en)
Inventor
高弘 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020137602A1 publication Critical patent/JPWO2020137602A1/ja
Priority to JP2023204458A priority Critical patent/JP2024019284A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本技術は、被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにする撮像装置、撮像方法、およびプログラムに関する。撮像装置は、合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる。本技術は、撮像装置に適用することができる。

Description

本技術は、撮像装置、撮像方法、およびプログラムに関し、特に、被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
特許文献1においては、人物の瞳の領域である瞳領域を検出して、検出した瞳領域に対して合焦を行う撮像装置が提案されている。
国際公開第2015/045911号
特許文献1に記載の撮像装置において検出されるのは人物の瞳領域だけであり、動物の瞳領域を検出することは難しかった。
本技術はこのような状況に鑑みてなされたものであり、被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにするものである。
本技術の一側面の撮像装置は、合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部とを備える。
本技術の一側面においては、合焦対象とする特定領域を予告する予告枠が、被写体の種類に応じて撮像部より取得した画像の上に表示される。
人物の瞳を検出する処理の例を示す図である。 動物の瞳を検出する処理の例を示す図である。 動物の瞳検出モードの場合の合焦開始の指示方法を示す図である。 動物の瞳検出モードの場合の合焦開始の指示方法を示す図である。 本技術を適用した撮像装置の主な構成例を示すブロック図である。 デジタル信号処理部の構成例を示すブロック図である。 人物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。 動物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。 被写体の顔の向きと検出される瞳領域の数との関係を示す図である。 人物の瞳検出モードの撮像処理を説明するフローチャートである。 図10に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。 動物の瞳検出モードの撮像処理を説明するフローチャートである。 図12に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。 図12のステップS114の瞳領域選択処理を説明するフローチャートである。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.本技術の概要
2.撮像装置の構成例
3.瞳が複数検出された場合の選択方法
4.撮像装置の動作例
<1.本技術の概要>
本技術の一実施形態に係る撮像装置は、被写体の特定部位の領域を検出し、検出した特定部位の領域を合焦に用いる、特定部位毎の検出モードを有している。特定部位毎の検出モードとしては、例えば、人物の瞳検出モードおよび動物の瞳検出モードなどがある。
図1は、人物の瞳を検出する処理の例を示す図である。
図1には、人物の瞳検出モードが設定されている場合に撮像装置の表示部に表示される画面が示されている。図1の左側の画面は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。なお、画面には、人物の顔が表示されている。
人物の瞳検出モードが設定されている場合、図1の左側に示すように、顔の領域である顔領域のうち、フォーカス枠Fに重なる顔領域の検出が行われ、検出された顔領域を予告する顔予告枠PFが表示される。図1の左側の例においては、フォーカス枠Fに一部重なる形で顔予告枠PFが表示されている。フォーカス枠Fは、焦点を設定するための焦点設定枠である。
この状態において合焦開始を指示する操作がユーザにより行われた場合、図1の右側に示すように、顔領域を対象として瞳の領域である瞳領域の検出が行われ、検出された瞳領域を示す瞳枠AEが、顔予告枠PFに代えて表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。
図2は、動物の瞳を検出する処理の例を示す図である。
図2には、動物の瞳検出モードが設定されている場合に撮像装置の表示部に表示される画面が示されている。図2の左側の画面は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。なお、画面には、動物(猫)の顔が表示されている。
動物の瞳検出モードが設定されている場合、図2の左側に示すように、フォーカス枠Fの内と外を対象として瞳領域の検出が行われ、検出された瞳領域を予告する瞳予告枠PEが表示される。なお、このとき、瞳領域の検出は、フォーカス枠F内を優先して行われる。
この状態において合焦開始を指示する操作がユーザにより行われた場合、図2の右側に示すように、瞳領域に、瞳領域を示す瞳枠AEが瞳予告枠PEに代えて表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。
例えば、瞳予告枠PEが白い枠で表示され、瞳枠AEが緑色の枠で表示されるというように、瞳枠AEは、瞳予告枠PEと異なる表示方法で表示される。なお、顔予告枠PFと瞳枠AEについても同様である。
以上のように、人間の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、顔領域の検出が行われ、検出された顔領域に顔予告枠PFが表示される。
一方、動物の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域の検出が行われ、検出された瞳領域に瞳予告枠PEが表示される。
合焦開始を指示する操作がユーザにより行われる前に予告枠が表示されることにより、意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。これにより、被写体の特定部位に着目した撮像を容易に行うことができるようになる。
図3および図4は、動物の瞳検出モードが設定されている場合の合焦開始の指示方法を示す図である。
撮像装置においては、瞳AF(オートフォーカス)ボタンPの押下、AF-ONボタンQの押下、またはシャッタボタンRの半押しなどの操作がユーザにより行われることで合焦開始を指示することができる。
瞳AFボタンPは、図3の左側に示されるように、例えば、撮像装置の裏面に設けられる十字ボタンの中央に位置する中央ボタンとして構成される。瞳AFボタンPは、被写体の特定部位である瞳を対象として合焦開始を指示するための専用ボタンである。
上述したように、合焦開始を指示する操作がユーザにより行われる前に、撮像装置の表示部の被写体の画像には、検出された瞳領域に瞳予告枠が表示されている。
この状態においてユーザにより瞳AFボタンPの押下が行われた場合、表示部には、図3の右側に示されるような画面が表示される。
図3の右側に示すように、画面には、猫が正面を向いている画像に重ねて、フォーカス枠F、および瞳枠AEが表示される。図3の右側においては、フォーカス枠Fは画面の中央の、猫の背の辺りに表示されている。
ユーザにより瞳AFボタンPの押下が行われた場合、フォーカス枠Fの中心を基準として、画面の50%程度までの範囲が、瞳領域の検出範囲W1として設定される。なお、検出範囲W1は、実際には表示されない。なお、フォーカス枠F自体が、検出範囲W1のように広範囲に設定されてもよい。
ユーザにより瞳AFボタンPの押下が行われた場合に、検出範囲W1内に瞳領域が検出されているとき、瞳領域には、瞳AFボタンPの押下が行われる前に表示されていた瞳予告枠の代わりに、瞳枠AEが表示される。
また、AF-ONボタンQは、図4の左側に示されるように、例えば、撮像装置の裏面の上部に設けられる。AF-ONボタンQは、フォーカス枠F内において瞳を対象として合焦開始を指示するためのボタンである。
シャッタボタンRは、図4の左側に示されるように、例えば、撮像装置の上面に設けられる。シャッタボタンRは、ユーザにより半押しされた場合、AF-ONボタンQと同様に、フォーカス枠F内において瞳を対象として合焦開始を指示するためのボタンとなり、ユーザにより全押しされた場合、シャッタを指示するためのボタンとなる。
上述したように、合焦開始を指示する操作がユーザにより行われる前に、撮像装置の表示部の被写体の画像には、検出された瞳領域に瞳予告枠が表示されている。
この状態においてユーザによりAF-ONボタンQの押下が行われた場合、または、シャッタボタンRの半押しが行われた場合、表示部には、図4の右側に示されるような画面が表示される。
図4の右側に示すように、画面には、猫が正面を向き、猫の横で犬が寝ている画像に重ねて、フォーカス枠F、および瞳枠AEが表示される。図4の右側においては、フォーカス枠Fは猫の左の瞳に表示される。
ユーザによりAF-ONボタンQの押下が行われた場合、フォーカス枠Fの中心を基準としてフォーカス枠F付近までの範囲が、瞳領域の検出範囲W2として設定される。なお、検出範囲W2は、実際には表示されない。
ユーザによりAF-ONボタンQの押下が行われた場合に、検出範囲W2内に瞳領域が検出されているとき、瞳領域には、AF-ONボタンQの押下が行われる前に表示されていた瞳予告枠の代わりに、瞳枠AEが表示される。
以上のように、撮像装置においては、動物の瞳検出モードの場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域を予告する瞳予告枠が表示される。合焦開始を指示する操作がユーザにより行われたとき、瞳領域を示す瞳枠AEが表示され、瞳領域を対象として合焦が行われる。
したがって、画像における動物の瞳の位置をすぐに把握することができる。これにより、ユーザは、動物の瞳に着目した撮像を容易に行うことができる。
なお、撮像装置において、各ボタンが設置される位置は、図3および図4に示された位置に限らず、他の位置であってもよい。
また、上記説明では、被写体の特定部位としての瞳を検出する例について説明したが、被写体が鳥などの小さい動物である場合は、被写体自体を検出するようにしてもよい。
<2.撮像装置の構成例>
図5は、撮像装置の主な構成例を示すブロック図である。
図5に示される撮像装置100は、人物の瞳検出モードと動物の瞳検出モードを含む、被写体の特定部位毎の検出モードを有している。なお、撮像装置100においては、人物の瞳または動物の瞳に限らず、特定部位に応じた検出モードを設けることが可能である。ユーザは、被写体や被写体の特定部位の各検出モードから、所望の検出モードを選択して、設定することができる。
図5に示されるように、撮像装置100は、レンズ101、絞り102、撮像素子103、アナログ信号処理部104、A/D変換部105、およびデジタル信号処理部106を含むように構成される。撮像装置100は、レンズドライバ121、TG(Timing Generator)122、ジャイロ123、およびシステムコントローラ131を含むように構成される。
また、撮像装置100は、表示部141、記憶部142、入力部143、出力部144、通信部145、操作部146、およびドライブ147を含むように構成される。
レンズ101は、被写体までの焦点を調整し、焦点が合った位置からの光を集光する。絞り102は、露出の調整を行う。
撮像素子103は、被写体を撮像して撮像画像を得る。すなわち、撮像素子103は、被写体からの光を光電変換して画像信号としてアナログ信号処理部104に出力する。撮像素子103は、このような光電変換により、静止画像を取り込むこともできるし、動画像を取り込むこともできる。
アナログ信号処理部104は、撮像素子103により得られた画像信号に対してアナログ信号処理を行う。A/D変換部105は、アナログ信号処理された画像信号をA/D変換し、デジタル信号である画像データを得る。
デジタル信号処理部106は、A/D変換部105において得られた画像データに対してデジタル信号処理を行う。デジタル信号処理部106は、デジタル信号処理として、少なくとも、画像データとして供給される動画像から被写体または被写体の特定部位の領域を検出し、合焦領域を設定する処理などを行う。以下、被写体の特定部位を、単に特定部位と称する。
また、デジタル信号処理部106においては、被写体または特定部位の領域の検出結果に基づいて被写体または特定部位の領域を示す枠などの表示を制御する処理なども行われる。これらの処理の詳細については、後述する。
なお、デジタル信号処理の内容は任意であり、上述した以外の処理も行われるようにしてもよい。例えば、デジタル信号処理部106が、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換などをデジタル信号処理として行うようにしてもよい。また、デジタル信号処理部106が、デジタル信号処理として、画像データの符号化や復号に関する処理であるコーデック処理を行うようにしてもよい。
レンズドライバ121は、レンズ101および絞り102を駆動させ、焦点距離または露出などを制御する。TG122は、同期信号を生成して撮像素子103に供給することにより撮像素子103を駆動させ、撮像を制御する。ジャイロ123は、撮像装置100の位置および姿勢を検知するセンサである。ジャイロ123は、検知したセンサの情報をA/D変換部105に出力する。
システムコントローラ131は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などよりなり、プログラムを実行したり、データを処理したりして撮像装置100の各処理部の制御を行う。また、システムコントローラ131は、操作部146から供給された信号に基づいて、ユーザによる操作入力を受け、操作入力に対応する処理または制御を行う。
例えば、システムコントローラ131は、デジタル信号処理部106から供給される被写体または特定部位の領域の検出結果などに基づいて、焦点距離または露出などを制御することができる。
表示部141は、例えば、液晶ディスプレイなどとして構成され、デジタル信号処理部106のメモリに記憶されている画像データに対応する画像を表示する。例えば、表示部141は、撮像素子103において得られた取り込み画像や保存した撮像画像などを表示することができる。
記憶部142は、デジタル信号処理部106のメモリに記憶されている画像データを記憶する。その際、記憶部142は、データ量を低減させるために、デジタル信号処理部106により符号化された符号化データを記憶する。記憶部142に記憶されている符号化データは、デジタル信号処理部106により読み出され、復号されて、例えば、表示部141に表示される。
入力部143は、外部入力端子などの外部入力インタフェースを有し、外部入力インタフェースを介して撮像装置100の外部から供給される各種データ(例えば画像データや符号化データ)をデジタル信号処理部106に出力する。
出力部144は、外部出力端子などの外部出力インタフェースを有し、デジタル信号処理部106を介して供給される各種データを、外部出力インタフェースを介して撮像装置100の外部に出力する。
通信部145は、他の装置と、有線通信および無線通信の少なくとも一方である所定の通信を行い、所定の通信を介して他の装置とデータの授受を行う。例えば、通信部145は、デジタル信号処理部106から供給される各種データ(例えば画像データや符号化データ)を、所定の通信を介して他の装置に出力する。また、通信部145は、所定の通信を介して他の装置から各種データを取得し、取得したデータをデジタル信号処理部106に出力する。
操作部146は、例えば、キー、ボタン、またはタッチパネルなどの任意の入力デバイスにより構成される。図3または図4を参照して上述した瞳AFボタンP、AF-ONボタンQ、またはシャッタボタンRが操作部146に含まれる。操作部146は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ131に出力する。
ドライブ147は、自身に装着された、例えば、半導体メモリなどのリムーバブル記録媒体148に記憶されている情報(プログラムやデータなど)を読み出す。ドライブ147は、リムーバブル記録媒体148から読み出した情報をシステムコントローラ131に供給する。また、ドライブ147は、書き込み可能なリムーバブル記録媒体148が自身に装着された場合、システムコントローラ131を介して供給される情報(画像データや符号化データなど)を、リムーバブル記録媒体148に記憶させることができる。
なお、以上に説明したレンズ101、絞り102、およびレンズドライバ121は、撮像装置100とは別筐体の、撮像装置100に着脱可能な(交換可能な)交換式レンズ151として形成されるようにしてもよい。
図6は、デジタル信号処理部106の構成例を示すブロック図である。
デジタル信号処理部106は、メモリ211、被写体検出部212、領域設定部213、表示制御部214、およびコーデック処理部215を有する。
メモリ211は、A/D変換部105から供給される画像データを記憶する。画像データは、例えば、動画像の各フレームの画像データまたは静止画像の画像データである。
被写体検出部212は、システムコントローラ131から供給されるユーザの操作入力に対応する信号に基づいて、メモリ211に記憶されている画像データから被写体または特定部位の領域を検出する。被写体検出部212は、被写体または特定部位の領域の検出結果を領域設定部213および表示制御部214に出力する。
被写体検出部212は、人物検出部212−1、動物検出部212−2、および動物検出部212−3から構成される。
人物検出部212−1は、被写体の特定部位毎の検出モードが人物の瞳検出モードである場合に、人物の顔領域を検出し、検出した顔領域の検出結果を、領域設定部213および表示制御部214に出力する。人物検出部212−1は、合焦開始を指示する操作がユーザにより行われた場合、顔領域の検出結果に基づいて、人物の瞳領域を検出し、瞳領域の検出結果を、領域設定部213および表示制御部214に出力する。
動物検出部212−2および212−3は、検出対象とする動物の種類が異なる。動物検出部212−2および212−3は、被写体の特定部位毎の検出モードが動物の瞳検出モードである場合に、対象の動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を領域設定部213および表示制御部214に出力する。
動物の瞳の検出には、例えば、ディープラーニングなどの手法が用いられる。動物検出部212−2および212−3は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、動物の瞳を検出し、検出した動物の瞳領域の検出結果を領域設定部213および表示制御部214に出力する。
例えば、動物検出部212−2は、犬や猫などの動物の瞳領域を検出する。動物検出部212−3は、トカゲやカエルなどの動物の瞳領域を検出する。動物検出部212−2および212−3だけに限らず、例えば、検出時の特徴が同じである動物の種類に応じて、他の動物検出部が設けられてもよい。
領域設定部213は、被写体の特定部位毎の検出モードに応じて、被写体検出部212により検出された被写体の特定部位の領域やフォーカス枠が示す領域のうち、いずれかを合焦領域として設定する。領域設定部213は、設定した合焦領域の情報をシステムコントローラ131に供給する。
表示制御部214は、システムコントローラ131から供給されるユーザの操作入力に対応する信号に応じて、フォーカス枠を生成し、メモリ211からの画像に重畳して表示部141に表示させる。フォーカス枠の情報は、被写体検出部212に出力される。
また、表示制御部214は、システムコントローラ131から供給されるユーザの操作入力に対応する信号に基づいて、被写体検出部212により検出された顔または瞳領域に応じた所定の枠(顔枠、予告枠、または瞳枠)を生成する。表示制御部214は、生成した所定の枠をメモリ211からの画像に重畳して表示部141に表示させる。顔枠、予告枠、または瞳枠の情報は、必要に応じて、被写体検出部212に出力される。
なお、表示制御部214は、メニュー、ボタン、またはカーソルなどのGUI(Graphical User Interface)の画像を生成して、取り込み画像や撮像画像などとともに表示する。
コーデック処理部215は、メモリ211に記憶される動画像や静止画像の画像データの符号化や復号に関する処理を行う。
<3.瞳が複数検出された場合の選択方法>
図7は、人物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。
図7のAには、合焦開始を指示する操作がユーザにより行われる前に表示される画面が示されている。図7のBには、合焦開始を指示する操作がユーザにより行われた後に表示される画面が示されている。
人物の瞳検出モードが設定されている場合、図7のAに示すように、顔領域のうち、フォーカス枠Fに重なる顔領域の検出が行われ、検出された顔領域を示す顔予告枠PFが表示される。
この状態において合焦開始を指示する操作がユーザにより行われた場合、図7のBに示すように、顔領域を対象として瞳領域の検出が行われ、検出された瞳領域を示す瞳枠AEが表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。
このとき、検出された顔領域において、撮像装置100から見て手前に位置する瞳領域の検出が行われる。したがって、左側の瞳が撮像装置100から見て手前に位置する場合、ユーザが右側の瞳にフォーカス枠Fを合わせたとしても、図7のBの左側に示すように、瞳枠AEは、左側の瞳に表示されてしまう。また、右側の瞳が撮像装置100から見て手前に位置する場合、ユーザが右側の瞳にフォーカス枠Fを合わせたとしても、または合わせなくても、図7のBの右側に示すように、瞳枠AEは、右側の瞳に表示される。
このように、人物の瞳検出モードにおいては、フォーカス枠の位置によらず、ユーザが、顔を選択するだけで、選択した顔領域における手前の瞳に焦点が合わせられる。
図8は、動物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。
図8のAには、合焦開始を指示する操作がユーザにより行われる前に表示される画面が示されている。図8のBには、合焦開始を指示する操作がユーザにより行われた後に表示される画面が示されている。
動物の瞳検出モードが設定されている場合、図8のAに示すように、フォーカス枠Fの内と外を対象として瞳領域の検出が行われ、検出された瞳領域を予告する瞳予告枠PEが表示される。なお、このとき、瞳領域の検出は、フォーカス枠F内を優先して行われる。
ただし、複数の瞳領域が検出された場合、撮像装置100から見て手前に位置し、フォーカス枠Fの中心(中心位置)から近い瞳領域に、瞳予告枠PEが表示される。なお、瞳領域の選択の詳細は、図9を参照して後述される。
合焦開始を指示する操作がユーザにより行われた場合、図8のBに示すように、選択された瞳領域に瞳枠AEが表示され、瞳枠AEが示す瞳領域を対象として合焦が行われる。
なお、瞳予告枠PEを表示しないように予め設定しておくことも可能である。この場合、瞳予告枠PEの表示により被写体の表情が隠れてしまうことを防ぐことができる。
図9は、被写体の顔の向きと瞳領域の数との関係を示す図である。
図9には、きつねを被写体とした画像P1乃至画像P7が示されている。画像P1乃至画像P7に写っているきつねは、顔の向き(角度)が異なる。実線の矩形は、各画像において検出された手前の瞳領域を示しており、破線の矩形は、各画像において検出された奥の瞳領域を示している。
画像P1には、左方向に顔を向けているきつねが写っている。画像P2には、左斜め前方向に顔を向けているきつねが写っている。画像P3には、ごく僅かな左斜め前方向に顔を向けているきつねが写っている。画像P4には、正面方向に顔を向けているきつねが写っている。画像P5には、ごく僅かな右斜め前方向に顔を向けているきつねが写っている。画像P6には、右斜め前方向に顔を向けているきつねが写っている。画像P7には、右方向に顔を向けているきつねが写っている。
これらの画像のうち、斜め前方向乃至横(左右)方向に顔を向けているきつねが写っている画像P1、画像P2、画像P6、および画像P7では、それぞれ、撮像装置100から見て手前に位置する瞳領域しか検出されなかった場合を示している。
ごく僅かな斜め前方向に顔を向けているきつねが写っている画像P3と画像P5では、それぞれ2つの瞳領域が検出され、かつ、どちらか一方の瞳領域が撮像装置100から見て手前に位置し、どちらか他方の瞳領域が奥に位置するかを判定しやすい。
正面方向に顔を向けているきつねが写っている画像P4では、左の瞳領域と右の瞳領域のうち、どちらの瞳領域が手前であるのかが区別をつけるのが難しい。この場合、上述したように、撮像装置100から見て手前に位置し、フォーカス枠の中心から近い瞳領域に、予告枠または瞳枠が表示される。
<4.撮像装置の動作例>
図10は、撮像装置100の人物の瞳検出モードの撮像処理を説明するフローチャートである。
図10の人物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などから人物の瞳検出モードとして予め設定されている。
図10のステップS11において、システムコントローラ131は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。
ステップS11において処理を終了すると判定された場合、撮像処理は終了される。
ステップS11で処理を終了しないと判定された場合、処理は、ステップS12に進む。
ステップS12において、撮像素子103は、レンズ101および絞り102を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部104およびA/D変換部105を介して、デジタル信号処理部106のメモリ211に出力される。
ステップS13において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像をライブビュー画像として表示部141に表示させる。
ステップS14において、人物検出部212−1は、メモリ211に記憶されている画像データから顔領域を検出する。人物検出部212−1は、検出した顔領域の情報を領域設定部213および表示制御部214に供給する。
ユーザは、瞳AFボタンの押下、AF-ONボタンの押下、またはシャッタボタンの半押しなどの操作を行うことにより、合焦開始を指示する。なお、合焦開始の指示は、画像の撮像単位毎に行われる。操作部146は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ131に出力する。
ステップS15において、システムコントローラ131は、ユーザにより瞳AFボタンの押下が行われたか否かを判定する。ステップS15において、瞳AFボタンの押下が行われたと判定された場合、処理はステップS16に進む。
ステップS16において、システムコントローラ131は、フォーカス枠を強制的に広範囲に変更する。
ステップS17において、人物検出部212−1は、システムコントローラ131の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部213および表示制御部214に出力される。
ステップS18において、領域設定部213は、瞳領域が検出されたか否かを判定する。ステップS18において、瞳領域が検出されたと判定された場合、処理はステップS19に進む。
ステップS19において、領域設定部213は、人物検出部212−1により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に供給される。
ステップS18において、瞳領域が検出されなかったと判定された場合、処理はステップS20に進む。
ステップS20において、領域設定部213は、人物検出部212−1により検出された顔領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に出力される。
一方、ステップS15において、瞳AFボタンの押下が行われなかったと判定された場合、処理はステップS21に進む。
ステップS21において、システムコントローラ131は、ユーザによりシャッタボタンの半押しが行われたか否か、または、AF-ONボタンの押下が行われたか否かを判定する。
ステップS21において、シャッタボタンの半押しが行われた、または、AF-ONボタンの押下が行われたと判定された場合、処理はステップS22に進む。
ステップS22において、システムコントローラ131は、フォーカス枠を変更しない。
ステップS23において、人物検出部212−1は、システムコントローラ131の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部213および表示制御部214に出力される。
ステップS24において、領域設定部213は、瞳領域が検出されたか否かを判定する。ステップS24において、瞳領域が検出されたと判定された場合、処理はステップS25に進む。
ステップS25において、領域設定部213は、人物検出部212−1により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に供給される。
ステップS24において、瞳領域が検出されなかったと判定された場合、処理はステップS26に進む。
ステップS26において、領域設定部213は、人物検出部212−1により検出された顔領域またはフォーカス枠を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に出力される。
また、ステップS20において、シャッタボタンの半押しとAF-ONボタンの押下が行われなかったと判定された場合、処理はステップS27に進む。
ステップS27において、領域設定部213は、人物検出部212−1により検出された顔領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に出力される。
ステップS28において、表示制御部214は、人物検出部212−1により検出された顔領域に顔予告枠を生成し、ライブビュー画像に顔予告枠を重畳して、表示部141に表示させる。
ステップS19、S20、およびS25の後、処理は、図11のステップS29に進む。
ステップS29において、システムコントローラ131は、レンズドライバ121を制御し、合焦領域に焦点が合うように、レンズ101および絞り102などの光学系を駆動する。その後、処理は、ステップS30に進む。
図11のステップS27の後も処理は、ステップS30に進む。
ステップS30において、システムコントローラ131は、合焦したか否かを判定する。
ステップS30において、合焦したと判定された場合、処理は、ステップS31に進む。
ステップS31において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像をライブビュー画像として表示部141に表示させる。また、表示制御部214は、設定された合焦領域を囲む枠である合焦枠(瞳枠、顔枠、またはフォーカス枠)をライブビュー画像に重畳して表示部141に表示させる。
ステップS30において、合焦していないと判定された場合、ステップS31をスキップし、処理は、ステップS32に進む。
また、図10のステップS29の後、処理は、ステップS32に進む。
ステップS32において、システムコントローラ131は、操作部146からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。ステップS32においてシャッタボタンの全押しが行われたと判定された場合、処理はステップS33に進む。
ステップS33において、撮像素子103は、レンズ101および絞り102などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部104およびA/D変換部105を介して、デジタル信号処理部106のメモリ211に出力される。
ステップS34において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像を撮影画像として表示部141に表示させる。
ステップS35において、コーデック処理部215は、メモリ211に記憶される画像データを符号化する。コーデック処理部215は、符号化後の画像データを記憶部142に供給する。
ステップS36において、コーデック処理部215は、記憶部142に、符号化後の画像データを記録させる。その後、ステップS11に戻り、それ以降の処理が繰り返される。
また、ステップS32においてシャッタボタンの全押しが行われなかったと判定された場合も、ステップS11に戻り、それ以降の処理が繰り返される。
図12は、撮像装置100の動物の瞳検出モードの撮像処理を説明するフローチャートである。
図12の動物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで動物の瞳検出モードが予め設定されている。図12においては、猫または犬の瞳を検出する動物検出部212−2により動物の瞳が検出される例が説明される。
図12のステップS111において、システムコントローラ131は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。
ステップS111において処理を終了すると判定された場合、撮像処理は終了される。
ステップS111で処理を終了しないと判定された場合、処理は、ステップS112に進む。
ステップS112において、撮像素子103は、レンズ101および絞り102を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部104およびA/D変換部105を介して、デジタル信号処理部106のメモリ211に出力される。
ステップS113において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像をライブビュー画像として表示部141に表示させる。
ステップS114において、動物検出部212−2は、メモリ211に記憶されている画像データから瞳領域を検出する。動物検出部212−2は、検出した瞳領域の情報を領域設定部213および表示制御部214に供給する。
ステップS115において、表示制御部214は、動物検出部212−2により検出された瞳領域選択処理を行う。瞳領域選択処理により、複数検出された瞳領域の中から、予告枠が表示される瞳領域が選択される。
ステップS116において、システムコントローラ131は、ユーザにより瞳AFボタンの押下が行われたか否かを判定する。
ステップS116において、瞳AFボタンの押下が行われたと判定された場合、処理はステップS117に進む。
ステップS117において、システムコントローラ131は、フォーカス枠を強制的に広範囲に変更する。
ステップS118において、動物検出部212−2は、システムコントローラ131の制御に従って、広範囲に変更されたフォーカス枠内に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部213および表示制御部214に出力される。
ステップS119において、領域設定部213は、瞳領域が検出されたか否かを判定する。ステップS119において、瞳領域が検出されたと判定された場合、処理はステップS120に進む。
ステップS120において、領域設定部213は、動物検出部212−2により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に供給される。
一方、ステップS116において、瞳AFボタンの押下が行われなかったと判定された場合、処理はステップS121に進む。
ステップS121において、システムコントローラ131は、ユーザによりシャッタボタンの半押しが行われたか否か、または、AF-ONボタンの押下が行われたか否かを判定する。
ステップS121において、シャッタボタンの半押しが行われた、または、AF-ONボタンの押下が行われたと判定された場合、処理はステップS122に進む。
ステップS122において、システムコントローラ131は、フォーカス枠を変更しない。
ステップS123において、動物検出部212−2は、システムコントローラ131の制御に従って、フォーカス枠内に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部213および表示制御部214に出力される。
ステップS124において、領域設定部213は、瞳領域が検出されたか否かを判定する。ステップS124において、瞳領域が検出されたと判定された場合、処理はステップS125に進む。
ステップS125において、領域設定部213は、動物検出部212−2により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に供給される。
ステップS125において、瞳領域が検出されなかったと判定された場合、処理はステップS126に進む。
ステップS126において、領域設定部213は、他の条件として、フォーカス枠を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に出力される。
また、ステップS121において、シャッタボタンの半押しとAF-ONボタンの押下が行われなかったと判定された場合、処理はステップS127に進む。
ステップS127において、領域設定部213は、瞳領域が検出されたか否かを判定する。ステップS127において、瞳領域が検出されたと判定された場合、処理はステップS128に進む。
ステップS128において、領域設定部213は、動物検出部212−2により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ131に供給される。
ステップS129において、表示制御部214は、動物検出部212−2により検出された瞳領域に瞳予告枠を生成し、ライブビュー画像に瞳予告枠を重畳して、表示部141に表示させる。
ステップS120およびS125の後、処理は、図13のステップS130に進む。
ステップS130において、システムコントローラ131は、レンズドライバ121を制御し、合焦領域に焦点が合うように、レンズ101および絞り102などの光学系を駆動する。その後、処理は、ステップS131に進む。
図12のステップS126の後も処理は、ステップS131に進む。
ステップS131において、システムコントローラ131は、合焦したか否かを判定する。
ステップS131において、合焦したと判定された場合、処理は、ステップS132に進む。
ステップS132において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像をライブビュー画像として表示部141に表示させる。また、表示制御部214は、設定された合焦領域を囲む枠である合焦枠(瞳枠またはフォーカス枠)をライブビュー画像に重畳して表示部141に表示させる。
ステップS131において、合焦していないと判定された場合、ステップS132をスキップし、処理は、ステップS133に進む。
また、図12のステップS119またはS127において、瞳領域が検出されていないと判定された場合、合焦は行われず、処理は、図13のステップS133に進む。ステップS129の後も、処理は、ステップS133に進む。
ステップS133において、システムコントローラ131は、操作部146からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。ステップS133においてシャッタボタンの全押しが行われたと判定された場合、処理はステップS134に進む。
ステップS134において、撮像素子103は、レンズ101および絞り102などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部104およびA/D変換部105を介して、デジタル信号処理部106のメモリ211に出力される。
ステップS135において、表示制御部214は、メモリ211に記憶されている画像データに基づく画像を撮影画像として表示部141に表示させる。
ステップS136において、コーデック処理部215は、メモリ211に記憶される画像データを符号化する。コーデック処理部215は、符号化後の画像データを記憶部142に供給する。
ステップS137において、コーデック処理部215は、記憶部142に、符号化後の画像データを記録させる。その後、ステップS111に戻り、それ以降の処理が繰り返される。
また、ステップS133においてシャッタボタンの全押しが行われなかったと判定された場合も、ステップS111に戻り、それ以降の処理が繰り返される。
なお、上述した処理において、瞳領域が検出されなかった場合、合焦処理を実行しなかったり、フォーカス枠などの他の条件で合焦処理を実行したりするように説明した。瞳領域が検出されなかった場合の動作は、ユーザによる設定などで使い分けられるようにしてもよい。その際、検出されなかった対象被写体や特定部位に応じて、検出されなかった場合の動作を変更するようにしてもよい。
例えば、検出されなかった場合に合焦処理を行わないように設定しておくことで、対象被写体または特定部位の動きが少ない場合に、合焦の精度のさらなる悪化を防ぐことができる。反対に、検出されなかった場合にユーザにより指示された位置での合焦処理を行うように設定しておくことで、対象被写体または特定部位の動きが大きい場合に、事前の合焦処理を行うことができる。
図14は、図12のステップS114の瞳領域選択処理を説明するフローチャートである。
ステップS151において、表示制御部214は、フォーカス枠内に、瞳領域が2つ以上あるか否かを判定する。例えば、2匹の動物が、撮像装置100から見て手前の位置にいる場合、1つ乃至4つのいずれかの数の瞳が検出されうる。
ステップS151において、フォーカス枠内に、瞳領域が2つ以上あると判定された場合、処理はステップS52に進む。
ステップS152において、表示制御部214は、手前の瞳領域が2つ以上あるか否かを判定する。
ステップS152において、手前の瞳領域が2つ以上あると判定された場合、処理はステップS153に進む。
ステップS153において、表示制御部214は、各瞳領域とフォーカス枠の中心との距離を計算する。
ステップS154において、表示制御部214は、フォーカス枠の中心からの距離が最も短い瞳領域を選択する。
一方、ステップS151において、フォーカス枠内に、検出された瞳領域が2つ以上ないと判定された場合、処理はステップS155に進む。
ステップS155において、表示制御部214は、1つの瞳領域を選択する。
また、ステップS152において、手前の瞳領域が2つ以上ないと判定された場合、処理はステップS156に進む。
ステップS156において、表示制御部214は、手前の瞳領域を選択する。
ステップS154乃至S156の後、瞳領域選択処理は終了し、図12のステップS114に戻る。
以上のように、本技術においては、合焦対象とする特定領域を予告する予告枠が、被写体の種類に応じて撮像部より取得した画像の上に表示される。
例えば、予告枠が表示されない場合に、合焦開始を指示する操作がユーザにより行われ、自動合焦と撮像を行ってしまうと、被写体の条件によってはユーザの意図せぬ結果となることがある。
本技術によれば、予告枠が表示されることにより、意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。
以上により、ユーザは、被写体の種類である動物に応じて、瞳領域などの特定部位や動物自体に簡単に焦点を合わせることができる。
なお、上記説明においては、犬や猫などの動物の瞳を検出する処理について説明したが、本技術は、鳥、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身(被写体)に適用することができる。また、本技術は、これらの被写体の特定部位や被写体の組み合わせにも適用することができる。
さらに、本技術は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位にも適用することができる。
これらの場合、被写体の特定部位を検出するための検出モードが予め設定されて用いられる。このようにすることで、複数ある検出結果や検出方法のうち、どの検出結果や検出方法を優先するか、あるいは、複数ある被写体の中で、どの被写体を優先するかなどのユーザの意図を撮像装置に伝えることができる。
なお、人物の場合と異なり、毛が長い動物などの場合、瞳に焦点を合わせようとすると、瞳ではなく、瞳にかかる毛に焦点が合ってしまうことがある。この場合、焦点の位置を後ろに調整したり、毛に合焦しやすい被写体であることを撮像装置に予め設定を行い、設定に基づいて撮像装置が制御したりすることで、ユーザの意図により即した撮像結果を得ることができる。
ただし、毛が短い被写体の場合にも同じように制御を行うと焦点が合っていない結果となる。したがって、検出の対象被写体または特定部位、その他の検出結果を用いて、どのような調整を反映するのかを予め調整して使い分けることで、より利便性を高めることができる。
なお、上記説明において、人物の瞳と動物の瞳を異なる検出処理により検出するように説明したが、人物の瞳の場合も、動物の瞳と同じ検出処理により検出するようにしてもよい。
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図5に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブル記録媒体148により構成される。このリムーバブル記録媒体148には、磁気ディスク(フレキシブルディスクを含む)や光ディスク(CD-ROMやDVDを含む)が含まれる。さらに、光磁気ディスク(MD(Mini Disc)を含む)や半導体メモリなども含まれる。
この場合、プログラムは、リムーバブル記録媒体148をドライブ147に装着することにより、記憶部142にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。この場合、プログラムは、通信部145を介して受信し、記憶部142にインストールすることができる。
その他、このプログラムは、記憶部142やシステムコントローラ131内のROM(Read Only Memory)などに、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)など)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1) 合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部を備える撮像装置。
(2) 前記被写体は、人または動物である
前記(1)に記載の撮像装置。
(3) 前記被写体は、予め設定可能である
前記(1)に記載の撮像装置。
(4) 前記特定領域は、被写体の特定部位の領域である
前記(1)乃至(3)のいずれかに記載の撮像装置。
(5) 前記特定部位は、瞳である
前記(4)に記載の撮像装置。
(6) 前記特定領域は、被写体の領域である
前記(1)に記載の撮像装置。
(7)前記特定領域を検出する領域検出部をさらに備え、
前記表示制御部は、前記特定領域が複数検出された場合、焦点領域を設定するための焦点設定枠に応じて、前記予告枠の表示を制御する
前記(1)乃至(6)のいずれかに記載の撮像装置。
(8) 前記表示制御部は、前記焦点設定枠の中心位置により近い前記特定領域に応じて、前記予告枠の表示を制御する
前記(7)に記載の撮像装置。
(9) 前記画像の撮像単位で、合焦の開始を指示する合焦指示部と、
前記合焦の開始が指示された場合、検出された前記特定領域を前記画像の合焦領域として設定する領域設定部と
をさらに備える前記(7)または(8)に記載の撮像装置。
(10) 前記領域設定部は、所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記(9)に記載の撮像装置。
(11) 前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記(9)に記載の撮像装置。
(12) 前記表示制御部は、前記領域設定部により前記合焦領域が設定された場合、前記予告枠の表示に代えて、前記合焦領域を示す合焦領域枠の表示を制御する
前記(9)乃至(11)のいずれかに記載の撮像装置。
(13) 前記表示制御部は、前記予告枠の表示とは異なる表示方法で、前記合焦領域枠の表示を制御する
前記(9)に記載の撮像装置。
(14)前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記(9)に記載の撮像装置。
(15) 撮像を指示する撮像指示部と、
前記撮像が指示された場合、前記領域設定部により設定された前記合焦領域で前記合焦を行って前記画像を取得するように、前記撮像部を制御する合焦制御部と
をさらに備える前記(6)乃至(10)のいずれかに記載の撮像装置。
(16) 撮像装置が、
合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる
撮像方法。
(16)
合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部と
して、コンピュータを機能させるプログラム。
100 撮像装置, 101 レンズ, 102 絞り, 103 撮像素子, 104 アナログ信号処理部, 105 A/D変換部, 106 デジタル信号処理部, 121 レンズドライバ, 131 システムコントローラ, 141 表示部, 142 記憶部, 146 操作部, 211 メモリ, 212 被写体検出部, 212−1 人物検出部, 212−2 動物検出部, 212−3 動物検出部, 213 領域設定部, 214 表示制御部, 215 コーデック処理部

Claims (16)

  1. 合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部を備える撮像装置。
  2. 前記被写体は、人または動物である
    請求項1に記載の撮像装置。
  3. 前記被写体は、予め設定可能である
    請求項1に記載の撮像装置。
  4. 前記特定領域は、被写体の特定部位の領域である
    請求項1に記載の撮像装置。
  5. 前記特定部位は、瞳である
    請求項4に記載の撮像装置。
  6. 前記特定領域は、被写体の領域である
    請求項1に記載の撮像装置。
  7. 前記特定領域を検出する領域検出部をさらに備え、
    前記表示制御部は、前記特定領域が複数検出された場合、焦点領域を設定するための焦点設定枠に応じて、前記予告枠の表示を制御する
    請求項1に記載の撮像装置。
  8. 前記表示制御部は、前記焦点設定枠の中心位置により近い前記特定領域に応じて、前記予告枠の表示を制御する
    請求項7に記載の撮像装置。
  9. 前記画像の撮像単位で、合焦の開始を指示する合焦指示部と、
    前記合焦の開始が指示された場合、検出された前記特定領域を前記画像の合焦領域として設定する領域設定部と
    をさらに備える請求項7に記載の撮像装置。
  10. 前記領域設定部は、所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
    請求項9に記載の撮像装置。
  11. 前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
    請求項9に記載の撮像装置。
  12. 前記表示制御部は、前記領域設定部により前記合焦領域が設定された場合、前記予告枠の表示に代えて、前記合焦領域を示す合焦領域枠の表示を制御する
    請求項9に記載の撮像装置。
  13. 前記表示制御部は、前記予告枠の表示とは異なる表示方法で、前記合焦領域枠の表示を制御する
    請求項12に記載の撮像装置。
  14. 撮像を指示する撮像指示部と、
    前記撮像が指示された場合、前記領域設定部により設定された前記合焦領域で前記合焦を行って前記画像を取得するように、前記撮像部を制御する合焦制御部と
    をさらに備える請求項9に記載の撮像装置。
  15. 撮像装置が、
    合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる
    撮像方法。
  16. 合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部と
    して、コンピュータを機能させるプログラム。
JP2020563075A 2018-12-28 2019-12-13 撮像装置、撮像方法、およびプログラム Pending JPWO2020137602A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023204458A JP2024019284A (ja) 2018-12-28 2023-12-04 撮像装置、撮像方法、およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018246877 2018-12-28
JP2018246877 2018-12-28
PCT/JP2019/048877 WO2020137602A1 (ja) 2018-12-28 2019-12-13 撮像装置、撮像方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023204458A Division JP2024019284A (ja) 2018-12-28 2023-12-04 撮像装置、撮像方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2020137602A1 true JPWO2020137602A1 (ja) 2021-11-18

Family

ID=71127972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020563075A Pending JPWO2020137602A1 (ja) 2018-12-28 2019-12-13 撮像装置、撮像方法、およびプログラム
JP2023204458A Pending JP2024019284A (ja) 2018-12-28 2023-12-04 撮像装置、撮像方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023204458A Pending JP2024019284A (ja) 2018-12-28 2023-12-04 撮像装置、撮像方法、およびプログラム

Country Status (4)

Country Link
US (2) US11539892B2 (ja)
EP (1) EP3904956A4 (ja)
JP (2) JPWO2020137602A1 (ja)
WO (1) WO2020137602A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022070938A1 (ja) * 2020-09-30 2022-04-07

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122358A (ja) * 2008-11-18 2010-06-03 Nec Electronics Corp オートフォーカス装置、オートフォーカス方法及び撮像装置
WO2015045911A1 (ja) * 2013-09-24 2015-04-02 ソニー株式会社 撮影装置、撮影方法、およびプログラム
JP2016118799A (ja) * 2016-02-08 2016-06-30 オリンパス株式会社 撮像装置
JP2017103601A (ja) * 2015-12-01 2017-06-08 株式会社ニコン 焦点検出装置およびカメラ
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置
JP2018207309A (ja) * 2017-06-05 2018-12-27 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4182117B2 (ja) * 2006-05-10 2008-11-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4110178B2 (ja) 2006-07-03 2008-07-02 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム
CN102265597B (zh) * 2008-12-26 2013-10-09 松下电器产业株式会社 摄像装置
US9020298B2 (en) * 2009-04-15 2015-04-28 Microsoft Technology Licensing, Llc Automated image cropping to include particular subjects
US9041844B2 (en) * 2012-04-27 2015-05-26 Blackberry Limited Camera device with a dynamic touch screen shutter and dynamic focal control area
JP5814281B2 (ja) * 2013-02-22 2015-11-17 京セラドキュメントソリューションズ株式会社 シートトレイ、およびこれを備えた給紙装置、画像形成装置、画像読取装置
CN105474213B (zh) * 2013-07-30 2019-12-03 柯达阿拉里斯股份有限公司 用于创建可操纵视图的系统及方法
JP6351231B2 (ja) * 2013-10-18 2018-07-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
WO2015064144A1 (ja) * 2013-10-30 2015-05-07 オリンパスイメージング株式会社 撮像装置、撮像方法およびプログラム
JP6249825B2 (ja) * 2014-03-05 2017-12-20 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9344673B1 (en) * 2014-03-14 2016-05-17 Brian K. Buchheit Enhancing a camera oriented user interface via an eye focus guide
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
CN106060373B (zh) * 2015-04-03 2019-12-20 佳能株式会社 焦点检测装置及其控制方法
KR102392789B1 (ko) * 2015-10-21 2022-05-02 삼성전자주식회사 초점 설정을 위한 방법 및 그 전자 장치
WO2017135276A1 (ja) * 2016-02-01 2017-08-10 ソニー株式会社 制御装置、制御方法および制御プログラム
JPWO2017170716A1 (ja) * 2016-03-31 2019-03-07 株式会社ニコン 撮像装置、画像処理装置、および電子機器
US10499001B2 (en) * 2017-03-16 2019-12-03 Gvbb Holdings S.A.R.L. System and method for augmented video production workflow
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
US10958825B2 (en) * 2017-10-17 2021-03-23 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122358A (ja) * 2008-11-18 2010-06-03 Nec Electronics Corp オートフォーカス装置、オートフォーカス方法及び撮像装置
WO2015045911A1 (ja) * 2013-09-24 2015-04-02 ソニー株式会社 撮影装置、撮影方法、およびプログラム
JP2017103601A (ja) * 2015-12-01 2017-06-08 株式会社ニコン 焦点検出装置およびカメラ
JP2016118799A (ja) * 2016-02-08 2016-06-30 オリンパス株式会社 撮像装置
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置
JP2018207309A (ja) * 2017-06-05 2018-12-27 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
US11539892B2 (en) 2022-12-27
US20220060635A1 (en) 2022-02-24
WO2020137602A1 (ja) 2020-07-02
JP2024019284A (ja) 2024-02-08
EP3904956A1 (en) 2021-11-03
EP3904956A4 (en) 2022-02-16
US20230276120A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
US8553134B2 (en) Imager processing a captured image
WO2013088917A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP2024019284A (ja) 撮像装置、撮像方法、およびプログラム
JP2011027902A (ja) 画像処理装置、撮像装置及び画像処理方法
CN107087103B (zh) 摄像装置、摄像方法以及计算机可读存储介质
US20190349530A1 (en) Control apparatus and control method
JP2013160832A (ja) 光学機器
US20140125861A1 (en) Imaging apparatus and method for controlling same
JP2006208443A (ja) オートフォーカス装置
JP2017223760A (ja) 撮像装置及び焦点調節方法
JP2022186785A (ja) 制御装置、その制御方法、およびプログラム
WO2022070938A1 (ja) 撮像装置、撮像方法、およびプログラム
JP6970945B1 (ja) 撮像装置
US20210329172A1 (en) Image capturing apparatus, control method therefor, and storage medium
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2003018434A (ja) 撮像装置
US10542866B2 (en) Medical imaging device
JP7019943B2 (ja) カメラシステム、カメラボディおよび交換レンズ
JP6988355B2 (ja) 撮像装置
JP5965654B2 (ja) 追尾装置及び撮像装置、撮像装置に用いる追尾方法
JP2007078811A (ja) 撮像装置
WO2023189367A1 (ja) 撮像装置、撮像制御方法、プログラム
JP7159371B2 (ja) 制御装置、その制御方法、およびプログラム
JP6202982B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2011223181A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905