JP5400171B2 - 認識用撮像装置及びその制御方法 - Google Patents

認識用撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5400171B2
JP5400171B2 JP2011544185A JP2011544185A JP5400171B2 JP 5400171 B2 JP5400171 B2 JP 5400171B2 JP 2011544185 A JP2011544185 A JP 2011544185A JP 2011544185 A JP2011544185 A JP 2011544185A JP 5400171 B2 JP5400171 B2 JP 5400171B2
Authority
JP
Japan
Prior art keywords
area
recognition
unit
face
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011544185A
Other languages
English (en)
Other versions
JPWO2011067906A1 (ja
Inventor
隆志 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011544185A priority Critical patent/JP5400171B2/ja
Publication of JPWO2011067906A1 publication Critical patent/JPWO2011067906A1/ja
Application granted granted Critical
Publication of JP5400171B2 publication Critical patent/JP5400171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Description

本発明は、画像内の対象物を認識する認識用撮像装置及びその制御方法に関する。
近年、デジタルカメラの高機能化には目を見張るものがある。最近では、不特定人物の顔の認識、又は特定人物の顔を認識する機能を有するデジタルカメラが普及している。また、デジタルカメラのスルー画像において、移動している顔に対して時間的に連続な認識をすることで、撮影画像上の顔を追跡することが可能になってきている。このように、デジタルカメラに対して、更に高機能化が図られている。
このような顔の認識技術において、顔の解像度とＳＮ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比とが認識精度に大きく関わることが知られている。例えば、顔の解像度が不足した場合、又は、顔のＳＮ比が悪い場合、顔の特徴が不鮮明になり認識精度が下がってしまう。このような顔の解像度及びＳＮ比はカメラで撮影された状況で決まる。つまり、カメラの調整パラメータが認識精度に大きな影響を与える。
従来の顔認識技術として、顔を認識しやすいようにカメラの調整パラメータを制御する技術が開示されている。例えば、特許文献１では、撮影された画像データの品質を判定した結果を用いて、カメラの合焦調整、露出調整、照明調整、及びズーム調整などを行う技術が紹介されている。また、特許文献２では顔の認識結果に基づいてカメラの調整パラメータを制御している。この技術は、顔の位置、大きさ、及び向き等でカメラの絞りを制御するものである。具体的には、この技術は、顔が大きい場合は絞り開度を開き、その逆では絞り開度を絞っている。
特開２００７−９４５３５号公報 特開２００８−２３３４７０号公報 特開２００６−３５０６４５号公報
ところで、デジタルカメラ等で人物の顔を認識する場合、入力画像において認識対象である顔が時間的に動くため、顔認識に適した被写界深度（ピントの合う領域）が時間的に変化することが考えられる。そのため、特許文献１のように直前に撮影された画像データに適した合焦位置調整及び絞り調整を行うと、顔が被写界深度外に出る可能性が高くなる。このように被写界深度外に顔が出た場合、ボケの影響で顔の解像度が低下してしまう。これにより、時間的に連続な認識ができなくなることにより顔追跡に失敗する可能性が高くなる。
また、認識に必要な光量が足りない場合に特許文献１のように照明調整を常に作動させることができるとは限らない。例えば、フラッシュ禁止の場所では照明調整をすることができない。また、照明調整を作動させると消費電力が多くなってしまう課題もある。また、特許文献２のように絞りを調整した場合、小さな顔では絞り開度を絞るため、顔に当たる光量が不足して認識精度が下がってしまうという課題もある。
そこで本発明は、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える。
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、露出時間を長くする。これにより、対象物領域の入光量を増加できる。ここで、露出時間を長くすると、対象物領域においてブレが起こりやすくなる。しかしながら、対象物領域の面積が十分に大きい場合には、ブレが増加しても対象物認識処理及び対象物追跡処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物領域のＳＮ比が上がるので、対象物認識処理及び対象物追跡処理の精度が増加する。
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、対象物認識処理に必要な入光量を確保しやすくできる。
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも入光量を増加できるとともに、消費電力を低減できる。
このように、本発明の一形態に係る認識用撮像装置は、時間的に連続な認識を安定して行える。
また、前記認識用撮像装置は、さらに、前記対象物領域の移動速度を算出する移動速度算出部を備え、前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が速い場合には、露出時間を短くする。これにより、対象物領域においてブレが起こりにくくなるので、対象物領域の解像度が上がる。よって、対象物認識処理及び対象物追跡処理の精度が向上される。
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が遅い場合、露出時間を長くする。これにより、対象物領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても対象物認識処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物認識処理及び対象物追跡処理の精度を向上できる。
また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、認識用入光量が少ない場合に、露出時間を長くする。これにより、対象物領域の入光量を増加できる。
さらに、本発明の一形態に係る認識用撮像装置は、認識用入光量が十分に多い場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。
また、前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、ブレ量を考慮した認識用解像度を用いることで、より精度よく露出時間を制御できる。
また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備えてもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、合焦位置を対象物認識距離から遠くに設定することで認識可能な被写界深度を広げることができる。このように、対象物領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
さらに、発明の本発明の一形態に係る認識用撮像装置は、対象物領域の解像度が不十分である場合、合焦位置を対象物認識距離の近くに設定する。これにより、本発明の一形態に係る認識用撮像装置は、対象物領域の解像度を高くできる。
このように、本発明の一形態に係る認識用撮像装置は、対象物領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
また、前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、ボケ量を考慮した認識用解像度を用いることで、より精度よく合焦位置を制御できる。
また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備えてもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、絞り値を大きくする。ここで、対象物領域の面積が十分に大きい場合、各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、対象物領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合、絞り値を小さくする。ここで、対象物領域の面積が少ない場合、ノイズの影響が大きくなる。これに対して、本発明の一形態に係る認識用撮像装置は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも光量を確保できるとともに、消費電力を低減できる。
また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、入光量が十分に多い場合、絞り値を大きくする。ここで、入光量が十分に多い場合、対象物領域の各画素の信号量が大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、入光量が十分に多い場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
さらに、本発明の一形態に係る認識用撮像装置は、入光量が少ない場合、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
また、前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定してもよい。
この構成によれば、本発明の一形態に係る認識用撮像装置は、面積を考慮した認識用入光量を用いることで、より精度よく絞り値を制御できる。
なお、本発明は、このような認識用撮像装置として実現できるだけでなく、認識用撮像装置に含まれる特徴的な手段をステップとする認識用撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような認識用撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような認識用撮像装置を備えるカメラとして実現したりできる。
本発明によれば、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供できる。
図１は、本発明の実施の形態１に係る認識用撮像装置のブロック図である。 図２は、本発明の実施の形態１に係る認識用撮像装置の詳細なブロック図である。 図３は、本発明の実施の形態１に係る顔追跡処理のフローチャートである。 図４は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積に応じたシャッタースピード制御処理のフローチャートである。 図５は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の移動速度に応じたシャッタースピード制御処理のフローチャートである。 図６は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の入光量に応じたシャッタースピード制御処理のフローチャートである。 図７は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積及び入光量に応じたシャッタースピード制御処理のフローチャートである。 図８は、本発明の実施の形態２に係る認識用撮像装置のブロック図である。 図９は、本発明の実施の形態２に係る認識用撮像装置の詳細なブロック図である。 図１０は、本発明の実施の形態２に係る認識用撮像装置による合焦位置制御処理のフローチャートである。 図１１は、本発明の実施の形態２に係る、過焦点距離と被写界深度との関係を示す図である。 図１２は、本発明の実施の形態３に係る認識用撮像装置のブロック図である。 図１３は、本発明の実施の形態３に係る認識用撮像装置の詳細なブロック図である。 図１４は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の面積に応じた絞り値制御処理のフローチャートである。 図１５は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の入光量に応じた絞り値制御処理のフローチャートである。
（実施の形態１）
本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積、移動速度及び入光量に応じて、シャッタースピードを変更する。具体的には、本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積が大きい場合、シャッタースピードを遅くする。
これにより、本発明の実施の形態１に係る認識用撮像装置は、顔認識を安定して行える。以下、本発明の実施の形態１について図面を参照しながら説明する。
まず、本発明の実施の形態１に係る認識用撮像装置１００の構成を説明する。
図１は、本発明の実施の形態１に係る認識用撮像装置１００のブロック図である。
図１に示す認識用撮像装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、又はセキュリティカメラである。この認識用撮像装置１００は、撮像部１０１と、露出制御部１０２と、顔認識部１０５と、顔追跡部１０６と、面積算出部１０９とを備える。
撮像部１０１は、撮像光学系による被写体像を受光して電気信号を生成する。言い換えると、撮像部１０１は、対象物を撮像することにより順次複数の画像を生成する。
顔認識部１０５は、本発明の対象物認識部に相当する。この顔認識部１０５は、撮像部１０１で生成された複数の画像の各々に対して、当該画像内で対象物が撮像されている領域である対象物領域を認識する。
顔追跡部１０６は、本発明の追跡部に相当する。この顔追跡部１０６は、撮像部１０１で生成された複数の画像間において対象物領域を追跡する。
面積算出部１０９は、対象物領域の面積を算出する。
露出制御部１０２は、対象物領域の面積が面積閾値（第１閾値）未満の場合、撮像部１０１における露出時間を第１露出時間に設定し、対象物領域の面積が面積閾値以上の場合、撮像部１０１における露出時間を第１露出時間より長い第２露出時間に設定する。
図２は、認識用撮像装置１００の詳細な構成を示すブロック図である。図２に示すように、認識用撮像装置１００は、さらに、顔認識結果記憶部１０７と、移動速度算出部１０８と、入光量算出部１１０とを備える。
撮像部１０１は、レンズ１１２と、レンズ１１２の合焦位置等を変更するレンズ駆動装置１１３と、レンズ１１２を通過する光量を調整する絞り装置１１４と、撮像素子１１６の露出時間を調整するシャッター装置１１５と、レンズ１１２により結像された像を電気信号に変換する撮像素子１１６と、撮像素子１１６により生成された電気信号（アナログ信号）をデジタル信号に変換するＡＤ変換器１１７とを備える。また、認識用撮像装置１００は、ＡＤ変換器１１７によって生成されたデジタル信号に対してゲイン補正、ガンマ補正、色変換、及び拡大縮小等の信号処理を行うことにより、後述する顔認識部１０５で用いられる入力画像１２０を毎フレーム作成する。
露出制御部１０２は、撮像部１０１のシャッター装置１１５におけるシャッタースピードを制御する。シャッタースピードを遅くすると、撮像素子１１６に光が当たる露出時間が長くなる。これにより、被写体の電気信号が多く得られるので、入力画像の入光量が多くなる。また、シャッタースピードを速くすると、撮像素子１１６に光が当たる露出時間が短くなる。これにより、被写体の電気信号が少なくなるので、入力画像の入光量が少なくなる。
顔認識部１０５は、撮像部１０１により生成された入力画像１２０を用いて、入力画像１２０上にある顔領域を認識する。顔認識部１０５は、生成した顔認識結果１２１を１フレームごとに顔認識結果記憶部１０７に記憶する。一般的に認識対象としては、不特定人物の顔領域、又は特定人物の顔領域が想定される。不特定人物の顔領域の認識は、一般的な顔の特徴を含んだ画像領域を認識する。詳細な認識アルゴリズムは特許文献３等で公開されているＡｄａＢｏｏｓｔアルゴリズムを用い、顔向き毎に専用の顔向きを検出する識別器を構成することで実現する。しかし、不特定人物の顔領域の認識方法はこのアルゴリズムに限ったものではない。また、特定人物の顔領域の認識は、不特定人物の顔領域における詳細な顔特徴情報と顔認識結果記憶部１０７において登録されている特定人物の顔特徴情報１２３との整合性を判定することで個人を特定する。
一般的に顔認識では入力画像１２０をある一定のサイズにリサイズした認識用画像に対して認識が行われる。例えば、不特定人物の顔領域の認識では、特許文献２に記載のように、入力画像を縮小した認識用画像を用いて顔を認識している。また、特許文献１では、認識された不特定人物の顔領域に対して、目検出を行い両目の間隔が所定値になるようにリサイズした認識用画像を用いて特定人物の顔領域の認識を行っている。一般的に特定人物の顔領域の認識は、不特定人物の顔領域の認識より詳細な特徴情報を用いるため、不特定人物の顔領域の認識より高い解像度が求められる。
顔追跡部１０６は、顔認識結果記憶部１０７が保持している過去の顔認識結果１２１に基づいて、連続する入力画像１２０（フレーム）間で顔を追跡する。例えば、顔追跡に用いられる顔認識結果１２１は、入力画像１２０上の顔領域の中心座標等である。一度認識された顔は、次フレームでは、前フレームで認識された位置の近傍で認識される。このように顔追跡部１０６は、認識位置の連続性を用いて顔追跡処理を実現する。図３は、顔追跡部１０６による顔追跡処理のフローチャートである。
図３における顔追跡処理において、まず、顔追跡部１０６は、現フレームで認識された顔領域の中心座標近傍において、１フレーム前にラベルが付与された顔領域が存在したか否を判定する（Ｓ１０１）。
１フレーム前にラベルが付与された顔領域が存在していた場合（Ｓ１０１でＹｅｓ）、顔追跡部１０６は、現フレームで認識された顔領域に、１フレーム前の顔領域に付与されていたラベルと同じラベルを付与する（Ｓ１０２）。
一方、１フレーム前にラベルが付与された顔領域が存在していない場合（Ｓ１０１でＮｏ）、顔追跡部１０６は、これまでに認識された顔とは異なる固有のラベルを現フレームで認識された顔領域に付与する（Ｓ１０３）。
なお、ここでの説明では、位置の連続性を用いた追跡方法を用いる場合を述べたが、色を用いた追跡方法を用いてもよい。また追跡対象の顔が複数あった場合、顔追跡部１０６は、カメラの調整パラメータを制御する顔のラベルを選択する。選択方法としては、顔認識部１０５において登録されている特定人物が認識されているならば、その顔のラベルを選択する。他にも特許文献２等で開示されているように認識された顔のサイズ及び位置などによって制御する顔を選択してもよい。また、顔追跡部１０６は、生成した顔追跡結果１２２を１フレームごとに顔認識結果記憶部１０７に記憶する。
顔認識結果記憶部１０７は、顔認識部１０５で生成された顔認識結果１２１と、顔追跡部１０６で生成された顔追跡結果１２２とを１フレーム毎に保持する。ここで、顔認識結果１２１は、入力画像上の顔領域の座標、顔領域の縦横の画素数、及び登録されている特定人物の認識状況等である。また、顔追跡結果１２２は、顔領域を区別するためのラベル、及びカメラ制御対象のラベル等である。また、顔認識結果記憶部１０７は、顔認識部１０５による特定人物の認識で用いられる特定人物の顔の詳細情報である顔特徴情報１２３を保持する。また、認識用撮像装置１００は、顔認識結果記憶部１０７に１フレームごとにデータが蓄積された結果、メモリ容量が限界に達した場合、最も古いデータから消去することで常に最新の履歴を参照することができる。
移動速度算出部１０８は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とを用いて、カメラ制御対象のラベルの顔における移動速度を算出する。具体的には、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔において１フレーム前の顔領域の中心座標から現フレームの顔領域の中心座標までの移動画素数を算出する。そして移動速度算出部１０８は、算出した移動画素数に基づいて、平面方向の移動速度を算出する。また、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔に対して、１フレーム前の顔領域における縦横の画素数と現フレームの顔領域における縦横の画素数との差分を算出する。そして移動速度算出部１０８は、算出した差分に基づいて、深さ方向の移動速度を計算する。ただし、移動速度の求め方はこれらの方法に限ったものではない。
面積算出部１０９は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔における顔領域の面積を求める。面積としては認識用画像の顔の解像度（以下、認識用解像度）、又は入力画像１２０上における顔の画素数が考えられる。ここで認識用解像度とは、画像における画素の密度であり、この値が大きいほど顔の特徴が鮮明になる。例えば、この認識用解像度は、顔領域の面積（画素数）に比例し、かつ、顔領域におけるブレ量（又はボケ量）に反比例する値である。具体的には、認識用解像度としては、認識用画像領域のＡＦ評価値（コントラスト量に応じた値）等を用いることができる。または、認識解像度は、入力画像１２０上の顔領域のＡＦ評価値を認識用画像の面積で正規化した値でもよい。ただし、顔領域における面積の求め方はこの方法に限ったものではない。
入光量算出部１１０では、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔領域における入光量を算出する。具体的には、入光量算出部１１０は、認識用画像の顔領域に含まれる複数の画素の輝度値の平均値、又は入力画像１２０上の顔領域に含まれる複数の画素の輝度値の平均値を算出し、算出した平均値を用いて入光量を算出する。また、入光量算出部１１０は、ゲイン又はガンマ補正等の輝度補正が入力画像１２０に施されている場合は、それらの補正の逆補正を入力画像１２０に行い、逆補正を行ったあとの画像を用いて入光量を算出する。ただし、顔領域における入光量の求め方はこの方法に限ったものではない。
露出制御部１０２は、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で算出された、顔領域の面積、移動速度及び入光量を用いて、シャッタースピードを決定する。
以下に、露出制御部１０２が、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で生成された情報を用いてシャッタースピードを算出する方法を述べる。また、前提条件として、処理対象の顔は顔追跡されている（１フレーム前の顔の履歴がある）カメラ制御対象の顔とする。
まず、露出制御部１０２による顔領域の面積に基づく、シャッタースピードの制御処理について説明する。図４は、顔領域の面積に基づく、シャッタースピードの制御処理のフローチャートである。
また、例えば、図４〜図７の各々に示す一連の処理は、１フレームごとに行われる。なお、図４〜図７の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
まず、面積算出部１０９は、処理対象の顔領域の面積を算出する。ここでは面積は認識用画像におけるＡＦ評価値とする（Ｓ２０１）。
次に、露出制御部１０２は、顔領域の面積が面積閾値（認識に十分な面積）に達しているかどうかを判定する（Ｓ２０２）。なお、認識方法によって面積閾値は変わる。例えば、特定人物の顔認識における面積閾値は、不特定人物の顔認識における面積閾値より高い。
顔領域の面積が面積閾値以上の場合（Ｓ２０２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。ここで、露出制御部１０２は、現在の顔領域の面積と現在のシャッタースピードとの関係から、認識用解像度が解像度閾値を下回らないシャッタースピードの上限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した上限値以下の値に設定する。
このように、顔領域の面積が十分に大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を長くする。これにより、顔領域の入光量を増加できる。ここで、露出時間を長くすると、顔領域においてブレが起こりやすくなる。しかしながら、顔領域の面積が十分に大きい場合には、ブレが増加しても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が増加する。
また、顔領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、顔認識処理に必要な入光量を確保しやすくできる。
一方、顔領域の面積が面積閾値未満の場合（Ｓ２０２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。
このように、顔領域の面積が小さい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔領域におけるブレが低減されるので、顔認識処理及び顔追跡処理の精度が向上される。
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の面積に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の面積が大きいほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の面積が小さいほど、より速いシャッタースピードを設定してもよい。
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の面積が第１面積閾値以上の場合にシャッタースピードを遅くし、顔領域の面積が、第１面積閾値より小さい第２面積閾値未満の場合にシャッタースピードを速くし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の面積と複数の面積閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
次に、露出制御部１０２による顔領域の移動速度に基づく、シャッタースピードの制御処理について説明する。図５は、顔領域の移動速度に基づく、シャッタースピードの制御処理のフローチャートである。なお、以下では、同様の処理に対しては同様の符号を付し、説明を省略する場合がある。
まず、移動速度算出部１０８は、処理対象の顔の平面方向の移動速度を算出する（Ｓ２１１）。
次に、露出制御部１０２は、顔領域の移動速度が速度閾値以上であるか否かを判定する（Ｓ２１２）。
顔領域の移動速度が速度閾値未満の場合（Ｓ２１２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
これにより、顔領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔認識処理及び顔追跡処理の精度を向上できる。
一方、顔領域の移動速度が速度閾値以上の場合（Ｓ２１２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。
このように、顔領域の移動速度が大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。シャッタースピードを速くすることで、顔領域においてブレが起こりにくくなるので、顔領域の解像度が上がる。これにより、顔認識処理及び顔追跡処理の精度が向上される。
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の移動速度に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の移動速度が遅いほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の移動速度が速いほど、より速いシャッタースピードを設定してもよい。
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の移動速度が第１速度閾値以上の場合にシャッタースピードを速くし、顔領域の移動速度が、第１速度閾値より小さい第２速度閾値未満の場合にシャッタースピードを遅くし、顔領域の移動速度が第１速度閾値と第２速度閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の移動速度と複数の速度閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
次に、露出制御部１０２による顔領域の入光量に基づく、シャッタースピードの制御処理について説明する。図６は、顔領域の入光量に基づく、シャッタースピードの制御処理のフローチャートである。
まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここでは、入光量は認識用画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
次に、露出制御部１０２は、顔領域の入光量が入光量閾値（認識に十分な入光量）に達しているかどうかを判定する（Ｓ２２２）。ここで、認識方法によって入光量閾値は変わる。例えば、特定人物の顔認識における入光量閾値は、不特定人物の顔認識における入光量閾値とより高い。また、露出制御部１０２は、この判定に用いる入光量として、入光量算出部１１０で算出された入光量そのものを用いてもよいし、面積算出部１０９で算出された面積に比例し、かつ、入光量算出部１１０で算出された入光量に比例する認識用入光量を算出し、当該認識用入光量と、入光量閾値とを比較してもよい。
顔領域の入光量が入光量閾値未満の場合（Ｓ２２２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
このように、顔領域の入光量が入光量閾値未満の場合には、露出制御部１０２は、撮像部１０１の露出時間を遅くすることで、入光量を増加できる。これにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が向上される。
一方、顔領域の入光量が入光量以上の場合（Ｓ２２２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。ここで、露出制御部１０２は、現在の顔の入光量と現在のシャッタースピードとの関係から、入光量閾値を下回らないシャッタースピードの下限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した下限値以上の値に設定する。
このように、顔領域の入光量が十分に多い場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔認識処理に必要な入光量を確保しつつ顔領域のブレを低減できる。
また、顔領域の入光量が十分に大きい場合には、シャッタースピードを速くしておくことで、対象物の移動速度が急に増加した場合でも、ブレを抑えることができるので、顔認識処理に必要な解像度を確保しやすくできる。
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の入光量に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の入光量が少ないほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の入光量が多いほど、より速いシャッタースピードを設定してもよい。
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の入光量が第１入光量閾値以上の場合にシャッタースピードを速くし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合にシャッタースピードを遅くし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の入光量と複数の入光量閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
また、上記説明では、顔領域の面積、移動速度及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つに応じて、シャッタースピードを変更すればよい。
図７は、露出制御部１０２によるシャッタースピードの制御処理の変形例のフローチャートである。
図７に示すように、顔領域の入光量が入光量閾値未満であり、かつ、顔領域の面積が面積閾値以上の場合（Ｓ２３１でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定してもよい（Ｓ２０３）。
また、顔領域の入光量が入光量閾値以上であり、かつ、顔領域の面積が面積閾値未満の場合（Ｓ２３２でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定してもよい（Ｓ２０４）。
また、上記以外の場合（Ｓ２３１でＮｏ、かつ、Ｓ２３２でＮｏ）、露出制御部１０２は、シャッタースピードを変更しない。
なお、上述した図４〜図７における、ステップＳ２０３及びＳ２０４において、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つの値に応じて、シャッタースピードの変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
このように、本発明の実施の形態１に係る認識用撮像装置１００は、顔領域の面積、移動速度及び入光量に応じてシャッタースピードを増減することで、顔認識処理に必要な顔の解像度、及びＳＮ比を向上できる。これにより、認識用撮像装置１００は、時間的に連続な認識を安定して行える。
なお、上記説明では、露出制御部１０２は、シャッタースピードを変更することで露出時間を変更しているが、これ以外の方法で露出時間を変更してもよい。
（実施の形態２）
本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積に応じて、当該認識用撮像装置の合焦位置を変更する。具体的には、本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積が大きい場合、合焦位置を顔から遠くに設定する。
これにより、本発明の実施の形態２に係る認識用撮像装置は、顔認識を安定して行える。
なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
図８は、本発明の実施の形態２に係る認識用撮像装置１００Ａのブロック図である。
図８に示す認識用撮像装置１００Ａは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに合焦位置制御部１０３を備える。
また、図９は、認識用撮像装置１００Ａの詳細な構成を示すブロック図である。
合焦位置制御部１０３は、撮像部１０１のレンズ駆動装置１１３における合焦位置を制御する。合焦位置が対象物に近ければ、対象物にピントが合っている状態になるので、入力画像における対象物の解像度が上がる。一方、合焦位置が対象物から遠ければ、対象物にピントが合っていない状態になるので、入力画像における対象物の解像度が下がる。
具体的には、合焦位置制御部１０３は、顔領域の面積が面積閾値未満の場合、合焦位置を第１位置に設定し、顔領域の面積が面積閾値以上の場合、合焦位置を、第１位置より対象物から離れた第２位置に設定する。
図１０は、認識用撮像装置１００Ａによる合焦位置の制御処理のフローチャートである。また、処理対象の顔はカメラ制御対象の顔とする。
また、例えば、図１０に示す一連の処理は、１フレームごとに行われる。なお、図１０に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
図１０に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここでは、面積は認識用画像におけるＡＦ評価値とする。
次に、合焦位置制御部１０３は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置からより遠くなるように合焦位置を設定する（Ｓ３０３）。
一方、顔領域の面積が面積閾値を超えていないと判定した場合（Ｓ２０２でＮｏ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置に近くなるように合焦位置を設定する（Ｓ３０４）。
なお、合焦位置制御部１０３は、ステップＳ３０４において、少なくともステップＳ３０３で設定される位置より、顔に近い位置に合焦位置を設定すればよい。
また、ここでは一つの閾値を用いて、合焦位置を変更する例を述べたが、複数の閾値を用いてもよい。例えば、合焦位置制御部１０３は、顔領域の面積が第１面積閾値以上の場合に合焦位置を顔から離し、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に合焦位置を顔に近づけ、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に合焦位置を変更しなくてもよい。また、合焦位置制御部１０３は、顔領域の面積と複数の面積閾値との大小に応じて、合焦位置の変化量を変更してもよい。
ステップＳ３０３及びステップＳ３０４における合焦位置の位置算出方法について図１１を用いて詳細に説明する。まず顔の面積を考慮しない一般的な合焦位置の制御方法を、図１１（ａ）を用いて説明する。
まず、被写界深度について詳細に説明する。一般的に被写界深度は以下の（式１）、（式２）及び（式３）で求められる。ここで、ＤＮは被写界深度の前端であり、ＤＦは被写界深度の後端である。また、全体の被写界深度はＤＦとＤＮとを合わせたものである。また、ｓは合焦位置であり、Ｈは過焦点距離（無限遠が被写界深度の後端ぎりぎりに入るような合焦位置）であり、Ｎは絞り値であり、ｃは許容錯乱円の直径（許容されるボケの直径）であり、ｆはレンズの焦点距離である。
Ｈ＝ｆ２／（ｃ×Ｎ）・・・（式１）
ＤＮ＝｛ｓ×（Ｈ−ｆ）｝／（Ｈ＋ｓ−２ｆ）・・・（式２）
ＤＦ＝｛ｓ×（Ｈ−ｆ）｝／（Ｈ−ｓ）・・・（式３）
以下では、ボケ量が１ｐｉｘｅｌ以内に収まる許容錯乱円の直径をｃとして、顔が認識されている距離Ｓに合焦位置を制御した場合の被写界深度をＷ０とする。
図１１（ａ）に示すように合焦位置Ｓが過焦点距離Ｈ０より手前にある場合、被写界深度の後端が有限の位置になる。ここで、合焦位置制御部１０３は、顔領域の面積を考慮して、合焦位置がＳの場合において顔の認識が可能な解像度を確保できる被写界深度Ｗ１を求める。例として認識対象の顔の面積が認識に必要な面積の縦横２倍あった場合を仮定する。このような場合、認識に必要とされる許容錯乱円の直径を２ｃまで拡大しても認識に必要な解像度を満たすことができる。
よって、許容錯乱円の直径を２ｃとして再設定する過焦点距離をＨ１とした場合、合焦位置制御部１０３は、式（１）を用いてＨ１＝Ｈ０／２を算出する。つまり、過焦点距離Ｈ１は過焦点距離Ｈ０よりも手前に位置することになる。具体的には、図１１（ｂ）に示すように過焦点距離Ｈ１が合焦位置Ｓよりも手前にある場合、被写界深度Ｗ１の後端は無限遠になる。また、被写界深度Ｗ１の前端も被写界深度Ｗ０に比べて手前になる。このように、顔領域の面積が広いほど認識可能な被写界深度Ｗ１は広くなる。
さらに、合焦位置制御部１０３は、過焦点距離Ｈ１が顔認識距離Ｓの手前にある場合、図１１（ｃ）に示すように過焦点距離Ｈ１の位置に合焦位置を設定する。これにより、更に認識可能な被写界深度Ｗ２を広くすることができる。このように、合焦位置制御部１０３は、顔領域の面積に応じて合焦位置を適切に制御することで認識可能な被写界深度を広げることができる。
つまり、顔領域の面積が十分に大きい場合、合焦位置制御部１０３は、ステップＳ３０３で、合焦位置を顔認識距離から遠くに設定することで認識可能な被写界深度を広げる。このように、顔領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
また、顔領域の面積が不十分である場合、合焦位置制御部１０３は、ステップＳ３０４で、合焦位置を顔認識距離の近くに設定する。これにより、合焦位置制御部１０３は、顔領域の解像度を高くできる。
このように、本発明の実施の形態２に係る認識用撮像装置１００Ａは、顔領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
（実施の形態３）
本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積及び入光量に応じて、絞り値を変更する。具体的には、本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積が大きい場合、絞り値を大きくする。
これにより、本発明の実施の形態３に係る認識用撮像装置は、顔認識を安定して行える。
なお、以下では、実施の形態１及び２との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
図１２は、本発明の実施の形態３に係る認識用撮像装置１００Ｂのブロック図である。
図１２に示す認識用撮像装置１００Ｂは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに絞り制御部１０４を備える。
また、図１３は、認識用撮像装置１００Ｂの詳細な構成を示すブロック図である。
絞り制御部１０４は、撮像部１０１の絞り装置１１４における絞り値を制御する。絞り値を小さくすると、レンズ１１２を通過する光量が多くなるので対象物の電気信号が多く得られる。これにより、入力画像の入光量が多くなる。また、被写界深度が浅く（ピントの合う領域が狭く）なる。一方、絞り値を大きくすると、レンズを通過する光量が少なくなるので、被写体の電気信号が少なくなる。これにより、入力画像の入光量が少なくなる。また、被写界深度が深く（ピントの合う領域が広く）なる。
具体的には、絞り制御部１０４は、顔領域の面積が面積閾値未満の場合、絞り値を第１絞り値に設定し、顔領域の面積が面積閾値以上の場合、絞り値を第１絞り値より大きい第２絞り値に設定する。
以下に、絞り制御部１０４が、面積算出部１０９及び入光量算出部１１０により生成さされた情報を用いて絞り値を算出する方法を述べる。また、処理対象の顔はカメラ制御対象の顔とする。
まず、絞り制御部１０４による顔領域の面積に基づく、絞り値の制御処理について説明する。図１４は、顔領域の面積に基づく、絞り値の制御処理のフローチャートである。
また、例えば、図１４及び図１５の各々に示す一連の処理は、１フレームごとに行われる。なお、図１４及び図１５の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
図１４に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここで、面積は入力画像における顔領域の画素数とする。
次に、絞り制御部１０４は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。
また、入力画像上の顔領域の画素数が多い場合、認識用画像のサイズに縮小する際に各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、顔領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
また、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、面積が大きいほど絞り値を大きくする。
一方、顔領域の面積が面積閾値を超えていない場合（Ｓ２０２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。また、絞り制御部１０４は、顔領域の面積が小さいほど絞り値を小さくする。
また、入力画像上の顔領域の画素数が少ない場合、認識用画像のサイズに縮小する際にノイズが平均化されにくくなるので、ノイズの影響が大きくなる。これに対して、絞り制御部１０４は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。
また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の面積が第１面積閾値以上の場合に絞り値を大きくし、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に絞り値を小さくし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の面積と複数の面積閾値との大小に応じて、絞り値の変化量を変更してもよい。
次に、絞り制御部１０４による顔領域の入光量に基づく、絞り値の制御処理について説明する。図１５は、顔領域の入光量に基づく、絞り値の制御処理のフローチャートである。
図１５に示すように、まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここで、入光量は入力画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
次に、絞り制御部１０４は、顔領域における入光量が入光量閾値に達しているかどうかを判定する（Ｓ２２２）。
顔領域の入光量が入光量閾値を超えている場合（Ｓ２２２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。よって、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が大きいほど絞り値を大きくする。
例えば、入力画像上の顔領域の入光量が大きい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が大きくなる。よって、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。このように、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
一方、顔領域の入光量が入光量閾値を超えていない場合（Ｓ２２２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。絞り値が小さければ小さいほど、認識範囲を狭めるため、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が小さいほど絞り値を小さくする。
例えば、入力画像上の顔領域の入光量が小さい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が小さくなる。よって、絞り制御部１０４は、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の入光量が第１入光量閾値以上の場合に絞り値を大きくし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合に絞り値を小さくし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の入光量と複数の入光量閾値との大小に応じて、絞り値の変化量を変更してもよい。
以上より、本発明の実施の形態３に係る認識用撮像装置１００Ｂは、顔領域の面積及び入光量に応じて絞り値を制御することで、認識に必要とされる光量を確保しつつ、認識が可能となる被写界深度をできるだけ深くすることができる。よって、認識用撮像装置１００Ｂは、より安定した認識が可能になる。
また、上記説明では、顔領域の面積及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つに応じて、絞り値を変更すればよい。
また、上述した図１４及び図１５における、ステップＳ４０３及びＳ４０４において、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つの値に応じて、絞り値の変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
以上、本発明の実施の形態に係る認識用撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記実施の形態では、顔を認識する場合を例に説明したが、本発明は、画像内の任意の対象物を認識する場合にも適用できる。
また、上記実施の形態１〜実施の形態３において、露出時間、合焦位置及び絞り値を制御する例を個別に説明したが、これらを組み合わせたものも本発明に含まれる。つまり、本発明に係る認識撮像装置は、上述した露出制御部１０２、合焦位置制御部１０３及び絞り制御部１０４のうち２以上を備えてもよい。
例えば、図７に示す処理において、シャッタースピードを変更しない場合（Ｓ２３１でＮｏかつＳ２３２でＮｏ）に、合焦位置又は絞り値を変更してもよい。
また、この場合、露出時間、合焦位置及び絞り値に用いる面積閾値は、それぞれ異なってもよい。同様に、露出時間、合焦位置及び絞り値に用いる速度閾値も、それぞれ異なってもよいし、露出時間、合焦位置及び絞り値に用いる入光量閾値も、それぞれ異なってもよい。
また、上記実施の形態に係る認識用撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態に係る、認識用撮像装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
例えば、上記認識用撮像装置１００、１００Ａ及び１００Ｂに含まれる処理部のうち、撮像部１０１以外の機能を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現できる。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１〜３に係る、認識用撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
例えば、図７に示す処理では、ステップＳ２０１及びＳ２２１の順序は任意の順序でよい。また、ステップＳ２３１及びＳ２３２の順序は任意の順序でよい。
更に、本発明の主旨を逸脱しない限り、上記実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、認識用撮像装置及びその制御方法に適用できる。また、本発明は、認識用撮像装置を備える、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、及びセキュリティカメラ等のカメラに適用できる。
１００、１００Ａ、１００Ｂ 認識用撮像装置
１０１ 撮像部
１０２ 露出制御部
１０３ 合焦位置制御部
１０４ 絞り制御部
１０５ 顔認識部
１０６ 顔追跡部
１０７ 顔認識結果記憶部
１０８ 移動速度算出部
１０９ 面積算出部
１１０ 入光量算出部
１１２ レンズ
１１３ レンズ駆動装置
１１４ 絞り装置
１１５ シャッター装置
１１６ 撮像素子
１１７ ＡＤ変換器
１２０ 入力画像
１２１ 顔認識結果
１２２ 顔追跡結果
１２３ 顔特徴情報

Claims (18)

  1. 対象物を撮像することにより順次複数の画像を生成する撮像部と、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
    前記対象物領域の面積を算出する面積算出部と、
    前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える
    認識用撮像装置。
  2. 前記認識用撮像装置は、さらに、
    前記対象物領域の移動速度を算出する移動速度算出部を備え、
    前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定する
    請求項１に記載の認識用撮像装置。
  3. 前記認識用撮像装置は、さらに、
    前記対象物領域における入光量を算出する入光量算出部を備え、
    前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定する
    請求項１に記載の認識用撮像装置。
  4. 前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定する
    請求項１に記載の認識用撮像装置。
  5. 対象物を撮像することにより順次複数の画像を生成する撮像部と、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
    前記対象物領域の面積を算出する面積算出部と、
    前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備える
    認識用撮像装置。
  6. 前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定する
    請求項５に記載の認識用撮像装置。
  7. 対象物を撮像することにより順次複数の画像を生成する撮像部と、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、
    前記対象物領域の面積を算出する面積算出部と、
    前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備える
    認識用撮像装置。
  8. 前記認識用撮像装置は、さらに、
    前記対象物領域における入光量を算出する入光量算出部を備え、
    前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定する
    請求項７に記載の認識用撮像装置。
  9. 前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定する
    請求項８に記載の認識用撮像装置。
  10. 対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    前記対象物領域の面積を算出する面積算出ステップと、
    前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御ステップとを含む
    認識用撮像装置の制御方法。
  11. 対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    前記対象物領域の面積を算出する面積算出ステップと、
    前記面積が第１閾値未満の場合、前記認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御ステップとを含む
    認識用撮像装置の制御方法。
  12. 対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    前記対象物領域の面積を算出する面積算出ステップと、
    前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御ステップとを含む
    認識用撮像装置の制御方法。
  13. 請求項１０記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    プログラム。
  14. 請求項１１記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    プログラム。
  15. 請求項１２記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    プログラム。
  16. 請求項１記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記露出制御部とを備える
    半導体集積回路。
  17. 請求項５記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記合焦位置制御部とを備える
    半導体集積回路。
  18. 請求項７記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記絞り制御部とを備える
    半導体集積回路。
JP2011544185A 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法 Active JP5400171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011544185A JP5400171B2 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009273070 2009-12-01
JP2009273070 2009-12-01
JP2011544185A JP5400171B2 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法
PCT/JP2010/006900 WO2011067906A1 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JPWO2011067906A1 JPWO2011067906A1 (ja) 2013-04-18
JP5400171B2 true JP5400171B2 (ja) 2014-01-29

Family

ID=44114769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011544185A Active JP5400171B2 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法

Country Status (4)

Country Link
US (1) US8860875B2 (ja)
JP (1) JP5400171B2 (ja)
CN (1) CN102301693B (ja)
WO (1) WO2011067906A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US10150028B2 (en) 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
CN103024165B (zh) * 2012-12-04 2015-01-28 华为终端有限公司 一种自动设置拍摄模式的方法和装置
US10306125B2 (en) 2014-10-09 2019-05-28 Belkin International, Inc. Video camera with privacy
US9179105B1 (en) * 2014-09-15 2015-11-03 Belkin International, Inc. Control of video camera with privacy feedback
US9628720B2 (en) * 2015-08-12 2017-04-18 Qualcomm Incorporated System and method to control an imaging process
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
WO2017065057A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
CN106131518A (zh) * 2016-06-30 2016-11-16 东莞市中控电子技术有限公司 一种图像处理的方法以及图像处理装置
JP6364698B2 (ja) * 2016-09-30 2018-08-01 三菱重工機械システム株式会社 合焦位置調整装置、合焦位置調整システム、プログラム、および合焦位置調整方法
JP6828971B2 (ja) * 2017-10-04 2021-02-10 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
JP6992947B2 (ja) * 2017-11-28 2022-01-13 株式会社ザクティ 画像処理装置
CN110786001B (zh) * 2018-11-28 2022-06-10 深圳市大疆创新科技有限公司 拍摄方法和拍摄系统
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
KR100839772B1 (ko) * 2003-07-15 2008-06-20 오므론 가부시키가이샤 대상 결정 장치 및 촬상 장치
JP4434939B2 (ja) 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
JP4767595B2 (ja) 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
JP2007094535A (ja) 2005-09-27 2007-04-12 Konica Minolta Photo Imaging Inc 認証システム及び認証方法
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP4582212B2 (ja) * 2008-06-24 2010-11-17 カシオ計算機株式会社 撮像装置及びプログラム
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Also Published As

Publication number Publication date
US20110285897A1 (en) 2011-11-24
US8860875B2 (en) 2014-10-14
CN102301693B (zh) 2014-09-24
CN102301693A (zh) 2011-12-28
WO2011067906A1 (ja) 2011-06-09
JPWO2011067906A1 (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
JP5400171B2 (ja) 認識用撮像装置及びその制御方法
JP5335302B2 (ja) 焦点検出装置及びその制御方法
JP6234144B2 (ja) 焦点検出装置および焦点検出方法
JP5446076B2 (ja) デジタルカメラ
US10650526B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
US9131145B2 (en) Image pickup apparatus and control method therefor
US20150009352A1 (en) Imaging apparatus and method for controlling the same
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
JP6116277B2 (ja) 撮像装置及びその制御方法
US10237488B2 (en) Image capturing apparatus and image capturing method
JP2012137530A (ja) 焦点調節装置及び方法
JP2010183559A (ja) 撮像装置及びその制御方法及びプログラム
JP6139960B2 (ja) 撮像装置およびその制御方法
JP5873336B2 (ja) 焦点調節装置
US10747089B2 (en) Imaging apparatus and control method of the same
JP5698499B2 (ja) フォーカス調整装置及び撮像装置
JP4981758B2 (ja) 焦点調節装置及び方法
JP6351255B2 (ja) 撮像装置及び撮像方法、プログラム、記憶媒体
JP6039184B2 (ja) 自動焦点調節装置、撮像装置及び自動焦点調節方法
WO2014189047A1 (ja) 撮像装置およびオートフォーカス制御方法
JP2002006203A (ja) 合焦装置及び撮像装置
CN114762313B (zh) 图像处理方法、装置、存储介质及电子设备
US11595562B2 (en) Image processing apparatus, control method thereof, and storage medium
US20240098366A1 (en) Focus control apparatus, image pickup apparatus, and focus control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131024

R150 Certificate of patent or registration of utility model

Ref document number: 5400171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350