JPWO2017208991A1 - 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム - Google Patents

撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム Download PDF

Info

Publication number
JPWO2017208991A1
JPWO2017208991A1 JP2018520865A JP2018520865A JPWO2017208991A1 JP WO2017208991 A1 JPWO2017208991 A1 JP WO2017208991A1 JP 2018520865 A JP2018520865 A JP 2018520865A JP 2018520865 A JP2018520865 A JP 2018520865A JP WO2017208991 A1 JPWO2017208991 A1 JP WO2017208991A1
Authority
JP
Japan
Prior art keywords
imaging
unit
imaging unit
face detection
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018520865A
Other languages
English (en)
Other versions
JP6975144B2 (ja
Inventor
傑謙 藤澤
傑謙 藤澤
成文 後田
成文 後田
淳毅 朝井
淳毅 朝井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2017208991A1 publication Critical patent/JPWO2017208991A1/ja
Application granted granted Critical
Publication of JP6975144B2 publication Critical patent/JP6975144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

顔検出の精度を向上させ、検出した顔にピントおよび露出を合わせた最適な画像を取得する。本発明の一形態の撮像処理装置（５０）は、被写体を撮像する副撮像部２０が撮像した画像から顔を検出する顔検出部（４０）と、顔の検出結果に基づき、主撮像部（１０）による被写体の撮像を行うように制御する制御部（３０）とを備えている。

Description

本発明は、撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラムに関する。
撮像素子から読み出した画像の特徴情報を解析して顔情報を検出する顔検出（顔認識）機能を有するカメラとして、特許文献１に開示された撮像装置が知られている。特許文献１の撮像装置は、測光モードとして評価測光モードと平均測光モードとを設け、ユーザが設定する測光モードに応じて測光処理と露光制御とを行う構成において、評価測光モード設定時であってもオートフォーカス開始前までは平均測光モードで動作する。平均測光モードとすることにより、画面全体の明るさを平均して測光して露出量を制御するため、画面端などの露出が適切でない領域であっても顔検出しやすいというものである。
日本国公開特許公報「特開２０１５−１６７３０８号公報（２０１５年９月２４日公開）」
しかしながら、特許文献１の撮像装置の技術では、動いている被写体を撮影する時など、平均測光モード中には画角内に顔が入っていないが、当該モード後に顔が画角内に入ってきた場合には顔検出ができないという問題が生じる。
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、顔検出の精度を向上させ、検出した顔にピントおよび露出を合わせた最適な画像を取得することができる撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラムを提供することにある。
上記の課題を解決するために、本発明の一態様に係る撮像処理装置は、被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出部と、上記顔検出部による顔の検出結果に基づき、上記第１撮像部とは異なる第２撮像部による被写体の撮像を行うように制御する制御部とを備えている。
また、上記の課題を解決するために、本発明の一態様に係る電子機器は、上述の撮像処理装置と、上記第１撮像部と、上記第２撮像部とを備えている。
また、上記の課題を解決するために、本発明の一態様に係る撮像処理方法は、被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出工程と、上記顔検出工程による顔の検出結果に基づき、上記第１撮像部とは異なる第２撮像部による被写体の撮像を行うように制御する制御工程とを含む。
また、上記の課題を解決するために、本発明の一態様に係る撮像処理装置制御プログラムは、コンピュータを上記撮像処理装置における各部として機能させるための撮像処理装置制御プログラムとしている。
本発明の一態様によれば、第１撮像部を常に顔検出のために用いることができるため、顔検出の精度を向上させ、検出した顔にピントおよび露出を合わせた最適な画像を取得することができる。
本発明に係る撮像処理装置の一形態（実施形態１）の構成を、本発明に係る電子機器の一形態（実施形態１）である二眼式撮像装置の構成とともに示すブロック図である。 図１の二眼式撮像装置による処理フローチャートを示す図である。 図１の二眼式撮像装置による処理フローチャートの他の形態（実施形態２）を示す図である。 図１の二眼式撮像装置による処理フローチャートの他の形態（実施形態３）を示す図である。 本発明に係る撮像処理装置の他の形態（実施形態４）を、本発明に係る電子機器の一形態（実施形態１）である二眼式撮像装置の構成とともに示すブロック図である。
〔実施形態１〕
以下、本発明の一実施形態について、図１および図２を用いて説明する。なお、本実施形態では、本発明に係る電子機器の一形態として二眼式撮像装置を挙げ、この二眼式撮像装置が、本発明に係る撮像処理装置の一形態を具備している態様について説明する。
図１は、本実施形態１における二眼式撮像装置１（電子機器）の構成を示すブロック図である。
本実施形態１における二眼式撮像装置１は、右眼と左眼の二つの視点から被写体を各々撮像することができるデジタルカメラである。なお、一般に、二つの視点から撮像する撮像装置として、立体映像を作成するものが知られている。本実施形態１の二眼式撮像装置１も主撮像部１０および副撮像部２０を右眼と左眼の二つの視点として用いて立体映像を作成することは可能であるが、後述するように、本実施形態１の二眼式撮像装置１は、二つの撮像部のうちの一方を顔検出用とすることにより、常に顔検出を行って、顔検出の精度を上げて、検出した顔にピントおよび露出を合わせた最適な画像を他方の撮像部を用いて取得する。
そこで、本実施形態１の二眼式撮像装置１は、図１に示すように、主撮像部１０（第２撮像部）と、副撮像部２０（第１撮像部）と、制御部３０および顔検出部４０を有する撮像処理装置５０と、表示部６０とを備えている。
（主撮像部１０および副撮像部２０）
主撮像部１０および副撮像部２０のそれぞれは、光学系および撮像素子（ＣＣＤ(Charge Couple Devices)、ＣＭＯＳ(Complementary Metal-Oxide-Semiconductor)等）により実現することができる。そして、後述するように、主撮像部１０は被写体の撮像を行う撮像用カメラであり、副撮像部２０は顔検出に専ら用いられる顔検出用カメラである。
副撮像部２０は顔検出用カメラであるため、主撮像部１０よりも画素数が小さくても良い。具体的には、主撮像部１０を２０Ｍｐｉｘｅｌ、副撮像部２０を５Ｍｐｉｘｅｌとすることができる。副撮像部２０の画素数を小さくすることによって、コストを削減することができる一方、画素数の多い主撮像部１０によって高画質な画像データを生成することができる。
なお、主撮像部１０および副撮像部２０は、静止画の撮影だけでなく、動画の撮影も可能である。以下では、特記しない限り、静止画の撮影について説明を行う。
（撮像処理装置５０）
撮像処理装置５０は、被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出部４０と、顔検出部による顔の検出結果に基づき、副撮像部２０とは異なる主撮像部１０による被写体の撮像を行うように制御する制御部３０とを備えている。
（制御部３０）
制御部３０は、図１に示すように撮影制御部３１および画像処理部３２を有している。
撮影制御部３１は、主撮像部１０および副撮像部２０のそれぞれに対して、露出およびピントの制御信号、並びにタイミング信号（クロックパルス）等を出力する。
画像処理部３２は、顔検出部４０から通知される顔領域情報（顔検出結果）を受け付けるとともに、主撮像部１０から出力された画像データを取得し、画像処理して表示部６０に表示させる。
より具体的には、顔検出部４０が検出した顔領域情報（顔検出結果）が画像処理部３２に通知されるため、画像処理部３２ではその通知に基づいて顔領域に適正な露出およびピントの情報を生成して、撮影制御部３１に出力する。撮影制御部３１は、その情報に基づいて、主撮像部１０の露出およびピントの制御信号を生成し、主撮像部１０に対して出力する。適正な露出およびピントの決定方法は、公知の方法を採用することができる。なお、副撮像部２０の露出およびピントに関しては、露出は顔検出エリアの輝度値(明るさ)、ピントは顔検出エリアのコントラスト値によって決定される。
（顔検出部４０）
顔検出部４０は、副撮像部２０から出力される画像データを取得して、当該データに顔検出処理を行って、画像内に含まれる人物の顔領域を検出する。顔検出処理は、公知のアルゴリズムによって行われる。例えば、公知の特徴点を抽出する処理によって、スルー画像または撮像画像のデータから、眼、鼻、口の各端点、顔の輪郭点等の特徴点を画像から抽出し、これらの特徴点に基づいて、顔領域を検出する。
（表示部６０）
表示部６０は、デジタルカメラに搭載される公知の表示手段を採用することができる。表示部６０には、主に、主撮像部１０が生成した画像データに基づく画像と、その画像上に副撮像部２０によって検出された顔領域が明示された画が表示される。なお、表示部６０は、タッチパネル方式を採用することができ、ユーザ（二眼式撮像装置１の使用者）からの指示を受け付けることもできる。
なお、以上で説明した各構成以外にも、例えば操作ボタンや電源ボタンなどの他の構成が本実施形態１の二眼式撮像装置１に具備されるが、本実施形態１では、それらの構成についての説明は省略し、本発明のポイントとなる構成とそれに関係する構成について説明する。
＜処理フロー＞
本実施形態１の二眼式撮像装置１に設けられた撮像処理装置５０の処理フロー（撮像処理方法）を、図２を用いて説明する。図２は、撮像処理装置５０のフローチャートである。
二眼式撮像装置１において電源が入っている状態において、主撮像部１０および副撮像部２０が被写体を検出する（ステップＳ１０１）と、撮影制御部３１によって、顔検出を行うに適した露出条件となるよう副撮像部２０が制御される。具体的には、主撮像部１０の露出よりも副撮像部２０の露出が高くなるように副撮像部２０が制御される（ステップＳ１０２）。顔検出を行う副撮像部２０の露出を上げることにより、顔検出をしやすくすることができる。副撮像部２０の露出条件が制御されると、ステップＳ１０３に移行する。
ステップＳ１０３（顔検出工程）では、副撮像部２０において生成された被写体の画像データを取得した顔検出部４０によって、画像の中に顔領域が有るか否かが判定される。顔領域が検出されれば（ステップＳ１０３においてＹｅｓ）、処理はステップＳ１０４に移行する。一方、ステップＳ１０３において、副撮像部２０において生成された被写体の画像データを取得した顔検出部４０が、画像の中に顔領域を検出しない（ステップＳ１０３においてＮｏ）場合、ステップＳ１０５に移行する。
ステップＳ１０４（制御工程）では、顔検出部４０から画像処理部３２に顔領域が通知され、撮影制御部３１によって、顔領域について露出が適正となるように主撮像部１０の露出が調整される。
ステップＳ１０５では、主撮像部１０によって生成された被写体の撮像画像データが画像処理部３２によって所定の画素補間処理や色変換処理が施され、表示部６０に表示される。ここで、先のステップＳ１０４において顔領域の露出が適正となるように主撮像部１０が調整されている場合には、ステップＳ１０５では、検出した顔にピントおよび露出を合わせた最適な画像が主撮像部１０から生成される。一方、ステップＳ１０３において顔検出されなかった場合には、ステップＳ１０５では、主撮像部１０の露出およびピントが、撮影制御部３１に設定された露出エリア、ＡＦ検出エリアの情報に基づいて制御され、画像が主撮像部１０から生成される。例えば、露出エリア、ＡＦ検出エリアが共に中央重点の設定になっていれば、画面中央に映った被写体に合わせた露出、ピント位置になる。
このように本実施形態１によれば、副撮像部２０を専ら顔検出のために使用し、被写体の撮像を主撮像部１０によって行うため、従来技術のように、当初は画角内に顔がなかったものの途中から顔が画角内に入った場合であっても当該顔を検出することができる。よって、顔検出の精度を向上させ、検出した顔にピントおよび露出を合わせた最適な画像を取得することができる。
なお、本実施形態１では、右眼に主撮像部１０、左眼に副撮像部２０（右眼に副撮像部２０、左眼に主撮像部１０であっても可）とする二眼式撮像装置１を説明したが、本発明はこれに限定されるものではなく、二つの視点が上下の位置関係をとっていてもよい。
更には、本発明は、三つ以上の視点で被写体を撮像する態様も含まれる。
要するに、本発明は、複数の撮像部のうちの一つを顔検出用とし、その顔検出結果に基づいて他の撮像部によって顔にピントおよび露出があった撮像を行い、最適な画像を得ることができるというものである。
〔実施形態２〕
本発明の他の実施形態について説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態２の二眼式撮像装置１の撮像処理装置５０による撮像処理のフローチャートを図３に示す。なお、本実施形態２の二眼式撮像装置１の主な構成は図１に示した実施形態１の二眼式撮像装置１と相違無い。上記実施形態１のフローチャート（図２）との相違点は、顔領域に適正露出となった主撮像部１０によって被写体の撮像が行われるステップＳ１０５に続いて、ステップＳ１０６が含まれる点にある。
ステップＳ１０６では、ステップＳ１０３において顔領域が検出された時点の副撮像部２０から生成された画像データと、ステップＳ１０５において主撮像部１０から得られた画像データとを合成して、合成画像データを生成する。合成画像データの作成は、画像処理部３２によって行われる。
このように露出の異なる画像を合成することにより、ダイナミックレンジの画像を得ることができる。なお、露出の異なる画像同士の合成方法は、公知の方法を採用することができる。
〔実施形態３〕
本発明の他の実施形態について説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態３の二眼式撮像装置１の撮像処理装置５０による撮像処理のフローチャートを図４に示す。なお、本実施形態３の二眼式撮像装置１の主な構成は図１に示した実施形態１の二眼式撮像装置１と相違無い。上記実施形態１のフローチャート（図２）との相違点は、顔検出を行った後（図２のステップＳ１０３の後）から、主撮像部１０による撮像（図２のステップＳ１０５）までの間の処理フローにある。
図４に、本実施形態３の二眼式撮像装置１の撮像処理装置５０による撮像処理のフローチャートを示す。
本実施形態３においては、顔検出部４０による顔検出が行われる（ステップＳ１０３）とともに、副撮像部２０において生成された被写体の画像データを画像処理部３２が取得して、ＡＦ処理が行われ、副撮像部２０に具備されるレンズの合焦位置が検出される（ステップＳ１０３´）。なお、ステップＳ１０３において顔検出部４０によって顔が検出されなくても、副撮像部２０において生成された被写体の画像データを画像処理部３２が取得して、ＡＦ処理が行われ、レンズの合焦位置が検出される。
そして、ステップＳ１０４において、顔検出部４０から画像処理部３２に顔領域が通知され、撮影制御部３１によって、顔領域について露出が適正となるように主撮像部１０の露出が調整された後、図４に示すステップＳ１０４´に移行する。
ステップＳ１０４´（制御工程）では、ステップＳ１０３´において算出されたレンズの合焦位置に、主撮像部１０に具備されるレンズの位置を動かし、ステップＳ１０５において主撮像部１０による撮像が行われる。
本実施形態３のように、露出が高い副撮像部２０によってＡＦ動作を行うことにより、主撮像部１０による撮像時に低照度であったとしても主撮像部１０においてＡＦのピントが合いやすくなる。
〔実施形態４〕
本発明の他の実施形態について説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図５は、本実施形態４における二眼式撮像装置１の構成を示すブロック図である。本実施形態４と上記実施形態１との構成上の違いは、撮像処理装置５０の顔検出部４０の構成にある。
具体的には、本実施形態４の二眼式撮像装置１の撮像処理装置５０は、笑顔検出部４１を有した顔検出部４０を有している。笑顔検出部４１は、副撮像部２０から出力される画像データを取得して、当該データに笑顔検出処理を行って、画像内に含まれる人物の笑顔領域を検出する。笑顔検出処理は、公知のアルゴリズムによって行われる。
そして、笑顔検出部４１は、笑顔を検出すると、検出と同時に、制御部３０の撮影制御部３１にタイミング信号を出力する。
撮影制御部３１は、このタイミング信号を受け取るとそのタイミングで、主撮像部１０による撮像を行うよう主撮像部１０を制御する（ステップＳ１０５）。主撮像部１０では、実施形態１において説明したとおり、顔に適正露出となった撮影が行われる。
〔ソフトウェアによる実現例〕
二眼式撮像装置１の制御ブロック（特に撮像処理装置５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
後者の場合、撮像処理装置５０は、各機能を実現するソフトウェアであるプログラム（撮像処理装置制御プログラム）の命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
なお、上記各実施形態では主撮像部１０から出力された画像データを取得し、画像処理して表示部６０に表示させる場合を例に説明したが、記憶部を具備し、主撮像部１０から出力された画像データを当該記憶部に格納する構成であってもよいし、画像データを表示部に表示するとともに記憶部に格納する構成であってもよい。
また、上記の各実施形態では、ステップＳ１０１において、主撮像部１０および副撮像部２０が被写体を検出する場合を例に説明したが、ステップＳ１０３で顔検出を可能とするためには、少なくとも副撮像部２０が被写体を検出する構成であればよく、主撮像部１０が被写体を検出しない構成であってもよい。
〔まとめ〕
本発明の態様１に係る撮像処理装置５０は、被写体を撮像する第１撮像部（副撮像部２０）が撮像した画像から顔を検出する顔検出部４０と、顔検出部４０による顔の検出結果に基づき、上記第１撮像部（副撮像部２０）とは異なる第２撮像部（主撮像部１０）による被写体の撮像を行うように制御する制御部３０とを備えている。
上記の構成によれば、副撮像部２０を用いて常に顔検出を行う構成であるため、当初は画角内に顔がなかったものの途中から顔が画角内に入った場合であっても当該顔を検出することができる。よって、顔検出の精度を向上させ、検出した顔にピントおよび露出を合わせた最適な画像を取得することができる。
より具体的には、本発明の態様２に係る撮像処理装置５０は、上記態様１において、上記制御部３０は、顔検出を行うに適した露出条件となるよう上記第１撮像部（副撮像部２０）を制御し、上記顔検出部４０の顔検出結果に基づいて顔に適正露出となるよう上記第２撮像部（主撮像部１０）を制御することにより、上述の効果を奏する。
本発明の態様３に係る撮像処理装置５０は、上記態様１または２において、上記制御部３０は、上記第１撮像部（副撮像部２０）の露出を、上記第２撮像部（主撮像部１０）の露出よりも高くする構成であってもよい。
上記の構成によれば、副撮像部２０の露出を高くすることにより、顔検出をしやすくすることができる。
本発明の態様４に係る撮像処理装置５０は、上記態様１から３において、上記第１撮像部（副撮像部２０）は、上記第２撮像部（主撮像部１０）よりも画素数が少ない構成であってもよい。
上記の構成によれば、コストを削減することができる。
本発明の態様５に係る撮像処理装置５０は、上記態様３において、上記制御部３０は、上記第１撮像部（副撮像部２０）が撮像した画像と、上記第２撮像部（主撮像部１０）が撮像した画像とを取得して、これら画像を合成する構成であってもよい。
上記の構成によれば、露出の異なる画像を合成することにより、ダイナミックレンジの広い画像を得ることができる。
本発明の態様６に係る撮像処理装置５０は、上記態様３において、上記制御部３０は、上記顔検出部４０の顔検出結果に基づき上記第１撮像部（副撮像部２０）に設けられた光学系を用いて合焦位置を算出し、算出した合焦位置に上記第２撮像部（主撮像部１０）に設けられた光学系を調整する構成であってもよい。
上記の構成によれば、副撮像部２０の露出を主撮像部１０の露出よりも高くした状態において副撮像部２０によってＡＦ動作を行うことにより、主撮像部１０による撮像時に低照度であったとしても主撮像部１０においてＡＦのピントが合いやすくなる。
本発明の態様７に係る撮像処理装置５０は、上記態様１から６において、上記顔検出部４０には、上記第１撮像部（副撮像部２０）が撮像した画像から笑顔を検出する笑顔検出部４１が設けられており、上記制御部３０は、上記笑顔検出部４１によって笑顔が検出されたタイミングで、顔に適正露出となるよう上記第２撮像部（主撮像部１０）を制御して撮像させる構成であってもよい。
上記の構成によれば、笑顔を検出したタイミングで、顔にピントおよび露出を合わせた最適な画像を取得することができる。
本発明の態様８に係る電子機器（二眼式撮像装置１）は、上述の撮像処理装置５０と、第１撮像部（副撮像部２０）と、第２撮像部（主撮像部１０）とを備えている。
上記の構成によれば、上述の撮像処理装置５０と同様の効果を奏する。
本発明の態様９に係る撮像処理方法は、被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出工程と、上記顔検出工程による顔の検出結果に基づき、上記第１撮像部とは異なる第２撮像部による被写体の撮像を行うように制御する制御工程とを備えている。
これにより、上述の撮像処理装置５０と同様の効果を奏する。
本発明の態様１０に係る撮像処理装置制御プログラムは、コンピュータを撮像処理装置５０の上記の各部として機能させるための撮像処理装置制御プログラムである。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
１ 二眼式撮像装置（電子機器）
１０ 主撮像部（第２撮像部）
２０ 副撮像部（第１撮像部）
３０ 制御部
３１ 撮影制御部（制御部）
３２ 画像処理部（制御部）
４０ 顔検出部
４１ 笑顔検出部
５０ 撮像処理装置
６０ 表示部

Claims (10)

  1. 被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出部と、
    上記顔検出部による顔の検出結果に基づき、上記第１撮像部とは異なる第２撮像部による被写体の撮像を行うように制御する制御部とを備えていることを特徴とする撮像処理装置。
  2. 上記制御部は、顔検出を行うに適した露出条件となるよう上記第１撮像部を制御し、上記顔検出部による顔の検出結果に基づいて顔に適正露出となるよう上記第２撮像部を制御することを特徴とする請求項１に記載の撮像処理装置。
  3. 上記制御部は、上記第１撮像部の露出を、上記第２撮像部の露出よりも高くすることを特徴とする請求項１または２に記載の撮像処理装置。
  4. 上記第１撮像部は、上記第２撮像部よりも画素数が少ないことを特徴とする請求項１から３までの何れか１項に記載の撮像処理装置。
  5. 上記制御部は、上記第１撮像部が撮像した画像と、上記第２撮像部が撮像した画像とを取得して、これら画像を合成することを特徴とする請求項３に記載の撮像処理装置。
  6. 上記制御部は、上記顔検出部の顔検出結果に基づき上記第１撮像部に設けられた光学系を用いて合焦位置を算出し、算出した合焦位置に上記第２撮像部に設けられた光学系を調整することを特徴とする請求項３に記載の撮像処理装置。
  7. 上記顔検出部には、上記第１撮像部が撮像した画像から笑顔を検出する笑顔検出部が設けられており、
    上記制御部は、上記笑顔検出部によって笑顔が検出されたタイミングで、顔に適正露出となるよう上記第２撮像部を制御して撮像させることを特徴とする請求項１から６までの何れか１項に記載の撮像処理装置。
  8. 請求項１から７までの何れか１項に記載の撮像処理装置と、上記第１撮像部と、上記第２撮像部とを備えていることを特徴とする電子機器。
  9. 被写体を撮像する第１撮像部が撮像した画像から顔を検出する顔検出工程と、
    上記顔検出工程による顔の検出結果に基づき、上記第１撮像部とは異なる第２撮像部による被写体の撮像を行うように制御する制御工程とを含むことを特徴とする撮像処理方法。
  10. コンピュータを請求項１から７までの何れか１項に記載の撮像処理装置における各部として機能させるための撮像処理装置制御プログラム。
JP2018520865A 2016-06-01 2017-05-26 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム Active JP6975144B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016110209 2016-06-01
JP2016110209 2016-06-01
PCT/JP2017/019700 WO2017208991A1 (ja) 2016-06-01 2017-05-26 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2017208991A1 true JPWO2017208991A1 (ja) 2019-03-28
JP6975144B2 JP6975144B2 (ja) 2021-12-01

Family

ID=60478589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520865A Active JP6975144B2 (ja) 2016-06-01 2017-05-26 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム

Country Status (4)

Country Link
US (1) US11012631B2 (ja)
JP (1) JP6975144B2 (ja)
CN (1) CN109314741A (ja)
WO (1) WO2017208991A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020227945A1 (en) * 2019-05-14 2020-11-19 SZ DJI Technology Co., Ltd. Photographing method and apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047976A (ja) * 2006-08-10 2008-02-28 Sony Corp 撮像装置及び撮像方法
JP2008061157A (ja) * 2006-09-04 2008-03-13 Nikon Corp カメラ
JP2009239935A (ja) * 2009-06-10 2009-10-15 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013090095A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置、撮像方法、およびプログラム
JP2015012567A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP5814566B2 (ja) * 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
JP5683418B2 (ja) * 2011-09-08 2015-03-11 オリンパスイメージング株式会社 撮影機器及び撮影方法
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP2015167308A (ja) 2014-03-04 2015-09-24 キヤノン株式会社 顔検出オートフォーカス制御に適する測光方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047976A (ja) * 2006-08-10 2008-02-28 Sony Corp 撮像装置及び撮像方法
JP2008061157A (ja) * 2006-09-04 2008-03-13 Nikon Corp カメラ
JP2009239935A (ja) * 2009-06-10 2009-10-15 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013090095A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置、撮像方法、およびプログラム
JP2015012567A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置

Also Published As

Publication number Publication date
WO2017208991A1 (ja) 2017-12-07
US11012631B2 (en) 2021-05-18
US20200322519A1 (en) 2020-10-08
JP6975144B2 (ja) 2021-12-01
CN109314741A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
JP5322783B2 (ja) 撮像装置及び該撮像装置の制御方法
JP4674471B2 (ja) デジタルカメラ
JP4497211B2 (ja) 撮像装置、撮像方法及びプログラム
CN108462830B (zh) 摄像装置及摄像装置的控制方法
US8593531B2 (en) Imaging device, image processing method, and computer program
US9241109B2 (en) Image capturing apparatus, control method, and recording medium for moving image generation
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
KR20170006201A (ko) 촬영 장치 및 그 동작 방법
JP7009142B2 (ja) 撮像装置および画像処理方法
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
JP2006162990A (ja) 立体画像撮影装置
US9693037B2 (en) Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
JP2013160991A (ja) 撮像装置
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP2010154311A (ja) 複眼撮像装置及び立体画像取得方法
JP6975144B2 (ja) 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
JP5257969B2 (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP2011107550A (ja) 撮像装置
JP2008028924A (ja) 撮像装置及び撮像装置の制御方法
US20180084201A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP2013046395A (ja) 撮像装置及びその制御方法、プログラム、及び記録媒体
US20230254471A1 (en) Control apparatus, electronic apparatus, control method, and storage medium
EP4319141A1 (en) Imaging element and imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211105

R150 Certificate of patent or registration of utility model

Ref document number: 6975144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150