JPWO2020116196A1 - 固体撮像装置、固体撮像方法および電子機器 - Google Patents

固体撮像装置、固体撮像方法および電子機器 Download PDF

Info

Publication number
JPWO2020116196A1
JPWO2020116196A1 JP2020559918A JP2020559918A JPWO2020116196A1 JP WO2020116196 A1 JPWO2020116196 A1 JP WO2020116196A1 JP 2020559918 A JP2020559918 A JP 2020559918A JP 2020559918 A JP2020559918 A JP 2020559918A JP WO2020116196 A1 JPWO2020116196 A1 JP WO2020116196A1
Authority
JP
Japan
Prior art keywords
captured image
unit
solid
light emission
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559918A
Other languages
English (en)
Other versions
JP7357640B2 (ja
Inventor
和幸 奥池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116196A1 publication Critical patent/JPWO2020116196A1/ja
Application granted granted Critical
Publication of JP7357640B2 publication Critical patent/JP7357640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Abstract

第１の撮像画像を撮像する撮像部（２１１）と、発光部による発光を制御する発光制御部（２７１）と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部（２３３１）と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部（２３３３）と、を備える、固体撮像装置が提供される。

Description

本開示は、固体撮像装置、固体撮像方法および電子機器に関する。
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている（例えば、特許文献１参照）。
特開２０１５−１３３６２４号公報
しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
本開示によれば、第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
本開示によれば、第１の撮像画像を撮像することと、発光部による発光を制御することと、前記第１の撮像画像から前記発光が検出されるか否かを判定することと、プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、を備える、固体撮像方法が提供される。
本開示によれば、アプリケーションと、第１の撮像画像を撮像する撮像部と、発光部と、前記発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、電子機器が提供される。
本開示の第１の実施形態に係る固体撮像システムの構成例を示す図である。 イメージセンサの構造の第１の例を示す図である。 イメージセンサの構造の第２の例を示す図である。 電子機器の外観構成の第１の例を示す図である。 電子機器の外観構成の第２の例を示す図である。 図４および図５に示されたカメラモジュールおよびＬＥＤモジュールのＡ−Ａ断面図である。 イメージセンサによる撮像画像の例を示す図である。 本開示の第１の実施形態に係る固体撮像システムの詳細構成例を示す図である。 信号処理部の詳細構成例を示す図である。 ローカル認証部の詳細構成例を示す図である。 データ送信判断部の詳細構成例を示す図である。 本開示の第１の実施形態に係るイメージセンサの動作例を示すフローチャートである。 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 本開示の第２の実施形態に係る固体撮像システムの詳細構成例を示す図である。 同実施形態に係るイメージセンサの動作例を示すフローチャートである。 本開示の第３の実施形態に係る固体撮像システムの詳細構成例を示す図である。 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 本開示の第４の実施形態に係る固体撮像システムの詳細構成例を示す図である。 本開示の第５の実施形態に係る固体撮像システムの詳細構成例を示す図である。 本開示の第６の実施形態に係る固体撮像システムの詳細構成例を示す図である。 データ送信判断部の詳細構成例を示す図である。 フラッシュが正常に点灯した場合およびフラッシュが正常に点灯しない場合それぞれの撮像画像の例を示す図である。 本開示の第６の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
０．概要
１．第１の実施形態
１．１．システム構成例
１．２．イメージセンサの構成例
１．３．詳細構成例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．むすび
＜０．概要＞
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。
そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。
以上、本開示の実施形態の概要について説明した。
＜１．第１の実施形態＞
［１．１．システム構成例］
続いて、図１を参照しながら、本開示の第１の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の第１の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。
電子機器１０は、イメージセンサ２０、アプリケーション３０およびＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）３６１を有している。イメージセンサ２０は、固体撮像装置の例として機能し、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）２１０、ロジック回路２２０、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３０、メモリ２４０、セレクタ２５０を有している。
ここで、ＣＩＳ２１０は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびＡ／Ｄ変換器などを含んでいる。ロジック回路２２０は、ＣＩＳ２１０からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の第１の実施形態では、電子機器１０がカメラである場合を主に想定する。しかし、電子機器１０は、イメージセンサ２０を有する機器であればカメラに限定されず、他の機器（例えば、スマートフォンおよび携帯電話など）であってもよい。また、アプリケーション３０は、電子機器１０に内蔵されたプロセッサによって実行される。ＬＥＤ３６１は、ＤＳＰ２３０による制御に従って発光を開始したり発光を停止したりする。なお、ＬＥＤ３６１は、発光部の一例に過ぎないため、ＬＥＤ３６１の代わりに他の発光部が用いられてもよい。
本開示の第１の実施形態では、イメージセンサ２０によって映像が撮像される。映像は、イメージセンサ２０によって、複数のフレーム（撮像画像）が連続的に撮像されることによって得られる。本開示の第１の実施形態では、イメージセンサ２０によって撮像されたフレーム（撮像画像）またはフレーム（撮像画像）に基づくデータ（以下、「メタデータ」とも言う。）が、サーバ装置４０に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション３０であってもよいし、電子機器１０の外部の記録媒体であってもよい。
以上、本開示の第１の実施形態に係る固体撮像システム１の構成例について説明した。
［１．２．イメージセンサの構成例］
続いて、本開示の第１の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。
このように、イメージセンサ２０は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ２０が有する半導体チップの数は、２つおよび３つに限定されず、１つであってもよいし、４つ以上であってもよい。
図２を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０が含まれている。図３を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０およびＤＳＰ２３０が含まれている。第３の半導体チップＬ３には、ロジック回路２２０が含まれている。しかし、ＣＩＳ２１０、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０それぞれは、どの半導体チップに含まれていてもよい。
図２および図３に示された例において、後に説明するローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれてよい。より詳細には、ローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。後に説明するデータ送信判断部２３３も、第２の半導体チップＬ２に含まれてよい。より詳細には、データ送信判断部２３３は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。
また、図３に示された例において、信号処理部２２１は、第３の半導体チップＬ３のロジック回路２２０に含まれてもよい。あるいは、図２に示された例において、信号処理部２２１は、第２の半導体チップＬ２のロジック回路２２０に含まれてもよい。さらに、図３に示された例において、後に説明するローカル認証用データ記憶部２３２は、第３の半導体チップＬ３のメモリ２４０に含まれてもよい。あるいは、図２に示された例において、ローカル認証用データ記憶部２３２は、第２の半導体チップＬ２のメモリ２４０に含まれてもよい。
以上、イメージセンサ２０の構造の例について説明した。
［１．３．詳細構成例］
続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、電子機器の外観構成の第１の例を示す図である。図５は、電子機器の外観構成の第２の例を示す図である。図４および図５に示されるように、電子機器１０は、一例として円筒形状の外観を有していてよい。しかし、電子機器１０の外観形状は限定されない。
図４を参照すると、第１の例では、カメラモジュール３２およびＬＥＤモジュール３６が電子機器１０−１の側面に設けられている。また、図５を参照すると、第２の例では、カメラモジュール３２およびＬＥＤモジュール３６が電子機器１０−２の上面に設けられている。しかし、カメラモジュール３２およびＬＥＤモジュール３６が設けられる位置も特に限定されない。
図６は、図４および図５に示されたカメラモジュール３２およびＬＥＤモジュール３６のＡ−Ａ断面図である。図６を参照すると、カメラモジュール３２およびＬＥＤモジュール３６の断面図が示されている。カメラモジュール３２は、光学レンズ３２１、レンズホルダ３２２、ＩＲ（ｉｎｆｒａｒｅｄ）カットフィルタ３２３、イメージセンサ２０およびモジュール基板３２４を備える。ＬＥＤモジュール３６は、ＬＥＤ３６１、光源用レンズ３６２およびモジュール基板３６３を備える。
ここでは、光学レンズ３２１として広角レンズが用いられる場合が想定されている。そのため、図６に示された例では、ＬＥＤ３６１によって発せられた光がＬＥＤ３６１から直接的にイメージセンサ２０に到達している（ＬＥＤ３６１によって発せられた光が直接的にイメージセンサ２０の撮像範囲Ｒａに入り込む）。しかし、ＬＥＤ３６１によって発せられた光は、所定の反射部材によって反射されてイメージセンサ２０に到達してもよい（ＬＥＤ３６１によって発せられた光が所定の反射部材に反射されて撮像範囲Ｒａに入り込んでもよい）。
図７は、イメージセンサ２０による撮像画像の例を示す図である。図７を参照すると、イメージセンサ２０による撮像画像ＩＭ０が示されている。撮像画像ＩＭ０は、有効画素領域ＩＭ１とその周辺領域とを含んでいる。有効画素領域ＩＭ１の輝度が過剰に高くなってしまうことを防ぐため、ＬＥＤ３６１によって発せられた光は、有効画素領域にＩＭ１にあまり到達しないのが望ましい。一方、周辺領域には、ＬＥＤ３６１によって発せられた光が映る光検出領域ＩＭ２が存在する。そこで、光検出領域ＩＭ２の輝度によってＬＥＤ３６１が発光しているか否かが検出され得る。
図８は、本開示の第１の実施形態に係る固体撮像システム１の詳細構成例を示す図である。なお、図８からは、紙面の都合上、アプリケーション３０およびネットワーク５０が省略されている。図８を参照すると、イメージセンサ２０、サーバ装置４０およびＬＥＤ３６１が示されている。
イメージセンサ２０は、撮像素子２１１、Ａ／Ｄ変換器２１２、信号処理部２２１、ローカル認証部２３１、ローカル認証用データ記憶部２３２、データ送信判断部２３３、セレクタ２５０、データ送信部２６１、データ受信部２６２および発光制御部２７１を備える。一方、サーバ装置４０は、データ受信部４１０、サーバ認証部（第２の認証部）４２０、サーバ認証用データ記憶部４３０およびデータ送信部４４０を備える。
撮像素子２１１は、被写体から受光された光信号を電気信号に変換する。Ａ／Ｄ変換器２１２は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部２２１は、Ａ／Ｄ変換器２１２からの出力信号（撮像画像）に対して各種の信号処理を行い、処理後の信号（撮像画像）を出力する。ここで、信号処理部２２１によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部２２１によって行われる必要はなく、これらの信号処理の一部だけが信号処理部２２１によって行われてもよいし、これらの信号処理以外の処理が信号処理部２２１によって行われてもよい。
図９は、信号処理部２２１の詳細構成例を示す図である。図５に示されるように、信号処理部２２１は、シェーディング補正を行うシェーディング補正部２２１１、混色補正を行う混色補正部２２１２、および、デジタルゲイン調整を行うデジタルゲイン調整部２２１３を有してよい。また、信号処理部２２１は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部２２１４、検波を行う検波部２２１５、デモザイク処理を行うデモザイク処理部２２１６、および、γ補正を行うγ補正部２２１７を有してよい。
図８に戻って説明を続ける。信号処理部２２１による処理後の信号（撮像画像）は、セレクタ２５０、データ送信判断部２３３およびローカル認証部２３１に出力される。まず、ローカル認証部２３１の詳細構成例について説明する。図１０は、ローカル認証部２３１の詳細構成例を示す図である。図１０に示されるように、ローカル認証部２３１は、正規化処理部２３１１およびローカル認証処理部２３１２を有する。
正規化処理部２３１１は、ローカル認証処理部２３１２（例えば、ニューラルネットワーク）による処理に必要の前処理（プリプロセッシング）を行う。例えば、前処理は、第２の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部２３１２は、第１の撮像画像からＬＥＤ３６１による発光が検出された場合に、第２の撮像画像に基づいて第１の認証を行う。例えば、第１の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
なお、ローカル認証部２３１は、機械学習済みのニューラルネットワーク（第１のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部２３１による第１の認証は、学習を必要としない構成によって行われてもよい。第１の認証の認証結果（成功／失敗）および第１の認証によって得られるデータ（メタデータ）は、セレクタ２５０に出力される。
続いて、データ送信判断部２３３の詳細構成例について説明する。図１１は、データ送信判断部２３３の詳細構成例を示す図である。図１１に示されるように、データ送信判断部２３３は、ＬＥＤ点灯判断部２３３１および送信制御部２３３３を有する。
本開示の実施形態では、データ送信判断部２３３が、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に対して処理を行う場合を主に想定する。しかし、データ送信判断部２３３による処理対象は、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部２３３に入力されたフレームを「第１の撮像画像」と言い、第１の撮像画像より後にデータ送信判断部２３３に入力されたフレームを「第２の撮像画像」と言う。
まず、撮像素子２１１によって撮像された第１の撮像画像がデータ送信判断部２３３に入力される。発光制御部２７１は、ＬＥＤ３６１による発光を開始させる。なお、発光制御部２７１は、無条件にＬＥＤ３６１による発光を開始させてもよいが、所定の場合にのみＬＥＤ３６１による発光を開始させてもよい。例えば、所定の場合は、メタデータに個人情報（例えば、被写体の名前、性別または年齢など）が含まれる場合であってもよい。ＬＥＤ点灯判断部２３３１は、第１の撮像画像からＬＥＤ３６１による発光が検出されるか否かを判定する。特に異常がなければＬＥＤ３６１による発光が検出されるが、異常があればＬＥＤ３６１による発光が検出されない。異常の原因は特に限定されないが、ＬＥＤ３６１に覆いが被せられることであってもよいし、ＬＥＤ３６１が取り外されることであってもよい。
続いて、撮像素子２１１によって撮像された第２の撮像画像がデータ送信判断部２３３に入力される。送信制御部２３３３は、ＬＥＤ点灯判断部２３３１によってＬＥＤ３６１による発光が検出されたことに基づいて、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。なお、送信制御部２３３３は、第２の撮像画像および第２の撮像画像に基づくメタデータのいずれをセレクタ２５０から出力させるかを制御することによって、いずれかがサーバ装置４０に送信されるように制御すればよい。
かかる構成によれば、被写体の撮影によって得られた第２の撮像画像または第２の撮像画像のメタデータのイメージセンサ２０の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。一方、送信制御部２３３３は、ＬＥＤ点灯判断部２３３１によってＬＥＤ３６１による発光が検出されなかったことに基づいて、第２の撮像画像を破棄してよい。
例えば、ＬＥＤ点灯判断部２３３１は、第１の撮像画像における輝度の領域間差分または第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、ＬＥＤ３６１による発光が検出されるか否かを判定すればよい。例えば、ＬＥＤ点灯判断部２３３１は、第１の撮像画像における輝度の領域間差分（例えば、光検出領域ＩＭ２と他の領域との間の輝度の差分）または複数フレームにおける輝度のフレーム間差分（例えば、複数フレームにおける光検出領域ＩＭ２の輝度の差分）が閾値よりも大きい場合に、ＬＥＤ３６１による発光が検出されたと判定してもよい。
ここでは、第１の撮像画像から発光が検出された場合、第２の撮像画像以降がサーバ装置４０に送信される場合を主に想定する。しかし、第２の撮像画像以降に加えて発光が検出された第１の撮像画像もサーバ装置４０に送信されてもよい。より具体的に、送信制御部２３３３は、第１の撮像画像の第１の領域（例えば、光検出領域ＩＭ２（図７））から発光が検出されたことに基づいて、第１の撮像画像の第１の領域とは異なる第２の領域（例えば、有効画素領域ＩＭ１（図７））または第２の領域に基づくデータの送信を制御してもよい。このとき、撮像画像ＩＭ０のうち光検出領域ＩＭ２側の行（図７に示された例では、最下行）から順に読み出しが行われれば、撮像画像ＩＭ０に対する一度の読み込みでＬＥＤ３６１による発光の検出および有効画素領域ＩＭ１の送信が実行され得る。
例えば、送信制御部２３３３は、ローカル認証部２３１による第１の認証が成功した場合には、第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御すればよい。一方、送信制御部２３３３は、ローカル認証部２３１による第１の認証に失敗した場合には、第２の撮像画像のサーバ装置４０への送信を制御すればよい。
ＬＥＤ３６１による発光は、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）を用いて検出されてもよい。これによって、ＬＥＤ３６１による発光の検出精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、ＬＥＤ３６１による発光の検出精度がさらに高まることが想定される。しかし、ＬＥＤ３６１による発光は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）は、データ送信判断部２３３に含まれ得る。
第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、データ送信判断部２３３による制御に従って、データ送信部２６１によってサーバ装置４０に送信される。サーバ装置４０においては、データ受信部４１０によって、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が受信される。サーバ認証部４２０は、第２の撮像画像に基づく第２の認証を行う。例えば、第２の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
なお、サーバ認証部４２０は、機械学習済みのニューラルネットワーク（第２のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部４２０による第２の認証は、学習を必要としない構成によって行われてもよい。第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）は、データ送信部４４０を介して、イメージセンサ２０に送信される。
イメージセンサ２０においては、データ受信部２６２によって、第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）が受信される。
第１の認証が成功した場合、第１の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。また、第２の認証が成功した場合にも、第２の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。
なお、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータのほうが、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータに基づいて、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが更新されるのが望ましい。
具体的には、サーバ認証部４２０によって第２の撮像画像に基づく第２の認証が成功した場合、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータが、サーバ認証部４２０によってサーバ認証用データ記憶部４３０から取得され、データ送信部４４０を介してイメージセンサ２０に送信されてもよい。このとき、イメージセンサ２０においては、データ受信部２６２によって当該第２のパラメータが受信され、ローカル認証用データ記憶部２３２に記憶されている、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが、第２のパラメータに基づいてローカル認証部２３１によって更新されてもよい。
続いて、本開示の第１の実施形態に係るイメージセンサ２０の動作例について説明する。図１２は、本開示の第１の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１２に示されるように、データ送信判断部２３３は、データ送信可否を判断する（Ｓ１１）。データ送信可否判断について、図１３を参照しながら詳細に説明する。
図１３は、本開示の第１の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部２７１は、撮像開始とともにＬＥＤ３６１による発光を開始させる。そして、図１３に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、撮像画像からＬＥＤ３６１によって発せられた光の検出を試みる（Ｓ１１１）。データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。
図１２に戻って説明を続ける。データ送信不可であると判断された場合（Ｓ１１において「ＮＧ」）、データ送信不可となる（Ｓ１２）。このとき、撮像画像は破棄されてよい。一方、ローカル認証部２３１は、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、ローカル認証を行う（Ｓ１３）。ローカル認証は、上記した第１の認証に相当し得る。ローカル認証が成功した場合（Ｓ１３において「ＯＫ」）、データ送信部２６１によってメタデータがサーバ装置４０に送信され（Ｓ１４）、認証成功となる（Ｓ１５）。一方、ローカル認証が失敗した場合（Ｓ１３において「ＮＧ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、サーバ認証用データによってローカル認証用データが更新され（Ｓ２１）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
なお、発光制御部２７１は、メタデータまたは撮像画像の送信が終わったら、ＬＥＤ３６１による発光を停止させてよい。これによって、同一人物が撮影されているにも関わらずメタデータまたは撮像画像が連続で送信されてしまうことが避けられる。そして、発光制御部２７１は、撮像範囲から新たに人が検出された場合に、ＬＥＤ３６１による発光を再度開始させてもよい。これによって、新たな人の撮影が開始された場合にメタデータまたは撮像画像が再度送信されるようになる。
以上、本開示の第１の実施形態について説明した。
＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１４は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１４に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。
続いて、本開示の第２の実施形態に係るイメージセンサ２０の動作例について説明する。図１５は、本開示の第２の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１５に示されるように、図１２に示された例と異なり、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
以上、本開示の第２の実施形態について説明した。
＜３．第３の実施形態＞
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第３の実施形態は、固体撮像システム１が、人検出部２８１および人検出用データ記憶部２８２を有している点が、本開示の第２の実施形態と異なる。この場合には、信号処理部２２１による処理後の信号（撮像画像）が、人検出部２８１にも出力される。なお、固体撮像システム１は、人検出部２８１および人検出用データ記憶部２８２の他、第１の実施形態と同様に、人検出部２８１および人検出用データ記憶部２８２を有してもよい。
人検出部２８１は、第１の撮像画像から人の検出を試みる。例えば、人検出部２８１は、人検出用データ記憶部２８２によって人の特徴量が記憶されている場合、人検出用データ記憶部２８２から人の特徴量を取得するとともに、第１の撮像画像から特徴量を抽出する。人検出部２８１は、両特徴量が一致または類似する場合に、第１の撮像画像に人が存在すると検出してもよい。発光制御部２７１は、人検出部２８１によって第１の撮像画像から人が検出された場合に、ＬＥＤ３６１による発光を開始させる。これによって、ＬＥＤ３６１の点灯を人が見る可能性があるときにだけＬＥＤ３６１が点灯するため、省電力化が図られる。
人検出部２８１は、第１の撮像画像から人を検出した場合には、送信制御部２３３３に人検出領域（顔領域）を通知してもよい。そして、送信制御部２３３３は、第２の撮像画像に対して人検出領域（顔領域）にマスク処理を行ってから、サーバ装置４０に第２の撮像画像が送信されるように制御してもよい。これによって、第２の撮像画像に映る人のプライバシー保護が強化され得る。
なお、特徴量は、機械学習済みのニューラルネットワーク（第４のニューラルネットワーク）を用いて第１の撮像画像から抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第４のニューラルネットワーク）は、人検出部２８１に含まれ得る。
続いて、本開示の第３の実施形態に係るデータ送信可否判断について、図１７を参照しながら詳細に説明する。図１７は、本開示の第３の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、人検出部２８１は、撮像画像から人が検出されるかを試みる（Ｓ１１３）。データ送信判断部２３３は、人検出部２８１によって人が検出されない場合には（Ｓ１１３において「ＮＯ」）、データ送信可能であると判断する（Ｓ１１６）。一方、発光制御部２７１は、人検出部２８１によって人が検出された場合には（Ｓ１１３において「ＹＥＳ」）、ＬＥＤ３６１による点灯を開始させることによって、撮影開始を被写体に通知する（Ｓ１１４）。
そして、データ送信判断部２３３は、撮像画像からＬＥＤ３６１によって発せられた光の検出を試みる（Ｓ１１１）。データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、撮像画像の顔領域に対してマスク処理を行って（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
以上、本開示の第３の実施形態について説明した。
＜４．第４の実施形態＞
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第４の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって被写体による撮影許容動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、撮影許容動作として、ＬＥＤ３６１による発光検出の代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、撮影許容動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。
以上、本開示の第４の実施形態について説明した。
＜５．第５の実施形態＞
続いて、本開示の第５の実施形態について説明する。本開示の第５の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第５の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第５の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。
以上、本開示の第５の実施形態について説明した。
＜６．第６の実施形態＞
続いて、本開示の第６の実施形態について説明する。ここで、本開示の第１の実施形態から本開示の第５の実施形態までにおいては、発光部の例としてＬＥＤ３６１が用いられる場合について主に説明した。そして、本開示の第１の実施形態から本開示の第５の実施形態までのそれぞれは、ＬＥＤ３６１の代わりに他の発光部（フラッシュなど）が用いられる場合にも適用され得ることを説明した。本開示の第６の実施形態では、発光部の例としてフラッシュが用いられる場合の例について主に説明する。
図２０を参照しながら、本開示の第６の実施形態に係る固体撮像システムの構成例について説明する。図２０を参照すると、本開示の第６の実施形態に係る固体撮像システム１は、電子機器１０がＬＥＤ３６１の代わりにフラッシュ３６４を有する点において、本開示の第１の実施形態に係る固体撮像システム１と異なっている。フラッシュ３６４は、ＤＳＰ２３０による制御に従ってイメージセンサ２０による撮影時に発光する。このとき、イメージセンサ２０の内部のフラッシュ３６４から発せられる光の強度（フラッシュ強度）に応じた露光制御が行われる。
続いて、本開示の第６の実施形態に係る固体撮像システム１の詳細構成例について説明する。図２１は、データ送信判断部２３３の詳細構成例を示す図である。図２１に示されるように、データ送信判断部２３３は、フラッシュ点灯判断部２３３２および送信制御部２３３３を有する。本開示の第６の実施形態に係るイメージセンサ２０は、データ送信判断部２３３がＬＥＤ点灯判断部２３３１の代わりにフラッシュ点灯判断部２３３２を有する点において、本開示の第１の実施形態に係るイメージセンサ２０と異なっている。
発光制御部２７１は、フラッシュ点灯前に撮像範囲の輝度に基づいてフラッシュ未点灯時における適正露出値（露光時間およびゲイン）を算出する。そして、発光制御部２７１は、フラッシュ未点灯時における適正露出値に基づいてフラッシュ点灯時におけるパラメータ（フラッシュ強度、露光時間、ゲイン）を算出する。すなわち、発光制御部２７１は、フラッシュ３６４による発光が第１の撮像画像に写った場合に第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出する。発光制御部２７１は、パラメータに基づいてフラッシュ３６４による発光を制御する。
フラッシュ点灯判断部２３３２は、第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、第１の撮像画像から発光が検出されるか否かを判定する。このとき、特に異常がなければ第１の撮像画像の輝度平均値が適正範囲内に収まる（適正露出となる）。一方、異常があれば第１の撮像画像の輝度平均値が適正範囲内に収まらない（露出アンダーとなる）。異常の原因は特に限定されないが、フラッシュ３６４に覆いが被せられることであってもよいし、フラッシュ３６４が取り外されることであってもよい。
図２２は、フラッシュ３６４が正常に点灯した場合およびフラッシュ３６４が正常に点灯しない場合それぞれの撮像画像の例を示す図である。図２２を参照すると、フラッシュ３６４が正常に点灯した場合における撮像画像ＩＭ３と、フラッシュ３６４が正常に点灯しない場合における撮像画像ＩＭ４とが示されている。フラッシュ３６４が正常に点灯した場合における撮像画像ＩＭ３は、輝度平均値が適正範囲内に収まっている。一方、フラッシュ３６４が正常に点灯しない場合における撮像画像ＩＭ４は、輝度平均値が適正範囲内に収まっていない。
送信制御部２３３３は、フラッシュ点灯判断部２３３２によってフラッシュ３６４による発光が検出されたこと（図２２に示された例では、輝度平均値が適正範囲内に収まっていること）に基づいて、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。一方、送信制御部２３３３は、フラッシュ点灯判断部２３３２によってフラッシュ３６４による発光が検出されなかったことに基づいて、第２の撮像画像を破棄してよい。
続いて、本開示の第６の実施形態に係るデータ送信可否判断について、図２３を参照しながら詳細に説明する。図２３は、本開示の第６の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部２７１は、撮像開始とともにフラッシュ３６４による発光を開始させる。そして、図２３に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、撮像画像の輝度平均値からフラッシュ３６４によって発せられた光の検出を試みる（Ｓ１１７）。データ送信判断部２３３は、フラッシュ３６４によって発せられた光の検出がされなかった場合には（Ｓ１１７において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、フラッシュ３６４によって発せられた光の検出がされた場合には（Ｓ１１７において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。
以上、本開示の第６の実施形態について説明した。
＜７．むすび＞
以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、本開示の第１の実施形態から本開示の第６の実施形態までのそれぞれについて説明した。これらの各種実施形態から、適宜にいずれかの構成が選択されて組み合わされてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
（２）
前記固体撮像装置は、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
前記（１）に記載の固体撮像装置。
（３）
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
前記（２）に記載の固体撮像装置。
（４）
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
前記（３）に記載の固体撮像装置。
（５）
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
前記（２）〜（４）のいずれか一項に記載の固体撮像装置。
（６）
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
前記（５）に記載の固体撮像装置。
（７）
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）または（６）に記載の固体撮像装置。
（８）
前記固体撮像装置は、記憶部を備え、
前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）〜（７）のいずれか一項に記載の固体撮像装置。
（９）
前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
前記（１）〜（８）のいずれか一項に記載の固体撮像装置。
（１０）
前記判定部は、前記第１の撮像画像における輝度の領域間差分または前記第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
前記（１）〜（９）のいずれか一項に記載の固体撮像装置。
（１１）
前記発光制御部は、前記第１の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
前記（１）〜（１０）のいずれか一項に記載の固体撮像装置。
（１２）
前記送信制御部は、前記第１の撮像画像の第１の領域から前記発光が検出されたことに基づいて、前記第１の撮像画像の前記第１の領域とは異なる第２の領域または前記第２の領域に基づくデータの送信を制御する、
前記（１）〜（１１）のいずれか一項に記載の固体撮像装置。
（１３）
前記判定部は、前記第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第１の撮像画像から前記発光が検出されるか否かを判定する、
前記（１）〜（１１）のいずれか一項に記載の固体撮像装置。
（１４）
前記発光制御部は、前記発光が前記第１の撮像画像に写った場合に前記第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
前記（１３）に記載の固体撮像装置。
（１５）
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記（１）〜（１４）のいずれか一項に記載の固体撮像装置。
（１６）
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
前記（２）〜（８）のいずれか一項に記載の固体撮像装置。
（１７）
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
前記（１６）に記載の固体撮像装置。
（１８）
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
前記（４）に記載の固体撮像装置。
（１９）
第１の撮像画像を撮像することと、
発光部による発光を制御することと、
前記第１の撮像画像から前記発光が検出されるか否かを判定することと、
プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
（２０）
アプリケーションと、
第１の撮像画像を撮像する撮像部と、
発光部と、
前記発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、電子機器。
１ 固体撮像システム
１０ 電子機器
２０ イメージセンサ
２１０ ＣＩＳ
２１１ 撮像素子
２１２ Ａ／Ｄ変換器
２２０ ロジック回路
２２１ 信号処理部
２２１１ シェーディング補正部
２２１２ 混色補正部
２２１３ デジタルゲイン調整部
２２１４ ホワイトバランスゲイン調整部
２２１５ 検波部
２２１６ デモザイク処理部
２２１７ γ補正部
２３０ ＤＳＰ
２３１ ローカル認証部
２３１１ 正規化処理部
２３１２ ローカル認証処理部
２３２ ローカル認証用データ記憶部
２３３ データ送信判断部
２３３１ ＬＥＤ点灯判断部
２３３２ フラッシュ点灯判断部
２３３３ 送信制御部
２４０ メモリ
２５０ セレクタ
２６１ データ送信部
２６２ データ受信部
２７１ 発光制御部
２８１ 人検出部
２８２ 人検出用データ記憶部
３０ アプリケーション
３２ カメラモジュール
３２１ 光学レンズ
３２２ レンズホルダ
３２３ カットフィルタ
３２４ モジュール基板
３６ ＬＥＤモジュール
３６１ ＬＥＤ
３６２ 光源用レンズ
３６３ モジュール基板
３６４ フラッシュ
４０ サーバ装置
４１０ データ受信部
４２０ サーバ認証部
４３０ サーバ認証用データ記憶部
４４０ データ送信部
５０ ネットワーク
６０ 検出装置
７０ 外部記録媒体
Ｌ１ 第１の半導体チップ
Ｌ２ 第２の半導体チップ
Ｌ３ 第３の半導体チップ

Claims (20)

  1. 第１の撮像画像を撮像する撮像部と、
    発光部による発光を制御する発光制御部と、
    前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
    前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
    を備える、固体撮像装置。
  2. 前記固体撮像装置は、
    前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
    前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
    請求項１に記載の固体撮像装置。
  3. 前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
    請求項２に記載の固体撮像装置。
  4. 前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
    前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
    請求項３に記載の固体撮像装置。
  5. 前記固体撮像装置は、複数の半導体チップを含んで構成され、
    前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
    請求項２に記載の固体撮像装置。
  6. 前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
    請求項５に記載の固体撮像装置。
  7. 前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
    前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    請求項５に記載の固体撮像装置。
  8. 前記固体撮像装置は、記憶部を備え、
    前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    請求項５に記載の固体撮像装置。
  9. 前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
    請求項１に記載の固体撮像装置。
  10. 前記判定部は、前記第１の撮像画像における輝度の領域間差分または前記第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
    請求項１に記載の固体撮像装置。
  11. 前記発光制御部は、前記第１の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
    請求項１に記載の固体撮像装置。
  12. 前記送信制御部は、前記第１の撮像画像の第１の領域から前記発光が検出されたことに基づいて、前記第１の撮像画像の前記第１の領域とは異なる第２の領域または前記第２の領域に基づくデータの送信を制御する、
    請求項１に記載の固体撮像装置。
  13. 前記判定部は、前記第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第１の撮像画像から前記発光が検出されるか否かを判定する、
    請求項１に記載の固体撮像装置。
  14. 前記発光制御部は、前記発光が前記第１の撮像画像に写った場合に前記第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
    請求項１３に記載の固体撮像装置。
  15. 前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
    請求項１に記載の固体撮像装置。
  16. 前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
    請求項２に記載の固体撮像装置。
  17. 前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
    請求項１６に記載の固体撮像装置。
  18. 前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
    請求項４に記載の固体撮像装置。
  19. 第１の撮像画像を撮像することと、
    発光部による発光を制御することと、
    前記第１の撮像画像から前記発光が検出されるか否かを判定することと、
    プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
    を備える、固体撮像方法。
  20. アプリケーションと、
    第１の撮像画像を撮像する撮像部と、
    発光部と、
    前記発光部による発光を制御する発光制御部と、
    前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
    前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
    を備える、電子機器。
JP2020559918A 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器 Active JP7357640B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229775 2018-12-07
JP2018229775 2018-12-07
PCT/JP2019/045744 WO2020116196A1 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Publications (2)

Publication Number Publication Date
JPWO2020116196A1 true JPWO2020116196A1 (ja) 2021-10-14
JP7357640B2 JP7357640B2 (ja) 2023-10-06

Family

ID=70975347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559918A Active JP7357640B2 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Country Status (6)

Country Link
US (1) US11490038B2 (ja)
EP (1) EP3893488B1 (ja)
JP (1) JP7357640B2 (ja)
CN (1) CN113170046B (ja)
TW (1) TW202029724A (ja)
WO (1) WO2020116196A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582397B2 (en) * 2021-05-18 2023-02-14 X Development Llc Enhanced controller synchronization verification
WO2023218935A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3793982B2 (ja) * 1999-04-07 2006-07-05 富士写真フイルム株式会社 電子カメラ、電子カメラの指掛かり検出方法及び電子カメラのレベル変換方法
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2003218992A (ja) * 2002-01-24 2003-07-31 Toshiba Corp 通信端末
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
WO2015070401A1 (zh) * 2013-11-13 2015-05-21 华为终端有限公司 一种隐私保护的方法及电子设备
JP6324079B2 (ja) 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10306187B2 (en) * 2015-10-16 2019-05-28 Vivint, Inc. Adjustable movement detection doorbell
JP6659163B2 (ja) * 2016-03-16 2020-03-04 キヤノン株式会社 フラッシュバンド判定装置、その制御方法、およびプログラム
KR20180084397A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 홍채를 인식하기 위한 전자 장치 및 그의 동작 방법
JP2019095385A (ja) * 2017-11-27 2019-06-20 株式会社デンソー センサシステム

Also Published As

Publication number Publication date
TW202029724A (zh) 2020-08-01
JP7357640B2 (ja) 2023-10-06
US11490038B2 (en) 2022-11-01
WO2020116196A1 (ja) 2020-06-11
US20210400213A1 (en) 2021-12-23
CN113170046A (zh) 2021-07-23
EP3893488A4 (en) 2022-01-26
EP3893488B1 (en) 2023-12-27
CN113170046B (zh) 2023-06-13
EP3893488A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
WO2021109620A1 (zh) 一种曝光参数的调节方法及装置
US20150085096A1 (en) Tracking optics for a mobile device
JP2006311311A (ja) 撮像装置および撮像方法
JP2007122237A (ja) 偽造判定用撮像装置及び個人識別装置
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
US20120108291A1 (en) Image pickup apparatus and mobile phone equipped therewith
JP7357640B2 (ja) 固体撮像装置、固体撮像方法および電子機器
US20100123801A1 (en) Digital image processing apparatus and method of controlling the digital image processing apparatus
WO2016062083A1 (zh) 一种对焦方法、装置及终端
TWI472222B (zh) Image brightness compensation method and digital image pickup device with image brightness compensation
JP2010154187A (ja) 撮像装置
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
CN116471480A (zh) 对焦方法及装置、电子设备、存储介质
JP7337094B2 (ja) 固体撮像装置、固体撮像方法および電子機器
JP2007005966A (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
US20200036877A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
KR101971535B1 (ko) 이미지 촬영 장치에서 자동 초점 조절 장치 및 방법
JP2009010828A (ja) 撮像装置及び撮像プログラム
JP2008160701A (ja) カメラ及びカメラ用撮影制御プログラム
US20240147045A1 (en) Control apparatus, flashlight apparatus, image pickup apparatus, control method, and storage medium
JP2009065450A (ja) 撮像装置
JP5546381B2 (ja) 撮像装置及びその制御方法
CN112468690B (zh) 数字摄像设备、数字摄像方法及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230926

R150 Certificate of patent or registration of utility model

Ref document number: 7357640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150