JP7337094B2 - 固体撮像装置、固体撮像方法および電子機器 - Google Patents

固体撮像装置、固体撮像方法および電子機器 Download PDF

Info

Publication number
JP7337094B2
JP7337094B2 JP2020559919A JP2020559919A JP7337094B2 JP 7337094 B2 JP7337094 B2 JP 7337094B2 JP 2020559919 A JP2020559919 A JP 2020559919A JP 2020559919 A JP2020559919 A JP 2020559919A JP 7337094 B2 JP7337094 B2 JP 7337094B2
Authority
JP
Japan
Prior art keywords
captured image
authentication
unit
solid
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559919A
Other languages
English (en)
Other versions
JPWO2020116197A1 (ja
Inventor
和幸 奥池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116197A1 publication Critical patent/JPWO2020116197A1/ja
Application granted granted Critical
Publication of JP7337094B2 publication Critical patent/JP7337094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本開示は、固体撮像装置、固体撮像方法および電子機器に関する。
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている（例えば、特許文献１参照）。
特開２０１５－１３３６２４号公報
しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
本開示によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、を備え、前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、固体撮像装置が提供される。
本開示によれば、第１の撮像画像を撮像することと、プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、プロセッサが、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行うことと、を含み、前記制御することは、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、固体撮像方法が提供される。
本開示によれば、アプリケーションと、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、を備え、前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、電子機器が提供される。
本開示の実施形態に係る固体撮像システムの構成例を示す図である。 イメージセンサの構造の第１の例を示す図である。 イメージセンサの構造の第２の例を示す図である。 本開示の第１の実施形態に係る固体撮像システムの詳細構成例を示す図である。 信号処理部の詳細構成例を示す図である。 ローカル認証部の詳細構成例を示す図である。 データ送信判断部の詳細構成例を示す図である。 本開示の第１の実施形態に係るイメージセンサの動作例を示すフローチャートである。 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 送信可を示すジェスチャの例を示す図である。 同実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 同実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 送信不可を示すジェスチャの例を示す図である。 同実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 同実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 本開示の第２の実施形態に係る固体撮像システムの詳細構成例を示す図である。 同実施形態に係るイメージセンサの動作例を示すフローチャートである。 本開示の第３の実施形態に係る固体撮像システムの詳細構成例を示す図である。 本開示の第４の実施形態に係る固体撮像システムの詳細構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
０．概要
１．実施形態の詳細
１．１．システム構成例
１．２．イメージセンサの構成例
１．３．第１の実施形態
１．４．第２の実施形態
１．５．第３の実施形態
１．６．第４の実施形態
２．むすび
＜０．概要＞
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。
そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。
以上、本開示の実施形態の概要について説明した。
＜１．実施形態の詳細＞
［１．１．システム構成例］
続いて、図１を参照しながら、本開示の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。
電子機器１０は、イメージセンサ２０およびアプリケーション３０を有している。イメージセンサ２０は、固体撮像装置の例として機能し、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）２１０、ロジック回路２２０、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３０、メモリ２４０、セレクタ２５０を有している。
ここで、ＣＩＳ２１０は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびＡ／Ｄ変換器などを含んでいる。ロジック回路２２０は、ＣＩＳ２１０からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の実施形態では、電子機器１０がカメラである場合を主に想定する。しかし、電子機器１０は、イメージセンサ２０を有する機器であればカメラに限定されず、他の機器（例えば、スマートフォンおよび携帯電話など）であってもよい。また、アプリケーション３０は、電子機器１０に内蔵されたプロセッサによって実行される。
本開示の実施形態では、イメージセンサ２０によって映像が撮像される。映像は、イメージセンサ２０によって、複数のフレーム（撮像画像）が連続的に撮像されることによって得られる。本開示の実施形態では、イメージセンサ２０によって撮像されたフレーム（撮像画像）またはフレーム（撮像画像）に基づくデータ（以下、「メタデータ」とも言う。）が、サーバ装置４０に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション３０であってもよいし、電子機器１０の外部の記録媒体であってもよい。
以上、本開示の実施形態に係る固体撮像システム１の構成例について説明した。
［１．２．イメージセンサの構成例］
続いて、本開示の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。
このように、イメージセンサ２０は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ２０が有する半導体チップの数は、２つおよび３つに限定されず、１つであってもよいし、４つ以上であってもよい。
図２を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０が含まれている。図３を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０およびＤＳＰ２３０が含まれている。第３の半導体チップＬ３には、ロジック回路２２０が含まれている。しかし、ＣＩＳ２１０、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０それぞれは、どの半導体チップに含まれていてもよい。
図２および図３に示された例において、後に説明するローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれてよい。より詳細には、ローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。後に説明するデータ送信判断部２３３も、第２の半導体チップＬ２に含まれてよい。より詳細には、データ送信判断部２３３は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。
また、図３に示された例において、信号処理部２２１は、第３の半導体チップＬ３のロジック回路２２０に含まれてもよい。あるいは、図２に示された例において、信号処理部２２１は、第２の半導体チップＬ２のロジック回路２２０に含まれてもよい。さらに、図３に示された例において、後に説明するローカル認証用データ記憶部２３２は、第３の半導体チップＬ３のメモリ２４０に含まれてもよい。あるいは、図２に示された例において、ローカル認証用データ記憶部２３２は、第２の半導体チップＬ２のメモリ２４０に含まれてもよい。
以上、イメージセンサ２０の構造の例について説明した。
［１．３．第１の実施形態］
続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、本開示の第１の実施形態に係る固体撮像システム１の詳細構成例を示す図である。なお、図４からは、紙面の都合上、アプリケーション３０およびネットワーク５０が省略されている。図４を参照すると、イメージセンサ２０およびサーバ装置４０が示されている。
イメージセンサ２０は、撮像素子２１１、Ａ／Ｄ変換器２１２、信号処理部２２１、ローカル認証部２３１、ローカル認証用データ記憶部２３２、データ送信判断部２３３、データ送信可能リスト記憶部２３４、セレクタ２５０、データ送信部２６１およびデータ受信部２６２を備える。一方、サーバ装置４０は、データ受信部４１０、サーバ認証部（第２の認証部）４２０、サーバ認証用データ記憶部４３０およびデータ送信部４４０を備える。
撮像素子２１１は、被写体から受光された光信号を電気信号に変換する。Ａ／Ｄ変換器２１２は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部２２１は、Ａ／Ｄ変換器２１２からの出力信号（撮像画像）に対して各種の信号処理を行い、処理後の信号（撮像画像）を出力する。ここで、信号処理部２２１によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部２２１によって行われる必要はなく、これらの信号処理の一部だけが信号処理部２２１によって行われてもよいし、これらの信号処理以外の処理が信号処理部２２１によって行われてもよい。
図５は、信号処理部２２１の詳細構成例を示す図である。図５に示されるように、信号処理部２２１は、シェーディング補正を行うシェーディング補正部２２１１、混色補正を行う混色補正部２２１２、および、デジタルゲイン調整を行うデジタルゲイン調整部２２１３を有してよい。また、信号処理部２２１は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部２２１４、検波を行う検波部２２１５、デモザイク処理を行うデモザイク処理部２２１６、および、γ補正を行うγ補正部２２１７を有してよい。
図４に戻って説明を続ける。信号処理部２２１による処理後の信号（撮像画像）は、セレクタ２５０、データ送信判断部２３３およびローカル認証部２３１に出力される。まず、ローカル認証部２３１の詳細構成例について説明する。図６は、ローカル認証部２３１の詳細構成例を示す図である。図６に示されるように、ローカル認証部２３１は、正規化処理部２３１１およびローカル認証処理部２３１２を有する。
正規化処理部２３１１は、ローカル認証処理部２３１２（例えば、ニューラルネットワーク）による処理に必要の前処理（プリプロセッシング）を行う。例えば、前処理は、第２の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部２３１２は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出された場合に、第２の撮像画像に基づいて第１の認証を行う。例えば、第１の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
なお、ローカル認証部２３１は、機械学習済みのニューラルネットワーク（第１のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部２３１による第１の認証は、学習を必要としない構成によって行われてもよい。第１の認証の認証結果（成功／失敗）および第１の認証によって得られるデータ（メタデータ）は、セレクタ２５０に出力される。
続いて、データ送信判断部２３３の詳細構成例について説明する。図７は、データ送信判断部２３３の詳細構成例を示す図である。図７に示されるように、データ送信判断部２３３は、送信制御部２３３１および記憶制御部２３３２を有する。
本開示の実施形態では、データ送信判断部２３３が、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に対して処理を行う場合を主に想定する。しかし、データ送信判断部２３３による処理対象は、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部２３３に入力されたフレームを「第１の撮像画像」と言い、第１の撮像画像より後にデータ送信判断部２３３に入力されたフレームを「第２の撮像画像」と言う。
まず、撮像素子２１１によって撮像された第１の撮像画像がデータ送信判断部２３３に入力される。記憶制御部２３３２は、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、第１の撮像画像から被写体の第１の特徴量を抽出する。記憶制御部２３３２は、抽出した第１の特徴量をデータ送信可能リスト記憶部２３４に記憶させる。
続いて、撮像素子２１１によって撮像された第２の撮像画像がデータ送信判断部２３３に入力される。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出されるかを試みる。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。なお、送信制御部２３３１は、第２の撮像画像および第２の撮像画像に基づくメタデータのいずれをセレクタ２５０から出力させるかを制御することによって、いずれかがサーバ装置４０に送信されるように制御すればよい。
かかる構成によれば、被写体の撮影によって得られた第２の撮像画像または第２の撮像画像のメタデータのイメージセンサ２０の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。
例えば、送信制御部２３３１は、ローカル認証部２３１による第１の認証が成功した場合には、第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御すればよい。一方、送信制御部２３３１は、ローカル認証部２３１による第１の認証に失敗した場合には、第２の撮像画像のサーバ装置４０への送信を制御すればよい。
第１の動作は限定されない。例えば、被写体が被撮影を許容するときにあるジェスチャ（ポジティブジェスチャ）を行う場合を想定する。かかる場合には、ポジティブジェスチャが第１の動作に相当し得る。このとき、記憶制御部２３３２は、第１の撮像画像から第１の動作を検出したことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させる。しかし、後にも説明するように、第１の動作は、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）であってもよい。
第１の特徴量および第２の特徴量は、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）を用いて抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、第１の特徴量および第２の特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）は、データ送信判断部２３３に含まれ得る。
第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、データ送信判断部２３３による制御に従って、データ送信部２６１によってサーバ装置４０に送信される。サーバ装置４０においては、データ受信部４１０によって、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が受信される。サーバ認証部４２０は、第２の撮像画像に基づく第２の認証を行う。例えば、第２の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
なお、サーバ認証部４２０は、機械学習済みのニューラルネットワーク（第２のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部４２０による第２の認証は、学習を必要としない構成によって行われてもよい。第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）は、データ送信部４４０を介して、イメージセンサ２０に送信される。
イメージセンサ２０においては、データ受信部２６２によって、第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）が受信される。
第１の認証が成功した場合、第１の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。また、第２の認証が成功した場合にも、第２の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。
なお、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータのほうが、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータに基づいて、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが更新されるのが望ましい。
具体的には、サーバ認証部４２０によって第２の撮像画像に基づく第２の認証が成功した場合、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータが、サーバ認証部４２０によってサーバ認証用データ記憶部４３０から取得され、データ送信部４４０を介してイメージセンサ２０に送信されてもよい。このとき、イメージセンサ２０においては、データ受信部２６２によって当該第２のパラメータが受信され、ローカル認証用データ記憶部２３２に記憶されている、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが、第２のパラメータに基づいてローカル認証部２３１によって更新されてもよい。
続いて、本開示の第１の実施形態に係るイメージセンサ２０の動作例について説明する。図８は、本開示の第１の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図８に示されるように、データ送信判断部２３３は、データ送信可否を判断する（Ｓ１１）。データ送信可否判断について、図９を参照しながら詳細に説明する。
図９は、本開示の第１の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図９に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、入力された撮像画像から顔（顔の特徴量）の検出を試みる（Ｓ１１１）。なお、顔の特徴量の代わりに、被写体の他の特徴量が用いられてもよい。データ送信判断部２３３は、顔（顔の特徴量）の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、顔の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信可能リストにある顔であるか否かを判定する（Ｓ１１３）。
データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信可を示すジェスチャがあるか否かを判定する（Ｓ１１４）。送信可を示すジェスチャは、上記したポジティブジェスチャの例に該当する。
図１０は、送信可を示すジェスチャの例を示す図である。図１０を参照すると、入力された撮像画像Ｍ１０が示されている。撮像画像Ｍ１０には、顔Ｆ１０と送信可を示すジェスチャＦ２０が写っている。このような場合には、撮像画像Ｍ１０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ１０から送信可を示すジェスチャＦ２０があると判定される。なお、図１０には、送信可を示すジェスチャＦ２０の例として、親指を立てるジェスチャが示されているが、送信可を示すジェスチャＦ２０は、かかる例に限定されない。
図９に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがないと判定した場合（Ｓ１１４において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがあると判定した場合（Ｓ１１４において「ＹＥＳ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
図８に戻って説明を続ける。データ送信不可であると判断された場合（Ｓ１１において「ＮＧ」）、データ送信不可となる（Ｓ１２）。一方、ローカル認証部２３１は、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、ローカル認証を行う（Ｓ１３）。ローカル認証は、上記した第１の認証に相当し得る。ローカル認証が成功した場合（Ｓ１３において「ＯＫ」）、データ送信部２６１によってメタデータがサーバ装置４０に送信され（Ｓ１４）、認証成功となる（Ｓ１５）。一方、ローカル認証が失敗した場合（Ｓ１３において「ＮＧ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、サーバ認証用データによってローカル認証用データが更新され（Ｓ２１）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
続いて、本開示の第１の実施形態の変形例１について説明する。上記では、送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、特に制限なしに、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する例を示した。しかし、送信制御部２３３１は、第１の特徴量がデータ送信可能リスト記憶部２３４に記憶されてからの経過時間が所定時間を超えている場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。これによって、被写体のプライバシー保護がより強化されることが期待される。
図１１は、本開示の第１の実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１１に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内であるかを判定する（Ｓ１１８）。データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内である場合には（Ｓ１１８において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間外である場合には（Ｓ１１８において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。
続いて、本開示の第１の実施形態の変形例２について説明する。上記では、第１の動作として、被写体が被撮影を許容するときに行うジェスチャ（ポジティブジェスチャ）が用いられる例を説明した。しかし、第１の動作として、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）が用いられてもよい。すなわち、記憶制御部２３３２は、第１の動作が検出されなかったことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させてもよい。
図１２は、本開示の第１の実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１２に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信不可を示すジェスチャがあるか否かを判定する（Ｓ１１９）。送信不可を示すジェスチャは、上記したネガティブジェスチャの例に該当する。
図１３は、送信不可を示すジェスチャの例を示す図である。図１３を参照すると、入力された撮像画像Ｍ２０が示されている。撮像画像Ｍ２０には、顔Ｆ１０と送信不可を示すジェスチャＦ３０が写っている。このような場合には、撮像画像Ｍ２０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ２０から送信不可を示すジェスチャＦ３０があると判定される。なお、図１３には、送信不可を示すジェスチャＦ３０の例として、両腕をクロスさせるジェスチャが示されているが、送信不可を示すジェスチャＦ３０は、かかる例に限定されない。
図１２に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがあると判定した場合（Ｓ１１９において「ＹＥＳ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがないと判定した場合（Ｓ１１９において「ＮＯ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
続いて、本開示の第１の実施形態の変形例３について説明する。上記では、被写体の動作に関わらず、第２の撮像画像または第２の撮像画像に基づくデータの送信が開始されたら、送信が継続される例について説明した。しかし、データ送信判断部２３３は、第２の撮像画像から被写体の第２の動作を検出した場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。例えば、第２の動作は、被写体が被撮影を認識していないという動作であってよい。そうすれば、被写体が被撮影を認識していない場合に、被写体の撮影によって得られたデータがイメージセンサ２０の外部に送信されてしまうことが防止されるため、被写体のプライバシー保護が強化される。
ここで、データ送信判断部２３３は、再帰型ニューラルネットワークＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて第２の動作を検出するのが望ましい。そうすれば、第２の撮像画像だけではなく、第２の撮像画像よりも前に入力された撮像画像と第２の撮像画像とから、被写体の動作が認識され得るため、被写体が被撮影を認識していないという動作がより高精度に認識されることが期待される。
図１４は、本開示の第１の実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１４に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。
続いて、本開示の第１の実施形態の変形例４について説明する。上記では、変形例３では、撮像画像から顔（顔の特徴量）が検出された場合に（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信リストにある顔であるかが判定される例を示した。しかし、検出された顔がデータ送信リストにある顔であるかは判定されなくてもよい。
図１５は、本開示の第１の実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１５に示されるように、図１４に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、顔（顔の特徴量）の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。
以上、本開示の第１の実施形態について説明した。
［１．４．第２の実施形態］
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。
続いて、本開示の第２の実施形態に係るイメージセンサ２０の動作例について説明する。図１７は、本開示の第２の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１７に示されるように、図８に示された例と異なり、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
以上、本開示の第２の実施形態について説明した。
［１．５．第３の実施形態］
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第３の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって第１の動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、第１の動作として、撮像画像から認識されるジェスチャの代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、第１の動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。
以上、本開示の第３の実施形態について説明した。
［１．６．第４の実施形態］
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第４の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。
以上、本開示の第４の実施形態について説明した。
＜２．むすび＞
以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、本開示の第１の実施形態、本開示の第１の実施形態の変形例１～４、本開示の第２の実施形態、本開示の第３の実施形態、および、本開示の第４の実施形態について説明した。これらの各種実施形態および各種変形例から、適宜にいずれかの構成が選択されて組み合わされてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
（２）
前記固体撮像装置は、
前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
前記（１）に記載の固体撮像装置。
（３）
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
前記（２）に記載の固体撮像装置。
（４）
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
前記（３）に記載の固体撮像装置。
（５）
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
前記（２）～（４）のいずれか一項に記載の固体撮像装置。
（６）
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
前記（５）に記載の固体撮像装置。
（７）
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）または（６）に記載の固体撮像装置。
（８）
前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）～（７）のいずれか一項に記載の固体撮像装置。
（９）
前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
前記（１）～（８）のいずれか一項に記載の固体撮像装置。
（１０）
前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
前記（１）～（９）のいずれか一項に記載の固体撮像装置。
（１１）
前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
前記（１０）に記載の固体撮像装置。
（１２）
前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１３）
前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１４）
前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１５）
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記（１）～（１４）のいずれか一項に記載の固体撮像装置。
（１６）
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
前記（２）～（８）のいずれか一項に記載の固体撮像装置。
（１７）
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
前記（１６）に記載の固体撮像装置。
（１８）
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
前記（４）に記載の固体撮像装置。
（１９）
第１の撮像画像を撮像することと、
プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
（２０）
アプリケーションと、
第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
を備える、電子機器。
１ 固体撮像システム
１０ 電子機器
２０ イメージセンサ
２１０ ＣＩＳ
２１１ 撮像素子
２１２ Ａ／Ｄ変換器
２２０ ロジック回路
２２１ 信号処理部
２２１１ シェーディング補正部
２２１２ 混色補正部
２２１３ デジタルゲイン調整部
２２１４ ホワイトバランスゲイン調整部
２２１５ 検波部
２２１６ デモザイク処理部
２２１７ γ補正部
２３０ ＤＳＰ
２３１ ローカル認証部
２３１１ 正規化処理部
２３１２ ローカル認証処理部
２３２ ローカル認証用データ記憶部
２３３ データ送信判断部
２３３１ 送信制御部
２３３２ 記憶制御部
２３４ データ送信可能リスト記憶部
２４０ メモリ
２５０ セレクタ
２６１ データ送信部
２６２ データ受信部
３０ アプリケーション
４０ サーバ装置
４１０ データ受信部
４２０ サーバ認証部
４３０ サーバ認証用データ記憶部
４４０ データ送信部
５０ ネットワーク
６０ 検出装置
７０ 外部記録媒体
Ｌ１ 第１の半導体チップ
Ｌ２ 第２の半導体チップ
Ｌ３ 第３の半導体チップ

Claims (19)

  1. 第１の撮像画像を撮像する撮像部と、
    第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
    前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
    前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
    を備え、
    前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
    固体撮像装置。
  2. 前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
    請求項１に記載の固体撮像装置。
  3. 前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
    前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
    請求項２に記載の固体撮像装置。
  4. 前記固体撮像装置は、複数の半導体チップを含んで構成され、
    前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
    請求項１に記載の固体撮像装置。
  5. 前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
    請求項４に記載の固体撮像装置。
  6. 前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
    前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    請求項４に記載の固体撮像装置。
  7. 前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    請求項４に記載の固体撮像装置。
  8. 前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
    請求項１に記載の固体撮像装置。
  9. 前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
    請求項１に記載の固体撮像装置。
  10. 前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
    請求項９に記載の固体撮像装置。
  11. 前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
    請求項１に記載の固体撮像装置。
  12. 前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
    請求項１に記載の固体撮像装置。
  13. 前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
    請求項１に記載の固体撮像装置。
  14. 前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
    請求項１に記載の固体撮像装置。
  15. 前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
    請求項１に記載の固体撮像装置。
  16. 前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
    請求項１５に記載の固体撮像装置。
  17. 前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
    請求項３に記載の固体撮像装置。
  18. 第１の撮像画像を撮像することと、
    プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
    プロセッサが、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行うことと、
    を含み、
    前記制御することは、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
    固体撮像方法。
  19. アプリケーションと、
    第１の撮像画像を撮像する撮像部と、
    第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
    前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
    を備え、
    前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
    電子機器。
JP2020559919A 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器 Active JP7337094B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229603 2018-12-07
JP2018229603 2018-12-07
PCT/JP2019/045745 WO2020116197A1 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Publications (2)

Publication Number Publication Date
JPWO2020116197A1 JPWO2020116197A1 (ja) 2021-10-14
JP7337094B2 true JP7337094B2 (ja) 2023-09-01

Family

ID=70975392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559919A Active JP7337094B2 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Country Status (6)

Country Link
US (1) US20220006952A1 (ja)
EP (1) EP3893487A4 (ja)
JP (1) JP7337094B2 (ja)
CN (1) CN113170045B (ja)
TW (1) TW202037147A (ja)
WO (1) WO2020116197A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734919B1 (en) * 2022-04-19 2023-08-22 Sas Institute, Inc. Flexible computer architecture for performing digital image analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038621A (ja) 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
JP2017157936A (ja) 2016-02-29 2017-09-07 カシオ計算機株式会社 撮像装置、送信制御方法及びプログラム
JP2018107538A (ja) 2016-12-23 2018-07-05 シャープ株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102057531B1 (ko) * 2013-02-20 2020-01-23 삼성전자주식회사 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
JP6324079B2 (ja) 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102204675B1 (ko) * 2014-05-14 2021-01-19 삼성전자 주식회사 디스플레이 장치, 서버, 시스템 및 그 정보제공 방법
US10554829B2 (en) * 2014-06-03 2020-02-04 Sony Corporation Information processing device, photographing device, image sharing system, and method of information processing
KR102184272B1 (ko) * 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US20170039010A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
US9769367B2 (en) * 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US9946355B2 (en) * 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
US10679058B2 (en) * 2016-01-06 2020-06-09 Orcam Technologies Ltd. Wearable apparatus and methods for processing images to identify contextual situations
CN107358079A (zh) * 2017-06-16 2017-11-17 微梦创科网络科技（中国）有限公司 实时人脸识别登录验证方法及系统
CN108038179A (zh) * 2017-12-07 2018-05-15 泰康保险集团股份有限公司 身份信息认证方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038621A (ja) 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
JP2017157936A (ja) 2016-02-29 2017-09-07 カシオ計算機株式会社 撮像装置、送信制御方法及びプログラム
JP2018107538A (ja) 2016-12-23 2018-07-05 シャープ株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム

Also Published As

Publication number Publication date
EP3893487A4 (en) 2022-01-26
US20220006952A1 (en) 2022-01-06
CN113170045B (zh) 2023-11-21
WO2020116197A1 (ja) 2020-06-11
JPWO2020116197A1 (ja) 2021-10-14
EP3893487A1 (en) 2021-10-13
TW202037147A (zh) 2020-10-01
CN113170045A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
JP6580783B2 (ja) 人物再識別システム及び方法
US8610812B2 (en) Digital photographing apparatus and control method thereof
KR20200081450A (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
KR20140026512A (ko) 하나 이상의 피사체의 이미지에 대한 캡쳐의 자동 최적화 기법
JP2005242677A (ja) 複合認証システムおよびその方法ならびにプログラム
US20210117708A1 (en) Method for obtaining face data and electronic device therefor
JP2006319550A (ja) 撮像装置、携帯端末
CN112889062A (zh) 人脸识别数据处理方法、装置、移动设备和计算机可读存储介质
KR20190101841A (ko) 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
JP4747894B2 (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP7337094B2 (ja) 固体撮像装置、固体撮像方法および電子機器
JP6428152B2 (ja) 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP7357640B2 (ja) 固体撮像装置、固体撮像方法および電子機器
CN116405774A (zh) 视频处理方法与电子设备
JP6833571B2 (ja) 画像処理装置、画像処理システム、および、制御方法
JP2012004720A (ja) 監視装置、及び監視システム
JP7390634B2 (ja) ロビーインターホン、インターホンシステム、画像情報出力方法及びプログラム
JP7390670B2 (ja) 共同玄関子機、共同玄関子機の画像出力方法、及びプログラム
JP2018186412A (ja) 撮像装置、情報処理装置、情報処理方法及びプログラム
JP2018120266A (ja) 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置
WO2023122440A1 (en) Apparatus and methods for spoofing detection using machine learning processes
JP2015095856A (ja) 端末装置、情報収集システム、情報収集方法、および、情報収集プログラム
JP5245604B2 (ja) 画像処理装置およびプログラム
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7337094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150