WO2020116197A1 - 固体撮像装置、固体撮像方法および電子機器 - Google Patents

固体撮像装置、固体撮像方法および電子機器 Download PDF

Info

Publication number
WO2020116197A1
WO2020116197A1 PCT/JP2019/045745 JP2019045745W WO2020116197A1 WO 2020116197 A1 WO2020116197 A1 WO 2020116197A1 JP 2019045745 W JP2019045745 W JP 2019045745W WO 2020116197 A1 WO2020116197 A1 WO 2020116197A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
solid
unit
state imaging
authentication
Prior art date
Application number
PCT/JP2019/045745
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP19893741.9A priority Critical patent/EP3893487A4/en
Priority to CN201980079314.6A priority patent/CN113170045B/zh
Priority to US17/290,575 priority patent/US12052463B2/en
Priority to JP2020559919A priority patent/JP7337094B2/ja
Publication of WO2020116197A1 publication Critical patent/WO2020116197A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present disclosure relates to a solid-state imaging device, a solid-state imaging method, and electronic equipment.
  • the first captured image is used to determine the first captured image of the subject.
  • a storage control unit that extracts the first feature amount and stores it in the storage unit, and a second feature amount that is the same as or similar to the first feature amount is extracted from the second captured image by the image capturing unit.
  • the first captured image is captured from the first captured image
  • the processor is configured to detect the first captured image from the first captured image based on information about detection of a first motion of the subject from the first captured image.
  • the second feature quantity that is identical to or similar to the first feature quantity is extracted from the second captured image, and the second feature quantity of the second feature quantity of Controlling the transmission of data based on the captured image or the second captured image.
  • an image capturing unit that captures a first captured image, and information about detection of a first motion of a subject from the first captured image, the first captured image is converted to the first captured image. Based on that the first feature amount of the subject is extracted and stored in the storage unit, and the second feature amount that is the same as or similar to the first feature amount is extracted from the second captured image by the image capturing unit. Then, a transmission control unit that controls transmission of the second captured image or data based on the second captured image to the application is provided.
  • FIG. 1 is a diagram showing a detailed configuration example of a solid-state imaging system according to a first embodiment of the present disclosure. It is a figure which shows the detailed structural example of a signal processing part. It is a figure which shows the detailed structural example of a local authentication part. It is a figure which shows the detailed structural example of a data transmission determination part.
  • 3 is a flowchart showing an operation example of the image sensor according to the first embodiment of the present disclosure.
  • FIG. 5 is a flowchart showing a detailed operation example of data transmission availability determination according to the embodiment. It is a figure which shows the example of the gesture which shows transmission possible.
  • 9 is a flowchart showing a detailed operation example of data transmission availability determination according to the first modification of the embodiment. 9 is a flowchart illustrating a detailed operation example of data transmission availability determination according to the second modification of the embodiment. It is a figure which shows the example of the gesture which cannot transmit.
  • 9 is a flowchart showing a detailed operation example of data transmission availability determination according to Modification 3 of the embodiment. 9 is a flowchart showing a detailed operation example of data transmission availability determination according to Modification 4 of the same embodiment.
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different numbers after the same reference numerals. However, when it is not necessary to distinguish each of the plurality of constituent elements having substantially the same functional configuration, only the same reference numeral is given. Further, a plurality of components having the same or similar functional configuration may be distinguished by attaching different alphabets after the same reference numeral. However, when it is not necessary to specifically distinguish a plurality of each having the same or similar functional configuration, only the same reference numeral is given.
  • the solid-state imaging system 1 includes an electronic device 10, a server device 40, and a network 50.
  • the electronic device 10 and the server device 40 can communicate with each other via the network 50.
  • the electronic device 10 is connected to the network 50 in the example shown in FIG. 1, a plurality of electronic devices 10 may be connected to the network 50, and each of the plurality of electronic devices 10 connects the network 50. It may be possible to communicate with the server device 40 via the server device 40.
  • the electronic device 10 has an image sensor 20 and an application 30.
  • the image sensor 20 functions as an example of a solid-state imaging device, and has a CIS (Contact Image Sensor) 210, a logic circuit 220, a DSP (Digital Signal Processor) 230, a memory 240, and a selector 250.
  • CIS Contact Image Sensor
  • DSP Digital Signal Processor
  • the CIS 210 corresponds to an example of an image pickup unit and includes an image pickup element, a light source, a light receiving lens, an A/D converter, and the like.
  • the logic circuit 220 includes a signal processing unit that performs signal processing on the output signal from the CIS 210.
  • the electronic device 10 is a camera.
  • the electronic device 10 is not limited to a camera as long as it has the image sensor 20, and may be another device (for example, a smartphone or a mobile phone).
  • the application 30 is executed by the processor incorporated in the electronic device 10.
  • an image is captured by the image sensor 20.
  • the image is obtained by the image sensor 20 continuously capturing a plurality of frames (captured images).
  • a case where a frame (captured image) captured by the image sensor 20 or data based on the frame (captured image) (hereinafter, also referred to as “metadata”) is transmitted to the server device 40.
  • the destination of the captured image or the metadata may be the application 30 or a recording medium external to the electronic device 10.
  • FIG. 2 is a diagram showing a first example of the structure of the image sensor 20.
  • FIG. 3 is a diagram showing a second example of the structure of the image sensor 20.
  • the image sensor 20 includes a first semiconductor chip L1 and a second semiconductor chip L2.
  • the image sensor 20 includes a first semiconductor chip L1, a second semiconductor chip L2, and a third semiconductor chip L3.
  • the image sensor 20 includes a plurality of semiconductor chips, and the plurality of semiconductor chips are configured in layers and electrically connected to each other.
  • the number of semiconductor chips included in the image sensor 20 is not limited to two and three, and may be one or four or more.
  • the first semiconductor chip L1 includes the CIS 210.
  • the second semiconductor chip L2 includes the memory 240, the DSP 230, and the logic circuit 220.
  • the first semiconductor chip L1 includes the CIS 210.
  • the memory 240 and the DSP 230 are included in the second semiconductor chip L2.
  • a logic circuit 220 is included in the third semiconductor chip L3.
  • each of the CIS 210, the memory 240, the DSP 230, and the logic circuit 220 may be included in any semiconductor chip.
  • the local authentication unit 231 (first authentication unit) described later may be included in the second semiconductor chip L2. More specifically, the local authentication unit 231 (first authentication unit) may be realized by the DSP 230 included in the second semiconductor chip L2.
  • the data transmission determination unit 233 described later may also be included in the second semiconductor chip L2. More specifically, the data transmission determination unit 233 may be realized by the DSP 230 included in the second semiconductor chip L2.
  • the signal processing unit 221 may be included in the logic circuit 220 of the third semiconductor chip L3.
  • the signal processing unit 221 may be included in the logic circuit 220 of the second semiconductor chip L2.
  • the local authentication data storage unit 232 described later may be included in the memory 240 of the third semiconductor chip L3.
  • the local authentication data storage unit 232 may be included in the memory 240 of the second semiconductor chip L2.
  • FIG. 4 is a diagram illustrating a detailed configuration example of the solid-state imaging system 1 according to the first embodiment of the present disclosure. Note that the application 30 and the network 50 are omitted from FIG. 4 due to space limitations. Referring to FIG. 4, the image sensor 20 and the server device 40 are shown.
  • the image sensor 20 includes an image sensor 211, an A/D converter 212, a signal processing unit 221, a local authentication unit 231, a local authentication data storage unit 232, a data transmission determination unit 233, a data transmittable list storage unit 234, and a selector 250. , A data transmission unit 261 and a data reception unit 262.
  • the server device 40 includes a data reception unit 410, a server authentication unit (second authentication unit) 420, a server authentication data storage unit 430, and a data transmission unit 440.
  • the image sensor 211 converts an optical signal received from a subject into an electric signal.
  • the A/D converter 212 converts an electric signal from an analog signal into a digital signal and outputs it.
  • the signal processing unit 221 performs various signal processing on the output signal (captured image) from the A/D converter 212 and outputs the processed signal (captured image).
  • signal processing unit 221 performs various signal processing on the output signal (captured image) from the A/D converter 212 and outputs the processed signal (captured image).
  • signal processing unit 221 performs various signal processing on the output signal (captured image) from the A/D converter 212 and outputs the processed signal (captured image).
  • an example of signal processing performed by the signal processing unit 221 will be described. However, all of the signal processing described below does not need to be performed by the signal processing unit 221, and only a part of these signal processing may be performed by the signal processing unit 221, or processing other than these signal processings may be performed. May be performed by the signal processing
  • FIG. 5 is a diagram showing a detailed configuration example of the signal processing unit 221.
  • the signal processing unit 221 may include a shading correction unit 2211 that performs shading correction, a color mixture correction unit 2212 that performs color mixture correction, and a digital gain adjustment unit 2213 that performs digital gain adjustment.
  • the signal processing unit 221 includes a white balance gain adjusting unit 2214 that adjusts the white balance gain, a detection unit 2215 that performs detection, a demosaic processing unit 2216 that performs demosaic processing, and a ⁇ correction unit 2217 that performs ⁇ correction. You may.
  • FIG. 6 is a diagram showing a detailed configuration example of the local authentication unit 231.
  • the local authentication unit 231 includes a normalization processing unit 2311 and a local authentication processing unit 2312.
  • the normalization processing unit 2311 performs preprocessing (preprocessing) necessary for processing by the local authentication processing unit 2312 (eg, neural network).
  • the preprocessing may be range adjustment and size adjustment of the second captured image.
  • the local authentication processing unit 2312 performs the first authentication based on the second captured image when the second characteristic amount that matches or is similar to the first characteristic amount is extracted from the second captured image.
  • the data obtained by the first authentication may be data (metadata) based on the second captured image.
  • the metadata may be identification information of a subject (person) identified from the second captured image.
  • the local authentication unit 231 may include a machine-learned neural network (first neural network). It is assumed that this increases the authentication accuracy.
  • the neural network may be a deep learning network. In such a case, it is expected that the authentication accuracy will be further increased.
  • the first authentication by the local authentication unit 231 may be performed by a configuration that does not require learning.
  • the authentication result (success/failure) of the first authentication and the data (metadata) obtained by the first authentication are output to the selector 250.
  • FIG. 7 is a diagram illustrating a detailed configuration example of the data transmission determination unit 233.
  • the data transmission determination unit 233 has a transmission control unit 2331 and a storage control unit 2332.
  • the data transmission determination unit 233 performs processing on each frame (captured image) of the video input from the signal processing unit 221.
  • the processing target by the data transmission determination unit 233 is not limited to each frame (captured image) of the video input from the signal processing unit 221, and may be every plurality of frames.
  • a frame input to the data transmission determination unit 233 at a certain timing is referred to as a “first captured image”
  • a frame input to the data transmission determination unit 233 after the first captured image is referred to as a “second captured image”.
  • Image a frame input to the data transmission determination unit 233 after the first captured image
  • the first captured image captured by the image sensor 211 is input to the data transmission determination unit 233.
  • the storage control unit 2332 extracts the first feature amount of the subject from the first captured image based on the information regarding the detection of the first motion of the subject from the first captured image.
  • the storage control unit 2332 stores the extracted first characteristic amount in the data transmittable list storage unit 234.
  • the second captured image captured by the image sensor 211 is input to the data transmission determination unit 233.
  • the transmission control unit 2331 attempts to extract a second feature amount that is the same as or similar to the first feature amount from the second captured image.
  • the transmission control unit 2331 when the second feature amount that is the same as or similar to the first feature amount is extracted from the second captured image, the second captured image or the data (metadata) based on the second captured image.
  • the transmission control unit 2331 controls which of the second captured image and the metadata based on the second captured image to be output from the selector 250 so that one of them is transmitted to the server device 40. You can control it.
  • the transmission control unit 2331 may control the transmission of the data (metadata) based on the second captured image to the server device 40 when the first authentication by the local authentication unit 231 is successful.
  • the transmission control unit 2331 may control the transmission of the second captured image to the server device 40 when the first authentication by the local authentication unit 231 fails.
  • First action is not limited.
  • the subject makes a certain gesture (positive gesture) when the subject is allowed to shoot.
  • the positive gesture may correspond to the first action.
  • the storage control unit 2332 extracts the first feature amount based on the detection of the first motion from the first captured image and causes the data transmittable list storage unit 234 to store the first feature amount.
  • the first operation may be a gesture (negative gesture) performed when the subject prohibits photographing.
  • the first feature amount and the second feature amount may be extracted using a machine-learned neural network (third neural network). It is assumed that this increases the accuracy of feature amount extraction.
  • the neural network may be a deep learning network. In such a case, it is assumed that the accuracy of feature amount extraction will be further improved.
  • the first feature amount and the second feature amount may be extracted by a configuration that does not require learning.
  • the machine-learned neural network (third neural network) may be included in the data transmission determination unit 233.
  • the second captured image or data (metadata) based on the second captured image is transmitted to the server device 40 by the data transmission unit 261 under the control of the data transmission determination unit 233.
  • the data receiving unit 410 receives the second captured image or data (metadata) based on the second captured image.
  • the server authentication unit 420 performs second authentication based on the second captured image.
  • the data obtained by the second authentication may be data (metadata) based on the second captured image.
  • the metadata may be identification information of a subject (person) identified from the second captured image.
  • the server authentication unit 420 may be configured to include a machine-learned neural network (second neural network). It is assumed that this increases the authentication accuracy.
  • the neural network may be a deep learning network. In such a case, it is expected that the authentication accuracy will be further increased.
  • the second authentication by the server authentication unit 420 may be performed by a configuration that does not require learning.
  • the authentication result (success/failure) of the second authentication and the data (metadata) obtained by the second authentication are transmitted to the image sensor 20 via the data transmitting unit 440.
  • the data receiving unit 262 receives the authentication result (success/failure) of the second authentication and the data (metadata) obtained by the second authentication.
  • the image sensor 20 executes a process based on the data (metadata) obtained by the first authentication. Further, even when the second authentication is successful, the image sensor 20 executes the process based on the data (metadata) obtained by the second authentication.
  • the processing based on the metadata is not limited.
  • the process based on the metadata may be a process of displaying an avatar corresponding to the subject identified by the identification information on the screen when the metadata is the identification information of the subject.
  • the second parameter of the second neural network included in the server authentication unit 420 may contribute to higher recognition accuracy than the first parameter of the first neural network included in the local authentication unit 231. is there. Weights and biases are assumed as parameters. Therefore, at a predetermined timing, the first parameter of the first neural network included in the local authentication unit 231 is updated based on the second parameter of the second neural network included in the server authentication unit 420. Is desirable.
  • the second parameter of the second neural network included in the server authentication unit 420 is changed by the server authentication unit 420. It may be acquired from the server authentication data storage unit 430 and transmitted to the image sensor 20 via the data transmission unit 440. At this time, in the image sensor 20, the second parameter is received by the data receiving unit 262 and stored in the local authentication data storage unit 232, and the first neural network of the first neural network included in the local authentication unit 231 is stored. The parameter of No. 1 may be updated by the local authentication unit 231 based on the second parameter.
  • FIG. 8 is a flowchart showing an operation example of the image sensor 20 according to the first embodiment of the present disclosure.
  • the data transmission determination unit 233 determines whether or not data transmission is possible (S11). The data transmission availability determination will be described in detail with reference to FIG.
  • FIG. 9 is a flowchart showing a detailed operation example of data transmission availability determination according to the first embodiment of the present disclosure.
  • the data transmission determination unit 233 attempts to detect a face (face feature amount) from the input captured image (S111). Note that other feature amount of the subject may be used instead of the face feature amount.
  • the data transmission determination unit 233 determines that data transmission is not possible (S112).
  • the data transmission determination unit 233 determines whether or not the detected face is in the data transmission available list (S113).
  • the data transmission determining unit 233 determines that data can be transmitted (S116). On the other hand, if the detected face is not included in the data transmittable list (“NO” in S113), the data transmission determination unit 233 determines whether the input captured image has a gesture indicating that transmission is possible. Is determined (S114). The gesture indicating that transmission is possible corresponds to the positive gesture example described above.
  • FIG. 10 is a diagram showing an example of a gesture indicating that transmission is possible.
  • the input captured image M10 is shown.
  • the face F10 and the gesture F20 indicating that transmission is possible are shown.
  • the face F10 is detected from the captured image M10, and when the face F10 is not in the data transmittable list, it is determined that there is a gesture F20 indicating that transmission is possible from the captured image M10.
  • FIG. 10 illustrates a thumb-up gesture as an example of the gesture F20 indicating that transmission is possible, but the gesture F20 indicating that transmission is possible is not limited to this example.
  • the data transmission determination unit 233 determines that the input captured image does not include a gesture indicating that transmission is possible (“NO” in S114).
  • the data transmission determination unit 233 determines that data transmission is not possible (S112).
  • the data transmission determination unit 233 determines that the input captured image has a gesture indicating that transmission is possible (“YES” in S114)
  • the detected face is registered in the data transmission possible list. (S115), it is determined that data can be transmitted (S116).
  • the local authentication unit 231 performs local authentication (S13). Local authentication may correspond to the first authentication described above.
  • the data transmitting unit 261 transmits the metadata to the server device 40 (S14), and the authentication is successful (S15).
  • the data transmission unit 261 transmits the captured image to the server device 40. At this time, the fact that it is in the data transmission state may be notified (S16).
  • the server process in the server device 40 is executed (S17). Specifically, the data transmission unit 440 receives the captured image (S18), and server authentication is performed based on the captured image (S19).
  • the server authentication can correspond to the second authentication described above. If the server authentication is successful (“OK” in S19), the local authentication data is updated with the server authentication data (S21), and the authentication is successful (S15). On the other hand, if the server authentication fails (“NG” in S19), the authentication fails (S20).
  • the transmission control unit 2331 does not particularly limit the second captured image or the second captured image.
  • An example of controlling transmission of image-based data (metadata) to the server device 40 has been shown.
  • the transmission control unit 2331 displays the second captured image or the second captured image. The transmission of the data based on may be stopped. This is expected to further strengthen the privacy protection of the subject.
  • FIG. 11 is a flowchart showing a detailed operation example of data transmission availability determination according to the first modification of the first embodiment of the present disclosure.
  • the data transmission determination unit 233 determines that the detected face is a face in the data transmission available list ( In S113, “YES”), and it is determined whether or not it is within a predetermined period after the face (face feature amount) is registered in the data transmittable list (S118).
  • the data transmission determination unit 233 determines that the data transmission is possible when the face (face feature amount) is registered in the data transmission enabled list and is within the predetermined period (“YES” in S118) ( S116).
  • the data transmission determination unit 233 determines that the data transmission is not possible if the face (face feature amount) is not registered in the data transmission enabled list and it is outside the predetermined period (“NO” in S118). Yes (S112).
  • a modified example 2 of the first embodiment of the present disclosure will be described.
  • a gesture positive gesture
  • a gesture negative gesture
  • the storage control unit 2332 may extract the first characteristic amount based on the fact that the first operation is not detected, and may store the first characteristic amount in the data transmittable list storage unit 234.
  • FIG. 12 is a flowchart showing a detailed operation example of data transmission availability determination according to the second modification of the first embodiment of the present disclosure.
  • the data transmission determination unit 233 determines that the detected face is not included in the data transmission available list ( If “NO” in S113), it is determined whether or not the input captured image has a gesture indicating that transmission is impossible (S119).
  • the gesture indicating that transmission is impossible corresponds to the above-described example of the negative gesture.
  • FIG. 13 is a diagram showing an example of a gesture indicating that transmission is impossible.
  • the input captured image M20 is shown.
  • the face F10 and the gesture F30 indicating that transmission is impossible are shown in the captured image M20.
  • the face F10 is detected from the captured image M20, and when the face F10 is not in the data transmittable list, it is determined that the captured image M20 has a gesture F30 indicating that transmission is impossible.
  • FIG. 13 illustrates a gesture of crossing both arms as an example of the gesture F30 indicating that transmission is impossible, but the gesture F30 indicating that transmission is impossible is not limited to this example.
  • the data transmission determination unit 233 determines that the input captured image has a gesture indicating that transmission is impossible (“YES” in S119)
  • the data transmission determination unit 233 determines that data transmission is not possible (S112).
  • the data transmission determination unit 233 determines that the input captured image has no gesture indicating that transmission is impossible (“NO” in S119)
  • the detected face is registered in the data transmission possible list. (S115), it is determined that data can be transmitted (S116).
  • the data transmission determination unit 233 may stop the transmission of the second captured image or the data based on the second captured image when the second motion of the subject is detected from the second captured image.
  • the second operation may be an operation in which the subject does not recognize the subject. This prevents the data obtained by shooting the subject from being transmitted to the outside of the image sensor 20 when the subject does not recognize the subject, and thus the privacy protection of the subject is enhanced. ..
  • the data transmission determination unit 233 detect the second operation by using a recursive neural network RNN (Recurrent Neural Network). Then, not only the second captured image, but also the captured image input before the second captured image and the second captured image, the motion of the subject can be recognized, so that the subject is not captured. It is expected that the action of not recognizing will be recognized with higher accuracy.
  • RNN Recurrent Neural Network
  • FIG. 14 is a flowchart showing a detailed operation example of data transmission availability determination according to Modification 3 of the first embodiment of the present disclosure.
  • the data transmission determination unit 233 determines that the detected face is a face in the data transmission available list ( In S113, “YES”), it is estimated using the RNN whether the subject recognizes the subject (S120).
  • the data transmission determination unit 233 determines that the subject does not recognize the subject (“NO” in S121), it determines that data transmission is impossible (S112).
  • the data transmission determination unit 233 determines that the subject recognizes the subject (“YES” in S121)
  • it determines that data transmission is possible S116).
  • Modification Example 4 of the first embodiment of the present disclosure will be described.
  • a face feature amount of the face
  • S111 it is determined whether the detected face is a face in the data transmission list.
  • An example was given. However, it is not necessary to determine whether the detected face is a face on the data transmission list.
  • FIG. 15 is a flowchart showing a detailed operation example of data transmission availability determination according to Modification 4 of the first embodiment of the present disclosure.
  • the data transmission determination unit 233 determines that a face (face feature amount) is detected (in S111). "YES"), it is estimated whether the subject recognizes the subject by using the RNN (S120). When the data transmission determination unit 233 determines that the subject does not recognize the subject (“NO” in S121), it determines that data transmission is impossible (S112). On the other hand, when the data transmission determination unit 233 determines that the subject recognizes the subject (“YES” in S121), it determines that data transmission is possible (S116).
  • FIG. 16 is a diagram illustrating a detailed configuration example of the solid-state imaging system 1 according to the second embodiment of the present disclosure.
  • the second embodiment of the present disclosure is that the image sensor 20 does not include the local authentication unit 231 and the local authentication data storage unit 232, according to the first embodiment of the present disclosure. Different from In this case, the metadata is not transmitted from the image sensor 20 to the server device 40.
  • FIG. 17 is a flowchart showing an operation example of the image sensor 20 according to the second embodiment of the present disclosure.
  • the data transmission unit 261 transmits the captured image to the server device 40. It At this time, the fact that it is in the data transmission state may be notified (S16).
  • the server process in the server device 40 is executed (S17). Specifically, the data transmission unit 440 receives the captured image (S18), and server authentication is performed based on the captured image (S19).
  • the server authentication can correspond to the second authentication described above.
  • the server authentication is successful (“OK” in S19)
  • the authentication is successful (S15).
  • the server authentication fails (“NG” in S19)
  • the authentication fails (S20).
  • FIG. 18 is a diagram illustrating a detailed configuration example of the solid-state imaging system 1 according to the third embodiment of the present disclosure.
  • the third embodiment of the present disclosure is different from the first embodiment of the present disclosure in that the solid-state imaging system 1 includes a detection device 60.
  • the detection device 60 can detect the first motion.
  • the detection device 60 includes a microphone
  • a predetermined voice utterance may be used as the first operation instead of the gesture recognized from the captured image.
  • the detection device 60 includes an input device (for example, a touch panel)
  • a predetermined input operation for example, a touch operation on the touch panel
  • FIG. 19 is a diagram illustrating a detailed configuration example of the solid-state imaging system 1 according to the fourth embodiment of the present disclosure.
  • the solid-state imaging system 1 includes an external recording medium 70 instead of the server device 40, and thus the first embodiment of the present disclosure.
  • the second captured image transmitted from the image sensor 20 or data (metadata) based on the second captured image may be recorded in the external recording medium 70.
  • the second captured image or data (metadata) based on the second captured image may be output from the image sensor 20 to the application 30.
  • a storage control unit that extracts the first feature amount of the subject from one captured image and stores it in the storage unit, and a second control unit that matches or is similar to the first feature amount from the second captured image by the image capturing unit.
  • a transmission control unit that controls transmission of the second captured image or data based on the second captured image, based on the extraction of the feature amount.
  • An imaging unit that captures a first captured image
  • a storage control unit that extracts a first characteristic amount of the subject from the first captured image based on information about detection of a first motion of the subject from the first captured image and stores the first feature amount in the storage unit; Based on the second captured image that is the same as or similar to the first captured image from the second captured image captured by the capturing unit, based on the second captured image or the second captured image.
  • a transmission control unit that controls the transmission of data A solid-state imaging device comprising: (2) The solid-state imaging device, A first authentication unit that performs first authentication based on the second captured image when the second feature amount is extracted from the second captured image, The transmission control unit controls the transmission of data based on the second captured image when the first authentication succeeds, and the second imaging when the first authentication fails. Control the sending of images, The solid-state imaging device according to (1) above. (3) The first authentication unit includes a machine-learned first neural network. The solid-state imaging device according to (2) above.
  • the solid-state imaging device is configured to include a plurality of semiconductor chips, The first authentication unit is included in a second semiconductor chip of the plurality of semiconductor chips, which is different from the first semiconductor chip including the imaging unit.
  • the solid-state imaging device according to any one of (2) to (4) above.
  • the first authentication unit is realized by a DSP included in the second semiconductor chip, The solid-state imaging device according to (5) above.
  • the solid-state imaging device includes a signal processing unit that performs signal processing on an output signal from the imaging unit, The signal processing unit is included in a third semiconductor chip that is different from the first semiconductor chip and the second semiconductor chip among the plurality of semiconductor chips, or the second semiconductor chip.
  • the storage unit is included in a third semiconductor chip different from the first semiconductor chip and the second semiconductor chip among the plurality of semiconductor chips, or the second semiconductor chip.
  • the solid-state imaging device according to any one of (5) to (7).
  • the transmission control unit when the elapsed time after the first characteristic amount is stored in the storage unit exceeds a predetermined time, stores the second captured image or data based on the second captured image. Stop sending, The solid-state imaging device according to any one of (1) to (8) above. (10) The transmission control unit stops transmission of the second captured image or data based on the second captured image when detecting the second motion of the subject from the second captured image. The solid-state imaging device according to any one of (1) to (9) above. (11) The transmission control unit detects the second operation by using a recursive neural network, The solid-state imaging device according to (10) above.
  • the first feature quantity and the second feature quantity are extracted using a machine-learned third neural network, The solid-state imaging device according to any one of (1) to (11) above.
  • the storage control unit extracts the first feature amount based on the detection of the first motion and stores the first feature amount in the storage unit;
  • the storage control unit extracts the first feature amount and stores the first feature amount in the storage unit based on the fact that the first operation is not detected.
  • the transmission control unit controls transmission of the second captured image or data based on the second captured image to an application, a server device, or an external recording medium.
  • the solid-state imaging device according to any one of (1) to (14) above.
  • the solid-state imaging device according to any one of (2) to (8).
  • the data obtained by the first authentication includes identification information of a subject identified from the second captured image, The solid-state imaging device according to (16).
  • a process based on the data obtained by the second authentication is executed.
  • a processor extracts a first feature amount of the subject from the first captured image based on information regarding detection of a first motion of the subject from the first captured image, and stores the first feature amount in the storage unit; Controlling transmission of the second captured image or data based on the second captured image based on extraction of a second characteristic amount that is identical or similar to the first characteristic amount from two captured images
  • a solid-state imaging method comprising: (20) Application and An imaging unit that captures a first captured image; Based on the information regarding the detection of the first motion of the subject from the first captured image, the first feature amount of the subject is extracted from the first captured image and stored in the storage unit. The application of the second captured image or the data based on the second captured image based on the extraction of the second characteristic amount that matches or is similar to the first characteristic amount from the second captured image.
  • a transmission control unit that controls transmission to An electronic device comprising:
  • Solid State Imaging System 10 Electronic Equipment 20 Image Sensor 210 CIS 211 Image sensor 212 A/D converter 220 Logic circuit 221 Signal processing unit 2211 Shading correction unit 2212 Color mixture correction unit 2213 Digital gain adjustment unit 2214 White balance gain adjustment unit 2215 Detection unit 2216 Demosaic processing unit 2217 ⁇ correction unit 230 DSP 231 Local authentication unit 2311 Normalization processing unit 2312 Local authentication processing unit 232 Local authentication data storage unit 233 Data transmission determination unit 2331 Transmission control unit 2332 Storage control unit 234 Data transmittable list storage unit 240 Memory 250 Selector 261 Data transmission unit 262 Data reception unit 30 Application 40 Server device 410 Data reception unit 420 Server authentication unit 430 Server authentication data storage unit 440 Data transmission unit 50 Network 60 Detection device 70 External recording medium L1 First semiconductor chip L2 Second semiconductor chip L3 Second 3 semiconductor chips

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

第１の撮像画像を撮像する撮像部（２１１）と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部（２３３２）と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部（２３３１）と、を備える、固体撮像装置が提供される。

Description

固体撮像装置、固体撮像方法および電子機器
　本開示は、固体撮像装置、固体撮像方法および電子機器に関する。
　近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている（例えば、特許文献１参照）。
特開２０１５－１３３６２４号公報
　しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
　本開示によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
　本開示によれば、第１の撮像画像を撮像することと、プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、を備える、固体撮像方法が提供される。
　本開示によれば、アプリケーションと、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、を備える、電子機器が提供される。
本開示の実施形態に係る固体撮像システムの構成例を示す図である。 イメージセンサの構造の第１の例を示す図である。 イメージセンサの構造の第２の例を示す図である。 本開示の第１の実施形態に係る固体撮像システムの詳細構成例を示す図である。 信号処理部の詳細構成例を示す図である。 ローカル認証部の詳細構成例を示す図である。 データ送信判断部の詳細構成例を示す図である。 本開示の第１の実施形態に係るイメージセンサの動作例を示すフローチャートである。 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 送信可を示すジェスチャの例を示す図である。 同実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 同実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 送信不可を示すジェスチャの例を示す図である。 同実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 同実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。 本開示の第２の実施形態に係る固体撮像システムの詳細構成例を示す図である。 同実施形態に係るイメージセンサの動作例を示すフローチャートである。 本開示の第３の実施形態に係る固体撮像システムの詳細構成例を示す図である。 本開示の第４の実施形態に係る固体撮像システムの詳細構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　０．概要
　１．実施形態の詳細
　　１．１．システム構成例
　　１．２．イメージセンサの構成例
　　１．３．第１の実施形態
　　１．４．第２の実施形態
　　１．５．第３の実施形態
　　１．６．第４の実施形態
　２．むすび
　＜０．概要＞
　近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
　より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。
　そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。
　以上、本開示の実施形態の概要について説明した。
　＜１．実施形態の詳細＞
　［１．１．システム構成例］
　続いて、図１を参照しながら、本開示の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。
　電子機器１０は、イメージセンサ２０およびアプリケーション３０を有している。イメージセンサ２０は、固体撮像装置の例として機能し、ＣＩＳ（Ｃｏｎｔａｃｔ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）２１０、ロジック回路２２０、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）２３０、メモリ２４０、セレクタ２５０を有している。
　ここで、ＣＩＳ２１０は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびＡ／Ｄ変換器などを含んでいる。ロジック回路２２０は、ＣＩＳ２１０からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の実施形態では、電子機器１０がカメラである場合を主に想定する。しかし、電子機器１０は、イメージセンサ２０を有する機器であればカメラに限定されず、他の機器（例えば、スマートフォンおよび携帯電話など）であってもよい。また、アプリケーション３０は、電子機器１０に内蔵されたプロセッサによって実行される。
　本開示の実施形態では、イメージセンサ２０によって映像が撮像される。映像は、イメージセンサ２０によって、複数のフレーム（撮像画像）が連続的に撮像されることによって得られる。本開示の実施形態では、イメージセンサ２０によって撮像されたフレーム（撮像画像）またはフレーム（撮像画像）に基づくデータ（以下、「メタデータ」とも言う。）が、サーバ装置４０に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション３０であってもよいし、電子機器１０の外部の記録媒体であってもよい。
　以上、本開示の実施形態に係る固体撮像システム１の構成例について説明した。
　［１．２．イメージセンサの構成例］
　続いて、本開示の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。
　このように、イメージセンサ２０は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ２０が有する半導体チップの数は、２つおよび３つに限定されず、１つであってもよいし、４つ以上であってもよい。
　図２を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０が含まれている。図３を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０およびＤＳＰ２３０が含まれている。第３の半導体チップＬ３には、ロジック回路２２０が含まれている。しかし、ＣＩＳ２１０、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０それぞれは、どの半導体チップに含まれていてもよい。
　図２および図３に示された例において、後に説明するローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれてよい。より詳細には、ローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。後に説明するデータ送信判断部２３３も、第２の半導体チップＬ２に含まれてよい。より詳細には、データ送信判断部２３３は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。
　また、図３に示された例において、信号処理部２２１は、第３の半導体チップＬ３のロジック回路２２０に含まれてもよい。あるいは、図２に示された例において、信号処理部２２１は、第２の半導体チップＬ２のロジック回路２２０に含まれてもよい。さらに、図３に示された例において、後に説明するローカル認証用データ記憶部２３２は、第３の半導体チップＬ３のメモリ２４０に含まれてもよい。あるいは、図２に示された例において、ローカル認証用データ記憶部２３２は、第２の半導体チップＬ２のメモリ２４０に含まれてもよい。
　以上、イメージセンサ２０の構造の例について説明した。
　［１．３．第１の実施形態］
　続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、本開示の第１の実施形態に係る固体撮像システム１の詳細構成例を示す図である。なお、図４からは、紙面の都合上、アプリケーション３０およびネットワーク５０が省略されている。図４を参照すると、イメージセンサ２０およびサーバ装置４０が示されている。
　イメージセンサ２０は、撮像素子２１１、Ａ／Ｄ変換器２１２、信号処理部２２１、ローカル認証部２３１、ローカル認証用データ記憶部２３２、データ送信判断部２３３、データ送信可能リスト記憶部２３４、セレクタ２５０、データ送信部２６１およびデータ受信部２６２を備える。一方、サーバ装置４０は、データ受信部４１０、サーバ認証部（第２の認証部）４２０、サーバ認証用データ記憶部４３０およびデータ送信部４４０を備える。
　撮像素子２１１は、被写体から受光された光信号を電気信号に変換する。Ａ／Ｄ変換器２１２は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部２２１は、Ａ／Ｄ変換器２１２からの出力信号（撮像画像）に対して各種の信号処理を行い、処理後の信号（撮像画像）を出力する。ここで、信号処理部２２１によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部２２１によって行われる必要はなく、これらの信号処理の一部だけが信号処理部２２１によって行われてもよいし、これらの信号処理以外の処理が信号処理部２２１によって行われてもよい。
　図５は、信号処理部２２１の詳細構成例を示す図である。図５に示されるように、信号処理部２２１は、シェーディング補正を行うシェーディング補正部２２１１、混色補正を行う混色補正部２２１２、および、デジタルゲイン調整を行うデジタルゲイン調整部２２１３を有してよい。また、信号処理部２２１は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部２２１４、検波を行う検波部２２１５、デモザイク処理を行うデモザイク処理部２２１６、および、γ補正を行うγ補正部２２１７を有してよい。
　図４に戻って説明を続ける。信号処理部２２１による処理後の信号（撮像画像）は、セレクタ２５０、データ送信判断部２３３およびローカル認証部２３１に出力される。まず、ローカル認証部２３１の詳細構成例について説明する。図６は、ローカル認証部２３１の詳細構成例を示す図である。図６に示されるように、ローカル認証部２３１は、正規化処理部２３１１およびローカル認証処理部２３１２を有する。
　正規化処理部２３１１は、ローカル認証処理部２３１２（例えば、ニューラルネットワーク）による処理に必要の前処理（プリプロセッシング）を行う。例えば、前処理は、第２の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部２３１２は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出された場合に、第２の撮像画像に基づいて第１の認証を行う。例えば、第１の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
　なお、ローカル認証部２３１は、機械学習済みのニューラルネットワーク（第１のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部２３１による第１の認証は、学習を必要としない構成によって行われてもよい。第１の認証の認証結果（成功／失敗）および第１の認証によって得られるデータ（メタデータ）は、セレクタ２５０に出力される。
　続いて、データ送信判断部２３３の詳細構成例について説明する。図７は、データ送信判断部２３３の詳細構成例を示す図である。図７に示されるように、データ送信判断部２３３は、送信制御部２３３１および記憶制御部２３３２を有する。
　本開示の実施形態では、データ送信判断部２３３が、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に対して処理を行う場合を主に想定する。しかし、データ送信判断部２３３による処理対象は、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部２３３に入力されたフレームを「第１の撮像画像」と言い、第１の撮像画像より後にデータ送信判断部２３３に入力されたフレームを「第２の撮像画像」と言う。
　まず、撮像素子２１１によって撮像された第１の撮像画像がデータ送信判断部２３３に入力される。記憶制御部２３３２は、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、第１の撮像画像から被写体の第１の特徴量を抽出する。記憶制御部２３３２は、抽出した第１の特徴量をデータ送信可能リスト記憶部２３４に記憶させる。
　続いて、撮像素子２１１によって撮像された第２の撮像画像がデータ送信判断部２３３に入力される。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出されるかを試みる。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。なお、送信制御部２３３１は、第２の撮像画像および第２の撮像画像に基づくメタデータのいずれをセレクタ２５０から出力させるかを制御することによって、いずれかがサーバ装置４０に送信されるように制御すればよい。
　かかる構成によれば、被写体の撮影によって得られた第２の撮像画像または第２の撮像画像のメタデータのイメージセンサ２０の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。
　例えば、送信制御部２３３１は、ローカル認証部２３１による第１の認証が成功した場合には、第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御すればよい。一方、送信制御部２３３１は、ローカル認証部２３１による第１の認証に失敗した場合には、第２の撮像画像のサーバ装置４０への送信を制御すればよい。
　第１の動作は限定されない。例えば、被写体が被撮影を許容するときにあるジェスチャ（ポジティブジェスチャ）を行う場合を想定する。かかる場合には、ポジティブジェスチャが第１の動作に相当し得る。このとき、記憶制御部２３３２は、第１の撮像画像から第１の動作を検出したことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させる。しかし、後にも説明するように、第１の動作は、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）であってもよい。
　第１の特徴量および第２の特徴量は、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）を用いて抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、第１の特徴量および第２の特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）は、データ送信判断部２３３に含まれ得る。
　第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、データ送信判断部２３３による制御に従って、データ送信部２６１によってサーバ装置４０に送信される。サーバ装置４０においては、データ受信部４１０によって、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が受信される。サーバ認証部４２０は、第２の撮像画像に基づく第２の認証を行う。例えば、第２の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
　なお、サーバ認証部４２０は、機械学習済みのニューラルネットワーク（第２のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部４２０による第２の認証は、学習を必要としない構成によって行われてもよい。第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）は、データ送信部４４０を介して、イメージセンサ２０に送信される。
　イメージセンサ２０においては、データ受信部２６２によって、第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）が受信される。
　第１の認証が成功した場合、第１の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。また、第２の認証が成功した場合にも、第２の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。
　なお、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータのほうが、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータに基づいて、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが更新されるのが望ましい。
　具体的には、サーバ認証部４２０によって第２の撮像画像に基づく第２の認証が成功した場合、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータが、サーバ認証部４２０によってサーバ認証用データ記憶部４３０から取得され、データ送信部４４０を介してイメージセンサ２０に送信されてもよい。このとき、イメージセンサ２０においては、データ受信部２６２によって当該第２のパラメータが受信され、ローカル認証用データ記憶部２３２に記憶されている、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが、第２のパラメータに基づいてローカル認証部２３１によって更新されてもよい。
　続いて、本開示の第１の実施形態に係るイメージセンサ２０の動作例について説明する。図８は、本開示の第１の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図８に示されるように、データ送信判断部２３３は、データ送信可否を判断する（Ｓ１１）。データ送信可否判断について、図９を参照しながら詳細に説明する。
　図９は、本開示の第１の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図９に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、入力された撮像画像から顔（顔の特徴量）の検出を試みる（Ｓ１１１）。なお、顔の特徴量の代わりに、被写体の他の特徴量が用いられてもよい。データ送信判断部２３３は、顔（顔の特徴量）の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、顔の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信可能リストにある顔であるか否かを判定する（Ｓ１１３）。
　データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信可を示すジェスチャがあるか否かを判定する（Ｓ１１４）。送信可を示すジェスチャは、上記したポジティブジェスチャの例に該当する。
　図１０は、送信可を示すジェスチャの例を示す図である。図１０を参照すると、入力された撮像画像Ｍ１０が示されている。撮像画像Ｍ１０には、顔Ｆ１０と送信可を示すジェスチャＦ２０が写っている。このような場合には、撮像画像Ｍ１０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ１０から送信可を示すジェスチャＦ２０があると判定される。なお、図１０には、送信可を示すジェスチャＦ２０の例として、親指を立てるジェスチャが示されているが、送信可を示すジェスチャＦ２０は、かかる例に限定されない。
　図９に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがないと判定した場合（Ｓ１１４において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがあると判定した場合（Ｓ１１４において「ＹＥＳ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
　図８に戻って説明を続ける。データ送信不可であると判断された場合（Ｓ１１において「ＮＧ」）、データ送信不可となる（Ｓ１２）。一方、ローカル認証部２３１は、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、ローカル認証を行う（Ｓ１３）。ローカル認証は、上記した第１の認証に相当し得る。ローカル認証が成功した場合（Ｓ１３において「ＯＫ」）、データ送信部２６１によってメタデータがサーバ装置４０に送信され（Ｓ１４）、認証成功となる（Ｓ１５）。一方、ローカル認証が失敗した場合（Ｓ１３において「ＮＧ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
　続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、サーバ認証用データによってローカル認証用データが更新され（Ｓ２１）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
　続いて、本開示の第１の実施形態の変形例１について説明する。上記では、送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、特に制限なしに、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する例を示した。しかし、送信制御部２３３１は、第１の特徴量がデータ送信可能リスト記憶部２３４に記憶されてからの経過時間が所定時間を超えている場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。これによって、被写体のプライバシー保護がより強化されることが期待される。
　図１１は、本開示の第１の実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１１に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内であるかを判定する（Ｓ１１８）。データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内である場合には（Ｓ１１８において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間外である場合には（Ｓ１１８において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。
　続いて、本開示の第１の実施形態の変形例２について説明する。上記では、第１の動作として、被写体が被撮影を許容するときに行うジェスチャ（ポジティブジェスチャ）が用いられる例を説明した。しかし、第１の動作として、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）が用いられてもよい。すなわち、記憶制御部２３３２は、第１の動作が検出されなかったことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させてもよい。
　図１２は、本開示の第１の実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１２に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信不可を示すジェスチャがあるか否かを判定する（Ｓ１１９）。送信不可を示すジェスチャは、上記したネガティブジェスチャの例に該当する。
　図１３は、送信不可を示すジェスチャの例を示す図である。図１３を参照すると、入力された撮像画像Ｍ２０が示されている。撮像画像Ｍ２０には、顔Ｆ１０と送信不可を示すジェスチャＦ３０が写っている。このような場合には、撮像画像Ｍ２０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ２０から送信不可を示すジェスチャＦ３０があると判定される。なお、図１３には、送信不可を示すジェスチャＦ３０の例として、両腕をクロスさせるジェスチャが示されているが、送信不可を示すジェスチャＦ３０は、かかる例に限定されない。
　図１２に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがあると判定した場合（Ｓ１１９において「ＹＥＳ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがないと判定した場合（Ｓ１１９において「ＮＯ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
　続いて、本開示の第１の実施形態の変形例３について説明する。上記では、被写体の動作に関わらず、第２の撮像画像または第２の撮像画像に基づくデータの送信が開始されたら、送信が継続される例について説明した。しかし、データ送信判断部２３３は、第２の撮像画像から被写体の第２の動作を検出した場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。例えば、第２の動作は、被写体が被撮影を認識していないという動作であってよい。そうすれば、被写体が被撮影を認識していない場合に、被写体の撮影によって得られたデータがイメージセンサ２０の外部に送信されてしまうことが防止されるため、被写体のプライバシー保護が強化される。
　ここで、データ送信判断部２３３は、再帰型ニューラルネットワークＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて第２の動作を検出するのが望ましい。そうすれば、第２の撮像画像だけではなく、第２の撮像画像よりも前に入力された撮像画像と第２の撮像画像とから、被写体の動作が認識され得るため、被写体が被撮影を認識していないという動作がより高精度に認識されることが期待される。
　図１４は、本開示の第１の実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１４に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。
　続いて、本開示の第１の実施形態の変形例４について説明する。上記では、変形例３では、撮像画像から顔（顔の特徴量）が検出された場合に（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信リストにある顔であるかが判定される例を示した。しかし、検出された顔がデータ送信リストにある顔であるかは判定されなくてもよい。
　図１５は、本開示の第１の実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１５に示されるように、図１４に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、顔（顔の特徴量）の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。
　以上、本開示の第１の実施形態について説明した。
　［１．４．第２の実施形態］
　続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。
　続いて、本開示の第２の実施形態に係るイメージセンサ２０の動作例について説明する。図１７は、本開示の第２の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１７に示されるように、図８に示された例と異なり、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
　続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
　以上、本開示の第２の実施形態について説明した。
　［１．５．第３の実施形態］
　続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第３の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって第１の動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、第１の動作として、撮像画像から認識されるジェスチャの代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、第１の動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。
　以上、本開示の第３の実施形態について説明した。
　［１．６．第４の実施形態］
　続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第４の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。
　以上、本開示の第４の実施形態について説明した。
　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
　かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、本開示の第１の実施形態、本開示の第１の実施形態の変形例１～４、本開示の第２の実施形態、本開示の第３の実施形態、および、本開示の第４の実施形態について説明した。これらの各種実施形態および各種変形例から、適宜にいずれかの構成が選択されて組み合わされてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の撮像画像を撮像する撮像部と、
　第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
　前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
　を備える、固体撮像装置。
（２）
　前記固体撮像装置は、
　前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
　前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
　前記（１）に記載の固体撮像装置。
（３）
　前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
　前記（２）に記載の固体撮像装置。
（４）
　前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
　前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
　前記（３）に記載の固体撮像装置。
（５）
　前記固体撮像装置は、複数の半導体チップを含んで構成され、
　前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
　前記（２）～（４）のいずれか一項に記載の固体撮像装置。
（６）
　前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
　前記（５）に記載の固体撮像装置。
（７）
　前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
　前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
　前記（５）または（６）に記載の固体撮像装置。
（８）
　前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
　前記（５）～（７）のいずれか一項に記載の固体撮像装置。
（９）
　前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
　前記（１）～（８）のいずれか一項に記載の固体撮像装置。
（１０）
　前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
　前記（１）～（９）のいずれか一項に記載の固体撮像装置。
（１１）
　前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
　前記（１０）に記載の固体撮像装置。
（１２）
　前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
　前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１３）
　前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
　前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１４）
　前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
　前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１５）
　前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
　前記（１）～（１４）のいずれか一項に記載の固体撮像装置。
（１６）
　前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
　前記（２）～（８）のいずれか一項に記載の固体撮像装置。
（１７）
　前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
　前記（１６）に記載の固体撮像装置。
（１８）
　前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
　前記（４）に記載の固体撮像装置。
（１９）
　第１の撮像画像を撮像することと、
　プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
　を備える、固体撮像方法。
（２０）
　アプリケーションと、
　第１の撮像画像を撮像する撮像部と、
　第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
　を備える、電子機器。
　１　　　固体撮像システム
　１０　　電子機器
　２０　　イメージセンサ
　２１０　ＣＩＳ
　２１１　撮像素子
　２１２　Ａ／Ｄ変換器
　２２０　ロジック回路
　２２１　信号処理部
　２２１１　シェーディング補正部
　２２１２　混色補正部
　２２１３　デジタルゲイン調整部
　２２１４　ホワイトバランスゲイン調整部
　２２１５　検波部
　２２１６　デモザイク処理部
　２２１７　γ補正部
　２３０　ＤＳＰ
　２３１　ローカル認証部
　２３１１　正規化処理部
　２３１２　ローカル認証処理部
　２３２　ローカル認証用データ記憶部
　２３３　データ送信判断部
　２３３１　送信制御部
　２３３２　記憶制御部
　２３４　データ送信可能リスト記憶部
　２４０　メモリ
　２５０　セレクタ
　２６１　データ送信部
　２６２　データ受信部
　３０　　アプリケーション
　４０　　サーバ装置
　４１０　データ受信部
　４２０　サーバ認証部
　４３０　サーバ認証用データ記憶部
　４４０　データ送信部
　５０　　ネットワーク
　６０　　検出装置
　７０　　外部記録媒体
　Ｌ１　　第１の半導体チップ
　Ｌ２　　第２の半導体チップ
　Ｌ３　　第３の半導体チップ

Claims (20)

  1. 　第１の撮像画像を撮像する撮像部と、
    　第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
    　前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
    　を備える、固体撮像装置。
  2. 　前記固体撮像装置は、
    　前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
    　前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
    　請求項１に記載の固体撮像装置。
  3. 　前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
    　請求項２に記載の固体撮像装置。
  4. 　前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
    　前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
    　請求項３に記載の固体撮像装置。
  5. 　前記固体撮像装置は、複数の半導体チップを含んで構成され、
    　前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
    　請求項２に記載の固体撮像装置。
  6. 　前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
    　請求項５に記載の固体撮像装置。
  7. 　前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
    　前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    　請求項５に記載の固体撮像装置。
  8. 　前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
    　請求項５に記載の固体撮像装置。
  9. 　前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
    　請求項１に記載の固体撮像装置。
  10. 　前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
    　請求項１に記載の固体撮像装置。
  11. 　前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
    　請求項１０に記載の固体撮像装置。
  12. 　前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
    　請求項１に記載の固体撮像装置。
  13. 　前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
    　請求項１に記載の固体撮像装置。
  14. 　前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
    　請求項１に記載の固体撮像装置。
  15. 　前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
    　請求項１に記載の固体撮像装置。
  16. 　前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
    　請求項２に記載の固体撮像装置。
  17. 　前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
    　請求項１６に記載の固体撮像装置。
  18. 　前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
    　請求項４に記載の固体撮像装置。
  19. 　第１の撮像画像を撮像することと、
    　プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
    　を備える、固体撮像方法。
  20. 　アプリケーションと、
    　第１の撮像画像を撮像する撮像部と、
    　第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
    　を備える、電子機器。
PCT/JP2019/045745 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器 WO2020116197A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19893741.9A EP3893487A4 (en) 2018-12-07 2019-11-22 Solid State Imaging Device, Solid State Imaging Method and Electronic Device
CN201980079314.6A CN113170045B (zh) 2018-12-07 2019-11-22 固态成像装置、固态成像方法、以及电子装备
US17/290,575 US12052463B2 (en) 2018-12-07 2019-11-22 Solid-state imaging device, solid-state imaging method, and electronic equipment
JP2020559919A JP7337094B2 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-229603 2018-12-07
JP2018229603 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020116197A1 true WO2020116197A1 (ja) 2020-06-11

Family

ID=70975392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045745 WO2020116197A1 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Country Status (5)

Country Link
US (1) US12052463B2 (ja)
EP (1) EP3893487A4 (ja)
JP (1) JP7337094B2 (ja)
CN (1) CN113170045B (ja)
WO (1) WO2020116197A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734919B1 (en) * 2022-04-19 2023-08-22 Sas Institute, Inc. Flexible computer architecture for performing digital image analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133624A (ja) 2014-01-14 2015-07-23 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
JP2016038621A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
JP2017157936A (ja) * 2016-02-29 2017-09-07 カシオ計算機株式会社 撮像装置、送信制御方法及びプログラム
JP2018107538A (ja) * 2016-12-23 2018-07-05 シャープ株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102057531B1 (ko) * 2013-02-20 2020-01-23 삼성전자주식회사 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
KR102204675B1 (ko) * 2014-05-14 2021-01-19 삼성전자 주식회사 디스플레이 장치, 서버, 시스템 및 그 정보제공 방법
EP3153976A4 (en) 2014-06-03 2018-01-31 Sony Corporation Information processing device, photographing device, image sharing system, information processing method, and program
KR102184272B1 (ko) * 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US20170039010A1 (en) 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US9946355B2 (en) 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
US10733446B2 (en) 2016-01-06 2020-08-04 Orcam Technologies Ltd. Wearable apparatus and methods for causing a paired device to execute selected functions
CN107358079A (zh) 2017-06-16 2017-11-17 微梦创科网络科技（中国）有限公司 实时人脸识别登录验证方法及系统
CN108038179A (zh) * 2017-12-07 2018-05-15 泰康保险集团股份有限公司 身份信息认证方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133624A (ja) 2014-01-14 2015-07-23 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
JP2016038621A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
JP2017157936A (ja) * 2016-02-29 2017-09-07 カシオ計算機株式会社 撮像装置、送信制御方法及びプログラム
JP2018107538A (ja) * 2016-12-23 2018-07-05 シャープ株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム

Also Published As

Publication number Publication date
CN113170045A (zh) 2021-07-23
EP3893487A1 (en) 2021-10-13
EP3893487A4 (en) 2022-01-26
TW202037147A (zh) 2020-10-01
JPWO2020116197A1 (ja) 2021-10-14
CN113170045B (zh) 2023-11-21
US12052463B2 (en) 2024-07-30
JP7337094B2 (ja) 2023-09-01
US20220006952A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US9584713B2 (en) Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor
EP2370857B1 (en) Method, apparatus and computer program product for automatically taking photos of oneself
JP2006259931A (ja) 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
US8610812B2 (en) Digital photographing apparatus and control method thereof
US10462346B2 (en) Control apparatus, control method, and recording medium
WO2020116196A1 (ja) 固体撮像装置、固体撮像方法および電子機器
EP3979629A1 (en) Image processing method and apparatus based on video conference
WO2021080231A1 (en) Method for obtaining face data and electronic device therefor
WO2020116197A1 (ja) 固体撮像装置、固体撮像方法および電子機器
JP6428152B2 (ja) 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP4772756B2 (ja) 撮像装置及び撮像プログラム
US11546553B2 (en) Image capturing apparatus using learned model, information processing apparatus, methods of controlling respective apparatuses, learned model selection system, and storage medium
JP5949591B2 (ja) 撮像装置、制御方法、及び、プログラム
US10411761B2 (en) Communication apparatus capable of communicating with external apparatus, control method, and recording medium
JP2012004720A (ja) 監視装置、及び監視システム
JP2012015609A (ja) 撮像装置
JP7390634B2 (ja) ロビーインターホン、インターホンシステム、画像情報出力方法及びプログラム
JP5245604B2 (ja) 画像処理装置およびプログラム
US20240147066A1 (en) Imaging apparatus, method for controlling the same, and storage medium
US20230139034A1 (en) Image capturing apparatus and method for controlling image capturing apparatus
WO2020026837A1 (ja) 撮影装置、電子機器及び通知方法
CN110225318B (zh) 图像处理设备和图像处理方法
KR101611303B1 (ko) 영상 촬영 방법 및 장치
JP6543900B2 (ja) 画像送信装置、画像送信方法及びプログラム
JP2019153286A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893741

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559919

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019893741

Country of ref document: EP

Effective date: 20210707