WO2020045598A1 - 電子機器及び固体撮像装置 - Google Patents

電子機器及び固体撮像装置 Download PDF

Info

Publication number
WO2020045598A1
WO2020045598A1 PCT/JP2019/034022 JP2019034022W WO2020045598A1 WO 2020045598 A1 WO2020045598 A1 WO 2020045598A1 JP 2019034022 W JP2019034022 W JP 2019034022W WO 2020045598 A1 WO2020045598 A1 WO 2020045598A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
unit
electronic device
detection
processing
Prior art date
Application number
PCT/JP2019/034022
Other languages
English (en)
French (fr)
Inventor
良仁 浴
卓 青木
竜太 佐藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニー株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2020539604A priority Critical patent/JP7386792B2/ja
Priority to CN201980054395.4A priority patent/CN112585942B/zh
Priority to EP19854132.8A priority patent/EP3846442A4/en
Priority to KR1020217003730A priority patent/KR20210052441A/ko
Priority to US17/266,117 priority patent/US11889177B2/en
Publication of WO2020045598A1 publication Critical patent/WO2020045598A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to an electronic device and a solid-state imaging device.
  • an auto exposure (AE) function for automatically adjusting exposure and a focus have been automatically adjusted.
  • An imaging apparatus equipped with an auto focus (AF) function, an auto shutter function for automatically performing a shutter operation, an automatic color correction function for automatically adjusting a color matrix according to a subject or a scene, and the like have been developed.
  • the present disclosure proposes an electronic device and a solid-state imaging device capable of suppressing an increase in processing time and power consumption due to function realization.
  • an electronic device includes an imaging unit that generates image data, and a neural network calculation model for data based on image data read from the imaging unit.
  • a processing unit that performs a predetermined function based on a result of the processing, and a detection unit that detects a displacement, wherein the processing unit detects the displacement. If so, the above processing is executed.
  • FIG. 2 is a block diagram illustrating a schematic configuration example of an imaging device as an electronic apparatus according to the first embodiment.
  • 5 is a flowchart illustrating an operation example of the image sensor when the DSP according to the first embodiment functions as a processing unit.
  • FIG. 3 is a diagram illustrating an example of image data for one frame.
  • FIG. 4 is a diagram for describing a flow of a calculation process executed by the DSP according to the first embodiment.
  • 5 is a flowchart illustrating an example of an operation when executing an additional function using a result of the arithmetic processing according to the first embodiment.
  • 9 is a flowchart illustrating a schematic operation example of the electronic device according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of an imaging device as an electronic apparatus according to the first embodiment.
  • 5 is a flowchart illustrating an operation example of the image sensor when the DSP according to the first embodiment functions as a processing unit.
  • FIG. 3 is a diagram
  • FIG. 13 is a block diagram illustrating a schematic configuration example of an electronic device according to a third embodiment. 9 is a flowchart illustrating a schematic operation example of an electronic device according to a third embodiment.
  • FIG. 14 is a block diagram illustrating a schematic configuration example of an electronic device according to a fourth embodiment. 13 is a flowchart illustrating a schematic operation example of an electronic device according to a fourth embodiment.
  • FIG. 13 is a block diagram illustrating a schematic configuration example of an electronic device according to a fifth embodiment. 13 is a flowchart illustrating a schematic operation example of an electronic device according to a fifth embodiment.
  • FIG. 15 is a block diagram illustrating a schematic configuration example of an electronic device according to a sixth embodiment.
  • FIG. 13 is a flowchart illustrating a schematic operation example of an electronic device according to a sixth embodiment.
  • 15 is a flowchart illustrating a schematic operation example of an electronic device according to a seventh embodiment.
  • 19 is a flowchart illustrating a schematic operation example of the electronic device according to the eighth embodiment.
  • It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part. It is a figure showing an example of the schematic structure of an endoscope operation system.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of a camera head and a CCU.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of the electronic device according to the first embodiment.
  • the electronic device 1 includes an image sensor 10 that is a solid-state imaging device, and an application processor 20.
  • the image sensor 10 includes an imaging unit 11, a control unit 12, a signal processing unit 13, a DSP (Digital Signal Processor) 14, a memory 15, and a selector (also referred to as an output unit) 16.
  • DSP Digital Signal Processor
  • the control unit 12 controls each unit in the image sensor 10 according to, for example, a user operation or a set operation mode.
  • the imaging unit 11 has a configuration in which, for example, an optical system 104 including a zoom lens, a focus lens, an aperture, and the like, and unit pixels including a light receiving element (also referred to as a photoelectric conversion unit) such as a photodiode are arranged in a two-dimensional matrix. And a pixel array unit 101. Light incident from the outside passes through the optical system 104 to form an image on a light receiving surface of the pixel array unit 101 on which light receiving elements are arranged. Each unit pixel of the pixel array unit 101 converts the light incident on the light receiving element into an electric charge, and accumulates a charge corresponding to the amount of incident light in a readable manner.
  • an optical system 104 including a zoom lens, a focus lens, an aperture, and the like
  • unit pixels including a light receiving element also referred to as a photoelectric conversion unit
  • a photodiode arranged in a two-dimensional matrix.
  • a pixel array unit 101 Light incident from the outside passes through the
  • the signal processing unit 13 performs various signal processing on the pixel signals read from each unit pixel of the imaging unit 11. For example, the signal processing unit 13 converts an analog pixel signal read from each unit pixel of the pixel array unit 101 into digital value image data. For example, when the image data is a color image, the signal processing unit 13 converts the format of the image data into YUV image data, RGB image data, or the like. Further, the signal processing unit 13 executes processing such as noise removal and white balance adjustment on the image data as necessary. In addition, the signal processing unit 13 performs various signal processing (also referred to as pre-processing) required for the DSP 14 to process the image data.
  • various signal processing also referred to as pre-processing
  • the DSP 14 reads, for example, a program stored in the memory 15 and executes the program, thereby executing various processes using a learned model created by machine learning using a deep neural network (DNN). Function. For example, the DSP 14 executes a calculation process based on the learned model stored in the memory 15 to execute a process of multiplying the dictionary coefficient stored in the memory 15 by the image data. The result (calculation result) obtained by such calculation processing is output to the memory 15 and / or the selector 16. Note that the calculation result includes image data obtained by executing a calculation process using the learned model, image data processed based on the calculation result, and various information (e.g., Area information indicating a part of the area (hereinafter, referred to as metadata) may be included. Further, the DSP 14 may include a memory controller for controlling access to the memory 15.
  • DNN deep neural network
  • the arithmetic processing includes, for example, one using a learned learning model which is an example of a neural network calculation model.
  • the DSP 14 can execute DSP processing, which is various processing, using a learned learning model.
  • the DSP 14 reads out image data from the memory 15 and inputs the image data into a learned learning model, and acquires a face position such as a face outline or a face image area as an output result of the learned model. Then, the DSP 14 performs processing such as masking, mosaic, and avatar processing on the extracted face position in the image data to generate processed image data. After that, the DSP 14 stores the generated processed image data (processed image data) in the memory 15.
  • the learned learning model includes a DNN, a support vector machine, and the like, which have learned the detection of the face position of a person using the learning data.
  • the learned learning model outputs a discrimination result, that is, area information such as an address for specifying a face position.
  • the DSP 14 updates the learning model by changing the weights of various parameters in the learning model using the learning data, or prepares a plurality of learning models and uses the learning model according to the content of the arithmetic processing. , Or a learned model that has been learned from an external device is acquired or updated, and the above-described arithmetic processing can be executed.
  • the image data to be processed by the DSP 14 may be image data normally read from the pixel array unit 101, or the data size may be reduced by thinning out pixels of the normally read image data.
  • the image data may be reduced image data.
  • the image data may be image data read out with a smaller data size than usual by executing reading out of the pixel array unit 101 by thinning out pixels.
  • the normal reading here may be reading without skipping pixels.
  • the processed image data in which the face position of the image data is masked, the processed image data in which the face position of the image data is mosaic-processed, or the face position of the image data is It is possible to generate avatar-processed image data or the like that is replaced with a character.
  • the memory 15 stores the operation result and the like obtained by the DSP 14 as necessary. Further, the memory 15 stores an algorithm of a learned learning model executed by the DSP 14 as a program and a dictionary coefficient. For example, the learned learning model program and dictionary coefficients created by the external cloud server 30 or the like may be downloaded to the electronic device 1 via the network 40 and stored in the memory 15, or may be stored in the memory 15. 1 may be stored in the memory 15 before shipment.
  • the selector 16 selectively outputs the image data output from the signal processing unit 13 and the calculation result output from the DSP 14 according to, for example, a selection control signal from the control unit 12.
  • the DSP 14 may directly output the calculation result obtained by the calculation processing to the selector 16, or may temporarily store the calculation result in the memory 15, read out from the memory 15, and output to the selector 16.
  • the image data and the calculation result output from the selector 16 as described above are input to the application processor 20 that processes display and a user interface.
  • the application processor 20 is configured using, for example, a CPU (Central Processing Unit) and executes an operating system and various application software.
  • the application processor 20 may have functions such as a GPU (Graphics Processing Unit) and a baseband processor.
  • the application processor 20 performs various processes as needed on the input image data and the calculation results, executes display to the user, and transmits the image data and the calculation result to the external cloud server 30 via the predetermined network 40. Or
  • the electronic device 1 is provided with a display 17 for displaying image data output from the image sensor 10 and various menus for setting / executing functions.
  • the display 17 functions, for example, as a viewfinder, and also as a display for displaying a GUI (Graphical User Interface) screen of an operating system or application software executed by the application processor 20.
  • GUI Graphic User Interface
  • the display 17 may be a touch screen that also functions as a user interface.
  • Various networks such as the Internet, a wired LAN (Local Area Network) or a wireless LAN, a mobile communication network, and Bluetooth (registered trademark) can be applied to the predetermined network 40.
  • the transmission destination of the image data and the calculation result is not limited to the cloud server 30, and various servers having a communication function such as a server that operates alone, a file server that stores various data, and a communication terminal such as a mobile phone.
  • Information processing device system
  • the DSP 14 functions as a processing unit using the DNN by reading and executing the learned learning model stored in the memory 15 as described above.
  • FIG. 2 shows an operation example of the image sensor 10 when the DSP 14 functions as a processing unit.
  • the DSP 14 reads out the learned model from the memory 15 and executes it (step S121). Thereby, the DSP 14 functions as a processing unit.
  • control unit 12 starts reading a frame from the imaging unit 11 (step S122).
  • image data for one frame is sequentially read in units of horizontal lines (also referred to as lines).
  • Step S124 when image data of a predetermined number of lines in one frame is read (YES in step S123), the DSP 14 uses CNN (Convolution Neural Network) for the read image data of the predetermined number of lines.
  • An arithmetic process is performed (Step S124). That is, the DSP 14 executes the arithmetic processing using the learned learning model, using the image data of a predetermined number of lines as a unit area.
  • the arithmetic processing using the CNN for example, face detection, face authentication, gaze detection, facial expression recognition, face direction detection, object detection, object recognition, motion (animal) detection, pet detection, scene recognition, state detection, The avoidance target object recognition and the like are executed.
  • the face detection is a process of detecting the face of a person included in the image data.
  • Face authentication is a type of biometric authentication, and is a process of authenticating whether or not a person's face included in image data matches a previously registered person's face.
  • the gaze detection is a process of detecting the direction of the gaze of a person included in the image data.
  • Expression recognition is processing for recognizing the expression of a person included in image data.
  • the face direction detection is a process of detecting the vertical direction of the face of a person included in the image data.
  • Object detection is processing for detecting an object included in image data.
  • the object recognition is a process of recognizing an object included in the image data.
  • the motion (moving object) detection is a process of detecting a moving object included in image data.
  • Pet detection is a process of detecting pets such as dogs and cats included in image data.
  • Scene recognition is a process of recognizing a scene (such as a sea or a mountain) being photographed.
  • the state detection is processing for detecting a state of a person or the like included in the image data (a normal state or an abnormal state).
  • the avoidance target object recognition is a process of recognizing an avoidance target object existing ahead in the traveling direction when the user moves.
  • step S125 If the arithmetic processing using the CNN is successful (YES in step S125), the operation proceeds to step S129. On the other hand, when the arithmetic processing using the CNN fails (NO in step S125), the process waits for the next predetermined number of lines of image data to be read from the imaging unit 11 (NO in step S126).
  • success in the arithmetic processing means that a certain detection result, recognition result, or authentication has been obtained in face detection, face authentication, or the like as exemplified above.
  • failure of the arithmetic processing means that, for example, in the face detection, face authentication, and the like exemplified above, sufficient detection results, recognition results, and authentication were not obtained.
  • step S126 when the image data (unit area) of the next predetermined number of lines is read (YES in step S126), the DSP 14 applies an RNN (Recurrent) to the read image data of the predetermined number of lines.
  • An arithmetic process using Neural @ Network is executed (step S127).
  • the arithmetic processing using the RNN for example, the result of the arithmetic processing using the CNN or the RNN executed so far on the image data of the same frame is also used.
  • step S1228 If the arithmetic processing using the RNN is successful (YES in step S128), the operation proceeds to step S129.
  • step S129 the operation result succeeded in step S124 or S127 is output from the DSP 14 to the application processor 20 via the selector 16, or stored in the memory 15, for example.
  • step S127 when the arithmetic processing using the RNN has failed (NO in step S128), it is determined whether the reading of the image data for one frame has been completed (step S130), and when the reading has not been completed. (NO in step S130), the process returns to step S126, and the process for the next predetermined number of lines of image data is executed.
  • step S130 when the reading of the image data for one frame is completed (YES in step S130), for example, the control unit 12 determines whether or not the operation is to be ended (step S131), and when not to end (step S131). (NO in step S131), the process returns to step S122, and the same operation is performed for the next frame. If the operation is to be ended (YES in step S131), the present operation ends.
  • step S131 whether to shift to the next frame (step S131) may be determined based on, for example, whether an end instruction has been input from outside the application processor 20 or the like, or may be determined in advance. The determination may be made based on whether or not a series of processes on the image data of the predetermined number of frames is completed.
  • the immediately preceding calculation If the processing has failed, the next calculation processing may be skipped. For example, when performing face authentication after face detection, if face detection has failed, the next face authentication may be skipped.
  • FIG. 3 is a diagram showing an example of image data for one frame.
  • FIG. 4 is a diagram for explaining the flow of arithmetic processing executed by the DSP according to the present embodiment.
  • image data for a predetermined number of lines is input to the DSP 14 (see FIG. 4). 2 corresponds to step S123).
  • the DSP 14 performs face detection by executing arithmetic processing using CNN on the input image data for the predetermined number of lines (corresponding to step S124 in FIG. 2).
  • the image data of the entire face has not been input yet, so that the DSP 14 fails in the face detection (corresponding to NO in step S125 of FIG. 2).
  • image data for the next predetermined number of lines is input to the DSP 14 (corresponding to step S126 in FIG. 2).
  • the DSP 14 calculates the newly input image data for the predetermined number of lines while using the result of the arithmetic processing using the CNN executed on the image data for the predetermined number of lines input in FIG. Then, the face detection is executed by executing the arithmetic processing using the RNN (corresponding to step S127 in FIG. 2).
  • the image data of the entire face is input together with the total data for the predetermined number of lines input at the stage of FIG. 4A. Therefore, at the stage of FIG. 4B, the DSP 14 succeeds in face detection (corresponding to YES in step S128 in FIG. 2). Then, in this operation, the face detection result is output without reading the subsequent image data (the image data in FIGS. 4C to 4F) (corresponding to step S129 in FIG. 2).
  • the predetermined number of lines is the number of lines determined by the size of the filter required by the algorithm of the learned learning model, and the minimum number is one.
  • the image data read from the imaging unit 11 may be image data thinned out in the column direction and / or the row direction. In this case, for example, when image data is read every other row in the column direction, the image data of the second (N ⁇ 1) (N is an integer of 1 or more) line is read.
  • the filter required by the learned learning model algorithm is not a line unit but a rectangular region of a pixel unit such as 1 ⁇ 1 pixel or 5 ⁇ 5 pixel
  • the image data of a predetermined number of lines is used.
  • image data of a rectangular area corresponding to the shape and size of the filter may be input to the DSP 14 as image data of a unit area where the DSP 14 executes arithmetic processing.
  • CNN and RNN are illustrated as examples of the DNN, but the present invention is not limited to these, and another learning model such as GAN (Generative Adversarial Network) can be used.
  • GAN Generic Adversarial Network
  • FIG. 5 is a flowchart illustrating an example of an operation when an additional function is executed using a result of the arithmetic processing according to the present embodiment.
  • the image sensor 10 is started (step S101).
  • the display of the image obtained by the image sensor 10 on the display 17 functioning as the viewfinder of the electronic device 1 is started.
  • a detection process, a recognition process, and the like by an arithmetic process are executed (step S102).
  • the automatic exposure function the brightness of a person, an object, or the like (hereinafter, referred to as a subject) reflected on the imaging unit 11 is detected by the arithmetic processing performed by the DSP 14.
  • the autofocus function the distance to the subject is detected by the arithmetic processing executed by the DSP 14.
  • the auto shutter function the expression, posture, movement, and the like of the subject are detected by arithmetic processing executed by the DSP 14.
  • a scene or a subject is detected by the arithmetic processing executed by the DSP 14.
  • the scene may include not only landscapes such as the sea and mountains, but also weather such as sunny or cloudy.
  • step S103 it is determined whether the calculation by the DSP 14 has succeeded, that is, whether a certain detection result, a recognition result, or the like has been obtained by the calculation processing (step S103). If the calculation is successful (YES in step S103), for example, a function set to be valid by the user is executed (step S104).
  • the control unit 12 an embodiment of a function execution unit automatically controls the aperture and the shutter speed.
  • control unit 12 controls the optical system 104 according to the distance to the subject obtained by the arithmetic processing executed by the DSP 14. Automatically control the focal length of the camera.
  • control unit 12 an embodiment of a function execution unit
  • the control unit 12 is operated according to the expression, posture, movement, and the like of the subject obtained by the arithmetic processing performed by the DSP 14. Automatically execute the shutter operation.
  • the application processor 20 may execute a color matrix according to a scene or a subject detected by the arithmetic processing performed by the DSP 14. Change automatically. Note that the color matrix may be changed not only for the entire image but also for each region where the subject is reflected. For example, a color matrix for a person may be used for an area where a person is reflected, and a color matrix corresponding to the object may be used for a region where an object such as an apple or orange is reflected. .
  • step S105 it is determined whether or not the operation is to be ended. If the operation is to be ended (YES in step S105), the image sensor 10 is stopped (step S106), and the operation is ended. On the other hand, if the processing is not to be ended (NO in step S105), the process returns to step S102, and the subsequent operations are repeatedly executed.
  • Social Network Services such as YouTube (registered trademark), Twitter (registered trademark), Facebook (registered trademark) and Instagram (registered trademark), Internet forums, news sites, blogs, etc.
  • a function social button for another user to input evaluation, favorable impression, and the like for a content such as a moving image, a photo, or a text posted by the user exists. Therefore, in the present embodiment, an example will be given of a case in which the facial expression and the like of a user who is browsing and playing these contents is recognized by arithmetic processing, and based on the result, evaluation and favorable impression are automatically input. explain.
  • a schematic configuration example of the electronic device according to the present embodiment may be the same as the electronic device 1 described with reference to FIG. 1 in the first embodiment.
  • the electronic device according to the present embodiment is a communication terminal having a camera function and a content browsing / playback function, such as a smartphone and a notebook personal computer.
  • FIG. 6 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment.
  • YouTube registered trademark
  • the application processor 20 starts predetermined application software for content reproduction according to the operation input by the user (YES in step S201).
  • the application processor 20 starts reproduction of the specified content according to the operation input by the user (step S202). Then, the image sensor 10 is activated in conjunction with the content reproduction (step S203).
  • the activated image sensor 10 performs face detection (step S204), gaze detection (step S205), and facial expression with respect to the user who is viewing the content according to the calculation processing described with reference to FIG. 2 in the first embodiment.
  • the arithmetic processing with the recognition (step S206) is sequentially performed, and based on the result of the facial expression recognition obtained, it is determined whether or not the user has a specific facial expression such as a smiling face, a crying face, or an angry face ( Step S207).
  • step S207 If the user watching the content does not have a specific expression (NO in step S207), the operation directly proceeds to step S210.
  • the image sensor 10 outputs metadata relating to the facial expression recognized in step S206 to the application processor 20 (step S208).
  • the application processor 20 one form of the function execution unit inputs an evaluation according to the expression to the application software by using a social button in the application software being executed (step S209). Thereafter, the operation proceeds to step S210.
  • step S210 the application processor 20 determines whether or not the reproduction of the same content has been stopped or ended. If the reproduction has not been stopped or ended (NO in step S210), the operation returns to step S204. The subsequent operations are continued. On the other hand, when the reproduction of the content has been stopped or terminated (YES in step S210), the application processor 20 stops the image sensor 10 (step S211). Subsequently, the application processor 20 determines whether or not the application software has been terminated (step S212). When the application software has been terminated (YES in step S212), this operation ends. On the other hand, if the application software has not been terminated (NO in step S212), the operation returns to step S202, and the subsequent operation is executed for the reproduction of the next content.
  • FIG. 7 is a block diagram illustrating a schematic configuration example of an electronic device according to the third embodiment.
  • the electronic device 3 detects a change in posture (hereinafter, referred to as a displacement) of the electronic device 3 in addition to the same configuration as the electronic device 1 described with reference to FIG. 1 in the first embodiment.
  • an inertial measurement unit (IMU) 32 for performing the measurement.
  • the image sensor 10 in the electronic device 3 further incorporates a CPU (Central Processing Unit) 31 that detects the attitude of the electronic device 3 based on the detection result by the IMU 32.
  • CPU Central Processing Unit
  • the IMU 32 is configured using, for example, a three-axis gyro and a three-directional accelerometer, and outputs a three-dimensional angular velocity and acceleration as a detection result.
  • the CPU 31 detects the posture of the electronic device 3 with respect to, for example, the direction of gravity based on the detection result output from the IMU 32.
  • the application processor 20 controls the display direction of the display 17 according to, for example, the attitude of the electronic device 3 detected by the CPU 31. For example, when the display direction of the display 17 is not controlled based on the result of the arithmetic processing, the application processor 20 changes the display direction of the display 17 to the vertical direction when the longitudinal direction of the electronic device 3 is closer to the vertical direction than the horizontal direction. When the longitudinal direction is closer to the horizontal direction than the vertical direction, the display direction of the display 17 is set to the horizontal direction.
  • the application processor 20 determines the vertical direction of the user's face obtained as a result of the arithmetic processing by the DSP 14 and the display direction of the display 17. And the display direction of the display 17 is controlled so that. For example, if the vertical direction of the user's face is closer to the horizontal direction than the vertical direction in spite of the state in which the longitudinal direction of the electronic device 3 is closer to the vertical direction than the horizontal direction, the application processor 20 may control the display 17. Is the same horizontal direction as the vertical direction of the user's face.
  • the application processor 20 sets the display 17. Is the same vertical direction as the vertical direction of the user's face.
  • FIG. 8 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment.
  • the application processor 20 activates a predetermined application software in accordance with an operation input by the user (YES in step S301)
  • the CPU 31 determines the information detected by the IMU 32. Based on this, a change (displacement) in the posture of the electronic device 3 is detected (step S302). If no displacement is detected (NO in step S302), the operation proceeds to step S309. On the other hand, when the displacement is detected (YES in step S302), the image sensor 10 is activated (step S303).
  • the activated image sensor 10 performs face detection (step S304) and face direction detection (step S305) for the user using the electronic device 3 according to the arithmetic processing described with reference to FIG. 2 in the first embodiment.
  • face detection step S304
  • face direction detection step S305
  • the application processor 20 an embodiment of the function execution unit
  • the application processor 20 locks the display direction of the display 17 in a direction that matches the vertical direction of the user's face (step S307).
  • the image sensor 10 is stopped (Step S308).
  • step S309 the application processor 20 determines whether or not the application software has been terminated. If the application software has been terminated (YES in step S309), this operation ends. On the other hand, if the application software has not been terminated (NO in step S309), this operation returns to step S302, and executes the subsequent operations.
  • the detection result obtained by the IMU 32 can be used for, for example, an auto shutter function.
  • the electronic device can be configured to automatically execute a shutter operation.
  • the image sensor 10 performs imaging based on the detection result obtained by the IMU 32. It is possible to drive the light source in accordance with the timing of executing the operation, and thus it is possible to reduce the driving time of the light source and realize more power saving.
  • ToF time-of-flight
  • This embodiment exemplifies a case in which a calculation result is used for unlocking a screen by face authentication in an electronic device such as a smartphone equipped with a function of locking a screen displayed on a display 17 for security or the like. I do.
  • FIG. 9 is a block diagram illustrating a schematic configuration example of an electronic device according to the fourth embodiment. As illustrated in FIG. 9, the electronic device 4 further includes a nonvolatile memory 43 in addition to the same configuration as the electronic device 3 described in the third embodiment with reference to FIG. 7.
  • the non-volatile memory 43 is composed of, for example, a flash memory and stores authentication information used for face authentication, iris authentication and the like in a non-volatile manner.
  • FIG. 9 illustrates the case where the nonvolatile memory 43 is provided outside the chip of the image sensor 10, but is not limited thereto, and the nonvolatile memory 43 is provided inside the chip of the image sensor 10. Is also good.
  • FIG. 10 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment.
  • the application processor 20 determines whether or not the electronic device 4 is in a screen lock state (step S401).
  • the screen lock of the electronic device 4 is executed by the application processor 20, for example.
  • the CPU 31 detects a change (displacement) in the posture of the electronic device 1 based on the information detected by the IMU 32 (step S402). Then, when the displacement of the electronic device 4 is detected (YES in step S402), the image sensor 10 is activated (step S403).
  • the activated image sensor 10 performs face detection (step S404) and line-of-sight detection (step S405) for the user using the electronic device 3 in accordance with the arithmetic processing described with reference to FIG. 2 in the first embodiment. , Face authentication (step S406).
  • Face authentication for example, information on the face specified from the image data input for each predetermined number of lines from the image sensor 10 and the biological information of the owner's face stored in the non-volatile memory 43 in advance. Based on the information, it is determined whether or not the user currently operating the electronic device 4 is the owner of the electronic device 4.
  • step S406 If the face authentication in step S406 fails, for example, if it is determined that the user who is currently operating the electronic device 4 is not the owner of the electronic device 4 (NO in step S407), the screen lock of the electronic device 4 is disabled. This operation returns to step S402 while being maintained.
  • step S406 when the face authentication in step S406 is successful, for example, when it is determined that the user currently operating the electronic device 4 is the owner of the electronic device 4 (YES in step S407), the face authentication is successful.
  • the image sensor 10 notifies the application processor 20 of the fact (step S408).
  • the application processor 20 (one form of the function execution unit) that has been notified that the face authentication has succeeded releases the screen lock (step S409). Thereafter, the image sensor 10 is stopped (Step S410), and the operation ends.
  • the screen lock is performed based on the result of the arithmetic processing in which the processing time and the power consumption are reduced. Is released. Further, since it is not necessary to always activate the image sensor 10 while the screen is locked, the power consumption during standby can be further reduced.
  • iris authentication may be performed instead of face authentication in step S406.
  • the non-volatile memory 43 previously stores biological information on the iris of the owner.
  • Other configurations, operations, and effects may be the same as those in the above-described embodiment, and a detailed description thereof will not be repeated.
  • FIG. 11 is a block diagram illustrating a schematic configuration example of an electronic device according to the fifth embodiment. As shown in FIG. 11, the electronic device 5 further includes a nonvolatile memory 43 in addition to the same configuration as the electronic device 1 described in the first embodiment with reference to FIG.
  • the non-volatile memory 43 may be, for example, the non-volatile memory 43 exemplified in the fourth embodiment.
  • the non-volatile memory 43 stores biometric information for performing biometric authentication on a pre-registered person such as a family or an employee.
  • FIG. 11 illustrates a case where the nonvolatile memory 43 is provided outside the chip of the image sensor 10, the present invention is not limited to this, and the nonvolatile memory 43 is provided inside the chip of the image sensor 10. Is also good.
  • FIG. 12 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment. As shown in FIG. 12, in this operation, for example, when the electronic device 1 is started by turning on the power by the user, first, the image sensor 10 is started (step S501).
  • the activated image sensor 10 detects a motion (animal object) (step S502), detects a person (step S503), and detects a face (step S504) according to the arithmetic processing described with reference to FIG. 2 in the first embodiment. And the face authentication (step S505).
  • step S505 If the face authentication in step S505 fails, for example, if it is determined that the person reflected in the image data acquired by the image sensor 10 is not a registrant registered in the nonvolatile memory 43 (NO in step S506), The captured image is output from the image sensor 10 to the application processor 20 (Step S507).
  • the application processor 20 (one form of the function execution unit) stores the captured image output from the image sensor 10 and the capturing time of the captured image in, for example, the nonvolatile memory 43 (Step S508). .
  • the application processor 20 transmits the captured image and the capturing time to the external cloud server 30 via the network 40 instead of or together with the storage in the nonvolatile memory 43. Is also good.
  • step S509 determines whether or not to end the operation. If the operation is to be ended (YES in step S509), the image sensor 10 is stopped (step S510), and the operation ends. I do. On the other hand, if the processing is not to be ended (NO in step S509), the operation returns to step S502.
  • FIG. 13 is a block diagram illustrating a schematic configuration example of an electronic device according to the sixth embodiment. As shown in FIG. 13, in addition to the same configuration as the electronic device 1 described with reference to FIG. 1 in the first embodiment, the electronic device 6 has a control for changing the angle of view to track a moving pet. A mechanism 21 is mounted.
  • FIG. 14 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment. As shown in FIG. 14, in this operation, when the electronic device 6 is started by, for example, turning on the power by the user, first, the image sensor 10 is started (step S601).
  • the activated image sensor 10 sequentially executes the operation processing of detecting the movement (animal object) (step S602) and detecting the pet (step S603) according to the operation processing described with reference to FIG. 2 in the first embodiment.
  • the control mechanism 21 one form of the function execution unit
  • the control mechanism 21 one form of the function execution unit
  • step S605 determines whether or not to end the operation. If the operation is to be ended (YES in step S605), the image sensor 10 is stopped (step S606), and then the operation is ended. I do. On the other hand, if the operation is not to be ended (NO in step S605), the operation returns to step S602.
  • the electronic device 1 according to the first embodiment is monitored by monitoring a person (hereinafter, referred to as a target person) such as a child, an elderly person, or a care recipient in a specific area such as a home.
  • a target person such as a child, an elderly person, or a care recipient in a specific area such as a home.
  • a case where the present invention is applied to a camera will be described with an example.
  • the schematic configuration example of the electronic device according to the present embodiment is the same as the electronic device 1 described with reference to FIG. 1 in the first embodiment or the electronic device 6 described with reference to FIG. 13 in the sixth embodiment. May be.
  • FIG. 15 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment. As shown in FIG. 15, in this operation, when the electronic device 1 is started by, for example, turning on the power by the user, first, the image sensor 10 is started (step S701).
  • the activated image sensor 10 sequentially executes the arithmetic processing of the human detection (step S702) and the state detection (step S703) according to the arithmetic processing described with reference to FIG. 2 in the first embodiment.
  • step S703 If no abnormal state of the subject is detected in the state detection in step S703 (NO in step S704), the operation proceeds to step S707. On the other hand, if a state abnormality is detected (YES in step S704), metadata indicating the state abnormality is output from the image sensor 10 to the application processor 20 (step S705).
  • the abnormal state is, for example, a situation where a person is calling for help, is crying for a long time, does not move for a certain period of time in an unnatural posture, or is not a place to lie down (for example, kitchen , Etc.), and may be in an unusual state.
  • the application processor 20 (an embodiment of the function execution unit) notified of the state abnormality in this way notifies, for example, a contact registered in advance that the state abnormality has been detected (step S706), and proceeds to step S707. .
  • the contact information registered in advance may be an e-mail address or a telephone number of the relative of the target person or a contracted service company, or may be the cloud server 30 connected via the network 40. You may.
  • step S707 the application processor 20 determines whether or not to end the operation. If the operation is to be ended (YES in step S707), the image sensor 10 is stopped (step S708), and the operation ends. I do. On the other hand, if the operation is not to be ended (NO in step S707), the operation returns to step S702.
  • the electronic device 1 according to the first embodiment is used in, for example, an automatic driving system mounted on a vehicle such as an automobile or an autonomous system mounted on an autonomous mobile body such as an autonomous robot or a drone.
  • an automatic driving system mounted on a vehicle such as an automobile
  • an autonomous system mounted on an autonomous mobile body such as an autonomous robot or a drone.
  • the case of incorporating is described with an example.
  • a schematic configuration example of the electronic device according to the present embodiment may be the same as the electronic device 1 described with reference to FIG. 1 in the first embodiment.
  • the network 40 is, for example, an in-vehicle network
  • the cloud server 30 is an information processing device configuring an automatic driving system.
  • FIG. 16 is a flowchart illustrating a schematic operation example of the electronic apparatus according to the present embodiment. As shown in FIG. 16, in this operation, the image sensor 10 is activated, for example, in conjunction with the driver starting the engine of the automobile (step S801).
  • the activated image sensor 10 detects an object existing within a certain distance (step S802) and determines whether the detected object is an object to be avoided, according to the arithmetic processing described with reference to FIG. 2 in the first embodiment.
  • the arithmetic processing for recognizing whether or not to perform (step S803) is sequentially executed.
  • step S803 If it is determined in step S803 that the object is not an avoidance target (NO in step S804), the operation returns to step S802. On the other hand, if it is recognized that the object is to be avoided (YES in step S804), the image sensor 10 indicates to the application processor 20 that the image data and the object reflected in the image data are the object to be avoided. The metadata is output (step S805).
  • the application processor 20 to which the image data and the metadata are input analyzes the input image data to determine whether the object notified as the avoidance target is actually the avoidance target. It is recognized again (step S806). When the object notified as the avoidance target is recognized as not the avoidance target (NO in step S807), the operation directly proceeds to step S809. On the other hand, when it is recognized again as the avoidance target (YES in step S807), the application processor 20 (one form of the function execution unit) avoids the avoidance target by the information processing device configuring the automatic driving system. An avoidance operation is instructed (step S808), and the process proceeds to step S809.
  • step S809 the application processor 20 determines whether to end the operation. If the operation is to be ended (YES in step S809), the image sensor 10 is stopped (step S810), and then the operation ends. On the other hand, if the processing is not to be ended (NO in step S809), the operation returns to step S802.
  • the processing is not limited to the processing based on the learning model as long as the processing can obtain the same result of detection, recognition, or authentication, and the DSP 14 can execute various processing.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 17 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an inside information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio / video output unit 12052, and a vehicle-mounted network I / F (Interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generating device for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting driving force to wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
  • the body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp.
  • a radio wave or various switch signals transmitted from a portable device replacing the key may be input to the body control unit 12020.
  • the body control unit 12020 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • Out-of-vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the outside-of-vehicle information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output an electric signal as an image or can output the information as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information in the vehicle.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 implements an ADAS (Advanced Driver Assistance System) function including a vehicle collision avoidance or impact mitigation, a following operation based on an inter-vehicle distance, a vehicle speed maintaining operation, a vehicle collision warning, or a vehicle lane departure warning. Cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp in accordance with the position of the preceding vehicle or the oncoming vehicle detected by the outside-of-vehicle information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 18 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • imaging units 12031, 12102, 12103, 12104, and 12105 are included as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle compartment of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates 13 shows an imaging range of an imaging unit 12104 provided in a rear bumper or a back door.
  • a bird's-eye view image of the vehicle 12100 viewed from above is obtained by superimposing image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements or an imaging element having pixels for detecting a phase difference.
  • the microcomputer 12051 calculates a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change in the distance (relative speed with respect to the vehicle 12100).
  • a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change in the distance (relative speed with respect to the vehicle 12100).
  • microcomputer 12051 can set an inter-vehicle distance to be secured before the preceding vehicle and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting a warning to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared light.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian exists in the captured images of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed by, for example, extracting a feature point in an image captured by the imaging units 12101 to 12104 as an infrared camera, and performing a pattern matching process on a series of feature points indicating the outline of the object to determine whether the object is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular contour for emphasis to the recognized pedestrian.
  • the display unit 12062 is controlled so that is superimposed. Further, the sound image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 or the like among the configurations described above.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like, the amount of data transmitted and received via the communication network 12001 can be reduced, and the amount of data to be processed by the outside-of-vehicle information detection unit 12030 and the integrated control unit 12050 can be reduced. It becomes possible to reduce.
  • the results of the recognition processing, the detection processing, and the like can be obtained more quickly, so that the control of the vehicle 1200 and the provision of information to the driver can be performed more accurately and promptly.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 19 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (the present technology) according to the present disclosure may be applied.
  • FIG. 19 shows a state in which an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 having a predetermined length from the distal end inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • the endoscope 11100 which is configured as a so-called rigid endoscope having a hard lens barrel 11101 is illustrated.
  • the endoscope 11100 may be configured as a so-called flexible endoscope having a soft lens barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the distal end of the lens barrel by a light guide that extends inside the lens barrel 11101, and the objective The light is radiated toward the observation target in the body cavity of the patient 11132 via the lens.
  • the endoscope 11100 may be a direct view scope, a perspective view scope, or a side view scope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as raw data to a camera control unit (CCU: ⁇ Camera ⁇ Control ⁇ Unit) 11201.
  • the $ CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 11100 and the display device 11202 overall. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as a development process (demosaicing process).
  • a development process demosaicing process
  • the display device 11202 displays an image based on an image signal on which image processing has been performed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 includes a light source such as an LED (light emitting diode), for example, and supplies the endoscope 11100 with irradiation light when imaging an operation part or the like.
  • a light source such as an LED (light emitting diode)
  • LED light emitting diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction or the like to change imaging conditions (type of irradiation light, magnification, focal length, and the like) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the driving of the energy treatment instrument 11112 for cauterizing, incising a tissue, sealing a blood vessel, and the like.
  • the insufflation device 11206 is used to inflate the body cavity of the patient 11132 for the purpose of securing the visual field by the endoscope 11100 and securing the working space of the operator.
  • the recorder 11207 is a device that can record various types of information related to surgery.
  • the printer 11208 is a device capable of printing various types of information on surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the endoscope 11100 with irradiation light at the time of imaging the operation site can be configured by, for example, a white light source including an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of the RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is radiated to the observation target in a time-division manner, and the driving of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing. It is also possible to capture the image obtained in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of output light at predetermined time intervals.
  • the driving of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity, an image is acquired in a time-division manner, and the image is synthesized, so that a high dynamic image without so-called blackout and whiteout is obtained. An image of the range can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of the absorption of light in the body tissue, by irradiating light in a narrower band than the irradiation light (ie, white light) during normal observation, the surface of the mucous membrane A so-called narrow-band light observation (Narrow Band Imaging) for photographing a predetermined tissue such as a blood vessel with high contrast is performed.
  • narrow-band light observation Narrow Band Imaging
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and Irradiation with excitation light corresponding to the fluorescence wavelength of the reagent can be performed to obtain a fluorescence image.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 20 is a block diagram showing an example of a functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102, and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-panel type) or plural (so-called multi-panel type).
  • the imaging unit 11402 When the imaging unit 11402 is configured as a multi-panel type, for example, an image signal corresponding to each of RGB may be generated by each imaging element, and a color image may be obtained by combining the image signals.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the operative part.
  • a plurality of lens units 11401 may be provided for each imaging element.
  • the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405.
  • the magnification and the focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information indicating that the frame rate of the captured image is specified, information that specifies the exposure value at the time of imaging, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the above-described imaging conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • the endoscope 11100 has a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls the driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various kinds of control related to imaging of the operation section and the like by the endoscope 11100 and display of a captured image obtained by imaging the operation section and the like. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a captured image showing the operative part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects a shape, a color, or the like of an edge of an object included in the captured image, and thereby detects a surgical tool such as forceps, a specific living body site, bleeding, a mist when using the energy treatment tool 11112, and the like. Can be recognized.
  • the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operative site.
  • the burden on the operator 11131 can be reduced, and the operator 11131 can reliably perform the operation.
  • the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure may be applied to, for example, the imaging unit 11402 of the camera head 11102 among the configurations described above.
  • the technology according to the present disclosure it is possible to reduce the amount of data to be processed by the CCU 11201 and the like.
  • image processing results can be obtained more quickly, so that setting or updating of imaging conditions such as a frame rate, an exposure value, a magnification, and a focus, and providing information to a user are performed more accurately and promptly. It becomes possible.
  • the endoscopic surgery system has been described as an example, but the technology according to the present disclosure may be applied to, for example, a microscopic surgery system or the like.
  • An imaging unit that generates image data
  • a processing unit that performs processing based on a neural network calculation model on data based on the image data read from the imaging unit,
  • a function execution unit that executes a predetermined function based on a result of the processing;
  • a detection unit for detecting displacement, With The electronic device, wherein the processing unit executes the processing when the detection unit detects a displacement.
  • the function execution unit has a function of setting / releasing a screen lock of the electronic device,
  • the processing unit when the detection unit detects the displacement of the electronic device in a state where the screen lock of the electronic device is set, the neural network for the data based on the image data read from the imaging unit Perform face authentication using the calculation model,
  • the function execution unit has a function of rotating a display direction of a screen of the electronic device,
  • the processing unit when the detection unit detects the displacement of the electronic device, performs face direction detection using the neural network calculation model for data based on the image data read from the imaging unit,
  • the electronic device according to (1) or (2) wherein the function execution unit controls a display direction of a screen of the electronic device according to a vertical direction of the face detected by the processing unit.
  • the processing unit executes a process using a CNN (Convolution Neural Network) on data of a unit area first input in data based on the image data of the same frame.
  • An electronic device according to claim 1.
  • the processing unit performs an RNN on the data of the unit area input next in the data based on the image data of the same frame.
  • the electronic device according to (4) which executes a process using a Recurrent Neural Network.
  • a control unit that reads out image data in line units from the imaging unit, The unit area data is the line unit data in the data based on the image data, The electronic device according to (4) or (5), wherein the data is input to the processing unit in line units.
  • the electronic device according to (4) or (5), wherein the data of the unit area is data of a predetermined number of lines in data based on the image data.
  • the electronic device (8) The electronic device according to (4) or (5), wherein the data of the unit area is data of a rectangular area in data based on the image data. (9) Further comprising a memory for recording a program of the neural network calculation model, The electronic device according to any one of (1) to (8), wherein the processing unit executes the processing by reading and executing the program from the memory. (10) The processing is at least one of face detection, face authentication, gaze detection, facial expression recognition, face direction detection, object detection, object recognition, motion detection, pet detection, scene recognition, state detection, and avoidance target object recognition. The electronic device according to any one of the above (1) to (9).
  • the face detection is a process of detecting a human face included in the image data
  • the face authentication is a process of authenticating whether or not the face of a person included in the image data matches the face of a previously registered person
  • the gaze detection is a process of detecting the direction of the gaze of a person included in the image data
  • the facial expression recognition is a process of recognizing a facial expression of a person included in the image data
  • the face direction detection is a process of detecting the vertical direction of the face of a person included in the image data
  • the object detection is a process of detecting an object included in the image data
  • the object recognition is a process of recognizing an object included in image data
  • the motion detection is a process of detecting a moving object included in the image data
  • the pet detection is a process of detecting a pet included in the image data
  • the scene recognition is a process of recognizing a scene when the image data is acquired
  • the state detection is a process of detecting the state of a person or an object
  • the electronic device according to any one of (1) to (11), wherein the predetermined function is at least one of an auto exposure function, an auto focus function, an auto shutter function, and an auto color correction function.
  • the function execution unit has a function of executing application software that reproduces content associated with a social button for inputting a user's evaluation, The processing unit performs expression recognition using the neural network calculation model on data based on image data read from the imaging unit while the application software is playing back content.
  • the electronic device according to any one of (1) to (11), wherein the function execution unit inputs an evaluation of the content using the social button according to the facial expression recognized by the processing unit. .
  • a nonvolatile memory for storing biometric information used for the face authentication;
  • the processing unit performs face authentication using the neural network calculation model on data based on the image data read from the imaging unit,
  • the function execution unit outputs, when the face authentication by the processing unit fails, one frame of image data including the image data and an imaging time of the image data, any one of the above (1) to (14).
  • the processing unit performs pet detection using the neural network calculation model for data based on the image data read from the imaging unit, The electronic device according to any one of (1) to (15), wherein the function execution unit controls the control mechanism based on a result of the pet detection by the processing unit.
  • the processing unit performs state detection using the neural network calculation model on data based on the image data read from the imaging unit, The function execution section, when an abnormal state of the subject is detected by the state detection by the processing section, notifies the contact state registered in advance of the abnormal state to any one of the above (1) to (16).
  • the processing unit performs a first avoidance target object recognition using the neural network calculation model on data based on the image data read from the imaging unit
  • the function execution unit is configured to, when a first avoidance target object recognized by the processing unit recognizes an avoidance target existing in the forward direction in the traveling direction, perform a first process on the data based on the image data read from the imaging unit. Executing the avoidance object recognition of No. 2 and instructing the avoidance operation of the avoidance object to the outside when the avoidance object existing ahead in the traveling direction is re-recognized by the second avoidance object recognition.
  • the electronic device according to any one of (1) to (17).
  • An imaging unit that generates image data;
  • a processing unit that performs processing using a neural network calculation model on data based on the image data read from the imaging unit,
  • An output unit that outputs a result of the processing,
  • a solid-state imaging device comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

機能実現に伴う処理時間や消費電力の増大を抑制する。実施形態に係る電子機器は、画像データを生成する撮像部（１１）と、前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部（１４）と、前記処理の結果に基づいて、所定の機能を実行する機能実行部（１２）と、変位を検出する検出部（３２）とを備え、前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する。

Description

電子機器及び固体撮像装置
　本開示は、電子機器及び固体撮像装置に関する。
　近年、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機等に搭載される小型カメラ等の撮像装置の高性能化に伴い、露出を自動で調整するオート露光（ＡＥ）機能や、焦点を自動で調整するオートフォーカス（ＡＦ）機能や、シャッタ動作を自動で行なうオートシャッタ機能や、被写体やシーンに応じてカラーマトリクスを自動で調整するオート色補正機能等を搭載する撮像装置が開発されている。
特開２０１８－０６１２９０号公報 特開２０１７－１８３７７５号公報
　しかしながら、従来では、オート露光やオートフォーカスやオートシャッタやオート色補正機能等の付加的な機能を実行するために、１～数フレーム分の画像データに対する画像処理が必要であった。そのため、機能実現のための処理時間や消費電力が増大してしまうという課題が存在した。
　そこで本開示では、機能実現に伴う処理時間や消費電力の増大を抑制することが可能な電子機器及び固体撮像装置を提案する。
　上記の課題を解決するために、本開示に係る一形態の電子機器は、画像データを生成する撮像部と、前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、前記処理の結果に基づいて、所定の機能を実行する機能実行部と、変位を検出する検出部とを備え、前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する。
第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係るＤＳＰを処理部として機能させた際のイメージセンサの動作例を示すフローチャートである。 １フレーム分の画像データの一例を示す図である。 第１の実施形態に係るＤＳＰが実行する演算処理の流れを説明するための図である。 第１の実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。 第２の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第３の実施形態に係る電子機器の概略構成例を示すブロック図である。 第３の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第４の実施形態に係る電子機器の概略構成例を示すブロック図である。 第４の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第５の実施形態に係る電子機器の概略構成例を示すブロック図である。 第５の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第６の実施形態に係る電子機器の概略構成例を示すブロック図である。 第６の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第７の実施形態に係る電子機器の概略動作例を示すフローチャートである。 第８の実施形態に係る電子機器の概略動作例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．　第１の実施形態
　　　１．１　電子機器の概略構成例
　　　１．２　処理部の動作
　　　　１．２．１　演算動作の具体例
　　　１．３　演算結果を利用した付加的な機能の実行
　　　１．４　作用・効果
　　２．　第２の実施形態
　　　２．１　動作例
　　　２．２　作用・効果
　　３．　第３の実施形態
　　　３．１　電子機器の概略構成例
　　　３．２　動作例
　　　３．３　作用・効果
　　４．　第４の実施形態
　　　４．１　電子機器の概略構成例
　　　４．２　動作例
　　　４．３　作用・効果
　　５．　第５の実施形態
　　　５．１　電子機器の概略構成例
　　　５．２　動作例
　　　５．３　作用・効果
　　６．　第６の実施形態
　　　６．１　電子機器の概略構成例
　　　６．２　動作例
　　　６．３　作用・効果
　　７．　第７の実施形態
　　　７．１　動作例
　　　７．２　作用・効果
　　８．　第８の実施形態
　　　８．１　動作例
　　　８．２　作用・効果
　　９．移動体への応用例
　　１０．内視鏡手術システムへの応用例
　１．　第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。
　１．１　電子機器の概略構成例
　図１は、第１の実施形態に係る電子機器の概略構成例を示すブロック図である。図１に示すように、電子機器１は、固体撮像装置であるイメージセンサ１０と、アプリケーションプロセッサ２０とを備える。イメージセンサ１０は、撮像部１１と、コントロール部１２と、信号処理部１３と、ＤＳＰ（Digital　Signal　Processor）１４と、メモリ１５と、セレクタ（出力部ともいう）１６とを備えている。
　コントロール部１２は、例えば、ユーザの操作や設定された動作モードに従い、イメージセンサ１０内の各部を制御する。
　撮像部１１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系１０４と、フォトダイオードなどの受光素子（光電変換部ともいう）を含む単位画素が２次元マトリクス状に配列した構成を備える画素アレイ部１０１とを備える。外部から入射した光は、光学系１０４を介することで、画素アレイ部１０１における受光素子が配列した受光面に結像される。画素アレイ部１０１の各単位画素は、その受光素子に入射した光を電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
　信号処理部１３は、撮像部１１の各単位画素から読み出された画素信号に対して、種々の信号処理を実行する。例えば、信号処理部１３は、画素アレイ部１０１の各単位画素から読み出されたアナログの画素信号をデジタル値の画像データに変換する。また、信号処理部１３は、例えば、画像データがカラー画像である場合、この画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。さらに、信号処理部１３は、例えば、画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部１３は、画像データに対し、ＤＳＰ１４がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。
　ＤＳＰ１４は、例えば、メモリ１５に格納されているプログラムを読み出して実行することで、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する処理部として機能する。例えば、ＤＳＰ１４は、メモリ１５に記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリ１５に記憶されている辞書係数と画像データとを掛け合わせる処理を実行する。このような演算処理により得られた結果（演算結果）は、メモリ１５及び／又はセレクタ１６へ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、演算結果に基づいて加工された画像データや、画像データから得られた各種情報（画像における一部の領域を示す領域情報等。以下、メタデータという）等が含まれ得る。また、ＤＳＰ１４には、メモリ１５へのアクセスを制御するメモリコントローラが組み込まれていてもよい。
　演算処理には、例えば、ニューラルネットワーク計算モデルの一例である学習済みの学習モデルを利用したものが存在する。例えば、ＤＳＰ１４は、学習済みの学習モデルを用いて、各種処理であるＤＳＰ処理を実行することもできる。例えば、ＤＳＰ１４は、メモリ１５から画像データを読み出して学習済みの学習モデルに入力し、学習済みモデルの出力結果として顔の輪郭や顔画像の領域などである顔位置を取得する。そして、ＤＳＰ１４は、画像データのうち、抽出された顔位置に対して、マスキング、モザイク、アバター化などの処理を実行して、加工画像データを生成する。その後、ＤＳＰ１４は、生成した加工された画像データ（加工画像データ）をメモリ１５に格納する。
　また、学習済みの学習モデルには、学習データを用いて、人物の顔位置の検出などを学習したＤＮＮやサポートベクタマシンなどが含まれる。学習済みの学習モデルは、判別対象のデータである画像データが入力されると、判別結果すなわち顔位置を特定するアドレスなどの領域情報を出力する。なお、ＤＳＰ１４は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを更新したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得または更新したりして、上記演算処理を実行することができる。
　なお、ＤＳＰ１４が処理対象とする画像データは、画素アレイ部１０１から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部１０１に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。
　このような学習モデルによる顔位置の抽出や加工処理により、画像データの顔位置がマスキングされた加工画像データ、画像データの顔位置がモザイク処理された加工画像データ、または、画像データの顔位置がキャラクターに置き換えられてアバター化された加工画像データなどを生成することができる。
　メモリ１５は、ＤＳＰ１４で得られた演算結果等を必要に応じて記憶する。また、メモリ１５は、ＤＳＰ１４が実行する学習済みの学習モデルのアルゴリズムをプログラム及び辞書係数として記憶する。学習済みの学習モデルのプログラム及び辞書係数は、例えば、外部のクラウドサーバ３０等で作成されたものがネットワーク４０を介して電子機器１にダウンロードされてメモリ１５に格納されてもよいし、電子機器１の出荷前にメモリ１５に格納されてもよい。
　セレクタ１６は、例えばコントロール部１２からの選択制御信号に従うことで、信号処理部１３から出力された画像データと、ＤＳＰ１４から出力された演算結果とを選択的に出力する。なお、ＤＳＰ１４は、演算処理により得られた演算結果を直接、セレクタ１６へ出力してもよいし、一旦メモリ１５に格納した後、メモリ１５から読み出してセレクタ１６へ出力してもよい。
　以上のようにしてセレクタ１６から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ２０に入力される。アプリケーションプロセッサ２０は、例えば、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ２０には、ＧＰＵ（Graphics　Processing　Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ２０は、入力された画像データや演算結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク４０を介して外部のクラウドサーバ３０へ送信したりする。
　また、電子機器１には、イメージセンサ１０から出力された画像データや機能設定／実行のための各種メニューを表示するためのディスプレイ１７が設けられている。このディスプレイ１７は、例えば、ビューファインダとしても機能するし、アプリケーションプロセッサ２０が実行するオペレーティングシステムやアプリケーションソフトウエアのＧＵＩ（Graphical　User　Interface）画面を表示するディスプレイとしても機能する。なお、ディスプレイ１７は、ユーザインタフェースとしても機能するタッチスクリーンであってもよい。
　なお、所定のネットワーク４０には、例えば、インターネットや、有線ＬＡＮ（Local　Area　Network）又は無線ＬＡＮや、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、種々のネットワークを適用することができる。また、画像データや演算結果の送信先は、クラウドサーバ３０に限定されず、単一で動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置（システム）であってよい。
　１．２　処理部の動作
　次に、本実施形態において処理部として機能するＤＳＰ１４の動作について、以下に図面を参照して詳細に説明する。
　本実施形態に係るＤＳＰ１４は、上述したように、メモリ１５に格納されている学習済みの学習モデルを読み出して実行することで、ＤＮＮを利用した処理部として機能する。図２に、ＤＳＰ１４を処理部として機能させた際のイメージセンサ１０の動作例を示す。
　図２に示すように、本動作では、まず、ＤＳＰ１４がメモリ１５から学習済みの学習モデルを読み出して実行する（ステップＳ１２１）。これにより、ＤＳＰ１４が処理部として機能する。
　次に、コントロール部１２が撮像部１１からのフレーム読出しを開始する（ステップＳ１２２）。このフレーム読出しでは、例えば、１フレーム分の画像データが水平ライン単位（行単位ともいう）で順次読み出される。
　次に、１フレームにおける所定ライン数の画像データが読み出されると（ステップＳ１２３のＹＥＳ）、ＤＳＰ１４は、読み出された所定ライン数分の画像データに対して、ＣＮＮ（Convolution　Neural　Network）を利用した演算処理を実行する（ステップＳ１２４）。すなわち、ＤＳＰ１４は、所定ライン数の画像データを単位領域として、学習済みの学習モデルを用いた演算処理を実行する。また、ＣＮＮを利用した演算処理では、例えば、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やペット検出やシーン認識や状態検出や回避対象物認識等が実行される。
　ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き（動物体）検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン（海や山等）を認識する処理である。状態検出とは、画像データに含まれる人物等の状態（通常の状態か異常の状態か等）を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。
　ＣＮＮを利用した演算処理に成功した場合（ステップＳ１２５のＹＥＳ）、本動作はステップＳ１２９へ進む。一方、ＣＮＮを利用した演算処理に失敗した場合（ステップＳ１２５のＮＯ）、撮像部１１から次の所定ライン数の画像データが読み出されるのを待機する（ステップＳ１２６のＮＯ）。
　なお、本説明において、演算処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、演算処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
　次に、ステップＳ１２６において、次の所定ライン数の画像データ（単位領域）が読み出されると（ステップＳ１２６のＹＥＳ）、ＤＳＰ１４は、読み出された所定ライン数の画像データに対して、ＲＮＮ（Recurrent　Neural　Network）を利用した演算処理を実行する（ステップＳ１２７）。ＲＮＮを利用した演算処理では、例えば、同一フレームの画像データに対してこれまでに実行したＣＮＮ又はＲＮＮを利用した演算処理の結果も利用される。
　ＲＮＮを利用した演算処理に成功した場合（ステップＳ１２８のＹＥＳ）、本動作はステップＳ１２９へ進む。
　ステップＳ１２９では、ステップＳ１２４又はＳ１２７で成功した演算結果が、例えば、ＤＳＰ１４からセレクタ１６を介してアプリケーションプロセッサ２０へ出力されるか、又は、メモリ１５へ格納される。
　また、ステップＳ１２７において、ＲＮＮを利用した演算処理に失敗した場合（ステップＳ１２８のＮＯ）、１フレーム分の画像データの読出しが完了したか否かが判定され（ステップＳ１３０）、完了していない場合（ステップＳ１３０のＮＯ）、ステップＳ１２６へリターンして、次の所定ライン数の画像データに対する処理が実行される。
　一方、１フレーム分の画像データの読出しが完了している場合（ステップＳ１３０のＹＥＳ）、例えば、コントロール部１２は、本動作を終了するか否かを判定し（ステップＳ１３１）、終了しない場合（ステップＳ１３１のＮＯ）、ステップＳ１２２へリターンし、次のフレームに対して同様の動作を実行する。また、終了する場合（ステップＳ１３１のＹＥＳ）、本動作が終了する。
　なお、次のフレームへ移行するか否か（ステップＳ１３１）は、例えば、アプリケーションプロセッサ２０等の外部から終了の指示が入力されたか否かに基づいて判断されてもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて判断されてもよい。
　また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やシーン認識や状態検出等の演算処理を連続して行なう場合、直前の演算処理に失敗している場合には、次の演算処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
　１．２．１　演算動作の具体例
　つづいて、図２を用いて説明した処理部の動作を、具体例を用いて説明する。なお、以下では、ＤＮＮを利用して顔検出を実行する場合を例示する。
　図３は、１フレーム分の画像データの一例を示す図である。図４は、本実施形態に係るＤＳＰが実行する演算処理の流れを説明するための図である。
　図３に示すような画像データに対して演算処理により顔検出を実行する場合、図４（ａ）に示すように、ＤＳＰ１４には、まず、所定ライン数分の画像データが入力される（図２のステップＳ１２３に相当）。ＤＳＰ１４は、入力された所定ライン数分の画像データに対してＣＮＮを利用した演算処理を実行することで、顔検出を実行する（図２のステップＳ１２４に相当）。ただし、図４（ａ）の段階では、未だ顔全体の画像データが入力されていないため、ＤＳＰ１４は、顔検出に失敗する（図２のステップＳ１２５のＮＯに相当）。
　つづいて、図４（ｂ）に示すように、ＤＳＰ１４には、次の所定ライン数分の画像データが入力される（図２のステップＳ１２６に相当）。ＤＳＰ１４は、図４（ａ）で入力された所定ライン数分の画像データに対して実行したＣＮＮを利用した演算処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してＲＮＮを利用した演算処理を実行することで、顔検出を実行する（図２のステップＳ１２７に相当）。
　図４（ｂ）の段階では、図４（ａ）の段階で入力された所定ライン数分のが総データと合せて、顔全体の画像データが入力されている。したがって、図４（ｂ）の段階において、ＤＳＰ１４は、顔検出に成功する（図２のステップＳ１２８のＹＥＳに相当）。すると、本動作では、次以降の画像データ（図４（ｃ）～（ｆ）の画像データ）が読み出されることなく、顔検出の結果が出力される（図２のステップＳ１２９に相当）。
　このように、所定ライン数ずつの画像データに対してＤＮＮを利用した演算処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
　なお、所定ライン数は、学習済みの学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は１ラインである。
　また、撮像部１１から読み出される画像データは、列方向及び／又は行方向に間引かれた画像データであってもよい。その場合、例えば、列方向に１行置きに画像データを読み出す場合には、２（Ｎ－１）（Ｎは１以上の整数）ライン目の画像データが読み出される。
　また、学習済みの学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、１×１画素や５×５画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、ＤＳＰ１４が演算処理を実行する単位領域の画像データとして、ＤＳＰ１４に入力されてもよい。
　さらに、上述では、ＤＮＮの例としてＣＮＮとＲＮＮとを例示したが、これらに限定されず、例えば、ＧＡＮ（Generative　Adversarial　Network）等、他の学習モデルを利用することも可能である。
　１．３　演算結果を利用した付加的な機能の実行
　次に、ＤＳＰ１４が実行した演算処理の結果を利用して付加的な機能を実行する際の動作について、図面を参照して詳細に説明する。なお、以下では、演算結果を利用して実行する付加的な機能として、オート露光（ＡＥ）機能、オートフォーカス（ＡＦ）機能、オートシャッタ（ＡＳ）機能、及び、オート色補正機能を例示するが、これらの機能に限定されず、種々の機能を適用することが可能である。
　図５は、本実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。図５に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ１０１）。これにより、電子機器１のビューファインダとして機能するディスプレイ１７への、イメージセンサ１０により得られた画像の表示が開始される。
　次に、図２を用いて説明した動作を実行することで、演算処理による検出処理や認識処理等が実行される（ステップＳ１０２）。例えば、オート露光機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、撮像部１１に映り込んだ人や物等（以下、被写体という）の明度が検出される。また、オートフォーカス機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、被写体までの距離が検出される。さらに、オートシャッタ機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、被写体の表情や姿勢や動き等が検出される。さらにまた、オート色補正機能を実行する場合には、ＤＳＰ１４が実行する演算処理により、シーンや被写体が検出される。なお、シーンには、海や山などの風景に加え、晴れや曇りなどの天気等も含まれ得る。
　次に、ＤＳＰ１４による演算に成功したか否か、すなわち、演算処理によって一定の検出結果や認識結果等が得られたか否かが判定される（ステップＳ１０３）。演算に成功していた場合（ステップＳ１０３のＹＥＳ）、例えば、ユーザによって有効と設定された機能が実行される（ステップＳ１０４）。
　例えば、オート露光機能が有効と設定されていた場合であって、ユーザが電子機器１のシャッタボタンを押下している場合には、ＤＳＰ１４が実行した演算処理により得られた被写体の明度に応じて、コントロール部１２（機能実行部の一形態）が、絞りやシャッタスピードを自動的に制御する。
　また、オートフォーカス機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により得られた被写体までの距離に応じて、コントロール部１２（機能実行部の一形態）が、光学系１０４の焦点距離を自動的に制御する。
　さらに、オートシャッタ機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により得られた被写体の表情や姿勢や動き等に応じて、コントロール部１２（機能実行部の一形態）が、シャッタ動作を自動的に実行する。
　さらにまた、オート色補正機能が有効と設定されていた場合には、ＤＳＰ１４が実行した演算処理により検出されたシーンや被写体に応じて、アプリケーションプロセッサ２０（機能実行部の一形態）が、カラーマトリクスを自動的に変更する。なお、カラーマトリクスは、画像全体に対して変更されるだけでなく、被写体が映り込んでいる領域ごとに変更されてもよい。例えば、人物が映り込んでいる領域に対しては、人物用のカラーマトリクスが使用され、リンゴやミカンなどの物体が映り込んできる領域には、その物体に応じたカラーマトリクスが使用されてもよい。
　その後、ステップＳ１０５において、本動作を終了するか否かが判定され、終了する場合（ステップＳ１０５のＹＥＳ）、イメージセンサ１０を停止し（ステップＳ１０６）、本動作を終了する。一方、終了しない場合（ステップＳ１０５のＮＯ）、ステップＳ１０２へリターンし、以降の動作を繰返し実行する。
　１．４　作用・効果
　以上のように、本実施形態によれば、所定ライン数ずつの画像データに対して演算処理を実行することで、演算処理に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
　また、所定ライン数ずつの画像データに対して実行した演算処理の結果に基づいて付加的な機能を実行する構成とすることで、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
　さらに、短時間でシーンや被写体を検出してオート露光やオートフォーカスやオート色補正を実行することが可能となるため、シーンや被写体に応じてより綺麗な静止画像や動画像を取得することも可能となる。
　さらにまた、オートシャッタを実行する際の反応速度を向上することも可能となるため、より好適なタイミングで自動的にシャッタを切ることも可能となる。
　２．　第２の実施形態
　次に、第２の実施形態について、図面を参照して詳細に説明する。上述した第１の実施形態では、演算結果の利用形態として、オート露光（ＡＥ）機能、オートフォーカス（ＡＦ）機能、オートシャッタ（ＡＳ）機能、オート色補正機能等の付加的な機能を実行する場合を例示した。これに対し、第２の実施形態では、所定のアプリアプリケーションソフトウエアに対して評価等を自動で入力する場合を例示する。
　ユーチューブ（登録商標）やツイッター（登録商標）やフェイスブック（登録商標）やインスタグラム（登録商標）などのソーシャルネットワークサービス（Social　Networking　Sservice；ＳＮＳ）や、インターネットフォーラムや、ニュースサイトや、ブログなどには、ユーザが投稿した動画や写真や文章などのコンテンツに対して、他のユーザが評価や好感度等を入力するための機能（ソーシャルボタン）が組み込まれている場合が存在する。そこで本実施形態では、これらのコンテンツを閲覧・再生しているユーザの表情等を演算処理により認識し、その結果に基づいて、評価や好感度等を自動で入力する場合について、例を挙げて説明する。
　本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１と同様であってよい。ただし、本実施形態に係る電子機器は、スマートフォンやノート型パーソナルコンピュータなど、カメラ機能とコンテンツ閲覧・再生機能とを備えた通信端末である。
　２．１　動作例
　図６は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。なお、本説明では、明確化のため、ユーチューブ（登録商標）などで提供される動画像のコンテンツを再生する場合について説明する。
　図６に示すように、本動作では、まず、アプリケーションプロセッサ２０が、ユーザが入力した操作に従い、コンテンツ再生用の所定のアプリケーションソフトウエアを起動する（ステップＳ２０１のＹＥＳ）。
　次に、アプリケーションプロセッサ２０は、ユーザが入力した操作に従い、指定されたコンテンツの再生を開始する（ステップＳ２０２）。すると、このコンテンツ再生に連動する形で、イメージセンサ１０が起動される（ステップＳ２０３）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、コンテンツを視聴しているユーザに関して、顔検出（ステップＳ２０４）と、視線検出（ステップＳ２０５）と、表情認識（ステップＳ２０６）との演算処理を順次実行し、それにより得られた表情認識の結果に基づいて、ユーザが笑顔や泣き顔や怒り顔などの特定の表情をしているか否かを判定する（ステップＳ２０７）。
　コンテンツを視聴しているユーザが特定の表情をしていない場合（ステップＳ２０７のＮＯ）、本動作は、そのままステップＳ２１０へ進む。一方、ユーザが特定の表情をしている場合（ステップＳ２０７のＹＥＳ）、イメージセンサ１０は、ステップＳ２０６において認識された表情に関するメタデータをアプリケーションプロセッサ２０へ出力する（ステップＳ２０８）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、実行中のアプリケーションソフトウエアにおけるソーシャルボタンを利用して、表情に応じた評価をアプリケーションソフトウエアに入力する（ステップＳ２０９）。その後、本動作は、ステップＳ２１０へ進む。
　ステップＳ２１０では、アプリケーションプロセッサ２０が、同一コンテンツの再生が停止又は終了されたか否かを判定し、停止も終了もされていない場合（ステップＳ２１０のＮＯ）、本動作がステップＳ２０４へリターンして、以降の動作を継続する。一方、コンテンツの再生が停止又は終了されていた場合（ステップＳ２１０のＹＥＳ）、アプリケーションプロセッサ２０は、イメージセンサ１０を停止する（ステップＳ２１１）。つづいて、アプリケーションプロセッサ２０は、アプリケーションソフトウエアが終了されたか否かを判定し（ステップＳ２１２）、終了された場合（ステップＳ２１２のＹＥＳ）、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合（ステップＳ２１２のＮＯ）、本動作がステップＳ２０２へリターンし、次のコンテンツの再生に対して以降の動作が実行される。
　２．２　作用・効果
　以上のように、本実施形態によれば、表情認識に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となるため、コンテンツ閲覧又は再生時の消費電力の増加を抑制しつつ、自動的にコンテンツに対する評価や好感度等を入力することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．　第３の実施形態
　次に、第３の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、姿勢に応じてディスプレイ１７の表示方向を回転させる機能を備えた電子機器において、特定のアプリケーションソフトウエアを実行中に、演算結果を利用してディスプレイ１７の表示方向を制御する場合を例示する。
　３．１　電子機器の概略構成例
　図７は、第３の実施形態に係る電子機器の概略構成例を示すブロック図である。図７に示すように、電子機器３は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、電子機器３の姿勢の変化（以下、変位という）を検出するための慣性計測装置（Inertial　Measurement　Unit：ＩＭＵ）３２をさらに備えている。また、電子機器３におけるイメージセンサ１０には、ＩＭＵ３２による検出結果に基づいて電子機器３の姿勢を検出するＣＰＵ（Central　Processing　Unit）３１がさらに組み込まれている。
　ＩＭＵ３２は、例えば、３軸のジャイロと３方向の加速度計とを用いて構成され、３次元の角速度と加速度を検出結果として出力する。
　ＣＰＵ３１は、ＩＭＵ３２から出力された検出結果に基づいて、電子機器３が例えば重力方向に対してどのような姿勢であるかを検出する。
　アプリケーションプロセッサ２０は、例えば、ＣＰＵ３１で検出された電子機器３の姿勢に応じて、ディスプレイ１７の表示方向を制御する。例えば、演算処理の結果に基づいてディスプレイ１７の表示方向を制御しない場合、アプリケーションプロセッサ２０は、電子機器３における長手方向が水平方向よりも垂直方向に近い状態では、ディスプレイ１７の表示方向を縦方向とし、長手方向が垂直方向よりも水平方向に近い状態では、ディスプレイ１７の表示方向を横方向とする。
　一方で、演算処理の結果に基づいてディスプレイ１７の表示方向を制御する場合には、アプリケーションプロセッサ２０は、ＤＳＰ１４による演算処理の結果として得られたユーザの顔の上下方向と、ディスプレイ１７の表示方向とが一致するように、ディスプレイ１７の表示方向を制御する。例えば、電子機器３における長手方向が水平方向よりも垂直方向に近い状態にも関わらず、ユーザの顔の上下方向が垂直方向よりも水平方向に近い状態であれば、アプリケーションプロセッサ２０は、ディスプレイ１７の表示方向をユーザの顔の上下方向と同じ横方向とする。一方、電子機器３における長手方向が垂直方向よりも水平方向に近い状態にも関わらず、ユーザの顔の上下方向が水平方向よりも垂直方向に近い状態であれば、アプリケーションプロセッサ２０は、ディスプレイ１７の表示方向をユーザの顔の上下方向と同じ縦方向とする。
　３．２　動作例
　図８は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図８に示すように、本動作では、まず、アプリケーションプロセッサ２０が、ユーザが入力した操作に従い、所定のアプリアプリケーションソフトウエアを起動すると（ステップＳ３０１のＹＥＳ）、ＣＰＵ３１がＩＭＵ３２で検出された情報に基づいて、電子機器３の姿勢の変化（変位）を検出する（ステップＳ３０２）。変位が検出されない場合（ステップＳ３０２のＮＯ）、本動作はステップＳ３０９へ進む。一方、変位が検出された場合（ステップＳ３０２のＹＥＳ）、イメージセンサ１０が起動される（ステップＳ３０３）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、電子機器３を使用しているユーザに関して、顔検出（ステップＳ３０４）と、顔方向検出（ステップＳ３０５）との演算処理を順次実行し、それにより認識された顔方向に基づいて、撮像部１１又はディスプレイ１７に対するユーザの顔の上下方向に関するメタデータをアプリケーションプロセッサ２０へ出力する（ステップＳ３０６）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、ディスプレイ１７の表示方向を、ユーザの顔の上下方向と一致する方向にロックする（ステップＳ３０７）。そして、イメージセンサ１０が停止される（ステップＳ３０８）。
　その後、アプリケーションプロセッサ２０は、アプリケーションソフトウエアが終了されたか否かを判定し（ステップＳ３０９）、終了された場合（ステップＳ３０９のＹＥＳ）、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合（ステップＳ３０９のＮＯ）、本動作がステップＳ３０２へリターンし、以降の動作を実行する。
　３．３　作用・効果
　以上のように、本実施形態によれば、特定のアプリケーションソフトウエアを実行している際に、処理時間や消費電力が低減された演算処理の結果に基づいて、ディスプレイ１７の表示方向をユーザの顔の上下方向に応じて制御することが可能となる。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　なお、ＩＭＵ３２により得られた検出結果は、例えば、オートシャッタ機能にも活用することができる。具体例としては、例えば、電子機器が静止したことがＩＭＵ３２及びＣＰＵ３１により検出された場合には、自動的にシャッタ動作を実行するようにも構成することが可能である。
　また、電子機器として、例えば、ＴｏＦ（Time　Of　Flight）センサのような、撮像時に光源の動作も伴う電子機器を適用した場合には、ＩＭＵ３２により得られた検出結果に基づき、イメージセンサ１０で撮像を実行するタイミングに合せて光源を駆動することが可能となるため、光源の駆動時間を減らしてより省電力化を実現することが可能である。
　４．　第４の実施形態
　次に、第４の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、セキュリティ等の理由からディスプレイ１７に表示された画面をロックする機能を搭載した電子機器において、顔認証により画面ロックを解除する際に、演算結果を利用する場合を例示する。
　４．１　電子機器の概略構成例
　図９は、第４の実施形態に係る電子機器の概略構成例を示すブロック図である。図９に示すように、電子機器４は、第３の実施形態において図７を用いて説明した電子機器３と同様の構成に加え、不揮発性メモリ４３をさらに備えている。
　不揮発性メモリ４３は、例えば、フラッシュメモリなどで構成され、顔認証や虹彩認証などに使用する認証情報を不揮発に記憶する。なお、図９では、不揮発性メモリ４３がイメージセンサ１０のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ１０のチップ内に不揮発性メモリ４３が設けられてもよい。
　４．２　動作例
　図１０は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１０に示すように、本動作では、まず、アプリケーションプロセッサ２０によって、電子機器４が画面ロックの状態であるか否かが判定される（ステップＳ４０１）。なお、電子機器４の画面ロックは、例えば、アプリケーションプロセッサ２０により実行される。電子機器４が画面ロックの状態である場合（ステップＳ４０１のＹＥＳ）、ＣＰＵ３１がＩＭＵ３２で検出された情報に基づいて、電子機器１の姿勢の変化（変位）を検出する（ステップＳ４０２）。そして、電子機器４の変位が検出されると（ステップＳ４０２のＹＥＳ）、イメージセンサ１０が起動される（ステップＳ４０３）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、電子機器３を使用しているユーザに関して、顔検出（ステップＳ４０４）と、視線検出（ステップＳ４０５）と、顔認証（ステップＳ４０６）との演算処理を順次実行する。なお、ステップＳ４０６の顔認証では、例えば、イメージセンサ１０から所定ライン数ごとに入力された画像データから特定された顔の情報と、不揮発性メモリ４３に予め格納されている所有者の顔の生体情報とに基づいて、現在電子機器４を操作しているユーザが当該電子機器４の所有者であるか否かが判定される。
　ステップＳ４０６の顔認証に失敗した場合、例えば、現在電子機器４を操作しているユーザが当該電子機器４の所有者でないと判定された場合（ステップＳ４０７のＮＯ）、電子機器４の画面ロックが維持されたまま、本動作がステップＳ４０２へリターンする。
　一方、ステップＳ４０６の顔認証に成功した場合、例えば、現在電子機器４を操作しているユーザが当該電子機器４の所有者であると判定された場合（ステップＳ４０７のＹＥＳ）、顔認証に成功したことが、イメージセンサ１０からアプリケーションプロセッサ２０へ通知される（ステップＳ４０８）。
　顔認証に成功したことが通知されたアプリケーションプロセッサ２０（機能実行部の一形態）は、画面ロックを解除する（ステップＳ４０９）。その後、イメージセンサ１０が停止され（ステップＳ４１０）、本動作が終了する。
　４．３　作用・効果
　以上のように、本実施形態によれば、ＩＭＵ３２で電子機器４の変位を検出した際に、処理時間や消費電力が低減された演算処理の結果に基づいて、画面ロックが解除される。また、画面ロック中、常時、イメージセンサ１０を起動しておく必要がなくなるため、待機中の消費電力をより低減することも可能となる。
　なお、図１０に示す動作において、ステップＳ４０６における顔認証の代わりに、虹彩認証が実行されてもよい。その場合、不揮発性メモリ４３には、所有者の虹彩に関する生体情報が予め格納される。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．　第５の実施形態
　次に、第５の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、防犯システムに適用した場合について、例を挙げて説明する。
　５．１　電子機器の概略構成例
　図１１は、第５の実施形態に係る電子機器の概略構成例を示すブロック図である。図１１に示すように、電子機器５は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、不揮発性メモリ４３をさらに備えている。
　不揮発性メモリ４３は、例えば、第４の実施形態において例示した不揮発性メモリ４３であってよい。ただし、不揮発性メモリ４３には、例えば、家族や社員等、予め登録された人物に対して生体認証を実行するための生体情報が格納されている。なお、図１１では、不揮発性メモリ４３がイメージセンサ１０のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ１０のチップ内に不揮発性メモリ４３が設けられてもよい。
　５．２　動作例
　図１２は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１２に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ５０１）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、動き（動物体）検出（ステップＳ５０２）と、人検出（ステップＳ５０３）と、顔検出（ステップＳ５０４）と、顔認証（ステップＳ５０５）との演算処理を順次実行する。
　ステップＳ５０５の顔認証に失敗した場合、例えば、イメージセンサ１０で取得された画像データに映り込んだ人物が不揮発性メモリ４３に登録された登録者でないと判定された場合（ステップＳ５０６のＮＯ）、イメージセンサ１０からアプリケーションプロセッサ２０へ撮像画像が出力される（ステップＳ５０７）。これに対し、アプリケーションプロセッサ２０（機能実行部の一形態）は、イメージセンサ１０から出力された撮像画像と、この撮像画像の撮像時刻とを、例えば、不揮発性メモリ４３に保存する（ステップＳ５０８）。なお、アプリケーションプロセッサ２０は、不揮発性メモリ４３への保存に代えて、若しくは、不揮発性メモリ４３への保存とともに、撮像画像と撮像時刻とをネットワーク４０を介して外部のクラウドサーバ３０へ送信してもよい。
　その後、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され（ステップＳ５０９）、終了する場合（ステップＳ５０９のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ５１０）、本動作が終了する。一方、終了しない場合（ステップＳ５０９のＮＯ）、本動作がステップＳ５０２へリターンする。
　５．３　作用・効果
　以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、撮像された人物が不審者であるか否かを判断することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．　第６の実施形態
　次に、第６の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、家庭内等の特定の領域内のペットを見守る監視カメラに適用した場合について、例を挙げて説明する。
　６．１　電子機器の概略構成例
　図１３は、第６の実施形態に係る電子機器の概略構成例を示すブロック図である。図１３に示すように、電子機器６は、第１の実施形態において図１を用いて説明した電子機器１と同様の構成に加え、動き回るペットを追跡するために、その画角を変更する制御機構２１が搭載されている。
　６．２　動作例
　図１４は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１４に示すように、本動作では、例えば、ユーザによる電源投入により電子機器６が起動すると、まず、イメージセンサ１０が起動される（ステップＳ６０１）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、動き（動物体）検出（ステップＳ６０２）と、ペット検出（ステップＳ６０３）との演算処理を順次実行し、それにより検出されたペットが画角の例えば略中心に位置するように制御機構２１（機能実行部の一形態）を駆動することで、電子機器１のロール角、ピッチ角及び／又はヨー角を制御する（ステップＳ６０４）。
　その後、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され（ステップＳ６０５）、終了する場合（ステップＳ６０５のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ６０６）、本動作が終了する。一方、終了しない場合（ステップＳ６０５のＮＯ）、本動作がステップＳ６０２へリターンする。
　６．３　作用・効果
　以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内のペットを見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．　第７の実施形態
　次に、第７の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、家庭内等の特定の領域内の子供や老人や要介護者等の人（以下、対象者という）を見守る監視カメラに適用した場合について、例を挙げて説明する。
　本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１又は第６の実施形態において図１３を用いて説明した電子機器６と同様であってよい。
　７．１　動作例
　図１５は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１５に示すように、本動作では、例えば、ユーザによる電源投入により電子機器１が起動すると、まず、イメージセンサ１０が起動される（ステップＳ７０１）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、人検出（ステップＳ７０２）と、状態検出（ステップＳ７０３）との演算処理を順次実行する。
　ステップＳ７０３の状態検出にて対象者の状態異常が検出されなかった場合（ステップＳ７０４のＮＯ）、本動作がステップＳ７０７へ進む。一方、状態異常が検出された場合（ステップＳ７０４のＹＥＳ）、イメージセンサ１０からアプリケーションプロセッサ２０へ状態異常を示すメタデータが出力される（ステップＳ７０５）。なお、状態異常とは、例えば、人が助けを呼ぶしぐさをしていたり、長時間泣き続けていたり、不自然な姿勢で一定時間以上動かなかったり、本来横になる場所でない場所（例えば、キッチンなど）で横になっていたりなど、通常と異なる状態であることであってよい。
　このようにして状態異常が通知されたアプリケーションプロセッサ２０（機能実行部の一形態）は、例えば、予め登録された連絡先へ状態異常を検出したことを通知し（ステップＳ７０６）、ステップＳ７０７へ進む。なお、予め登録された連絡先とは、対象者の親族や契約しているサービス会社等の電子メールアドレスや電話番号等であってよいし、ネットワーク４０を介して接続されたクラウドサーバ３０であってもよい。
　その後、ステップＳ７０７において、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され、終了する場合（ステップＳ７０７のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ７０８）、本動作が終了する。一方、終了しない場合（ステップＳ７０７のＮＯ）、本動作がステップＳ７０２へリターンする。
　７．２　作用・効果
　以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内の子供や老人や要介護者等の対象者を見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　８．　第８の実施形態
　次に、第８の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第１の実施形態に係る電子機器１を、例えば、自動車等の乗り物に搭載される自動運転システムや自律ロボットやドローンなどの自律移動体等に搭載される自律システムに組み込んだ場合について、例を挙げて説明する。
　本実施形態に係る電子機器の概略構成例は、第１の実施形態において図１を用いて説明した電子機器１と同様であってよい。ただし、本実施形態において、ネットワーク４０は、例えば、車内ネットワークであり、クラウドサーバ３０は、自動運転システムを構成する情報処理装置である。
　８．１　動作例
　図１６は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図１６に示すように、本動作では、例えば、運転者による自動車のエンジン始動に連動して、イメージセンサ１０が起動される（ステップＳ８０１）。
　起動したイメージセンサ１０は、第１の実施形態において図２を用いて説明した演算処理に従い、一定距離内に存在する物体の検出（ステップＳ８０２）と、検出された物体が回避対象物であるか否かの認識（ステップＳ８０３）との演算処理を順次実行する。
　ステップＳ８０３の認識にて物体が回避対象物ではないと認識された場合（ステップＳ８０４のＮＯ）、本動作はステップＳ８０２へリターンする。一方、回避対象物であると認識された場合（ステップＳ８０４のＹＥＳ）、イメージセンサ１０からアプリケーションプロセッサ２０へ、画像データと、この画像データに映り込んでいる物体が回避対象物であることを示すメタデータとが出力される（ステップＳ８０５）。
　画像データとメタデータとが入力されたアプリケーションプロセッサ２０は、例えば、入力された画像データを解析することで、回避対象物であると通知された物体が実際に回避対象物であるか否かを再度認識する（ステップＳ８０６）。回避対象物であると通知された物体が回避対象物ではないと認識された場合（ステップＳ８０７のＮＯ）、本動作はそのままステップＳ８０９へ進む。一方、回避対象物であると再度認識された場合（ステップＳ８０７のＹＥＳ）、アプリケーションプロセッサ２０（機能実行部の一形態）は、自動運転システムを構成する情報処理装置へ、回避対象物を回避する回避動作を指示し（ステップＳ８０８）、ステップＳ８０９へ進む。
　ステップＳ８０９では、例えば、アプリケーションプロセッサ２０により本動作を終了するか否かが判断され、終了する場合（ステップＳ８０９のＹＥＳ）、イメージセンサ１０を停止した後（ステップＳ８１０）、本動作が終了する。一方、終了しない場合（ステップＳ８０９のＮＯ）、本動作がステップＳ８０２へリターンする。
　８．２　作用・効果
　以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて回避対象物を認識することが可能となるため、自動運転システムにおける迅速な回避対象物の認識と消費電力の低減とを実現することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　なお、上述した第１～第８の実施形態では、ＤＳＰ１４を処理部として動作させる場合について例示したが、これに限定されるものではない。すなわち、同様な検出、認識又は認証の結果を得られる処理であれば、学習モデルに基づいた処理に限定されず、種々の処理をＤＳＰ１４に実行させることが可能である。
　９．移動体への応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、通信ネットワーク１２００１を介して送受信されるデータ量を削減できるとともに、車外情報検出ユニット１２０３０や統合制御ユニット１２０５０等において処理すべきデータ量を削減することが可能となる。それにより、認識処理や検出処理等の結果をより迅速に取得することが可能となるため、車両１２００の制御や運転者への情報提供等をより的確且つ迅速に行うことが可能となる。
　１０．内視鏡手術システムへの応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ:　Camera　Control　Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light　Emitting　Diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２０は、図１９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、ＣＣＵ１１２０１等において処理すべきデータ量を削減することが可能となる。それにより、画像処理結果をより迅速に取得することが可能となるため、フレームレートや露出値、倍率、焦点等の撮像条件の設定又は更新やユーザへの情報提供等をより的確且つ迅速に行うことが可能となる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　画像データを生成する撮像部と、
　前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
　前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
　変位を検出する検出部と、
　を備え、
　前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
　電子機器。
（２）
　前記機能実行部は、前記電子機器の画面ロックを設定／解除する機能を備え、
　前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
　前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
　前記（１）に記載の電子機器。
（３）
　前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
　前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
　前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
　前記（１）又は（２）に記載の電子機器。
（４）
　前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してＣＮＮ（Convolution　Neural　Network）を利用した処理を実行する前記（１）～（３）の何れか１項に記載の電子機器。
（５）
　前記処理部は、前記最初に入力された単位領域のデータに対する前記ＣＮＮを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してＲＮＮ（Recurrent　Neural　Network）を利用した処理を実行する前記（４）に記載の電子機器。
（６）
　前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
　前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
　前記処理部には、前記ライン単位で前記データが入力される
　前記（４）又は（５）に記載の電子機器。
（７）
　前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである前記（４）又は（５）に記載の電子機器。
（８）
　前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである前記（４）又は（５）に記載の電子機器。
（９）
　前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
　前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
　前記（１）～（８）の何れか１項に記載の電子機器。
（１０）
　前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも１つである前記（１）～（９）の何れか１項に記載の電子機器。
（１１）
　前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
　前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
　前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
　前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
　前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
　前記物体検出は、画像データに含まれる物体を検出する処理であり、
　前記物体認識は、画像データに含まれる物体を認識する処理であり、
　前記動き検出は、画像データに含まれる動物体を検出する処理であり、
　前記ペット検出は、画像データに含まれるペットを検出する処理であり、
　前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
　前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
　前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
　前記（１０）に記載の電子機器。
（１２）
　前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも１つである前記（１）～（１１）の何れか１項に記載の電子機器。
（１３）
　前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
　前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
　前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
　前記（１）～（１１）の何れか１項に記載の電子機器。
（１４）
　前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
　前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
　前記（２）、（１０）又は（１１）に記載の電子機器。
（１５）
　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
　前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む１フレーム分の画像データと前記画像データの撮像時刻とを出力する
　前記（１）～（１４）の何れか１項に記載の電子機器。
（１６）
　前記撮像部の画角を変更する制御機構をさらに備え、
　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
　前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
　前記（１）～（１５）の何れか１項に記載の電子機器。
（１７）
　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
　前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
　前記（１）～（１６）の何れか１項に記載の電子機器。
（１８）
　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第１の回避対象物認識を実行し、
　前記機能実行部は、前記処理部による第１の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第２の回避対象物認識を実行し、前記第２の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
　前記（１）～（１７）の何れか１項に記載の電子機器。
（１９）
　画像データを生成する撮像部と、
　前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
　前記処理の結果を出力する出力部と、
　を備える固体撮像装置。
　１、３、４、５、６　電子機器
　１０　イメージセンサ
　１１　撮像部
　１０１　画素アレイ部
　１０４　光学系
　１２　コントロール部
　１３　信号処理部
　１４　ＤＳＰ
　１５　メモリ
　１６　セレクタ
　１７　ディスプレイ
　２０　アプリケーションプロセッサ
　２１　制御機構
　３０　クラウドサーバ
　３１　ＣＰＵ
　３２　ＩＭＵ
　４０　ネットワーク
　４３　不揮発性メモリ

Claims (19)

  1. 　画像データを生成する撮像部と、
    　前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
    　前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
    　変位を検出する検出部と、
    　を備え、
    　前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
    　電子機器。
  2. 　前記機能実行部は、前記電子機器の画面ロックを設定／解除する機能を備え、
    　前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
    　前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
    　請求項１に記載の電子機器。
  3. 　前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
    　前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
    　前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
    　請求項１に記載の電子機器。
  4. 　前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してＣＮＮ（Convolution　Neural　Network）を利用した処理を実行する請求項１に記載の電子機器。
  5. 　前記処理部は、前記最初に入力された単位領域のデータに対する前記ＣＮＮを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してＲＮＮ（Recurrent　Neural　Network）を利用した処理を実行する請求項４に記載の電子機器。
  6. 　前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
    　前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
    　前記処理部には、前記ライン単位で前記データが入力される
    　請求項４に記載の電子機器。
  7. 　前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである請求項４に記載の電子機器。
  8. 　前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである請求項４に記載の電子機器。
  9. 　前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
    　前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
    　請求項１に記載の電子機器。
  10. 　前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも１つである請求項１に記載の電子機器。
  11. 　前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
    　前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
    　前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
    　前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
    　前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
    　前記物体検出は、画像データに含まれる物体を検出する処理であり、
    　前記物体認識は、画像データに含まれる物体を認識する処理であり、
    　前記動き検出は、画像データに含まれる動物体を検出する処理であり、
    　前記ペット検出は、画像データに含まれるペットを検出する処理であり、
    　前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
    　前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
    　前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
    　請求項１０に記載の電子機器。
  12. 　前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも１つである請求項１に記載の電子機器。
  13. 　前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
    　前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
    　前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
    　請求項１に記載の電子機器。
  14. 　前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
    　前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
    　請求項２に記載の電子機器。
  15. 　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
    　前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む１フレーム分の画像データと前記画像データの撮像時刻とを出力する
    　請求項１に記載の電子機器。
  16. 　前記撮像部の画角を変更する制御機構をさらに備え、
    　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
    　前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
    　請求項１に記載の電子機器。
  17. 　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
    　前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
    　請求項１に記載の電子機器。
  18. 　前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第１の回避対象物認識を実行し、
    　前記機能実行部は、前記処理部による第１の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第２の回避対象物認識を実行し、前記第２の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
    　請求項１に記載の電子機器。
  19. 　画像データを生成する撮像部と、
    　前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
    　前記処理の結果を出力する出力部と、
    　を備える固体撮像装置。
PCT/JP2019/034022 2018-08-31 2019-08-29 電子機器及び固体撮像装置 WO2020045598A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020539604A JP7386792B2 (ja) 2018-08-31 2019-08-29 電子機器及び固体撮像装置
CN201980054395.4A CN112585942B (zh) 2018-08-31 2019-08-29 电子装置和固态摄像装置
EP19854132.8A EP3846442A4 (en) 2018-08-31 2019-08-29 ELECTRONIC APPARATUS AND IMAGE CAPTURING SOLID STATE DEVICE
KR1020217003730A KR20210052441A (ko) 2018-08-31 2019-08-29 전자 기기 및 고체 촬상 장치
US17/266,117 US11889177B2 (en) 2018-08-31 2019-08-29 Electronic device and solid-state imaging device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018-163700 2018-08-31
JP2019152201 2019-08-22
JP2019-152201 2019-08-22

Publications (1)

Publication Number Publication Date
WO2020045598A1 true WO2020045598A1 (ja) 2020-03-05

Family

ID=69642811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034022 WO2020045598A1 (ja) 2018-08-31 2019-08-29 電子機器及び固体撮像装置

Country Status (7)

Country Link
US (1) US11889177B2 (ja)
EP (1) EP3846442A4 (ja)
JP (1) JP7386792B2 (ja)
KR (1) KR20210052441A (ja)
CN (1) CN112585942B (ja)
TW (1) TWI820194B (ja)
WO (1) WO2020045598A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7451460B2 (ja) 2020-04-06 2024-03-18 ジーイー・プレシジョン・ヘルスケア・エルエルシー マンモグラフィにおけるユーザおよび／または患者の経験の改善のための方法およびシステム
WO2024150402A1 (ja) * 2023-01-13 2024-07-18 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法及び記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) * 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011035771A (ja) * 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
JP2011160044A (ja) * 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2012252507A (ja) * 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) * 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法
JP2018061290A (ja) 2014-07-23 2018-04-12 ソニー株式会社 撮像装置、撮像方法、及びプログラム
JP2018116589A (ja) * 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2018136767A (ja) * 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
EP1354291B1 (en) 2001-01-22 2006-08-02 Hand Held Products, Inc. Optical reader having partial frame operating mode
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
US20060242434A1 (en) * 2005-04-22 2006-10-26 Tsung-Jen Lee Portable device with motion sensor
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
CN101205772B (zh) * 2006-12-18 2012-06-06 汉王科技股份有限公司 人脸识别无锁孔报警防盗门锁
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
TWI359381B (en) * 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP4816768B2 (ja) 2009-06-22 2011-11-16 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
KR101739380B1 (ko) * 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
US9979904B2 (en) 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) * 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6338436B2 (ja) 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018081545A (ja) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) * 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011035771A (ja) * 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
JP2011160044A (ja) * 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2012252507A (ja) * 2011-06-02 2012-12-20 Panasonic Corp 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP2018061290A (ja) 2014-07-23 2018-04-12 ソニー株式会社 撮像装置、撮像方法、及びプログラム
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) * 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法
JP2018116589A (ja) * 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2018136767A (ja) * 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3846442A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451460B2 (ja) 2020-04-06 2024-03-18 ジーイー・プレシジョン・ヘルスケア・エルエルシー マンモグラフィにおけるユーザおよび／または患者の経験の改善のための方法およびシステム
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
WO2024150402A1 (ja) * 2023-01-13 2024-07-18 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
CN112585942A (zh) 2021-03-30
JPWO2020045598A1 (ja) 2021-09-24
US11889177B2 (en) 2024-01-30
EP3846442A1 (en) 2021-07-07
JP7386792B2 (ja) 2023-11-27
TWI820194B (zh) 2023-11-01
CN112585942B (zh) 2024-04-26
EP3846442A4 (en) 2021-09-15
US20210297585A1 (en) 2021-09-23
TW202032968A (zh) 2020-09-01
KR20210052441A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
JP7386792B2 (ja) 電子機器及び固体撮像装置
CN110622315B (zh) 成像装置、固态图像传感器和电子设备
US12079712B2 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method
US11119633B2 (en) Information processing device and method
JP2018200423A (ja) 撮像装置、および電子機器
JPWO2018169003A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020027229A1 (ja) 固体撮像装置および電子機器
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
JPWO2018221039A1 (ja) ぶれ補正装置及び撮像装置
CN110169051B (zh) 固态摄像元件和电子设备
JP6646347B2 (ja) 固体撮像装置および電子機器
WO2020217874A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2020045202A1 (ja) 撮像装置、補正方法及びコンピュータプログラム
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
WO2020202648A1 (ja) 撮像装置、撮像信号処理装置、撮像信号処理方法
JPWO2020174876A1 (ja) レンズ鏡筒及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020539604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019854132

Country of ref document: EP

Effective date: 20210331