WO2020202870A1 - 電子機器および撮像システム - Google Patents

電子機器および撮像システム Download PDF

Info

Publication number
WO2020202870A1
WO2020202870A1 PCT/JP2020/006669 JP2020006669W WO2020202870A1 WO 2020202870 A1 WO2020202870 A1 WO 2020202870A1 JP 2020006669 W JP2020006669 W JP 2020006669W WO 2020202870 A1 WO2020202870 A1 WO 2020202870A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
imaging
unit
electronic device
emotional
Prior art date
Application number
PCT/JP2020/006669
Other languages
English (en)
French (fr)
Inventor
隆一 唯野
陽多 小森谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021511209A priority Critical patent/JP7405138B2/ja
Priority to EP20784730.2A priority patent/EP3952282A4/en
Priority to CN202080023333.XA priority patent/CN113615162A/zh
Priority to US17/440,334 priority patent/US20220150401A1/en
Publication of WO2020202870A1 publication Critical patent/WO2020202870A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G03B3/12—Power-operated focusing adapted for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • This disclosure relates to electronic devices and imaging systems.
  • the user may want to capture not only the moment of smiling, but also, for example, the natural facial expression of a child or a precious moment at an event.
  • it can be difficult to take a natural facial expression because the natural facial expression disappears and you become smirked or nervous.
  • precious moments come suddenly, so you may miss a photo opportunity while holding the camera. Therefore, it is desirable to provide an electronic device and an imaging system capable of taking a picture without missing the moment when the user wants to take a picture.
  • the electronic device includes an imaging unit that acquires imaging data, a data generation unit that generates emotional data from the acquired data, and a data processing unit that associates the imaging data with emotional data in a time series. It is equipped with a control unit that changes the settings of the imaging unit over time based on emotional data.
  • the imaging system includes an imaging unit that acquires imaging data, a data generation unit that generates emotional data from the acquired data, and a data processing unit that associates the imaging data with emotional data in a time series. It is equipped with a control unit that controls the imaging unit based on emotional data.
  • the imaging data and the emotional data are associated with each other in time series, and the imaging unit is controlled based on the emotional data.
  • the emotional data fluctuates at the moment when the user reacts to the subject
  • the emotional data can be monitored to grasp the moment when the user would want to take a picture. it can.
  • it is possible to obtain imaging data according to fluctuations in emotional data without the user having to manually release the shutter.
  • FIG. 16 is attached to the user's body. It is a figure which shows an example of how the electronic device of FIG. 1, FIG. 13, FIG. 14, FIG. 15, and FIG. 16 is attached to the user's body. It is a figure which shows an example of how the electronic device of FIG. 1, FIG. 13, FIG. 14, FIG. 15, and FIG. 16 is attached to the user's body.
  • Embodiment 2 Example provided with screen display and audio output functions.
  • Modification example Modification A Example of giving screen display and audio output functions to an external device
  • Modification example B Example of giving a storage function to an external device
  • Modification example C Example of communicating with an external device via a network
  • Modification D An example of communicating with a display device or a storage device via a network
  • Modification E An example in which an image pickup unit is provided separately
  • Modification F An example of being configured to be attached to a body
  • Modification G Example with multiple image sensors
  • Modification H Example with a wide-angle lens or fisheye lens
  • FIG. 1 shows a schematic configuration example of the electronic device 1 according to the present embodiment.
  • the electronic device 1 includes an imaging system that automatically acquires imaging data Dc of a scene having some meaning to the user regardless of the operation of the shutter button by the user.
  • the electronic device 1 includes, for example, an image block 10, a sound block 20, a storage block 30, a system controller 40, an external input block 50, and a communication unit 60.
  • the system controller 40 corresponds to a specific example of the "control unit" of the present disclosure.
  • the image block 10 includes, for example, an image pickup unit 11, an image pickup signal processing unit 12, an image pickup control unit 13, an image processing unit 14, a video signal generation unit 15, a display drive unit 16, a display control unit 17, and a display unit 18.
  • the image processing unit 14 corresponds to a specific example of the "data generation unit” and “data processing unit” of the present disclosure.
  • the image pickup signal processing unit 12 and the image pickup control unit 13 correspond to a specific example of the “control unit” of the present disclosure.
  • the sound block 20 includes, for example, a sound input unit 21, a sound analysis unit 22, a sound processing unit 23, an audio signal generation unit 24, and an audio output unit 25.
  • the storage block 30 has, for example, a temporary storage unit 31 and a storage unit 32.
  • the external input block 50 has, for example, an operation input unit 51, a date / time counting unit 52, and a sensor 53.
  • the imaging unit 11 outputs the imaging data Da (moving image or a plurality of still images obtained by continuous imaging) obtained by imaging to the imaging signal processing unit 12.
  • the imaging unit 11 includes, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like.
  • the image pickup signal processing unit 12 performs various image signal processing on the image pickup data Da output from the image pickup unit 11, and is configured to include, for example, a DSP (Digital Signal Processing) circuit.
  • the image pickup signal processing unit 12 detects, for example, the amount and direction of camera shake in the image pickup data Da, determines the cutout region in the image pickup data Da according to the detected amount and direction of camera shake, and based on the determination, determines the cutout region. Imaging data Da'with camera shake correction may be generated.
  • the image pickup data Da or the image pickup data Da'processed by the image pickup signal processing unit 12 is output to the image processing unit 14.
  • the imaging data Da may be imaging data Da'.
  • the image pickup control unit 13 controls the operations of the image pickup unit 11 and the image pickup signal processing unit 12 according to the control of the system controller 40.
  • the image processing unit 14 controls the transfer of the imaging data Da and Dc and the evaluation data Dd described later in accordance with the control of the system controller 40. That is, the image processing unit 14 controls the transfer of the imaging data Da, Dc, the evaluation data Dd, and the like between the imaging signal processing unit 12, the video signal generation unit 15, the temporary storage unit 31, and the storage unit 32.
  • the evaluation data Dd is generated by the image processing unit 14 as described later.
  • the image processing unit 14 inputs the imaging data Da, the evaluation data Dd, and the like into the temporary storage unit 31.
  • the temporary storage unit 31 stores imaging data Da, evaluation data Dd, and the like.
  • the storage unit 32 stores the imaging data Dc, which is a part of the imaging data Da.
  • the image processing unit 14 further extracts the imaged data Dc that satisfies the predetermined storage conditions from the imaged data Da.
  • the extraction method of the imaging data Dc and the evaluation data Dd in the image processing unit 14 will be described in detail later.
  • the image processing unit 14 further outputs the generated evaluation data Dd to the system controller 40.
  • the system controller 40 controls the imaging unit 11 and the imaging signal processing unit 12 based on the evaluation data Dd input from the image processing unit 14 (that is, based on the emotional data Df). Specifically, the system controller 40 outputs a control signal generated based on the evaluation data Dd input from the image processing unit 14 to the image pickup control unit 13.
  • the image pickup control unit 13 controls the image pickup unit 11 and the image pickup signal processing unit 12 based on the control signal input from the system controller 40. The control of the imaging unit 11 and the imaging signal processing unit 12 by the system controller 40 will be described in detail later.
  • the video signal generation unit 15 generates a video signal based on the image pickup data Da and outputs it to the display drive unit 16.
  • the display drive unit 16 drives the display unit 18 based on the video signal input from the video signal generation unit 15.
  • the display control unit 17 controls the operations of the video signal generation unit 15 and the display drive unit 16 according to the control of the system controller 40.
  • the display unit 18 is composed of a panel-type display device such as a liquid crystal panel or an organic EL (ElectroLuminescence) panel, and displays the image pickup data Da by being driven by the display drive unit 16.
  • the sound input unit 21 has, for example, a microphone, a microphone amplifier that amplifies the sound signal obtained by the microphone, and an AD converter that AD-converts the sound signal amplified by the microphone amplifier, and is digital. Outputs sound data Sa.
  • the sound data Sa obtained by the sound input unit 21 is input to the sound processing unit 23.
  • the sound processing unit 23 controls the transfer of sound data Sa according to the control of the system controller 40. That is, the sound processing unit 23 controls the transfer of sound data Sa between the sound input unit 21, the audio signal generation unit 24, the temporary storage unit 31, and the storage unit 32.
  • the sound processing unit 23 inputs the sound data Sa obtained by the sound input unit 21 into the temporary storage unit 31.
  • the temporary storage unit 31 stores the sound data Sa obtained by the sound input unit 21 together with the image pickup data Da obtained by the image pickup unit 11.
  • the sound processing unit 23 outputs the sound data Sa obtained by the sound input unit 21 to the audio signal generation unit 24.
  • the sound processing unit 23 controls the transfer of the sound data Sa read from the temporary storage unit 31 according to the control of the system controller 40. That is, the sound processing unit 23 controls the transfer of sound data Sa between the temporary storage unit 31 and the audio signal generation unit 24. The sound processing unit 23 outputs the sound data Sa read from the temporary storage unit 31 to the audio signal generation unit 24.
  • the audio signal generation unit 24 converts the input sound data Sa into an analog audio signal under the control of the system controller 40, and outputs the audio signal obtained by the conversion to the audio output unit 25.
  • the audio output unit 25 has, for example, an amplifier circuit that amplifies an analog audio signal and a speaker that outputs audio based on the audio signal output from the amplifier circuit.
  • the temporary storage unit 31 is used as a buffer for the imaging data Da obtained by the imaging unit 11, and temporarily stores the imaging data Da and the sound data Sa in a ring memory format, for example.
  • the image processing unit 14 is, for example, a portion of the imaging data Da stored in the temporary storage unit 31 in which the period stored in the temporary storage unit 31 exceeds a predetermined period (for example, the storage period ⁇ t described later). The data is erased or overwritten with the newly stored imaged data Da.
  • the storage unit 32 stores the imaging data Dc that satisfies the predetermined storage conditions among the imaging data Da obtained by the imaging unit 11.
  • the system controller 40 extracts the imaging data Dc to be stored from the imaging data Da temporarily stored in the temporary storage unit 31 at that time, and transfers the imaging data Dc to the storage unit 32.
  • the imaging data Dc stored in the storage unit 32 includes, for example, imaging data of a scene of interest to the user and changes in the user's emotions in the imaging data Da that is constantly captured.
  • the operation input unit 51 has, for example, controls such as keys and dials.
  • the operation input unit 51 receives an input from the user and outputs the input to the system controller 40, for example, when the operator is operated by the user.
  • the date / time counting unit 52 counts the date / time (year / month / day / hour / minute / second) and outputs the current date / time information (hereinafter, referred to as “time data Dt”) to the system controller 40.
  • the sensor 53 includes, for example, pulse, heartbeat, electrocardiogram, myoelectricity, respiration, sweating, GSR, blood pressure, blood oxygen saturation concentration, skin surface temperature, electroencephalogram, blood flow change, body temperature, body movement, head movement, and center of gravity. , Walking or running rhythm, eye condition, and at least one of the surrounding sounds are measured, and the measurement data obtained by the measurement (hereinafter referred to as "acquired data Db") is sent to the system controller 40. Output.
  • the system controller 40 associates the acquired data Db input from the sensor 53 with the time data Dt input from the date / time counting unit 52 and outputs the acquired data Db to the image processing unit 14.
  • the communication unit 60 is configured to be able to communicate with an external device via a network.
  • the network is, for example, a network that communicates using a communication protocol (TCP / IP) that is standardly used on the Internet.
  • the network may be, for example, a secure network that communicates using the communication protocol unique to the network.
  • the network is, for example, the Internet, an intranet, or a local area network.
  • the connection between the network and the communication unit 60 may be, for example, a wired LAN (Local Area Network) such as Ethernet (registered trademark), a wireless LAN such as Wi-Fi, or a mobile phone line. May be good.
  • the communication unit 60 may be configured to be able to communicate with an external device by short-range wireless communication.
  • Short-range wireless communication in the communication unit 60 includes, for example, ISO / IEC14443 (international standard for proximity RFID), ISO / IEC18092 (international standard for wireless communication called NFC), and ISO / IEC15693 (international standard for RFID). ) Or Bluetooth (registered trademark).
  • FIG. 2 is a diagram for explaining the principle of the delay time td.
  • FIG. 2 conceptually represents the imaging data Da stored in the temporary storage unit 31.
  • the temporary storage unit 31 stores the imaging data Da obtained by imaging by the imaging unit 11 during the storage period ⁇ t.
  • the evaluation data Dd in FIG. 2 is data generated from the acquired data Db and numerically evaluated the user's emotions.
  • the image processing unit 14 generates emotional data Df from the acquired data Db, and generates evaluation data Dd from the generated emotional data Df.
  • the evaluation data Dd is related to the emotion of the user, the evaluation data Dd has a predetermined correspondence relationship with the imaging data Da.
  • the imaging data Da and the evaluation data Dd cannot be associated with each other at the same time. This is because the user's emotion (emotional data Df) changes significantly at time t2 after a slight time lag when the user witnesses some scene at time t1. Therefore, when the imaging data Da, the evaluation data Dd, and the emotional data Df are associated with each other in a time series, there is a delay time td. Therefore, the electronic device 1 associates the imaging data Da and the emotional data Df in a time series in consideration of the delay time td. Specifically, the electronic device 1 is acquired at the time t2 (second time), which is later than the time t1 by the delay time td and the imaging data Da acquired at the time t1 (first time). Associate with emotional data Df.
  • FIG. 3 shows an example of the procedure for adjusting the delay time td.
  • the image processing unit 14 acquires the imaging data Da and the acquired data Db (step S101).
  • the image processing unit 14 generates emotional data Df based on the acquired data Db (step S102).
  • the image processing unit 14 generates emotional data Df for each type of acquired data Db.
  • the image processing unit 14 evaluates the imaging data Da based on the emotional data Df (step S103).
  • the image processing unit 14 calculates at least pleasant / unpleasant or active / inactive intensity data based on the emotional data Df, and uses the calculated intensity data as evaluation data Dd.
  • the image processing unit 14 outputs the obtained evaluation data Dd to the video signal generation unit 15 together with the imaging data Da.
  • the video signal generation unit 15 generates a video signal for displaying the evaluation data Dd and the imaging data Da input from the image processing unit 14, and outputs the video signal to the display drive unit 16.
  • the display drive unit 16 drives the display unit 18 based on the video signal input from the video signal generation unit 15.
  • the display unit 18 displays the imaging data Da and the evaluation data Dd by being driven by the display driving unit 16 (step S104).
  • FIG. 4 shows an example of a display screen for adjusting the delay time td and selecting a sensor.
  • the display unit 18 displays the display screen 18A as shown in FIG. 4 by being driven by the display drive unit 16.
  • the display screen 18A includes, for example, a playback window W1, a timeline window W2, an evaluation data window W3, a delay time display window W4, a sensor selection button BT1, and a decision button BT2.
  • playback window W1 for example, playback of the captured data Da (a plurality of still images obtained by moving images or continuous shooting) is started by tapping the playback window W1, and the playback window W1 is tapped while the captured data Da is being played back. By doing so, the reproduction of the imaging data Da is stopped.
  • the captured data Da a plurality of still images obtained by moving images or continuous shooting
  • the timeline window W2 for example, a part of the imaging data Da is arranged in a horizontal row in chronological order, and by swiping the timeline window W2 in the horizontal direction, the imaging data Da being reproduced in the reproduction window W1 is reproduced. The position and playback speed are adjusted.
  • the reproduction line Ls is displayed at a position corresponding to the reproduction time ts of the imaging data Da being reproduced in the reproduction window W1.
  • the evaluation data Dd is displayed so as to correspond to the time series at the same time as the imaging data Da displayed in the timeline window W2.
  • the reproduction line Ls is displayed at a position corresponding to the reproduction time ts of the imaging data Da being reproduced in the reproduction window W1.
  • a peak line Lp is further displayed at a position corresponding to the peak position (peak time tp) of the evaluation data Dd.
  • the difference (tp-ts) between the peak time tp and the reproduction time ts is displayed as the delay time.
  • the sensor selection button BT1 for example, by tapping the sensor selection button BT1, the sensor used for generating the evaluation data Dd can be changed, or the sensor blend used for generating the evaluation data Dd (that is, for a plurality of types of sensors).
  • a screen for selecting is displayed. On the screen, the user can change the sensor used to generate the evaluation data Dd and blend the sensors used to generate the evaluation data Dd (that is, select a plurality of types of sensors). ..
  • the decision button BT2 for example, by tapping the decision button BT2, the delay time displayed in the delay time display window W4 at that time becomes the delay time td.
  • the image processing unit 14 receives the input of the delay time td and the sensor type determined by the user's operation on the display screen 18A (step S105).
  • the image processing unit 14 stores the received delay time td and sensor type data in the temporary storage unit 31. In this way, the delay time td is adjusted and the sensor is selected.
  • FIG. 5 shows an example of the extraction procedure of the imaging data Dc.
  • the image processing unit 14 first acquires the imaging data Da and the acquired data Db (step S201). Next, the image processing unit 14 generates emotional data Df based on the acquired data Db (step S202). The image processing unit 14 generates emotional data Df for each type of acquired data Db. Next, the image processing unit 14 associates the emotional data Df with the imaging data Da in consideration of the delay time td (step S203).
  • the image processing unit 14 stores, for example, a table Dg in which the emotional data Df and the imaging data Da are associated with each other in consideration of the delay time td in the temporary storage unit 31.
  • the image processing unit 14 evaluates the imaging data Da based on the emotional data Df (step S204). At this time, the image processing unit 14 evaluates the imaging data Da by using, for example, the table Dg, in consideration of the delay time td of the emotional data Df. The image processing unit 14 determines whether or not it is necessary to save the individual imaging data included in the imaging data Da based on the evaluation data Dd obtained by the evaluation (step S205). When the image data Da is a moving image, the image processing unit 14 determines whether or not it is necessary to save the image of each frame. The image processing unit 14 determines whether or not it is necessary to save the individual still images when the captured data Da is a plurality of still images obtained by continuous shooting. The image processing unit 14 stores the image (imaging data Dc) to be saved by the determination in the storage unit 32. In this way, the imaging data Dc is extracted from the imaging data Da.
  • FIG. 6 shows an example of the control procedure of the imaging unit 11 and the imaging signal processing unit 12 by the system controller 40.
  • the image processing unit 14 acquires the imaging data Da and the acquired data Db (step S301).
  • the image processing unit 14 generates emotional data Df based on the acquired data Db (step S302).
  • the image processing unit 14 generates emotional data Df for each type of acquired data Db.
  • the image processing unit 14 associates the image pickup data Da with the emotion data Df in consideration of the delay time td (step S303).
  • the image processing unit 14 stores, for example, a table Dg in which the imaging data Da and the emotional data Df are associated with each other in consideration of the delay time td in the temporary storage unit 31.
  • the image processing unit 14 evaluates the imaging data Da based on the emotional data Df (step S304). At this time, the image processing unit 14 evaluates the imaging data Da by using, for example, the table Dg, in consideration of the delay time td of the emotional data Df. The image processing unit 14 outputs an instruction for controlling the image pickup unit 11 and the image pickup signal processing unit 12 to the system controller 40 based on the evaluation data Dd obtained by the evaluation.
  • the instructions include, for example, the resolution of the imaging unit 11, the frame rate of the imaging unit 11, the bit length of the data output from the imaging unit 11, the active pixel region in the pixel array included in the imaging unit 11, and the imaging unit 11.
  • the effect on the output data and at least one change of the state (standby state / imaging state) of the imaging unit 11 can be mentioned.
  • the image processing unit 14 has, for example, based on the emotional data Df, the resolution of the imaging unit 11, the frame rate of the imaging unit 11, the bit length of the data output from the imaging unit 11, and the pixels included in the imaging unit 11.
  • An instruction for controlling at least one of the active pixel region in the array and the effect on the data output from the image pickup unit 11 is output to the system controller 40.
  • the image processing unit 14 outputs, for example, an instruction for setting the image pickup unit 11 to either a standby state or an image pickup state to the system controller 40 based on the emotional data Df.
  • the system controller 40 When an instruction for controlling the image pickup unit 11 and the image pickup signal processing unit 12 is input from the image processing unit 14, the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 controls the image pickup unit 11 and the image pickup signal processing unit 12 according to the control of the system controller 40 (step S305). In this way, the image pickup unit 11 and the image pickup signal processing unit 12 are controlled by the system controller 40.
  • FIG. 7 shows an example of a control method of the imaging unit 11 and the imaging signal processing unit 12.
  • the timing for controlling the resolution of the imaging unit 11 is time t1. At this time, it is the time t2 that is delayed by the delay time td that the resolution and the like should be controlled at the time t1. In order to control the resolution or the like at the time t1, it is preferable to predict that the resolution or the like of the imaging unit 11 should be controlled at the time t3 before the time t1.
  • the image processing unit 14 has already obtained evaluation data Dd (for example, evaluation data Dd before time t3) and already obtained imaging data Da (for example, for example). Predictive evaluation may be performed on the imaged data Da acquired after the time t3-td based on the imaged data Da) before the time t3.
  • the image processing unit 14 is, for example, based on the evaluation data Dd thus obtained (hereinafter, referred to as “predictive evaluation data Ddf”), the image pickup unit 11 and the image pickup signal after the time t3-td. It is possible to output an instruction for controlling the processing unit 12 to the system controller 40.
  • FIG. 8 shows an example of the control procedure of the imaging unit 11 and the imaging signal processing unit 12.
  • the storage unit 32 stores the reference data De used for face recognition.
  • the reference data De includes, for example, face data (reference data regarding a subject) of a person subject to face recognition.
  • the reference data De may include, for example, a plurality of face data.
  • the resolution of the imaging unit 11 is controlled is illustrated, but the resolution of the imaging unit 11, the frame rate of the imaging unit 11, the bit length of the data output from the imaging unit 11, and the imaging unit 11 are illustrated. Even when at least one of the active pixel region in the pixel array included in, the effect on the data output from the imaging unit 11, and the state of the imaging unit 11 (standby state / imaging state) is controlled. Similar control is possible.
  • the system controller 40 first sets the resolution of the imaging unit 11 to "low” (step S401). Specifically, the system controller 40 outputs a control signal for setting the resolution of the imaging unit 11 to “low” to the imaging control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “low” to the image pickup unit 11 in response to the control of the system controller 40.
  • the imaging unit 11 performs imaging with the resolution set to "low”, and acquires image data Da having a resolution of "low” as shown in FIG. 9A, for example (step S402).
  • the image processing unit 14 determines whether or not a person is included in the imaging data Da having a resolution of "low” (step S403). As a result, when no person is included, the imaging unit 11 continues to perform imaging with the resolution set to "low". On the other hand, for example, as shown in FIG. 9B, when the imaged data Da includes a person, the image processing unit 14 gives an instruction to set the resolution to “medium” in the system controller 40. Output to. When an instruction for setting the resolution to "medium” is input from the image processing unit 14, the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “medium” to the image pickup unit 11 in response to the control of the system controller 40 (step S404).
  • the imaging unit 11 performs imaging with the resolution set to "medium”, and acquires image data Da having a resolution of "medium” as shown in FIG. 9C, for example (step S405).
  • the image processing unit 14 performs face recognition based on the imaging data Da having a resolution of “medium” and the reference data De read from the storage unit 32 (step S406). At this time, the image processing unit 14 determines whether or not there is a person who matches the reference data De in the image pickup data Da (step S407). As a result, if there is no person in the imaging data Da that matches the reference data De, imaging is continuously performed with the resolution set to "medium". On the other hand, when there is a person who matches the reference data De in the imaged data Da, the image processing unit 14 outputs an instruction for setting the resolution to “high” to the system controller 40.
  • the system controller 40 When an instruction for setting the resolution to "high” is input from the image processing unit 14, the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “high” to the image pickup unit 11 in response to the control of the system controller 40 (step S408).
  • the imaging unit 11 performs imaging in a state where the resolution is set to "high”, and acquires imaging data Da having a resolution of "high” as shown in FIG. 9D, for example.
  • the electronic device 1 executes the above-mentioned steps S201 to S205 or the above-mentioned steps S301 to S305 (step S409). In this way, the resolution is set using face recognition.
  • FIG. 10 shows an example of the control procedure of the imaging unit 11 and the imaging signal processing unit 12.
  • the storage unit 32 stores the reference data De used for face recognition.
  • the resolution of the imaging unit 11 is controlled is illustrated, but the resolution of the imaging unit 11, the frame rate of the imaging unit 11, the bit length of the data output from the imaging unit 11, and the imaging unit 11 are illustrated. Even when at least one of the active pixel region in the pixel array included in, the effect on the data output from the imaging unit 11, and the state of the imaging unit 11 (standby state / imaging state) is controlled. Similar control is possible.
  • the system controller 40 first sets the resolution of the imaging unit 11 to "low” (step S501). Specifically, the system controller 40 outputs a control signal for setting the resolution of the imaging unit 11 to “low” to the imaging control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “low” to the image pickup unit 11 in response to the control of the system controller 40.
  • the imaging unit 11 performs imaging in a state where the resolution is "low”, and acquires, for example, imaging data Da having a resolution of "low” as shown in FIG. 9A (step S502). Further, the image processing unit 14 acquires the acquired data Db from the system controller 40 (step S502).
  • the image processing unit 14 generates emotional data Df based on the acquired data Db (step S503).
  • the image processing unit 14 generates emotional data Df for each type of acquired data Db.
  • the image processing unit 14 evaluates the imaging data Da based on the emotional data Df (step S504).
  • the image processing unit 14 calculates at least pleasant / unpleasant or active / inactive intensity data based on the emotional data Df, and uses the calculated intensity data as evaluation data Dd.
  • the image processing unit 14 When the obtained evaluation data Dd satisfies a predetermined criterion, the image processing unit 14 outputs an instruction for setting the resolution to "medium” to the system controller 40.
  • the system controller 40 When an instruction for setting the resolution to "medium” is input from the image processing unit 14, the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “medium” to the image pickup unit 11 in response to the control of the system controller 40 (step S505).
  • the imaging unit 11 performs imaging with the resolution set to "medium”, and acquires image data Da having a resolution of "medium” as shown in FIG. 9C, for example.
  • the image processing unit 14 performs face recognition based on the imaging data Da having a resolution of “medium” and the reference data De read from the storage unit 32 (step S506). At this time, the image processing unit 14 determines whether or not there is a person who matches the reference data De in the image pickup data Da (step S507). As a result, if there is no person in the imaging data Da that matches the reference data De, imaging is continuously performed with the resolution set to "medium". On the other hand, when there is a person who matches the reference data De in the imaged data Da, the image processing unit 14 outputs an instruction for setting the resolution to “high” to the system controller 40.
  • the system controller 40 When an instruction for setting the resolution to "high” is input from the image processing unit 14, the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “high” to the image pickup unit 11 in response to the control of the system controller 40 (step S508).
  • the imaging unit 11 performs imaging in a state where the resolution is set to "high”, and acquires imaging data Da having a resolution of "high” as shown in FIG. 9D, for example.
  • the electronic device 1 executes the above-mentioned steps S201 to S205 or the above-mentioned steps S301 to S305 (step S509). In this way, the resolution is set using face recognition.
  • FIG. 11 shows an example of the control procedure of the imaging unit 11 and the imaging signal processing unit 12.
  • the storage unit 32 stores the reference data De used for the evaluation of emotions.
  • the reference data De includes, for example, reference data relating to the emotion of the user.
  • the reference data De may include, for example, reference data related to the user's emotion for each type of acquired data Db.
  • the resolution of the imaging unit 11 is controlled is illustrated, but the resolution of the imaging unit 11, the frame rate of the imaging unit 11, the bit length of the data output from the imaging unit 11, and the imaging unit 11 are illustrated. Even when at least one of the active pixel region in the pixel array included in, the effect on the data output from the imaging unit 11, and the state of the imaging unit 11 (standby state / imaging state) is controlled. Similar control is possible.
  • the system controller 40 first sets the resolution of the imaging unit 11 to "low” (step S601). Specifically, the system controller 40 outputs a control signal for setting the resolution of the imaging unit 11 to “low” to the imaging control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “low” to the image pickup unit 11 in response to the control of the system controller 40.
  • the imaging unit 11 performs imaging in a state where the resolution is "low”, and acquires, for example, imaging data Da having a resolution of "low” as shown in FIG. 12 (A) (step S602). Further, the image processing unit 14 acquires the acquired data Db from the system controller 40 (step S602).
  • the image processing unit 14 generates emotional data Df based on the acquired data Db (step S603).
  • the image processing unit 14 generates emotional data Df for each type of acquired data Db.
  • the image processing unit 14 evaluates the imaging data Da based on the emotional data Df (step S604).
  • the image processing unit 14 calculates at least pleasant / unpleasant or active / inactive intensity data based on the emotional data Df and the reference data De, and uses the calculated intensity data as the evaluation data Dd.
  • the image processing unit 14 outputs an instruction for setting the resolution to “high” to the system controller 40.
  • the system controller 40 outputs a control signal based on the instruction to the image pickup control unit 13.
  • the image pickup control unit 13 outputs a control signal for setting the resolution of the image pickup unit 11 to “high” to the image pickup unit 11 in response to the control of the system controller 40 (step S605).
  • the imaging unit 11 performs imaging in a state where the resolution is set to "high”, and acquires imaging data Da having a resolution of "high” as shown in FIG. 12C, for example.
  • the electronic device 1 executes the above-mentioned steps S201 to S205 or the above-mentioned steps S301 to S305 (step S606). In this way, the resolution is set using emotions.
  • the user may want to capture not only the moment of smiling, but also, for example, the natural facial expression of a child or a precious moment at an event.
  • the natural facial expression disappears and you become smirked or nervous.
  • precious moments come suddenly, so you may miss a photo opportunity while holding the camera.
  • the image pickup data Da and the emotion data Df are associated with each other in time series, and the image pickup unit 11 is controlled based on the emotion data Df.
  • the emotional data Df fluctuates at the moment when the user reacts to the subject
  • the emotional data Df is monitored to grasp the moment when the user may want to take a picture. be able to.
  • the imaging data Dc of a scene having some meaning to the user according to the fluctuation of the emotional data Df and the evaluation data Dd.
  • the user since the user does not have to manually release the shutter, the user does not need to hold the electronic device 1, and it is possible to take a natural facial expression of the subject.
  • Acquired data Db includes measurement data for at least one of body movement, head movement, center of gravity, walking or running rhythm, eye condition, and ambient sound.
  • the imaging data Da is evaluated based on the emotional data Df, and the imaging unit 11 and the imaging signal processing unit 12 are controlled based on the evaluation result (evaluation data Dd).
  • evaluation data Dd evaluation data
  • At least pleasant / unpleasant or active / inactive intensity data is calculated based on the emotional data Df, and the imaging unit 11 is controlled based on the calculated intensity data. ..
  • the imaging unit 11 is controlled based on the calculated intensity data.
  • the system controller 40 lowers the resolution, lowers the frame rate, shortens the bit length, and performs effects except when acquiring the imaging data Dc of the scene that has some meaning to the user. It can be eliminated or the active pixel area in the imaging unit can be reduced. In such a case, the power consumption can be reduced, so that the imaging with the electronic device 1 can be performed for a long time.
  • the imaging unit 11 is set to either a standby state or an imaging state based on the emotional data Df.
  • the system controller 40 can put the imaging unit 11 in the standby state except when acquiring the imaging data Dc of the scene having some meaning to the user. In such a case, the power consumption can be reduced, so that the imaging with the electronic device 1 can be performed for a long time.
  • the necessity of saving the imaging data Da is determined based on the emotional data Df, and based on the determination, the imaging data Dc of the scene having some meaning to the user is stored in the storage unit 32. To. Thereby, for example, even if the user does not manually release the shutter, it is possible to obtain the imaging data Dc of a scene having some meaning to the user according to the fluctuation of the emotional data Df and the evaluation data Dd.
  • the imaging data Da stored in the temporary storage unit 31 is the data erased for the portion where the period stored in the temporary storage unit 31 exceeds a predetermined period? , Or, overwriting is performed with the newly stored imaging data Da.
  • the capacity of the temporary storage unit 31 is small, it is possible to perform imaging with the electronic device 1 for a long time.
  • image stabilization data Da'with camera shake correction is generated. As a result, even when the image is taken while the user is carrying the electronic device 1, it is possible to obtain the imaged data Dc with less camera shake.
  • the imaging data Da acquired at time t1 and the emotion data Df acquired at time t2, which is delayed by the delay time td from time t1, are associated with each other. This makes it possible to obtain imaging data Dc in consideration of the delay time td peculiar to emotional data Df.
  • the imaging unit 11 is controlled based on the collation result of the reference data De and the imaging data Da.
  • the image pickup unit 11 can be controlled by using face recognition, it is possible to select and save the image pickup data Dc that is desired to be retained.
  • the imaging unit 11 and the imaging signal processing unit 12 are controlled based on the reference data De and the emotional data Df. This makes it possible to select and save the imaging data Dc that is particularly touching or interesting.
  • the video signal generation unit 15, the display drive unit 16, the display control unit 17, the display unit 18, the audio signal generation unit 24, and the audio output unit 25 are omitted. You may.
  • the electronic device 1 refers to, for example, a display device 2 including a video signal generation unit 15, a display drive unit 16, a display control unit 17, a display unit 18, an audio signal generation unit 24, and an audio output unit 25.
  • Data necessary for displaying the display screen 18A as shown in FIG. 4 may be transmitted via the communication unit 60. Even in this case, the display device 2 can set the delay time td and select the type of sensor.
  • Modification B In the above modification A, for example, as shown in FIG. 14, the storage unit 32 may be omitted. In this case, the electronic device 1 may store the imaging data Dc in the storage device 3 having the storage unit 32, for example, via the communication unit 60.
  • the electronic device 1 may communicate with the display device 2 via the network 4.
  • the network 4 is a communication standard capable of communicating with the display device 2 by the communication unit 60.
  • the electronic device 1 may be configured to communicate with the display device 2 and the storage device 3 via the network 4.
  • the imaging unit 11 may be provided separately from the electronic device 1.
  • the image obtained by the imaging unit 11 is input to the image block 10 via the communication unit 60 or the like. Even in this case, the same effect as that of the above embodiment can be obtained.
  • the electronic device 1 may further include an attachment portion 1B capable of attaching the electronic device 1 to the body of the user 100, for example, as shown in FIG. ..
  • the mounting portion 1B is connected to, for example, the main body portion 1A of the electronic device 1.
  • the image pickup unit 11 has a plurality of image pickup elements 1a, 1b, which have different optical axis directions and acquire specific direction image pickup data. It may have 1c. At this time, the plurality of image pickup elements 1a, 1b, 1c are detachably attached to, for example, the hat 110 of the user 100. This makes it possible to image a wide range.
  • the imaging unit 11 may have a lens 1C, for example, as shown in FIG.
  • the lens 1C is, for example, a wide-angle lens or a fisheye lens. This makes it possible to image a wide range.
  • the present disclosure may have the following structure.
  • An imaging unit that acquires imaging data and A data generation unit that generates emotional data from acquired data, A data processing unit that associates the imaged data with the emotional data in a time series,
  • An electronic device including a control unit that changes the setting of the imaging unit over time based on the emotional data.
  • the acquired data includes pulse, heartbeat, electrocardiogram, myoelectricity, respiration, sweating, GSR, blood pressure, blood oxygen saturation concentration, skin surface temperature, brain wave, blood flow change, body temperature, body movement, head movement, center of gravity,
  • the electronic device according to (1) which is data on at least one of walking or running rhythm, eye condition, and ambient sound.
  • a storage unit for storing the imaged data is further provided.
  • the control unit determines whether or not the imaging data needs to be saved based on the emotional data, and stores the imaging data in the storage unit based on the determination. Any one of (1) to (6).
  • a storage unit for storing the imaged data is further provided.
  • the control unit stores the imaging data in the storage unit, and of the imaging data stored in the storage unit, the portion of the imaging data stored in the storage unit exceeds a predetermined period.
  • the electronic device according to any one of (1) to (6), wherein the data is erased or the imaged data to be newly stored is overwritten.
  • the control unit detects the amount and direction of camera shake in the imaged data, determines the cutout region in the imaged data according to the detected amount and direction of camera shake, and corrects camera shake based on the determination.
  • the electronic device according to any one of (1) to (8), which generates the imaged data.
  • the data processing unit associates the imaging data acquired at the first time with the emotional data acquired at a second time later than the first time in a time series (1) to (9). ) The electronic device according to any one.
  • the image pickup unit has a plurality of image pickup elements in which the directions of the optical axes are different from each other and the image pickup data in a specific direction is acquired.
  • the data processing unit associates the plurality of specific direction imaging data obtained by the plurality of imaging elements with the emotional data in a time series as the imaging data, to any one of (1) to (11).
  • the electronic device described. (13) The electronic device according to any one of (1) to (12), wherein the imaging unit has a wide-angle lens or a fisheye lens. (14) It also has a storage unit that stores reference data related to the subject.
  • the electronic device according to any one of (1) to (13), wherein the control unit controls the image pickup unit based on a collation result of the reference data and the image pickup data.
  • the electronic device wherein the setting of the imaging unit is at least one of a resolution, a frame rate, a bit length, an effect, and an active pixel region in the imaging unit.
  • the control unit controls the imaging unit based on the reference data and the emotional data.
  • the imaging system according to (17), wherein the control unit controls the imaging unit based on a collation result of the reference data and the imaging data.
  • the imaging data and the emotional data are associated with each other in time series, and the imaging unit is controlled based on the emotional data, so that the user manually presses the shutter. Even if it is not cut, it is possible to obtain imaging data according to fluctuations in emotional data. Therefore, it is possible to shoot without missing the moment when the user wants to shoot.
  • the effects of the present disclosure are not necessarily limited to the effects described herein, and may be any of the effects described herein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一実施形態に係る電子機器は、撮像データを取得する撮像部と、取得データから情動データを生成するデータ生成部と、撮像データと情動データとを時系列に関連付けるデータ処理部と、情動データに基づいて撮像部の設定を経時的に変化させる制御部とを備えている。

Description

電子機器および撮像システム
　本開示は、電子機器および撮像システムに関する。
　近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る"スマイルシャッタ"（登録商標）という機能が搭載されている（例えば、特許文献１参照）。
特開２０１８－１５１６６０号公報
　ところで、ユーザは、笑顔の瞬間だけでなく、例えば、子供の自然な表情や、イベントでの貴重な瞬間などを逃さず撮影したいと思うことがある。しかし、カメラを構えると、自然な表情が消え、作り笑いになったり、緊張してしまったりするために、自然な表情を撮ることが難しいことがある。また、貴重な瞬間は突然やってくるため、カメラを構える間に、シャッターチャンスを逃してしまうことがある。従って、ユーザが撮りたいと思う瞬間を逃さずに撮影することの可能な電子機器および撮像システムを提供することが望ましい。
　本開示の一実施形態に係る電子機器は、撮像データを取得する撮像部と、取得データから情動データを生成するデータ生成部と、撮像データと情動データとを時系列に関連付けるデータ処理部と、情動データに基づいて撮像部の設定を経時的に変化させる制御部とを備えている。
　本開示の一実施形態に係る撮像システムは、撮像データを取得する撮像部と、取得データから情動データを生成するデータ生成部と、撮像データと情動データとを時系列に関連付けるデータ処理部と、情動データに基づいて撮像部を制御する制御部とを備えている。
　本開示の一実施形態に係る電子機器および撮像システムでは、撮像データと情動データとが時系列に関連付けられ、情動データに基づいて撮像部が制御される。これにより、例えば、ユーザが被写体に対して反応した瞬間に、情動データが変動した場合には、情動データをモニタすることにより、ユーザが撮りたいと思っているであろう瞬間を把握することができる。その結果、例えば、ユーザがシャッターを手動で切らなくても、情動データの変動に応じて、撮像データを得ることが可能となる。
本開示の一実施の形態に係る電子機器の機能ブロック例を表す図である。 遅延時間について説明するための図である。 遅延時間の調整およびセンサの選択についての手順の一例を表す図である。 遅延時間の調整およびセンサの選択のための表示画面の一例を表す図である。 撮像装置の制御手順の一例を表す図である。 撮像装置の制御手順の一例を表す図である。 撮像装置の制御方法の一例を表す図である。 撮像装置の制御手順の一例を表す図である。 図８の制御手順における解像度の変化を表す図である。 撮像装置の制御手順の一例を表す図である。 撮像装置の制御手順の一例を表す図である。 図１１の制御手順における解像度の変化を表す図である。 図１の電子機器の機能ブロックの一変形例を表す図である。 図１の電子機器の機能ブロックの一変形例を表す図である。 図１の電子機器の機能ブロックの一変形例を表す図である。 図１の電子機器の機能ブロックの一変形例を表す図である。 図１の電子機器の機能ブロックの一変形例を表す図である。 図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。 図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。 図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。なお、説明は以下の順序で行う。

　１．実施の形態
　　　　画面表示および音声出力の機能を備えた例
　２．変形例
　　　　変形例Ａ：画面表示および音声出力の機能を外部機器に持たせた例
　　　　変形例Ｂ：ストレージの機能を外部機器に持たせた例
　　　　変形例Ｃ：ネットワークを介して外部機器と通信する例
　　　　変形例Ｄ：ネットワークを介して表示装置やストレージ装置と
　　　　　　　　　通信する例
　　　　変形例Ｅ：撮像部が別体で設けられている例
　　　　変形例Ｆ：身体に取り付け可能に構成されている例
　　　　変形例Ｇ：複数の撮像素子を備えた例
　　　　変形例Ｈ：広角レンズまたは魚眼レンズを備えた例
＜１．実施の形態＞
[構成]
　本開示の一実施の形態に係る電子機器１について説明する。図１は、本実施の形態に係る電子機器１の概略構成例を表したものである。電子機器１は、ユーザによるシャッターボタンの操作に依らず、ユーザにとって何らかの意味のある光景の撮像データＤｃを自動的に取得する撮像システムを備えている。電子機器１は、例えば、画像ブロック１０、サウンドブロック２０、記憶ブロック３０、システムコントローラ４０、外部入力ブロック５０および通信部６０を備えている。システムコントローラ４０は、本開示の「制御部」の一具体例に相当する。
　画像ブロック１０は、例えば、撮像部１１、撮像信号処理部１２、撮像制御部１３、画像処理部１４、映像信号生成部１５、表示駆動部１６、表示制御部１７および表示部１８を有している。画像処理部１４は、本開示の「データ生成部」「データ処理部」の一具体例に相当する。撮像信号処理部１２および撮像制御部１３は、本開示の「制御部」の一具体例に相当する。サウンドブロック２０は、例えば、サウンド入力部２１、サウンド解析部２２、サウンド処理部２３、音声信号生成部２４および音声出力部２５を有している。記憶ブロック３０は、例えば、一時記憶部３１およびストレージ部３２を有している。外部入力ブロック５０は、例えば、操作入力部５１、日時計数部５２およびセンサ５３を有している。
　撮像部１１は、撮像により得られた撮像データＤａ（動画または連続撮像により得られた複数の静止画）を撮像信号処理部１２に出力する。撮像部１１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを含んで構成されている。
　撮像信号処理部１２は、撮像部１１から出力された撮像データＤａに対して各種の画像信号処理を行うものであり、例えば、ＤＳＰ（Digital Signal Processing）回路を含んで構成されている。撮像信号処理部１２は、例えば、撮像データＤａにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、撮像データＤａにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データＤａ’を生成してもよい。
　撮像信号処理部１２で処理された撮像データＤａまたは撮像データＤａ’は、画像処理部１４に出力される。なお、以下の説明において、撮像データＤａは、撮像データＤａ’であってもよい。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１および撮像信号処理部１２の動作を制御する。
　画像処理部１４は、システムコントローラ４０の制御に応じて、撮像データＤａ，Ｄｃや後述の評価データＤｄなどの転送を制御する。すなわち、画像処理部１４は、撮像信号処理部１２と、映像信号生成部１５、一時記憶部３１およびストレージ部３２との間の撮像データＤａ，Ｄｃや評価データＤｄなどの転送を制御する。評価データＤｄは、後述するように、画像処理部１４によって生成される。画像処理部１４は、撮像データＤａや評価データＤｄなどを一時記憶部３１に入力する。一時記憶部３１は、撮像データＤａや評価データＤｄなどを記憶する。ストレージ部３２は、撮像データＤａのうちの一部である撮像データＤｃを記憶する。
　画像処理部１４は、さらに、撮像データＤａのうち所定の保存条件を満たした撮像データＤｃを抽出する。画像処理部１４における撮像データＤｃの抽出方法や評価データＤｄについては、後に詳述する。
　画像処理部１４は、さらに、生成した評価データＤｄをシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から入力された評価データＤｄに基づいて（つまり情動データＤｆに基づいて）、撮像部１１や撮像信号処理部１２を制御する。具体的には、システムコントローラ４０は、画像処理部１４から入力された評価データＤｄに基づいて生成した制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０から入力された制御信号に基づいて、撮像部１１や撮像信号処理部１２を制御する。システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御については、後に詳述する。
　映像信号生成部１５は、撮像データＤａに基づいて映像信号を生成し、表示駆動部１６に出力する。表示駆動部１６は、映像信号生成部１５から入力された映像信号に基づいて表示部１８を駆動する。表示制御部１７は、システムコントローラ４０の制御に応じて、映像信号生成部１５および表示駆動部１６の動作を制御する。表示部１８は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネル等のパネル型表示装置からなり、表示駆動部１６による駆動により、撮像データＤａを表示する。
　サウンド入力部２１は、例えば、マイクロホンと、マイクロホンで得られたサウンド信号を増幅処理するマイクアンプと、マイクアンプで増幅されたサウンド信号をＡＤ変換するＡＤ変換器とを有しており、デジタルのサウンドデータＳａを出力する。サウンド入力部２１で得られたサウンドデータＳａは、サウンド処理部２３に入力される。
　サウンド処理部２３は、システムコントローラ４０の制御に応じて、サウンドデータＳａの転送を制御する。すなわち、サウンド処理部２３は、サウンド入力部２１と、音声信号生成部２４、一時記憶部３１およびストレージ部３２との間のサウンドデータＳａの転送を制御する。サウンド処理部２３は、サウンド入力部２１で得られたサウンドデータＳａを一時記憶部３１に入力する。一時記憶部３１は、撮像部１１で得られた撮像データＤａとともに、サウンド入力部２１で得られたサウンドデータＳａを記憶する。サウンド処理部２３は、サウンド入力部２１で得られたサウンドデータＳａを音声信号生成部２４に出力する。
　サウンド処理部２３は、システムコントローラ４０の制御に応じて、一時記憶部３１から読み出したサウンドデータＳａの転送を制御する。すなわち、サウンド処理部２３は、一時記憶部３１と、音声信号生成部２４との間のサウンドデータＳａの転送を制御する。サウンド処理部２３は、一時記憶部３１から読み出したサウンドデータＳａを音声信号生成部２４に出力する。
　音声信号生成部２４は、システムコントローラ４０の制御に応じて、入力されたサウンドデータＳａをアナログの音声信号に変換し、変換により得られた音声信号を音声出力部２５に出力する。音声出力部２５は、例えば、アナログの音声信号を増幅するアンプ回路と、アンプ回路から出力された音声信号に基づいて音声を出力するスピーカとを有している。
　一時記憶部３１は、撮像部１１で得られた撮像データＤａのバッファリングとして用いられ、例えば、リングメモリ形式で撮像データＤａおよびサウンドデータＳａを一時保存する。画像処理部１４は、例えば、一時記憶部３１に記憶されている撮像データＤａのうち、一時記憶部３１に記憶されている期間が所定の期間（例えば、後述の保存期間Δｔ）を超えた部分については、データ消去を行うか、または、新たに記憶させる撮像データＤａで上書きを行う。
　ストレージ部３２は、撮像部１１で得られた撮像データＤａのうち所定の保存条件を満たした撮像データＤｃを保存する。システムコントローラ４０は、所定の保存条件が満たされた場合に、その時点で一時記憶部３１に一時記憶されている撮像データＤａから保存すべき撮像データＤｃを抽出し、ストレージ部３２に転送する。
　ここで、ストレージ部３２に保存される撮像データＤｃとは、例えば、常時撮像されている撮像データＤａの内で、ユーザが興味を持った光景の撮像データや、ユーザの感情の変化があったときの光景の撮像データ、ユーザの思い出に残るような光景の撮像データなど、ユーザにとって何らかの意味のある光景の撮像データであるとシステムコントローラ４０が判断した撮像データである。
　操作入力部５１は、例えば、キーやダイヤル等の操作子を有している。操作入力部５１は、例えば、ユーザによって操作子が操作されることにより、ユーザからの入力を受け付け、システムコントローラ４０に出力する。日時計数部５２は、例えば、日時（年月日時分秒）を計数し、現在日時情報（以下、「時刻データＤｔ」と称する。）をシステムコントローラ４０に出力する。
　センサ５３は、例えば、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについて計測を行い、それにより得られた計測データ（以下、「取得データＤｂ」と称する。）をシステムコントローラ４０に出力する。システムコントローラ４０は、センサ５３から入力された取得データＤｂを、日時計数部５２から入力された時刻データＤｔと関連付けて、画像処理部１４に出力する。
　通信部６０は、ネットワークを介して、外部機器と通信可能に構成されている。ここで、ネットワークは、例えば、インターネットで標準的に利用されている通信プロトコル（ＴＣＰ／ＩＰ）を用いて通信を行うネットワークである。ネットワークは、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワークは、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワークと、通信部６０との接続は、例えば、イーサネット（登録商標）等の有線ＬＡＮ（Local Area Network）であってもよいし、Ｗｉ－Ｆｉ等の無線ＬＡＮや、携帯電話回線などであってもよい。
　通信部６０は、近距離の無線通信によって、外部機器と通信可能に構成されていてもよい。通信部６０における近距離の無線通信は、例えば、ＩＳＯ／ＩＥＣ１４４４３（近接型ＲＦＩＤの国際標準規格）や、ＩＳＯ／ＩＥＣ１８０９２（ＮＦＣと呼ばれる無線通信の国際規格）、ＩＳＯ／ＩＥＣ１５６９３（ＲＦＩＤの国際標準規格）、または、ブルートゥース（登録商標）等によって行われる。
　次に、画像処理部１４における撮像データＤｃの抽出方法について説明する。最初に、遅延時間ｔｄの原理や調整方法について説明し、その後に、撮像データＤｃの抽出方法について説明する。
　図２は、遅延時間ｔｄの原理について説明する図である。図２には、一時記憶部３１に記憶されている撮像データＤａが概念的に表されている。一時記憶部３１には、保存期間Δｔの間に撮像部１１によって撮像されることにより得られた撮像データＤａが保存されている。図２中の評価データＤｄは、取得データＤｂから生成された、ユーザの情動を数値で評価したデータである。画像処理部１４が、取得データＤｂから情動データＤｆを生成し、生成した情動データＤｆから評価データＤｄを生成する。
　評価データＤｄはユーザの情動に関係することから、評価データＤｄは、撮像データＤａと所定の対応関係を有している。しかし、撮像データＤａと、評価データＤｄとは、同時刻のデータ同士で対応付けることができない。これは、ユーザの情動（情動データＤｆ）はユーザが時刻ｔ１に何らかの光景を目の当たりにしたときに、わずかなタイムラグを経た時刻ｔ２で大きく変化するものであるからである。従って、撮像データＤａと、評価データＤｄおよび情動データＤｆとを時系列に関連付ける際には、遅延時間ｔｄが存在することになる。そこで、電子機器１は、その遅延時間ｔｄを考慮して、撮像データＤａと情動データＤｆとを時系列に関連付ける。具体的には、電子機器１は、時刻ｔ１（第１の時間）で取得された撮像データＤａと、時刻ｔ１よりも遅延時間ｔｄの分だけ遅い時刻ｔ２（第２の時刻）で取得された情動データＤｆとを関連付ける。
　図３は、遅延時間ｔｄの調整手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ１０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ１０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ１０３）。画像処理部１４は、例えば、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。
　画像処理部１４は、得られた評価データＤｄを、撮像データＤａとともに、映像信号生成部１５に出力する。映像信号生成部１５は、画像処理部１４から入力された評価データＤｄおよび撮像データＤａを表示するための映像信号を生成し、表示駆動部１６に出力する。表示駆動部１６は、映像信号生成部１５から入力された映像信号に基づいて表示部１８を駆動する。表示部１８は、表示駆動部１６による駆動により、撮像データＤａおよび評価データＤｄを表示する（ステップＳ１０４）。
　図４は、遅延時間ｔｄの調整およびセンサの選択のための表示画面の一例を表したものである。表示部１８は、表示駆動部１６による駆動により、図４に示したような表示画面１８Ａを表示する。表示画面１８Ａには、例えば、再生ウィンドウＷ１と、タイムラインウィンドウＷ２と、評価データウィンドウＷ３と、遅延時間表示ウィンドウＷ４と、センサ選択ボタンＢＴ１と、決定ボタンＢＴ２とが含まれている。
　再生ウィンドウＷ１では、例えば、撮像データＤａ（動画または連続撮影により得られた複数の静止画）の再生が再生ウィンドウＷ１をタップすることにより開始され、撮像データＤａを再生中に再生ウィンドウＷ１をタップすることにより撮像データＤａの再生が停止する。
　タイムラインウィンドウＷ２では、例えば、撮像データＤａの一部が時系列に横一列に並べられており、タイムラインウィンドウＷ２を横方向にスワイプすることにより再生ウィンドウＷ１において再生中の撮像データＤａの再生位置や再生速度が調整される。タイムラインウィンドウＷ２では、例えば、再生ウィンドウＷ１において再生中の撮像データＤａの再生時刻ｔｓに対応する箇所に、再生ラインＬｓが表示されている。
　評価データウィンドウＷ３では、例えば、評価データＤｄが、タイムラインウィンドウＷ２に表示されている撮像データＤａと同時刻で時系列に対応するように表示されている。評価データウィンドウＷ３では、例えば、再生ウィンドウＷ１において再生中の撮像データＤａの再生時刻ｔｓに対応する箇所に、再生ラインＬｓが表示されている。評価データウィンドウＷ３では、例えば、さらに、評価データＤｄのピーク位置（ピーク時刻ｔｐ）に対応する箇所に、ピークラインＬｐが表示されている。
　遅延時間表示ウィンドウＷ４では、例えば、ピーク時刻ｔｐと再生時刻ｔｓとの差分（ｔｐ－ｔｓ）が遅延時間として表示されている。センサ選択ボタンＢＴ１では、例えば、センサ選択ボタンＢＴ１をタップすることにより、評価データＤｄの生成に用いられるセンサの変更や、評価データＤｄの生成に用いられるセンサのブレンド（つまり、複数種類のセンサの選択）を行うための画面が表示される。ユーザは、その画面において、評価データＤｄの生成に用いられるセンサの変更や、評価データＤｄの生成に用いられるセンサのブレンド（つまり、複数種類のセンサの選択）を行うことが可能となっている。決定ボタンＢＴ２では、例えば、決定ボタンＢＴ２をタップすることにより、その時点で遅延時間表示ウィンドウＷ４に表示されている遅延時間が遅延時間ｔｄとなる。
　画像処理部１４は、表示画面１８Ａにおけるユーザの操作によって決定された遅延時間ｔｄやセンサの種類の入力を受け付ける（ステップＳ１０５）。画像処理部１４は、受け付けた遅延時間ｔｄやセンサの種類のデータを一時記憶部３１に保存する。このようにして、遅延時間ｔｄの調整およびセンサの選択が行われる。
　次に、撮像データＤｃの抽出方法について説明する。
　図５は、撮像データＤｃの抽出手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ２０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ２０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆと、撮像データＤａとを遅延時間ｔｄを考慮して関連付ける（ステップＳ２０３）。画像処理部１４は、例えば、情動データＤｆと、撮像データＤａとを遅延時間ｔｄを考慮して関連付けたテーブルＤｇを一時記憶部３１に保存する。
　画像処理部１４は、情動データＤｆに基づいて、撮像データＤａの評価を行う（ステップＳ２０４）。このとき、画像処理部１４は、例えば、テーブルＤｇを用いて、情動データＤｆの遅延時間ｔｄを考慮して、撮像データＤａの評価を行う。画像処理部１４は、評価によって得られた評価データＤｄに基づいて、撮像データＤａに含まれる個々の撮像データの保存の要否を決定する（ステップＳ２０５）。画像処理部１４は、撮像データＤａが動画の場合には個々のコマの画像の保存の要否を決定する。画像処理部１４は、撮像データＤａが連続撮影により得られた複数の静止画の場合には個々の静止画像の保存の要否を決定する。画像処理部１４は、決定により保存対象となった画像（撮像データＤｃ）をストレージ部３２に保存する。このようにして、撮像データＤｃが撮像データＤａから抽出される。
　次に、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御について説明する。
　図６は、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ３０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ３０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、撮像データＤａと、情動データＤｆとを遅延時間ｔｄを考慮して関連付ける（ステップＳ３０３）。画像処理部１４は、例えば、撮像データＤａと、情動データＤｆとを遅延時間ｔｄを考慮して関連付けたテーブルＤｇを一時記憶部３１に保存する。
　画像処理部１４は、情動データＤｆに基づいて、撮像データＤａの評価を行う（ステップＳ３０４）。このとき、画像処理部１４は、例えば、テーブルＤｇを用いて、情動データＤｆの遅延時間ｔｄを考慮して、撮像データＤａの評価を行う。画像処理部１４は、評価によって得られた評価データＤｄに基づいて、撮像部１１や撮像信号処理部１２を制御するための指示をシステムコントローラ４０に出力する。
　この指示としては、例えば、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つの変更が挙げられる。このとき、画像処理部１４は、例えば、情動データＤｆに基づいて、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、および撮像部１１から出力されるデータに対するエフェクトのうち少なくとも１つを制御するための指示をシステムコントローラ４０に出力する。また、画像処理部１４は、例えば、情動データＤｆに基づいて、撮像部１１を、スタンバイ状態および撮像状態のいずれかの状態に設定するための指示をシステムコントローラ４０に出力する。
　システムコントローラ４０は、画像処理部１４から、撮像部１１や撮像信号処理部１２を制御するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１や撮像信号処理部１２を制御する（ステップＳ３０５）。このようにして、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御が行われる。
　次に、遅延時間ｔｄに対する対策について説明する。図７は、撮像部１１や撮像信号処理部１２の制御方法の一例を表したものである。
　撮像部１１の解像度などを制御すべきタイミングが時刻ｔ１だとする。このとき、時刻ｔ１で解像度などを制御すべきことがわかるのは、遅延時間ｔｄの分だけ遅れた時刻ｔ２となる。時刻ｔ１で解像度などを制御するためには、時刻ｔ１よりも前の時刻ｔ３において、撮像部１１の解像度などを制御すべきことを予測しておくことが好ましい。
　撮像データＤａに対する遅延時間ｔｄの影響が小さい場合には、このような予測をしなくても問題にならない可能性がある。しかし、撮像データＤａに対する遅延時間ｔｄの影響が大きい場合には、このような予測をしておくことが必要となる可能性がある。そこで、画像処理部１４は、例えば、図７に示したように、既に得られている評価データＤｄ（例えば、時刻ｔ３以前の評価データＤｄ）と、既に得られている撮像データＤａ（例えば、時刻ｔ３以前の撮像データＤａ）とに基づいて、時刻ｔ３－ｔｄ以降に取得される撮像データＤａに対する予測評価を行ってもよい。この場合、画像処理部１４は、例えば、このようにして得られた評価データＤｄ（以下、「予測評価データＤｄｆ」と称する。）に基づいて、時刻ｔ３－ｔｄ以降の撮像部１１や撮像信号処理部１２の制御をするための指示をシステムコントローラ４０に出力することが可能となる。
　次に、撮像部１１や撮像信号処理部１２の制御方法の具体例について説明する。図８は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においては、ストレージ部３２は、顔認証に使用する参照データＤｅを保存している。参照データＤｅには、例えば、顔認証の対象者の顔データ（被写体に関する参照データ）が含まれている。参照データＤｅには、例えば、複数の顔データが含まれていてもよい。
　なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。
　システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ４０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図９（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ４０２）。
　次に、画像処理部１４は、解像度“低”の撮像データＤａに人が含まれているか否かを判定する（ステップＳ４０３）。その結果、人が含まれていない場合には、撮像部１１は、引き続き、解像度を“低”にした状態で撮像を行う。一方、例えば、図９（Ｂ）に示したように、撮像データＤａに人が含まれている場合には、画像処理部１４は、解像度を“中”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“中”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“中”に設定するための制御信号を出力する（ステップＳ４０４）。その結果、撮像部１１は、解像度を“中”にした状態で撮像を行い、例えば図９（Ｃ）に示したような解像度“中”の撮像データＤａを取得する（ステップＳ４０５）。
　次に、画像処理部１４は、解像度“中”の撮像データＤａと、ストレージ部３２から読み出した参照データＤｅとに基づいて、顔認証を行う（ステップＳ４０６）。このとき、画像処理部１４は、撮像データＤａの中に参照データＤｅに一致する者がいるか否か判定する（ステップＳ４０７）。その結果、撮像データＤａの中に参照データＤｅに一致する者がいない場合には、引き続き、解像度を“中”にした状態で撮像を行う。一方、撮像データＤａの中に参照データＤｅに一致する者がいる場合には、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ４０８）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図９（Ｄ）に示したような解像度“高”の撮像データＤａを取得する。
　その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ４０９）。このようにして、顔認証を利用した解像度の設定が行われる。
　次に、顔認証を利用した解像度の他の設定方法について説明する。図１０は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においても、ストレージ部３２は、顔認証に使用する参照データＤｅを保存している。
　なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。
　システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ５０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図９（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ５０２）。さらに、画像処理部１４は、システムコントローラ４０から取得データＤｂを取得する（ステップＳ５０２）。
　次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ５０３）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ５０４）。画像処理部１４は、例えば、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。
　画像処理部１４は、得られた評価データＤｄが所定の基準を満たすとき、画像処理部１４は、解像度を“中”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“中”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“中”に設定するための制御信号を出力する（ステップＳ５０５）。その結果、撮像部１１は、解像度を“中”にした状態で撮像を行い、例えば図９（Ｃ）に示したような解像度“中”の撮像データＤａを取得する。
　次に、画像処理部１４は、解像度“中”の撮像データＤａと、ストレージ部３２から読み出した参照データＤｅとに基づいて、顔認証を行う（ステップＳ５０６）。このとき、画像処理部１４は、撮像データＤａの中に参照データＤｅに一致する者がいるか否か判定する（ステップＳ５０７）。その結果、撮像データＤａの中に参照データＤｅに一致する者がいない場合には、引き続き、解像度を“中”にした状態で撮像を行う。一方、撮像データＤａの中に参照データＤｅに一致する者がいる場合には、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ５０８）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図９（Ｄ）に示したような解像度“高”の撮像データＤａを取得する。
　その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ５０９）。このようにして、顔認証を利用した解像度の設定が行われる。
　次に、情動を利用した解像度の設定方法について説明する。図１１は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においては、ストレージ部３２は、情動の評価に使用する参照データＤｅを保存している。参照データＤｅには、例えば、ユーザの情動に関する参照データが含まれている。参照データＤｅには、例えば、取得データＤｂの種類ごとに、ユーザの情動に関する参照データが含まれていてもよい。
　なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。
　システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ６０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図１２（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ６０２）。さらに、画像処理部１４は、システムコントローラ４０から取得データＤｂを取得する（ステップＳ６０２）。
　次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ６０３）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ６０４）。画像処理部１４は、例えば、情動データＤｆと参照データＤｅとに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。
　例えば、図１２（Ｂ）に示したような人を含む撮像データＤａが得られたとき、得られた評価データＤｄが所定の基準を満たしたとする。この場合、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ６０５）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図１２（Ｃ）に示したような解像度“高”の撮像データＤａを取得する。
　その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ６０６）。このようにして、情動を利用した解像度の設定が行われる。
[効果]
　次に、本実施の形態に係る電子機器１の効果について説明する。
　近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る"スマイルシャッタ"（登録商標）という機能が搭載されている
　ところで、ユーザは、笑顔の瞬間だけでなく、例えば、子供の自然な表情や、イベントでの貴重な瞬間などを逃さず撮影したいと思うことがある。しかし、カメラを構えると、自然な表情が消え、作り笑いになったり、緊張してしまったりするために、自然な表情を撮ることが難しいことがある。また、貴重な瞬間は突然やってくるため、カメラを構える間に、シャッターチャンスを逃してしまうことがある。
　一方、本実施の形態に係る電子機器１では、撮像データＤａと情動データＤｆとが時系列に関連付けられ、情動データＤｆに基づいて撮像部１１が制御される。これにより、例えば、ユーザが被写体に対して反応した瞬間に、情動データＤｆが変動した場合には、情動データＤｆをモニタすることにより、ユーザが撮りたいと思っているであろう瞬間を把握することができる。その結果、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。また、ユーザがシャッターを手動で切らなくてもよいことから、ユーザが電子機器１を構える必要がなく、被写体の自然な表情を撮ることが可能となる。
　また、本実施の形態では、情動データＤｆの生成に、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについての計測データを含む取得データＤｂが用いられる。これにより、情動データＤｆを精度よく生成することができる。
　また、本実施の形態では、情動データＤｆに基づいて撮像データＤａが評価され、その評価の結果（評価データＤｄ）に基づいて撮像部１１や撮像信号処理部１２が制御される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。
　また、本実施の形態では、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データが算出され、算出により得られた強度データに基づいて撮像部１１が制御される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。
　また、本実施の形態では、情動データＤｆおよび評価データＤｄに基づいて、解像度、フレームレート、ビット長、エフェクト、および撮像部におけるアクティブな画素領域のうち少なくとも１つが制御される。これにより、システムコントローラ４０は、ユーザにとって何らかの意味のある光景の撮像データＤｃを取得するとき以外は、例えば、解像度を低下させたり、フレームレートを低下させたり、ビット長を短くしたり、エフェクトをなくしたり、撮像部におけるアクティブな画素領域を小さくしたりすることができる。そのようにした場合には、消費電力を低くすることができるので、電子機器１での撮像を長時間に渡って行うことが可能となる。
　また、本実施の形態では、情動データＤｆに基づいて、撮像部１１が、スタンバイ状態および撮像状態のいずれかの状態に設定される。これにより、システムコントローラ４０は、ユーザにとって何らかの意味のある光景の撮像データＤｃを取得するとき以外は、撮像部１１をスタンバイ状態にすることが可能となる。そのようにした場合には、消費電力を低くすることができるので、電子機器１での撮像を長時間に渡って行うことが可能となる。
　また、本実施の形態では、情動データＤｆに基づいて撮像データＤａの保存の要否が決定され、その決定に基づいて、ユーザにとって何らかの意味のある光景の撮像データＤｃがストレージ部３２に保存される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。
　また、本実施の形態では、一時記憶部３１に記憶されている撮像データＤａのうち、一時記憶部３１に記憶されている期間が所定の期間を超えた部分については、データ消去が行われるか、または、新たに記憶させる撮像データＤａで上書きが行われる。これにより、一時記憶部３１の容量が小さい場合であっても、電子機器１での撮像を長時間に渡って行うことが可能となる。
　また、本実施の形態では、手ぶれ補正のなされた撮像データＤａ’が生成される。これにより、ユーザが電子機器１を持ち歩いている状態で撮像が行われた場合であっても、手ぶれの少ない撮像データＤｃを得ることが可能となる。
　また、本実施の形態では、時刻ｔ１で取得された撮像データＤａと、時刻ｔ１よりも遅延時間ｔｄの分だけ遅い時刻ｔ２で取得された情動データＤｆとが関連付けられる。これにより、情動データＤｆ特有の遅延時間ｔｄを考慮した撮像データＤｃを得ることが可能となる。
　また、本実施の形態では、参照データＤｅと撮像データＤａとの照合結果に基づいて撮像部１１が制御される。これにより、顔認証を使って撮像部１１を制御することができるので、撮像データＤｃとして残しておきたいものを選択して保存することが可能となる。
　また、本実施の形態では、参照データＤｅおよび情動データＤｆに基づいて撮像部１１や撮像信号処理部１２が制御される。これにより、撮像データＤｃとして、特に感動したり関心したりしたものを選択して保存することが可能となる。
＜２．変形例＞
　次に、上記実施の形態に係る電子機器１の変形例について説明する。なお、以下では、上記実施の形態と共通する構成要素に対しては、同一の符号が付与される。さらに、上記実施の形態と共通する構成要素についての説明は、適宜、省略されるものとする。
[変形例Ａ]
　上記実施の形態において、例えば、図１３に示したように、映像信号生成部１５、表示駆動部１６、表示制御部１７、表示部１８、音声信号生成部２４および音声出力部２５が省略されていてもよい。この場合に、電子機器１は、映像信号生成部１５、表示駆動部１６、表示制御部１７、表示部１８、音声信号生成部２４および音声出力部２５を備えた表示装置２に対して、例えば、通信部６０を介して、図４に示したような表示画面１８Ａを表示させるのに必要なデータを送信するようになっていてもよい。このようにした場合であっても、表示装置２において、遅延時間ｔｄを設定したり、センサの種類を選択したりすることができる。
[変形例Ｂ]
　上記変形例Ａにおいて、例えば、図１４に示したように、ストレージ部３２が省略されていてもよい。この場合に、電子機器１は、ストレージ部３２を有するストレージ装置３に、例えば、通信部６０を介して、撮像データＤｃを保存してもよい。
[変形例Ｃ]
　上記変形例Ａにおいて、例えば、図１５に示したように、電子機器１は、ネットワーク４を介して、表示装置２と通信をするようになっていてもよい。ネットワーク４は、通信部６０によって表示装置２と通信可能な通信規格となっている。
[変形例Ｄ]
　上記変形例Ｂにおいて、例えば、図１６に示したように、電子機器１は、ネットワーク４を介して、表示装置２やストレージ装置３と通信をするようになっていてもよい。
[変形例Ｅ]
　上記実施およびその変形例において、例えば、図１７に示したように、撮像部１１が電子機器１とは別体で設けられていてもよい。この場合、撮像部１１で得られた画像が通信部６０などを介して、画像ブロック１０に入力される。このようにした場合であっても、上記の実施の形態と同様の効果が得られる。
[変形例Ｆ]
　上記実施の形態および変形例Ａ～Ｄにおいて、電子機器１は、例えば、図１８に示したように、当該電子機器１をユーザ１００の身体に取り付け可能な取り付け部１Ｂを更に備えていてもよい。このとき、取り付け部１Ｂは、例えば、電子機器１の本体部１Ａに連結されている。これにより、ユーザ１００が電子機器１を構える必要がないので、被写体の自然な表情を撮ることがより一層容易となる。
[変形例Ｇ]
　上記実施の形態および変形例Ａ～Ｄにおいて、撮像部１１は、例えば、図１９に示したように、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子１ａ，１ｂ，１ｃを有していてもよい。このとき、複数の撮像素子１ａ，１ｂ，１ｃは、例えば、ユーザ１００の帽子１１０などに着脱可能に取り付けられている。これにより、広い範囲を撮像することが可能となる。
[変形例Ｈ]
　上記実施の形態および変形例Ａ～Ｄ，Ｆにおいて、撮像部１１は、例えば、図２０に示したように、レンズ１Ｃを有していてもよい。レンズ１Ｃは、例えば、広角レンズまたは魚眼レンズである。これにより、広い範囲を撮像することが可能となる。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　撮像データを取得する撮像部と、
　取得データから情動データを生成するデータ生成部と、
　前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
　前記情動データに基づいて前記撮像部の設定を経時的に変化させる制御部と
　を備えた
　電子機器。
（２）
　前記取得データは、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについてのデータである
　（１）に記載の電子機器。
（３）
　前記制御部は、前記情動データに基づく前記撮像データの時系列の評価を行い、その評価の結果に基づいて前記撮像部を制御する
　（１）または（２）に記載の電子機器。
（４）
　前記制御部は、前記情動データに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出により得られた前記強度データに基づいて前記撮像部を制御する
　（１）ないし（３）のいずれか１つに記載の電子機器。
（５）
　前記制御部は、前記情動データに基づいて、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つを制御する
　（１）ないし（４）のいずれか１つに記載の電子機器。
（６）
　前記制御部は、前記情動データに基づいて、前記撮像部を、スタンバイ状態および撮像状態のいずれかの状態に設定する
　（１）ないし（４）のいずれか１つに記載の電子機器。
（７）
　前記撮像データを記憶する記憶部を更に備え、
　前記制御部は、前記情動データに基づいて前記撮像データの保存の要否の決定を行い、その決定に基づいて、前記撮像データを前記記憶部に記憶させる
　（１）ないし（６）のいずれか１つに記載の電子機器。
（８）
　前記撮像データを記憶する記憶部を更に備え、
　前記制御部は、前記撮像データを前記記憶部に記憶させ、前記記憶部に記憶されている前記撮像データのうち、前記記憶部に記憶されている期間が所定の期間を超えた部分については、データ消去を行うか、または、新たに記憶させる前記撮像データで上書きを行う
　（１）ないし（６）のいずれか１つに記載の電子機器。
（９）
　前記制御部は、前記撮像データにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、前記撮像データにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データを生成する
　（１）ないし（８）のいずれか１つに記載の電子機器。
（１０）
　前記データ処理部は、第１の時間で取得された前記撮像データと、前記第１の時刻よりも遅い第２の時刻で取得された前記情動データとを時系列に関連付ける
　（１）ないし（９）のいずれか１つに記載の電子機器。
（１１）
　当該電子機器を身体に取り付け可能な取り付け部を更に備えた
　（１）ないし（１０）のいずれか１つに記載の電子機器。
（１２）
　前記撮像部は、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子を有し、
　前記データ処理部は、前記複数の撮像素子で得られた複数の前記特定方向撮像データを、前記撮像データとして、前記情動データと時系列に関連付ける
　（１）ないし（１１）のいずれか１つに記載の電子機器。
（１３）
　前記撮像部は、広角レンズまたは魚眼レンズを有する
　（１）ないし（１２）のいずれか１つに記載の電子機器。
（１４）
　被写体に関する参照データを記憶する記憶部を更に備え、
　前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
　（１）ないし（１３）のいずれか１つに記載の電子機器。
（１５）
　前記撮像部の設定は、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つである
　（１４）に記載の電子機器。
（１６）
　情動に関する参照データを記憶する記憶部を更に備え、
　前記制御部は、前記参照データおよび前記情動データに基づいて前記撮像部を制御する
　（１）ないし（１５）のいずれか１つに記載の電子機器。
（１７）
　撮像データを取得する撮像部と、
　取得データから情動データを生成するデータ生成部と、
　前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
　前記情動データに基づいて前記撮像部を制御する制御部と
　を備えた
　撮像システム。
（１８）
　被写体に関する参照データを記憶する記憶部を更に備え、
　前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
　（１７）に記載の撮像システム。
　本開示の一実施形態に係る電子機器および撮像システムによれば、撮像データと情動データとを時系列に関連付け、情動データに基づいて撮像部を制御するようにしたので、ユーザがシャッターを手動で切らなくても、情動データの変動に応じて、撮像データを得ることが可能となる。従って、ユーザが撮りたいと思う瞬間を逃さずに撮影することが可能となる。なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。
　本出願は、日本国特許庁において２０１９年３月２９日に出願された日本特許出願番号第２０１９－０６８３５８号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (18)

  1. 　撮像データを取得する撮像部と、
    　取得データから情動データを生成するデータ生成部と、
    　前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
    　前記情動データに基づいて前記撮像部を制御する制御部と
    　を備えた
    　電子機器。
  2. 　前記取得データは、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについての計測データである
    　請求項１に記載の電子機器。
  3. 　前記制御部は、前記情動データに基づいて前記撮像データの評価を行い、その評価の結果に基づいて前記撮像部を制御する
    　請求項１に記載の電子機器。
  4. 　前記制御部は、前記情動データに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出により得られた前記強度データに基づいて前記撮像部を制御する
    　請求項１に記載の電子機器。
  5. 　前記制御部は、前記情動データに基づいて、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つを制御する
    　請求項１に記載の電子機器。
  6. 　前記制御部は、前記情動データに基づいて、前記撮像部を、スタンバイ状態および撮像状態のいずれかの状態に設定する
    　請求項１に記載の電子機器。
  7. 　前記撮像データを記憶する記憶部を更に備え、
    　前記制御部は、前記情動データに基づいて前記撮像データの保存の要否の決定を行い、その決定に基づいて、前記撮像データを前記記憶部に記憶させる
    　請求項１に記載の電子機器。
  8. 　前記撮像データを記憶する記憶部を更に備え、
    　前記制御部は、前記撮像データを前記記憶部に記憶させ、前記記憶部に記憶されている前記撮像データのうち、前記記憶部に記憶されている期間が所定の期間を超えた部分については、データ消去を行うか、または、新たに記憶させる前記撮像データで上書きを行う
    　請求項１に記載の電子機器。
  9. 　前記制御部は、前記撮像データにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、前記撮像データにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データを生成する
    　請求項１に記載の電子機器。
  10. 　遅延時間を記憶する記憶部を更に備え、
    　前記データ処理部は、第１の時間で取得された前記撮像データと、前記第１の時刻よりも前記遅延時間の分だけ遅い第２の時刻で取得された前記情動データとを関連付ける
    　請求項１に記載の電子機器。
  11. 　当該電子機器を身体に取り付け可能な取り付け部を更に備えた
    　請求項１に記載の電子機器。
  12. 　前記撮像部は、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子を有し、
    　前記データ処理部は、前記複数の撮像素子で得られた複数の前記特定方向撮像データを、前記撮像データとして、前記情動データと時系列に関連付ける
    　請求項１に記載の電子機器。
  13. 　前記撮像部は、広角レンズまたは魚眼レンズを有する
    　請求項１に記載の電子機器。
  14. 　被写体に関する参照データを記憶する記憶部を更に備え、
    　前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
    　請求項１に記載の電子機器。
  15. 　前記撮像部の設定は、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つである
    　請求項１４に記載の電子機器。
  16. 　情動に関する参照データを記憶する記憶部を更に備え、
    　前記制御部は、前記参照データおよび前記情動データに基づいて前記撮像部を制御する
    　請求項１に記載の電子機器。
  17. 　撮像データを取得する撮像部と、
    　取得データから情動データを生成するデータ生成部と、
    　前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
    　前記情動データに基づいて前記撮像部を制御する制御部と
    　を備えた
    　撮像システム。
  18. 　被写体に関する参照データを記憶する記憶部を更に備え、
    　前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
    　請求項１７に記載の撮像システム。
PCT/JP2020/006669 2019-03-29 2020-02-20 電子機器および撮像システム WO2020202870A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021511209A JP7405138B2 (ja) 2019-03-29 2020-02-20 電子機器および撮像システム
EP20784730.2A EP3952282A4 (en) 2019-03-29 2020-02-20 ELECTRONIC EQUIPMENT AND IMAGING SYSTEM
CN202080023333.XA CN113615162A (zh) 2019-03-29 2020-02-20 电子设备和成像系统
US17/440,334 US20220150401A1 (en) 2019-03-29 2020-02-20 Electronic apparatus and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-068358 2019-03-29
JP2019068358 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020202870A1 true WO2020202870A1 (ja) 2020-10-08

Family

ID=72667909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006669 WO2020202870A1 (ja) 2019-03-29 2020-02-20 電子機器および撮像システム

Country Status (5)

Country Link
US (1) US20220150401A1 (ja)
EP (1) EP3952282A4 (ja)
JP (1) JP7405138B2 (ja)
CN (1) CN113615162A (ja)
WO (1) WO2020202870A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521226B2 (ja) * 2020-03-27 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128266A (ja) * 2005-11-02 2007-05-24 Sharp Corp 電子機器
JP2008118527A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、表示装置、撮像方法、表示方法
JP2008124885A (ja) * 2006-11-14 2008-05-29 Sony Corp 撮像システム、撮像方法
JP2009081784A (ja) * 2007-09-27 2009-04-16 Casio Comput Co Ltd 撮像装置、再生装置、撮影制御設定方法およびプログラム
JP2018151660A (ja) 2018-05-18 2018-09-27 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2019068358A (ja) 2017-10-04 2019-04-25 リオン株式会社 ヘッドホン

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4395908B2 (ja) * 1999-03-29 2010-01-13 ソニー株式会社 信号処理装置および信号処理方法
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5126346B2 (ja) * 2010-11-24 2013-01-23 カシオ計算機株式会社 撮像装置、画像処理方法、及び、プログラム
KR102155521B1 (ko) * 2014-05-23 2020-09-14 삼성전자 주식회사 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
WO2017030212A1 (ko) * 2015-08-18 2017-02-23 엘지전자(주) 이동 단말기 및 그 제어 방법
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
JP2017175517A (ja) * 2016-03-25 2017-09-28 オリンパス株式会社 撮像装置および撮像方法
JP6263252B1 (ja) * 2016-12-06 2018-01-17 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128266A (ja) * 2005-11-02 2007-05-24 Sharp Corp 電子機器
JP2008118527A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、表示装置、撮像方法、表示方法
JP2008124885A (ja) * 2006-11-14 2008-05-29 Sony Corp 撮像システム、撮像方法
JP2009081784A (ja) * 2007-09-27 2009-04-16 Casio Comput Co Ltd 撮像装置、再生装置、撮影制御設定方法およびプログラム
JP2019068358A (ja) 2017-10-04 2019-04-25 リオン株式会社 ヘッドホン
JP2018151660A (ja) 2018-05-18 2018-09-27 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3952282A4

Also Published As

Publication number Publication date
EP3952282A4 (en) 2022-08-24
CN113615162A (zh) 2021-11-05
JP7405138B2 (ja) 2023-12-26
EP3952282A1 (en) 2022-02-09
JPWO2020202870A1 (ja) 2020-10-08
US20220150401A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US8243156B2 (en) Image-capturing apparatus and image-capturing control method
JP4510713B2 (ja) デジタルカメラ
JP4853320B2 (ja) 画像処理装置、画像処理方法
CN108848294B (zh) 一种拍摄参数调整方法、终端及计算机可读存储介质
JP4826485B2 (ja) 画像保存装置、画像保存方法
JP4670939B2 (ja) 撮像装置、撮像装置の表示制御方法
US8218055B2 (en) Imaging apparatus
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
JP2009284235A (ja) 撮像装置
US20160248965A1 (en) Information terminal apparatus, information acquisition apparatus, information support method, and recording medium recording information support program
KR20150088201A (ko) 촬상 장치, 촬상 제어 방법 및 프로그램
WO2020202870A1 (ja) 電子機器および撮像システム
US20140376877A1 (en) Information processing apparatus, information processing method and program
JP5142614B2 (ja) 画像再生装置
JP3730630B2 (ja) 撮像装置及び撮像方法
JP2013187826A (ja) 撮像装置、撮像システム、及び撮像方法
JP2009055080A (ja) 撮像装置、撮像方法
JP4733597B2 (ja) 画像撮影装置および画像撮影装置の表示方法
JP7110985B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009049691A (ja) 画像撮像装置、撮像制御方法
JP4515005B2 (ja) 電子カメラ
WO2024057974A1 (ja) 情報処理装置、情報処理方法
JP2013145983A (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2007282133A (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP2008278351A (ja) 撮影装置、被写体選択方法及び被写体選択プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20784730

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511209

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020784730

Country of ref document: EP

Effective date: 20211029