WO2015170720A1 - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
WO2015170720A1
WO2015170720A1 PCT/JP2015/063237 JP2015063237W WO2015170720A1 WO 2015170720 A1 WO2015170720 A1 WO 2015170720A1 JP 2015063237 W JP2015063237 W JP 2015063237W WO 2015170720 A1 WO2015170720 A1 WO 2015170720A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
remote control
control signal
analysis
Prior art date
Application number
PCT/JP2015/063237
Other languages
English (en)
French (fr)
Inventor
哲哉 松山
藤田　博之
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2015170720A1 publication Critical patent/WO2015170720A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to an image recognition apparatus and an image recognition method for performing image recognition.
  • a remote controller that transmits a remote control signal by blinking, for example, an LED based on a signal obtained by modulating the remote control signal.
  • the remote controller performs pulse position modulation (PPM; Pulse Position Modulation) on the remote control signal, which is a digital signal, and further modulates the HIGH state (also referred to as the ON state) of each pulse with a carrier frequency of, for example, 38 kHz (AM ; Amplitude Modulation).
  • PPM Pulse Position Modulation
  • AM Amplitude Modulation
  • a remote control signal analyzer is known as a remote control signal recognizer that recognizes a remote control signal.
  • the remote control signal analyzer receives light (infrared light) from the LED with an infrared light receiving element, demodulates a detection signal by light reception, and analyzes whether it is a regular remote control signal (see, for example, Patent Document 1). .
  • Patent Document 1 discloses only a configuration for recognizing a remote control signal.
  • An object of the present invention is to provide an image recognition apparatus and an image recognition method for recognizing various information from a captured image.
  • An image recognition apparatus includes an imaging unit that continuously captures a plurality of images, an analysis unit that analyzes temporal changes of a specific image among the plurality of images captured by the imaging unit, and the analysis unit From the result of analysis, an information recognition unit that recognizes predetermined information related to the specific image; It is provided with.
  • the image recognition method of the present invention includes: An imaging step of continuously imaging a plurality of images; Among the plurality of images captured in the imaging step, an analysis step for analyzing a temporal change of a specific image; From the result of analysis in the analysis step, an information recognition step for recognizing predetermined information related to the specific image; It is provided with.
  • the image recognition apparatus and the image recognition method of the present invention can recognize various information from captured images.
  • FIG. It is a block diagram which shows a part of structure of a remote control signal recognition machine. It is a functional block diagram of a remote control signal recognizer.
  • (A) and (B) are captured images, respectively, and (C) is a difference image.
  • (A) is a schematic diagram which shows the time change of the pulse signal after amplitude modulation for demonstrating an exposure interval
  • (B) is a schematic diagram which shows the time change of the average pixel value of a selection area
  • ( C) is a schematic diagram of a pulse waveform. It is a figure which shows the example of format DB.
  • FIG. 10 is a functional block diagram of an AV system according to a third embodiment. It is a figure which shows the example of installation of AV system. It is the schematic of the image recognition system which concerns on Embodiment 4.
  • (A)-(C) are figures which show the structure of a smart phone. It is a functional block diagram of a control part. It is a flowchart which shows operation
  • (A)-(C) are figures which show the example which recognizes the image of eyes as a specific image. It is a figure which shows the example which recognizes the image of the blood vessel of a neck muscle as a specific image.
  • FIG. 1 is an installation diagram for explaining the outline of the remote control signal recognition system 1.
  • FIG. 2 is a block diagram showing a part of the configuration of the remote control signal recognizer 10.
  • FIG. 3 is a functional block diagram of the remote control signal recognizer 10. In FIG. 3, the dotted line indicates the path of the captured image data, and the solid line indicates the path of data other than the captured image data.
  • the remote control signal recognition system 1 includes a television 900, a bar speaker 800, a remote controller 910, and a remote control signal recognizer 10.
  • the bar speaker 800 has a rectangular parallelepiped shape and emits sound based on an audio signal output from the television 900.
  • the bar speaker 800 is arranged in front of the television 900 (direction on the display surface side of the television).
  • light for example, infrared rays
  • the remote control signal recognizer 10 recognizes the remote control signal transmitted from the remote control 910 and outputs the recognized remote control signal to the television 900, thereby realizing the operation of the television 900 by the remote control 910. .
  • the remote control signal recognizer 10 is an example of the image recognition apparatus of the present invention.
  • the remote control signal recognizer 10 is installed in front of the bar speaker 800.
  • the remote control signal recognizer 10 is connected to the television 900 by an MHL (Mobile High-definition Link) cable 801.
  • MHL Mobile High-definition Link
  • the remote control signal recognizer 10 is not limited to the front of the television 900, but may be installed in a range where light from the remote control 910 can be captured.
  • the remote control signal recognizer 10 includes a CPU 100, a FROM 101, a RAM 102, an image sensor 103, and an MHLI / F 104.
  • the CPU 100, FROM 101, RAM 102, image sensor 103, and MHLI / F 104 are connected to each other via a bus.
  • the FROM 101 is a non-volatile memory that stores a program and format information of a remote control signal.
  • the RAM 102 is a readable / writable memory as compared with the FROM 101 and is used as a work area of the CPU 100.
  • the image sensor 103 is, for example, a CCD (Charge Coupled Device) image sensor.
  • the image sensor 103 outputs an electrical signal based on the detected light.
  • the image sensor 103 detects light output from the LED 911 when the button 912 of the remote controller 910 is pressed.
  • the image sensor 103 is not limited to a CCD image sensor, and a general sensor such as a CMOS can be used. Even a general image sensor detects infrared light (wavelength 940 nm), for example.
  • the MHLI / F 104 is an interface that simultaneously transmits and receives information according to the MHL standard, and supplies power from the MHL master unit (television 900) to the MHL slave unit (remote control signal recognizer 10).
  • the MHLI / F 104 is connected to the MHLI / F 901 of the television 900 via the MHL cable 801.
  • the remote control signal recognizer 10 operates by receiving power supply from the television 900 via the MHL cable 801.
  • the remote control signal recognizer 10 outputs various information to the television 900 via the MHL cable 801.
  • the remote control signal recognizer 10 outputs the recognized remote control signal to the television 900.
  • the CPU 100 comprehensively controls each component of the remote control signal recognizer 10.
  • the CPU 100 implements the functions of each functional unit by reading a program from the FROM 101 and developing it in the RAM 102.
  • the remote control signal recognizer 10 includes an imaging unit 11, a first storage unit 12A, a region selection unit 13, a light emission pattern extraction unit 14, a quantization unit 15, an analysis unit 16, a second storage unit 12B, Each function of the output unit 17 is realized.
  • the imaging unit 11 continuously captures a plurality of images by converting an electrical signal output from the image sensor 103 into a pixel value, and stores data of a plurality of captured images (for example, RGB images) in the first storage unit. 12A (implemented by the RAM 102).
  • the imaging unit 11 images at a frame rate of 2 kHz, for example.
  • the region selection unit 13 reads a plurality of captured image data from the first storage unit 12A, performs the following analysis processing, and then stores the selection information in the first storage unit 12A.
  • the selection information is information for selecting a region including pixels whose pixel values change periodically.
  • 4A and 4B are captured images, respectively, and FIG. 4C is a difference image.
  • the difference image in FIG. 4C shows the difference between the captured image shown in FIG. 4A and the captured image shown in FIG.
  • the captured image illustrated in FIG. 4A is captured at time t
  • the captured image illustrated in FIG. 4B is captured at time t + 1.
  • Time t + 1 is a timing after 0.5 ms (corresponding to a frame rate of 2 kHz) has elapsed from time t.
  • the captured image 920 (t) includes a user 922, an LED 911 of the remote controller 910, and furniture 923.
  • the captured image (t + 1) also includes the user 922, the LED 911 of the remote controller 910, and the furniture 923.
  • the region selection unit 13 calculates the difference between the pixel values at the time t + 1 from the pixel values at the time t + 1 for each pixel of the captured image 920, and obtains the difference image 930 (t + 1) illustrated in FIG. Then, in the difference image 930 (t + 1), the pixel value becomes 0 except for the pixel whose pixel value has changed in 0.5 ms from time t to time t + 1. The region selection unit 13 obtains a difference image 930 (t) every time t.
  • the area selection unit 13 selects an area including a periodically changing pixel value as an area including the LED 911 of the remote controller 910.
  • the region selection unit 13 selects only the selection region 931 (t + 1) as a region including the LED 911 of the remote controller 910.
  • the area selection unit 13 stores information (for example, position and size) of the selection area 931 in the first storage unit 12A.
  • the region selection unit 13 performs smoothing processing (for example, processing by a median filter) on the captured image 920 (t) and the captured image 920 (t + 1), for example, in order to reduce the influence of noise generated in the difference image 930 (t + 1).
  • smoothing processing for example, processing by a median filter
  • the difference between the pixel values may be calculated.
  • FIG. 5A is a schematic diagram showing a time change of the pulse signal after amplitude modulation for explaining the exposure interval.
  • a remote control signal (digital signal) to be transmitted is subjected to pulse position modulation (PPM) and amplitude modulation (AM) as modulation processing before transmission.
  • PPM pulse position modulation
  • AM amplitude modulation
  • the pulse signal in pulse position modulation, is set to HIGH state at 0.56 ms and then set to LOW state at either 0.56 ms or 1.69 ms to indicate bit 0 or bit 1. That is, in the pulse position modulation, the remote control signal is modulated by shifting the position of the HIGH state of 0.56 ms. For example, in amplitude modulation, the HIGH state of the pulse signal after pulse position modulation is replaced with a pulse having a duty ratio of 1/3 and a frequency of 38 kHz. This frequency 38 kHz is a carrier frequency for amplitude modulation.
  • the remote controller 910 blinks the LED 911 based on the remote control signal subjected to pulse position modulation and amplitude modulation. That is, the remote controller 910 turns on the LED 911 in the HIGH state of the pulse signal after amplitude modulation, and turns off the LED 911 in the LOW state.
  • the pulse signal after amplitude modulation becomes a LOW state after, for example, a pulse 940 (t) to a pulse 940 (t + 7) having a frequency of 38 kHz continue.
  • the imaging unit 11 captures an image at a frame rate lower than the amplitude modulation carrier frequency and higher than the pulse position modulation frequency.
  • the pulse position modulation frequency is a frequency of 1,786 Hz corresponding to the HIGH state time (0.56 ms) in the pulse signal after the pulse position modulation.
  • the imaging unit 11 repeats imaging at a time interval of 0.5 ms (corresponding to a frame rate of 2 kHz).
  • the imaging unit 11 captures an image by integrating blinking of LEDs for eight pulses at the exposure interval 941 (s).
  • the imaging unit 11 captures an image by integrating blinking of the LEDs 911 for zero pulses at an exposure interval 941 (s + 1). Accordingly, the imaging unit 11 captures an image so that the LED 911 is turned on at the exposure interval 941 (s), and captures an image so that the LED 911 is turned off at the exposure interval 941 (s + 1).
  • the pixel value for example, red component
  • the pixel value corresponding to the position of the LED 911 increases, and in the captured image corresponding to the exposure interval 941 (s + 1), The corresponding pixel value is reduced.
  • the imaging unit 11 performs integral imaging, for example, even when the carrier frequency of amplitude modulation is 40 kHz, the image sensor 103 can cause the LED 911 to flash.
  • the imaging unit 11 captures the blinking of the LED 911 within the detectable range of the image sensor 103 (for example, the range from the wavelength of visible light to the wavelength of infrared light (940 nm)) regardless of the wavelength of the light from the LED 911. Is possible.
  • the light emission pattern extraction unit 14 refers to the first storage unit 12A, reads a plurality of captured image data, and extracts the light emission pattern of the LED 911 of the remote controller 910.
  • the light emission pattern extraction unit 14 reads captured image data only for the selection region 931 set by the region selection unit 13 in order to reduce the processing load.
  • the light emission pattern extraction unit 14 obtains the temporal change of the pixel value in the selected area.
  • the light emission pattern extraction unit 14 obtains, for example, a temporal change in the average pixel value of the red component (R) in the selection region 931 in 100 captured images.
  • the temporal change in the average pixel value of the red component (R) in the selection area 931 corresponds to the light emission pattern of the LED 911.
  • the light emission pattern extraction unit 14 is not limited to the average pixel value, and may obtain the temporal change of the maximum pixel value in the selection area 931 as the light emission pattern. Moreover, the light emission pattern extraction part 14 may obtain
  • the quantization unit 15 quantizes each average pixel value shown in the light emission pattern extracted by the light emission pattern extraction unit 14 to generate pulsed waveform data. For example, the quantization unit 15 bisects each average pixel value using a pixel value threshold and quantizes the average pixel value. Then, each average pixel value is divided into two values (HIGH state / LOW state). And the quantization part 15 produces
  • FIG. 5B is a schematic diagram showing a temporal change in the average pixel value of the selected region
  • FIG. 5C is a schematic diagram of a pulse waveform.
  • the average pixel value of the red component (R) continues after the high values shown in the pixel point 945 (t) to the pixel point 945 (t + 6), and then the pixel point The low values shown at 945 (t + 7), pixel point 945 (t + 8), and pixel point 945 (t + 9) respectively follow.
  • the portion where the high average pixel value continues indicates a state in which the LED 911 of the remote controller is lit as a result of integration and imaging.
  • the light emission pattern extraction part 14 calculates
  • the quantization unit 15 quantizes each average pixel value into a binary value using a threshold value (for example, pixel value 100 in 8-bit gradation), and connects the pixel points. Then, as shown in FIG. 5C, the pulse waveform is in a HIGH state from 1 ms to 10 ms, and is in a LOW state from 10 ms to 14.5 ms.
  • This pulse waveform corresponds to a pulse signal obtained by pulse position modulation of the remote control signal. Therefore, a remote control signal is extracted by performing demodulation corresponding to pulse position modulation on the pulse waveform shown in FIG.
  • the remote control signal recognizer 10 since the remote control signal recognizer 10 according to the present embodiment includes a pulse that does not follow pulse position modulation such as a leader pulse and a stop bit in the waveform data, first, the format is specified as follows.
  • the pulse waveform data created by the quantization unit 15 is output to the analysis unit 16.
  • the analysis unit 16 determines whether the input pulse waveform data conforms to the format of the remote control signal. When the input waveform data conforms to the format of the remote control signal, the analysis unit 16 extracts the remote control signal from the waveform data based on the conforming format.
  • the analysis unit 16 refers to the second storage unit 12B (implemented by the FROM 101), reads the remote control signal format DB, and determines whether or not the input remote control signal conforms to the remote control signal format.
  • FIG. 6 is a diagram showing an example of the format of the remote control signal stored in the format DB.
  • the format DB associates format names with rules (judgment conditions) such as the number of pulses and pulse width.
  • Format DB defines all types of formats used as remote control signals, but for ease of explanation, three types of FMT_A, FMT_B, and FMT_C are representatively shown.
  • FMT_A the number of pulses is 34 and the pulse width (HIGH state width) is defined as 0.56 ms to 9.0 ms.
  • the analysis unit 16 determines that the waveform data shown in FIG. 5C conforms to the format defined in FMT_A shown in FIG. 6 from the characteristics of the leader pulse. Then, as defined by FMT_A, the analysis unit 16 performs demodulation corresponding to pulse position modulation on 34 pulses following the leader pulse, and extracts a remote control signal.
  • the analysis unit 16 does not extract the remote control signal when the pulse waveform data generated by the quantization unit 15 does not conform to any format defined in the format DB. Thereby, the remote control signal recognizer 10 can prevent an unauthorized remote control signal from being recognized.
  • the remote control signal extracted by the analysis unit 16 is output to the output unit 17.
  • the output unit 17 outputs the extracted remote control signal to the MHLI / F 901 of the television 900 in conformity with the MHL standard. Then, the CPU 902 of the television 900 operates based on the remote control signal input to the MHLI / F 901 and changes the display content of the display 903, for example.
  • the remote control signal recognizer 10 can extract the remote control signal by imaging the light emission pattern of the LED 911 based on the remote control signal without depending on the carrier frequency (for example, 38 kHz) of the amplitude modulation. .
  • the remote control signal recognizer 10 detects not only the infrared light for the remote control signal (wavelength 940 nm) but also the IrDA standard infrared light (wavelength 850 nm to 900 nm) by the image sensor 103, so that the wavelength of the light used for the carrier is changed. Regardless, the remote control signal can be extracted.
  • the infrared light receiving element of the prior art has a narrow light receiving angle of, for example, 30 ° because of the element structure, but the remote control signal recognizer 10 uses the image sensor 103 having a wide angle of view, for example, a light receiving angle of 100 °. Can be realized.
  • the light can be imaged even if the light of the LED 911 is weak, so that the remote control signal can be extracted.
  • the remote control signal recognizer 10 can prevent the remote control signal from being extracted from the blinking light that becomes noise by setting a large threshold value of the average pixel value in the quantization unit 15.
  • the light receiving sensitivity of the remote control signal recognizer 10 can be adjusted by adjusting the threshold value.
  • the remote controller signal recognizer 10 does not select the area of the LED 911 of the remote controller 910 in the captured image, the remote controller signal recognizer 10 obtains a change in the maximum value of the pixel value of the red component from the entire difference image and extracts the light emission pattern.
  • the region selection unit 13 may select a region including the LED 911 of the remote controller 910 based on a pixel value change pattern that is periodically converted. For example, the region selection unit 13 selects only a pixel region that periodically changes from 1.5 kHz to 2.5 kHz. In other words, the region selection unit 13 does not select, for example, a pixel blinking at 500 Hz (for example, a fluorescent lamp pixel blinking at a harmonic component of 500 Hz). Thereby, the area selection unit 13 can select only the area of the LED 911 of the remote controller 910 even if a noise source of a remote control signal such as a fluorescent lamp is imaged.
  • a noise source of a remote control signal such as a fluorescent lamp
  • the analysis unit 16 it is not essential for the analysis unit 16 to determine whether or not it conforms to the format of the remote control signal.
  • the analysis unit 16 may perform demodulation corresponding to pulse position modulation only for FMT_A.
  • FIG. 7 is a functional block diagram of remote control signal recognition system 100A.
  • the analysis unit 16 and the second storage unit 12B of the remote control signal recognizer 10 according to the first embodiment are provided in a separate information processing apparatus (server) 20, and the remote control signal recognizer 10A. Is different from the remote control signal recognition system 1 according to the first embodiment in that the information processing apparatus 20 and the information processing apparatus 20 are connected via a network. The description of the overlapping configuration is omitted.
  • the remote control signal recognizer 10A includes a transmission / reception unit 18A.
  • the information processing apparatus 20 includes a transmission / reception unit 18B, an analysis unit 16, and a second storage unit 12B.
  • the transmission / reception unit 18A and the transmission / reception unit 18B transmit / receive data to / from each other via the Internet, for example.
  • the pulse waveform data generated by the quantization unit 15 is output to the transmission / reception unit 18A.
  • the transmission / reception unit 18A transmits the pulse waveform data to the transmission / reception unit 18B of the information processing device 20.
  • the analysis unit 16 receives the pulse waveform data from the transmission / reception unit 18B, and extracts a remote control signal from the pulse waveform data.
  • the remote control signal is input to the output unit 17 via transmission from the transmission / reception unit 18B to the transmission / reception unit 18A.
  • the remote control signal recognizer 10A causes the information processing apparatus 20 to determine which remote control signal format the light emission pattern of the LED 911 of the captured remote control 910 matches, even if the format DB is not stored in the own device. be able to.
  • the information processing apparatus 20 is not limited to the example in which the remote control signal extracted by the analysis unit 16 is returned to the remote control signal recognizer 10, and may be used by the own apparatus without being returned.
  • the information processing apparatus 20 collects information included in the extracted remote control signal as viewing information of the television 900, and calculates a viewing rate.
  • FIG. 8 is a functional block diagram of the AV system 100B according to the third embodiment.
  • the AV system 100B is different from the remote control signal recognition system 1 according to the first embodiment in that the AV system 100B includes a remote control signal recognizer 10, a television 900B1, and an AV receiver 900B2. The description of the overlapping configuration is omitted.
  • the remote control signal extracted by the remote control signal recognizer 10 is output to the television 900B1 and further transferred to the AV receiver 900B2 by the television 900B1.
  • the television 900B1 includes an input unit 931B1, a control unit 932, and an output unit 933.
  • the remote control signal output in accordance with the MHL standard from the remote control signal recognizer 10 is input to the input unit 931B1.
  • the control unit 932 analyzes the remote control signal input to the input unit 931B1 and determines that the remote control signal is not for the device itself, the control unit 932 controls the output unit 933 to output the remote control signal.
  • the control unit 932 determines, for example, whether or not the remote control signal is for the device itself based on customer data included in the remote control signal (information embedded in the customer code section after pulse position modulation).
  • the output unit 933 outputs a remote control signal to the AV receiver 900B2 via an HMDI cable in accordance with, for example, HDMI-CEC (; High Definition Multimedia Interface-Consumer Electronics Control. HDMI is a registered trademark) standard.
  • AV receiver 900B2 operates based on the remote control signal input to input unit 931B2.
  • FIG. 9 is a diagram showing an installation example of the AV system 100B.
  • the remote control signal recognizer 10 is installed above the display surface of the television 900B1.
  • the AV receiver 900B2 is installed inside a TV rack 950 that is a mounting table for the television 900B1. This makes it difficult for light to reach the infrared receiver of the AV receiver 900B2.
  • the TV 900B1 transfers the remote control signal extracted by the remote control signal recognizer 10 to the AV receiver 900B2. Therefore, since the image sensor 103 of the remote control signal recognizer 10 can receive light at a wide angle, the user can give an operation instruction to the AV receiver 900B2 by the remote controller 910 from anywhere in the viewing environment of the television 900B1.
  • FIG. 10 is a schematic diagram of an image recognition system according to the fourth embodiment.
  • a user photographs a specific photographing object (for example, his / her face) using an information processing device (in this example, a smartphone 6), and predetermined information is obtained from an image photographed by the smartphone 6. Is to recognize.
  • an information processing device in this example, a smartphone 6
  • FIG. 11A is a block diagram showing the main configuration of the smartphone 6, FIG. 11B is a plan view, and FIG. 11C is a bottom view.
  • the smartphone 6 includes a control unit 61, an out camera 62, an in camera 63, a communication unit 64, an operation unit 65, and a display unit 66.
  • the control unit 61 reads an operation program stored in a medium such as a flash ROM (not shown) and controls the operation of the smartphone 6 in an integrated manner.
  • the control unit 61 constitutes an analysis unit, an information recognition unit, and a region selection unit of the present invention by the operation program.
  • the out camera 62 and the in camera 63 correspond to the imaging unit of the present invention.
  • the out camera 62 is provided on the back surface of the smartphone 6 and is a camera for capturing an image desired by the user.
  • the in-camera 63 is a camera that is provided in front of the smartphone 6 and images the user.
  • the control unit 61 detects a face image from a plurality of images (moving images or the like) continuously captured by the out camera 62 or the in camera 63, and extracts an eye image from the detected face image.
  • 10 and 11 show the smartphone 6 as an example of the information processing device, but the information processing device may be a wearable information processing device in the shape of glasses, for example. It is.
  • the display unit 66 is provided in front of the smartphone 6 and displays various images.
  • the display unit 66 displays an image captured by the out camera 62 or the in camera 63.
  • the user can confirm the image captured by the out camera 62 or the in camera 63 by confirming the image displayed on the display unit 66.
  • the display unit 66 is provided with a touch panel, which also functions as the operation unit 65 that is a user interface. For example, when the user touches an icon or the like displayed on the display unit 66 with a finger, the control unit 61 activates a predetermined application program. Here, an example of starting the image recognition program is shown.
  • the user After starting the image recognition program, the user operates the smartphone 6 and images the object to be photographed with the out camera 62 or the in camera 63. In this example, the user photographs his / her face with the in-camera 63.
  • FIG. 12 is a functional block diagram of the control unit 61.
  • FIG. 13 is a flowchart showing the operation of the control unit 61.
  • the analysis unit 611 inputs image data captured by the in-camera 63 (s12). Since the in-camera 63 continuously captures a plurality of images (moving images), a plurality of image data is continuously input to the analysis unit 611.
  • the analysis unit 611 extracts a specific image from the plurality of input image data (s13). For example, as illustrated in FIG. 14A, the analysis unit 611 extracts an eye image as a specific image. At this time, the analysis unit 611 corrects the inclination of the image or corrects the size.
  • the region selection unit 612 in the analysis unit 611 selects a region including pixels of the extracted eye image (s14).
  • the region selection processing by the region selection unit 612 is not essential in the present invention.
  • the analysis unit 611 analyzes the time change of the eye image from the plurality of image data (s16). For example, as shown in FIG. 14 (A), a state in which the pupil exists at the center position of the eye image is defined as a reference (C) that is a reference state, and the position of the pupil (center) from the reference (C) in each image data (Left and right deviation from the position) is calculated. Then, as illustrated in FIG. 14B, the analysis unit 611 calculates the amount of movement of the eyeball per predetermined time by representing the position of the pupil (left and right deviation from the center position) on the time axis.
  • the information recognition unit 613 recognizes predetermined information related to the eye image from the analysis result of the analysis unit 611 (s16).
  • the information recognizing unit 613 recognizes information indicating the health state (information on the human body) such as whether the movement of the eyeball is stable or not convulsed as the predetermined information.
  • the approximate curve of the movement amount of the eyeball intersects with the reference (C) few times, and the movement of the eyeball is stable.
  • the approximate curve intersects with the reference (C) many times and is in a state of convulsions. Therefore, the information recognition unit 613 calculates the number of times that the approximate curve intersects the reference (C) per predetermined time, and recognizes that the movement of the eyeball is stable when the number of times is less than the threshold. When the number of times is equal to or greater than the threshold value, it is recognized as a convulsed state.
  • the information recognized by the information recognition unit 613 is displayed on the display unit 66, for example (s17).
  • the user can easily grasp his / her health by simply taking a video of his / her face with the smartphone 6.
  • the smartphone 6 can also recognize information indicating the health state by analyzing the eye color.
  • white may be set as a reference state, for example, the user captures his / her face in a state where he / she recognizes that he / she is healthy, and the analysis unit 611 references the eye color when healthy. It is good also as a state.
  • information indicating the eye color in the health state may be downloaded from a server or the like to enter the reference state.
  • the health condition can be quantified as, for example, the degree of fatigue according to a change in the eye color from the reference state.
  • the health state of the eyes for example, eyelid opening, eyeball color (iris), pupil size, and difference between the left and right eye states can be recognized.
  • the degree of opening of the eyelids can be a healthy state that indicates drowsiness.
  • the user shoots and saves his / her face in a state where he / she recognizes that he / she does not feel drowsiness, and the analyzing unit 611
  • the time change may be used as a reference state.
  • the eye image in the awake state may be downloaded from a server or the like to enter the reference state.
  • the smartphone 6 recognizes the pulse rate (pulse rate per minute) by analyzing a plurality of images obtained by continuously imaging the expansion and contraction of the blood vessels of the neck muscle and the time interval thereof. Is possible.
  • the control unit 61 may display the pulse rate as it is on the display unit 66, or may display a health state (within a normal range, tachycardia, bradycardia, etc.) according to the pulse rate. May be.
  • the respiratory rate by analyzing the expansion and contraction of the chest, and it is also possible to recognize the blood pressure.
  • the blood pressure is measured using a sphygmomanometer, and the face (particularly the neck) at that time is photographed with the smartphone 6.
  • the control unit 61 stores a continuous image including an image at the time of maximum expansion of the blood vessel of the neck muscle at this time in association with the measured blood pressure as a reference state. Thereafter, the blood pressure can be estimated / recognized by determining the raised state of the blood vessel of the captured moving image with respect to the reference state.
  • the information indicating the health state is not limited to the example displayed on the display unit 66, and may be transmitted to another device via the communication unit 64, for example.
  • Information indicating the health condition may be transmitted as it is to the other device, but other information related to the information indicating the health condition may be transmitted, for example.
  • a remote control signal that brightens the illumination is transmitted to make the user feel sleepy, or vice versa. Sends and performs an action to promote sleep.
  • the smartphone 6 generally has a clock function, when recognizing that the user feels drowsy, for example, after 8 pm, the remote controller that dims the illumination You may perform the operation
  • the shooting is performed using the smartphone 6 possessed by the user.
  • the shooting is performed with a fixed-point camera installed indoors (for example, a monitoring camera in an intensive care unit), and the fixed-point camera
  • the moving image may be analyzed by an information processing apparatus connected to the.
  • the information processing apparatus recognizes information related to the health state by analyzing the motion of the patient and the face color of the patient from a plurality of consecutive images (for example, the face color changes even though it is not moved by walking). For example, if the facial color difference from the reference state is out of the predetermined range and it is determined that the physical condition is not excellent, the nurse call may be automatically performed.
  • the recognized information is not limited to an example of being displayed on the display unit 66 or transmitted to another device.
  • the recognized information is stored in a storage medium such as a flash ROM (not shown) and saved as a log. But you can.
  • An image recognition apparatus includes: an imaging unit that continuously captures a plurality of images; an analysis unit that analyzes temporal changes of a specific image among the plurality of images captured by the imaging unit; And an information recognizing unit that recognizes predetermined information related to the specific image from the analysis result.
  • the specific image is, for example, an image of a human eye.
  • the analysis unit analyzes the temporal change of the photographed eye image. For example, the analysis unit calculates the movement amount of the eyeball per predetermined time.
  • the information recognizing unit recognizes information (information related to the human body) indicating a health state such as whether the movement of the eyeball is stable (whether it is not convulsed) as predetermined information from the movement amount of the eyeball.
  • the image recognition device recognizes the degree of fatigue by analyzing changes in eye color, for example, recognizing physical condition by analyzing face color, and recognizing the pulse rate by analyzing the expansion and contraction of the cervical blood vessels It is possible to recognize various information such as.
  • the user can easily grasp his / her health simply by photographing his / her face with an information processing device such as a smartphone.
  • the user can grasp the health condition of the child only by photographing the face of a small child who cannot speak for himself.
  • the image recognition device includes a region selection unit that selects a region of the specific image in a plurality of images captured by the imaging unit, and the analysis unit is configured to select a region in the region selected by the region selection unit. The time change of the specific image is analyzed.
  • the region selection unit selects a region including pixels corresponding to the above-described human eyes.
  • the pixel area related to image processing is reduced, and the processing burden is reduced.
  • the analysis unit extracts a reference state of the specific image, analyzes a difference between the specific image in the plurality of images captured by the imaging unit and the reference state, and the information recognition unit The predetermined information is recognized based on a difference between a specific image in the plurality of images captured by the imaging unit and the reference state.
  • the analysis unit extracts a state in which the pupil exists at the center position of the eye as a reference state, and calculates a left / right shift of the pupil from the reference state.
  • the user photographs his / her face in a state where he / she recognizes that he / she is healthy, and the analysis unit sets the eye color when he / she is healthy as a reference state, and the eye color from the reference state It is also possible to analyze the change of.
  • the image recognition apparatus includes a transmission unit that transmits the recognized predetermined information to another device.
  • the image recognition apparatus includes a display unit that displays the predetermined information.
  • a remote control signal for brightening the illumination is transmitted to perform an operation to make the user feel sleepy.
  • the image recognition device has a clock function, for example, when it is determined that it is after 8:00 pm, the image recognition device transmits a remote control signal for dimming the illumination and performs an operation for promoting the user's sleep.
  • the predetermined information includes information relating to the human body.
  • the image recognition method is An imaging step of continuously imaging a plurality of images; Among the plurality of images captured in the imaging step, an analysis step for analyzing a temporal change of a specific image; From the result of analysis in the analysis step, an information recognition step for recognizing predetermined information related to the specific image; It is provided with.
  • an image recognition apparatus and an image recognition method capable of recognizing various kinds of information from captured images.
  • Display 910 Remote control 911 ... LED 912 ... Button 931B1 ... Input unit 931B2 ... Input unit 932 ... Control unit 933 ... Output unit 6 ... Smartphone 61 ... Control unit 62 ... Out camera 63 ... In camera 64 ... Communication unit 65 ... Operation unit 66 ... Display unit 611 ... Analysis unit 612 ... Area selection unit 613 ... Information recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Eye Examination Apparatus (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

　解析部（６１１）は、インカメラ（６３）が撮影した画像のデータを入力する。解析部（６１１）は、入力された複数の画像データから、特定の画像を抽出する。例えば、解析部（６１１）は、目の画像を特定の画像として抽出する。解析部（６１１）は、複数の画像データから、目の画像の時間変化を解析する。例えば、瞳が目の中心位置に存在する状態を基準（Ｃ）として、各画像データにおける基準（Ｃ）からの瞳の左右のずれを算出する。情報認識部（６１３）は、解析部（６１１）の解析結果から、目の画像に関係する所定の情報を認識する。

Description

画像認識装置および画像認識方法
　本発明は、画像認識を行う画像認識装置及び画像認識方法に関する。
　従来、リモコン信号を変調した信号に基づいて例えばＬＥＤを点滅させることにより、当該リモコン信号を送信するリモコンが知られている。具体的には、リモコンは、デジタル信号であるリモコン信号をパルス位置変調（ＰＰＭ；Ｐｕｌｓｅ　Ｐｏｓｉｔｉｏｎ　Ｍｏｄｕｌａｔｉｏｎ）し、さらに各パルスのＨＩＧＨ状態（ＯＮ状態ともいう）を例えば３８ｋＨｚのキャリア周波数で振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ　Ｍｏｄｕｌａｔｉｏｎ）する。そして、リモコンは、振幅変調したパルス信号に基づいてＬＥＤを点滅させる。
　また、従来、リモコン信号を認識するリモコン信号認識機として、リモコン信号解析機が知られている。リモコン信号解析機は、ＬＥＤからの光（赤外線）を赤外線受光素子で受光し、受光による検出信号を復調して正規のリモコン信号であるか否かを解析する（例えば特許文献１を参照。）。
日本国特開２００７－１９４９４９号公報
　しかし、特許文献１では、リモコン信号を認識する旨の構成しか開示されていない。
　本発明の目的は、撮影した画像から様々な情報を認識する画像認識装置及び画像認識方法を提供することである。
　本発明の画像認識装置は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、
を備えたことを特徴とする。
　本発明の画像認識方法は、
　連続して複数の画像を撮像する撮像ステップと、
　前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
　前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
を備えたことを特徴とする。
　本発明の画像認識装置及び画像認識方法は、撮影した画像から様々な情報を認識することができる。
実施形態１に係るリモコン信号認識システムの概要を説明するための設置図である。 リモコン信号認識機の構成の一部を示すブロック図である。 リモコン信号認識機の機能ブロック図である。 （Ａ）及び（Ｂ）は、それぞれ撮像画像であり、（Ｃ）は、差分画像である。 （Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図であり、（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、（Ｃ）は、パルス波形の模式図である。 フォーマットＤＢの例を示す図である。 実施形態２に係るリモコン信号認識システムの機能ブロック図である。 実施形態３に係るＡＶシステムの機能ブロック図である。 ＡＶシステムの設置例を示す図である。 実施形態４に係る画像認識システムの概略図である。 （Ａ）～（Ｃ）は、スマートフォンの構成を示す図である。 制御部の機能的ブロック図である。 スマートフォンの動作を示すフローチャートである。 （Ａ）～（Ｃ）は、目の画像を特定の画像として認識する例を示す図である。 首筋の血管の画像を特定の画像として認識する例を示す図である。
　まず、本発明の画像認識装置を備えたリモコン信号認識システム１を示す。図１は、リモコン信号認識システム１の概要を説明するための設置図である。図２は、リモコン信号認識機１０の構成の一部を示すブロック図である。図３は、リモコン信号認識機１０の機能ブロック図である。図３において、点線は、撮像画像データの経路を示し、実線は、撮像画像データ以外のデータの経路を示している。
　図１に示すように、リモコン信号認識システム１は、テレビ９００、バースピーカ８００、リモコン９１０、及びリモコン信号認識機１０を備えている。
　バースピーカ８００は、直方体形状であり、テレビ９００から出力される音声信号に基づいて放音する。バースピーカ８００は、テレビ９００の前方（テレビの表示面側の方向）に配置されている。これにより、リモコン９１０が出力する光（例えば赤外線）は、バースピーカ８００に阻害されるため、テレビ９００の受光部（不図示）に届かない。そこで、リモコン信号認識システム１では、リモコン信号認識機１０がリモコン９１０から送信されたリモコン信号を認識し、認識したリモコン信号をテレビ９００に出力することで、リモコン９１０によるテレビ９００の動作を実現する。
　リモコン信号認識機１０は、本発明の画像認識装置の一例である。リモコン信号認識機１０は、バースピーカ８００の前方に設置されている。リモコン信号認識機１０は、ＭＨＬ（；Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）ケーブル８０１により、テレビ９００に接続されている。ただし、リモコン信号認識機１０は、テレビ９００の前方に限らず、リモコン９１０からの光を撮影できる範囲に設置されればよい。
　図２に示すように、リモコン信号認識機１０は、ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４を備えている。ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４は、バスを介して互いに接続されている。
　ＦＲＯＭ１０１は、不揮発性のメモリであり、プログラム、及びリモコン信号のフォーマット情報が記憶されている。ＲＡＭ１０２は、ＦＲＯＭ１０１に比べて高速に読み書き可能なメモリであり、ＣＰＵ１００のワークエリアとして用いられる。
　イメージセンサ１０３は、例えばＣＣＤ（；Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサである。イメージセンサ１０３は、検出した光に基づいた電気的信号を出力する。イメージセンサ１０３は、リモコン９１０のボタン９１２が押下されることでＬＥＤ９１１から出力される光を検出する。イメージセンサ１０３としては、ＣＣＤイメージセンサに限らず、ＣＭＯＳ等の一般的なものを用いることができる。一般的なイメージセンサであっても、例えば赤外線（波長９４０ｎｍ）の光を検出する。
　ＭＨＬＩ／Ｆ１０４は、ＭＨＬ規格で情報の送受信、及びＭＨＬ親機（テレビ９００）からＭＨＬ子機（リモコン信号認識機１０）への電力供給を同時に行うインターフェースである。ＭＨＬＩ／Ｆ１０４は、テレビ９００のＭＨＬＩ／Ｆ９０１にＭＨＬケーブル８０１を介して接続されている。これにより、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して、テレビ９００から電力供給を受けて動作する。また、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して各種情報をテレビ９００に出力する。本実施形態では、リモコン信号認識機１０は、認識したリモコン信号をテレビ９００に出力する。
　ＣＰＵ１００は、リモコン信号認識機１０の各構成を統括的に制御する。ＣＰＵ１００は、ＦＲＯＭ１０１からプログラムを読み出してＲＡＭ１０２に展開することにより、各機能部の機能を実現する。
　図３に示すように、リモコン信号認識機１０は、撮像部１１、第１記憶部１２Ａ、領域選択部１３、発光パターン抽出部１４、量子化部１５、解析部１６、第２記憶部１２Ｂ、及び出力部１７の各機能を実現している。
　撮像部１１は、イメージセンサ１０３が出力する電気的信号を画素値に変換することにより、連続して複数の画像を撮像して、複数の撮像画像（例えばＲＧＢ画像）のデータを第１記憶部１２Ａ（ＲＡＭ１０２により実現される）に記憶させる。撮像部１１は、例えば２ｋＨｚのフレームレートで撮像する。
　領域選択部１３は、第１記憶部１２Ａから複数の撮像画像データを読み出して、以下の解析処理を行った後に、選択情報を第１記憶部１２Ａに記憶させる。選択情報とは、画素値が周期的に変化する画素を含む領域を選択する情報である。
　領域選択部１３の処理例について図４（Ａ）～図４（Ｃ）を用いて説明する。図４（Ａ）及び図４（Ｂ）は、それぞれ撮像画像であり、図４（Ｃ）は、差分画像である。図４（Ｃ）の差分画像は、図４（Ａ）に示す撮像画像と図４（Ｂ）に示す撮像画像との差分を示している。また、図４（Ａ）に示す撮像画像は、時刻ｔで撮像され、図４（Ｂ）に示す撮像画像は、時刻ｔ＋１で撮像されたものである。時刻ｔ＋１は、時刻ｔから０．５ｍｓ（フレームレート２ｋＨｚに対応する）経過後のタイミングである。
　図４（Ａ）に示すように、撮像画像９２０（ｔ）には、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。同様に、撮像画像（ｔ＋１）にも、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。
　領域選択部１３は、撮像画像９２０の各画素について、時刻ｔ＋１の画素値から時刻ｔの画素値の差分を算出し、図４（Ｃ）に示す差分画像９３０（ｔ＋１）を求める。すると、差分画像９３０（ｔ＋１）において、時刻ｔから時刻ｔ＋１までの０．５ｍｓ間で画素値が変化した画素以外は、画素値が０となる。領域選択部１３は、時刻ｔ毎に差分画像９３０（ｔ）を求める。
　領域選択部１３は、周期的に変化する画素値を含む領域をリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。図４（Ｃ）に示す例において、領域選択部１３は、選択領域９３１（ｔ＋１）のみをリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。領域選択部１３は、選択領域９３１の情報（例えば位置および大きさ）を第１記憶部１２Ａに記憶させる。
　なお、領域選択部１３は、差分画像９３０（ｔ＋１）に生じるノイズの影響を減らすために、例えば撮像画像９２０（ｔ）及び撮像画像９２０（ｔ＋１）を平滑処理（例えばメディアンフィルタによる処理）した後、画素値の差分を算出してもよい。
　ここで、撮像部１１のフレームレートと、リモコン９１０のＬＥＤ９１１の発光パターンとの関係について図５（Ａ）を参照して説明する。図５（Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図である。
　まず、リモコン信号の送信について説明する。送信されるべきリモコン信号（デジタル信号）は、送信前の変調処理として、パルス位置変調（ＰＰＭ；Ｐｕｌｓｅ　Ｐｏｓｉｔｉｏｎ　Ｍｏｄｕｌａｔｉｏｎ）された後、振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ　Ｍｏｄｕｌａｔｉｏｎ）される。
　例えば、パルス位置変調では、パルス信号において、０．５６ｍｓでＨＩＧＨ状態とした後に、０．５６ｍｓ又は１．６９ｍｓのどちらか一方の時間でＬＯＷ状態にすることにより、ｂｉｔ０又はｂｉｔ１を示す。すなわち、パルス位置変調では、０．５６ｍｓのＨＩＧＨＴ状態の位置がずれることにより、リモコン信号を変調する。例えば、振幅変調では、パルス位置変調後のパルス信号のＨＩＧＨ状態をデューティ比１／３、かつ周波数３８ｋＨｚのパルスに置き換えて変調する。この周波数３８ｋＨｚは、振幅変調のキャリア周波数である。リモコン９１０は、パルス位置変調及び振幅変調されたリモコン信号に基づいてＬＥＤ９１１を点滅させる。すなわち、リモコン９１０は、振幅変調後のパルス信号のＨＩＧＨ状態でＬＥＤ９１１を点灯させ、ＬＯＷ状態でＬＥＤ９１１を消灯させる。
　図５（Ａ）に示すように、振幅変調後のパルス信号は、例えば周波数３８ｋＨｚのパルス９４０（ｔ）～パルス９４０（ｔ＋７）が連続した後、ＬＯＷ状態となる。撮像部１１は、振幅変調のキャリア周波数より低く、かつパルス位置変調周波数より高いフレームレートで撮像する。パルス位置変調周波数とは、パルス位置変調後のパルス信号において、のＨＩＧＨ状態の時間（０．５６ｍｓ）に対応する周波数１，７８６Ｈｚである。図５（Ａ）に示す例では、撮像部１１は、０．５ｍｓ（フレームレート２ｋＨｚに対応する）の時間間隔で撮像を繰りかえす。
　図５（Ａ）に示す例において、イメージセンサ１０３は、０．５ｍｓの露光間隔９４１（ｓ）において露光すると、パルス９４０（ｔ）からパルス９４０（ｔ＋７）までの８個のパルス分のＬＥＤ９１１の点滅を蓄光する。すなわち、撮像部１１は、露光間隔９４１（ｓ）において、８個のパルス分のＬＥＤの点滅を積分して撮像する。撮像部１１は、露光間隔９４１（ｓ＋１）において、０個のパルス分のＬＥＤ９１１の点滅を積分して撮像する。これにより、撮像部１１は、露光間隔９４１（ｓ）において、ＬＥＤ９１１が点灯しているように撮像し、露光間隔９４１（ｓ＋１）において、ＬＥＤ９１１が消灯しているように撮像する。その結果、露光間隔９４１（ｓ）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値（例えば赤色成分）が多くなり、露光間隔９４１（ｓ＋１）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値が少なくなる。
　撮像部１１は、積分して撮像するため、例えば振幅変調のキャリア周波数が４０ｋＨｚの場合であっても、イメージセンサ１０３にＬＥＤ９１１の点滅を蓄光させることが可能である。
　また、撮像部１１は、ＬＥＤ９１１からの光の波長によらず、イメージセンサ１０３の検出可能範囲（例えば可視光の波長から赤外線の波長（９４０ｎｍ）までの範囲）で、ＬＥＤ９１１の点滅を撮像することが可能である。
　図３に戻り、発光パターン抽出部１４は、第１記憶部１２Ａを参照して、複数の撮像画像データを読み出して、リモコン９１０のＬＥＤ９１１の発光パターンを抽出する。発光パターン抽出部１４は、処理負荷の軽減のために、領域選択部１３が設定した選択領域９３１のみについて、撮像画像データを読み出す。
　発光パターン抽出部１４は、選択領域における画素値の時間変化を求める。例えば、発光パターン抽出部１４は、１００枚の撮像画像において、例えば、選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化を求める。選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化は、ＬＥＤ９１１の発光パターンに対応する。
　ただし、発光パターン抽出部１４は、平均画素値に限らず、選択領域９３１における最大画素値の時間変化を発光パターンとして求めてもよい。また、発光パターン抽出部１４は、赤色成分の平均画素値に限らず、ＲＧＢデータに応じた輝度の時間変化を発光パターンとして求めてもよい。ただし、リモコン信号認識機１０は、赤色成分のみで発光パターンを求めることにより、計算処理をより少なくすることができる。
　量子化部１５は、発光パターン抽出部１４が抽出した発光パターンに示す各平均画素値を量子化してパルス状の波形データを生成する。例えば、量子化部１５は、画素値の閾値を用いて、各平均画素値を２分して量子化する。すると、各平均画素値は、２値（ＨＩＧＨ状態／ＬＯＷ状態）に分けられる。そして、量子化部１５は、２値に分けられた各画素点を繋ぐことにより、パルス波形を生成する。
　発光パターン抽出部１４及び量子化部１５の処理例について、図５（Ｂ）及び図５（Ｃ）を用いて説明する。図５（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、図５（Ｃ）は、パルス波形の模式図である。
　図５（Ｂ）に示すように、選択領域９３１において、赤色成分（Ｒ）の平均画素値は、画素点９４５（ｔ）～画素点９４５（ｔ＋６）に示す高い値が続いた後、画素点９４５（ｔ＋７）、画素点９４５（ｔ＋８）、及び画素点９４５（ｔ＋９）のそれぞれに示す低い値が続いている。高い平均画素値が続いている部分は、積分して撮像した結果、リモコンのＬＥＤ９１１が点灯している状態を示す。発光パターン抽出部１４は、このように、平均画素値の時間変化を求める。
　そして、量子化部１５は、閾値（例えば８ｂｉｔ階調において画素値１００）を用いて、各平均画素値を２値に量子化し、各画素点を繋ぐ。すると、図５（Ｃ）に示すように、パルス波形は、１ｍｓから１０ｍｓまでＨＩＧＨ状態となり、１０ｍｓから１４．５ｍｓまでＬＯＷ状態となる。このパルス波形は、リモコン信号をパルス位置変調したパルス信号に相当する。従って、図５（Ｃ）に示すパルス波形に対して、パルス位置変調に対応する復調を行うことにより、リモコン信号が抽出される。ただし、本実施形態に係るリモコン信号認識機１０は、リーダーパルス、及びストップビット、等のパルス位置変調に従わないパルスが波形データに含まれるため、まず、以下のようにフォーマットを特定する。
　図３に戻り、量子化部１５が作成したパルス波形データは、解析部１６に出力される。解析部１６は、入力されたパルス波形データがリモコン信号のフォーマットに適合するか否かを判断する。解析部１６は、入力された波形データがリモコン信号のフォーマットに適合する場合、適合したフォーマットに基づいて波形データからリモコン信号を抽出する。
　解析部１６は、第２記憶部１２Ｂ（ＦＲＯＭ１０１によって実現される）を参照して、リモコン信号のフォーマットＤＢを読み出し、入力されたリモコン信号がリモコン信号のフォーマットに適合するか否かを判断する。
　図６は、フォーマットＤＢに記憶されるリモコン信号のフォーマットの例を示す図である。フォーマットＤＢは、図６に示すように、それぞれフォーマット名とパルスの数やパルス幅等の規定（判断条件）を対応付けている。フォーマットＤＢは、リモコン信号として用いられる全種類フォーマットを定義するが、説明を容易にするため、ＦＭＴ＿Ａ、ＦＭＴ＿Ｂ、及びＦＭＴ＿Ｃの３種類を代表して示す。例えば、フォーマットＦＭＴ＿Ａでは、パルス数が３４個で、パルス幅（ＨＩＧＨ状態の幅）が０．５６ｍｓ～９．０ｍｓと定義されている。
　図５（Ｃ）に示す波形データは、９ｍｓのＨＩＧＨ状態が続いた後、４．５ｍｓのＬＯＷ状態が続いている。従って、解析部１６は、図５（Ｃ）に示す波形データが、リーダーパルスの特徴から、図６に示すＦＭＴ＿Ａに定義されるフォーマットに適合すると判断する。そして、解析部１６は、ＦＭＴ＿Ａが定義するように、リーダーパルスに続く３４個のパルスについて、パルス位置変調に対応した復調を行い、リモコン信号を抽出する。
　解析部１６は、量子化部１５が生成したパルス波形データがフォーマットＤＢに定義するいずれのフォーマットにも適合しない場合、リモコン信号を抽出しない。これにより、リモコン信号認識機１０は、不正なリモコン信号を認識することを防ぐことができる。
　解析部１６が抽出したリモコン信号は、出力部１７に出力される。出力部１７は、ＭＨＬ規格に適合させて、抽出されたリモコン信号をテレビ９００のＭＨＬＩ／Ｆ９０１に出力する。すると、テレビ９００のＣＰＵ９０２は、ＭＨＬＩ／Ｆ９０１に入力されたリモコン信号に基づいて動作して、例えばディスプレイ９０３の表示内容を変更する。
　以上のように、リモコン信号認識機１０は、振幅変調のキャリア周波数（例えば３８ｋＨｚ）に依存することなく、リモコン信号に基づいたＬＥＤ９１１の発光パターンを撮像することにより、リモコン信号を抽出することができる。
　また、リモコン信号認識機１０は、リモコン信号用の赤外線（波長９４０ｎｍ）に限らず、ＩｒＤＡ規格の赤外線（波長８５０ｎｍ～９００ｎｍ）もイメージセンサ１０３で検出されるため、キャリアに用いられる光の波長によらず、リモコン信号を抽出することができる。
　また、従来技術の赤外線受光素子は、素子構造の為、例えば受光角度が３０°と狭いが、リモコン信号認識機１０は、広画角のイメージセンサ１０３を用いることにより、例えば１００°の受光角度を実現することができる。
　また、量子化部１５の量子化において、例えば平均画素値の閾値を小さく設定することにより、ＬＥＤ９１１の光が弱くても当該光を撮像できるため、リモコン信号を抽出することができる。また、リモコン信号認識機１０は、量子化部１５において平均画素値の閾値を大きく設定することにより、ノイズとなる点滅光からリモコン信号を抽出することを防止できる。このように、閾値を調整することにより、リモコン信号認識機１０の受光感度を調整することができる。
　なお、本実施形態において、領域選択部１３を実現することは必須ではない。リモコン信号認識機１０は、撮像画像においてリモコン９１０のＬＥＤ９１１の領域を選択しない場合、差分画像全体から赤色成分の画素値の最大値の変化を求めて発光パターンを抽出する。
　また、領域選択部１３は、周期的に変換する画素値の変化パターンに基づいてリモコン９１０のＬＥＤ９１１が含まれる領域を選択してもよい。例えば、領域選択部１３は、１．５ｋＨｚ～２．５ｋＨｚで周期的に変化する画素の領域のみを選択する。換言すれば、領域選択部１３は、例えば５００Ｈｚで点滅する画素（例えば５００Ｈｚの高調波成分で点滅する蛍光灯の画素）を選択しない。これにより、領域選択部１３は、蛍光灯等のリモコン信号のノイズ源が撮像されても、リモコン９１０のＬＥＤ９１１の領域のみを選択することができる。
　なお、本実施形態において、解析部１６がリモコン信号のフォーマットに適合するか否かを判断することは必須ではない。解析部１６は、例えばＦＭＴ＿Ａのみに対応してパルス位置変調に応じた復調を行うだけでもよい。
　次に、実施形態２に係るリモコン信号認識システム１００Ａについて図を参照して説明する。図７は、リモコン信号認識システム１００Ａの機能ブロック図である。
　リモコン信号認識システム１００Ａは、実施形態１に係るリモコン信号認識機１０の解析部１６及び第２記憶部１２Ｂが、別体の情報処理装置（サーバ）２０に備えられる点、及びリモコン信号認識機１０Ａと情報処理装置２０とがネットワークを介して接続されている点において、実施形態１に係るリモコン信号認識システム１と相違する。重複する構成の説明は省略する。
　図７に示すように、リモコン信号認識機１０Ａは、送受信部１８Ａを備えている。情報処理装置２０は、送受信部１８Ｂ、解析部１６、及び第２記憶部１２Ｂを備えている。
　送受信部１８Ａ及び送受信部１８Ｂは、例えばインターネットを介して互いにデータの送受信を行う。
　量子化部１５が生成したパルス波形データは、送受信部１８Ａに出力される。送受信部１８Ａは、当該パルス波形データを情報処理装置２０の送受信部１８Ｂに送信する。解析部１６は、送受信部１８Ｂからパルス波形データを受け取り、当該パルス波形データからリモコン信号を抽出する。当該リモコン信号は、送受信部１８Ｂから送受信部１８Ａへの送信を介して、出力部１７に入力される。
　リモコン信号認識機１０Ａは、自装置にフォーマットＤＢを記憶していなくても、撮像したリモコン９１０のＬＥＤ９１１の発光パターンがいずれのリモコン信号のフォーマットに適合するか否かを情報処理装置２０に判断させることができる。
　なお、情報処理装置２０は、解析部１６が抽出したリモコン信号をリモコン信号認識機１０に返送する例に限らず、返送せずに自装置で用いてもよい。例えば、情報処理装置２０は、抽出したリモコン信号に含まれる情報をテレビ９００の視聴情報として収集し、視聴率を算出する。
　次に、図８は、実施形態３に係るＡＶシステム１００Ｂの機能ブロック図である。ＡＶシステム１００Ｂは、リモコン信号認識機１０、テレビ９００Ｂ１、及びＡＶレシーバ９００Ｂ２を備える点において、実施形態１に係るリモコン信号認識システム１と相違する。重複する構成の説明は省略する。
　ＡＶシステム１００Ｂでは、リモコン信号認識機１０が抽出したリモコン信号は、テレビ９００Ｂ１に出力され、さらに、テレビ９００Ｂ１によってＡＶレシーバ９００Ｂ２に転送される。
　テレビ９００Ｂ１は、入力部９３１Ｂ１、制御部９３２、及び出力部９３３を備えている。入力部９３１Ｂ１には、リモコン信号認識機１０からＭＨＬ規格で出力されたリモコン信号が入力される。制御部９３２は、入力部９３１Ｂ１に入力されたリモコン信号を解析し、自装置用のリモコン信号ではないと判断すると、出力部９３３を制御して当該リモコン信号を出力させる。ただし、制御部９３２は、例えばリモコン信号に含まれるカスタマーデータ（パルス位置変調後のカスタマーコードセクションに埋められた情報）に基づいて自装置用のリモコン信号であるか否かを判断する。
　出力部９３３は、例えばＨＤＭＩ－ＣＥＣ（；Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ－Ｃｏｎｓｕｍｅｒ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｃｏｎｔｒｏｌ。ただしＨＤＭＩは登録商標。）規格でＨＭＤＩケーブルを介してリモコン信号をＡＶレシーバ９００Ｂ２に出力する。ＡＶレシーバ９００Ｂ２は、入力部９３１Ｂ２に入力されたリモコン信号に基づいて動作する。
　図９は、ＡＶシステム１００Ｂの設置例を示す図である。図９に示すように、テレビ９００Ｂ１の表示面の上方にリモコン信号認識機１０が設置されている。ＡＶレシーバ９００Ｂ２は、テレビ９００Ｂ１の載置台であるＴＶラック９５０の内部に設置されている。これによりＡＶレシーバ９００Ｂ２の赤外線受信部は、光が届きにくくなっている。
　そこで、ＡＶシステム１００Ｂでは、上述のように、リモコン信号認識機１０によって抽出されたリモコン信号をテレビ９００Ｂ１がＡＶレシーバ９００Ｂ２に転送する。従って、利用者は、リモコン信号認識機１０のイメージセンサ１０３が広角に受光可能なため、テレビ９００Ｂ１の視聴環境のどこからでもリモコン９１０によってＡＶレシーバ９００Ｂ２に動作指示を与えることができる。
　次に、図１０は、実施形態４に係る画像認識システムの概略図である。実施形態４に係る画像認識システムでは、ユーザが情報処理装置（この例ではスマートフォン６）を用いて特定の撮影対象物（例えば自身の顔）を撮影し、スマートフォン６が撮影した画像から所定の情報を認識するものである。
　図１１（Ａ）は、スマートフォン６の主要構成を示すブロック図であり、図１１（Ｂ）は、平面図であり、図１１（Ｃ）は底面図である。
　スマートフォン６は、制御部６１、アウトカメラ６２、インカメラ６３、通信部６４、操作部６５、および表示部６６を備えている。
　制御部６１は、フラッシュＲＯＭ（不図示）等の媒体に記憶されている動作用プログラムを読み出し、スマートフォン６の動作を統括的に制御する。制御部６１は、当該動作用プログラムにより、本発明の解析部、情報認識部、および領域選択部を構成する。
　アウトカメラ６２およびインカメラ６３は、本発明の撮像部に相当する。アウトカメラ６２は、スマートフォン６の背面に設けられ、ユーザが所望する画像を撮像するためのカメラである。インカメラ６３は、スマートフォン６の正面に設けられ、ユーザ自身を撮像するためのカメラである。
　制御部６１は、アウトカメラ６２またはインカメラ６３で連続して撮像した複数の画像（動画等）から、顔画像を検出し、検出した顔画像の中から目の画像を抽出する。なお、図１０および図１１の例では、情報処理装置の例としてスマートフォン６について示しているが、情報処理装置は、他にも例えば眼鏡の形状をした装着型の情報処理装置とする態様も可能である。
　表示部６６は、スマートフォン６の正面に設けられ、各種画像を表示する。ここでは、表示部６６は、アウトカメラ６２またはインカメラ６３で撮像した画像を表示する。ユーザは、表示部６６に表示される画像を確認することで、アウトカメラ６２またはインカメラ６３で撮像した画像を確認することができる。また、表示部６６には、タッチパネルが設けられ、ユーザインタフェースである操作部６５の機能を兼ねている。例えば、ユーザが表示部６６に表示されているアイコン等を指で触ると、制御部６１は、所定のアプリケーションプログラムを起動する。ここでは、画像認識プログラムを起動する例を示す。
　ユーザは、上記画像認識プログラムを起動した後、スマートフォン６を操作し、アウトカメラ６２またはインカメラ６３で撮影対象物を撮像する。この例では、ユーザがインカメラ６３で自身の顔を撮影する。
　図１２は、制御部６１の機能的ブロック図である。図１３は、制御部６１の動作を示すフローチャートである。ユーザがインカメラ６３で画像を撮影すると（ｓ１１）、解析部６１１は、インカメラ６３が撮影した画像データを入力する（ｓ１２）。インカメラ６３は、連続して複数の画像を撮像する（動画）ため、解析部６１１には、連続して複数の画像データが入力される。
　解析部６１１は、入力された複数の画像データから、特定の画像を抽出する（ｓ１３）。例えば、図１４（Ａ）に示すように、解析部６１１は、目の画像を特定の画像として抽出する。なお、解析部６１１は、このときに画像の傾きを補正したり、大きさを揃える補正を行ったりする。
　そして、解析部６１１における領域選択部６１２は、抽出した目の画像の画素を含む領域を選択する（ｓ１４）。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。ただし、領域選択部６１２による領域の選択処理は、本発明において必須の処理ではない。
　次に、解析部６１１は、複数の画像データから、目の画像の時間変化を解析する（ｓ１６）。例えば、図１４（Ａ）に示すように、瞳が目の画像の中心位置に存在する状態をリファレンス状態である基準（Ｃ）として、各画像データにおける基準（Ｃ）からの瞳の位置（中心位置からの左右のずれ）を算出する。そして、解析部６１１は、図１４（Ｂ）に示すように、瞳の位置（中心位置からの左右のずれ）を時間軸上に表すことで、所定時間あたりの眼球の移動量を算出する。
　そして、情報認識部６１３は、解析部６１１の解析結果から、目の画像に関係する所定の情報を認識する（ｓ１６）。ここでは、情報認識部６１３は、所定の情報として、眼球の動きが安定しているか、痙攣していないか、等の健康状態を示す情報（人体に係る情報）を認識する。
　例えば、図１４（Ｂ）の例では、眼球の移動量の近似曲線（図中の破線）が、基準（Ｃ）と交わる回数が少なく、眼球の動きが安定した状態である。図１４（Ｃ）の例では、近似曲線（図中の破線）が基準（Ｃ）と交わる回数が多く、痙攣した状態である。したがって、情報認識部６１３は、所定時間あたりの、上記近似曲線と基準（Ｃ）とが交わる回数を算出し、当該回数が閾値未満である場合に眼球の動きが安定した状態であると認識し、当該回数が閾値以上である場合に痙攣した状態であると認識する。
　その後、情報認識部６１３が認識した情報は、例えば表示部６６に表示される（ｓ１７）。このようにして、ユーザは、スマートフォン６で自身の顔を動画撮影するだけで、自身の健康状態を容易に把握することができる。あるいは、ユーザは、スマートフォン６のアウトカメラ６２を用いて、例えば自ら言葉を発することができない程の小さな子供の顔を動画撮影するだけで、当該子供の健康状態を把握することもできる。
　なお、スマートフォン６は、目の色を解析することでも、健康状態を示す情報を認識することが可能である。この場合、白色をリファレンス状態としてもよいし、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部６１１は、健康なときの目の色をリファレンス状態としてもよい。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態としてもよい。
　目の色を解析する場合、健康状態は、例えばリファレンス状態からの目の色の変化に応じた疲労度として定量化することができる。
　また、目に係る健康状態を示す情報としては、例えば、まぶたの開き具合、眼球の色（虹彩）、瞳孔の大きさ、左右の目の状態の差異、等を認識することができる。まぶたの開き具合は、眠気を示す健康状態とすることができる。この場合も、ユーザが、自身が眠気を感じていないと自認している状態において自身の顔を動画撮影、保存し、解析部６１１は、、自身が眠気を感じていない時の目の画像またその時間変化をリファレンス状態としてもよい。あるいはサーバ等から覚醒状態における目の画像をダウンロードし、リファレンス状態としてもよい。
　また、スマートフォン６は、図１５に示すように、首筋の血管の拡張および収縮を連続して撮像した複数の画像とその時間間隔から解析することで脈拍数（１分間あたりの脈拍数）を認識することが可能である。脈拍数を認識する場合、制御部６１は、当該脈拍数をそのまま表示部６６に表示してもよいし、脈拍数に応じた健康状態（正常範囲内、頻脈、徐脈等）を表示してもよい。
　健康状態に係る情報は、その他にも胸元の拡張および収縮を解析することで呼吸数を認識することも可能であるし、血圧を認識することも可能である。血圧を認識するためには、まず血圧計を用いて自身の血圧を測定し、その時の自身の顔（特に首筋）をスマートフォン６で撮影する。制御部６１は、この時の首筋の血管の最大拡張時の画像を含む連続した画像を測定した血圧と対応づけてリファレンス状態として保存する。その後、リファレンスの状態に対して、撮影した動画の血管の隆起状態を判定することで、血圧を推定・認識することができる。
　なお、健康状態を示す情報は、表示部６６に表示される例に限らず、例えば通信部６４を介して他の装置に送信される態様としてもよい。他装置には、健康状態を示す情報をそのまま送信してもよいが、例えば健康状態を示す情報に関連する他の情報を送信するようにしてもよい。例えば、ユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作、またはその反対に照明を暗くするリモコン信号を送信して、睡眠を促す動作を行う。あるいは、スマートフォン６は、一般的に時計機能を備えているため、ユーザが眠気を感じている状態であるとの情報を認識した場合、例えば午後８時以降である場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行ってもよい。
　また、本実施形態４では、ユーザが所持するスマートフォン６を用いて撮影を行う例を示したが、例えば室内に設置された定点カメラ（例えば集中治療室内の監視カメラ）で撮影し、当該定点カメラに接続される情報処理装置で動画像を解析してもよい。この場合、情報処理装置は、連続する複数の画像から患者の動作と患者の顔色を解析することで健康状態に係る情報を認識（例えば、歩行での移動などしていないのに顔色が変化する等）し、例えばリファレンス状態との顔色の差が所定範囲外であり、体調が優れないと判断した場合に、自動的にナースコールを行ってもよい。
　また、認識した情報は、表示部６６に表示したり、他の装置に送信したりする例に限るものではなく、例えばフラッシュＲＯＭ（不図示）等の記憶媒体に記憶してログとして保存するだけでもよい。
　以下では、実施形態に係る画像認識装置及び画像認識方法についてまとめる。
　（１）画像認識装置は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、を備えたことを特徴とする。
　特定の画像とは、例えば人の目の画像等である。解析部は、撮影した目の画像の時間変化を解析する。例えば、解析部は、所定時間あたりの眼球の移動量を算出する。情報認識部は、当該眼球の移動量から、所定の情報として眼球の動きが安定しているか（痙攣していないか）、等の健康状態を示す情報（人体に係る情報）を認識する。また、画像認識装置は、例えば目の色の変化を解析することで疲労度を認識する、顔色を解析することで体調を認識する、首筋の血管の拡張収縮を解析することで脈拍数を認識する、等の種々の情報を認識することができる。
　これにより、ユーザは、例えばスマートフォン等の情報処理装置で自身の顔を撮影するだけで、自身の健康状態を容易に把握することができる。また、ユーザは、例えば自ら言葉を発することができない程の小さな子供の顔を撮影するだけで、当該子供の健康状態を把握することもできる。
　（２）例えば、画像認識装置は、前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析する。
　例えば、領域選択部は、上述の人の目に対応する画素を含む領域を選択する。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。
　（３）例えば、解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、情報認識部は、前記撮像部が撮像した複数の画像における特定の画像と前記リファレンス状態との差に基づいて、前記所定の情報を認識する。
　例えば、解析部は、瞳が目の中心位置に存在する状態をリファレンス状態として抽出し、リファレンス状態からの瞳の左右のずれを算出する。あるいは、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部は、健康であるときの目の色をリファレンス状態として、リファレンス状態からの目の色の変化を解析することも可能である。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態とすることも可能である。これにより、画像認識装置は、リファレンス状態の比較を行うだけで、容易に健康状態を示す情報（人体に係る情報）を認識することができる。
　（４）例えば、画像認識装置は、認識した所定の情報を他の機器に送信する送信部を備える。
　（５）例えば、画像認識装置は、当該所定の情報を表示する表示部を備える。他の機器に送信する場合には、例えばユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作を行う。あるいは、画像認識装置は、時計機能を備えている場合、例えば午後８時以降であると判断した場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行う。
　（６）例えば、前記所定の情報は、人体に係る情報を含む。
　画像認識方法は、
　連続して複数の画像を撮像する撮像ステップと、
　前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
　前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
　を備えたことを特徴とする。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2014年5月7日出願の日本特許出願（特願2014－095814）及び2015年4月2日出願の日本特許出願（特願2015－076276）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明によれば、撮影した画像から様々な情報を認識可能な画像認識装置及び画像認識方法を提供することができる。
　１０，１０Ａ…リモコン信号認識機
　１１…撮像部
　１２Ａ…第１記憶部
　１２Ｂ…第２記憶部
　１３…領域選択部
　１４…発光パターン抽出部
　１５…量子化部
　１６…解析部
　１７…出力部
　１８Ａ，１８Ｂ…送受信部
　２０…情報処理装置
　１，１００Ａ…リモコン信号認識システム
　１００Ｂ…ＡＶシステム
　１００…ＣＰＵ
　１０１…ＦＲＯＭ
　１０２…ＲＡＭ
　１０３…イメージセンサ
　１０４…ＭＨＬＩ／Ｆ
　８００…バースピーカ
　８０１…ＭＨＬケーブル
　９００，９００Ｂ１…テレビ
　９００Ｂ２…ＡＶレシーバ
　９０１…ＭＨＬＩ／Ｆ
　９０２…ＣＰＵ
　９０３…ディスプレイ
　９１０…リモコン
　９１１…ＬＥＤ
　９１２…ボタン
　９３１Ｂ１…入力部
　９３１Ｂ２…入力部
　９３２…制御部
　９３３…出力部
　６…スマートフォン
　６１…制御部
　６２…アウトカメラ
　６３…インカメラ
　６４…通信部
　６５…操作部
　６６…表示部
　６１１…解析部
　６１２…領域選択部
　６１３…情報認識部

Claims (7)

  1. 　連続して複数の画像を撮像する撮像部と、
    　前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、
    　前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、
    　を備えた画像認識装置。
  2. 　前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、
    　前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析する請求項１に記載の画像認識装置。
  3. 　前記解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、
    　前記情報認識部は、前記撮像部が撮像した複数の画像における特定の画像と前記リファレンス状態との差に基づいて、前記所定の情報を認識する請求項１または請求項２に記載の画像認識装置。
  4. 　前記所定の情報を他の機器に送信する送信部を備えた請求項１乃至請求項３のいずれかに記載の画像認識装置。
  5. 　前記所定の情報を表示する表示部を備えた請求項１乃至請求項４のいずれかに記載の画像認識装置。
  6. 　前記所定の情報は、人体に係る情報を含む請求項１乃至請求項５のいずれかに記載の画像認識装置。
  7. 　連続して複数の画像を撮像する撮像ステップと、
    　前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
    　前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
    　を備えた画像認識方法。
PCT/JP2015/063237 2014-05-07 2015-05-07 画像認識装置および画像認識方法 WO2015170720A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-095814 2014-05-07
JP2014095814 2014-05-07
JP2015076276A JP2015226754A (ja) 2014-05-07 2015-04-02 画像認識装置および画像認識プログラム
JP2015-076276 2015-04-02

Publications (1)

Publication Number Publication Date
WO2015170720A1 true WO2015170720A1 (ja) 2015-11-12

Family

ID=54392569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/063237 WO2015170720A1 (ja) 2014-05-07 2015-05-07 画像認識装置および画像認識方法

Country Status (2)

Country Link
JP (1) JP2015226754A (ja)
WO (1) WO2015170720A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3583893B1 (en) * 2017-02-14 2022-04-06 Medical Photonics Co., Ltd. Scattered body measurement device and scattered body measurement method
WO2022061826A1 (en) * 2020-09-27 2022-03-31 Shanghai United Imaging Healthcare Co., Ltd. System and method for medical imaging
CN113435297A (zh) * 2021-06-23 2021-09-24 佛山弘视智能信息科技有限公司 基于监控相机和深度相机联合的人体抽搐检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置

Also Published As

Publication number Publication date
JP2015226754A (ja) 2015-12-17

Similar Documents

Publication Publication Date Title
US8295559B2 (en) Face image pickup device and method
US9921645B2 (en) Retinal projection device and method for activating a display of a retinal projection device
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
US9486386B2 (en) Using a 3D display to train a weak eye
US10159408B2 (en) Detection apparatus and detection method
US9696801B2 (en) Eye-controlled user interface to control an electronic device
US20140292637A1 (en) Method for adjusting head-mounted display adaptively and head-mounted display
KR101051433B1 (ko) 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
JP2007003618A (ja) 表示装置および携帯端末装置
CN107865644B (zh) 脉搏波计测装置、脉搏波计测方法、程序以及记录介质
WO2015170720A1 (ja) 画像認識装置および画像認識方法
CN107273071A (zh) 电子装置、屏幕调节系统及方法
CN106716305A (zh) 照明的控制
CN111880640B (zh) 屏幕控制方法、装置、电子设备及存储介质
KR101862696B1 (ko) 실사와 컴퓨터 그래픽스 영상을 이용한 생체 정보 표시 시스템 및 그의 표시 방법
US20120189174A1 (en) Electronic device and warning information generating method thereof
JP2011133877A (ja) 画像表示装置、および画像処理装置
CN108984140B (zh) 一种显示控制方法及系统
US11803065B1 (en) Head-mounted display attachment device
JP6846626B2 (ja) 脈波計測装置および脈波計測方法
CN113313050A (zh) 一种基于视频流的皮肤智能检测系统
CN109951917B (zh) 控制装置、照明装置以及控制方法
CN113631094A (zh) 身心状态的判定系统、判定装置、方法及计算机程序
KR102381446B1 (ko) 스마트 기기를 구비한 ｌｅｄ 마스크
JP6214047B2 (ja) 視線検出による信号発信装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15789503

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15789503

Country of ref document: EP

Kind code of ref document: A1