WO2012157486A1 - 表示制御装置および方法、並びにプログラム - Google Patents

表示制御装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2012157486A1
WO2012157486A1 PCT/JP2012/061859 JP2012061859W WO2012157486A1 WO 2012157486 A1 WO2012157486 A1 WO 2012157486A1 JP 2012061859 W JP2012061859 W JP 2012061859W WO 2012157486 A1 WO2012157486 A1 WO 2012157486A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared light
image
unit
display control
light image
Prior art date
Application number
PCT/JP2012/061859
Other languages
English (en)
French (fr)
Inventor
小澤　謙
正則 岩崎
英昭 茂木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12786774.5A priority Critical patent/EP2711812A4/en
Priority to CN201280022245.3A priority patent/CN103518178A/zh
Priority to US14/116,387 priority patent/US9817485B2/en
Priority to DE112012003214.4T priority patent/DE112012003214T5/de
Publication of WO2012157486A1 publication Critical patent/WO2012157486A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present technology relates to a display control device, method, and program, and more particularly, to a display control device, method, and program capable of improving user operability in a free cursor type user interface.
  • a free cursor type user interface has been proposed in which a menu icon or the like on the display is selected by moving the cursor on the display in conjunction with the movement of the display (see, for example, Patent Document 1).
  • a digital camera is mounted on a display device such as a personal computer or a television receiver so that a user can talk with a distant person through a display via a network such as the Internet.
  • the present technology has been made in view of such a situation, and is intended to improve user operability in a free cursor type user interface.
  • a display control device corresponds to a visible light image based on a pixel signal corresponding to visible light of light incident from a lens, and infrared light of light incident from the lens.
  • An imaging unit that outputs an infrared light image based on a pixel signal; an area setting unit that sets a movement region of an infrared light source in the infrared light image based on the visible light image; and
  • a display control unit for controlling a cursor movement amount on the display unit according to the movement of the infrared light source.
  • the area setting unit sets the size of the moving area of the infrared light source in the infrared light image based on the subject in the visible light image, and the infrared light source in the infrared light image. Can always be the center position of the moving region.
  • the display control device further includes a face detection unit that detects a face of the subject in the visible light image, and the region setting unit includes the red color based on the size of the face of the subject in the visible light image.
  • the size of the moving region of the infrared light source in the external light image can be set.
  • the display control device when a plurality of faces are detected by the face detection unit, based on the position of the face of the subject in the visible light image and the position of the infrared light source in the infrared light image.
  • a specifying unit that specifies the subject that operates the remote controller that emits infrared light is further provided, and the region setting unit includes the red portion based on the size of the face of the subject specified by the specifying unit. The size of the moving region of the infrared light source in the external light image can be set.
  • the display control device further includes a distance calculation unit that calculates a distance to the subject based on the visible light image, and the region setting unit includes the infrared light based on the distance to the subject.
  • the size of the moving area of the infrared light source in the image can be set.
  • the region setting unit can set the size of the moving region of the infrared light source in the infrared light image based on the distance to the subject and the size of the display unit.
  • the display control device may further include an imaging control unit that switches parameters related to imaging in the imaging unit so as to be optimal for each of the visible light image and the infrared light image output by the imaging unit. it can.
  • the display control device may further include an imaging control unit that sets parameters related to imaging in the imaging unit so as to be optimal for the visible light image output by the imaging unit.
  • the display control apparatus further includes a difference image generation unit that generates a difference image from the infrared light images of different time frames, and the region setting unit moves an infrared light source that moves in the difference image.
  • An area can be set.
  • the display control device further includes a distance calculation unit that calculates a distance to the subject based on the visible light image, and the display control unit includes a display target of the display unit as a distance to the subject. And a cursor in the display unit can be moved in accordance with the movement of the infrared light source in the movement area.
  • the pixel signal output as the infrared light image from the imaging unit is output from an imaging element in which the filter that transmits infrared light is disposed in one of the G pixels in the Bayer array. Can do.
  • the wavelength of the infrared light of the infrared light source is different from the wavelength of the infrared light emitted from the LED (Light Emitting Diode) of a remote controller for operating an electronic device.
  • a filter whose transmission band is the wavelength of infrared light from the light source can be provided.
  • a display control method corresponds to a visible light image based on a pixel signal corresponding to visible light of light incident from a lens, and infrared light of light incident from the lens.
  • a display control method of a display control device including an imaging unit that outputs an infrared light image based on a pixel signal, wherein a moving region of an infrared light source in the infrared light image is set based on the visible light image A region setting step, and a display control step of controlling a cursor movement amount on the display unit in accordance with the movement of the infrared light source within the movement region.
  • a program includes a visible light image based on a pixel signal corresponding to visible light among light incident from a lens, and a pixel signal corresponding to infrared light among light incident from the lens.
  • a computer is caused to execute processing including an area setting step for setting an area and a display control step for controlling a cursor movement amount on the display unit in accordance with the movement of the infrared light source in the movement area.
  • a visible light image based on a pixel signal corresponding to visible light out of light incident from the lens and a pixel signal corresponding to infrared light out of light incident from the lens.
  • An infrared light image is output, and a moving region of the infrared light source in the infrared light image is set based on the visible light image, and on the display unit according to the movement of the infrared light source in the moving region. The amount of cursor movement is controlled.
  • FIG. 32 is a flowchart for describing cursor display control processing of the display control apparatus of FIG. 31.
  • FIG. It is a figure explaining the difference in the number of pixels in ROI by the distance with an operator.
  • FIG. It is a block diagram which shows the function structural example of 2nd Embodiment of the display control apparatus to which this technique is applied. It is a flowchart explaining the cursor display control process of the display control apparatus of FIG.
  • First embodiment configuration for providing a free cursor type user interface
  • Second embodiment example of specifying an operator from a plurality of users
  • Third embodiment example applied to camera system for video communication
  • Fourth embodiment an example of obtaining the ROI size according to the distance from the operator
  • Fifth embodiment example of controlling display on display according to distance from operator
  • FIG. 1 shows an external configuration of a display control apparatus according to a first embodiment to which the present technology is applied.
  • the camera unit 11a captures the user 10 and the infrared light spot (hereinafter referred to as a bright spot) of the remote controller 10a operated by the user 10, and the display 11b In addition to the operation screen for 10, a movement cursor corresponding to the movement of the bright spot imaged by the camera unit 11a is displayed. That is, the display control device 11 provides the user 10 with a free cursor type user interface.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the display control apparatus 11 that provides a free cursor type interface.
  • a lens 21 includes a lens 21, a special filter 22, an image sensor 23, a CDS (Correlated Double Sampling) / AGC (Automatic Gain Control) circuit 24, an A / D (Analog / Digital) conversion circuit 25, a DSP ( A digital signal processor (CPU) 26, a CPU (central processing unit) 27, a timing generator 28, a display 29, and an EEPROM (electrically erasable programmable read only memory) 30.
  • the lens 21 is configured as a monocular monofocal lens, collects light from the subject, and causes the collected light to enter the image sensor 23 via the special filter 22.
  • the image sensor 23 is composed of, for example, a CCD (Charge-Coupled Device), CMOS (Complementary-Metal-Oxide-Semiconductor) sensor, etc., and receives light incident from the lens 21 via the special filter 22, and converts the light into a received light amount.
  • a photoelectric conversion is performed to an image signal (analog signal) as a corresponding electric signal, which is supplied to the CDS / AGC circuit 24.
  • the special filter 22 is formed and attached to a seal glass 22a for protecting the image sensor 23.
  • the special filter 22 includes a visible light region (400 nm to 650 nm) and an LED (Light Emitting Diode) of the remote controller 10a shown first from the top of FIG. It has spectral characteristics having a transmission band in the wavelength band (940 nm) of emitted infrared light.
  • the special filter 22 may be formed on either the entrance surface side or the exit surface side of the seal glass 22a.
  • the special filter 22 is constituted by a multilayer interference filter in which thin film materials of about 40 to 50 layers are laminated.
  • the thin film material for example, dielectric materials such as TiO2, Ta2O2, SiO2, and MgF2 are used.
  • the special filter 22 is formed by a manufacturing process such as a vapor deposition method, an IAD (Ion beam Assisted Deposition) method, a sputtering method, or a CVD (Chemical Vapor Deposition) method.
  • the special filter 22 can be disposed on an optical axis in the lens barrel in addition to being attached to the seal glass 22a.
  • a color filter array 23a is arranged on the front surface (left side in the figure) of the image sensor 23.
  • the color filter array 23a is composed of color filters assigned to each pixel of the image sensor 23.
  • This IR transmission filter has a spectral characteristic as shown in the third from the top in FIG. 4, and has a film thickness of about 1 ⁇ m by blending organic materials such as pigments and dyes used in ordinary color filters. It is configured to suppress the transmittance in the visible light region to several percent or less.
  • the wavelength at which the transmittance rises is set to a wavelength shorter than the wavelength of infrared light (940 nm) of the remote controller, and is set to around 800 nm in the example of FIG.
  • the image sensor 23 has sensitivity to the visible light region and the wavelength band of infrared light, as shown in the fourth from the top in FIG.
  • the image sensor 23 from the R image, G image, and B image obtained by demosaicing the output obtained by thinning R, Gb (or Gr), and B pixels (RGB pixels).
  • An infrared light image (IR image) obtained by demosaicing an output obtained by thinning out the visible light image (RGB image) and the Gr (or Gb) pixel (IR pixel) can be obtained.
  • the resolution of the image sensor 23 is SXGA (Super Extended Extended Graphics Array) (1280 ⁇ 1024: 1.3M).
  • the resolution of the IR image is VGA.
  • the CDS / AGS circuit 24 removes 1 / f noise generated in the image sensor 23, and the magnitude (level) of the image signal supplied from the image sensor 23 is controlled by the CPU 27. The gain is adjusted to be constant and output to the A / D conversion circuit 25. Further, the CDS / AGS circuit 24 performs electronic shutter processing for electrically changing the charge accumulation time in the image sensor 23 based on the control of the CPU 27.
  • the A / D conversion circuit 25 converts the image signal that is an analog signal output from the CDS / AGS circuit 24 into image data that is a digital signal, and supplies the image data to the DSP 26.
  • the image data obtained by the A / D conversion circuit 25 includes the above-described RGB image data and IR image data.
  • the DSP 26 performs predetermined image processing on the image data (RGB image and IR image data) from the A / D conversion circuit 25 and supplies the result to the display 29 or the EEPROM 30.
  • the CPU 27 controls each part of the display control device 11.
  • the timing generator 28 generates various timing signals based on the control of the CPU 27 and supplies them to the image sensor 23, the CDS / AGC circuit 24, and the A / D conversion circuit 25.
  • the display 29 corresponds to the display 11b of FIG. 1 and displays a predetermined image or displays according to the result of the image processing from the DSP 26 based on the control of the CPU 27.
  • the display 29 displays an operation screen for the user 10 to input an operation to the display control device 11.
  • the display 29 may be provided outside the display control device 11.
  • the EEPROM 30 is a so-called non-volatile memory that stores and holds various setting parameters, image processing results from the DSP 26, and the like without losing stored information even when the power is turned off.
  • the 7 includes an imaging unit 51, an input unit 52, an imaging control unit 53, an RGB image processing unit 54, a face detection unit 55, an IR image processing unit 56, a bright spot extraction unit 57, a ROI (Region Of Interest). ) It includes a setting unit 58, a display control unit 59, and a display unit 60.
  • the imaging unit 51 includes the lens 21, the special filter 22, and the image sensor 23 described in FIG. 2, and includes a CDS / AGC circuit 24 and an A / D conversion circuit 25 (not shown). That is, the imaging unit 51 corresponds to the camera unit 11a in FIG. 1 and images a subject (infrared light from the user 10 and the remote controller 10a), and the corresponding image data is RGB image processing unit 54 and IR image processing unit 56. Output to.
  • the imaging unit 51 performs gain adjustment and electronic shutter processing based on the control of the imaging control unit 53.
  • the input unit 52 receives infrared light from the remote controller 10 a according to the operation input of the user 10, and supplies a signal (operation signal) indicating the operation input of the user to the imaging control unit 53.
  • the imaging control unit 53 sets various parameters related to imaging in accordance with an operation signal from the input unit 52 or an instruction from the ROI setting unit 58, and controls imaging of the imaging unit 51.
  • the RGB image processing unit 54 performs predetermined image processing on the image data of the RGB image (hereinafter simply referred to as RGB image) of the image data from the imaging unit 51 and supplies the image data to the face detection unit 55.
  • the face detection unit 55 detects the face of the user 10 in the RGB image from the RGB image processing unit 54 and supplies the size of the detected face (face image) to the ROI setting unit 58.
  • the IR image processing unit 56 performs predetermined image processing on the image data of the IR image (hereinafter simply referred to as IR image) in the image data from the imaging unit 51 and supplies the image data to the bright spot extraction unit 57.
  • the bright spot extraction unit 57 extracts (detects) the bright spot (spot) of the infrared light of the remote controller 10a held by the user 10 in the IR image from the IR image processing unit 56, and the bright spot is extracted.
  • the IR image is supplied to the ROI setting unit 58.
  • the ROI setting unit 58 is an ROI (Region Of) that is a range (region) in which the user 10 can move the remote controller 10a until the next frame. Find the size of Interest.
  • the ROI setting unit 58 sets the position of the ROI whose size is determined so that the bright spot is centered in the IR image from which the bright spot is extracted from the bright spot extraction unit 57. Then, the ROI setting unit 58 supplies the moving amount of the bright spot in the IR image to the display control unit 59 when the bright spot moves.
  • the display control unit 59 controls display on the display unit 60 corresponding to the display 11b in FIG. 1 (or the display 29 in FIG. 2). Specifically, the display control unit 59 displays an operation screen as a user interface for the user 10 handling the remote controller 10a on the display unit 60, and also causes the user 10 to select a predetermined item on the operation screen. Are moved according to the amount of movement of the bright spot from the ROI setting unit 58 on the operation screen.
  • the display control device 11 when the display control device 11 is turned on and a monitoring mode for monitoring the viewing state of the viewer is selected by an operation of the user 10 on the remote controller 10a, the display control device 11 can image a subject.
  • the monitoring mode is set.
  • the display control device 11 is in the monitoring mode in the neutral state. That is, in the neutral state, the display control device 11 functions as a human sensor that performs an energy saving operation by monitoring the viewing state of the viewer.
  • step S11 the imaging control unit 53 sets the resolution, shutter speed, and gain as parameters relating to imaging of the imaging unit 51 based on the operation signal from the input unit 52 corresponding to the infrared light of the remote controller 10a. Set to a value appropriate for the image.
  • the face of the user 10 is detected in the RGB image. That is, the resolution of the RGB image only needs to be a resolution that allows face detection.
  • face detection can be processed if there is black and white information with a resolution of about 16 ⁇ 16 pixels or more, and even a commercially available digital camera having a face detection function downgrades resolution and color information. Therefore, there is one that pursues high-speed processing.
  • the resolution is set so that an RGB image of VGA (Video Graphics Array) (640 ⁇ 480) size can be obtained by performing 4-pixel addition on the RGB pixels.
  • VGA Video Graphics Array
  • the method disclosed in Japanese Patent No. 4518616 may be applied to the 4-pixel addition, or another method may be applied.
  • 4-pixel addition the sensitivity of the RGB image is quadrupled, and even when the user 10 and the display control device 11 are placed in a dark illumination environment, robust face detection can be performed.
  • the demosaic process is performed by regarding the output of the Gb pixel as the output of the Green pixel.
  • the Gb pixel output in the same Bayer region may be substituted for the output of the Gr pixel, and the four-pixel addition in the normal Bayer array may be performed using this pseudo-generated Gr pixel output.
  • AE Automatic Exposure processing similar to that of a normal digital camera is performed, and the shutter speed and gain are set to optimum values as shown in the upper left side of FIG.
  • the RGB image and the IR image are picked up with the parameters set in this way, and supplied to the RGB image processing unit 54 and the IR image processing unit 56, respectively.
  • the IR image processing unit 56 may be configured not to perform any processing on the IR image.
  • the input unit 52 determines whether or not the user 10 has turned on the free cursor mode switch (button) disposed on the housing of the remote controller 10a.
  • the free cursor mode switch is a mode for causing the user 10 as an operator to operate the cursor on the operation screen by displaying the operation screen on the display unit 60 of the display control device 11.
  • step S12 If it is determined in step S12 that the free cursor mode switch is not turned on, the process of step S12 is repeated until the free cursor mode switch is turned on.
  • the display control device 11 is in a monitoring mode that is in a neutral state, and functions as a human sensor.
  • step S13 When the free cursor mode switch is turned on in the remote controller 10a, the LED of the remote controller 10a starts continuous light emission. Further, a predetermined operation screen is displayed on the display unit 60 of the display control device 11 based on the control of the display control unit 59.
  • step S13 the face detection unit 55 detects the face of the user 10 in the RGB image from the RGB image processing unit 54, and supplies the size of the detected face on the RGB image to the ROI setting unit 58.
  • step S ⁇ b> 14 the ROI setting unit 58 determines the size of ROI that is a range (region) in which the user 10 can move the remote controller 10 a based on the size of the face of the user 10 as the operator from the face detection unit 55. Ask.
  • a detection frame 100 is set for the detected face.
  • the ROI 101 has a horizontal direction that is twice the width of the face (detection frame 100) and a vertical direction that is the height of the face (detection frame 100). Defined as a rectangular area that is the same. Note that the shape of the ROI 101 is not limited to the rectangle shown in FIG. 11, but may be an ellipse inscribed in the rectangle, or a regular circle, a square, or the like.
  • the ROI setting unit 58 When the ROI setting unit 58 obtains the ROI size, the ROI setting unit 58 supplies information indicating that the ROI size has been obtained to the imaging control unit 53.
  • step S15 the imaging control unit 53 sets the resolution, shutter speed, and gain to values suitable for the IR image as parameters related to imaging by the imaging unit 51 in accordance with information from the ROI setting unit 58.
  • the bright spot of the remote controller 10a held by the user 10 in the IR image is extracted from the IR image.
  • the resolution of bright spot extraction (detection) in an IR image is determined by the number of pixels included in the ROI set in the IR image.
  • the cursor moves on the operation screen according to the amount of movement of the bright spot in the ROI of the IR image.
  • the resolution of the IR image is higher.
  • the resolution is set so that a VGA-size IR image in which IR pixels are arranged for each pixel is obtained from the SXGA (1.3 M pixel) image of the image sensor 23.
  • a bit value is defined by a pattern of lighting / extinguishing (blinking) of a PPM (Pulse Position Modulation) signal.
  • the bit value is defined by changing the lengths of the ON time Ton and the OFF time Toff shown in the lower part of FIG.
  • the infrared remote controller LED emits pulses at a carrier frequency of 38 kHz.
  • the minimum setting of the OFF time Toff (reset time in the signal frame) is about 6 msec.
  • the LED of the infrared remote controller emits light with a fixed pattern in which the signal frame length is fixed and the OFF time Toff is set to the minimum.
  • the shutter speed of the imaging unit 51 of the display control device 11 and the light emission pattern of the LED of the remote controller 10a are not synchronized. Therefore, when the shutter opening time Top of the imaging unit 51 and the LED light emission OFF time Toff of the remote controller 10a coincide with each other, it becomes impossible to extract a bright spot in the IR image of the frame at that time.
  • the shutter opening time Top of the imaging unit 51 is set to be longer than the LED emission OFF time Toff of the remote controller 10a.
  • the shutter opening time Top is preferably at least twice the LED emission OFF time Toff.
  • the IR transmission filter cannot actually completely block the visible light region.
  • % Enters the IR pixel and becomes noise (hereinafter referred to as background noise) in the IR image.
  • background noise appears remarkably in a living room where bright outside light enters or a room where a white fluorescent lamp is used as illumination. Since the infrared light from the LED of the remote controller 10a is directly incident on the IR pixel of the image sensor 23, the amount of incident light per time is sufficiently larger than the amount of visible light that causes background noise. Therefore, it is not necessary to increase the shutter opening time Top of the imaging unit 51 more than necessary, and the influence of background noise can be reduced by appropriately shortening the shutter opening time Top.
  • the shutter opening time Top of the image capturing unit 51 is set to be as short as possible, and more than twice the LED light emission OFF time Toff. Therefore, it is possible to prevent a bright spot extraction error in a predetermined frame of the IR image and to improve the SNR (Signal to Noise Ratio) of the bright spot extraction in the IR image by suppressing the influence of background noise.
  • the shutter opening time Top of the image pickup unit 51 is gradually increased with, for example, 2 ⁇ Toff as an initial setting, and the shutter speed at which the output value of the IR pixel is not saturated is set. And set the gain to neutral.
  • a fixed shutter speed may be set in which the shutter opening time Top of the imaging unit 51 is set to a predetermined time of 2 ⁇ Toff or more.
  • the resolution, shutter speed, and gain in imaging by the imaging unit 51 can be switched from values suitable for RGB images to values suitable for IR images.
  • the RGB image processing unit 54 may not perform any processing on the RGB image.
  • step S16 the bright spot extraction unit 57 extracts the bright spot 110 of the remote controller 10a from the IR image shown in FIG.
  • the extracted IR image is supplied to the ROI setting unit 58.
  • step S17 the ROI setting unit 58 performs step S14 so that the bright spot 110 is centered in the IR image from which the bright spot 110 is extracted from the bright spot extracting unit 57, as shown in FIG.
  • the ROI 101 for which the size is obtained at is set as the ROI 111.
  • the ROI setting unit 58 supplies information indicating that the ROI 111 is set in the IR image to the display control unit 59.
  • step S18 when the information from the ROI setting unit 58 is supplied, the display control unit 59 displays a cursor at the initial position on the operation screen displayed on the display unit 60.
  • the initial position on the operation screen may be the center of the operation screen, or may be a position corresponding to the arrangement of menu icons on the operation screen.
  • the bright spot extraction unit 57 extracts the bright spot within the ROI in the current frame for the IR image for each frame, and the IR image from which the bright spot has been extracted is supplied to the ROI setting unit 58.
  • the ROI setting unit 58 is the IR image of the previous frame (hereinafter also referred to as the previous frame IR image) with respect to the IR image (hereinafter also referred to as the current frame IR image) from the bright spot extraction unit 57. ) Is set, and it is determined whether or not a bright spot exists in the ROI.
  • step S19 If it is determined in step S19 that a bright spot exists in the ROI, the process proceeds to step S20, and the ROI setting unit 58 moves the bright spot in the current frame IR image from the position of the bright spot in the previous frame IR image. Determine whether or not.
  • step S20 If it is determined in step S20 that the bright spot has not moved, the process returns to step S19, and the process for the IR image of the next frame (next frame IR image) is performed. At this time, in the next frame IR image, the ROI is set at the same position as the ROI position set in the current frame IR image.
  • step S20 determines whether the bright spot has moved. If it is determined in step S20 that the bright spot has moved, the process proceeds to step S21. At this time, the ROI setting unit 58 obtains the movement amount of the bright spot in the IR image (ROI) and supplies it to the display control unit 59.
  • ROI movement amount of the bright spot in the IR image
  • step S21 the ROI setting unit 58 sets the ROI of the next frame so that the (moved) bright spot is centered in the current frame IR image.
  • step S22 the display control unit 59 moves the cursor on the operation screen displayed on the display unit 60 according to the movement amount of the bright spot from the ROI setting unit 58. Thereafter, the process returns to step S19, and the process for the IR image of the next frame is performed.
  • the bright spot is tracked in the IR image.
  • FIG. 15 and FIG. 16 show examples of RGB images, IR images, and operation screens after time ⁇ T and time 2 ⁇ T from the initial state, respectively.
  • processing for the RGB image is not performed, but for the sake of explanation, the RGB image is shown together with an example of the IR image and the operation screen.
  • the aspect ratio of the RGB image and the IR image is 4: 3
  • the aspect ratio of the operation screen (display unit 60) is 16: 9.
  • Menu icons A to C for selecting devices such as players and game machines are arranged in an L shape.
  • a display area for displaying a video of a television broadcast program or a video from a connected device is arranged so as to be surrounded by menu icons arranged in an L shape.
  • the ROI 111 set in the IR image is horizontal h pixels and vertical v pixels (hereinafter referred to as (h, v) [pix], etc.), the ROI 111 set in the IR image.
  • the size of is (2h, v) [pix].
  • the size of the operation screen (display unit 60) is (H, V) [pix]. Note that the aspect ratio of the ROI in the IR image and the aspect ratio of the operation screen may be different or the same.
  • the initial position is set.
  • the cursor 121 is displayed at the center coordinate (0, 0) on the operation screen.
  • ROI 111 is set. Then, the cursor 121 on the operation screen is based on the size (2h, v) of the ROI 111 and the size (H, V) of the operation screen, and the coordinates shown below from the center coordinate (0, 0) on the operation screen. Is displayed.
  • the cursor 121 on the operation screen is based on the size (2h, v) of the ROI 111 and the size (H, V) of the operation screen, and the coordinates shown below from the center coordinate (0, 0) on the operation screen. Is displayed.
  • step S19 if it is determined in step S19 that no bright spot exists in the ROI, the process proceeds to step S23, and the ROI setting unit 58 extends the ROI. Thereafter, the process returns to step S19.
  • the process in step S23 is repeated a plurality of times, for example, five times, the operator may have moved, so that the process returns to the monitoring mode that is the neutral state in step S11, and the operator's position May be reset.
  • the ROI determined according to the size of the user's face in the RGB image is always set around the bright spot in the IR image, and the operation is performed according to the movement amount of the bright spot in the ROI.
  • the cursor on the screen is moved. That is, without directly obtaining the distance from the display control device to the user, and regardless of the distance to the user, the cursor on the operation screen is moved from corner to corner with an arm stroke amount that does not cause the user to feel stress. Can be moved. Therefore, in the free cursor type user interface, it is not necessary to perform calibration every time in order to obtain the distance between the camera and the operator, and it is not necessary to obtain the distance between the camera and the operator. It becomes possible to improve.
  • the function of the monitoring camera for monitoring the viewing state of the viewer and the function of the infrared camera for imaging the infrared light spot of the remote controller are realized by one imaging unit 51, that is, a monocular camera system. Since it did in this way, parallax does not arise in the obtained RGB image and IR image, and it becomes possible to ensure simultaneity.
  • the resolution, shutter speed, and gain can be set to values suitable for each of the RGB image and the IR image. It is possible to construct a system that uses the information about and the information about the IR image in a complementary manner.
  • the screen size of the display unit 60 (displays 11b and 29) of the display control device 11 is not large, specifically, the screen size is a screen size of 32 inches or less where the viewing distance is assumed to be within 3 m. Think.
  • the arrangement of the color filter array 23a arranged on the front surface of the image sensor 23 may be the arrangement shown in FIG.
  • one pixel unit of the four pixel units is configured by an IR transmission filter when four pixels in the Bayer array are used as one pixel unit.
  • the number of IR pixels is VGA, the IR pixels are arranged every two pixels, and the spatial resolution is coarser than the arrangement shown in FIG.
  • the IR image is output by thinning out the IR pixels of one pixel unit (output a).
  • the pixel unit of the RGB pixel located on the diagonal line of the IR pixel of one pixel unit is extracted and output (output b), or four pixels are added, and the IR pixel is 1 ⁇ 4 of the RGB pixel. It is mixed and output (output c).
  • the resolution of the obtained RGB image and IR image are both VGA.
  • the area of the IR transmission filter can be increased by the arrangement of the color filter array 23a shown in FIG.
  • the IR transmission filter having a film thickness about twice that of the R, G, B color filter may be easily peeled off in the manufacturing process. is there. Therefore, a stable IR transmission filter can be formed by increasing the area of the IR transmission filter.
  • the RGB pixel when the pixel output is the output b in FIG. 17, the mutual interference between the RGB pixel and the IR pixel can be minimized, and when the pixel output is the output c in FIG. Although noise due to the IR pixel is included, the output of the RGB pixel is three times that of the output b, which is advantageous for face detection in a low illumination environment.
  • the R, G, B color filters in the color filter array 23a are all transmitted through the visible light region, and the pixels corresponding to the color filters are white pixels, so that a monochrome image can be substituted for an RGB image. May be obtained.
  • FIG. 18 shows an example of pixel output in which R, Gb (or Gr), and B pixels are white pixels in the pixel output shown in FIG.
  • the number of pixels is 1.2M.
  • a monochrome image obtained by demosaicing an output obtained by thinning white pixels corresponding to R, Gb (or Gr), and B pixels (RGB pixels), and a Gr (or Gb) pixel (IR pixel) ) Can be obtained by demosaicing the output.
  • the sensitivity of the black and white image obtained in this way is approximately three times that of the RGB image because there is no attenuation by the R, G, and B color filters.
  • the resolution of the image sensor 23 is 1.2M
  • the resolutions of the monochrome image and the IR image are 1.2M and VGA, respectively.
  • FIG. 19 shows an example of pixel output in which R, Gb (or Gr), and B pixels are white pixels in the pixel output shown in FIG. Again, for simplicity of explanation, the number of pixels is 1.2M. According to the example of FIG. 19, four white pixels corresponding to R, Gb (or Gr), and B pixels (RGB pixels) are added and output. In this case, since 3 pixel cells out of 4 pixel cells can be used as the output of the white pixel, the sensitivity of the black and white image is further tripled to about 9 times that of the RGB image. Therefore, even when the user 10 and the display control device 11 are placed in a darker lighting environment, it is possible to perform robust face detection.
  • FIG. 20 shows an example of pixel output in which the R, G, and B pixels are white pixels in the pixel output shown in FIG.
  • the same effect as that of the example of FIG. 17 can be obtained, and a monochrome image having higher sensitivity than that of the RGB image can be obtained.
  • FIG. 21 illustrates a functional configuration example of the second embodiment of the display control device to which the present technology is applied.
  • the display control device 211 of FIG. 21 is different from the display control device 11 of FIG. 7 in that a face detection unit 251 is provided instead of the face detection unit 55.
  • the face detection unit 251 has the same function as the face detection unit 55 in FIG. 7 and also includes a specifying unit 251a.
  • the specifying unit 251a acquires an IR image from the IR image processing unit 56, and operates as an operator based on the IR image and the RGB image. Identify users.
  • processing in steps S111 to S113 and S117 to S126 in the flowchart in FIG. 21 is basically the same as the processing in steps S11 to S13 and S14 to S23 in the flowchart in FIG.
  • step S114 the face detection unit 251 determines whether or not there are a plurality of faces detected in the RGB image from the RGB image processing unit 54 in step S113.
  • detection frames 100A and 100B are set for the detected faces.
  • the face detection unit 251 determines whether or not there are a plurality of faces by determining whether or not a plurality of detection frames are set.
  • step S114 If it is determined in step S114 that there are a plurality of faces, the process proceeds to step S115, and the face detection unit 251 receives an IR of a frame at the same time as the frame of the RGB image from which the face is detected from the IR image processing unit 56. Get an image.
  • step S116 the specifying unit 251a of the face detecting unit 251 specifies a user who is an operator of the remote controller 10a based on the position of the face in the RGB image and the position of the bright spot in the IR image.
  • the specifying unit 251a extracts the bright spot 110 from the IR image acquired from the IR image processing unit 56, and detects frames 100A and 100B set for the RGB image. 100B is set to the corresponding position of the IR image. Then, the specifying unit 251a calculates the distance between the bright spot 110 and the center position of the detection frames 100A and 100B in the IR image, and determines the user 10A corresponding to the detection frame 100A having the smallest distance from the remote controller 10a. Identify as an operator. Thereafter, the specifying unit 251a supplies the size of the specified face of the user 10A (detection frame 100A) on the RGB image to the ROI setting unit 58.
  • the user as an operator is specified, and the ROI determined according to the specified face size of the user determines the bright spot in the IR image. It is always set as the center, and the cursor on the operation screen is moved according to the movement amount of the bright spot in the ROI.
  • the cursor on the operation screen is moved by the stroke amount of the user's arm without obtaining the distance from the display control device to each of the plurality of users and regardless of the distance to the user as an operator. Can do. Therefore, in the free cursor type user interface, it is not necessary to perform calibration every time in order to obtain the distance between the camera and the operator, and it is not necessary to obtain the distance between the camera and the operator. It becomes possible to improve.
  • FIG. 25 illustrates a functional configuration example of the third embodiment of the display control device to which the present technology is applied.
  • the display control device 311 in FIG. 25 differs from the display control device 11 in FIG. 7 in that an IR difference image generation unit 351 is newly provided, and a bright spot extraction unit 352 is provided instead of the bright spot extraction unit 57. It is a point.
  • the IR difference image generation unit 351 includes a buffer that holds an IR image (previous frame IR image) one frame before, and is held in the buffer by the IR image (current frame IR image) from the IR image processing unit 56. An IR difference image that is a difference from the previous frame IR image is generated. The IR difference image generation unit 351 supplies the generated IR difference image and the current frame IR image to the bright spot extraction unit 352.
  • the bright spot extraction unit 352 extracts a bright spot from the IR difference image from the IR difference image generation section 351, and supplies the IR difference image from which the bright spot has been extracted to the ROI setting section 58 together with the current frame IR image.
  • processing for RGB images processing for video communication
  • processing for IR images processing for tracking bright spots
  • processing for RGB images processing for video communication
  • processing for IR images processing for tracking bright spots
  • high-quality images are required as in a normal digital camera. From the above, in the present embodiment, the resolution is set to only values suitable for RGB images, and the shutter speed and gain are also set to only values suitable for RGB images, as shown in FIG. Will be set.
  • steps S221 to S224 and S228 to S233 in the flowchart of FIG. 27 are basically the same as steps S11 to S14 and S18 to S23 in the flowchart of FIG.
  • step S225 the IR difference image generation unit 351 generates an IR difference image based on the current frame IR image from the IR image processing unit 56 and the previous frame IR image held in the buffer, and the current frame The image is supplied to the bright spot extraction unit 352 together with the IR image.
  • step S226 the bright spot extraction unit 352 extracts a bright spot from the IR difference image from the IR difference image generation section 351, and sends the IR difference image from which the bright spot has been extracted to the ROI setting section 58 together with the current frame IR image. Supply.
  • step S227 the ROI setting unit 58 identifies a bright spot in the current frame IR image based on the bright spot extracted in the IR difference image from the bright spot extraction unit 352, and the bright spot in the current frame IR image. Is set so that the size is determined in step S224.
  • the bright spots in the IR image are tracked.
  • FIGS. 29 and 30 are respectively after time ⁇ T and time 2 ⁇ T from the initial state. Examples of RGB images, IR images, and IR difference images are shown.
  • processing for the RGB image is not performed, but for the sake of explanation, the RGB image is shown together with examples of the IR image and the IR difference image.
  • a camera system that performs video communication is installed indoors. Therefore, in the RGB images of FIGS. 28 to 30, light from indoor lighting or light from the outside is reflected by a mirror or the like.
  • the light source 391 is a result of pixel output due to incidence of a large amount of light in the visible light region in an IR image captured at a shutter speed suitable for an RGB image, and the pixel output is the infrared light of the LED of the remote controller 10a. It is equivalent to or higher than the pixel output by.
  • the difference value is set to 0 for a pixel having a minus difference value.
  • the light source 391 having no motion is canceled by the difference, and only the bright spot 110 due to the infrared light of the LED of the remote controller 10a moved by being shaken by the user 10 is present. Thereby, a bright spot is extracted from the IR difference image.
  • the ROI 111 is set so that the bright spot 110 extracted in the IR difference image is the center.
  • the bright spot 110 is extracted from the IR difference image, and the ROI 111 is set so that the bright spot 110 extracted from the IR difference image is centered in the IR image.
  • the ROI determined according to the size of the user's face in the RGB image is extracted based on the IR difference image.
  • the bright spot in the IR image is always set as the center, and the cursor on the operation screen is moved according to the movement amount of the bright spot in the ROI. That is, it is possible to move the cursor on the operation screen without obtaining the distance from the display control device to the user and with an arm stroke amount that does not cause the user to feel stress regardless of the distance to the user. . Therefore, in the free cursor type user interface, it is not necessary to perform calibration every time in order to obtain the distance between the camera and the operator, and it is not necessary to obtain the distance between the camera and the operator. It becomes possible to improve.
  • the processing for the RGB image and the processing for the IR image are performed in parallel, so that the shutter speed is set only to a value suitable for the RGB image.
  • the shutter open time is increased to obtain sensitivity in RGB images
  • SNR for bright spot extraction in IR images due to background noise in living rooms where bright external light enters and rooms where white fluorescent lights are used as illumination
  • it is possible to reliably extract the bright spot by detecting the motion using the IR difference image.
  • the user can perform a cursor operation on the operation screen in parallel while performing video communication.
  • the stroke amount of the user's arm is set on the basis of the user's face size (for example, the size of the face size).
  • the user interface is provided in which the required arm stroke amount does not depend on the distance.
  • many users handle and operate the remote controller unconsciously like a laser pointer. That is, it is conceivable that the user handles the remote controller with an arm stroke corresponding to the distance to the display control device.
  • the ROI has a size corresponding to the distance between the display control device and the user, in other words, a size corresponding to the stroke amount of the user's arm.
  • FIG. 31 illustrates a functional configuration example of the fourth embodiment of the display control device to which the present technology is applied.
  • the display control device 411 in FIG. 31 is different from the display control device 11 in FIG. 7 in that a distance calculation unit 451 is newly provided and an ROI setting unit 452 is provided instead of the ROI setting unit 58. .
  • the distance calculation unit 451 calculates the distance between the display control device 411 and the user based on the size of the user's face in the RGB image detected by the face detection unit 55, and supplies the calculated distance to the ROI setting unit 452. To do.
  • the ROI setting unit 452 calculates the ROI size based on the distance between the display control device 411 and the user from the distance calculation unit 451. In addition, the ROI setting unit 452 sets the ROI whose size is determined so that the bright spot is centered in the IR image from which the bright spot is extracted from the bright spot extracting unit 57. Then, when the bright spot moves in the set ROI, the ROI setting unit 452 supplies the display controller 59 with the movement amount of the bright spot in the ROI.
  • steps S311 to S313 and S316 to S324 in the flowchart of FIG. 32 are basically the same as the processes in steps S11 to S13 and S15 to S23 in the flowchart of FIG.
  • the distance calculation unit 451 calculates the distance between the display control device 411 and the user based on the size of the user's face as an operator in the RGB image from the face detection unit 55, and calculates the distance. The distance is supplied to the ROI setting unit 452.
  • the imaging unit 51 it is assumed that there is one user imaged by the imaging unit 51, and the remote controller LED and the user's face held by the user have the same position in the distance direction.
  • the horizontal viewing angle and the vertical viewing angle of the imaging unit 51 are respectively FOVx and FOVy, and the number of pixels of the image sensor 23 is Px ⁇ Py.
  • the size of the user's face (detection frame) detected in the RGB image is (h, v) [pix], and the actual size of the average human face is horizontal BLx [mm], vertical Bly [mm] To do.
  • the size of the face detected in the RGB image is handled only in one dimension in the horizontal direction (lateral direction).
  • the actual face size per pix (pixel) is BLx / h, so the horizontal visual field size is expressed as follows.
  • the visual field size in the horizontal direction when the distance between the display control device 411 and the user is the distance D is expressed as follows.
  • the distance D between the display control device 411 and the user is expressed by the following equation (1).
  • the distance D between the display control device 411 and the user is calculated based on the size of the user's face in the RGB image.
  • the ROI setting unit 452 obtains the ROI size based on the distance D between the display control device 411 and the user from the distance calculation unit 451.
  • the ROI size is predetermined as a function of the distance D, and the ROI size is determined according to the distance D calculated by the distance calculation unit 451.
  • a table in which the ROI size and the distance D are associated may be prepared in advance, and the ROI size may be determined based on the table.
  • the function of the distance D and the table in which the ROI magnitude and the distance D are associated are given in consideration of the operability of the user interface. For example, assuming that the size of the operation screen is 40 inches, when the distance D is as small as about 1 m, the ROI size is set to be 1 times the face size, and when the distance D is as large as about 5 m, the ROI is large. By setting the height to four times the face size, it is possible to obtain the operability that matches the stroke of the arm in the unconscious operation of the user as described above. In this case, the size of the ROI is determined based on the size of the operation screen and the distance D.
  • the ROI calculated based on the size of the user's face in the RGB image and whose size is determined according to the distance between the display control device and the user is always centered on the bright spot in the IR image.
  • the cursor on the operation screen is moved according to the movement amount of the bright spot in the ROI.
  • the IR difference image generation unit 351 of FIG. 25 is newly provided, and the bright spot extraction unit 352 of FIG. You may make it apply to the camera system to perform.
  • the imaging unit of the display control device described above is configured as a single focus camera, as shown in FIG. 33, when the distance between the display control device and the user (remote controller) is small (left side in the figure).
  • the distance between the display control device and the user is large (right side in the figure), the number of pixels included in the ROI set in the IR image is different. Specifically, the greater the distance between the display control device and the user, the smaller the number of pixels included in the ROI.
  • the smoothness of the movement of the cursor on the operation screen depends on the number of pixels included in the ROI, so the greater the distance between the display control device and the user, the more the movement of the cursor on the operation screen becomes more frustrating. . Therefore, when a large number of menu icons are arranged on the operation screen when the distance between the display control device and the user is large (that is, when the size of the menu icon with respect to the operation screen is small), the user can select a desired menu. The icon cannot be accurately selected, and operability is degraded.
  • FIG. 34 illustrates a functional configuration example of the fifth embodiment of the display control device to which the present technology is applied.
  • a distance calculation unit 551 is newly provided and a display control unit 552 is provided in place of the display control unit 59. .
  • the distance calculation unit 551 calculates the distance between the display control device 511 and the user based on the size of the user's face in the RGB image detected by the face detection unit 55, and supplies the calculated distance to the display control unit 552. To do.
  • the display control unit 552 determines the size of the menu icon on the operation screen based on the distance between the display control device 511 and the user from the distance calculation unit 551 and causes the display unit 60 to display the menu icon.
  • steps S411 to S417 and S420 to S425 in the flowchart of FIG. 35 is basically the same as the processing of steps S11 to S17 and S18 to S23 in the flowchart of FIG.
  • the distance calculation unit 551 calculates the distance between the display control device 511 and the user based on the size of the user's face as an operator in the RGB image from the face detection unit 55, and calculates the distance.
  • the distance is supplied to the display control unit 552. Specifically, the distance between the display control device 511 and the user is calculated by the above-described equation (1).
  • step S419 the display control unit 552 determines the size of the menu icon on the operation screen based on the distance between the display control device 511 and the user from the distance calculation unit 551, and causes the display unit 60 to display the menu icon. Specifically, as shown in FIG. 36, the display control unit 552 enlarges the menu icon on the operation screen and causes the display unit 60 to display the larger the distance between the display control device 511 and the user. At this time, the number of menu icons on the operation screen is set so that (number of pixels in ROI) / (number of menu icons on the operation screen) becomes a constant value.
  • the stroke amount of the user's arm is twice the face size
  • the stroke amount of the user's arm on the RGB image is a maximum of 32 pixels.
  • the display control unit 552 sets the number of pixels on the RGB image (IR image) corresponding to one menu icon (horizontal length) on the operation screen to 10 pixels, and horizontally on the operation screen. Three menu icons are displayed.
  • the reason why the number of pixels on the RGB image corresponding to one menu icon is 10 pixels is that the error in the display position of the cursor due to the error in the bright spot extraction of the remote controller 10a in the IR image (minimum of 1 pixel) This is to prevent the user from selecting menu icons.
  • FIG. 37 and 38 show the results of calculating the horizontal size (ROI_x) and the number of menu icons of the ROI with respect to the distance between the display control device 511 and the user.
  • FIG. 37 shows a calculation result when the resolution of the image sensor 23 is VGA
  • FIG. 38 shows a calculation result when the resolution of the image sensor 23 is Quad-VGA. It is assumed that the maximum number of menu icons is limited to 15.
  • the operation screen is displayed so that the number of menu icons decreases as the distance between the display control device 511 and the user increases, in other words, each menu icon increases.
  • the user can select a desired menu icon accurately, and the operability for the user can be improved.
  • each menu icon is displayed larger, so that the visibility of the user is improved and the operability can be further improved. become.
  • a remote controller for operating a free cursor is distinguished from an infrared remote controller (electronic device remote controller) for operating other electronic devices.
  • an infrared remote controller electronic device remote controller
  • the wavelength of the LED of the free cursor remote controller may be different from the wavelength of the LED of the electronic device remote controller. More specifically, the wavelength of the LED of the free cursor remote controller is set to 850 nm, and the spectral characteristic of the special filter 22 shown second from the top in FIG. 4 has a transmission band at 850 nm. If the wavelength of the LED of the remote controller for electronic equipment is 940 nm, optical interference can be prevented.
  • an LED light source that emits infrared light having the same wavelength as the infrared light emitted from the LED of the remote controller for operating the free cursor may be provided as illumination. Good. This makes it possible to monitor the viewing state in a dark place, which was impossible due to insufficient sensitivity.
  • the pixel output described with reference to FIGS. 17 to 20 may be applied.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
  • FIG. 39 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 905 is further connected to the bus 904.
  • the input / output interface 905 includes an input unit 906 made up of a keyboard, mouse, microphone, etc., an output unit 907 made up of a display, a speaker, etc., a storage unit 908 made up of a hard disk, nonvolatile memory, etc., and a communication unit 909 made up of a network interface, etc.
  • a drive 910 for driving a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 901 loads the program stored in the storage unit 908 to the RAM 903 via the input / output interface 905 and the bus 904 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 901) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor
  • the program is recorded on a removable medium 911 which is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 908 via the input / output interface 905 by attaching the removable medium 911 to the drive 910.
  • the program can be received by the communication unit 909 via a wired or wireless transmission medium and installed in the storage unit 908.
  • the program can be installed in the ROM 902 or the storage unit 908 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • this technique can take the following structures.
  • An imaging unit that outputs a visible light image based on a pixel signal corresponding to visible light among light incident from a lens, and an infrared light image based on a pixel signal corresponding to infrared light; Based on the visible light image, an area setting unit that sets a moving area of an infrared light source in the infrared light image;
  • a display control apparatus comprising: a display control unit that controls a cursor movement amount on the display unit according to the movement of the infrared light source in the movement region.
  • the region setting unit sets the size of the moving region of the infrared light source in the infrared light image based on the subject in the visible light image, and the infrared in the infrared light image.
  • the display control device according to (1), wherein the position of the light source is always the center position of the moving region.
  • the display control according to (2), wherein the region setting unit sets the size of the moving region of the infrared light source in the infrared light image based on the size of the face of the subject in the visible light image. apparatus.
  • the face detection unit When a plurality of faces are detected by the face detection unit, based on the position of the face of the subject in the visible light image and the position of the infrared light source in the infrared light image, It further includes a specifying unit for specifying the subject, The region setting unit sets the size of the moving region of the infrared light source in the infrared light image based on the size of the face of the subject specified by the specifying unit. Display control device.
  • a distance calculation unit that calculates a distance to the subject based on the visible light image
  • the display control device according to (2) or (3), wherein the region setting unit sets a size of the moving region of the infrared light source in the infrared light image based on a distance to the subject.
  • the region setting unit sets the size of the moving region of the infrared light source in the infrared light image based on the distance to the subject and the size of the display unit.
  • Display controller (7) An imaging control unit that switches parameters related to imaging in the imaging unit so as to be optimal for each of the visible light image and the infrared light image output by the imaging unit (1) to (6)
  • the display control device according to any one of the above.
  • the imaging control unit that further sets an imaging parameter in the imaging unit so as to be optimal for the visible light image output by the imaging unit (1) to (6).
  • Display control device (9) further comprising a difference image generation unit for generating a difference image from the infrared light images of different time frames; The display control device according to (8), wherein the region setting unit sets a moving region of an infrared light source that moves in the difference image.
  • a distance calculation unit that calculates a distance to the subject based on the visible light image, The display control unit displays the display target of the display unit in a size corresponding to the distance to the subject, and in the display unit according to the movement of the infrared light source in the movement region.
  • the display control apparatus according to any one of (1) to (3), wherein the cursor is moved.
  • the pixel signal output as the infrared light image from the imaging unit is an image sensor in which a filter that transmits infrared light is arranged in one unit when four pixels of RGB pixels are used as one pixel unit.
  • the display control device according to any one of (1) to (10).
  • (12) The pixel signal output as the infrared light image from the imaging unit is output from an imaging device in which the filter that transmits infrared light is disposed in one of the G pixels in the Bayer array.
  • the display control apparatus according to 11).
  • the pixel signal output as the infrared light image from the imaging unit is an image sensor in which a filter that transmits infrared light is arranged in one unit when four pixels of white pixels are used as one pixel unit.
  • the display control device according to any one of (1) to (10).
  • the wavelength of infrared light of the infrared light source is different from the wavelength of infrared light emitted from a LED (Light Emitting Diode) of a remote controller for operating an electronic device,
  • the display control device according to any one of (1) to (11), wherein the imaging unit includes a filter that uses a wavelength of infrared light of the infrared light source as a transmission band.
  • a visible light image based on a pixel signal corresponding to visible light out of light incident from the lens, and an infrared light image based on a pixel signal corresponding to infrared light out of the light incident from the lens A display control method of a display control device including an imaging unit that outputs An area setting step for setting a moving area of an infrared light source in the infrared light image based on the visible light image; A display control step of controlling a cursor movement amount on the display unit in accordance with the movement of the infrared light source in the movement region.
  • a visible light image based on a pixel signal corresponding to visible light out of light incident from the lens, and an infrared light image based on a pixel signal corresponding to infrared light out of the light incident from the lens In a program for causing a computer to execute display control processing of a display control device including an imaging unit that outputs An area setting step for setting a moving area of an infrared light source in the infrared light image based on the visible light image; A program that causes a computer to execute processing including a display control step of controlling a cursor movement amount on a display unit in accordance with movement of the infrared light source within the movement region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができる表示制御装置および方法、並びにプログラムに関する。 撮像部は、レンズより入射される光のうちの可視光に対応する画素信号に基づくRGB画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づくIR画像を出力し、ROI設定部は、RGB画像に基づいて、IR画像における赤外光光源の移動領域を設定し、表示制御部は、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する。本技術は、例えば、視聴者の視聴状態を監視するテレビジョン受像機に適用することができる。

Description

表示制御装置および方法、並びにプログラム
　本技術は、表示制御装置および方法、並びにプログラムに関し、特に、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにする表示制御装置および方法、並びにプログラムに関する。
　近年のデジタルテレビジョン受像機においては、放送映像以外に表示される情報や操作項目が増えたことにより、リモートコントローラの操作ボタンの数が増えてしまい、操作が煩雑になっている。
　そこで、デジタルカメラのレンズ部分に、可視光を遮断し近赤外光を透過する赤外線透過フィルタを設けることで、オペレータが手に持つリモートコントローラの近赤外光のスポットを撮像し、オペレータの手の動きに連動してディスプレイ上のカーソルを動かすことにより、ディスプレイ上のメニューアイコン等を選択させるようにした、フリーカーソル型のユーザインタフェースが提案されている（例えば、特許文献１参照）。
　また、近年、パーソナルコンピュータやテレビジョン受像機といったディスプレイを備える表示装置にデジタルカメラを搭載することで、インターネット等のネットワークを介して、ユーザがディスプレイを通じて遠方の人と会話する、いわゆるビデオコミュニケーションを行うようにしたものや、視聴者の視聴状態を監視し、長時間ディスプレイの前にいない場合には電源を切るような省エネルギー対応の機能を付加したしたものがある。
　このような表示装置に、上述した特許文献１のフリーカーソル型のインタフェースを適用することを考えたとき、リモートコントローラの赤外光のスポットを撮像する赤外線カメラ（以下、単に、カメラという）として、光学ズーム機能がないが、低コスト化が可能な単焦点カメラを用いた場合、カメラからオペレータまでの距離が大きくなるに従って、カメラの撮像領域が広くなる。すなわち、カメラからオペレータまでの距離に応じて、カメラの撮像領域とディスプレイのサイズの比が変化し、オペレータがリモートコントローラを手に持ってカーソルを操作する際に必要な腕のストローク量が変化することになる。
　オペレータの腕のストローク量は、操作性の観点から、カメラからオペレータまでの距離に依らず一定であることが望ましい。そこで、カメラとオペレータとの距離に応じて、カメラによって撮像された画像上の赤外光のスポットの変位量と、ディスプレイ上に表示されるカーソルの変位量との比（倍率）を変化させることが提案されている（例えば、特許文献２参照）。
　この場合、カメラとオペレータとの距離を正確に求めることが要求されるが、特許文献２においては、リモートコントローラの赤外光の強度が距離の２乗に反比例して変化することを用いて、カメラとオペレータ（リモートコントローラ）との距離が求められている。
特開平６－５９８０７号公報 特開平６－７５６９５号公報
　しかしながら、特許文献２の手法では、リモートコントローラにおいて赤外光を発光するLED（Light Emitting Diode）を駆動する電池残量の経時変化等によって、赤外光の強度が変化する。さらに、オペレータがリモートコントローラをカメラに対して角度をつけて振った場合にも、赤外光の強度が著しく変化する。このように、カメラとオペレータとの距離を正確に求めるのは困難であり、赤外光の強度から、カメラとオペレータとの距離を正確に求めるには、カメラの正面にリモートコントローラを正対させて、その都度キャリブレーションを行う必要があり、ユーザにとっては面倒である。
　本技術は、このような状況に鑑みてなされたものであり、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにするものである。
　本技術の一側面の表示制御装置は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部とを備える。
　前記領域設定部には、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とさせることができる。
　前記表示制御装置には、前記可視光画像において被写体の顔を検出する顔検出部をさらに設け、前記領域設定部には、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
　前記表示制御装置には、前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、赤外光を発光するリモートコントローラを操作する前記被写体を特定する特定部をさらに設け、前記領域設定部には、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
　前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記領域設定部には、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
　前記領域設定部には、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
　前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに設けることができる。
　前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに設けることができる。
　前記表示制御装置には、異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに設け、前記領域設定部には、前記差分画像において動きのある赤外光光源の移動領域を設定させることができる。
　前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記表示制御部には、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させることができる。
　前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
　前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力されるようにすることができる。
　前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
　前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、前記撮像部には、前記赤外光光源の赤外光の波長を透過帯とするフィルタを設けることができる。
　本技術の一側面の表示制御方法は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む。
　本技術の一側面のプログラムは、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムであって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む処理をコンピュータに実行させる。
　本技術の一側面においては、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像が出力され、可視光画像に基づいて、赤外光画像における赤外光光源の移動領域が設定され、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量が制御される。
　本技術の一側面によれば、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
本技術を適用した表示制御装置の第１の実施の形態の外観構成を示す図である。 表示制御装置のハードウェア構成例を示すブロック図である。 撮像部の構成の詳細について説明する図である。 撮像部の分光特性について説明する図である。 イメージセンサのカラーフィルタの配列の例を示す図である。 RGB画素とIR画素の出力の例について説明する図である。 表示制御装置の機能構成例を示すブロック図である。 図７の表示制御装置のカーソル表示制御処理について説明するフローチャートである。 RGB画素とIR画素の出力の例について説明する図である。 シャッタスピードとゲインについて説明する図である。 顔の検出とROIの大きさの設定について説明する図である。 IR画像における輝点の抽出について説明する図である。 IR画像におけるROIの設定について説明する図である。 ディスプレイ上のカーソルの移動について説明する図である。 ディスプレイ上のカーソルの移動について説明する図である。 ディスプレイ上のカーソルの移動について説明する図である。 RGB画素とIR画素の出力の例について説明する図である。 RGB画素とIR画素の出力の例について説明する図である。 RGB画素とIR画素の出力の例について説明する図である。 RGB画素とIR画素の出力の例について説明する図である。 本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。 図２１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。 RGB画像における顔の検出について説明する図である。 IR画像における輝点の抽出について説明する図である。 本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示すブロック図である。 図２５の表示制御装置のカーソル表示制御処理について説明するフローチャートである。 シャッタスピードとゲインについて説明する図である。 IR差分画像による輝点の抽出について説明する図である。 IR差分画像による輝点の抽出について説明する図である。 IR差分画像による輝点の抽出について説明する図である。 本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示すブロック図である。 図３１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。 オペレータとの距離によるROI内の画素数の違いについて説明する図である。 本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。 図３４の表示制御装置のカーソル表示制御処理について説明するフローチャートである。 オペレータとの距離に応じたディスプレイの表示について説明する図である。 オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。 オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（フリーカーソル型のユーザインタフェースを提供する構成）
　２．第２の実施の形態（複数のユーザからオペレータを特定する例）
　３．第３の実施の形態（ビデオコミュニケーションを行うカメラシステムに適用する例）
　４．第４の実施の形態（オペレータとの距離に応じてROIの大きさを求める例）
　５．第５の実施の形態（オペレータとの距離に応じてディスプレイの表示を制御する例）
＜１．第１の実施の形態＞
［表示制御装置の外観構成］
　図１は、本技術を適用した表示制御装置の第１の実施の形態の外観構成を示している。
　図１の表示制御装置１１においては、カメラ部１１ａが、ユーザ１０と、ユーザ１０が操作するリモートコントローラ１０ａの赤外光のスポット（以下、輝点という）とを撮像し、ディスプレイ１１ｂが、ユーザ１０に対する操作画面とともに、カメラ部１１ａによって撮像された輝点の動きに応じた動きのカーソルを表示する。すなわち、表示制御装置１１は、ユーザ１０に対して、フリーカーソル型のユーザインタフェースを提供する。
［表示制御装置のハードウェア構成例］
　図２は、フリーカーソル型のインタフェースを提供する表示制御装置１１のハードウェア構成例を示すブロック図である。
　図２の表示制御装置１１は、レンズ２１、特殊フィルタ２２、イメージセンサ２３、CDS（Correlated Double Sampling）/AGC（Automatic Gain Control）回路２４、A/D（Analog/Digital）変換回路２５、DSP（Digital Signal Processor）２６、CPU（Central Processing Unit）２７、タイミングジェネレータ２８、ディスプレイ２９、およびEEPROM（Electrically Erasable Programmable Read Only Memory）３０から構成される。
　レンズ２１は、単眼の単焦点レンズとして構成され、被写体からの光を集光し、集光した光を、特殊フィルタ２２を介してイメージセンサ２３に入射させる。イメージセンサ２３は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、レンズ２１から特殊フィルタ２２を介して入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号（アナログ信号）に光電変換して、CDS/AGC回路２４に供給する。
　ここで、図３乃至図５を参照して、特殊フィルタ２２およびイメージセンサ２３の詳細な構成について説明する。
　図３に示されるように、特殊フィルタ２２は、イメージセンサ２３を保護するためのシールガラス２２ａに成膜して貼り付けられている。特殊フィルタ２２は、図４の上から２番目に示されるように、可視光域（400nm乃至650nm）とともに、図４の上から１番目に示される、リモートコントローラ１０ａのLED（Light Emitting Diode）から発光される赤外光の波長帯（940nm）に透過帯を持つ分光特性を有する。なお、特殊フィルタ２２は、シールガラス２２ａの入射面側、出射面側のどちらに成膜するようにしてもよい。
　特殊フィルタ２２は、４０層乃至５０層程度の薄膜材料を積層させた多層膜の干渉フィルタによって構成される。薄膜材料としては、例えば、誘電体材料であるTiO2，Ta2O2，SiO2，MgF2等が用いられる。また、特殊フィルタ２２は、蒸着法、IAD（Ion beam Assisted Deposition）法、スパッタリング法、CVD（Chemical Vapor Deposition）法等の製造プロセスによって成膜される。
　なお、特殊フィルタ２２は、図３に示されるように、シールガラス２２ａに貼り付けられる他、レンズ鏡筒内の光軸上の任意の位置に配置されるようにもできる。
　また、図３に示されるように、イメージセンサ２３の前面（図中、左側）には、カラーフィルタアレイ２３ａが配置されている。カラーフィルタアレイ２３ａは、イメージセンサ２３の１画素ごとに割り当てられたカラーフィルタから構成される。
ここで、図５を参照して、カラーフィルタアレイ２３ａにおけるカラーフィルタの配列について説明する。
　図５には、ベイヤ配列において、Ｇ画素のうちの半分（Ｒ，Ｇ，Ｂ，Ｇからなる、隣接する２×２（＝４）画素のうちの１つのＧ画素）が、図中黒塗りで示されるIR（InfraRed）透過フィルタで構成されるカラーフィルタの配列例が示されている。
　このIR透過フィルタは、図４の上から３番目に示されるような分光特性を有し、通常のカラーフィルタに用いられている有機系材料の顔料や染料の調合によって、１μｍ程度の膜厚で可視光域の透過率を数％以下に抑えるように構成されている。IR透過フィルタの分光特性において、透過率の立ち上がりの波長は、リモートコントローラの赤外光の波長（940nm）より短波長側に設定され、図４の例では800nm付近に設定されている。
　以上のような構成により、イメージセンサ２３は、図４の上から４番目に示されるように、可視光域および赤外光の波長帯に対して感度を有するようになる。
　すなわち、イメージセンサ２３によれば、図６に示されるように、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）を間引きした出力をデモザイクして得られるＲ画像、Ｇ画像、Ｂ画像からなる可視光画像（RGB画像）と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られる赤外光画像（IR画像）が得られるようになる。なお、図６の例においては、イメージセンサ２３の解像度は、SXGA（Super Extended Graphics Array）（1280×1024：1.3M）とされる。RGB画像およびIR画像のRAW画像の解像度は、ともにVGAとなるが、RGB画像について、例えばＧｒ＝Ｇｂとするような補間処理後に、通常のベイヤ配列の画素に対応するカラー画像と同様の画像処理を施すことにより、SXGAの解像度のRGB画像が得られる。なお、IR画像の解像度はVGAとなる。
　図２に戻り、CDS/AGS回路２４は、イメージセンサ２３において発生する１／ｆノイズを除去するとともに、CPU２７の制御に基づいて、イメージセンサ２３から供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整してA/D変換回路２５に出力する。さらに、CDS/AGS回路２４は、CPU２７の制御に基づいて、イメージセンサ２３における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。
　A/D変換回路２５は、CDS/AGS回路２４から出力されたアナログ信号である画像信号を、デジタル信号である画像データに変換して、DSP２６に供給する。A/D変換回路２５によって得られる画像データとしては、上述したRGB画像の画像データと、IR画像の画像データとがある。
　DSP２６は、A/D変換回路２５からの画像データ（RGB画像およびIR画像の画像データ）に対して、所定の画像処理を施し、その結果をディスプレイ２９またはEEPROM３０に供給する。
　CPU２７は、表示制御装置１１の各部を制御する。
　タイミングジェネレータ２８は、CPU２７の制御に基づいて、各種のタイミング信号を発生し、イメージセンサ２３、CDS/AGC回路２４、およびA/D変換回路２５に供給する。
　ディスプレイ２９は、図１のディスプレイ１１ｂに相当し、CPU２７の制御に基づいて、所定の画像を表示したり、DSP２６からの画像処理の結果に応じた表示を行う。例えば、ディスプレイ２９には、ユーザ１０が表示制御装置１１に対して操作入力を行うための操作画面が表示される。なお、ディスプレイ２９は、表示制御装置１１の外部に設けるようにしてもよい。
　EEPROM３０は、いわゆる不揮発性のメモリであり、電源が落とされても、記憶保持した情報が失われることがなく、各種の設定パラメータや、DSP２６からの画像処理の結果等を記憶保持する。
［表示制御装置の機能構成例］
　次に、図７を参照して、表示制御装置１１の機能構成例について説明する。
　図７の表示制御装置１１は、撮像部５１、入力部５２、撮像制御部５３、RGB画像処理部５４、顔検出部５５、IR画像処理部５６、輝点抽出部５７、ROI（Region Of Interest）設定部５８、表示制御部５９、および表示部６０から構成される。
　撮像部５１は、図２で説明したレンズ２１、特殊フィルタ２２、イメージセンサ２３を備える他、図示しないが、CDS/AGC回路２４およびA/D変換回路２５を備える。すなわち、撮像部５１は、図１のカメラ部１１ａに相当し、被写体（ユーザ１０およびリモートコントローラ１０ａの赤外光）を撮像し、対応する画像データをRGB画像処理部５４およびIR画像処理部５６に出力する。また、撮像部５１は、撮像制御部５３の制御に基づいて、ゲイン調整や電子シャッタ処理を行う。
　入力部５２は、ユーザ１０の操作入力に応じたリモートコントローラ１０ａからの赤外光を受け付け、そのユーザの操作入力を表す信号（操作信号）を撮像制御部５３に供給する。
　撮像制御部５３は、入力部５２からの操作信号や、ROI設定部５８からの指示に応じて、撮像に関する各種のパラメータを設定し、撮像部５１の撮像を制御する。
　RGB画像処理部５４は、撮像部５１からの画像データのうちのRGB画像の画像データ（以下、単に、RGB画像という）に対して所定の画像処理を施し、顔検出部５５に供給する。
　顔検出部５５は、RGB画像処理部５４からのRGB画像においてユーザ１０の顔を検出し、検出された顔（顔画像）のサイズを、ROI設定部５８に供給する。
　IR画像処理部５６は、撮像部５１からの画像データのうちのIR画像の画像データ（以下、単に、IR画像という）に対して所定の画像処理を施し、輝点抽出部５７に供給する。
　輝点抽出部５７は、IR画像処理部５６からのIR画像において、ユーザ１０が手に持つリモートコントローラ１０ａの赤外光の輝点（スポット）を抽出（検出）し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
　ROI設定部５８は、顔検出部５５からの、RGB画像におけるユーザ１０の顔のサイズに基づいて、ユーザ１０が次のフレームまでにリモートコントローラ１０ａを動かし得る範囲（領域）であるROI（Region Of Interest）の大きさを求める。また、ROI設定部５８は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIの位置を設定する。そして、ROI設定部５８は、輝点が移動したとき、IR画像における輝点の移動量を、表示制御部５９に供給する。
　表示制御部５９は、図１のディスプレイ１１ｂ（または、図２のディスプレイ２９）に相当する表示部６０の表示を制御する。具体的には、表示制御部５９は、リモートコントローラ１０ａを扱うユーザ１０に対するユーザインタフェースとしての操作画面を表示部６０に表示させるともに、操作画面上の所定の項目をユーザ１０に選択させるためのカーソルを、操作画面上で、ROI設定部５８からの輝点の移動量に応じて移動させる。
［カーソル表示制御処理について］
　次に、図８のフローチャートを参照して、表示制御装置１１のカーソル表示制御処理について説明する。
　例えば、表示制御装置１１の電源がオンされ、ユーザ１０のリモートコントローラ１０ａに対する操作によって、視聴者の視聴状態を監視する監視モードが選択されると、表示制御装置１１は、被写体の撮像が可能な監視モードとなる。本実施の形態においては、表示制御装置１１は、中立状態では監視モードとなる。すなわち、表示制御装置１１は、中立状態では、視聴者の視聴状態を監視することで、省エネルギー対応の動作を行う人感センサとして機能する。
　ステップＳ１１において、撮像制御部５３は、リモートコントローラ１０ａの赤外光に応じた入力部５２からの操作信号に基づいて、撮像部５１の撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、RGB画像に適した値に設定する。
　本実施の形態においては、上述したように、RGB画像においてユーザ１０の顔の検出が行われる。すなわち、RGB画像の解像度は、顔検出ができる程度の解像度であればよい。一般に、顔検出は、１６×１６画素程度以上の解像度の白黒情報があれば処理可能であるとされており、顔検出機能を備える市販のデジタルカメラにおいても、解像度と色情報とをダウングレードさせることで、処理の高速性を追求するようにしたものがある。
　ここでは、図９に示されるように、RGB画素について４画素加算を行うことで、VGA（Video Graphics Array）（640×480）サイズのRGB画像が得られるように解像度が設定される。４画素加算は、例えば、特許第４５１８６１６号公報に開示されている手法が適用されてもよいし、他の手法が適用されてもよい。４画素加算を行うことで、RGB画像の感度は４倍となり、暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。なお、図９に示されるカラーフィルタの配列の場合、Gr画素の出力はIR画素の出力であるので、Gb画素の出力をGreen画素の出力とみなして、デモザイク処理が行われる。あるいは、Gr画素の出力に同一ベイヤ領域にあるGb画素出力を代入し、この擬似的に生成したGr画素出力も用いて、通常のベイヤ配列における４画素加算を行うようにしてもよい。
　また、ここでは、通常のデジタルカメラと同様のAE（Auto Exposure）処理が行われ、図１０の上段左側に示されるように、シャッタスピードおよびゲインが最適な値に設定される。
　このようにして設定されたパラメータで、RGB画像およびIR画像が撮像され、それぞれRGB画像処理部５４、IR画像処理部５６に供給される。なお、ここでは、IR画像処理部５６は、IR画像に対していずれの処理を行わないようにもできる。
　図８のフローチャートに戻り、ステップＳ１２において、入力部５２は、ユーザ１０によって、リモートコントローラ１０ａの筐体上に配置されている、フリーカーソルモードスイッチ（ボタン）がオンされたか否かを判定する。ここで、フリーカーソルモードスイッチは、表示制御装置１１の表示部６０に操作画面を表示させて、オペレータとしてのユーザ１０に操作画面上のカーソルを操作させるためのモードである。
　ステップＳ１２において、フリーカーソルモードスイッチがオンされていないと判定された場合、フリーカーソルモードスイッチがオンされるまで、ステップＳ１２の処理が繰り返される。すなわち、ここでは、表示制御装置１１は、中立状態である監視モードであり、人感センサとして機能している。
　そして、ステップＳ１２において、フリーカーソルモードスイッチがオンされたと判定された場合、処理はステップＳ１３に進む。なお、リモートコントローラ１０ａにおいてフリーカーソルモードスイッチがオンされると、リモートコントローラ１０ａのLEDは、連続発光を開始する。また、表示制御装置１１の表示部６０には、表示制御部５９の制御に基づいて、所定の操作画面が表示される。
　ステップＳ１３において、顔検出部５５は、RGB画像処理部５４からのRGB画像において、ユーザ１０の顔を検出し、検出された顔の、RGB画像上のサイズをROI設定部５８に供給する。
　ステップＳ１４において、ROI設定部５８は、顔検出部５５からの、オペレータとしてのユーザ１０の顔のサイズに基づいて、ユーザ１０がリモートコントローラ１０ａを動かし得る範囲（領域）であるROIの大きさを求める。
　例えば、図１１に示されるように、RGB画像においてユーザ１０の顔が検出された場合、検出された顔に対して検出枠１００が設定される。ここで、ユーザ１０の腕の動く範囲（ストローク量）を考慮して、ROI１０１は、水平方向が顔（検出枠１００）の幅の２倍で、垂直方向が顔（検出枠１００）の高さと同じである長方形の領域として定義される。なお、ROI１０１の形状は、図１１に示される長方形に限らず、その長方形に内接する楕円形であってもよいし、正円形や正方形等であってもよい。
　ROI設定部５８は、ROIの大きさを求めると、ROIの大きさを求めた旨の情報を撮像制御部５３に供給する。
　ステップＳ１５において、撮像制御部５３は、ROI設定部５８からの情報に応じて、撮像部５１による撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、IR画像に適した値に設定する。
　本実施の形態においては、上述したように、IR画像においてユーザ１０が手に持つリモートコントローラ１０ａの輝点の抽出が行われる。IR画像における輝点抽出（検出）の分解能は、IR画像において設定されるROI内に含まれる画素数によって決まる。また、IR画像のROIにおける輝点の移動量に応じて、操作画面上でカーソルが移動する。ここで、ROI内に含まれる画素数が少ないと、操作画面上でのカーソルの動きが粗くなる。したがって、IR画像の解像度は、より高い解像度であることが好ましい。
　ここでは、図９に示されるように、イメージセンサ２３のSXGA（1.3Mピクセル）画像から１画素毎にIR画素が配置されたVGAサイズのIR画像が得られるように解像度が設定される。
　次に、IR画像について設定されるシャッタスピードおよびゲインについて、図１０を参照して説明する。
　一般に、赤外光を発光する赤外線リモートコントローラにおいては、PPM（Pulse Position Modulation）信号の点灯・消灯（明滅）のパターンによってビット値が定義される。具体的には、図１０下段に示されるON時間TonとOFF時間Toffの長さを変えることで、ビット値が定義される。ON時間Tonにおいては、赤外線リモートコントローラのLEDが、キャリア周波数38kHzでパルス発光している。また、OFF時間Toff（信号フレームにおけるリセットタイム）の最小設定は、６msec程度とされる。本実施の形態においては、赤外線リモートコントローラのLEDは、信号フレーム長固定、OFF時間Toffが最小設定の固定パターンで発光するものとする。
　ところで、表示制御装置１１の撮像部５１のシャッタスピードと、リモートコントローラ１０ａのLEDの発光パターンとは同期していない。したがって、撮像部５１のシャッタ開放時間Topと、リモートコントローラ１０ａのLED発光のOFF時間Toffとが一致してしまった場合、そのときのフレームのIR画像においては輝点を抽出できなくなる。
　そこで、本実施の形態においては、撮像部５１のシャッタ開放時間Topは、リモートコントローラ１０ａのLED発光のOFF時間Toffより長く設定されるようにする。また、リモートコントローラ１０ａのLED発光のON時間Tonの半分以下程度のエネルギーしか撮像部５１のシャッタ開放時間Top内に取り込めない場合、IR画像における輝点の抽出が困難となるため、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上であることが好ましい。
　さらに、図４の上から３番目の、IR画素に対応するIR透過フィルタの分光特性によれば、IR透過フィルタは実際には可視光域を完全に遮光することはできず、可視光の数％はIR画素に入り込み、IR画像においてはノイズ（以下、背景ノイズという）となる。例えば、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋においては、この背景ノイズが顕著に現れる。リモートコントローラ１０ａのLEDからの赤外光は、直接イメージセンサ２３のIR画素に入射されるため、その時間当たりの入射光量は、背景ノイズを引き起こす可視光の光量よりも十分大きい。したがって、撮像部５１のシャッタ開放時間Topを必要以上に長くする必要はなく、適度に短くすることで、背景ノイズの影響を小さくすることができる。
　そこで、本実施の形態においては、IR画像の撮像について、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上で、かつ、可能な限り短くするように設定される。これにより、IR画像の所定フレームにおける輝点抽出のエラーを防ぐことができるとともに、背景ノイズの影響を抑えることでIR画像における輝点抽出のSNR（Signal to Noise Ratio）を向上させることができる。
　具体的には、IR画像の数フレーム内で、撮像部５１のシャッタ開放時間Topを、例えば２×Toffを初期設定として徐々に長くしながら、IR画素の出力最大値が飽和しないシャッタスピードを設定させるとともに、ゲインを中立に設定させる。また、撮像部５１のシャッタ開放時間Topを２×Toff以上の所定の時間とした固定のシャッタスピードを設定させるようにしてもよい。
　このように、撮像部５１による撮像における、解像度、シャッタスピード、およびゲインが、RGB画像に適した値からIR画像に適した値に切り替えられるようにできる。なお、以降の処理においては、RGB画像処理部５４は、RGB画像に対していずれの処理を行わないようにもできる。
　図８のフローチャートに戻り、ステップＳ１６において、輝点抽出部５７は、IR画像処理部５６からの、例えば図１２に示されるIR画像において、リモートコントローラ１０ａの輝点１１０を抽出し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
　ステップＳ１７において、ROI設定部５８は、図１３に示されるように、輝点抽出部５７からの、輝点１１０が抽出されたIR画像において、その輝点１１０が中心となるように、ステップＳ１４において大きさを求めたROI１０１を、ROI１１１として設定する。ROI設定部５８は、IR画像においてROI１１１を設定した旨の情報を、表示制御部５９に供給する。
　ステップＳ１８において、表示制御部５９は、ROI設定部５８からの情報が供給されると、表示部６０に表示されている操作画面上の初期位置にカーソルを表示させる。ここで、操作画面上の初期位置は、操作画面の中央であってもよいし、操作画面上のメニューアイコンの配列に応じた位置であってもよい。
　以降、フレーム毎のIR画像に対して、輝点抽出部５７によって現フレームにおけるROI内で輝点の抽出が行われ、輝点が抽出されたIR画像が、ROI設定部５８に供給される。
　ステップＳ１９において、ROI設定部５８は、輝点抽出部５７からのIR画像（以下、現フレームIR画像ともいう）に対して、１つ前のフレームのIR画像（以下、前フレームIR画像ともいう）に対して設定したROIを設定し、ROI内に輝点が存在するか否かを判定する。
　ステップＳ１９において、ROI内に輝点が存在すると判定された場合、処理はステップＳ２０に進み、ROI設定部５８は、前フレームIR画像における輝点の位置から、現フレームIR画像における輝点が移動したか否かを判定する。
　ステップＳ２０において、輝点が移動していないと判定された場合、処理はステップＳ１９に戻り、次のフレームのIR画像（次フレームIR画像）に対しての処理が行われる。このとき、次フレームIR画像においては、現フレームIR画像において設定されたROIの位置と同じ位置にROIが設定されるようになる。
　一方、ステップＳ２０において、輝点が移動したと判定された場合、処理はステップＳ２１に進む。このとき、ROI設定部５８は、IR画像（ROI）における輝点の移動量を求め、表示制御部５９に供給する。
　ステップＳ２１において、ROI設定部５８は、現フレームIR画像において、その（移動した）輝点が中心となるように次フレームのROIを設定する。
　ステップＳ２２において、表示制御部５９は、ROI設定部５８からの輝点の移動量に応じて、表示部６０に表示されている操作画面上のカーソルを移動させる。その後、処理はステップＳ１９に戻り、次のフレームのIR画像に対しての処理が行われる。
　このようにして、IR画像において、輝点の追尾が行われる。
　ここで、図１４乃至図１６を参照して、IR画像における輝点の追尾と、操作画面上のカーソルの移動について詳細に説明する。図１４は、初期状態（時刻T=T0）、すなわち、ステップＳ１８において操作画面上の初期位置にカーソルが表示されたときの、RGB画像、IR画像、および操作画面の例を示しており、図１５および図１６は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、および操作画面の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像および操作画面の例に併せて示している。
　図１４乃至図１６の例においては、RGB画像およびIR画像のアスペクト比は４：３とされ、操作画面（表示部６０）のアスペクト比は１６：９とされる。操作画面上には、例えば、テレビジョン番組のチャンネルを選択させるためのメニューアイコンmenu1乃至menu8と、表示制御装置１１に接続される、BD（Blu-Ray（登録商標） Disc)プレーヤやDVD(Digital Versatile Disc)プレーヤ、ゲーム機等の機器を選択させるためのメニューアイコンＡ乃至Ｃが、Ｌ字型に配置されている。また、操作画面上で、Ｌ字型に配置されているメニューアイコンに囲われるようにして、テレビジョン放送番組の映像や接続される機器からの映像が表示される表示領域が配置されている。
　また、RGB画像において検出された顔のサイズ（検出枠１００）を、横ｈ画素、縦ｖ画素（以下、(h,v)[pix]等と表す）とすると、IR画像において設定されるROI１１１のサイズは、(2h,v)[pix]となる。さらに、操作画面（表示部６０）のサイズを、(H,V)[pix]とする。なお、IR画像におけるROIの縦横比と、操作画面の縦横比とは、異なっていてもよいし、同一としてもよい。
　まず、図１４に示されるように、時刻T=T0において、RGB画像における顔が検出され、検出枠１００の大きさと、IR画像における輝点１１０とに基づいてROI１１１が設定されると、初期位置としての操作画面上の中心座標(0,0)に、カーソル１２１が表示される。
　次に、図１５に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])[pix]だけ移動した場合、IR画像においては、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
Figure JPOXMLDOC01-appb-M000001
　そして、図１６に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])[pix]だけ移動した場合、IR画像においては、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
Figure JPOXMLDOC01-appb-M000002
　図８のフローチャートに戻り、ステップＳ１９において、ROI内に輝点が存在しないと判定された場合、処理はステップＳ２３に進み、ROI設定部５８は、ROIを拡張する。その後、処理はステップＳ１９に戻る。これにより、何らかの理由で、現フレームIR画像における輝点が、前フレームIR画像において設定されたROIの外側に存在するような場合でも、処理を継続させることができる。また、ステップＳ２３の処理が、例えば５回等の複数回繰り返された場合、オペレータが移動した可能性があるので、処理はステップＳ１１の中立状態である監視モードに戻るようにして、オペレータの位置をリセットするようにしてもよい。
　以上の処理によれば、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内での輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を直接求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを隅から隅まで移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
　また、IR画像において輝点を抽出する際に、IR画像全体から輝点を検索して抽出するのではなく、１つ前のフレームのIR画像において設定されたROI内から輝点を検索して抽出するようにしたので、フレーム毎の輝点の抽出にかかる処理コストを大幅に軽減することができる。特に、輝点の位置はリアルタイムで検出される必要があるので、一般的なデジタルビデオカメラと同等の15fps以上のフレームレートが必要となるが、30fps乃至60fpsレベルの高フレームレート対応のイメージセンサを用いるようにして、低コストのCPUパワーであっても、時間応答性の高いユーザインタフェースを提供することが可能となる。
　さらに、視聴者の視聴状態を監視するための監視カメラの機能と、リモートコントローラの赤外光のスポットを撮像する赤外線カメラの機能とを、１つの撮像部５１、すなわち単眼のカメラシステムで実現するようにしたので、得られるRGB画像およびIR画像において視差が生じることがなく、同時性を確保することができるようになる。
　また、RGB画像に対する処理とIR画像に対する処理とは、シリアルに行われるので、解像度、シャッタスピード、およびゲインを、RGB画像およびIR画像のそれぞれに適した値に設定することができるとともに、RGB画像についての情報と、IR画像についての情報とを相補的に用いたシステムを構成することができる。
［RGB画素とIR画素の出力の例］
　ここで、表示制御装置１１の表示部６０（ディスプレイ１１ｂ，２９）の画面サイズが、大型でない場合、具体的には、視聴距離が３ｍ以内と想定される３２インチ以下の画面サイズである場合を考える。
　この場合、操作画面上には、それほど多くのメニューアイコンを配列することはできないので、IR画像の解像度は、図６で説明した解像度より粗くても十分である。
　すなわち、この場合、イメージセンサ２３の前面に配置されるカラーフィルタアレイ２３ａの配列を、図１７に示される配列にしてもよい。図１７のカラーフィルタアレイ２３ａは、ベイヤ配列における４画素を１つの画素ユニットとしたときの、４画素ユニットのうちの１画素ユニットが、IR透過フィルタで構成される。IR画素は、その画素数はVGAとなるが、２画素毎に配置されることになり、図６で示される配列より空間分解能は粗くなる。なお、図１７の例の場合、イメージセンサ２３においては、1.3M（SXGA）のうちの約1.2M（1240×960）の画素が使用されるものとする。
　図１７の例においては、IR画像は、１画素ユニットのIR画素が間引きされて出力される（出力ａ）。RGB画像は、１画素ユニットのIR画素の対角線上に位置するRGB画素の画素ユニットが抽出され出力されるか（出力ｂ）、または、４画素加算されて、RGB画素にIR画素が１／４混ざって出力される（出力ｃ）。得られるRGB画像およびIR画像の解像度は、いずれもVGAとなる。
　図１７に示されるカラーフィルタアレイ２３ａの配列により、IR透過フィルタの面積を大きくすることができるようになる。イメージセンサ２３におけるセルのサイズが、1.5μｍ程になった場合、Ｒ，Ｇ，Ｂのカラーフィルタと比較して約２倍の膜厚を有するIR透過フィルタは、製造プロセスにおいて剥がれやすくなる恐れがある。そこで、IR透過フィルタの面積を大きくすることで、安定したIR透過フィルタを形成することが可能となる。
　また、RGB画素について、画素出力を図１７の出力ｂとした場合、RGB画素とIR画素との間の相互干渉を最も軽微にすることができ、画素出力を図１７の出力ｃとした場合、IR画素によるノイズが含まれるが、出力ｂと比較して、RGB画素の出力が３倍となり、低照度の環境下での顔検出に有利となる。
　ところで、監視カメラの機能として必要な機能が顔検出のみである場合、顔検出の対象となる画像において、色情報は必要とされない。そこで、カラーフィルタアレイ２３ａにおけるＲ，Ｇ，Ｂのカラーフィルタを、可視光域を全て透過するようにして、そのカラーフィルタに対応する画素をホワイト画素とすることで、RGB画像に代えて白黒画像を得るようにしてもよい。
　図１８は、図６で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでは、説明を簡単にするために、画素数は1.2Mとする。図１８の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素を間引きした出力をデモザイクして得られる白黒画像と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られるIR画像が得られるようになる。このようにして得られる白黒画像の感度は、Ｒ，Ｇ，Ｂのカラーフィルタによる減衰がないので、RGB画像のおよそ３倍となる。また、図１８の例においては、イメージセンサ２３の解像度が1.2Mであるとされ、白黒画像およびIR画像の解像度はそれぞれ1.2M，VGAとされる。
　図１９は、図９で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでも、説明を簡単にするために、画素数は1.2Mとする。図１９の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素が４画素加算されて出力される。この場合、４画素セル中３画素セルをホワイト画素の出力として用いることができるので、白黒画像の感度は、さらに３倍され、RGB画像のおよそ９倍となる。したがって、一層暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。
　図２０は、図１７で示された画素出力において、Ｒ，Ｇ，Ｂ画素をホワイト画素とした画素出力の例を示している。図２０の例においても、図１７の例と同様の効果が得られるとともに、RGB画像と比較して感度の高い白黒画像が得られるようになる。
　ところで、以上においては、表示制御装置によって視聴状態が監視されるユーザ（視聴者）が１人の場合のカーソル表示制御処理について説明したが、表示制御装置によって視聴状態が監視されるユーザが１人であるとは限らない。そこで、以下においては、表示制御装置によって視聴状態が監視されるユーザが複数である場合のカーソル表示制御処理について説明する。
＜２．第２の実施の形態＞
［表示制御装置の機能構成例］
　図２１は、本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示している。
　なお、図２１の表示制御装置２１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
　すなわち、図２１の表示制御装置２１１において、図７の表示制御装置１１と異なるのは、顔検出部５５に代えて、顔検出部２５１を設けた点である。
　顔検出部２５１は、図７の顔検出部５５と同様の機能を備える他、特定部２５１ａを備えている。特定部２５１ａは、RGB画像処理部５４からのRGB画像において検出された顔が複数存在する場合、IR画像処理部５６からIR画像を取得し、そのIR画像とRGB画像とに基づいて、オペレータとしてのユーザを特定する。
［カーソル表示制御処理について］
　次に、図２２のフローチャートを参照して、図２１の表示制御装置２１１によるカーソル表示制御処理について説明する。
　なお、図２１のフローチャートのステップＳ１１１乃至Ｓ１１３，Ｓ１１７乃至Ｓ１２６の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１４乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
　すなわち、ステップＳ１１４において、顔検出部２５１は、ステップＳ１１３で、RGB画像処理部５４からのRGB画像において検出された顔が複数存在するか否かを判定する。
　例えば、図２３に示されるように、RGB画像において、２人のユーザ１０Ａ，１０Ｂの顔が検出された場合、検出されたそれぞれの顔に対して検出枠１００Ａ，１００Ｂが設定される。顔検出部２５１は、検出枠が複数設定されたか否かを判定することで、顔が複数存在するか否かを判定する。
　ステップＳ１１４において、顔が複数存在すると判定された場合、処理はステップＳ１１５に進み、顔検出部２５１は、IR画像処理部５６から、顔が検出されたRGB画像のフレームと同時刻のフレームのIR画像を取得する。
　ステップＳ１１６において、顔検出部２５１の特定部２５１ａは、RGB画像における顔の位置と、IR画像における輝点の位置とに基づいて、リモートコントローラ１０ａのオペレータであるユーザを特定する。
　具体的には、図２４に示されるように、特定部２５１ａは、IR画像処理部５６から取得されたIR画像において輝点１１０を抽出するとともに、RGB画像に対して設定された検出枠１００Ａ，１００Ｂを、IR画像の対応する位置に設定する。そして、特定部２５１ａは、IR画像において、輝点１１０と、検出枠１００Ａ，１００Ｂの中心位置との距離を算出し、その距離が最も小さい検出枠１００Ａに対応するユーザ１０Ａを、リモートコントローラ１０ａのオペレータとして特定する。その後、特定部２５１ａは、特定されたユーザ１０Ａの顔（検出枠１００Ａ）の、RGB画像上のサイズをROI設定部５８に供給する。
　以上の処理によれば、RGB画像におけるユーザが複数であっても、オペレータとしてのユーザを特定し、特定されたそのユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置から複数のユーザそれぞれまでの距離を求めることなく、また、オペレータとしてのユーザまでの距離によらず、ユーザの腕のストローク量の分だけ、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
　以上においては、RGB画像に対する処理とIR画像に対する処理とがシリアルに行われる構成について説明してきた。この構成は、視聴者の視聴状態を監視するカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に適用することができる。
　以下においては、インターネット等のネットワークを介してビデオコミュニケーションを行うカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に、本技術を適用する例について説明する。
＜３．第３の実施の形態＞
［表示制御装置の機能構成例］
　図２５は、本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示している。
　なお、図２５の表示制御装置３１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
　すなわち、図２５の表示制御装置３１１において、図７の表示制御装置１１と異なるのは、IR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、輝点抽出部３５２を設けた点である。
　IR差分画像生成部３５１は、１フレーム前のIR画像（前フレームIR画像）を保持するバッファを備え、IR画像処理部５６からのIR画像（現フレームIR画像）と、バッファに保持されている前フレームIR画像との差分であるIR差分画像を生成する。IR差分画像生成部３５１は、生成したIR差分画像と現フレームIR画像とを、輝点抽出部３５２に供給する。
　輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像から輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
　なお、本実施の形態においては、RGB画像に対する処理（ビデオコミュニケーションのための処理）とIR画像に対する処理（輝点の追尾のための処理）とはパラレルに行われる。したがって、画素出力として、間引きと画素加算とを併用することはハードウェア構成上困難である。また、ビデオコミュニケーションを行うカメラシステムにおいては、通常のデジタルカメラと同様に高画質な画像が求められる。以上のことから、本実施の形態においては、解像度が、RGB画像に適した値のみに設定されるとともに、図２６に示されるように、シャッタスピードおよびゲインも、RGB画像に適した値のみに設定されるようになる。
［カーソル表示制御処理について］
　次に、図２７のフローチャートを参照して、図２５の表示制御装置３１１によるカーソル表示制御処理について説明する。
　なお、図２７のフローチャートのステップＳ２２１乃至Ｓ２２４，Ｓ２２８乃至Ｓ２３３の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１４，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
　すなわち、ステップＳ２２５において、IR差分画像生成部３５１は、IR画像処理部５６からの現フレームIR画像と、バッファに保持されている前フレームIR画像を基に、IR差分画像を生成し、現フレームIR画像とともに輝点抽出部３５２に供給する。
　ステップＳ２２６において、輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像において輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
　ステップＳ２２７において、ROI設定部５８は、輝点抽出部３５２からのIR差分画像において抽出された輝点に基づいて、現フレームIR画像における輝点を特定し、現フレームIR画像において、その輝点が中心となるように、ステップＳ２２４で大きさが求められたROIを設定する。
　このようにして、IR差分画像に基づいた輝点の抽出が行われることにより、IR画像における輝点の追尾が行われる。
　ここで、図２８乃至図３０を参照して、IR差分画像に基づいた輝点の抽出が行われることによる、IR画像における輝点の追尾について詳細に説明する。図２８は、初期状態（時刻T=T0）、すなわち、最初のフレームのRGB画像およびIR画像の例を示しており、図２９および図３０は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、およびIR差分画像の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像およびIR差分画像の例に併せて示している。
　通常、ビデオコミュニケーションを行うカメラシステムは、屋内に設置されているので、図２８乃至図３０のRGB画像には、屋内に設けられている照明による光や、屋外からの光が鏡等で反射した反射光等を放つ光源３８１が存在する。したがって、図２８乃至図３０のIR画像には、ユーザ１０が手に持つリモートコントローラ１０ａのLEDによる輝点１１０の他に、RGB画像における光源３８１に対応する光源３９１が存在するようになる。光源３９１は、RGB画像に適したシャッタスピードで撮像されたIR画像において、可視光域の大きな光量入射による画素出力の結果によるものであり、その画素出力は、リモートコントローラ１０ａのLEDの赤外光による画素出力と同等またはそれ以上のものとされる。
　まず、図２８に示されるように、時刻T=T0においては、IR画像において、輝点１１０と光源３９１のいずれが、リモートコントローラ１０ａのLEDの赤外光によるものかを判定することはできず、したがって、IR画像においてROIを設定することができない。
　次に、図２９に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動したとする。このとき、時刻T=T0+ΔTにおける現フレームIR画像と、時刻T=T0における前フレームIR画像とから、IR差分画像が生成される。ここで、IR差分画像において、差分値がマイナスとなる画素については、その差分値を０とする。したがって、IR差分画像においては、動きのない光源３９１は差分によって相殺され、ユーザ１０に振られたことにより移動したリモートコントローラ１０ａのLEDの赤外光による輝点１１０のみが存在するようになる。これにより、IR差分画像において、輝点が抽出されるようになる。そして、IR画像においては、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
　そして、図３０に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動したとする。このとき、時刻T=T0+2ΔTにおける現フレームIR画像と、時刻T=T0+ΔTにおける前フレームIR画像とから、IR差分画像が生成される。なお、このとき、IR差分画像を生成するためのフレーム差分処理は、時刻T=T0+ΔTにおいて設定されたROI１１１に対応する領域のみに対して行われればよい。そして、IR差分画像において、輝点１１０が抽出され、IR画像において、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
　以上の処理によれば、本技術を、ビデオコミュニケーションを行うカメラシステムに適用した場合であっても、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR差分画像に基づいて抽出された、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
　また、本実施の形態においては、RGB画像に対する処理とIR画像に対する処理とはパラレルに行われることにより、シャッタスピードがRGB画像に適した値のみに設定される。すなわち、RGB画像において感度を得るためにシャッタ開放時間が長くなるので、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋における背景ノイズにより、IR画像における輝点抽出のSNRが低下するが、IR差分画像による動き検出によって、確実に輝点を抽出することができる。これにより、ユーザは、ビデオコミュニケーションを行いながら、並行して操作画面上のカーソル操作を行うことが可能となる。
　なお、図２５の表示制御装置３１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
　ところで、以上においては、上述で説明した表示制御装置によって提供されるフリーカーソル型のユーザインタフェースをユーザが用いる際、ユーザの腕のストローク量を、ユーザの顔サイズを基準として（例えば、顔サイズの２倍として）、必要な腕のストローク量が距離に依存しないユーザインタフェースを提供するようにした。しかしながら、実際、ユーザの多くは、リモートコントローラを、無意識にレーザポインタのようにして扱い、操作する。すなわち、ユーザは、表示制御装置までの距離に応じた腕のストロークで、リモートコントローラを扱うことが考えられる。具体的には、表示制御装置（ディスプレイ）までの距離が小さいときは、ユーザの腕のストローク量は小さくなり、ディスプレイまでの距離が大きいときは、ユーザの腕のストローク量は大きくなることが考えられる。このような場合、ROIの大きさは、表示制御装置とユーザとの距離に応じた大きさ、言い換えれば、ユーザの腕のストローク量に応じた大きさとなることが好ましい。
　そこで、以下においては、表示制御装置とユーザとの距離に応じて、ROIの大きさを求める構成について説明する。
＜４．第４の実施の形態＞
［表示制御装置の機能構成例］
　図３１は、本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示している。
　なお、図３１の表示制御装置４１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
　すなわち、図３１の表示制御装置４１１において、図７の表示制御装置１１と異なるのは、距離算出部４５１を新たに設け、ROI設定部５８に代えて、ROI設定部４５２を設けた点である。
　距離算出部４５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
　ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離に基づいて、ROIの大きさを求める。また、ROI設定部４５２は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIを設定する。そして、ROI設定部４５２は、設定したROIにおいて輝点が移動したとき、ROIにおける輝点の移動量を、表示制御部５９に供給する。
［カーソル表示制御処理について］
　次に、図３２のフローチャートを参照して、図３１の表示制御装置４１１によるカーソル表示制御処理について説明する。
　なお、図３２のフローチャートのステップＳ３１１乃至Ｓ３１３，Ｓ３１６乃至Ｓ３２４の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
　すなわち、ステップＳ３１４において、距離算出部４５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
　ここで、撮像部５１によって撮像されているユーザは１人であり、そのユーザが手に持つリモートコントローラのLEDおよびユーザの顔の、距離方向の位置は同一であるものとする。また、撮像部５１の水平視野角および垂直視野角をそれぞれFOVx，FOVyとし、イメージセンサ２３の画素数をPx×Pyとする。さらに、RGB画像において検出されたユーザの顔（検出枠）のサイズを(h,v)[pix]とし、平均的な人の顔の実サイズを横BLx[mm]、縦Bly[mm]とする。なお、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとする。
　まず、平均的な人の顔の実サイズBLxを基準にすると、１pix（ピクセル）当たりの顔の実サイズはBLx/hとなるので、水平方向の視野サイズは以下のように表される。
Figure JPOXMLDOC01-appb-M000003
　一方、表示制御装置４１１とユーザとの距離が、距離Ｄであるときの水平方向の視野サイズは以下のように表される。
Figure JPOXMLDOC01-appb-M000004
　したがって、表示制御装置４１１とユーザとの距離Ｄは、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　このようにして、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離Ｄが算出される。
　図３２のフローチャートに戻り、ステップＳ３１５において、ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離Ｄに基づいて、ROIの大きさを求める。
　例えば、ROIの大きさは、距離Ｄの関数として予め定められており、距離算出部４５１によって算出された距離Ｄに応じて、ROIの大きさが決定される。また、ROIの大きさと距離Ｄとを対応付けたテーブルを予め用意し、そのテーブルに基づいて、ROIの大きさが決定されるようにしてもよい。なお、距離Ｄの関数や、ROIの大きさと距離Ｄとを対応付けたテーブルは、ユーザインタフェースの操作性を考慮して与えられるものとする。例えば、操作画面のサイズが40インチであるとして、距離Ｄが１ｍ程度と小さい場合には、ROIの大きさを顔サイズの１倍とし、距離Ｄが５ｍ程度と大きい場合には、ROIの大きさを顔サイズの４倍とすることで、上述したような、ユーザの無意識な操作における腕のストロークに整合した操作性が得られるようになる。この場合、ROIの大きさは、操作画面のサイズおよび距離Ｄを基に決定される。
　以上の処理によれば、RGB画像におけるユーザの顔のサイズに基づいて算出された、表示制御装置とユーザとの距離に応じて大きさが決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。これにより、表示制御装置とユーザとの距離が変化した場合であっても、ユーザに違和感を与えることなく、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
　なお、図３２の表示制御装置４１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
　また、図３２の表示制御装置４１１において、図２５のIR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、図２５の輝点抽出部３５２を設けることで、ビデオコミュニケーションを行うカメラシステムに適用するようにしてもよい。
　ところで、上述した表示制御装置の撮像部は単焦点カメラとして構成されるので、図３３に示されるように、表示制御装置とユーザ（リモートコントローラ）との距離が小さいとき（図中、左側）と、表示制御装置とユーザとの距離が大きいとき（図中、右側）とでは、IR画像に設定されるROI内に含まれる画素数が異なる。具体的には、表示制御装置とユーザとの距離が大きい程、ROI内に含まれる画素数は少なくなる。
　ここで、操作画面上のカーソルの動きの滑らかさは、ROI内に含まれる画素数によるので、表示制御装置とユーザとの距離が大きい程、操作画面上のカーソルの動きはカクカクしたものとなる。したがって、表示制御装置とユーザとの距離が大きいときに、操作画面上に多くのメニューアイコンが配列されている場合（すなわち、操作画面に対するメニューアイコンの大きさが小さい場合）、ユーザが所望のメニューアイコンを正確に選択することができず、操作性が低下してしまう。
　そこで、以下においては、表示制御装置とユーザとの距離に応じて、操作画面上のメニューアイコンの大きさを変える構成について説明する。
＜５．第５の実施の形態＞
［表示制御装置の機能構成例］
　図３４は、本技術を適用した表示制御装置の第５の実施の形態の機能構成例を示している。
　なお、図３４の表示制御装置５１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
　すなわち、図３４の表示制御装置５１１において、図７の表示制御装置１１と異なるのは、距離算出部５５１を新たに設け、表示制御部５９に代えて、表示制御部５５２を設けた点である。
　距離算出部５５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。
　表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。
［カーソル表示制御処理において］
　次に、図３５のフローチャートを参照して、図３４の表示制御装置５１１によるカーソル表示制御処理について説明する。
　なお、図３５のフローチャートのステップＳ４１１乃至Ｓ４１７，Ｓ４２０乃至Ｓ４２５の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１７，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
　すなわち、ステップＳ４１８において、距離算出部５５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。具体的には、表示制御装置５１１とユーザとの距離は、上述した式（１）によって算出される。
　ステップＳ４１９において、表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。具体的には、表示制御部５５２は、図３６に示されるように、表示制御装置５１１とユーザとの距離が大きい程、操作画面上のメニューアイコンを大きくして、表示部６０に表示させる。このとき、（ROI内の画素数）／（操作画面上のメニューアイコンの数）が一定の値となるように、操作画面上のメニューアイコンの数が設定される。
　ここで、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとして、例えば、イメージセンサ２３の解像度をVGA（Px=640，Py=480）、撮像部５１の水平視野角FOVxを60°、平均的な人の顔の実サイズBLxを150mmとする。このとき、表示制御装置５１１とユーザとの距離Ｄが５ｍである場合の、RGB画像上の顔のサイズｈは、上述した式（１）より、ｈ＝１６（ピクセル）となる。ここで、ユーザの腕のストローク量が顔のサイズの２倍とすると、RGB画像上のユーザの腕のストローク量は最大で３２ピクセル分となる。このとき、表示制御部５５２は、操作画面上のメニューアイコン１つ分（横の長さ）に対応するRGB画像（IR画像）上の画素数を１０ピクセルとし、操作画面上に、横方向に３つのメニューアイコンを表示させる。
　メニューアイコン１つ分に対応するRGB画像上の画素数を１０ピクセルとしたのは、IR画像におけるリモートコントローラ１０ａの輝点抽出の誤差（最小で１ピクセル分）によるカーソルの表示位置の誤りが、ユーザによるメニューアイコンの選択に影響を与えないようにするためである。
　同様にして、表示制御装置５１１とユーザとの距離Ｄが２ｍである場合には、操作画面上に、横方向に８つのメニューアイコンが表示されるようになる。
　図３７および図３８は、表示制御装置５１１とユーザとの距離に対する、ROIの水平方向の大きさ（ROI_x）およびメニューアイコン数を計算した結果を示している。図３７は、イメージセンサ２３の解像度がVGAの場合の計算結果を示しており、図３８は、イメージセンサ２３の解像度がQuad-VGAの場合の計算結果を示している。なお、メニューアイコン数の最大値は１５に制限されているものとする。
　例えば、４０インチを超える大型のテレビジョン受像機の平均的な視聴距離を３ｍとして、撮像部５１のイメージセンサ２３として解像度がQuad-VGAのものを適用した場合には、図３８に示されるように、操作画面上、水平方向に１０個程度のメニューアイコンが配列されるようになる。また、視聴距離を５ｍとした場合には、操作画面上、水平方向に６個のメニューアイコンが配列されるようになる。
　このように、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコン数が少なくなるように、言い換えれば、メニューアイコンの１つ１つが大きくなるように、操作画面が表示されるので、ユーザが所望のメニューアイコンを正確に選択することができるようになり、ユーザの操作性を向上させることができる。
　また、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコンの１つ１つが大きく表示されるようになるので、ユーザの視認性も向上し、より操作性を向上させることができるようになる。
　なお、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラ（フリーカーソル用リモートコントローラ）と、他の電子機器を操作するための赤外線リモートコントローラ（電子機器用リモートコントローラ）とを区別する手段を設けるようにして、混信を防ぐようにしてもよい。例えば、フリーカーソル用リモートコントローラのLEDの波長を、電子機器用リモートコントローラのLEDの波長と異なる波長とする等してもよい。具体的には、フリーカーソル用リモートコントローラのLEDの波長を850nmとし、図４の上から２番目に示される特殊フィルタ２２の分光特性を850nmに透過帯を持つようにする。電子機器用リモートコントローラのLEDの波長が940nmであるとすると、光学的な混信を防止することが可能となる。
　さらに、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラのLEDから発光される赤外光の波長と同一波長の赤外光を発光するLED光源を照明として設けるようにしてもよい。これにより、感度不足により不可能であった暗所での視聴状態の監視が可能となる。
　また、第２乃至第４の実施の形態においても、図１７乃至図２０を参照して説明した画素出力を適用するようにしてもよい。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
　図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　さらに、本技術は以下のような構成をとることができる。
（１）　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
　を備える表示制御装置。
（２）　前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
　（１）に記載の表示制御装置。
（３）　前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
　前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
　（２）に記載の表示制御装置。
（４）　前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
　前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
　（３）に記載の表示制御装置。
（５）　前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
　前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
　（２）または（３）に記載の表示制御装置。
（６）　前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
　（５）に記載の表示制御装置。
（７）　前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
　（１）乃至（６）のいずれかに記載の表示制御装置。
（８）　前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
　（１）乃至（６）のいずれかに記載の表示制御装置。
（９）　異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
　前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する　（８）に記載の表示制御装置。
（１０）　前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
　前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
　（１）乃至（３）のいずれかに記載の表示制御装置。
（１１）　前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
　（１）乃至（１０）のいずれかに記載の表示制御装置。
（１２）　前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される　（１１）に記載の表示制御装置。
（１３）　前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
　（１）乃至（１０）のいずれかに記載の表示制御装置。
（１４）　前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
　前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
　（１）乃至（１１）のいずれかに記載の表示制御装置。
（１５）　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
　含む表示制御方法。
（１６）　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
　を含む処理をコンピュータに実行させるプログラム。
　１１　表示制御装置，　２１　レンズ，　２２　特殊フィルタ，　２３　イメージセンサ，　２３ａ　カラーフィルタアレイ，　５３　撮像制御部，　５４　RGB画像処理部，　５５　顔検出部，　５６　IR画像処理部，　５７　輝点抽出部，　５８　ROI設定部，　５９　表示制御部，　６０　表示部

Claims (16)

  1. 　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
    　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
    　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
    　を備える表示制御装置。
  2. 　前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
    　請求項１に記載の表示制御装置。
  3. 　前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
    　前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
    　請求項２に記載の表示制御装置。
  4. 　前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
    　前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
    　請求項３に記載の表示制御装置。
  5. 　前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
    　前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
    　請求項２に記載の表示制御装置。
  6. 　前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
    　請求項５に記載の表示制御装置。
  7. 　前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
    　請求項１に記載の表示制御装置。
  8. 　前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
    　請求項１に記載の表示制御装置。
  9. 　異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
    　前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する　請求項８に記載の表示制御装置。
  10. 　前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
    　前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
    　請求項１に記載の表示制御装置。
  11. 　前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
    　請求項１に記載の表示制御装置。
  12. 　前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される
    　請求項１１に記載の表示制御装置。
  13. 　前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
    　請求項１に記載の表示制御装置。
  14. 　前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
    　前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
    　請求項１に記載の表示制御装置。
  15. 　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
    　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
    　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
    　含む表示制御方法。
  16. 　レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
    　前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
    　前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
    　を含む処理をコンピュータに実行させるプログラム。
PCT/JP2012/061859 2011-05-17 2012-05-09 表示制御装置および方法、並びにプログラム WO2012157486A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12786774.5A EP2711812A4 (en) 2011-05-17 2012-05-09 DISPLAY CONTROL DEVICE, METHOD AND PROGRAM
CN201280022245.3A CN103518178A (zh) 2011-05-17 2012-05-09 显示控制装置、方法和程序
US14/116,387 US9817485B2 (en) 2011-05-17 2012-05-09 Display control device, method, and program
DE112012003214.4T DE112012003214T5 (de) 2011-08-01 2012-07-31 Halbleiter-Leistungsmodul, Herstellungsverfahren für Halbleiter-Leistungsmodul und Schaltkreissubstrat

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011110363A JP2012242948A (ja) 2011-05-17 2011-05-17 表示制御装置および方法、並びにプログラム
JP2011-110363 2011-05-17

Publications (1)

Publication Number Publication Date
WO2012157486A1 true WO2012157486A1 (ja) 2012-11-22

Family

ID=47176816

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061859 WO2012157486A1 (ja) 2011-05-17 2012-05-09 表示制御装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US9817485B2 (ja)
EP (1) EP2711812A4 (ja)
JP (1) JP2012242948A (ja)
CN (1) CN103518178A (ja)
WO (1) WO2012157486A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472588A (zh) * 2013-09-24 2013-12-25 深圳市华星光电技术有限公司 3d显示装置及3d显示方法
WO2015021544A1 (en) * 2013-08-11 2015-02-19 NanoMedia Solutions Inc. Nano-media information carrier based on pixelated nano-structures combined with an intensity control layer
US20180332240A1 (en) * 2017-05-12 2018-11-15 Htc Corporation Tracking system and tracking method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044498B1 (ko) * 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP6123562B2 (ja) * 2013-08-08 2017-05-10 株式会社ニコン 撮像装置
JP6373577B2 (ja) 2013-12-25 2018-08-15 ザインエレクトロニクス株式会社 撮像制御装置
JP2015153324A (ja) * 2014-02-18 2015-08-24 株式会社Ｎｔｔドコモ 情報検索装置、情報検索方法及び情報検索プログラム
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
JP6371637B2 (ja) * 2014-08-21 2018-08-08 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11417002B2 (en) 2016-06-17 2022-08-16 Pixart Imaging Inc. Image recognition system, sensor module, and method for image recognition
TW201800901A (zh) * 2016-06-17 2018-01-01 原相科技股份有限公司 偵測動作資訊的方法及感光陣列
KR101732111B1 (ko) 2016-06-30 2017-05-02 서울시립대학교 산학협력단 위성영상을 이용한 기름유출 탐지장치 및 방법
US10347002B2 (en) * 2016-07-01 2019-07-09 Guangdong Virtual Reality Technology Co., Ltd. Electronic tracking device, electronic tracking system and electronic tracking method
CN107734213A (zh) * 2016-08-11 2018-02-23 漳州立达信光电子科技有限公司 智能家用电子装置与系统
KR102586792B1 (ko) * 2016-08-23 2023-10-12 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
US10942575B2 (en) * 2017-06-07 2021-03-09 Cisco Technology, Inc. 2D pointing indicator analysis
JP2018152079A (ja) * 2018-03-23 2018-09-27 日本電気株式会社 検知装置
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
US20230004229A1 (en) * 2021-06-30 2023-01-05 International Business Machines Corporation Item selection with smart device monitoring of gestures

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659807A (ja) 1992-06-12 1994-03-04 Sanyo Electric Co Ltd カーソル制御装置
JPH0675695A (ja) 1992-06-26 1994-03-18 Sanyo Electric Co Ltd カーソル制御装置
JPH09284666A (ja) * 1996-04-12 1997-10-31 Utec:Kk テレビ自動制御装置
WO2007013652A1 (ja) * 2005-07-29 2007-02-01 Pioneer Corporation 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
JP2007186915A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd パワーウインドウ装置
JP2008108918A (ja) * 2006-10-25 2008-05-08 Sony Corp 固体撮像素子
JP4518616B2 (ja) 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP2010230776A (ja) * 2009-03-26 2010-10-14 Olympus Corp 焦点位置調整装置およびカメラ
JP2012128766A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 情報処理装置、情報処理システム、情報処理方法、及びテレビ受像機

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448261A (en) * 1992-06-12 1995-09-05 Sanyo Electric Co., Ltd. Cursor control device
CN1087891C (zh) * 1995-04-27 2002-07-17 有限会社友特库 电视机自动控制装置
US6535198B1 (en) * 1999-03-28 2003-03-18 Nongqiang Fan Remote control for interactive television
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
US6724368B2 (en) * 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7944423B2 (en) * 2004-07-01 2011-05-17 Sony Corporation Image processing unit with black-and-white line segment pattern detection, image processing method, image display device using such image processing unit, and electronic apparatus using such image display device
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
US20080067330A1 (en) * 2006-09-19 2008-03-20 Denso Corporation Color sensor for vehicle and method for manufacturing the same
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP2008182360A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置
JP2008259612A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 投影画像生成装置およびそのプログラム
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
CN101639891B (zh) * 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
JP4697279B2 (ja) * 2008-09-12 2011-06-08 ソニー株式会社 画像表示装置および検出方法
JP4702441B2 (ja) * 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
KR100992411B1 (ko) * 2009-02-06 2010-11-05 (주)실리콘화일 피사체의 근접여부 판단이 가능한 이미지센서
US8525785B1 (en) * 2009-03-10 2013-09-03 I-Interactive Llc Multi-directional remote control system and method with highly accurate tracking
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659807A (ja) 1992-06-12 1994-03-04 Sanyo Electric Co Ltd カーソル制御装置
JPH0675695A (ja) 1992-06-26 1994-03-18 Sanyo Electric Co Ltd カーソル制御装置
JPH09284666A (ja) * 1996-04-12 1997-10-31 Utec:Kk テレビ自動制御装置
JP4518616B2 (ja) 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
WO2007013652A1 (ja) * 2005-07-29 2007-02-01 Pioneer Corporation 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
JP2007186915A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd パワーウインドウ装置
JP2008108918A (ja) * 2006-10-25 2008-05-08 Sony Corp 固体撮像素子
JP2010230776A (ja) * 2009-03-26 2010-10-14 Olympus Corp 焦点位置調整装置およびカメラ
JP2012128766A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 情報処理装置、情報処理システム、情報処理方法、及びテレビ受像機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2711812A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015021544A1 (en) * 2013-08-11 2015-02-19 NanoMedia Solutions Inc. Nano-media information carrier based on pixelated nano-structures combined with an intensity control layer
US9460665B2 (en) 2013-08-11 2016-10-04 NanoMedia Solutions Inc. Nano-media information carrier based on pixelated nano-structures combined with an intensity control layer
CN103472588A (zh) * 2013-09-24 2013-12-25 深圳市华星光电技术有限公司 3d显示装置及3d显示方法
US20180332240A1 (en) * 2017-05-12 2018-11-15 Htc Corporation Tracking system and tracking method thereof
US10742902B2 (en) * 2017-05-12 2020-08-11 Htc Corporation Tracking system and tracking method thereof

Also Published As

Publication number Publication date
US9817485B2 (en) 2017-11-14
EP2711812A4 (en) 2014-11-19
JP2012242948A (ja) 2012-12-10
EP2711812A1 (en) 2014-03-26
CN103518178A (zh) 2014-01-15
US20140062882A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
WO2012157486A1 (ja) 表示制御装置および方法、並びにプログラム
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
CN104038702B (zh) 摄像设备及其控制方法
US8063972B2 (en) Image capture device and control method thereof
WO2010041375A1 (ja) 撮像装置および撮像装置用信号処理回路
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
CN100536530C (zh) 影像暗角修正方法及其装置
US10095941B2 (en) Vision recognition apparatus and method
JP5810136B2 (ja) 追尾装置、追尾方法及び追尾プログラム
CN108603997A (zh) 控制装置、控制方法和控制程序
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
JPWO2010073619A1 (ja) 撮像装置
US20230023198A1 (en) Image-capturing device, image-capturing apparatus and method of acquiring distance image
CN110447223A (zh) 成像元件以及摄像装置
US20200267317A1 (en) Control device, control method, and electronic device
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JPWO2015087582A1 (ja) 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
US9729794B2 (en) Display device, display control method, and non-transitory recording medium
US20180176445A1 (en) Imaging device and imaging method
KR20090081538A (ko) 감시용 카메라의 마스크 색상 제어장치 및 방법
US20210297573A1 (en) Imaging device, control method, and storage medium
JP2004172978A (ja) 撮像装置
JP7414551B2 (ja) 制御装置および制御方法
KR101398469B1 (ko) 디지털 영상 처리 장치
JP2001255468A (ja) 顕微鏡自動認識機能付き撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12786774

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012786774

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14116387

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE