WO2016194311A1 - 照明演出システム及びプログラム - Google Patents

照明演出システム及びプログラム Download PDF

Info

Publication number
WO2016194311A1
WO2016194311A1 PCT/JP2016/002326 JP2016002326W WO2016194311A1 WO 2016194311 A1 WO2016194311 A1 WO 2016194311A1 JP 2016002326 W JP2016002326 W JP 2016002326W WO 2016194311 A1 WO2016194311 A1 WO 2016194311A1
Authority
WO
WIPO (PCT)
Prior art keywords
lighting
unit
user
light source
light
Prior art date
Application number
PCT/JP2016/002326
Other languages
English (en)
French (fr)
Inventor
透 中村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2017521670A priority Critical patent/JP6390885B2/ja
Publication of WO2016194311A1 publication Critical patent/WO2016194311A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Definitions

  • the present invention relates to a lighting production system and a program.
  • Patent Document 1 discloses a control system for an illumination effect panel that performs an illumination effect based on a plurality of effect patterns.
  • the lighting effect is performed based on the effect pattern based on the rhythm of the cycle of about one day by the biological clock. This creates a comfortable light environment that is easy to spend according to the daily rhythm of human beings.
  • an object of the present invention is to provide an illumination effect system that can perform a dynamic illumination effect that meets a user's request.
  • an illumination effect system includes a lighting fixture including a light source unit that emits red light, green light, and blue light, and a control unit that controls the light source unit, and each pixel.
  • a detection unit that detects a gaze area, which is a gaze area that the user gazes when viewing a moving image including RGB information indicating red, green, and blue pixel values, and the RGB information of the gaze area
  • An extraction unit that extracts in time series; and a communication terminal that controls light color of the lighting fixture by transmitting lighting control information for the lighting fixture to the control unit, wherein the lighting control information is the extraction
  • the control unit controls the light source unit according to a time change of the RGB information included in the illumination control information.
  • one embodiment of the present invention can be realized as a program for causing a computer to function as the lighting effect system.
  • it can be realized as a computer-readable recording medium storing the program.
  • the lighting effect system it is possible to perform a dynamic lighting effect suitable for the user's request.
  • FIG. 1 is a block diagram showing a configuration of an illumination effect system according to an embodiment.
  • FIG. 2 is a diagram showing a layout of a space in which a plurality of lighting fixtures of the lighting effect system according to the embodiment is arranged.
  • FIG. 3 is a diagram illustrating a moving image and a gaze area of the illumination effect system according to the embodiment.
  • FIG. 4 is a diagram showing time-series data of RGB information of the gaze area of the lighting effect system according to the embodiment.
  • FIG. 5 is a flowchart showing a method for generating time-series data of RGB information of the gaze area in the illumination effect system according to the embodiment.
  • FIG. 6 is a flowchart illustrating a method for performing a lighting effect in a space in the lighting effect system according to the embodiment.
  • FIG. 7 is a diagram illustrating a lighting effect in a space controlled based on time-series data of RGB information of a gaze area in the lighting effect system according to the embodiment.
  • FIG. 1 is a block diagram showing a configuration of an illumination effect system 1 according to the present embodiment.
  • FIG. 2 is a diagram showing a layout of the space 30 in which the plurality of lighting fixtures 10 of the lighting effect system 1 according to the present embodiment is arranged.
  • the lighting effect system 1 includes a plurality of lighting fixtures 10 and a communication terminal 20. Specifically, as shown in FIG. 2, the lighting effect system 1 includes six lighting fixtures 10a to 10f. In the following description, the six lighting fixtures 10a to 10f will be described as the lighting fixture 10 unless particularly distinguished.
  • the color of the space 30 is controlled by the communication terminal 20 controlling the light color and light flux of the plurality of lighting fixtures 10 arranged in the space 30. That is, the lighting effect system 1 performs the lighting effect of the space 30.
  • the plurality of lighting fixtures 10 are arranged to illuminate at least a part of the space 30.
  • the portions illuminated by the plurality of lighting fixtures 10 may be the same as each other, or may be different from each other.
  • the space 30 is an illumination space illuminated by one or more luminaires 10 arranged.
  • the space 30 is a closed space such as a room.
  • the space 30 may be an open space such as outdoors.
  • the space 30 is surrounded by, for example, a ceiling 31, a floor 32, a wall 33, and a wall 34.
  • the four lighting fixtures 10a to 10d are provided on the ceiling 31.
  • the four lighting fixtures 10a to 10d may all be the same type of lighting fixture or may be different types of lighting fixtures.
  • the lighting fixtures 10a to 10d are, for example, downlights, ceiling lights, pendant lights, spotlights, and the like.
  • the lighting fixture 10e is provided on the floor 32.
  • the lighting fixture 10e may be fixed to the floor 32, for example, or may be movably installed.
  • the lighting fixture 10e is, for example, a stand light, a floor light, or the like.
  • the lighting fixture 10f is provided on the wall 33.
  • the lighting fixture 10f is, for example, a bracket light or a wall light.
  • the arrangement and combination of the six lighting fixtures 10a to 10f shown in FIG. 2 are merely examples, and the present invention is not limited to this.
  • the number of the lighting fixtures 10 arranged in the space 30 may be only one. That is, the lighting effect system 1 may include only one lighting fixture 10.
  • the lighting fixture 10 includes a light source unit 11 and a control unit 12.
  • a light source unit 11 As shown in FIG. 1, the lighting fixture 10 includes a light source unit 11 and a control unit 12.
  • each component of the lighting fixture 10 is demonstrated in detail.
  • the light source unit 11 emits colored light such as red light (R), green light (G), and blue light (B), and white light.
  • the light source unit 11 includes a red light source 11R, a green light source 11G, and a blue light source 11B.
  • the red light source 11R emits red light.
  • the red light source 11R is a red LED (Light Emitting Diode) element.
  • the peak wavelength of red light emitted from the red light source 11R is, for example, in the range of 620 nm to 750 nm.
  • the green light source 11G emits green light.
  • the green light source 11G is a green LED element.
  • the peak wavelength of the green light emitted from the green light source 11G is, for example, in the range of 500 nm to 575 nm.
  • Blue light source 11B emits blue light.
  • the blue light source 11B is a blue LED element.
  • the peak wavelength of the green light emitted from the blue light source 11B is, for example, in the range of 445 nm to 500 nm.
  • each of the red light source 11R, the green light source 11G, and the blue light source 11B has a dimming function. Specifically, each of the red light source 11R, the green light source 11G, and the blue light source 11B has a dimming rate set between 0% (lights off) to 100% (all lights), red light, green light, blue Each light is emitted.
  • the light source unit 11 can emit white light by combining red light emitted from the red light source 11R, green light emitted from the green light source 11G, and blue light emitted from the blue light source 11B.
  • the light source unit 11 can also adjust the color temperature of white light by adjusting the luminous flux of red light, green light, and blue light, for example.
  • the light source unit 11 may separately include a white light source that emits white light.
  • Each of the red light source 11R, the green light source 11G, and the blue light source 11B is turned on, turned off, or dimmed based on a control signal transmitted from the control unit 12.
  • the control signal includes, for example, a turn-on instruction, a turn-off instruction, or a dimming rate.
  • the control unit 12 controls the light source unit 11 that emits red light, green light, and blue light. That is, the control unit 12 controls the intensity (light flux) at the time of emission of the red light, the green light, and the blue light. Thereby, the control part 12 can make the light source part 11 radiate
  • the control unit 12 is a controller that controls each of the red light source 11R, the green light source 11G, and the blue light source 11B.
  • the control unit 12 includes a nonvolatile memory in which a program is stored, a volatile memory that is a temporary storage area for executing the program, an input / output port, and a processor that executes the program.
  • the control unit 12 is, for example, a microcomputer (microcontroller).
  • the control unit 12 transmits a control signal to each of the red light source 11R, the green light source 11G, and the blue light source 11B.
  • the control unit 12 transmits a control signal including a lighting instruction and a dimming rate to the red light source 11R.
  • the red light source 11R receives the control signal and lights up at a dimming rate included in the control signal.
  • the control unit 12 transmits control signals to the green light source 11G and the blue light source 11B in the same manner, thereby independently controlling the red light source 11R, the green light source 11G, and the blue light source 11B.
  • the control unit 12 receives illumination control information from the communication terminal 20 by performing wireless communication with the communication terminal 20. Based on the received illumination control information, the controller 12 generates and transmits a control signal to be transmitted to each of the red light source 11R, the green light source 11G, and the blue light source 11B.
  • the illumination control information includes RGB information extracted by the extraction unit 24.
  • the RGB information is RGB information of a gaze area that the user gazes when the user views the moving image.
  • the RGB information changes with time in accordance with a change in pixel value between frames of a moving image or a change in gaze area due to a user moving his / her line of sight.
  • the control unit 12 turns on the red light source 11R at a dimming rate corresponding to the pixel value of red light included in the RGB information.
  • control unit 12 turns on the green light source 11G at a dimming rate corresponding to the pixel value of the green light included in the RGB information, for example.
  • control unit 12 turns on the blue light source 11B at a dimming rate corresponding to the pixel value of the blue light included in the RGB information.
  • the control unit 12 controls the light source unit 11 according to the time change of the RGB information included in the illumination control information. Thereby, the light color and light flux of the light which the lighting fixture 10 radiate
  • the wireless communication between the lighting apparatus 10 (the control unit 12) and the communication terminal 20 is, for example, a predetermined wireless communication standard such as Bluetooth (registered trademark), ZigBee (registered trademark), or Wi-Fi (registered trademark). Based on. Note that the communication between the control unit 12 and the communication terminal 20 may not be wireless communication but may be wired communication.
  • the communication terminal 20 controls the light color of the lighting fixture 10 by transmitting the lighting control information for the lighting fixture 10 to the control unit 12.
  • the space 30 is provided with six lighting fixtures 10a to 10f. Therefore, the communication terminal 20 controls the light color of the space 30 by controlling the light color of each of the six lighting fixtures 10a to 10f.
  • the communication terminal 20 is, for example, a mobile terminal such as a mobile phone, a smartphone, or a tablet terminal. As illustrated in FIG. 1, the communication terminal 20 includes a display unit 21, a camera unit 22, a detection unit 23, an extraction unit 24, and a communication unit 25.
  • the display unit 21 displays a moving image.
  • the display unit 21 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the display unit 21 is provided in the center of the communication terminal 20.
  • the display unit 21 displays a moving image based on a user instruction.
  • the display unit 21 displays a moving image selected by the user from one or more moving images stored in a storage unit (not shown) of the communication terminal 20 or an external server device (not shown).
  • the communication unit 25 may acquire a moving image by communicating with the server device, and the display unit 21 may display the acquired moving image.
  • the display unit 21 may automatically select and display a moving image having a large number of times of reproduction from a plurality of moving images.
  • the moving image displayed by the display unit 21 includes RGB information indicating red, green, and blue pixel values (luminance values) for each pixel.
  • the moving image is, for example, a moving image that matches the user's preference.
  • the RGB information may include red, green, and blue pixel values by including luminance information (Y) and color difference information (Cb, Cr).
  • the display unit 21 further displays an image for calibrating the gaze area (hereinafter referred to as a calibration image).
  • Calibration is a process of associating the user's line-of-sight information with the pixel position in the frame of the moving image.
  • the user's line-of-sight information is information indicating the pixel position of the user's eye (for example, the center of the iris) in the user image generated by photographing by the camera unit 22.
  • the calibration image is an image including a predetermined marker at a predetermined position on the screen (frame).
  • the predetermined position is, for example, the center (center) or four corners of the frame.
  • the marker is, for example, a pixel or a collection of pixels having a pixel value higher than that of surrounding pixels.
  • the camera unit 22 generates a user image including the user by photographing the user.
  • the camera unit 22 includes, for example, a lens and an image sensor.
  • the camera unit 22 generates image data by converting light incident through the lens into an electrical signal by an image sensor.
  • the camera unit 22 is provided in the vicinity of the display unit 21, and photographs a user who views a moving image displayed on the display unit 21 from substantially the front.
  • the user image specifically includes the user's face. More specifically, the user image includes the user's eyes.
  • the camera unit 22 shoots the user at the same frame rate as that of the moving image displayed on the display unit 21, for example.
  • the user image can be associated with each frame of the moving image.
  • the frame rate of the camera unit 22 and the frame rate of the display unit 21 are different, the user image and the moving image frame may be associated with each other according to the smaller frame rate.
  • the detection unit 23 is a processing unit that detects a gaze area in time series.
  • the gaze area is an area where the user gazes when watching a moving image. That is, the gaze area is an area within the frame of the moving image.
  • the detection unit 23 detects the gaze region by measuring the user's line of sight based on the user image generated by the camera unit 22.
  • the detection unit 23 associates the user image and the position in the frame in advance by performing calibration. Calibration is performed according to the following procedure.
  • the display unit 21 displays a calibration image and causes the user to watch the marker included in the displayed image. For example, it is assumed that the marker is displayed at the center of the frame.
  • the camera unit 22 photographs the user while the display unit 21 displays a calibration image including a marker at the center. Thereby, the camera unit 22 can generate a user image when the user is looking at the marker at the center of the frame.
  • the detection unit 23 detects the pixel position of the user's eye (for example, the center of the iris) from the user image generated by the camera unit 22.
  • the detection unit 23 associates the detected pixel position with the center of the frame.
  • the same processing is repeated using calibration images with different marker positions, whereby the pixel position of the user's eye is associated with each marker position.
  • the positions between the markers can be associated with the pixel positions in the user image by an interpolation process such as linear interpolation, for example.
  • the detection unit 23 detects a pixel in the frame associated with the pixel position of the user's eye included in the user image generated by the camera unit 22 as a gaze area based on the calibration result.
  • the gaze area is not limited to one pixel (hereinafter referred to as a gaze point) located at the pixel position of the user's eye, but may be a collection of a plurality of pixels including the gaze point.
  • the gaze area may be a circle with a predetermined radius centered on the gaze point.
  • FIG. 3 is a diagram showing a moving image and a gaze area of the lighting effect system 1 according to the present embodiment.
  • the display part 21 demonstrates the example which displays the moving image in which a user's favorite sunset falls.
  • the detection unit 23 detects a gaze area for each frame of the moving image.
  • the detection unit 23 detects the gaze areas 51 to 53 from each of the frames 41 to 43 at times t1 to t3. As shown in FIG. 3, the user's line of sight moves from the time t1 to t3 to the upper right, lower center, and near the center of the frame.
  • the extraction unit 24 is a processing unit that extracts RGB information of the gaze area in time series. Specifically, the extraction unit 24 extracts a pixel value of a gazing point (one pixel) in a moving image frame.
  • the pixel values include red, green and blue pixel values.
  • the extraction unit 24 may use not only the pixel value of the gazing point but also the pixel values of the peripheral pixels of the gazing point.
  • the extraction unit 24 may extract an average value of the pixel value of the gazing point and the pixel values of one or more peripheral pixels as RGB information of the gazing region.
  • the extraction unit 24 may extract a value obtained by weighted addition of the pixel value of the gazing point and the pixel values of one or more peripheral pixels as RGB information of the gazing region.
  • the extraction unit 24 extracts the RGB information of the gaze area for each frame of the moving image, but is not limited thereto.
  • the extraction unit 24 may extract the RGB information of the gaze area at a rate slower than the frame rate of the moving image or the frame rate of the camera unit 22. For example, when the frame rate of the moving image is 50 Hz, the extraction rate of RGB information may be 10 Hz.
  • the extraction unit 24 extracts the RGB information of the gaze area in time series, thereby generating time series data of RGB information as shown in FIG.
  • FIG. 4 is a diagram showing time-series data of RGB information of the gaze area of the lighting effect system 1 according to the present embodiment.
  • the time-series data of the RGB information includes data indicating a red pixel value change over time, data indicating a green pixel value change over time, and a blue pixel. And data showing the change over time of the value.
  • the pixel value of each color is shown in the range of “0 to 255”, but the present invention is not limited to this.
  • the RGB information of the gaze area changes with time as shown in FIG. 4 when the gaze area moves or when the pixel value of the gaze area changes even when the gaze area does not move.
  • the RGB information of the gaze area 51 at time t1 shows a dark orange color.
  • the RGB information of the gaze area 52 at time t2 indicates a light orange color.
  • the RGB information of the gaze area 53 at time t3 indicates yellow.
  • the time-series data of the RGB information is generated depending on the moving image and the gaze area of the user who views the moving image.
  • the gaze area is an area where the user gazes during the display of the moving image, and can be regarded as a user-preferred area. Therefore, by using the RGB information of the gaze area, it is possible to generate time-series data of RGB information suitable for the user's request. Furthermore, by using a moving image preferred by the user as a moving image, it is possible to generate time-series data of RGB information that is more suitable for the user's request.
  • the detection unit 23 and the extraction unit 24 are an integrated circuit including a nonvolatile memory in which a program is stored, a volatile memory that is a temporary storage area for executing the program, an input / output port, and a processor that executes the program. Realized with a circuit.
  • the communication unit 25 is a communication interface that performs wireless communication with the control unit 12 of the lighting fixture 10.
  • the communication unit 25 transmits lighting control information to the control unit 12 of the lighting fixture 10.
  • the communication unit 25 transmits illumination control information including time series data of RGB information extracted by the extraction unit 24.
  • the communication unit 25 transmits lighting control information to the control units 12 of the plurality of lighting fixtures 10 based on a user instruction.
  • the operation unit for example, a touch panel (not shown)
  • the communication unit 25 transmits lighting control information to the plurality of lighting fixtures 10 based on the instruction.
  • the communication unit 25 may transmit the lighting control information to the control unit 12 of the lighting fixture 10 in advance.
  • the control unit 12 of the lighting fixture 10 may perform the lighting effect of the space 30 based on, for example, predetermined schedule information.
  • the schedule information is information indicating the start time and end time of the lighting effect, for example.
  • the lighting effect system 1 includes a process for generating time-series data of RGB information (time-series data generation process) and a process for performing an illumination effect on the space 30 based on the time-series data (illumination effect process). And do.
  • FIG. 5 is a flowchart showing a method for generating time-series data of RGB information of the gaze area in the lighting effect system 1 according to the present embodiment.
  • the communication terminal 20 performs calibration (S10).
  • the details of the calibration are as described above. Note that if the user's line-of-sight information is associated with the pixel position in the frame of the moving image in advance, the calibration need not be performed.
  • the display unit 21 starts displaying a moving image (S12).
  • the moving image is, for example, a moving image selected by a user operating an operation unit (not shown) of the communication terminal 20.
  • the camera unit 22 generates a user image by photographing the user.
  • the detection unit 23 detects a gaze area using the user image (S14). Then, the extraction unit 24 extracts RGB information of the gaze area detected by the detection unit 23 (S16). Note that the detection of the gaze area and the detection of the RGB information are performed in units of frames of the moving image. For example, the extraction unit 24 extracts RGB information of the gaze area from a moving image frame corresponding to the user image. Note that the frame of the moving image corresponding to the user image is a frame displayed on the display unit 21 at the shooting time of the user image.
  • the gaze area detection and the RGB information extraction are repeated until the display of the moving image is completed (S18). Thereby, time-series data of RGB information can be generated.
  • the generated time-series data of the RGB information is stored, for example, in a storage unit (not shown) of the communication terminal 20.
  • FIG. 6 is a flowchart showing a method for performing an illumination effect in the space 30 in the illumination effect system 1 according to the present embodiment.
  • the communication unit 25 transmits lighting control information to the control units 12 of the plurality of lighting fixtures 10 (S20). For example, based on a user instruction, the communication unit 25 transmits illumination control information.
  • Each control unit 12 of the plurality of lighting fixtures 10 receives the transmitted lighting control information (S22). And the control part 12 controls the light source part 11 according to the time series data of the RGB information contained in the received illumination control information (S24). Specifically, the dimming rate of each of the red light source 11R, the green light source 11B, and the blue light source 11B is determined from the pixel values of red light, green light, and blue light included in the RGB information, and the determined light control Turn on each light source at a rate.
  • each of the plurality of lighting fixtures 10 illuminates the space 30 with light of light color corresponding to time-series data of RGB information. At this time, the plurality of lighting fixtures 10 emit light having the same light color and luminous flux.
  • FIG. 7 is a diagram showing a lighting effect of the space 30 controlled based on the time-series data of the RGB information of the gaze area in the lighting effect system 1 according to the present embodiment.
  • FIG. 7 shows a result of performing a dynamic lighting effect based on the moving image shown in FIG. Specifically, at time T1, the space is illuminated with dark orange light indicated by the RGB information of the gaze area 51 at time t1. At time T2, the space is illuminated with light orange light indicated by the RGB information of the gaze area 52 at time t2. At time T3, the space is illuminated with yellow light indicated by the RGB information of the gaze area 53 at time t3. As described above, the light color of the illumination space dynamically changes in accordance with the temporal change of the RGB information of the gaze area in the moving image shown in FIG.
  • the period from time t1 to time t3 and the period from time T1 to time T3 are periods of the same length. That is, the light source unit 11 is controlled at the same rate as the frame rate of the moving image, and the illumination of the space 30 is changed. As a result, a color change at the same speed as the color change of the gaze area of the moving image can be dynamically produced in the space 30.
  • the frame rate of the moving image and the control rate of the light source unit 11 may be different.
  • the control unit 12 may control the light source unit 11 at a rate slower than the frame rate of the moving image (for example, 1 / integer).
  • a color change that is slower than the color change in the gaze area of the moving image can be dynamically produced in the space 30.
  • the lighting effect system 1 includes the light fixture 10 including the light source unit 11 that emits red light, green light, and blue light, and the control unit 12 that controls the light source unit 11, and the pixel.
  • a detection unit 23 that detects a gaze area, which is a gaze area that the user gazes when viewing a moving image including RGB information indicating pixel values of red, green, and blue for each time, and RGB information of the gaze area
  • the extraction unit 24 that extracts in time series and the communication terminal 20 that controls the light color of the lighting fixture 10 by transmitting the lighting control information for the lighting fixture 10 to the control unit 12,
  • the control unit 12 controls the light source unit 11 according to the temporal change of the RGB information included in the illumination control information.
  • the lighting effect of the space 30 is performed based on the time-series data of the RGB information of the gaze area of the moving image viewed by the user, a dynamic lighting effect suitable for the user's request can be performed.
  • the time-series data of RGB information indicates a change in color of an area in which the user is gazing at the favorite moving image, that is, an area preferred by the user. Since the time-series data of RGB information is used, a change in the color of the area preferred by the user in the favorite moving image can be reflected in the illumination space. In other words, the impression that the user feels when viewing a moving image can be reproduced in the illumination space. Therefore, according to the illumination effect system 1 which concerns on this Embodiment, the dynamic illumination effect suitable for a user's request
  • the communication terminal 20 includes a display unit 21 that displays a moving image and a camera unit 22 that captures a user and generates a user image including the user.
  • the gaze area is detected by measuring the user's line of sight based on the generated user image.
  • the communication terminal 20 includes the display unit 21 and the camera unit 22, the detection accuracy of the gaze area can be increased.
  • the detection accuracy of the gaze area can be increased.
  • the lighting effect system 1 includes a plurality of lighting fixtures 10 arranged in a predetermined lighting space, and the communication terminal 20 controls the light color of each of the plurality of lighting fixtures 10, thereby Control the color.
  • the plurality of lighting fixtures 10 emit light of light color based on the time-series data of RGB information, so that not only the area illuminated by the lighting fixture 10 but also the space 30 in which the plurality of lighting fixtures 10 are arranged. It is possible to illuminate with light of a light color suitable for the user's request.
  • the technology in the present embodiment can be realized not only as an illumination effect system, but also as a program for causing a computer to function as the illumination effect system described above.
  • it can be realized as a recording medium such as a computer-readable DVD (Digital Versatile Disc) in which the program is recorded.
  • the comprehensive or specific aspect described above may be realized by a system, an apparatus, an integrated circuit, a computer program, or a computer-readable recording medium, and any of the system, the apparatus, the integrated circuit, the computer program, and the recording medium It may be realized by various combinations.
  • the communication terminal 20 may be a control device installed in a predetermined place.
  • the communication terminal 20 may be a personal computer or a dedicated device that controls the lighting apparatus 10.
  • the communication terminal 20 may not include the display unit 21 and the camera unit 22.
  • the lighting effect system 1 may include a display such as a television separate from the communication terminal 20 and a camera separate from the communication terminal 20.
  • the gaze area may be detected when the display reproduces a moving image and the camera captures a user who views the displayed moving image.
  • the communication terminal 20 may generate time series data of RGB information by acquiring a gaze area detected by a camera and associating it with a moving image.
  • the communication terminal 20 may not include the detection unit 23 and the extraction unit 24.
  • an external server device that can communicate with the communication terminal 20 may include the detection unit 23 and the extraction unit 24. That is, the lighting effect system may include a server device.
  • the communication terminal 20 transmits the moving image displayed on the display unit 21 and the user image generated by the camera unit 22 to an external server device.
  • the server apparatus can generate the time-series data of the RGB information of the gaze area using the moving image and the user image.
  • the time-series data of the RGB information generated by the server device is transmitted to the plurality of lighting fixtures 10 directly or not via the communication terminal 20, for example.
  • the communication terminal 20 transmits information (identifier etc.) specifying the moving image displayed by the display unit 21 to the server device instead of the moving image. Also good.
  • the dimming rate with respect to the light source is the ratio of the pixel value to the maximum value of the pixel value
  • the dimming rate may be changed by multiplying a predetermined coefficient.
  • the luminous fluxes of the plurality of lighting fixtures 10 may be made different from each other by changing the above-described coefficient between the plurality of lighting fixtures 10.
  • the lighting fixtures 10a to 10d on the ceiling may be brightened by setting the coefficient to 1
  • the lighting fixtures 10e and 10f on the floor and wall may be darkened by setting the coefficient to a value smaller than 1.
  • each of the red light source 11R, the green light source 11G, and the blue light source 11B may be an organic EL element that emits red light, green light, and blue light, or a fluorescent lamp.
  • the embodiment can be realized by arbitrarily combining the components and functions in each embodiment without departing from the scope of the present invention, or a form obtained by subjecting each embodiment to various modifications conceived by those skilled in the art. Forms are also included in the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

照明演出システム（１）は、赤色光、緑色光及び青色光を発する光源部（１１）と、光源部（１１）を制御する制御部（１２）とを有する照明器具（１０）と、画素毎に赤色、緑色及び青色の画素値を示すＲＧＢ情報を含む動画像を視聴する際にユーザが注視する領域である注視領域を、時系列に検出する検出部（２３）と、注視領域のＲＧＢ情報を時系列に抽出する抽出部（２４）と、照明器具（１０）に対する照明制御情報を制御部（１２）に送信することで、照明器具（１０）の光色を制御する通信端末（２０）と、を備え、照明制御情報は、抽出部（２４）によって抽出されたＲＧＢ情報を含み、制御部（１２）は、照明制御情報に含まれるＲＧＢ情報の時間変化に従って光源部（１１）を制御する。

Description

照明演出システム及びプログラム
　本発明は、照明演出システム及びプログラムに関する。
　従来、調光又は調色機能を有する照明器具を用いて空間の照明演出を行う技術が知られている。例えば、特許文献１には、複数の演出パターンに基づいて照明演出を行う照明演出パネルの制御システムが開示されている。当該照明演出パネルの制御システムでは、体内時計による約１日周期のリズムに基づいた演出パターンに基づいて照明演出を行う。これにより、人間の１日のリズムに合わせた過ごしやすい快適な光環境を創出している。
特開２０１４－１７０６３号公報
　ところで、好みの色及び明るさなどは人によって多種多様であるため、照明演出も、ユーザの要望に適合したものであることが望まれる。しかしながら、上記従来の照明演出パネルの制御システムでは、人間の１日のリズムに合わせて照明演出を行うので、ユーザの要望に適合した動的な照明演出を行うことができない。
　そこで、本発明は、ユーザの要望に適合した動的な照明演出を行うことができる照明演出システムなどを提供することを目的とする。
　上記目的を達成するため、本発明の一態様に係る照明演出システムは、赤色光、緑色光及び青色光を発する光源部と、当該光源部を制御する制御部とを有する照明器具と、画素毎に赤色、緑色及び青色の画素値を示すＲＧＢ情報を含む動画像を視聴する際にユーザが注視する領域である注視領域を、時系列に検出する検出部と、前記注視領域の前記ＲＧＢ情報を時系列に抽出する抽出部と、前記照明器具に対する照明制御情報を前記制御部に送信することで、前記照明器具の光色を制御する通信端末と、を備え、前記照明制御情報は、前記抽出部によって抽出されたＲＧＢ情報を含み、前記制御部は、前記照明制御情報に含まれるＲＧＢ情報の時間変化に従って前記光源部を制御する。
　また、本発明の一態様は、コンピュータを上記照明演出システムとして機能させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
　本発明に係る照明演出システムによれば、ユーザの要望に適合した動的な照明演出を行うことができる。
図１は、実施の形態に係る照明演出システムの構成を示すブロック図である。 図２は、実施の形態に係る照明演出システムの複数の照明器具が配置される空間のレイアウトを示す図である。 図３は、実施の形態に係る照明演出システムの動画像と注視領域とを示す図である。 図４は、実施の形態に係る照明演出システムの注視領域のＲＧＢ情報の時系列データを示す図である。 図５は、実施の形態に係る照明演出システムにおいて、注視領域のＲＧＢ情報の時系列データを生成する方法を示すフローチャートである。 図６は、実施の形態に係る照明演出システムにおいて、空間の照明演出を行う方法を示すフローチャートである。 図７は、実施の形態に係る照明演出システムにおいて、注視領域のＲＧＢ情報の時系列データに基づいて制御された空間の照明演出の様子を示す図である。
　以下では、本発明の実施の形態に係る照明演出システムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態）
　［照明演出システム］
　まず、実施の形態に係る照明演出システムの概要について、図１及び図２を用いて説明する。図１は、本実施の形態に係る照明演出システム１の構成を示すブロック図である。図２は、本実施の形態に係る照明演出システム１の複数の照明器具１０が配置される空間３０のレイアウトを示す図である。
　図１に示すように、照明演出システム１は、複数の照明器具１０と、通信端末２０とを備える。具体的には、図２に示すように、照明演出システム１は、６つの照明器具１０ａ～１０ｆを備える。なお、以降の説明において、６つの照明器具１０ａ～１０ｆを特に区別しない場合、照明器具１０として説明する。
　照明演出システム１では、空間３０に配置された複数の照明器具１０の光色及び光束を通信端末２０が制御することで、空間３０の色を制御する。つまり、照明演出システム１は、空間３０の照明演出を行う。
　［照明器具］
　複数の照明器具１０は、空間３０の少なくとも一部を照明するように配置されている。複数の照明器具１０が照明する部分は、互いに同じでもよく、あるいは、互いに異なっていてもよい。
　空間３０は、配置された１以上の照明器具１０によって照明される照明空間である。空間３０は、例えば、部屋などの閉じられた空間である。あるいは、空間３０は、屋外などの開かれた空間でもよい。図２に示すように、空間３０は、例えば、天井３１と、床３２と、壁３３と、壁３４とによって囲まれている。
　本実施の形態では、４つの照明器具１０ａ～１０ｄは、天井３１に設けられている。４つの照明器具１０ａ～１０ｄは、全てが同じ種類の照明器具でもよく、あるいは、異なる種類の照明器具でもよい。照明器具１０ａ～１０ｄは、例えば、ダウンライト、シーリングライト、ペンダントライト、スポットライトなどである。
　照明器具１０ｅは、床３２に設けられている。照明器具１０ｅは、例えば、床３２に固定されていてもよく、あるいは、移動可能に設置されていてもよい。照明器具１０ｅは、例えば、スタンドライト、フロアライトなどである。
　照明器具１０ｆは、壁３３に設けられている。照明器具１０ｆは、例えば、ブラケットライト、ウォールライトなどである。
　なお、図２に示す６つの照明器具１０ａ～１０ｆの配置及び組み合わせは、一例に過ぎず、これに限定されない。例えば、空間３０に配置された照明器具１０の個数は、１つのみでもよい。すなわち、照明演出システム１は、１つのみの照明器具１０を備えてもよい。
　図１に示すように、照明器具１０は、光源部１１と、制御部１２とを備える。以下、照明器具１０の各構成要素について詳細に説明する。
　［光源部］
　光源部１１は、赤色光（Ｒ）、緑色光（Ｇ）及び青色光（Ｂ）などの有色光、及び、白色光を出射する。具体的には、光源部１１は、赤色光源１１Ｒと、緑色光源１１Ｇと、青色光源１１Ｂとを備える。
　赤色光源１１Ｒは、赤色光を出射する。例えば、赤色光源１１Ｒは、赤色ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）素子である。赤色光源１１Ｒが出射する赤色光のピーク波長は、例えば、６２０ｎｍ～７５０ｎｍの範囲にある。
　緑色光源１１Ｇは、緑色光を出射する。例えば、緑色光源１１Ｇは、緑色ＬＥＤ素子である。緑色光源１１Ｇが出射する緑色光のピーク波長は、例えば、５００ｎｍ～５７５ｎｍの範囲にある。
　青色光源１１Ｂは、青色光を出射する。例えば、青色光源１１Ｂは、青色ＬＥＤ素子である。青色光源１１Ｂが出射する緑色光のピーク波長は、例えば、４４５ｎｍ～５００ｎｍの範囲にある。
　本実施の形態では、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々は、調光機能を有する。具体的には、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々は、０％（消灯）～１００％（全点灯）の間の設定された調光率で、赤色光、緑色光、青色光をそれぞれ出射する。
　なお、光源部１１は、赤色光源１１Ｒが発する赤色光、緑色光源１１Ｇが発する緑色光、及び、青色光源１１Ｂが発する青色光を合成することで、白色光を発することができる。光源部１１は、例えば、赤色光、緑色光及び青色光の光束を調整することで、白色光の色温度を調整することもできる。あるいは、光源部１１は、別途、白色光を発する白色光源を備えてもよい。
　赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々は、制御部１２から送信される制御信号に基づいて、点灯し、消灯し、又は、調光する。制御信号には、例えば、点灯指示、消灯指示、又は、調光率が含まれる。
　［制御部］
　制御部１２は、赤色光、緑色光及び青色光を発する光源部１１を制御する。つまり、制御部１２は、赤色光、緑色光及び青色光の各々について、光を出射させる、出射させない、及び、出射時の強度（光束）を制御する。これにより、制御部１２は、例えば、ＣＩＥのＲＧＢ色空間の略全ての色の光を光源部１１に出射させることができる。
　制御部１２は、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々を制御するコントローラである。制御部１２は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１２は、例えば、マイコン（マイクロコントローラ）である。
　具体的には、制御部１２は、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々に制御信号を送信する。例えば、制御部１２は、赤色光源１１Ｒに、点灯指示と調光率とを含む制御信号を送信する。赤色光源１１Ｒは、当該制御信号を受信し、当該制御信号に含まれる調光率で点灯する。制御部１２は、緑色光源１１Ｇ及び青色光源１１Ｂに対しても同様に制御信号を送信することで、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々を独立して制御する。
　制御部１２は、通信端末２０との間で無線通信を行うことで、通信端末２０から照明制御情報を受信する。制御部１２は、受信した照明制御情報に基づいて、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々に送信する制御信号を生成して送信する。
　照明制御情報には、抽出部２４によって抽出されたＲＧＢ情報が含まれる。ＲＧＢ情報は、具体的には、ユーザが動画像を視聴している際にユーザが注視する注視領域のＲＧＢ情報である。ＲＧＢ情報は、動画像のフレーム間での画素値の変化、又は、ユーザが視線を動かすことによる注視領域の変化に応じて、経時的に変化する。
　具体的には、制御部１２は、ＲＧＢ情報に含まれる赤色光の画素値に対応する調光率で赤色光源１１Ｒを点灯させる。調光率は、画素値の最大値に対する画素値の割合で決定される。例えば、赤色光の画素値が「０～２５５」の範囲の値を取る場合において、画素値が例えば「１２７」であるとき、制御部１２は、赤色光源１１Ｒを約５０％（＝１２７／２５５×１００）の調光率で点灯させる。例えば、赤色光の画素値が「０」である場合、制御部１２は、赤色光源１１Ｒを消灯させる。また、赤色光の画素値が最大値である場合、制御部１２は、赤色光源１１Ｒを全点灯（１００％の調光率）させる。
　同様に、制御部１２は、例えば、ＲＧＢ情報に含まれる緑色光の画素値に対応する調光率で緑色光源１１Ｇを点灯させる。制御部１２は、例えば、ＲＧＢ情報に含まれる青色光の画素値に対応する調光率で青色光源１１Ｂを点灯させる。
　制御部１２は、照明制御情報に含まれるＲＧＢ情報の時間変化に従って光源部１１を制御する。これにより、照明器具１０が出射する光の光色及び光束を、動画像に基づいて経時的に変化させることができる。詳細については、後で説明する。
　なお、照明器具１０（制御部１２）と通信端末２０との間の無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）又はＷｉ－Ｆｉ（登録商標）などの所定の無線通信規格に基づいて行われる。なお、制御部１２と通信端末２０との間の通信は、無線通信でなくてもよく、有線通信でもよい。
　［通信端末］
　通信端末２０は、照明器具１０に対する照明制御情報を制御部１２に送信することで、照明器具１０の光色を制御する。本実施の形態では、図２に示すように、空間３０には、６つの照明器具１０ａ～１０ｆが設けられている。このため、通信端末２０は、６つの照明器具１０ａ～１０ｆの各々の光色を制御することで、空間３０の光色を制御する。
　通信端末２０は、例えば、携帯電話、スマートフォン、タブレット端末などの携帯端末である。図１に示すように、通信端末２０は、表示部２１と、カメラ部２２と、検出部２３と、抽出部２４と、通信部２５とを備える。
　以下、通信端末２０が備える各構成要素について詳細に説明する。
　［表示部］
　表示部２１は、動画像を表示する。表示部２１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。表示部２１は、例えば、図２に示すように、通信端末２０の中央に設けられている。
　表示部２１は、ユーザの指示に基づいて動画像を表示する。表示部２１は、通信端末２０の記憶部（図示せず）又は外部のサーバ装置（図示せず）などに記憶された１以上の動画像の中からユーザが選択した動画像を表示する。例えば、通信部２５がサーバ装置と通信することで、動画像を取得し、表示部２１は、取得された動画像を表示してもよい。なお、表示部２１は、複数の動画像の中から再生回数の多い動画像を自動的に選択して表示してもよい。
　表示部２１が表示する動画像は、画素毎に赤色、緑色及び青色の画素値（輝度値）を示すＲＧＢ情報を含んでいる。当該動画像は、例えば、ユーザの好みに適合した動画像である。なお、ＲＧＢ情報は、輝度情報（Ｙ）及び色差情報（Ｃｂ、Ｃｒ）を含むことで、赤色、緑色及び青色の画素値を示してもよい。
　本実施の形態では、表示部２１は、さらに、注視領域のキャリブレーション用の画像（以下、キャリブレーション画像と記載する）を表示する。キャリブレーションとは、ユーザの視線情報と動画像のフレーム内の画素位置とを対応付ける処理である。ユーザの視線情報は、カメラ部２２による撮影で生成されたユーザ画像内における、ユーザの眼（例えば、虹彩の中央）の画素位置を示す情報である。
　キャリブレーション画像は、画面（フレーム）の所定の位置に所定のマーカを含む画像である。所定の位置は、例えば、フレームの中央（中心）又は四隅である。マーカは、例えば、周囲の画素よりも画素値が高い画素又は画素の集まりである。表示部２１が表示するキャリブレーション画像のマーカをユーザに注視させることで、このときのユーザの視線情報とマーカの位置とを対応付けることができる。
　［カメラ部］
　カメラ部２２は、ユーザを撮影することで、ユーザを含むユーザ画像を生成する。カメラ部２２は、例えば、レンズ及びイメージセンサを有する。カメラ部２２は、レンズを介して入射した光をイメージセンサによって電気信号に変換することで、画像データを生成する。カメラ部２２は、図２に示すように、表示部２１の近傍に設けられており、表示部２１に表示される動画像を視聴するユーザを略正面から撮影する。
　ユーザ画像は、具体的には、ユーザの顔を含んでいる。より具体的には、ユーザ画像は、ユーザの眼を含んでいる。
　カメラ部２２は、例えば、表示部２１が表示する動画像と同じフレームレートでユーザを撮影する。これにより、ユーザ画像と動画像の各フレームとを対応付けることができる。なお、カメラ部２２のフレームレートと表示部２１のフレームレートとが異なる場合は、小さい方のフレームレートに応じて、ユーザ画像と動画像のフレームとを対応付ければよい。
　［検出部］
　検出部２３は、注視領域を時系列に検出する処理部である。注視領域は、動画像を視聴する際にユーザが注視する領域である。つまり、注視領域は、動画像のフレーム内の領域である。検出部２３は、カメラ部２２によって生成されたユーザ画像に基づいてユーザの視線を計測することで、注視領域を検出する。
　本実施の形態では、検出部２３は、キャリブレーションを行うことで、ユーザ画像とフレーム内の位置とを予め対応付けておく。キャリブレーションは、以下の手順で行われる。
　まず、表示部２１が、キャリブレーション画像を表示し、表示された画像に含まれるマーカをユーザに注視させる。例えば、マーカは、フレームの中央に表示されているとする。
　カメラ部２２は、中央にマーカを含むキャリブレーション画像を表示部２１が表示している間にユーザを撮影する。これにより、カメラ部２２は、ユーザがフレームの中央のマーカを見ているときのユーザ画像を生成することができる。
　検出部２３は、カメラ部２２によって生成されたユーザ画像から、ユーザの眼（例えば、虹彩の中央）の画素位置を検出する。検出部２３は、検出した画素位置をフレームの中央に対応付ける。
　以降、マーカの位置が異なるキャリブレーション画像を用いて、同様の処理を繰り返すことで、マーカの位置毎に、ユーザの眼の画素位置が対応付けられる。なお、マーカとマーカとの間の位置は、例えば、線形補間などの補間処理により、ユーザ画像内での画素位置を対応付けることができる。
　検出部２３は、キャリブレーション結果に基づいて、カメラ部２２によって生成されたユーザ画像に含まれるユーザの眼の画素位置に対応付けられたフレーム内の画素を、注視領域として検出する。なお、注視領域は、ユーザの眼の画素位置に位置する１画素（以下、注視点と記載）に限らず、当該注視点を含む複数の画素の集まりでもよい。例えば、注視領域は、注視点を中心とする所定の半径の円でもよい。
　図３は、本実施の形態に係る照明演出システム１の動画像と注視領域とを示す図である。ここでは、表示部２１は、ユーザのお気に入りの夕日が沈む動画像を表示する例について説明する。
　本実施の形態では、検出部２３は、動画像のフレーム毎に注視領域を検出する。検出部２３は、時刻ｔ１～ｔ３のフレーム４１～４３の各々から注視領域５１～５３を検出する。図３に示すように、ユーザの視線は、時刻ｔ１～ｔ３にかけて、フレームの右上、中央下部、中央近傍と移動している。
　［抽出部］
　抽出部２４は、注視領域のＲＧＢ情報を時系列に抽出する処理部である。具体的には、抽出部２４は、動画像のフレーム内の注視点（１画素）の画素値を抽出する。画素値は、赤色、緑色及び青色の各々の画素値を含んでいる。なお、抽出部２４は、注視点の画素値だけでなく、注視点の周辺画素の画素値を用いてもよい。例えば、抽出部２４は、注視点の画素値と１以上の周辺画素の画素値との平均値を、注視領域のＲＧＢ情報として抽出してもよい。あるいは、抽出部２４は、注視点の画素値と１以上の周辺画素の画素値とを重み付け加算した値を、注視領域のＲＧＢ情報として抽出してもよい。
　本実施の形態では、抽出部２４は、動画像のフレーム毎に注視領域のＲＧＢ情報を抽出するが、これに限らない。抽出部２４は、動画像のフレームレート又はカメラ部２２のフレームレートより遅いレートで注視領域のＲＧＢ情報を抽出してもよい。例えば、動画像のフレームレートが５０Ｈｚである場合に、ＲＧＢ情報の抽出レートは、１０Ｈｚでもよい。
　抽出部２４は、注視領域のＲＧＢ情報を時系列に抽出することで、図４に示すようなＲＧＢ情報の時系列データが生成される。図４は、本実施の形態に係る照明演出システム１の注視領域のＲＧＢ情報の時系列データを示す図である。
　ＲＧＢ情報の時系列データは、図４の（ａ）～（ｃ）に示すように、赤色の画素値の経時変化を示すデータと、緑色の画素値の経時変化を示すデータと、青色の画素値の経時変化を示すデータとを含んでいる。なお、本実施の形態では、各色の画素値は「０～２５５」の範囲で示されるが、これに限らない。
　注視領域が移動することによって、又は、注視領域が移動しない場合であっても注視領域の画素値が変化することによって、図４に示すように、注視領域のＲＧＢ情報は、時間と共に変化する。例えば、図３に示す例では、時刻ｔ１における注視領域５１のＲＧＢ情報は、濃いオレンジ色を示す。時刻ｔ２における注視領域５２のＲＧＢ情報は、薄いオレンジ色を示す。時刻ｔ３における注視領域５３のＲＧＢ情報は、黄色を示す。
　このように、ＲＧＢ情報の時系列データは、動画像、及び、当該動画像を視聴するユーザの注視領域に依存して生成される。注視領域は、動画像の表示中にユーザが注視する領域であり、ユーザが好む領域とみなすことができる。したがって、注視領域のＲＧＢ情報を利用することで、ユーザの要望に適合したＲＧＢ情報の時系列データを生成することができる。さらに、動画像としてユーザが好む動画像を利用することで、ユーザの要望により適合したＲＧＢ情報の時系列データを生成することができる。
　なお、検出部２３及び抽出部２４は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する集積回路で実現される。
　［通信部］
　通信部２５は、照明器具１０の制御部１２との間で無線通信を行う通信インタフェースである。通信部２５は、照明制御情報を照明器具１０の制御部１２に送信する。通信部２５は、抽出部２４によって抽出されたＲＧＢ情報の時系列データを含む照明制御情報を送信する。
　本実施の形態では、通信部２５は、ユーザ指示に基づいて、照明制御情報を複数の照明器具１０の制御部１２に送信する。例えば、ユーザが空間３０の照明演出を行いたいときに、通信端末２０の操作部（例えば、タッチパネル（図示せず））を利用して、照明制御情報の送信を指示する。通信部２５は、当該指示に基づいて、照明制御情報を複数の照明器具１０に送信する。
　なお、通信部２５は、照明制御情報を予め照明器具１０の制御部１２に送信してもよい。照明器具１０の制御部１２は、例えば、所定のスケジュール情報に基づいて、空間３０の照明演出を行ってもよい。このとき、スケジュール情報は、例えば、照明演出の開始時刻及び終了時刻を示す情報である。
　［動作］
　続いて、本実施の形態に係る照明演出システム１の動作について説明する。本実施の形態に係る照明演出システム１は、ＲＧＢ情報の時系列データを生成する処理（時系列データ生成処理）と、時系列データに基づいて空間３０の照明演出を行う処理（照明演出処理）とを行う。
　［時系列データ生成処理］
　図５は、本実施の形態に係る照明演出システム１において、注視領域のＲＧＢ情報の時系列データを生成する方法を示すフローチャートである。
　図５に示すように、まず、通信端末２０は、キャリブレーションを行う（Ｓ１０）。キャリブレーションの詳細については、上述した通りである。なお、ユーザの視線情報と動画像のフレーム内の画素位置との対応付けが予め行われている場合は、キャリブレーションを行わなくてもよい。
　次に、表示部２１は、動画像の表示を開始する（Ｓ１２）。当該動画像は、例えば、ユーザが通信端末２０の操作部（図示せず）を操作することで、選択した動画像である。表示部２１が動画像の表示を開始すると同時に、カメラ部２２は、ユーザを撮影することで、ユーザ画像を生成する。
　次に、検出部２３は、ユーザ画像を用いて注視領域を検出する（Ｓ１４）。そして、抽出部２４は、検出部２３によって検出された注視領域のＲＧＢ情報を抽出する（Ｓ１６）。なお、注視領域の検出とＲＧＢ情報の検出とは、動画像のフレーム単位で行われる。例えば、抽出部２４は、ユーザ画像に対応する動画像のフレームから、注視領域のＲＧＢ情報を抽出する。なお、ユーザ画像に対応する動画像のフレームとは、ユーザ画像の撮影時刻に、表示部２１に表示されていたフレームである。
　以降、動画像の表示を終了するまで、注視領域の検出とＲＧＢ情報の抽出とを繰り返す（Ｓ１８）。これにより、ＲＧＢ情報の時系列データを生成することができる。生成されたＲＧＢ情報の時系列データは、例えば、通信端末２０の記憶部（図示せず）に保存される。
　［照明演出処理］
　図６は、本実施の形態に係る照明演出システム１において、空間３０の照明演出を行う方法を示すフローチャートである。
　まず、通信部２５は、照明制御情報を複数の照明器具１０の制御部１２に送信する（Ｓ２０）。例えば、ユーザの指示に基づいて、通信部２５は、照明制御情報を送信する。
　複数の照明器具１０の各々の制御部１２は、送信された照明制御情報を受信する（Ｓ２２）。そして、制御部１２は、受信した照明制御情報に含まれるＲＧＢ情報の時系列データに従って、光源部１１を制御する（Ｓ２４）。具体的には、ＲＧＢ情報に含まれる赤色光、緑色光及び青色光の各々の画素値から、赤色光源１１Ｒ、緑色光源１１Ｂ及び青色光源１１Ｂの各々の調光率を決定し、決定した調光率で各々の光源を点灯させる。
　このようにして、複数の照明器具１０の各々は、ＲＧＢ情報の時系列データに対応する光色の光で空間３０を照明する。なお、このとき、複数の照明器具１０は、互いに同じ光色及び光束の光を出射する。
　以上のようにして、図７に示すように、空間３０には、動画像の注視領域のＲＧＢ情報に基づいた動的な照明演出が行われる。なお、図７は、本実施の形態に係る照明演出システム１において、注視領域のＲＧＢ情報の時系列データに基づいて制御された空間３０の照明演出の様子を示す図である。
　例えば、図７は、図３に示す動画像に基づいて動的な照明演出を行った結果を示している。具体的には、時刻Ｔ１では、時刻ｔ１の注視領域５１のＲＧＢ情報が示す濃いオレンジ色の光で空間が照明される。時刻Ｔ２では、時刻ｔ２の注視領域５２のＲＧＢ情報が示す薄いオレンジ色の光で空間が照明される。時刻Ｔ３では、時刻ｔ３の注視領域５３のＲＧＢ情報が示す黄色の光で空間が照明される。このように、図３に示す動画像における注視領域のＲＧＢ情報の時間変化に応じて、照明空間の光色も動的に変化する。
　本実施の形態では、時刻ｔ１から時刻ｔ３までの期間と時刻Ｔ１から時刻Ｔ３までの期間とは、同じ長さの期間である。すなわち、動画像のフレームレートと同じレートで光源部１１が制御されて、空間３０の照明が変更される。これにより、動画像の注視領域の色の変化と同じ速度の色の変化を空間３０に動的に演出することができる。
　なお、動画像のフレームレートと光源部１１の制御レートとは、異なっていてもよい。例えば、動画像のフレームレートより遅いレート（例えば、整数分の１など）で、制御部１２は、光源部１１を制御してもよい。これにより、動画像の注視領域の色の変化よりもゆっくりとした色の変化を空間３０に動的に演出することができる。
　［効果など］
　以上のように、本実施の形態に係る照明演出システム１は、赤色光、緑色光及び青色光を発する光源部１１、及び、光源部１１を制御する制御部１２を有する照明器具１０と、画素毎に赤色、緑色及び青色の画素値を示すＲＧＢ情報を含む動画像を視聴する際にユーザが注視する領域である注視領域を、時系列に検出する検出部２３と、注視領域のＲＧＢ情報を時系列に抽出する抽出部２４と、照明器具１０に対する照明制御情報を制御部１２に送信することで、照明器具１０の光色を制御する通信端末２０とを備え、照明制御情報は、抽出部２４によって抽出されたＲＧＢ情報を含み、制御部１２は、照明制御情報に含まれるＲＧＢ情報の時間変化に従って光源部１１を制御する。
　これにより、ユーザが視聴する動画像の注視領域のＲＧＢ情報の時系列データに基づいて、空間３０の照明演出を行うので、ユーザの要望に適合した動的な照明演出を行うことができる。
　例えば、本実施の形態では、ユーザのお気に入りの動画像を再生しているときに、ユーザが注視する注視領域のＲＧＢ情報を時系列で抽出する。したがって、ＲＧＢ情報の時系列データは、お気に入りの動画像において、ユーザが注視している領域、すなわち、ユーザが好む領域の色の変化を示している。ＲＧＢ情報の時系列データを用いるので、お気に入りの動画像におけるユーザが好む領域の色の変化を照明空間に反映させることができる。簡単に言い換えると、ユーザが動画像を見た時に感じる印象を照明空間に再現することができる。したがって、本実施の形態に係る照明演出システム１によれば、ユーザの要望に適合した動的な照明演出を行うことができる。
　また、例えば、通信端末２０は、動画像を表示する表示部２１と、ユーザを撮影することで、ユーザを含むユーザ画像を生成するカメラ部２２とを備え、検出部２３は、カメラ部２２によって生成されたユーザ画像に基づいてユーザの視線を計測することで、注視領域を検出する。
　これにより、通信端末２０が表示部２１とカメラ部２２とを備えるので、注視領域の検出精度を高めることができる。例えば、表示部２１とカメラ部２２とを互いの近傍に配することで、キャリブレーションを精度良く行うことができる。したがって、注視領域の検出精度を高めることができるので、ユーザの要望により適合した照明演出を行うことができる。
　また、例えば、照明演出システム１は、所定の照明空間に配置された複数の照明器具１０を備え、通信端末２０は、複数の照明器具１０の各々の光色を制御することで、照明空間の色を制御する。
　これにより、複数の照明器具１０がＲＧＢ情報の時系列データに基づいた光色の光を発することで、照明器具１０が照明する領域だけでなく、複数の照明器具１０が配置された空間３０を、ユーザの要望に適合した光色の光で照明することができる。
　なお、本実施の形態における技術は、照明演出システムとして実現できるだけでなく、コンピュータを、上述した照明演出システムとして機能させるためのプログラムとして実現することもできる。あるいは、当該プログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの記録媒体として実現することもできる。
　つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　（その他）
　以上、本発明に係る照明演出システムについて、上記の実施の形態に基づいて説明したが、本発明は、上記の実施の形態に限定されるものではない。
　例えば、上記の実施の形態では、通信端末２０が携帯端末である例について示したが、これに限らない。通信端末２０は、所定の場所に設置された制御装置などでもよい。例えば、通信端末２０は、パーソナルコンピュータでもよく、あるいは、照明器具１０を制御する専用のデバイスでもよい。
　また、通信端末２０は、表示部２１及びカメラ部２２を備えていなくてもよい。例えば、照明演出システム１は、通信端末２０とは別体のテレビなどのディスプレイと、通信端末２０とは別体のカメラとを備えてもよい。具体的には、ディスプレイが動画像を再生し、表示された動画像を視聴するユーザをカメラが撮影することで、注視領域を検出してもよい。通信端末２０は、カメラによって検出された注視領域を取得し、動画像と対応付けることで、ＲＧＢ情報の時系列データを生成してもよい。
　また、通信端末２０は、検出部２３と抽出部２４とを備えていなくてもよい。例えば、通信端末２０と通信可能な外部のサーバ装置が検出部２３と抽出部２４とを備えていてもよい。すなわち、照明演出システムは、サーバ装置を備えてもよい。
　このとき、通信端末２０は、外部のサーバ装置に、表示部２１が表示した動画像と、カメラ部２２によって生成されたユーザ画像とを送信する。これにより、サーバ装置が、動画像とユーザ画像とを用いて、注視領域のＲＧＢ情報の時系列データを生成することができる。サーバ装置が生成したＲＧＢ情報の時系列データは、例えば、通信端末２０を介して、又は、介さずに直接、複数の照明器具１０に送信される。なお、サーバ装置が予め動画像を記憶している場合、通信端末２０は、サーバ装置には、表示部２１が表示した動画像を特定する情報（識別子など）を動画像の代わりに送信してもよい。
　また、例えば、上記の実施の形態では、光源に対する調光率が、画素値の最大値に対する画素値の割合である例について示したが、これに限らない。例えば、所定の係数を乗じることで、調光率を変化させてもよい。例えば、所定の係数が０．７である場合に、画素値が最大値であるとき、光源の調光率を１００％ではなく、７０％（＝１００％×０．７）とすることができる。
　また、例えば、上記の実施の形態では、複数の照明器具１０が互いに同じ光色及び光束の光を出射する例について示したが、これに限らない。例えば、上述の係数を複数の照明器具１０間で異ならせることによって、複数の照明器具１０の光束を互いに異ならせてもよい。例えば、天井の照明器具１０ａ～１０ｄを、係数を１に設定することで明るくし、床及び壁の照明器具１０ｅ及び１０ｆを、係数を１より小さい値に設定することで暗くしてもよい。
　また、例えば、赤色光源１１Ｒ、緑色光源１１Ｇ及び青色光源１１Ｂの各々は、赤色光、緑色光及び青色光をそれぞれ出射する有機ＥＬ素子でもよく、あるいは、蛍光灯などでもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
１　照明演出システム
１０、１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ　照明器具
１１　光源部
１２　制御部
２０　通信端末
２１　表示部
２２　カメラ部
２３　検出部
２４　抽出部
２５　通信部
３０　空間
５１、５２、５３　注視領域

Claims (4)

  1. 　赤色光、緑色光及び青色光を発する光源部と、当該光源部を制御する制御部とを有する照明器具と、
    　画素毎に赤色、緑色及び青色の画素値を示すＲＧＢ情報を含む動画像を視聴する際にユーザが注視する領域である注視領域を、時系列に検出する検出部と、
    　前記注視領域の前記ＲＧＢ情報を時系列に抽出する抽出部と、
    　前記照明器具に対する照明制御情報を前記制御部に送信することで、前記照明器具の光色を制御する通信端末と、を備え、
    　前記照明制御情報は、前記抽出部によって抽出されたＲＧＢ情報を含み、
    　前記制御部は、前記照明制御情報に含まれるＲＧＢ情報の時間変化に従って前記光源部を制御する
    　照明演出システム。
  2. 　前記通信端末は、
    　前記動画像を表示する表示部と、
    　前記ユーザを撮影することで、前記ユーザを含むユーザ画像を生成するカメラ部とを備え、
    　前記検出部は、前記カメラ部によって生成されたユーザ画像に基づいて前記ユーザの視線を計測することで、前記注視領域を検出する
    　請求項１記載の照明演出システム。
  3. 　前記照明演出システムは、所定の照明空間に配置された複数の前記照明器具を備え、
    　前記通信端末は、複数の前記照明器具の各々の光色を制御することで、前記照明空間の色を制御する
    　請求項１又は２に記載の照明演出システム。
  4. 　コンピュータを、請求項１～３のいずれか１項に記載の照明演出システムとして機能させるためのプログラム。
PCT/JP2016/002326 2015-05-29 2016-05-12 照明演出システム及びプログラム WO2016194311A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017521670A JP6390885B2 (ja) 2015-05-29 2016-05-12 照明演出システム及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015110854 2015-05-29
JP2015-110854 2015-05-29

Publications (1)

Publication Number Publication Date
WO2016194311A1 true WO2016194311A1 (ja) 2016-12-08

Family

ID=57440812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002326 WO2016194311A1 (ja) 2015-05-29 2016-05-12 照明演出システム及びプログラム

Country Status (2)

Country Link
JP (1) JP6390885B2 (ja)
WO (1) WO2016194311A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036934A1 (en) * 2017-08-23 2019-02-28 WizConnected Company Limited SYSTEM AND METHOD FOR EXIT CONTROL OF A DYNAMIC LIGHTING SCENE BY A GROUP OF LIGHTING UNITS
US11282240B2 (en) 2020-04-23 2022-03-22 Saudi Arabian Oil Company Generation and implementation of multi-layer encoded data images
JP2022542185A (ja) * 2019-08-22 2022-09-29 シグニファイ ホールディング ビー ヴィ ダイナミック性レベルの比較に基づく画像解析領域の選択

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619616A (ja) * 1992-06-29 1994-01-28 Canon Inc 情報処理装置
JP2006107905A (ja) * 2004-10-05 2006-04-20 Sony Corp 照明制御装置および方法、記録媒体、並びにプログラム
JP2013125596A (ja) * 2011-12-13 2013-06-24 Sharp Corp 照明装置
JP2013218153A (ja) * 2012-04-10 2013-10-24 Sharp Corp 照明制御装置、制御システムおよび照明制御方法
US20150061504A1 (en) * 2013-08-30 2015-03-05 Universal Display Corporation Intelligent dimming lighting
CN104598029A (zh) * 2015-01-12 2015-05-06 联想(北京)有限公司 一种控制电子设备的方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092692A (ja) * 2008-10-07 2010-04-22 Sharp Corp 照明装置
JP5288606B2 (ja) * 2008-10-22 2013-09-11 パナソニック株式会社 照明システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619616A (ja) * 1992-06-29 1994-01-28 Canon Inc 情報処理装置
JP2006107905A (ja) * 2004-10-05 2006-04-20 Sony Corp 照明制御装置および方法、記録媒体、並びにプログラム
JP2013125596A (ja) * 2011-12-13 2013-06-24 Sharp Corp 照明装置
JP2013218153A (ja) * 2012-04-10 2013-10-24 Sharp Corp 照明制御装置、制御システムおよび照明制御方法
US20150061504A1 (en) * 2013-08-30 2015-03-05 Universal Display Corporation Intelligent dimming lighting
CN104598029A (zh) * 2015-01-12 2015-05-06 联想(北京)有限公司 一种控制电子设备的方法及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036934A1 (en) * 2017-08-23 2019-02-28 WizConnected Company Limited SYSTEM AND METHOD FOR EXIT CONTROL OF A DYNAMIC LIGHTING SCENE BY A GROUP OF LIGHTING UNITS
CN111034360A (zh) * 2017-08-23 2020-04-17 微通香港照明有限公司 控制一组照明单元对动态照明场景的输出的系统和方法
EP3673716A4 (en) * 2017-08-23 2020-07-01 Wiz Connected Lighting Co. Limited SYSTEM AND METHOD FOR CONTROLLING THE OUTPUT OF A DYNAMIC LIGHTING SCENE BY A GROUP OF LIGHTING UNITS
US11337289B2 (en) 2017-08-23 2022-05-17 Signify Holding B.V. System and method for controlling output of a dynamic lighting scene by a group of lighting units
CN111034360B (zh) * 2017-08-23 2022-08-02 微通香港照明有限公司 控制一组照明单元对动态照明场景的输出的系统和方法
JP2022542185A (ja) * 2019-08-22 2022-09-29 シグニファイ ホールディング ビー ヴィ ダイナミック性レベルの比較に基づく画像解析領域の選択
JP7194864B2 (ja) 2019-08-22 2022-12-22 シグニファイ ホールディング ビー ヴィ ダイナミック性レベルの比較に基づく画像解析領域の選択
US11282240B2 (en) 2020-04-23 2022-03-22 Saudi Arabian Oil Company Generation and implementation of multi-layer encoded data images

Also Published As

Publication number Publication date
JP6390885B2 (ja) 2018-09-19
JPWO2016194311A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6564387B2 (ja) ネットワーク化光源の照明効果を無線で制御する方法及び装置
EP2529596B1 (en) Interactive lighting control system and method
US9125504B2 (en) Method and system for emphasizing object color
CN101463963B (zh) 照明系统
JP6688983B2 (ja) 照明システム
US20120242251A1 (en) Ambience lighting system using global content characteristics
US20120242250A1 (en) Dynamic ambience lighting system
JP6766066B2 (ja) カラーピッカー
US9538602B2 (en) Lighting control device and lighting control method
JP6390885B2 (ja) 照明演出システム及びプログラム
CN104501107A (zh) 一种根据电视屏幕亮度自动调节室内灯光的装置
US9907143B2 (en) Lighting control device, lighting system, and program
JP6369820B2 (ja) 照明演出システム及びプログラム
KR20130004250U (ko) 조명과 디스플레이 기능을 이용한 감성 조명 및 디스플레이 융합 장치
CN206196081U (zh) 一种照明装置及终端
JP2018116771A (ja) 照明装置
WO2015136644A1 (ja) 発光装置、撮像装置、及びプログラム
JP2019066799A5 (ja)
KR20110083236A (ko) 조명 장치 및 이를 이용한 조명 제어 방법
JP2008204855A (ja) 可変色縦型照明器具および可変色縦型照明システム
JP6268889B2 (ja) 照明装置
CN108770146B (zh) 多场景变化智控照明装置
KR101518393B1 (ko) 개인 맞춤형 빛을 발산하는 탁상램프
JP7426579B2 (ja) ユーザインタフェース装置及びパラメータの設定方法
JP2024068307A (ja) 照明装置、表示装置及び照明システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802754

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017521670

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16802754

Country of ref document: EP

Kind code of ref document: A1