WO2017033385A1 - 照明システム及びプログラム - Google Patents

照明システム及びプログラム Download PDF

Info

Publication number
WO2017033385A1
WO2017033385A1 PCT/JP2016/003199 JP2016003199W WO2017033385A1 WO 2017033385 A1 WO2017033385 A1 WO 2017033385A1 JP 2016003199 W JP2016003199 W JP 2016003199W WO 2017033385 A1 WO2017033385 A1 WO 2017033385A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
illumination
image
rgb
video
Prior art date
Application number
PCT/JP2016/003199
Other languages
English (en)
French (fr)
Inventor
伸裕 見市
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2017536191A priority Critical patent/JPWO2017033385A1/ja
Priority to US15/747,289 priority patent/US20180220510A1/en
Priority to EP16838737.1A priority patent/EP3344016A4/en
Publication of WO2017033385A1 publication Critical patent/WO2017033385A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/165Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Definitions

  • the present invention relates to an illumination system and a program used for the illumination system.
  • LEDs Light Emitting Diode
  • LD Laser Diode
  • Patent Literature 1 discloses an illumination device having an illumination function and a video projection function.
  • the image is projected onto a projection surface such as a screen with the lighting device installed on the ceiling or wall turned off to make the projected image easier to see. To do.
  • the lighting device is required to irradiate illumination light that matches an image projected on a wall surface, a floor surface, a desk surface, or the like.
  • the present invention has been made to solve such a problem, and an object thereof is to provide an illumination system and a program capable of irradiating illumination light in accordance with a projected image.
  • an illumination system includes a video projection unit that projects a video, an imaging unit that captures a video projected by the video projection unit, and a light source of the video projection unit. Includes an illumination unit that illuminates illumination light from different light sources, and an illumination control unit that controls the illumination light using a statistic relating to RGB of at least a partial region of the captured image captured by the imaging unit.
  • the present invention can also be realized as a program for causing a computer to function as the lighting system, or as a computer-readable recording medium storing the program.
  • FIG. 1 is a diagram schematically illustrating a specific application example of the illumination system according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of the illumination system according to the embodiment and an image captured by the illumination system.
  • FIG. 3 is a block diagram illustrating a configuration of the illumination system according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a conversion table between RGB statistics and color temperature in the illumination system according to the embodiment.
  • FIG. 5 is a diagram for explaining a method of converting RGB statistics and color temperature in an illumination system according to another embodiment.
  • FIG. 1 is a diagram schematically illustrating a specific application example of the illumination system 1 according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of the illumination system 1 and an image captured by the illumination system 1.
  • FIG. 3 is a block diagram showing a configuration of the illumination system 1.
  • the illumination system 1 includes a video projection unit 10, an imaging unit 20, an illumination unit 30, and a processing unit 40.
  • the video projection unit 10, the imaging unit 20, and the illumination unit 30 are installed in a room, for example.
  • the video projection unit 10 and the imaging unit 20 are installed, for example, on the ceiling of the room, and the illumination unit 30 is installed on the wall surface of the room.
  • the installation location of the video projection unit 10, the imaging unit 20, and the illumination unit 30 is not limited to this.
  • the illumination unit 30 may be installed on the ceiling.
  • the video projection unit 10 and the imaging unit 20 may be installed on a wall surface or a floor surface.
  • the viewpoint of the video projection unit 10 and the viewpoint of the imaging unit 20 are different, but the video projection unit 10 and the imaging unit 20 are the same. It may be installed at a position. In this case, the video projection unit 10 and the imaging unit 20 may be configured by a single device and have the same viewpoint.
  • the video projection unit 10 is a video projection device that projects an image on the projection surface 2.
  • the image projection unit 10 projects an image in a situation where the illumination unit 30 is lit (in an illumination environment). That is, the video from the video projection unit 10 is projected onto the projection plane 2 in a bright environment.
  • the projection plane 2 onto which an image from the image projection unit 10 is projected may be either a plane or a three-dimensional plane, and includes any structure or animal or plant. As shown in FIG.1 and FIG.2, the projection surface 2 in this Embodiment is a wall surface of a room. For example, a video image of the soccer broadcast is projected onto the projection surface 2 by the video projection unit 10.
  • the projection surface 2 is not limited to a wall surface, and may be a floor surface, a desk surface, a screen, or the like.
  • the video projection unit 10 includes a light source such as a semiconductor laser and a lamp, an optical system such as a lens and a mirror, a display element such as a liquid crystal panel, and a projection lens.
  • a light source such as a semiconductor laser and a lamp
  • an optical system such as a lens and a mirror
  • a display element such as a liquid crystal panel
  • a projection lens For example, when an image to be projected onto the projection surface 2 is input from the processing unit 40 to the image projection unit 10, an image is projected from the projection lens of the image projection unit 10 toward the projection surface 2.
  • the video (image) may be either a still image or a moving image.
  • the video projection unit 10 not only has a function of projecting a video, but also has a function of irradiating the projection surface 2 with illumination light. That is, the video projection unit 10 can project a video (illumination pattern) as illumination light.
  • the image projection unit 10 is an optical projection device that projects both image light (image) and illumination light.
  • the video projection unit 10 can perform not only a video effect but also an illumination effect.
  • the image light and the illumination light may be projected so as to overlap in time and space, or may be projected while being switched at different timings.
  • the video projection unit 10 projects a video in which video light and illumination light are superimposed.
  • the illumination light source and the video light source may be the same or different.
  • the video projection unit 10 may have a light control function and a color control function so that the brightness or color component of the illumination light to be projected can be changed.
  • the imaging unit 20 is an imaging device such as a camera, for example, and images the video projected by the video projection unit 10. Specifically, as illustrated in FIG. 2, the imaging unit 20 captures an area including an image projected on the projection plane 2 as an imaging area. That is, an image (captured image) captured by the imaging unit 20 includes a video projected on the projection plane 2. In the present embodiment, the imaging area captured by the imaging unit 20 and the area where the image projected on the projection plane 2 is displayed are the same.
  • the imaging unit 20 includes, for example, an imaging element such as a CCD image sensor or a CMOS image sensor, an optical system, and the like.
  • the captured image (image data) captured by the imaging unit 20 is transmitted to the processing unit 40.
  • the illumination unit 30 is an illumination device that irradiates illumination light, and is, for example, a spotlight installed on a wall surface of a room.
  • the illumination unit 30 may be a ceiling or downlight installed on the ceiling of the room.
  • the lighting unit 30 illuminates the room. That is, the illumination light emitted from the illumination unit 30 is emitted into the room. Specifically, the illumination unit 30 irradiates the floor surface or the wall surface (including the projection surface 2) with illumination light.
  • the illumination unit 30 has a light source such as an LED or a lamp.
  • the illumination unit 30 has a light source different from the light source of the video projection unit 10. That is, the illumination unit 30 emits illumination light from a light source different from the light source of the video projection unit 10.
  • the illumination light of the illumination unit 30 is, for example, white light, but is not limited to white light.
  • the illumination unit 30 includes a red light source, a green light source, and a blue light source, and can perform RGB control. That is, the red light source, the green light source, and the blue light source can be controlled independently.
  • the red light source, the green light source, and the blue light source may be LED light sources or existing lamp light sources.
  • the illumination unit 30 has a light control function and a color control function, and is configured to control at least one of the brightness and color components of the illumination light.
  • the illumination unit 30 can increase or decrease the light output of illumination light based on a control signal from the illumination control unit 41 of the processing unit 40.
  • the illumination unit 30 can selectively strengthen or weaken at least one of the red component, the green component, and the blue component of the illumination light based on the control signal from the illumination control unit 41.
  • the illumination unit 30 configured in this way is controlled based on a control signal transmitted from the illumination control unit 41. Specifically, the illumination light of the illumination unit 30 is adjusted by a control signal from the illumination control unit 41 based on the analysis result of the captured image captured by the imaging unit 20. For example, the illumination unit 30 is dimmed and toned in accordance with a control signal from the illumination control unit 41 so that the illumination light matches the image projected from the image projection unit 10.
  • the processing unit 40 is a processing device having a function of performing various arithmetic processes.
  • the processing unit 40 includes an illumination control unit 41, a projection video output unit 42, a distortion correction unit 43, and a luminance correction unit 44.
  • the processing unit 40 also has a function of transmitting and receiving signals to and from the video projection unit 10, the imaging unit 20, and the illumination unit 30. That is, the processing unit 40 includes a communication unit such as an interface. Signal transmission / reception between the processing unit 40 and the video projection unit 10, the imaging unit 20, or the illumination unit 30 may be performed either by wire or wirelessly. As shown in FIG. 2, as the processing unit 40, for example, a personal computer (PC) can be used.
  • PC personal computer
  • the illumination control unit 41 controls the illumination unit 30.
  • the illumination control unit 41 controls the illumination light of the illumination unit 30 using the statistics regarding RGB of at least a partial region of the captured image captured by the imaging unit 20.
  • the illumination control unit 41 acquires a captured image (that is, an image including a projected video) obtained by capturing the video projected by the video projecting unit 10 with the imaging unit 20, analyzes the acquired captured image, and captures the captured image. The statistic regarding RGB is calculated. And the illumination control part 41 produces
  • a captured image that is, an image including a projected video
  • the statistic regarding RGB is calculated.
  • the illumination control part 41 produces
  • the illumination control unit 41 transmits the generated control signal to the illumination unit 30.
  • the illumination unit 30 is dimmed and toned by this control signal.
  • the illumination control unit 41 calculates the RGB average (RGB average value) of the entire captured image from the RGB component (RGB signal) of each pixel of the captured image captured by the imaging unit 20 as the RGB statistic (RGB statistic). And the illumination unit 30 is controlled so that the illumination light matches the RGB average.
  • the control signal transmitted from the illumination control unit 41 to the illumination unit 30 is a control signal such that the calculated RGB average matches the illumination light emitted from the illumination unit 30.
  • the illumination control unit 41 controls the illumination light of the illumination unit 30 by converting the statistics relating to RGB into the color temperature. For example, as described above, when the RGB average of the entire captured image is used as the statistics regarding RGB, the RGB statistics (RGB average) are converted into the color temperature by using a conversion table as shown in FIG. The illumination light of the unit 30 can be controlled.
  • FIG. 4 is a diagram illustrating an example of a conversion table between RGB statistics (RGB average) and color temperature in the illumination system 1 according to the embodiment.
  • This conversion table is stored in advance in the storage unit of the processing unit 40 as a lookup table, for example.
  • the RGB average and the color temperature are set in advance so as to correspond one-to-one, so that the illumination light of the illumination unit 30 is calculated by calculating the RGB average from the captured image.
  • the color temperature can be selected.
  • the data of the selected color temperature (K) is transmitted from the illumination control unit 41 to the illumination unit 30 as a control signal.
  • the color temperature is converted into each value of R, G, and B, and each of the red light source, the green light source, and the blue light source is controlled. Thereby, the illumination light of the illumination unit 30 can be irradiated at the color temperature selected by the selected illumination control unit 41.
  • the RGB average is used as the statistic regarding RGB.
  • the statistic regarding RGB is not limited to the RGB average, and may be a median value or a mode value of RGB.
  • RGB is the three primary colors of light, red (R: Red), green (G: Green), and blue (B: Blue).
  • the projection video output unit 42 outputs a video to be projected on the video projection unit 10 to the video projection unit 10.
  • the processing unit 40 may have a function of playing back and stopping the video output to the video projection unit 10.
  • the distortion correction unit 43 corrects distortion of the projected image.
  • the distortion correction unit 43 corrects, for example, geometric distortion (trapezoid distortion) of an image projected from the image projection unit 10.
  • the brightness correction unit 44 corrects the brightness of the projected image.
  • the luminance correction unit 44 corrects the luminance of the whole or a part of the video projected from the video projection unit 10.
  • the process part 40 may have a memory
  • the storage unit stores data processed or calculated by the processing unit 40 or stores video (video content) output from the projection video output unit 42 to the video projection unit 10.
  • the storage unit is also used when performing control processing by the processing unit 40, and stores data as needed as a work area when the illumination control unit 41 performs various data processing and calculations, for example.
  • the storage unit may store an application program for controlling the video projection unit 10, the imaging unit 20, and the illumination unit 30.
  • the processing unit 40 may include a video acquisition unit (video input unit) that acquires a video to be projected on the video projection unit 10.
  • the video acquisition unit acquires a video to be projected on the video projection unit 10 as an input video.
  • the input video may be acquired from a recording medium such as an SD card that is detachably attached to the processing unit 40, or from an external device via a communication line such as an HDMI (registered trademark) cable connected to the processing unit 40. It may be acquired, or may be acquired from an external device using wireless communication such as Wi-Fi.
  • the image projected by the image projection unit 10 is imaged by the imaging unit 20, and the illuminating unit is used using the statistics regarding RGB of at least a partial region of the captured image.
  • 30 illumination lights are controlled. Specifically, the illumination light of the illumination unit 30 is controlled by the illumination control unit 41 so as to match the image projected by the image projection unit 10.
  • the statistic regarding RGB in the captured image by the imaging unit 20 is converted into the color temperature, and the illumination light of the illumination unit 30 is controlled.
  • the illumination light of the illumination unit 30 can be controlled within the range of the normal illumination light color (white light). Therefore, it is possible to irradiate illumination light that matches the projected image while maintaining an illumination environment with illumination light of a natural color.
  • the illumination control unit 41 converts the RGB statistics into the color temperature using the conversion table shown in FIG. 4, but the present invention is not limited to this.
  • the illumination control unit 41 may control the illumination light of the illumination unit 30 by converting the statistics regarding RGB in the captured image by the imaging unit 20 into a color temperature orthogonal to the black body locus. That is, the RGB statistics may be linearly approximated to a black body locus and converted to color temperature.
  • the statistic relating to RGB can be converted into the color temperature using an xy chromaticity diagram.
  • the RGB statistics are RGB average
  • the RGB average calculated by the illumination control unit 41 is the point P in FIG. 5 and the black body locus in the xy chromaticity diagram from the point P.
  • the vertical line is dropped, and the illumination light of the illumination unit 30 can be controlled by the color temperature of the black body locus at the intersection with the vertical line.
  • RGB Red, Green, Blue
  • the illumination control unit 41 converts the RGB statistics in the captured image by the imaging unit 20 into a luminance signal and a color signal, and reversely converts the RGB signal into an RGB signal after weakening the color signal. You may control the illumination light of the illumination part 30.
  • the illumination unit 30 outputs each light output (emission intensity) of each of the red light source, the green light source, and the blue light source according to 8-bit data of R value, G value, and B value in the RGB signal received from the illumination control unit 41. ) To control.
  • RGB for example, RGB average can be used, but is not limited thereto.
  • the illumination light of the illumination unit 30 is controlled so as to approach the color of the normal illumination light (white light) by controlling the color signals by converting the RGB statistics into luminance signals and color signals. be able to.
  • RGB statistics are not converted into luminance signals and color signals and only the color signals are controlled, but both the converted luminance signals and color signals are controlled, and then converted back to RGB signals for illumination. 30 illumination lights may be controlled.
  • a distortion correction unit 43 that corrects the distortion of the projected video and a luminance correction unit 44 that corrects the luminance of the projected video are provided.
  • the distortion correction unit 43 and the luminance correction unit 44 are provided in the processing unit 40, but are not limited thereto.
  • the distortion correction unit 43 and the luminance correction unit 44 may be provided in the video projection unit 10.
  • the video acquisition unit that acquires the video to be projected on the video projection unit 10 is provided in the processing unit 40, but is not limited thereto.
  • the video acquisition unit may be directly provided in the video projection unit 10, and an input video may be directly input to the video projection unit 10.
  • the lighting system in the above embodiment may be used outdoors.
  • the illumination unit 30 is controlled using the RGB statistics in the captured image.
  • the present invention is not limited to this. That is, instead of using the RGB statistics in the captured image, the illumination light of the illumination unit 30 may be controlled to match the projected image using other characteristic parameters of the captured image.
  • each component in the processing unit 40 may be a circuit. These circuits may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • each process described as the operation of each component used in the illumination system can be executed by a computer.
  • a computer executes each of the above processes by executing a program using hardware resources such as a processor (CPU), a memory, and an input / output circuit.
  • each process is executed by the processor obtaining data to be processed from a memory or an input / output circuit or the like and calculating the data, or outputting the calculation result to the memory or the input / output circuit or the like.
  • the processing unit 40 is a notebook PC.
  • the lighting system may be realized as a lighting control method.
  • the steps in the lighting control method can be executed by a computer.
  • the program for executing each of the above processes or steps may be recorded on a non-transitory recording medium such as a computer-readable CD-ROM.
  • the computer reads the program from the non-temporary recording medium and executes the program to execute each process.
  • the method in the lighting system can be realized as a program that causes a computer to execute the method, or can be realized as a computer-readable recording medium that records such a program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

映像を投影する映像投影部(10)と、映像投影部(10)で投影した映像を撮像する撮像部(20)と、映像投影部(10)の光源とは異なる光源によって照明光を照射する照明部(30)と、撮像部(20)で撮像した撮像画像の少なくとも一部の領域のRGBに関する統計量を用いて照明部(30)の照明光を制御する照明制御部(41)と、を備える。

Description

照明システム及びプログラム
 本発明は、照明システム及びこの照明システムに用いられるプログラムに関する。
 LED(LED:Light Emitting Diode)及びレーザ(LD:Laser Diode)等の半導体発光素子は、長寿命及び省電力であることから様々な製品の光源として期待されている。
 近年、プロジェクタの光源がランプから半導体発光素子に置き換わりつつあり、プロジェクタの光源が長寿命化及び省電力化している。これに伴って、プロジェクタを映像投影用に用いるだけではなく照明用に利用することも検討されている。
 一方、照明装置についてもLED等の半導体発光素子が光源として用いられており、照明装置を照明用に用いるだけではなく映像投影用に用いることが検討されている。例えば、特許文献1には、照明機能と映像投影機能とを有する照明装置が開示されている。
 このようなことから、今後、店舗又は住宅等の照明業界にプロジェクタ等による映像投影技術の利用が拡大すると考えられる。
特開2006-127845号公報
 一般的に、プロジェクタを会議室等の部屋で使用する場合、投影映像を見やすくするために、天井又は壁等に設置された照明装置を消灯させた状況にしてスクリーン等の投影面に映像を投影する。
 一方、店舗又は住宅においてプロジェクタを使用する場合、これまでの会議室等でプロジェクタを使用する場合とは異なり、照明装置が点灯した状況(照明環境下)で、壁面、床面又は机面等に映像が投影されると考えられる。
 このため、店舗又は住宅におけるプロジェクタの利用シーンでは、照明装置は、壁面、床面又は机面等に投影される映像に合わせた照明光を照射することが求められる。
 本発明は、このような課題を解決するためになされたものであり、投影する映像に合わせた照明光を照射することができる照明システム及びプログラムを提供することを目的とする。
 上記目的を達成するために、本発明に係る照明システムの一態様は、映像を投影する映像投影部と、前記映像投影部で投影した映像を撮像する撮像部と、前記映像投影部の光源とは異なる光源によって照明光を照射する照明部と、前記撮像部で撮像した撮像画像の少なくとも一部の領域のRGBに関する統計量を用いて前記照明光を制御する照明制御部と、を備える、照明システムである。
 なお、本発明は、コンピュータを上記照明システムとして機能させるためのプログラムとして実現したり、そのプログラムを格納したコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
 投影する映像に合わせた照明光を照射することができる。
図1は、実施の形態に係る照明システムの具体的な適用例を模式的に示す図である。 図2は、実施の形態に係る照明システムの概略構成と同照明システムによる撮像画像の一例を示す図である。 図3は、実施の形態に係る照明システムの構成を示すブロック図である。 図4は、実施の形態に係る照明システムにおけるRGB統計量と色温度との変換テーブルの一例を示す図である。 図5は、他の実施の形態に係る照明システムにおけるRGB統計量と色温度との変換方法を説明するための図である。
 以下、本発明の実施の形態について説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって本発明を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、各図は、模式図であり、必ずしも厳密に図示されたものではない。なお、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
 (実施の形態)
 実施の形態に係る照明システム1について、図1~図3を用いて説明する。図1は、実施の形態に係る照明システム1の具体的な適用例を模式的に示す図である。図2は、同照明システム1の概略構成と同照明システム1による撮像画像の一例を示す図である。図3は、同照明システム1の構成を示すブロック図である。
 図1~図3に示すように、照明システム1は、映像投影部10と、撮像部20と、照明部30と、処理部40とを備える。
 本実施の形態では、照明システム1を店舗又は住宅等の屋内で利用する場合について説明する。図1に示すように、映像投影部10、撮像部20及び照明部30は、例えば、部屋の中に設置される。具体的には、映像投影部10及び撮像部20は、例えば部屋の天井に設置され、照明部30は、部屋の壁面に設置される。ただし、映像投影部10、撮像部20及び照明部30の設置箇所は、これに限るものではない。例えば、照明部30は、天井に設置されていてもよい。また、映像投影部10及び撮像部20は、壁面又は床面に設置されていてもよい。
 なお、映像投影部10と撮像部20とは異なる位置に設置されているので映像投影部10の視点と撮像部20の視点とは異なっているが、映像投影部10と撮像部20とは同じ位置に設置されていてもよい。この場合、映像投影部10と撮像部20とが1つの装置で構成されて同一視点になっていてもよい。
 映像投影部10は、投影面2に映像を投影する映像投影装置である。本実施の形態において、映像投影部10は、照明部30が点灯した状況(照明環境下)において映像を投影する。つまり、映像投影部10からの映像は、明るい環境下で投影面2に投影される。
 映像投影部10からの映像が投影される投影面2は、平面及び立体面のいずれであってもよく、あらゆる構造物又は動植物を含む。図1及び図2に示すように、本実施の形態における投影面2は、部屋の壁面である。投影面2には、例えば、映像投影部10によってサッカー中継の映像が投影されている。なお、投影面2は、壁面に限るものではなく、床面、机面又はスクリーン等であってもよい。
 映像投影部10は、半導体レーザやランプ等の光源、レンズやミラー等の光学系、液晶パネル等の表示素子、及び、投射レンズ等を有する。例えば、投影面2に投影するための映像が処理部40から映像投影部10に入力されると、映像投影部10の投射レンズから投影面2に向かって映像が投射される。なお、本明細書において、映像(画像)とは、静止画像及び動画像のいずれであってもよい。
 本実施の形態において、映像投影部10は、映像を投影する機能を有するだけではなく、投影面2に照明光を照射する機能も有する。つまり、映像投影部10は、照明光として映像(照明パターン)を投影することができる。
 このように、映像投影部10は、映像光(映像)及び照明光の両方の光を投射する光投射装置である。これにより、映像投影部10は、映像演出を行うだけではなく、照明演出も行うこともできる。この場合、映像光と照明光とは、時間的にも空間的にも重なるように投射されていてもよいし、異なるタイミングで切り替えて投射されていてもよい。前者の場合、例えば、映像投影部10からは映像光と照明光とが重畳された映像が投射される。なお、映像投影部10において、照明光用の光源と映像光用の光源とは同じであってもよいし異なっていてもよい。また、映像投影部10は、投射する照明光の明るさ又は色成分を変更できるように調光機能及び調色機能を有していてもよい。
 撮像部20は、例えばカメラ等の撮像装置であり、映像投影部10で投影した映像を撮像する。具体的には、図2に示すように、撮像部20は、投影面2に投影された映像を含む領域を撮像領域として撮像する。つまり、撮像部20で撮像された画像(撮像画像)には、投影面2に投影された映像が含まれる。本実施の形態において、撮像部20で撮像された撮像領域と投影面2に投影された映像が映し出された領域とは一致している。
 撮像部20は、例えば、CCDイメージセンサ又はCMOSイメージセンサ等の撮像素子と光学系等とを有する。撮像部20で撮像された撮像画像(画像データ)は処理部40に送信される。
 照明部30は、照明光を照射する照明装置であり、例えば、部屋の壁面に設置されたスポットライトである。なお、照明部30は、部屋の天井に設置されたシーリング又はダウンライト等であってもよい。
 照明部30は、部屋内を照明する。つまり、照明部30から照射される照明光は、部屋内に照射される。具体的には、照明部30は、床面又は壁面(投影面2も含む)等に照明光を照射する。
 照明部30は、LEDやランプ等の光源を有する。照明部30は、映像投影部10の光源とは異なる光源を有する。つまり、照明部30は、映像投影部10の光源とは異なる光源によって照明光を照射する。照明部30の照明光は、例えば白色光であるが、白色光に限るものではない。
 本実施の形態において、照明部30は、赤色光源、緑色光源及び青色光源を有しており、RGB制御可能である。つまり、赤色光源、緑色光源及び青色光源は、独立して制御することができる。赤色光源、緑色光源及び青色光源は、LED光源であってもよいし、既存のランプ光源であってもよい。
 また、照明部30は、調光機能及び調色機能を有し、照明光の明るさ及び色成分の少なくも何れかを一方を制御することができるように構成されている。例えば、照明部30は、処理部40の照明制御部41からの制御信号に基づいて、照明光の光出力を大きくしたり小さくしたりすることができる。また、照明部30は、照明制御部41からの制御信号に基づいて、照明光の赤色成分、緑色成分及び青色成分の少なくとも一つを選択的に強くしたり弱くしたりできる。
 このように構成される照明部30は、照明制御部41から送信される制御信号をもとに制御される。具体的には、照明部30の照明光は、撮像部20で撮像された撮像画像の分析結果に基づく照明制御部41からの制御信号によって調整される。例えば、照明部30は、照明制御部41からの制御信号によって、照明光が映像投影部10から投影される映像と合うように調光制御及び調色制御される。
 処理部40は、各種演算処理を行う機能を有する処理装置である。処理部40は、照明制御部41と、投影映像出力部42と、歪補正部43と、輝度補正部44とを有する。
 また、処理部40は、映像投影部10、撮像部20及び照明部30に対して信号の送受信を行う機能も有する。つまり、処理部40は、インターフェース等の通信部を有する。処理部40と、映像投影部10、撮像部20又は照明部30との信号の送受信は、有線及び無線のいずれで行ってもよい。図2に示すように、処理部40としては、例えばパーソナルコンピュータ(PC)を用いることができる。
 照明制御部41は、照明部30を制御する。照明制御部41は、撮像部20で撮像した撮像画像の少なくとも一部の領域のRGBに関する統計量を用いて照明部30の照明光を制御する。
 具体的には、照明制御部41は、映像投影部10で投影した映像を撮像部20で撮像した撮像画像(つまり投影映像を含む画像)を取得し、取得した撮像画像を分析して撮像画像のRGBに関する統計量を算出する。そして、照明制御部41は、このRGBに関する統計量を用いて、照明部30の照明光が映像投影部10で投影する映像に合うような制御信号を生成する。照明制御部41は、生成した制御信号を照明部30に送信する。照明部30は、この制御信号によって調光制御及び調色制御される。
 例えば、照明制御部41は、RGBに関する統計量(RGB統計量)として、撮像部20で撮像した撮像画像の各画素のRGB成分(RGB信号)から撮像画像全体のRGB平均(RGBの平均値)を算出し、照明光がこのRGB平均と合うように照明部30を制御する。この場合、照明制御部41から照明部30に送信される制御信号は、算出したRGB平均と照明部30が出射する照明光とが合うような制御信号である。
 本実施の形態において、照明制御部41は、RGBに関する統計量を色温度に変換して照明部30の照明光を制御している。例えば、上述のように、RGBに関する統計量として撮像画像全体のRGB平均を用いる場合、図4に示すような変換テーブルを用いることでRGBに関する統計量(RGB平均)を色温度に変換して照明部30の照明光を制御することができる。
 図4は、実施の形態に係る照明システム1におけるRGB統計量(RGB平均)と色温度との変換テーブルの一例を示す図である。この変換テーブルは、例えば、ルックアップテーブルとして、処理部40の記憶部に予め記憶されている。図4に示すように、変換テーブルでは、RGB平均と色温度とが1対1に対応するように予め設定されているので、撮像画像からRGB平均を算出することで、照明部30の照明光の色温度を選定することができる。
 選定された色温度(K)のデータは、制御信号として照明制御部41から照明部30に送信される。色温度のデータを受信した照明部30では、色温度をR、G、Bの各々の値に変換した上で、赤色光源、緑色光源及び青色光源の各々が制御される。これにより、選定された照明制御部41で選定された色温度で照明部30の照明光を照射させることができる。
 なお、本実施の形態では、RGBに関する統計量としてRGB平均を用いたが、RGBに関する統計量は、RGB平均に限るものではなく、RGBの中央値又は最頻値等であってもよい。また、RGBとは、光の三原色である、赤(R:Red)、緑(G:Green)、青(B:Blue)のことである。
 投影映像出力部42は、映像投影部10に投影させるための映像を映像投影部10に出力する。なお、処理部40は、映像投影部10に出力した映像を再生及び停止する機能を有していてもよい。
 歪補正部43は、投影する映像の歪を補正する。歪補正部43は、例えば、映像投影部10から投影する映像の幾何学的な歪(台形歪)を補正する。
 輝度補正部44は、投影する映像の輝度を補正する。輝度補正部44は、例えば、映像投影部10から投影する映像の全体又は一部の輝度を補正する。
 なお、処理部40は、記憶部(メモリ)を有していてもよい。記憶部は、処理部40で処理又は算出したデータを記憶したり、投影映像出力部42から映像投影部10に出力する映像(映像コンテンツ)を記憶したりする。また、記憶部は、処理部40による制御処理を行う際にも用いられ、例えば、照明制御部41等が各種データ処理や演算を行う際の作業領域として随時データを記憶する。また、記憶部には、映像投影部10、撮像部20及び照明部30を制御するためのアプリケーションプログラム等が記憶されていてもよい。
 また、処理部40は、映像投影部10に投影させるための映像を取得する映像取得部(映像入力部)を有していてもよい。映像取得部は、映像投影部10に投影させるための映像を入力映像として取得する。入力映像は、処理部40に着脱可能に取り付けられるSDカード等の記録媒体から取得してもよいし、処理部40に接続されたHDMI(登録商標)ケーブル等の通信線を介して外部機器から取得してもよいし、Wi-Fi等の無線通信を利用して外部機器から取得してもよい。
 以上、本実施の形態に係る照明システム1によれば、映像投影部10で投影した映像を撮像部20で撮像し、その撮像画像の少なくとも一部の領域のRGBに関する統計量を用いて照明部30の照明光を制御している。具体的には、映像投影部10で投影される映像と合うように、照明制御部41によって照明部30の照明光が制御されている。
 これにより、照明部30が点灯した状況(照明環境下)でも、投影する映像に合わせた照明光を照射することができる。
 また、本実施の形態では、撮像部20による撮像画像におけるRGBに関する統計量を色温度に変換して照明部30の照明光を制御している。
 これにより、通常の照明光の色(白色光)の範囲内で照明部30の照明光を制御することができる。したがって、自然な色の照明光での照明環境を維持したまま、投影する映像に合わせた照明光を照射することができる。
 また、本実施の形態では、照明制御部41は、図4に示す変換テーブルを用いてRGBに関する統計量を色温度に変換しているが、これに限るものではない。
 例えば、照明制御部41は、撮像部20による撮像画像におけるRGBに関する統計量を黒体軌跡に直交する色温度に変換して照明部30の照明光を制御してもよい。つまり、RGBに関する統計量を黒体軌跡に直線近似して色温度に変換してもよい。
 この場合、図5に示すように、例えばxy色度図を用いてRGBに関する統計量を色温度に変換することができる。具体的には、RGBに関する統計量がRGB平均としたときに、照明制御部41で算出されたRGB平均が図5における点Pである場合と、点Pからxy色度図における黒体軌跡に垂線を降ろし、その垂線との交点における黒体軌跡の色温度によって照明部30の照明光を制御することができる。
 このように、RGBに関する統計量を黒体軌跡に直交する色温度に変換することで、比較的に速い処理速度で色温度に変換することができる。これにより、照明部30の照明光を迅速に制御することができる。なお、RGBに関する統計量としては、例えば、RGB平均を用いることができるが、これに限るものではない。
 あるいは、本実施の形態において、照明制御部41は、撮像部20による撮像画像におけるRGBに関する統計量を輝度信号と色信号とに変換し、色信号を弱めた上でRGB信号に逆変換して照明部30の照明光を制御してもよい。
 この場合、照明部30は、照明制御部41から受信したRGB信号におけるR値、G値、B値の各々8ビットのデータに従って、赤色光源、緑色光源及び青色光源の各々の光出力(発光強度)を制御する。なお、RGBに関する統計量としては、例えば、RGB平均を用いることができるが、これに限るものではない。
 このように、RGBに関する統計量を輝度信号と色信号とに変換して色信号を制御することによって、通常の照明光の色(白色光)に近づくように照明部30の照明光を制御することができる。
 なお、RGBに関する統計量を輝度信号と色信号とに変換して色信号のみを制御するのではなく、変換した輝度信号及び色信号の両方を制御した上でRGB信号に逆変換して照明部30の照明光を制御してもよい。
 また、本実施の形態では、投影する映像の歪を補正する歪補正部43と、投影する映像の輝度を補正する輝度補正部44とを備えている。
 これにより、映像投影部10で投影する映像に対して歪の補正及び輝度の補正を行うことができるので、一層見やすい映像を投影することができる。
 (変形例)
 以上、本発明に係る照明システムについて、実施の形態に基づいて説明したが、本発明は、上記の実施の形態に限定されるものではない。
 例えば、上記実施の形態において、歪補正部43及び輝度補正部44は、処理部40に設けられていたが、これに限るものではない。歪補正部43及び輝度補正部44は、映像投影部10に設けられていてもよい。
 また、上記実施の形態において、映像投影部10に投影させるための映像を取得する映像取得部は、処理部40に設けられていたが、これに限るものではない。映像取得部は、映像投影部10に直接設けられていて、映像投影部10に入力映像が直接入力されていてもよい。
 また、上記実施の形態では、照明システムを部屋等の屋内で利用する場合について説明したが、これに限るものではない。例えば、上記実施の形態における照明システムを、屋外で利用してもよい。
 また、上記実施の形態では、撮像画像におけるRGBに関する統計量を用いて照明部30を制御したが、これに限らない。つまり、撮像画像におけるRGBに関する統計量を用いるのではなく、撮像画像の他の特性パラメータを用いて投影する映像に合うように照明部30の照明光を制御するようにしてもよい。
 その他、上記の実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で上記の実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
 また、上記の説明において、処理部40における各構成は、回路であってもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 また、コンピュータを上記照明システムとして機能させてもよい。この場合、上記処理部40等、照明システムで用いられる各構成要素の動作として説明した各処理は、コンピュータによって実行することができる。例えば、コンピュータが、プロセッサ(CPU)、メモリ及び入出力回路等のハードウェア資源を用いてプログラムを実行することによって、上記の各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリ又は入出力回路等から取得してデータを演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各処理を実行する。一例として、処理部40はノートPCである。
 また、上記照明システムは、照明制御方法として実現してもよい。この場合、照明制御方法におけるステップは、コンピュータによって実行することができる。
 また、上記の各処理又はステップを実行するためのプログラムは、コンピュータ読み取り可能なCD-ROM等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。例えば、上記照明システムにおける方法をコンピュータに実行させるプログラムとして実現したり、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
 1 照明システム
 2 投影面
 10 映像投影部
 20 撮像部
 30 照明部
 41 照明制御部
 43 歪補正部
 44 輝度補正部

Claims (6)

  1.  映像を投影する映像投影部と、
     前記映像投影部で投影した映像を撮像する撮像部と、
     前記映像投影部の光源とは異なる光源によって照明光を照射する照明部と、
     前記撮像部で撮像した撮像画像の少なくとも一部の領域のRGBに関する統計量を用いて前記照明光を制御する照明制御部と、を備える、
     照明システム。
  2.  前記照明制御部は、前記RGBに関する統計量を色温度に変換して前記照明光を制御する、
     請求項1記載の照明システム。
  3.  前記照明制御部は、前記RGBに関する統計量を黒体軌跡に直交する色温度に変換して前記照明光を制御する、
     請求項2記載の照明システム。
  4.  前記照明制御部は、前記RGBに関する統計量を輝度信号と色信号とに変換し、色信号を弱めた上でRGB信号に逆変換して前記照明光を制御する、
     請求項1記載の照明システム。
  5.  投影する映像の歪を補正する歪補正部と、
     投影する映像の輝度を補正する輝度補正部とを備える、
     請求項1乃至4の何れか1項に記載の照明システム。
  6.  コンピュータを、請求項1乃至5の何れか1項に記載の照明システムとして機能させるためのプログラム。
PCT/JP2016/003199 2015-08-26 2016-07-05 照明システム及びプログラム WO2017033385A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017536191A JPWO2017033385A1 (ja) 2015-08-26 2016-07-05 照明システム及びプログラム
US15/747,289 US20180220510A1 (en) 2015-08-26 2016-07-05 Lighting system and program
EP16838737.1A EP3344016A4 (en) 2015-08-26 2016-07-05 Illumination system and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015167154 2015-08-26
JP2015-167154 2015-08-26

Publications (1)

Publication Number Publication Date
WO2017033385A1 true WO2017033385A1 (ja) 2017-03-02

Family

ID=58099756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003199 WO2017033385A1 (ja) 2015-08-26 2016-07-05 照明システム及びプログラム

Country Status (4)

Country Link
US (1) US20180220510A1 (ja)
EP (1) EP3344016A4 (ja)
JP (1) JPWO2017033385A1 (ja)
WO (1) WO2017033385A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022538A (ja) * 2019-07-30 2021-02-18 パナソニックIpマネジメント株式会社 照明システム、及び、制御装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6897191B2 (ja) * 2017-03-17 2021-06-30 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
JP7099497B2 (ja) * 2020-07-28 2022-07-12 セイコーエプソン株式会社 画像生成方法、画像生成システム、及びプログラム
CN112954854B (zh) * 2021-03-09 2023-04-07 生迪智慧科技有限公司 环境灯控制方法、装置、设备及环境灯系统
CN113795071B (zh) * 2021-11-11 2022-03-08 珠海视熙科技有限公司 一种氛围灯控制方法、装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) * 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
JP2004289503A (ja) * 2003-03-24 2004-10-14 Sharp Corp 液晶プロジェクタ装置
WO2007122987A1 (ja) * 2006-04-19 2007-11-01 Sharp Kabushiki Kaisha データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2008277092A (ja) * 2007-04-27 2008-11-13 Toshiba Lighting & Technology Corp 照明装置
JP2014032750A (ja) * 2012-08-01 2014-02-20 Seiko Epson Corp 照明システム、照明方法および照明プログラム
JP2015097168A (ja) * 2013-11-15 2015-05-21 パナソニックIpマネジメント株式会社 照明制御システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638135A (en) * 1995-04-06 1997-06-10 Ricoh Company, Ltd. Digital color encoder with improved circuitry
KR100612518B1 (ko) * 2005-03-18 2006-08-14 엘지전자 주식회사 영상 처리속도와 화질을 향상시키기 위한 플라스마디스플레이 패널의 영상 처리 회로 및 그 방법.
US8130184B2 (en) * 2005-10-21 2012-03-06 Hewlett-Packard Development Company L. P. Image pixel transformation
US8690362B2 (en) * 2007-03-13 2014-04-08 Koninklijke Philips N.V. Method of controlling the lighting of a room in accordance with an image projected onto a projection surface
JP2015127680A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 計測装置、システムおよびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) * 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
JP2004289503A (ja) * 2003-03-24 2004-10-14 Sharp Corp 液晶プロジェクタ装置
WO2007122987A1 (ja) * 2006-04-19 2007-11-01 Sharp Kabushiki Kaisha データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2008277092A (ja) * 2007-04-27 2008-11-13 Toshiba Lighting & Technology Corp 照明装置
JP2014032750A (ja) * 2012-08-01 2014-02-20 Seiko Epson Corp 照明システム、照明方法および照明プログラム
JP2015097168A (ja) * 2013-11-15 2015-05-21 パナソニックIpマネジメント株式会社 照明制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3344016A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022538A (ja) * 2019-07-30 2021-02-18 パナソニックIpマネジメント株式会社 照明システム、及び、制御装置
JP7285481B2 (ja) 2019-07-30 2023-06-02 パナソニックIpマネジメント株式会社 照明システム、及び、制御装置

Also Published As

Publication number Publication date
EP3344016A1 (en) 2018-07-04
US20180220510A1 (en) 2018-08-02
EP3344016A4 (en) 2018-08-01
JPWO2017033385A1 (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2017033385A1 (ja) 照明システム及びプログラム
US8957851B2 (en) Projection apparatus, projection control method and storage medium storing program
TW201711448A (zh) 相機色溫補償系統及智慧終端機
JP2007094108A (ja) プロジェクタ装置、及びその光源制御方法
US10165239B2 (en) Digital theatrical lighting fixture
US10225446B2 (en) Image pickup system and light source apparatus
WO2017033384A1 (ja) 照明システム及びプログラム
JP2016133799A (ja) 照明システム
JP2012005054A5 (ja)
JP2008187362A (ja) プロジェクタおよび投写画像調整方法
WO2017033386A1 (ja) 照明システム及びプログラム
JP2012198460A (ja) プロジェクター、及び、プロジェクターの制御方法
JP6390885B2 (ja) 照明演出システム及びプログラム
US20200041082A1 (en) Adaptive Ambiance Lighting
JP6459620B2 (ja) 受光ユニット、発光制御方法及びプログラム
WO2015136644A1 (ja) 発光装置、撮像装置、及びプログラム
KR20110083236A (ko) 조명 장치 및 이를 이용한 조명 제어 방법
JP2005309134A (ja) 映像表示装置及びその光源ユニット
JP2019066799A5 (ja)
TWI424248B (zh) 相機
JP2020136152A (ja) 照明演出装置および照明演出方法
JP7285481B2 (ja) 照明システム、及び、制御装置
JP2016133798A (ja) 照明システム
US20210378076A1 (en) Creating a combined image by sequentially turning on light sources
JP4333643B2 (ja) プレゼンテーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16838737

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017536191

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15747289

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE