WO2013136822A1 - 情報処理装置、画像センサ装置及びプログラム - Google Patents

情報処理装置、画像センサ装置及びプログラム Download PDF

Info

Publication number
WO2013136822A1
WO2013136822A1 PCT/JP2013/050126 JP2013050126W WO2013136822A1 WO 2013136822 A1 WO2013136822 A1 WO 2013136822A1 JP 2013050126 W JP2013050126 W JP 2013050126W WO 2013136822 A1 WO2013136822 A1 WO 2013136822A1
Authority
WO
WIPO (PCT)
Prior art keywords
illuminance
image
captured
luminance
estimation model
Prior art date
Application number
PCT/JP2013/050126
Other languages
English (en)
French (fr)
Inventor
和美 長田
榎原 孝明
馬場 賢二
周平 野田
西村 信孝
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to EP13730787.2A priority Critical patent/EP2827683A4/en
Priority to SG2013051818A priority patent/SG193230A1/en
Priority to US13/820,690 priority patent/US9137449B2/en
Priority to CN201380000456.1A priority patent/CN103444267B/zh
Publication of WO2013136822A1 publication Critical patent/WO2013136822A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Definitions

  • Embodiments described herein relate generally to an information processing device, an image sensor device, and a program.
  • the information processing apparatus includes holding means, reference image acquisition means, reference illuminance acquisition means, and illuminance estimation model generation means.
  • the holding means holds a basic model representing the relationship between the plurality of illuminances and the brightness of the captured image obtained for each subject condition obtained when the subject is imaged under a plurality of subject conditions while changing the illuminance conditions.
  • the reference image acquisition unit acquires a captured image captured in the target space for illuminance estimation as a reference image.
  • the reference illuminance acquisition unit acquires the illuminance of the target space when the reference image is captured as the reference illuminance.
  • the illuminance estimation model generation means Based on the basic model, the illuminance estimation model generation means generates an illuminance estimation model that represents the relationship between the illuminance and the luminance in the target space from a data value represented by a set of the reference illuminance and the luminance of the reference image.
  • FIG. 1 is a diagram illustrating a configuration example of an illuminance estimation model setting system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an installation example of the image sensor illustrated in FIG. 1.
  • FIG. 3 is a diagram schematically illustrating a configuration example of the image sensor illustrated in FIG. 1.
  • FIG. 4 is a diagram schematically illustrating a configuration example of the illuminance estimation model generation device illustrated in FIG. 1.
  • FIG. 5 is a diagram schematically showing an example of the basic model shown in FIG.
  • FIG. 6 is a flowchart illustrating an example of the illuminance estimation model generation process according to the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of the basic model generation process illustrated in FIG. FIG.
  • FIG. 8 is a diagram schematically illustrating an example of an image captured by the image sensor illustrated in FIG.
  • FIG. 9 is a diagram schematically illustrating the configuration of the image sensor according to the second embodiment.
  • FIG. 10 is a flowchart illustrating an example of a procedure of illuminance estimation processing according to the second embodiment.
  • FIG. 11 is a diagram illustrating a configuration example of an image sensor system according to the third embodiment.
  • FIG. 12 is a diagram schematically illustrating a configuration example of the illumination control apparatus illustrated in FIG. 11.
  • FIG. 13 is a diagram illustrating an example of a data configuration of the sensor management table illustrated in FIG.
  • FIG. 14 is a flowchart illustrating an example of illumination control processing according to the third embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of an illuminance estimation model setting system 1 according to the first embodiment.
  • the illuminance estimation model setting system 1 includes an image sensor 10 and an illuminance estimation model generation device 20.
  • the image sensor 10 and the illuminance estimation model generation apparatus 20 are detachably connected to the line N and communicate via the line N.
  • the number of image sensors 10 connected to the line N is not particularly limited.
  • each device of the illuminance estimation model setting system 1 will be described.
  • the image sensor 10 has an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and senses illuminance derived based on an image or video obtained by imaging (hereinafter referred to as a captured image). Output as a result.
  • the image sensor 10 is installed on a ceiling portion of a building and images the floor direction (directly below).
  • FIG. 2 is a diagram showing an installation example of the image sensor 10.
  • the image sensor 10 is installed on the ceiling.
  • lighting devices 30 (30a to 30f) for illuminating the inside of the office are installed on the ceiling portion.
  • 2 shows an example in which two desks D are arranged side by side in the office, but the indoor layout is not limited to this example.
  • FIG. 3 is a diagram schematically illustrating a configuration example of the image sensor 10.
  • the image sensor 10 includes a camera unit 11, a communication unit 12, a storage unit 13, and a control unit 14.
  • the camera unit 11 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and outputs a captured image to the control unit 14.
  • the communication unit 12 is a communication interface that can be detachably connected to the line N, and exchanges various information with an external device (such as the illuminance estimation model generation apparatus 20) via the line N.
  • the storage unit 13 stores various programs and setting information related to the control of the image sensor 10.
  • Examples of the setting information stored in the storage unit 13 include an illuminance estimation model 131 in which a relationship between the luminance obtained from the captured image and the illuminance estimated from the luminance is determined.
  • the illuminance estimation model 131 is setting information set by the illuminance estimation model generation device 20, and the illuminance estimation unit 141 described later estimates illuminance from the captured image using the illuminance estimation model 131. Details of the illuminance estimation model 131 will be described later.
  • the control unit 14 has a computer configuration such as a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory) (none of which are shown), and a program stored in the ROM or the storage unit 13.
  • the operation of the image sensor 10 is controlled in an integrated manner.
  • the control part 14 implement
  • the illuminance estimation unit 141 estimates the illuminance of the region that is the subject from the captured image captured by the camera unit 11 based on the illuminance estimation model 131 stored in the storage unit 13. Specifically, the illuminance estimation unit 141 acquires the luminance from the captured image, and derives (estimates) the illuminance corresponding to the luminance based on the illuminance estimation model 131.
  • the acquisition of the luminance from the captured image is performed at the pixel level, but the region to be acquired is not particularly limited.
  • the average brightness of each pixel constituting the captured image may be acquired as the brightness of the captured image.
  • the luminance may be acquired for each pixel constituting the captured image or for each divided region obtained by dividing the captured image into a plurality of regions.
  • the illuminance estimation model 131 is set in association with the arrangement position of each pixel or each divided region, the illuminance is derived for each pixel or each divided region using the corresponding illuminance estimation model 131.
  • the illuminance derived from each pixel or each divided region may be output together with the corresponding arrangement position, or an average of these illuminances may be output.
  • the person detection unit 142 detects the presence / absence of a person, the content of a person's action, the amount of activity, the number of people, and the like in the region that is the subject by analyzing the captured image captured by the camera unit 11. It should be noted that a known technique is used as a method for detecting the presence / absence of a person from a captured image.
  • the sensing result output unit 143 outputs the illuminance estimated by the illuminance estimation unit 141 and the detection result of the human detection unit 142 to the external device through the communication unit 12 as the sensing result of the own device, or saves it in the storage unit 13.
  • the illuminance output as the sensing result may be a value as it is output from the illuminance estimation unit 141, or may be a value divided in stages (levels) according to the degree of illuminance.
  • FIG. 4 is a diagram schematically illustrating a configuration example of the illuminance estimation model generation device 20.
  • the illuminance estimation model generation device 20 is an information processing device such as a PC (Personal Computer) or a portable communication terminal, and as shown in the figure, an input unit 21, a display unit 22, a communication unit 23, a storage unit 24, and a control unit 25.
  • PC Personal Computer
  • the input unit 21 has an input device such as a keyboard and a pointing device, and outputs the operation content received from the operator of the illuminance estimation model generation apparatus 20 to the control unit 25.
  • the display unit 22 includes a display device such as a liquid crystal display panel, and displays various types of information in accordance with instructions from the control unit 25.
  • the communication unit 23 is a communication interface that can be detachably connected to the line N, and exchanges various types of information with an external device (such as the image sensor 10) via the line N.
  • the storage unit 24 is an auxiliary storage device such as an HDD or an SSD, and stores various programs and setting information related to the control of the illuminance estimation model generation device 20.
  • the setting information stored in the storage unit 24 includes a basic model 241 that is a basis for generating the illuminance estimation model 131.
  • the basic model 241 is information generated based on captured images captured under a plurality of subject conditions and imaging conditions at the time of capturing, and is a basis for generating the illuminance estimation model 131.
  • the subject condition is, for example, the space to be the subject, the reflectance of the object, or the like.
  • the imaging condition is, for example, an illuminance condition representing the illuminance of the subject space at the time of imaging, and a camera parameter of the imaging device (such as the image sensor 10) at the time of imaging.
  • the basic model 241 is generated by the following process. First, the model space is imaged by changing the illuminance condition under each model space having different subject conditions (reflectance) such as black or white color of the wall or floor. Next, a set of the illuminance under each illuminance condition obtained by imaging and the luminance of the captured image captured under the illuminance condition is generated as a data value for each subject condition. Then, the generated data values for each subject condition are plotted on a coordinate plane, and a regression equation that approximates the distribution of the data values is generated for each subject condition as a basic model 241.
  • subject conditions reflectance
  • FIG. 5 is a diagram schematically showing an example of the basic model 241 generated by the above process.
  • the vertical axis represents the illuminance of the model space
  • the horizontal axis represents the brightness of the captured image.
  • the graph in the figure corresponds to the basic model 241.
  • the basic model 241a is a regression equation of a set of illuminance and luminance obtained in a model space having a lower reflectance than the basic model 241b (for example,
  • the basic model 241a is a black model space, and the basic model 241b is a white model space).
  • the basic model 241 (241a, 241b) has a relationship between a plurality of illuminances and brightness of the captured image obtained when the model space is imaged by changing the illuminance conditions under a plurality of subject conditions. This is shown for each subject condition.
  • model space to be imaged may be a space where the image sensor 10 is actually installed, or a space different from the space.
  • the imaging device which images the model space using the image sensor 10 or the same kind of image sensor as the image sensor 10 it is not limited to this.
  • the luminance from the captured image is acquired at the pixel level, but the area to be acquired is not particularly limited.
  • the luminance may be acquired for each pixel constituting the captured image or for each divided region obtained by dividing the captured image into a plurality of regions.
  • the basic model 241 is generated for each pixel or divided area, the basic model 241 is held in association with the arrangement position of the corresponding pixel or divided area.
  • the illuminance condition is used as the imaging condition.
  • the camera parameter for example, shutter speed, etc.
  • a basic model 241 composed of three or more elements may be generated by combining the conditions when the value related to exposure correction) is changed.
  • control unit 25 has a computer configuration such as a CPU, a ROM, and a RAM (all of which are not shown), and cooperates with a program stored in the ROM or the storage unit 24, thereby illuminance estimation model.
  • the operation of the generation device 20 is comprehensively controlled.
  • control unit 25 cooperates with a program stored in the ROM or the storage unit 24 to generate a basic model generation unit 251, a reference image acquisition unit 252, a reference illuminance acquisition unit 253, an illuminance estimation model generation unit 254, and an illuminance estimation.
  • the model setting unit 255 is realized as a functional unit.
  • the basic model generation unit 251 changes the above-described basic model 241 based on the captured image obtained when the model space is imaged by changing the imaging condition (illuminance condition) under a plurality of subject conditions (reflectance, etc.). Generated and stored in the storage unit 24. In addition, when the basic model 241 is stored in the storage unit 24 in advance, the basic model generation unit 251 is not necessary, and thus the basic model generation unit 251 may be removed from the illuminance estimation model generation device 20.
  • the reference image acquisition unit 252 acquires, as a reference image, a captured image captured by the setting target sensor from the image sensor 10 (hereinafter referred to as a setting target sensor) that is a setting target of the illuminance estimation model 131.
  • a setting target sensor a captured image captured by the setting target sensor from the image sensor 10 (hereinafter referred to as a setting target sensor) that is a setting target of the illuminance estimation model 131.
  • the reference image acquisition unit 252 acquires a captured image in the office captured by the image sensor 10 as a reference image.
  • the timing for acquiring the reference image and the state of the surrounding environment at the time of acquisition are not particularly limited, but it is preferable to acquire the reference image under the environmental conditions used as a reference for illuminance estimation.
  • the environmental condition used as a reference for illuminance estimation is, for example, a state in which all the illumination in the room where the image sensor 10 is provided (for example, the lighting device 30 shown in FIG. 2) or a predetermined time (for example, 12:00). ) With all lights turned off.
  • the reference illuminance acquisition unit 253 acquires, as the reference illuminance, the illuminance measured within the imaging range of the setting target sensor when the reference image is captured (acquired).
  • the acquisition method of the reference illuminance is not particularly limited.
  • the illuminance (reference illuminance) at the time of capturing the reference image is acquired from the illuminometer installed in the imaging range of the setting target sensor via the communication unit 23 or the like. It is good also as a form to do. Moreover, it is good also as a form which preserve
  • when the imaging target environment is the same among a plurality of setting target sensors, one reference illuminance may be shared.
  • the measurement position of illuminance within the imaging range of the setting target sensor is not particularly limited.
  • the measurement may be performed at a representative position such as directly below the image sensor 10.
  • the illuminance may be measured at a plurality of positions within the imaging range, and an average value of the illuminance may be used.
  • the illuminance estimation model generation unit 254 is set based on the basic model 241 stored in the storage unit 24, the reference image acquired by the reference image acquisition unit 252, and the reference illuminance acquired by the reference illuminance acquisition unit 253. An illuminance estimation model 131 for the target sensor is generated.
  • the illuminance estimation model generation unit 254 acquires luminance (hereinafter referred to as reference luminance) from the reference image, and generates a reference data value by pairing with the corresponding reference illuminance. And the illumination intensity estimation model production
  • the reference data value represented by the set of the reference illuminance and the reference luminance is at the position of P (hereinafter referred to as the reference data value P) in the figure. If there is, the illuminance estimation model generation unit 254 compares the difference in luminance between the basic model 241a and the basic model 241b with respect to the luminance of the reference data value P (in the drawing, a: corresponding to 1-a). Then, the illuminance estimation model generation unit 254 linearly interpolates the reference data value P between the basic model 241a and the basic model 241b while maintaining the calculated difference ratio, so that the illuminance estimation model 131 illustrated in FIG. Is generated.
  • the illuminance estimation model generation device 20 changes the weight by linear interpolation using the basic model 241 based on the reference data value obtained for each setting target sensor (image sensor 10), thereby setting each setting target sensor.
  • a customized illuminance estimation model 131 is generated.
  • the illuminance estimation model 131 generated in this way is suitable for the installation environment (imaging environment) of the image sensor 10, setting the illuminance estimation model 131 to the corresponding image sensor 10 allows the The accuracy of illuminance estimation by the image sensor 10 can be improved.
  • the illuminance estimation model 131 is generated from one reference data value (reference illuminance, reference luminance).
  • reference data value reference illuminance, reference luminance
  • the present invention is not limited to this.
  • a plurality of reference data values are generated by acquiring the reference illuminance and the reference luminance in different time zones (day and night, etc.), and the illuminance estimation model 131 is generated based on these reference data values and the basic model 241. It is good also as a form.
  • the illuminance estimation model using any two basic models 241 including the luminance of the reference data value under the same illuminance condition.
  • the basic model 241 exists for each pixel or divided region constituting the captured image, the luminance is acquired from the corresponding pixel or divided region in the reference image, and the arrangement positions of these pixels or divided regions are obtained. It is assumed that the illuminance estimation model 131 is generated using the basic model 241 corresponding to.
  • the illuminance estimation model generation unit 254 generates the illuminance estimation model 131 for each pixel or divided region, each of the illuminance estimation models 131 corresponds to the arrangement position of the pixel or the divided region to which the illuminance estimation model 131 is applied. Generate with attached.
  • the illuminance estimation model setting unit 255 transmits the illuminance estimation model 131 generated by the illuminance estimation model generation unit 254 to the setting target sensor via the communication unit 23, and the storage unit 13 of the setting target sensor.
  • the illuminance estimation model 131 is set in the setting target sensor.
  • the illuminance estimation model setting unit 255 converts each of the generated illuminance estimation models 131 into the illuminance estimation model 131. Is transmitted to the setting target sensor together with the information indicating the arrangement position to which is applied, and is stored in the storage unit 13, thereby setting the illuminance estimation model 131 in the setting target sensor.
  • FIG. 6 is a flowchart illustrating an example of the illuminance estimation model generation process.
  • a picked-up image picked up by changing the illuminance condition under a plurality of subject conditions (reflectance) is picked up in advance, and based on these data, the basic model generation unit 251 Assume that a basic model 241 is generated.
  • step S11 the basic model generation unit 251 executes a basic model generation process for generating the basic model 241.
  • the basic model generation process will be described with reference to FIG.
  • FIG. 7 is a flowchart showing an example of the basic model generation process.
  • the basic model generation unit 251 acquires a captured image captured by changing the illuminance condition under a plurality of subject conditions (reflectance) (step S111). Subsequently, for each subject condition (reflectance), the basic model generation unit 251 generates, as a data value, a set of the illuminance under each illuminance condition and the luminance of the captured image captured under the illuminance condition (step). S112).
  • the basic model generation unit 251 obtains a regression equation that approximates the distribution of the data value for each subject condition (reflectance).
  • a regression equation is generated as the basic model 241 (step S113).
  • generation part 251 memorize
  • the basic model 241 generated in this way indicates the relationship between the illuminance of the space under the subject condition and the brightness of the captured image. Further, the basic model 241 that can be applied to various environments can be generated by making the difference in reflectance as a subject condition relatively large, such as white and black.
  • the reference image acquisition unit 252 acquires the captured image captured by the setting target sensor as a reference image (step S12). Further, the reference illuminance acquisition unit 253 acquires the illuminance measured within the imaging range of the setting target sensor as the reference illuminance when the reference image is captured (acquired) in step S12 (step S13).
  • the illuminance estimation model generation unit 254 generates a reference data value from a set of the reference illuminance and the reference luminance acquired from the reference image (step S14).
  • the illuminance estimation model generation unit 254 plots the reference data value generated in step S14 on the coordinate plane of the basic model 241 stored in the storage unit 24, and linearly interpolates the reference data value based on the basic model 241.
  • the illuminance estimation model 131 is generated (step S15).
  • the illuminance estimation model setting unit 255 transmits the illuminance estimation model 131 generated in step S15 to the setting target sensor and stores the illuminance estimation model 131 in the storage unit 13 of the setting target sensor, whereby the setting target sensor estimates the illuminance.
  • the model 131 is set (step S16).
  • step S17 the control unit 25 determines whether there is another image sensor 10 to be set as a setting target sensor (step S17). If it is determined that the image sensor 10 exists (step S17; Yes), the image is displayed. The sensor 10 is set as a setting target sensor, and the process returns to step S12 again. As a result, the processes of steps S12 to S16 are executed for the new setting target sensor.
  • step S17 If it is determined in step S17 that there is no other image sensor 10 to be set as a setting target sensor (step S17; No), this process is terminated.
  • the basic model generation process is executed as part of the illuminance estimation model generation process.
  • the timing at which the basic model generation process is executed is not particularly limited, and is independent of the illuminance estimation model generation process.
  • the processing may be executed at different timings.
  • the reference data value in the environment in which the image sensor 10 is provided is linearly interpolated using the basic model 241 to estimate the illuminance suitable for the environment of the image sensor 10.
  • a model 131 can be generated and set in the corresponding image sensor 10. Thereby, the precision of the illumination intensity estimation in the image sensor 10 can be improved.
  • the setting of the illuminance estimation model 131 to each image sensor 10 can be performed easily and efficiently, the convenience related to the adjustment of the image sensor 10 can be improved.
  • the first embodiment is presented as an example, and is not intended to limit the scope of the invention.
  • the first embodiment can be implemented in various other forms, and various omissions, replacements, changes, additions, and the like can be made without departing from the scope of the invention.
  • transformation are included in the invention described in the claim, and its equivalent range while being included in the range and summary of invention.
  • lighting / extinguishing of the indoor lighting in which the image sensor 10 is provided is not particularly limited.
  • the reference image acquisition unit 252 and the reference illuminance acquisition unit 253 are used.
  • the lighting device 30 (30a to 30f) shown in FIG. 2 is controlled based on a predetermined lighting / extinguishing pattern, and a reference image obtained under the lighting and Based on the illuminance, the illuminance estimation model 131 is generated.
  • the illuminance estimation model generation unit 254 specifies an area (illumination area) illuminated by the illumination device 30a from the luminance distribution L of the captured image in FIG. 8 acquired as the reference image, and acquires the luminance from the illumination area. .
  • the reference illuminance acquired by the reference illuminance acquisition unit 253 is acquired within an area illuminated by the illumination device 30a.
  • the illuminance estimation model setting unit 255 converts the generated illuminance estimation model 131 into the illuminance estimation.
  • the illuminance estimation model 131 is set in the image sensor 10 by transmitting it to the image sensor 10 together with information indicating the arrangement position (illumination region) to which the model 131 is applied and storing the information in the storage unit 13.
  • the illuminance estimation unit 141 of the image sensor 10 acquires the luminance for each of the illumination areas included in the captured image captured by the own device, and uses the illuminance estimation model 131 corresponding to the illumination area to use each illumination area. The illuminance at is estimated.
  • the illuminance estimation model 131 in order to generate the illuminance estimation model 131, at least one captured image (reference image) is required. However, if there is a change in the area (space) that the image sensor 10 captures, such as changing the office layout, the imaging result obtained from the image sensor 10 is also different from the previous one, so a new reference image is acquired. It is preferable to regenerate the illuminance estimation model 131.
  • the reference image acquisition unit 252 of the illuminance estimation model generation apparatus 20 holds the reference image acquired last time for each image sensor 10, and each image sensor at a predetermined timing (for example, the same time at which the previous reference image is acquired).
  • the illuminance estimation model 131 of the image sensor 10 is automatically updated by acquiring the new captured image as a reference image. It is good also as a form.
  • the illuminance value may be a conventional value or may be newly acquired.
  • the layout change detection method is not particularly limited. For example, the edge of an object included in the image is detected by a known technique, and whether or not the difference between the edge positions in the images is equal to or greater than a predetermined threshold. It may be detected according to
  • the reference image acquisition unit 252 of the illuminance estimation model generation apparatus 20 may acquire a captured image captured during a period in which no person exists based on a sensing result output from the image sensor 10 as a reference image.
  • the reference image acquisition unit 252 and the reference illuminance acquisition unit 253 operate in cooperation with the timer device or the like. The reference image and the illuminance may be automatically acquired at the time.
  • FIG. 9 is a diagram schematically showing the configuration of the image sensor 10A according to the second embodiment.
  • the image sensor 10A includes a camera unit 11, a communication unit 12, a storage unit 13, and a control unit 14A.
  • the control unit 14A has a computer configuration such as a CPU, a ROM, and a RAM (all not shown), and controls the operation of the image sensor 10A by cooperating with a program stored in the ROM or the storage unit 13. To control. In addition, the control unit 14A realizes the illuminance estimation unit 141A, the human detection unit 142, and the sensing result output unit 143 as functional units in cooperation with a program stored in the ROM or the storage unit 13.
  • the illuminance estimation unit 141A has the same function as the illuminance estimation unit 141 described above. In addition, the illuminance estimation unit 141A removes, from the captured image, the luminance estimation inhibition factor included in the captured image, and acquires the luminance from the captured image from which the inhibition factor is removed. .
  • examples of the obstruction factor of the illuminance estimation include a moving light source such as a person and a local light source such as lighting on a desk.
  • the illuminance estimation unit 141A specifies, for example, a region of a captured image in which a person is detected by the human detection unit 142 as an inhibition factor of illuminance estimation.
  • the illuminance estimation unit 141A specifies, for example, an area where the local light source exists from the luminance distribution of the captured image as an obstacle to the estimation of illuminance, An area in which an object such as a desk or a light is present from the captured image is specified as an impediment to illuminance estimation using image recognition technology.
  • the illuminance estimation unit 141A stores a captured image (or a detection result of the person detection unit 142) for a predetermined period (for example, one week) in the storage unit 13 or the like, and stores these information. Based on the above, a region where a person or a local light source is frequently detected is specified as an impediment to illuminance estimation. Then, the illuminance estimation unit 141A removes the inhibition factor by excluding the region specified as the illuminance estimation inhibition factor from the luminance acquisition target region.
  • the luminance may be acquired from the captured image before or after time continuation, and the luminance acquisition is suppressed. It is good also as a form to do.
  • the illuminance estimation unit 141A sets a static area with little change such as a person's entry and exit and movement of an object as a luminance acquisition target area in order to ensure the accuracy of the brightness acquired from the captured image. For example, the illuminance estimation unit 141A detects an edge from a captured image, and extracts a boundary between a building wall, a floor, and a ceiling, so that a static region such as a wall or a floor surface in which a person enters and exits or an object is less moved. Is identified.
  • an object identification model is generated, based on captured images obtained by capturing a general office space, learning an office layout, shapes of various objects, and the like based on them.
  • a static region such as a wall or a floor surface in which a person enters and exits and the movement of an object included in the captured image is small is specified.
  • a captured image or a detection result by the human detection unit 142 for a predetermined period (for example, one week) is stored in the storage unit 13 or the like, and a person enters or exits or an object moves based on the information. You may identify the static area with few. Then, the illuminance estimation unit 141A sets the static area specified from the captured image as the luminance acquisition target area.
  • the luminance from the captured image is acquired at the pixel level as in the image sensor 10, but the average of the luminance of each pixel constituting the luminance acquisition target region is acquired as the luminance of the captured image. May be. Moreover, you may acquire the average value of the brightness
  • the illuminance estimation unit 141A removes the obstruction factor from the captured image, acquires the luminance from the region set as the luminance acquisition target region, and derives the illuminance corresponding to the luminance based on the illuminance estimation model 131.
  • FIG. 10 is a flowchart illustrating an example of illuminance estimation processing executed by the image sensor 10A.
  • a captured image is acquired by capturing an image of a subject area by the camera unit 11 (step S21).
  • the illuminance estimation unit 141A specifies a region where an impediment factor of illuminance estimation exists from the captured image (step S22)
  • the illuminance estimation unit 141A removes the region where the impediment factor exists from the captured image (step S23).
  • the illuminance estimation unit 141A specifies a static area where human traffic and movement of an object are small from the captured image from which the obstruction factor has been removed (step S24)
  • the specified static area is set as a luminance acquisition target area. Set (step S25).
  • the illuminance estimation unit 141A acquires the luminance from the luminance acquisition target area in the captured image set in step S25 (step S26), the illuminance estimation unit 141A derives the illuminance corresponding to this luminance using the illuminance estimation model 131 (step S26). S27). And the sensing result output part 143 outputs the illumination intensity derived
  • the illuminance estimation can be performed with high accuracy.
  • it is possible to automatically remove an area where an obstruction factor exists and to set an acquisition target area (static area) it is possible to improve convenience related to adjustment of the image sensor 10A.
  • the illuminance estimation can be performed using the captured image from which the obstruction factor of illuminance estimation is removed, the illuminance estimation can be performed with higher accuracy.
  • the illuminance estimation is performed using the luminance of the static region in the captured image, the illuminance estimation can be performed with higher accuracy.
  • the second embodiment is presented as an example, and is not intended to limit the scope of the invention.
  • the second embodiment can be implemented in various other forms, and various omissions, replacements, changes, additions, and the like can be made without departing from the scope of the invention.
  • transformation are included in the invention described in the claim, and its equivalent range while being included in the range and summary of invention.
  • the form of performing both the removal of the obstruction factor of the illuminance estimation and the identification of the static area has been described.
  • the present invention is not limited to this, and any one of the processes may be performed. Good.
  • FIG. 11 is a diagram illustrating a configuration example of the image sensor system 2 according to the third embodiment.
  • the image sensor system 2 includes an image sensor 10, a lighting device 30, and a lighting control device 40.
  • the image sensor 10 and the illumination control device 40 are detachably connected to the line N and communicate via the line N.
  • the illumination control device 40 is detachably connected to a line N to which each of the illumination devices 30 is connected, and controls the power on / off of the illumination device 30, the output value, and the like.
  • the number of image sensors 10 and lighting devices 30 connected to the line N is not particularly limited. In FIG. 11, the line to which the image sensor 10 is connected and the line to which the illumination device 30 is connected are the same, but different lines may be used.
  • the image sensor 10 holds the illuminance estimation model 131 described in the first embodiment in the storage unit 13. Based on the illuminance estimation model 131, the image sensor 10 estimates the illuminance around its own device from the brightness of the captured image captured by the camera unit 11. Further, the image sensor 10 detects the presence / absence of a person in the region that is the subject by analyzing the captured image. Then, the image sensor 10 outputs a detection result such as the estimated illuminance and the presence / absence of a person to the external device (the illumination control device 40) through the communication unit 12 as a sensing result. In addition, the image sensor 10 shall transmit together the sensor identifier for identifying an own apparatus at the time of communication with the illumination control apparatus 40. FIG.
  • the lighting device 30 is a lighting device such as a fluorescent lamp or an LED (Light Emitting Diode), and illuminates a space where the device is provided. In addition, the lighting device 30 switches lighting on / off and an output value according to the control of the lighting control device 40. It is assumed that the image sensor 10 and the lighting device 30 are provided on the ceiling of the office, as in FIG.
  • the illumination control device 40 is a server device that controls the illumination device 30 based on a sensing result input from each of the image sensors 10. Hereinafter, the configuration of the illumination control device 40 will be described.
  • FIG. 12 is a diagram schematically illustrating a configuration example of the illumination control device 40.
  • the illumination control device 40 includes an input unit 41, a display unit 42, a communication unit 43, a storage unit 44, and a control unit 45.
  • the input unit 41 has an input device such as a keyboard and a pointing device, and outputs the operation content received from the operator of the lighting control device 40 to the control unit 45.
  • the display unit 42 includes a display device such as a liquid crystal display panel, and displays various types of information in accordance with instructions from the control unit 45.
  • the communication unit 43 is a communication interface that can be detachably connected to the line N, and exchanges various types of information with external devices (such as the image sensor 10 and the illumination device 30) via the line N.
  • the storage unit 44 is an auxiliary storage device such as an HDD, and stores various programs executed by the control unit 45 and setting information.
  • the storage unit 44 stores a sensor management table 441 as setting information related to the control of the lighting device 30.
  • the sensor management table 441 is a data table in which the image sensor 10 and the lighting device 30 placed under the jurisdiction of the image sensor 10 are associated with each other.
  • the jurisdiction of the image sensor 10 is a target to be controlled based on the sensing result of the image sensor 10, for example, the lighting device 30 placed at a position corresponding to the imaging range of the image sensor 10,
  • the illumination device 30 is provided in the same room as the image sensor 10.
  • FIG. 13 is a diagram showing an example of the data configuration of the sensor management table 441. As shown in FIG. As shown in the figure, the sensor management table 441 has sensor identifiers and illumination identifiers as data items, and manages these data items in association with each other.
  • the sensor identifier is identification information for identifying each image sensor 10.
  • an IP address, a MAC address, a manufacturing number, or the like assigned in advance to each image sensor 10 can be used.
  • the illumination identifier is identification information for identifying each illumination device 30.
  • an IP address, a MAC address, a manufacturing number, or the like assigned in advance to each lighting device 30 can be used.
  • FIG. 13 shows an example in which “sensor 01” and “sensor 02” are registered as sensor identifiers. Also, three illumination identifiers “illumination 01” to “illumination 03” are registered in association with the sensor identifier “sensor 01”, and three illumination identifiers “illumination 04” to “illumination” are registered in the sensor identifier “sensor 02”. An example in which the illumination 06 "is registered in association with each other is shown.
  • the control unit 45 has a computer configuration such as a CPU, a ROM, and a RAM (all not shown), and controls the operation of the lighting control device 40 by cooperating with a program stored in the ROM or the storage unit 44. Control. Further, the control unit 45 realizes the sensing result acquisition unit 451, the illuminance determination unit 452, and the illumination control unit 453 as functional units in cooperation with a program stored in the ROM or the storage unit 44.
  • the sensing result acquisition unit 451 acquires a sensing result from each of the image sensors 10 whose sensor identifiers are registered in the sensor management table 441.
  • the sensing result includes detection results such as illuminance and presence / absence of a person.
  • the illuminance determination unit 452 determines the illuminance around the image sensor 10 and the illuminance of the entire room in which the image sensor 10 is provided based on the illuminance included in the sensing result for each image sensor 10 acquired by the sensing result acquisition unit 451.
  • the determination result is output to the illumination control unit 453 together with the sensor identifier of the corresponding image sensor 10.
  • the illuminance determination unit 452 determines this illuminance as the illuminance around the image sensor 10.
  • the sensing result of one image sensor 10 includes the illuminance associated with the arrangement position
  • the illuminance determination unit 452 determines the illuminance as the illuminance at each arrangement position around the image sensor 10.
  • the illuminance determination unit 452 calculates an average value of illuminance included in the sensing result of these image sensors 10 and is obtained by this calculation.
  • the illuminance may be determined as the illuminance of the entire room in which the image sensor 10 is provided.
  • the image sensor 10 provided in the same room is identified by layout information indicating the arrangement position and positional relationship of the image sensor 10 and the lighting device 30 in each room, and the sensor identifier of the image sensor 10 provided in the same room. Is performed based on setting information (none of which is shown) associated with.
  • the illuminance determination unit 452 may output a value obtained by dividing the determined illuminance in stages (levels) according to the degree to the illumination control unit 453.
  • the illumination control unit 453 controls on / off and output values of the respective illumination devices 30 based on the illuminance input from the illuminance determination unit 452 and the detection result of the presence / absence of a person included in the sensing result.
  • the lighting control unit 453 lowers the output (dimming rate) of the lighting device 30 in a room (area) where the illuminance necessary for office work is secured, or the room where the illuminance necessary for office work is not secured. In (area), control is performed to increase the output (dimming rate) of the illumination device 30. In addition, the lighting control unit 453 turns on the lighting device 30 in a room (region) where a person exists, turns off the lighting device 30 in a room (region) where no person exists, and determines whether the lighting device 30 corresponds to the distribution of people. Control such as changing the dimming rate is performed.
  • the lighting device 30 to be controlled has a corresponding illumination identifier from the sensor management table 441 based on a sensor identifier input together with the illuminance from the illuminance determination unit 452 or a sensor identifier transmitted together with the sensing result from the image sensor 10. Shall be selected.
  • the illuminance determination unit 452 determines the illuminance for each predetermined arrangement position around the image sensor 10, based on the illuminance, the lighting device 30 corresponding to the arrangement position is individually controlled. Also good. Note that the correspondence between the arrangement position and the lighting device 30 (lighting identifier) identifies the corresponding lighting device 30 based on the layout information described above.
  • FIG. 14 is a flowchart illustrating an example of the illumination control process executed by the illumination control device 40.
  • the sensing result acquisition unit 451 acquires a sensing result from each of the image sensors 10 whose sensor identifiers are registered in the sensor management table 441 (step S31).
  • the timing for obtaining the sensing result is not particularly limited. Moreover, it is good also as a form acquired simultaneously from each image sensor 10, and it is good also as a form acquired at a respectively different timing.
  • the sensing result acquisition unit 451 may request the image sensor 10 to transmit the sensing result, or may wait for the sensing result transmitted from the image sensor 10.
  • the illuminance determination unit 452 illuminates around the image sensor 10 that transmitted the sensing result, and the entire room in which the image sensor 10 is provided. Illuminance is determined (step S32).
  • the illumination control part 453 specifies the illumination identifier corresponding to the sensor identifier of the image sensor 10 which became the object of determination by the illumination intensity determination part 452 from the sensor management table 441 (step S33), the step about the image sensor 10 will be described.
  • the lighting device 30 corresponding to the illumination identifier is dimmed (controlled) (step S34), and the process is terminated. This process is executed each time the sensing result acquisition unit 451 acquires a sensing result.
  • the illuminance estimation can be performed with high accuracy.
  • the illuminating device 30 is controlled using the sensing result of the image sensor 10, the illuminating device 30 can be controlled more reliably.
  • the present invention is not limited thereto, and a plurality of buildings, outdoor facilities, the entire region, and the like may be managed.
  • the illuminating device 30 was made into the control object, you may include other electric equipments, such as not only this but an air conditioner, in the control object.
  • the program executed by each device of the first to third embodiments is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto and can be installed. It may be configured to be recorded on a computer-readable recording medium such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), etc. in a format or executable file. Good.
  • the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.
  • each device of the first to third embodiments may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • a network such as the Internet
  • it may be configured to be provided or distributed via a network such as the Internet.

Abstract

 複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデル(241)を保持する保持手段(24)と、照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段(252)と、前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段(253)と、前記基本モデル(241)に基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段(254)と、を備える。

Description

情報処理装置、画像センサ装置及びプログラム
 本発明の実施形態は、情報処理装置、画像センサ装置及びプログラムに関する。
 従来、省エネルギー化等を目的として、調光制御を効率的に行う制御装置が要求されている。このような制御装置では、例えば、オフィス内等に設置された照度センサ(照度計)により照度が閾値を下回ったことを検知すると、該当する位置の照明装置を点灯して照度を一定値に維持する制御が行われる。また、従来、上記の照度センサに代わり、カメラにより撮像された画像(撮像画像)を用いて照明制御を行う技術が提案されている。
特開2011-81982号公報
 ところで、画像センサが設置される検知エリアには様々な態様があり得る。そのため、検知エリアの設定場所によらず、より高精度に室内の明るさを検知することが可能な技術が望まれている。また、撮像画像を用いて照度推定を行う場合、その撮像画像から適切なセンシング結果が得られるよう、設定を調整する必要がある。しかしながら、カメラ台数が増加するほど調整作業は煩雑となるため、より効率的に調整を行うことが可能な技術が望まれている。
 実施の形態の情報処理装置は、保持手段と、基準画像取得手段と、基準照度取得手段と、照度推定モデル生成手段とを備える。保持手段は、複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する。基準画像取得手段は、照度推定の対象空間で撮像された撮像画像を基準画像として取得する。基準照度取得手段は、基準画像が撮像された際の対象空間の照度を基準照度として取得する。照度推定モデル生成手段は、基本モデルに基づき、基準照度と基準画像の輝度との組で表されるデータ値から、対象空間における照度と輝度との関係を表した照度推定モデルを生成する。
図1は、第1の実施形態に係る照度推定モデル設定システムの構成例を示す図である。 図2は、図1に示した画像センサの設置例を示す図である。 図3は、図1に示した画像センサの構成例を模式的に示す図である。 図4は、図1に示した照度推定モデル生成装置の構成例を模式的に示す図である。 図5は、図4に示した基本モデルの一例を模式的に示す図である。 図6は、第1の実施形態に係る照度推定モデル生成処理の一例を示すフローチャートである。 図7は、図6に示した基本モデル生成処理の一例を示すフローチャートである。 図8は、図2に示した画像センサによる撮像画像の一例を模式的に示す図である。 図9は、第2の実施形態に係る画像センサの構成を模式的に示す図である。 図10は、第2の実施形態に係る照度推定処理の手順の一例を示すフローチャートである。 図11は、第3の実施形態に係る画像センサシステムの構成例を示す図である。 図12は、図11に示した照明制御装置の構成例を模式的に示す図である。 図13は、図12に示したセンサ管理テーブルのデータ構成の一例を示す図である。 図14は、第3の実施形態に係る照明制御処理の一例を示すフローチャートである。
 以下に添付図面を参照して、この発明に係る情報処理装置、画像センサ装置及びプログラムの実施形態を詳細に説明する。
[第1の実施形態]
 第1の実施形態では、この発明に係る情報処理装置及びプログラムを、後述する照度推定モデルを生成する照度推定モデル生成装置に適用した例について説明する。
 図1は、第1の実施形態に係る照度推定モデル設定システム1の構成例を示す図である。同図に示すように、照度推定モデル設定システム1は、画像センサ10と、照度推定モデル生成装置20とを有している。ここで、画像センサ10及び照度推定モデル生成装置20は、回線Nに着脱可能に接続されており、当該回線Nを介して通信を行う。なお、回線Nに接続される画像センサ10の個数は、特に問わないものとする。以下、照度推定モデル設定システム1の各装置について説明する。
 画像センサ10は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有し、撮像により得られる画像や映像(以下、撮像画像という)に基づき導出した照度等を、センシング結果として出力する。画像センサ10は、例えば、図2に示すように、建物の天井部分に設置され、床方向(真下方向)を撮像する。
 ここで、図2は、画像センサ10の設置例を示す図である。同図において、画像センサ10は天井部分に設置されている。また、天井部分にはオフィス内を照明するための照明装置30(30a~30f)が設置されている。なお、図2では、オフィス内に机Dが二つ並んで配置された例を示しているが、室内のレイアウトはこの例に限らないものとする。
 図3は、画像センサ10の構成例を模式的に示す図である。同図に示すように、画像センサ10は、カメラ部11、通信部12、記憶部13及び制御部14を備える。
 カメラ部11は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサであって、撮像した撮像画像を制御部14に出力する。通信部12は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(照度推定モデル生成装置20等)との間で各種情報の授受を行う。
 記憶部13は、画像センサ10の制御に係る各種プログラムや設定情報を記憶する。記憶部13が記憶する設定情報としては、例えば、撮像画像から得られる輝度と、当該輝度から推定される照度との関係が定めた照度推定モデル131が挙げられる。照度推定モデル131は、照度推定モデル生成装置20により設定される設定情報であり、後述する照度推定部141では、この照度推定モデル131を用いて撮像画像から照度の推定を行う。なお、照度推定モデル131の詳細については後述する。
 制御部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部13に記憶されたプログラムと協働することで、画像センサ10の動作を統括的に制御する。また、制御部14は、ROMや記憶部13に記憶されたプログラムとの協働により、照度推定部141、人検出部142及びセンシング結果出力部143を、機能部として実現させる。
 照度推定部141は、記憶部13に記憶された照度推定モデル131に基づき、カメラ部11で撮像された撮像画像から被写体となった領域の照度を推定する。具体的に、照度推定部141は、撮像画像から輝度を取得し、当該輝度に対応する照度を照度推定モデル131に基づき導出(推定)する。
 ここで、撮像画像からの輝度の取得は、画素レベルで行うものとするが、取得の対象となる領域は特に問わないものとする。例えば、撮像画像を構成する各画素の輝度の平均等を、その撮像画像の輝度として取得してもよい。また、撮像画像中の任意の領域での輝度の平均値を、その撮像画像の輝度として取得してもよい。
 また、撮像画像を構成する画素毎や撮像画像を複数の領域に分割した分割領域毎に輝度を取得する形態としてもよい。例えば、各画素や各分割領域の配置位置と対応付けて照度推定モデル131が設定されている場合には、対応する照度推定モデル131を用いて画素毎或いは分割領域毎に照度の導出を行うものとする。なお、各画素や各分割領域から導出された照度は、対応する配置位置とともに出力する形態としてもよいし、これら照度の平均等を出力する形態としてもよい。
 人検出部142は、カメラ部11で撮像された撮像画像を解析することで、被写体となった領域内での人の在/不在、人の行動内容、活動量、人数等を検知する。なお、撮像画像からの人の在/不在等の検知方法については、公知技術を用いるものとする。
 センシング結果出力部143は、照度推定部141で推定された照度、人検出部142の検知結果を、自装置のセンシング結果として通信部12を通じて外部装置に出力したり、記憶部13に保存したりする。なお、センシング結果として出力される照度は、照度推定部141から出力されたそのままの値であってもよいし、照度の度合に応じて段階(レベル)分けした値であってもよい。
 図4は、照度推定モデル生成装置20の構成例を模式的に示す図である。照度推定モデル生成装置20は、PC(Personal Computer)や携帯通信端末等の情報処理装置であり、同図に示すように、入力部21、表示部22、通信部23、記憶部24及び制御部25を備えている。
 入力部21は、キーボードやポインティングデバイス等の入力デバイスを有し、照度推定モデル生成装置20の操作者から受け付けた操作内容を制御部25に出力する。表示部22は、液晶表示パネル等の表示デバイスを有し、制御部25の指示に従い各種の情報を表示する。通信部23は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(画像センサ10等)との間で各種情報の授受を行う。
 記憶部24は、HDDやSSD等の補助記憶装置であって、照度推定モデル生成装置20の制御に係る各種プログラムや設定情報を記憶する。記憶部24が記憶する設定情報としては、照度推定モデル131の生成の基となる基本モデル241が挙げられる。
 基本モデル241は、複数の被写体条件下で撮像された撮像画像と、その撮像時の撮像条件とを基に生成される情報であって、照度推定モデル131の生成の基礎となるものである。ここで、被写体条件は、例えば、被写体となる空間や物体の反射率等である。また、撮像条件は、例えば、撮像時における被写体空間の照度を表す照度条件、撮像時における撮像装置(画像センサ10等)のカメラパラメータである。
 具体的に、基本モデル241は以下の工程で生成される。まず、壁や床の色が黒や白等の被写体条件(反射率)が異なる各モデル空間の下で、照度条件を変化させてモデル空間を撮像する。次いで、撮像により得られた各照度条件での照度と、その照度条件下で撮像された撮像画像の輝度との組を、被写体条件毎にデータ値として生成する。そして、生成した被写体条件毎のデータ値を座標平面にプロットし、それらデータ値の分布を近似する回帰式を基本モデル241として被写体条件毎に生成する。
 ここで、図5は、上記の工程により生成された基本モデル241の一例を模式的に示す図である。同図において、縦軸はモデル空間の照度を表しており、横軸は撮像画像の輝度を表している。また、図中のグラフが基本モデル241に相当し、基本モデル241aは、基本モデル241bよりも反射率が低いモデル空間で得られた照度と輝度との組の回帰式となっている(例えば、基本モデル241aが黒色のモデル空間、基本モデル241bが白色のモデル空間)。このように、基本モデル241(241a、241b)は、複数の被写体条件の下、照度条件を変化させてモデル空間を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、被写体条件毎に表したものとなっている。
 なお、撮像の対象となるモデル空間は、画像センサ10が実際に設置される空間であってもよいし、当該空間とは異なる空間であってもよい。また、モデル空間を撮像する撮像装置は、画像センサ10或いは画像センサ10と同種のイメージセンサを使用する撮像装置を用いることが好ましいが、これに限らないものとする。
 また、撮像画像からの輝度の取得は、画素レベルで行うものとするが、取得の対象となる領域は特に問わないものとする。例えば、撮像画像を構成する各画素の輝度の平均等を、その撮像画像全体の輝度とする形態としてもよい。また、撮像画像中の特定の領域での輝度の平均値を、その撮像画像全体の輝度とする形態としてもよい。
 また、撮像画像を構成する画素毎や撮像画像を複数の領域に分割した分割領域毎に、輝度を取得する形態としてもよい。この場合、撮像画像内での配置位置が同一となる画素或いは分割領域毎に、照度と輝度との組を取得し、撮像画像中の配置位置毎に回帰式(基本モデル241)を生成する形態としてもよい。なお、画素或いは分割領域毎に基本モデル241を生成した場合には、当該基本モデル241を対応する画素或いは分割領域の配置位置と対応付けて保持するものとする。
 また、上記例では、撮像条件のうち、照度条件を用いた例を説明したが、カメラパラメータを含める場合には、上記した被写体条件及び照度条件の組に、カメラパラメータ(例えば、シャッター速度等の露出補正に関する値)を変えた時の各条件を組み合わせることで、三以上の要素からなる基本モデル241を生成する形態としてもよい。
 図4に戻り、制御部25は、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部24に記憶されたプログラムと協働することで、照度推定モデル生成装置20の動作を統括的に制御する。また、制御部25は、ROMや記憶部24に記憶されたプログラムとの協働により、基本モデル生成部251、基準画像取得部252、基準照度取得部253、照度推定モデル生成部254及び照度推定モデル設定部255を、機能部として実現させる。
 基本モデル生成部251は、複数の被写体条件(反射率等)の下、撮像条件(照度条件)を変化させてモデル空間を撮像した際に得られる撮像画像に基づいて、上述した基本モデル241を生成し、記憶部24に保持する。なお、記憶部24に基本モデル241が予め記憶されている場合には、基本モデル生成部251は不要となるため、当該基本モデル生成部251を照度推定モデル生成装置20から取り除く構成としてもよい。
 基準画像取得部252は、照度推定モデル131の設定対象となる画像センサ10(以下、設定対象センサという)から、当該設定対象センサで撮像された撮像画像を、基準画像として取得する。例えば、図2に示した画像センサ10を設定対象センサとする場合、基準画像取得部252は、この画像センサ10が撮像したオフィス内の撮像画像を、基準画像として取得する。なお、基準画像を取得するタイミングや取得時の周辺環境の状態は、特に問わないものとするが、照度推定の基準とする環境条件下で基準画像を取得することが好ましい。ここで、照度推定の基準とする環境条件とは、例えば、画像センサ10が設けられる室内の全照明(例えば、図2に示す照明装置30)を点灯させた状態や、所定時刻(例えば12時)に全照明を消灯させた状態である。
 基準照度取得部253は、基準画像の撮像(取得)時に設定対象センサの撮像範囲内で測定された照度を基準照度として取得する。ここで、基準照度の取得方法は、特に問わず、例えば、通信部23等を介して、設定対象センサの撮像範囲内に設置された照度計から基準画像撮像時の照度(基準照度)を取得する形態としてもよい。また、基準画像撮像時に測定された照度を別途保存しておき、この保存された照度を基準照度として入力部21や通信部23を介して取得する形態としてもよい。また、複数の設定対象センサ間で撮像対象の環境が同様となる場合には、一の基準照度を共用する形態としてもよい。
 また、設定対象センサの撮像範囲内での照度の測定位置は特に問わないものとする。例えば、画像センサ10の直下等、代表となる位置で測定する形態としてもよい。また、撮像範囲内の複数位置で照度を測定し、それら照度の平均値等を用いる形態としてもよい。
 照度推定モデル生成部254は、記憶部24に記憶された基本モデル241と、基準画像取得部252で取得された基準画像と、基準照度取得部253で取得された基準照度とに基づいて、設定対象センサ用の照度推定モデル131を生成する。
 具体的に、照度推定モデル生成部254は、基準画像から輝度(以下、基準輝度という)を取得し、対応する基準照度と組とすることで基準データ値を生成する。そして、照度推定モデル生成部254は、生成した基準データ値を、基本モデル241に基づいて線形補間することで、照度と輝度との関係を表した照度推定モデル131を生成する。
 例えば、図5に示した基本モデル241(241a、241b)を用いる場合、基準照度と基準輝度との組が表す基準データ値が図中P(以下、基準データ値Pと表記する)の位置にあったとすると、照度推定モデル生成部254は、この基準データ値Pの照度において、当該基準データ値Pの輝度を基準に、基本モデル241a及び基本モデル241bの輝度との差分の比(図中、a:1-aに対応)を算出する。そして、照度推定モデル生成部254は、算出した差分の比を維持しながら基準データ値Pを、基本モデル241a及び基本モデル241bの間で線形補間することで、図5に示した照度推定モデル131を生成する。
 このように、照度推定モデル生成装置20は、設定対象センサ(画像センサ10)毎に得られる基準データ値に基づき、基本モデル241を用いた線形補間による重みを変化させることで、各設定対象センサ用にカスタマイズした照度推定モデル131を生成する。また、このように生成された照度推定モデル131は、画像センサ10の設置環境(撮像環境)に適したものとなるため、この照度推定モデル131を対応する画像センサ10に設定することで、当該画像センサ10での照度推定の精度を向上させることができる。
 なお、上記では、一の基準データ値(基準照度、基準輝度)から照度推定モデル131を生成する例を示したが、これに限らないものとする。例えば、異なる時間帯(昼と夜等)で基準照度及び基準輝度を取得することで複数の基準データ値を生成し、これら基準データ値と基本モデル241とに基づいて照度推定モデル131を生成する形態としてもよい。また、被写体条件(反射率)の異なる基本モデル241が三以上存在する場合には、同一照度の条件の下、基準データ値の輝度を包含する何れか二つの基本モデル241を用いて照度推定モデル131を生成することで、その設定対象センサ用にカスタマイズした照度推定モデル131を生成することができる。
 また、撮像画像を構成する画素毎や分割領域毎に基本モデル241が存在する場合には、基準画像内の対応する画素又は分割領域から輝度をそれぞれ取得し、これら画素又は分割領域の各配置位置に対応する基本モデル241を用いて照度推定モデル131を生成するものとする。なお、照度推定モデル生成部254は、画素或いは分割領域毎に照度推定モデル131を生成した場合、照度推定モデル131の各々を、当該照度推定モデル131を適用する画素或いは分割領域の配置位置と対応付けた状態で生成する。
 図4に戻り、照度推定モデル設定部255は、照度推定モデル生成部254で生成された照度推定モデル131を、通信部23を介して設定対象センサに送信し、当該設定対象センサの記憶部13に記憶させることで、当該設定対象センサに照度推定モデル131を設定する。なお、照度推定モデル131に、当該照度推定モデル131を適用する配置位置が対応付けられている場合、照度推定モデル設定部255は、生成された照度推定モデル131の各々を、当該照度推定モデル131を適用する配置位置を示した情報とともに設定対象センサに送信し、記憶部13に記憶させることで、当該設定対象センサに照度推定モデル131を設定する。
 以下、上述した照度推定モデル生成装置20が実行する照度推定モデル生成処理について説明する。図6は、照度推定モデル生成処理の一例を示すフローチャートである。なお、本処理の前提として、複数の被写体条件(反射率)の下、照度条件を変化させて撮像した撮像画像が予め撮像されているものとし、これらのデータに基づいて基本モデル生成部251が基本モデル241を生成するものとする。
 まず、基本モデル生成部251は、ステップS11において、基本モデル241を生成する基本モデル生成処理を実行する。以下、図7を参照して、基本モデル生成処理について説明する。
 図7は、基本モデル生成処理の一例を示すフローチャートである。まず、基本モデル生成部251は、複数の被写体条件(反射率)の下、照度条件を変化させて撮像された撮像画像を取得する(ステップS111)。続いて、基本モデル生成部251は、被写体条件(反射率)毎に、各照度条件での照度と、当該照度条件下で撮像された撮像画像の輝度との組をデータ値として生成する(ステップS112)。
 次いで、基本モデル生成部251は、ステップS112で生成した被写体条件毎のデータ値を座標平面にプロットすると、当該データ値の分布を近似する回帰式を被写体条件(反射率)毎に求め、それらの回帰式を基本モデル241として生成する(ステップS113)。そして、基本モデル生成部251は、ステップS113で生成した基本モデル241を、記憶部24に記憶し(ステップS114)、図6のステップS12に移行する。
 このように生成された基本モデル241は、被写体条件下における空間の照度と撮像画像の輝度との関係を示すものとなる。また、被写体条件となる反射率の差を、白と黒等のように比較的大きくすることで、様々な環境に適用できる基本モデル241を生成することができる。
 図6に戻り、基準画像取得部252は、設定対象センサで撮像された撮像画像を基準画像として取得する(ステップS12)。また、基準照度取得部253は、ステップS12の基準画像の撮像(取得)時に、設定対象センサの撮像範囲内で測定された照度を基準照度として取得する(ステップS13)。
 続いて、照度推定モデル生成部254は、基準照度と基準画像から取得した基準輝度との組から基準データ値を生成する(ステップS14)。次いで、照度推定モデル生成部254は、ステップS14で生成した基準データ値を、記憶部24に記憶された基本モデル241の座標平面にプロットし、当該基準データ値を基本モデル241に基づき線形補間することで照度推定モデル131を生成する(ステップS15)。
 続いて、照度推定モデル設定部255は、ステップS15で生成された照度推定モデル131を、設定対象センサに送信し、当該設定対象センサの記憶部13に記憶させることで、設定対象センサに照度推定モデル131を設定する(ステップS16)。
 続くステップS17では、制御部25が、設定対象センサとする画像センサ10が他に存在するか否かを判定し(ステップS17)、存在すると判定した場合には(ステップS17;Yes)、その画像センサ10を設定対象センサとし、ステップS12に再び戻る。これにより、新たな設定対象センサについて、ステップS12~S16の処理が実行される。
 また、ステップS17において、設定対象センサとする画像センサ10が他に存在しないと判定した場合には(ステップS17;No)、本処理を終了する。
 なお、本処理では、照度推定モデル生成処理の一部として、基本モデル生成処理を実行する形態としたが、基本モデル生成処理が実行されるタイミングは特に問わず、照度推定モデル生成処理とは独立した処理として異なるタイミングで実行される形態としてもよい。
 以上のように、本実施形態によれば、画像センサ10が設けられた環境での基準データ値を、基本モデル241を用いて線形補間することで、当該画像センサ10の環境に適した照度推定モデル131を生成し、対応する画像センサ10に設定することができる。これにより、画像センサ10での照度推定の精度を向上させることができる。また、各画像センサ10への照度推定モデル131の設定を、容易且つ効率的に行うことができるため、画像センサ10の調整に係る利便性を向上させることができる。
 なお、上記第1の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記第1の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
 例えば、上記実施形態では、画像センサ10が設けられる室内の照明の点灯/消灯は特に問わないものとしたが、照度推定モデル生成装置20において、例えば、基準画像取得部252や基準照度取得部253が、照明のオン(点灯)/オフ(消灯)や出力値等を制御する形態としてもよい。この形態を採用する場合、例えば、図2に示した照明装置30(30a~30f)を予め定められた点灯/消灯パターンに基づいて照明を制御し、当該照明の下で得られた基準画像及び照度に基づき、照度推定モデル131を生成するものとする。
 ここで、図2に示した照明装置30のうち、照明装置30aを点灯し他の照明装置30b~30fを消灯させると、画像センサ10では、図8に示すように、照明装置30a周辺が明るく照らされた撮像画像が取得される。この場合、照度推定モデル生成部254は、基準画像として取得された図8の撮像画像の輝度分布Lから照明装置30aが照明する領域(照明領域)を特定し、この照明領域から輝度を取得する。なお、この場合、基準照度取得部253が取得する基準照度は、照明装置30aが照明する領域内で取得されることが好ましい。
 そして、照度推定モデル生成部254は、照明装置30a~30fの各照明領域について、照度推定モデル131を生成すると、照度推定モデル設定部255は、これら生成された照度推定モデル131を、当該照度推定モデル131を適用する配置位置(照明領域)を示した情報とともに画像センサ10に送信し、記憶部13に記憶させることで、当該画像センサ10に照度推定モデル131を設定する。なお、画像センサ10の照度推定部141では、自装置で撮像された撮像画像に含まれる照明領域の各々について輝度を取得し、当該照明領域に対応する照度推定モデル131を用いて、各照明領域での照度を推定するものとする。
 また、上記説明したように、照度推定モデル131を生成するためには、撮像画像(基準画像)が少なくとも一枚必要となる。しかしながら、オフィスのレイアウトを変更する等、画像センサ10が撮像する領域(空間)に変化があった場合には、その画像センサ10から得られる撮像結果も従前と異なるため、基準画像を新たに取得し、照度推定モデル131を生成し直すことが好ましい。
 そこで、照度推定モデル生成装置20の基準画像取得部252において、前回取得した基準画像を画像センサ10毎に保持しておき、所定のタイミング(例えば前回基準画像を取得した同時刻)で各画像センサ10から新たな撮像画像を取得し、両画像の相違からレイアウトの変更を検出した場合、この新たな撮像画像を基準画像として取得し直すことで、画像センサ10の照度推定モデル131を自動更新する形態としてもよい。この場合、照度値は従前の値を用いる形態としてもよいし、新たに取得し直す形態としてもよい。なお、レイアウト変更の検出方法は特に問わないものとするが、例えば、公知技術により画像中に含まれる物体のエッジ等を検出し、両画像中のエッジ位置の相違が所定の閾値以上か否かに応じて検出してもよい。
 また、基準画像を取得する際には、撮像する領域(空間)に人等の動体が存在しない静的状態にあることが好ましい。そこで、照度推定モデル生成装置20の基準画像取得部252では、画像センサ10が出力するセンシング結果に基づき、人が存在しない期間に撮像された撮像画像を、基準画像として取得する形態としてもよい。また、予め人が不在となる時間(例えば、早朝や夜間等)が判明している場合には、タイマー装置等と協働することで、基準画像取得部252及び基準照度取得部253が、これらの時間に基準画像及び照度を自動で取得する形態としてもよい。
[第2の実施形態]
 次に、第2の実施形態について説明する。第2の実施形態では、第1の実施形態で説明した画像センサ10に照度検知機能を向上させるための種々の機能を追加した構成について説明する。なお、上述した第1の実施形態と同様の構成については、同一の符号を付与し説明を適宜省略する。
 図9は、第2の実施形態に係る画像センサ10Aの構成を模式的に示す図である。同図に示すように、画像センサ10Aは、カメラ部11、通信部12、記憶部13及び制御部14Aを備える。
 制御部14Aは、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部13に記憶されたプログラムと協働することで、画像センサ10Aの動作を統括的に制御する。また、制御部14Aは、ROMや記憶部13に記憶されたプログラムとの協働により、照度推定部141A、人検出部142及びセンシング結果出力部143を、機能部として実現させる。
 照度推定部141Aは、上述した照度推定部141と同様の機能を有する。また、照度推定部141Aは、照度の推定に用いる撮像画像について、当該撮像画像に含まれた照度推定の阻害要因を当該撮像画像中から取り除き、この阻害要因を取り除いた撮像画像から輝度を取得する。
 ここで、照度推定の阻害要因としては、例えば、人等の動体や机上の照明等の局所的な光源等が挙げられる。例えば、照度推定部141Aは、例えば、人検出部142で人が検出された撮像画像の領域を、照度推定の阻害要因として特定する。また、撮像画像に含まれた局所的な光源を取り除く場合、照度推定部141Aは、例えば、撮像画像の輝度分布から局所的な光源が存在する領域を、照度推定の阻害要因として特定したり、画像認識技術を用いて撮像画像から机やライト等の物体が存在する領域を、照度推定の阻害要因として特定したりする。また、他の方法として、照度推定部141Aは、所定期間分(例えば1週間等)の撮像画像(或いは人検出部142での検出結果)を記憶部13等に保存しておき、これらの情報を基に、人や局所的な光源が頻繁に検出される領域を、照度推定の阻害要因として特定する。そして、照度推定部141Aは、照度推定の阻害要因として特定した領域を、輝度の取得対象領域から除外することで阻害要因を取り除く。
 なお、撮像画像全体や輝度の取得対象領域が阻害要因で埋め尽くされた場合には、時間的に連続する前或いは後の撮像画像から輝度を取得する形態としてもよいし、輝度の取得を抑制する形態としてもよい。
 また、照度推定部141Aは、撮像画像から取得する輝度の精度を確保するため、人の出入りや物体の移動等の変化の少ない静的領域を、輝度の取得対象領域として設定する。例えば、照度推定部141Aは、撮像画像からエッジを検出し、建物の壁と床、天井との境界を抽出することで、人の出入りや物体の移動が少ない壁や床面等の静的領域を特定する。また、他の方法としては、一般的なオフィス空間を撮像した撮像画像に基づき、それらを基にオフィスのレイアウトや各種物体の形状等の学習を行うことで、物体識別モデルを生成しておき、この物体識別モデルを用いることで、撮像画像に含まれた人の出入りや物体の移動が少ない壁や床面等の静的領域を特定する。また、所定期間分(例えば1週間等)の撮像画像(或いは人検出部142での検出結果)を記憶部13等に保存しておき、これらの情報を基に、人の出入りや物体の移動が少ない静的領域を特定してもよい。そして、照度推定部141Aは、撮像画像内から特定した静的領域を、輝度の取得対象領域として設定する。
 なお、撮像画像からの輝度の取得は、画像センサ10と同様、画素レベルで行うものとするが、輝度の取得対象領域を構成する各画素の輝度の平均等を、撮像画像の輝度として取得してもよい。また、輝度の取得対象領域中の任意の領域での輝度の平均値を、その撮像画像の輝度として取得してもよい。また、輝度の取得対象領域を構成する画素毎や複数の領域に分割した分割領域毎に輝度を取得する形態としてもよい。なお、この場合、各画素や各分割領域用に用意された照度推定モデル131を用いて、画素毎或いは分割領域用毎に照度を導出することが好ましい。さらに、導出した各照度の平均等を推定結果として導出する形態としてもよい。
 また、照度推定部141Aは、撮像画像から阻害要因を取り除いた後、輝度の取得対象領域として設定した領域から輝度を取得し、当該輝度に対応する照度を照度推定モデル131に基づき導出する。
 以下、画像センサ10Aでの照度推定に係る処理について説明する。図10は、画像センサ10Aで実行される照度推定処理の一例を示すフローチャートである。
 まず、カメラ部11により被写体となる領域が撮像されることで、撮像画像が取得される(ステップS21)。続いて、照度推定部141Aは、この撮像画像から照度推定の阻害要因が存在する領域を特定すると(ステップS22)、この阻害要因が存在する領域を撮像画像から除去する(ステップS23)。次いで、照度推定部141Aは、阻害要因を除去した撮像画像から、人の出入りや物体の移動が少ない静的領域を特定すると(ステップS24)、この特定した静的領域を輝度の取得対象領域に設定する(ステップS25)。
 照度推定部141Aは、ステップS25で設定した、撮像画像中の輝度の取得対象領域から輝度を取得すると(ステップS26)、この輝度に対応する照度を、照度推定モデル131を用いて導出する(ステップS27)。そして、センシング結果出力部143は、ステップS27で導出された照度を、記憶部13或いは外部装置に出力し(ステップS28)、処理を終了する。
 以上のように、本実施形態によれば、基本モデル241から生成された照度推定モデル131を用いて、撮像画像の輝度から照度を推定するため、照度推定を精度よく行うことができる。また、阻害要因が存在する領域の除去や、取得対象領域(静的領域)の設定を自動で行うことができるため、画像センサ10Aの調整に係る利便性を向上させることができる。また、照度推定の阻害要因を取り除いた撮像画像を用いて照度推定を行うため、照度推定をより精度よく行うことができる。さらに、撮像画像内の静的領域の輝度を用いて照度推定を行うため、照度推定をより精度よく行うことができる。
 なお、上記第2の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記第2の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
 例えば、第2の実施形態では、照度推定の阻害要因の除去と、静的領域の特定との両処理を行う形態を説明したが、これに限らず、何れか一方の処理を行う形態としてもよい。
[第3の実施形態]
 次に、第3の実施形態について説明する。第3の実施形態では、上述した画像センサ10(或いは画像センサ10A)を用いた画像センサシステムについて説明する。なお、以下では、画像センサシステムを、図2に示したオフィスビル等の建物内の照明制御システムに適用した例について説明するが、適用範囲はこれに限らないものとする。また、第1の実施形態と同様の要素については、同一の符号を付与し説明を適宜省略する。
 図11は、第3の実施形態に係る画像センサシステム2の構成例を示す図である。同図に示すように、画像センサシステム2は、画像センサ10と、照明装置30と、照明制御装置40とを有する。ここで、画像センサ10及び照明制御装置40は、回線Nに着脱可能に接続されており、当該回線Nを介して通信を行う。また、照明制御装置40は、照明装置30の各々が接続される回線Nに着脱可能に接続されており、照明装置30の電源のオン/オフや出力値等を制御する。なお、回線Nに接続される画像センサ10及び照明装置30の個数は、特に問わないものとする。また、図11では、画像センサ10が接続される回線と、照明装置30が接続される回線とを同一としたが、異なる回線としてもよい。
 画像センサ10は、第1の実施形態で説明した照度推定モデル131を、記憶部13に保持している。画像センサ10は、当該照度推定モデル131に基づいて、カメラ部11で撮像された撮像画像の輝度から自装置周辺の照度を推定する。また、画像センサ10は、撮像画像を解析することで、被写体となった領域内での人の在/不在等を検知する。そして、画像センサ10は、推定した照度及び人の在/不在等の検知結果を、センシング結果として、通信部12を通じて外部装置(照明制御装置40)に出力する。なお、画像センサ10は、照明制御装置40との通信時に自装置を識別するためのセンサ識別子を、あわせて送信するものとする。
 照明装置30は、蛍光灯やLED(Light Emitting Diode)等の照明装置であって、自装置が設けられた空間を照明する。また、照明装置30は、照明制御装置40の制御に従い、照明のオン/オフや出力値を切り替える。なお、画像センサ10及び照明装置30は、図2と同様、オフィスの天井部分に設けられているものとする。
 照明制御装置40は、画像センサ10の各々から入力されるセンシング結果に基づき、照明装置30の制御を行うサーバ装置である。以下、照明制御装置40の構成について説明する。
 図12は、照明制御装置40の構成例を模式的に示す図である。同図に示すように、照明制御装置40は、入力部41、表示部42、通信部43、記憶部44及び制御部45を備えている。
 入力部41は、キーボードやポインティングデバイス等の入力デバイスを有し、照明制御装置40の操作者から受け付けた操作内容を制御部45に出力する。表示部42は、液晶表示パネル等の表示デバイスを有し、制御部45の指示に従い各種の情報を表示する。通信部43は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(画像センサ10、照明装置30等)との間で各種情報の授受を行う。
 記憶部44は、HDD等の補助記憶装置であって、制御部45が実行する各種プログラムや設定情報を記憶している。また、記憶部44は、照明装置30の制御に係る設定情報として、センサ管理テーブル441を記憶している。
 センサ管理テーブル441は、画像センサ10と、当該画像センサ10の管轄下に置かれる照明装置30とを対応付けたデータテーブルである。ここで、画像センサ10の管轄下とは、画像センサ10のセンシング結果により制御の対象となるものであって、例えば、画像センサ10の撮像範囲に対応する位置に置かれた照明装置30や、画像センサ10と同じ室内に設けられた照明装置30等である。
 図13は、センサ管理テーブル441のデータ構成の一例を示す図である。同図に示すように、センサ管理テーブル441は、データ項目として、センサ識別子及び照明識別子を有し、これらデータ項目を対応付けて管理している。
 ここで、センサ識別子は、各画像センサ10を識別するための識別情報である。センサ識別子としては、例えば、各画像センサ10に予め割り当てられたIPアドレスや、MACアドレス、製造番号等を用いることができる。また、照明識別子は、各照明装置30を識別するための識別情報である。照明識別子としては、例えば、各照明装置30に予め割り当てられたIPアドレスや、MACアドレス、製造番号等を用いることができる。
 なお、図13では、センサ識別子として“センサ01”、“センサ02”が登録された例を示している。また、センサ識別子“センサ01”に、三つの照明識別子“照明01”~“照明03”が対応付けて登録されており、センサ識別子“センサ02”に、三つの照明識別子“照明04”~“照明06”が対応付けて登録された例を示している。
 制御部45は、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部44に記憶されたプログラムと協働することで、照明制御装置40の動作を統括的に制御する。また、制御部45は、ROMや記憶部44に記憶されたプログラムとの協働により、センシング結果取得部451、照度判定部452及び照明制御部453を、機能部として実現させる。
 センシング結果取得部451は、センサ管理テーブル441にセンサ識別子が登録された画像センサ10の各々からセンシング結果を取得する。ここで、センシング結果には、照度及び人の在/不在等の検知結果が含まれるものとする。
 照度判定部452は、センシング結果取得部451が取得した画像センサ10毎のセンシング結果に含まれる照度に基づき、画像センサ10周辺の照度や、画像センサ10が設けられた部屋全体の照度を判定し、その判定結果を、対応する画像センサ10のセンサ識別子とともに照明制御部453に出力する。
 例えば、一の画像センサ10のセンシング結果に一の照度が含まれる場合、照度判定部452は、この照度を、当該画像センサ10周辺の照度と判定する。また、一の画像センサ10のセンシング結果に、配置位置と対応付けられた照度が含まれる場合、照度判定部452は当該照度を、その画像センサ10周辺の各配置位置での照度と判定する。
 また、同室内に複数の画像センサ10が設けられているような場合、照度判定部452は、これら画像センサ10のセンシング結果に含まれる照度の平均値等を算出し、この算出により得られた照度を、当該画像センサ10が設けられた室内全体の照度と判定してもよい。なお、同室内に設けられた画像センサ10の判別は、各室の画像センサ10や照明装置30の配置位置や位置関係を示したレイアウト情報や、同室内に設けられた画像センサ10のセンサ識別子を対応付けた設定情報(何れも図示せず)等に基づき、行われるものとする。
 また、照度判定部452は、判定した照度を、その度合に応じて段階(レベル)分けした値を照明制御部453に出力してもよい。
 照明制御部453は、照度判定部452から入力される照度及びセンシング結果に含まれる人の在/不在等の検出結果に基づき、各照明装置30のオン/オフや出力値を制御する。
 例えば、照明制御部453は、オフィスワークに必要な照度が確保されている部屋(領域)では照明装置30の出力(調光率)を下げたり、オフィスワークに必要な照度が確保されていない部屋(領域)では照明装置30の出力(調光率)を上げたりする制御を行う。また、照明制御部453は、人が存在する部屋(領域)では照明装置30をオン、人が存在しない部屋(領域)では照明装置30をオフ、また、人の分布に応じて照明装置30の調光率を変化させる等の制御を行う。
 また、制御の対象となる照明装置30は、照度判定部452から照度とともに入力されるセンサ識別子や画像センサ10からセンシング結果とともに送信されるセンサ識別子に基づき、センサ管理テーブル441から該当する照明識別子が選定されるものとする。なお、照度判定部452において、画像センサ10周辺の所定の配置位置毎に照度が判定されていた場合には、当該照度に基づき、この配置位置に対応する照明装置30を個別に制御する形態としてもよい。なお、配置位置と照明装置30(照明識別子)との対応関係は、上述したレイアウト情報等に基づき、該当する照明装置30を特定するものとする。
 以下、照明制御装置40が行う照明制御に係る処理について説明する。図14は、照明制御装置40で実行される照明制御処理の一例を示すフローチャートである。
 まず、センシング結果取得部451が、センサ管理テーブル441にセンサ識別子が登録された画像センサ10の各々から、センシング結果を取得する(ステップS31)。ここで、センシング結果を取得するタイミングは、特に問わないものとする。また、各画像センサ10から一斉に取得する形態としてもよいし、それぞれ異なるタイミングで取得する形態としてもよい。また、センシング結果取得部451から画像センサ10に、センシング結果の送信を要求する形態としてもよいし、画像センサ10から送信されるセンシング結果を待機する形態としてもよい。
 続いて、照度判定部452は、ステップS31で取得されたセンシング結果に含まれる照度に基づいて、そのセンシング結果を送信した画像センサ10周辺の照度や、当該画像センサ10が設けられた部屋全体の照度を判定する(ステップS32)。
 そして、照明制御部453は、照度判定部452で判定の対象となった画像センサ10のセンサ識別子に対応する照明識別子をセンサ管理テーブル441から特定すると(ステップS33)、当該画像センサ10についてのステップS32の判定結果やセンシング結果に含まれる人の在/不在等の検知結果に基づき、その照明識別子に対応する照明装置30を調光(制御)し(ステップS34)、処理を終了する。なお、本処理は、センシング結果取得部451が、センシング結果を取得する毎に実行される。
 以上のように、本実施形態によれば、基本モデル241から生成された照度推定モデル131を用いて、撮像画像の輝度から照度を推定するため、照度推定を精度よく行うことができる。また、画像センサ10のセンシング結果を用いて、照明装置30を制御するため、照明装置30の制御をより確実に行うことができる。
 以上、第3の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
 例えば、上記第3の実施形態では、オフィスビル等の建物を管理対象とした例について説明したが、これに限らず、複数の建物や、屋外施設、地域全体等を管理対象としてもよい。また、上記実施形態では、照明装置30を制御対象としたが、これに限らず、空調装置等の他の電気機器を制御対象に含めてもよい。
 上記第1~第3の実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
 また、上記第1~第3の実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
 1 照度推定モデル設定システム
 2 画像センサシステム
 10、10A 画像センサ
 11 カメラ部
 12 通信部
 13 記憶部
 131 照度推定モデル
 14、14A 制御部
 141、141A 照度推定部
 142 人検出部
 143 センシング結果出力部
 20 照度推定モデル生成装置
 21 入力部
 22 表示部
 23 通信部
 24 記憶部
 241 基本モデル
 25 制御部
 251 基本モデル生成部
 252 基準画像取得部
 253 基準照度取得部
 254 照度推定モデル生成部
 255 照度推定モデル設定部
 30 照明装置
 40 照明制御装置
 41 入力部
 42 表示部
 43 通信部
 44 記憶部
 441 センサ管理テーブル
 45 制御部
 451 センシング結果取得部
 452 照度判定部
 453 照明制御部
 N 回線

Claims (13)

  1.  複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する保持手段と、
     照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段と、
     前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段と、
     前記基本モデルに基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段と、
     を備える情報処理装置。
  2.  前記基本モデルを生成する基本モデル生成手段を更に備え、
     前記保持手段は、前記基本モデル生成手段で生成された前記基本モデルを保持する請求項1に記載の情報処理装置。
  3.  前記基本モデル生成手段は、複数の照度と撮像画像の輝度との回帰式を前記被写体条件毎に求め、当該回帰式を前記基本モデルとして生成する請求項2に記載の情報処理装置。
  4.  前記照度推定モデル生成手段は、前記基準照度と前記基準画像の輝度との組で表されるデータ値を、前記基本モデルを用いて線形補間することで前記照度推定モデルを生成する請求項1~3の何れか一項に記載の情報処理装置。
  5.  前記照度推定モデル生成手段は、前記基準画像に含まれる一又は複数の領域から前記輝度を取得し、当該領域の各々について前記照度推定モデルを生成する請求項1~4の何れか一項に記載の情報処理装置。
  6.  前記照度推定モデル生成手段は、前記対象空間に設置された照明装置が照明する領域を前記基準画像から特定し、当該領域から取得した輝度に基づいて、前記照度推定モデルを生成する請求項5に記載の情報処理装置。
  7.  前記基準画像取得手段は、前回取得した基準画像と、前記対象空間で新たに撮像される撮像画像とを比較し、両画像の相違が所定の閾値を超えた場合、当該撮像画像を基準画像として新たに取得する請求項1~6の何れか一項に記載の情報処理装置。
  8.  請求項1~7の何れか一項に記載の情報処理装置で生成された照度推定モデルを保持する保持手段と、
     照度推定の対象空間で撮像された撮像画像を取得する取得手段と、
     前記照度推定モデルに基づいて、前記撮像画像の輝度に対応する照度を導出する導出手段と、
     を備える画像センサ装置。
  9.  前記導出手段は、前記撮像画像から動体又は局所的な光源が存在する領域を除外し、当該領域を除外した撮像画像から輝度を取得する請求項8に記載の画像センサ装置。
  10.  前記導出手段は、前記撮像画像から変化の少ない静的領域を特定し、当該静的領域から輝度を取得する請求項8又は9に記載の画像センサ装置。
  11.  前記保持手段は、前記撮像画像中の所定の領域と対応付けて照度推定モデルを保持し、
     前記導出手段は、前記照度推定モデルに対応付けられた前記撮像画像中の各領域から輝度を取得し、当該領域に対応する前記照度推定モデルを用いて照度をそれぞれ導出する請求項8~10の何れか一項に記載の画像センサ装置。
  12.  前記導出手段が導出した照度又は当該照度の度合いに応じた値を出力する出力手段を更に備える請求項8~11の何れか一項に記載の画像センサ装置。
  13.  複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する情報処理装置のコンピュータを、
     照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段と、
     前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段と、
     前記基本モデルに基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段と、
     して機能させるためのプログラム。
PCT/JP2013/050126 2012-03-12 2013-01-08 情報処理装置、画像センサ装置及びプログラム WO2013136822A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13730787.2A EP2827683A4 (en) 2012-03-12 2013-01-08 INFORMATION PROCESSING DEVICE, IMAGE SENSOR AND PROGRAM
SG2013051818A SG193230A1 (en) 2012-03-12 2013-01-08 Information processing device, image sensor device, and program
US13/820,690 US9137449B2 (en) 2012-03-12 2013-01-08 Luminance estimation model generation device, image sensor device, and computer program product
CN201380000456.1A CN103444267B (zh) 2012-03-12 2013-01-08 信息处理装置、图像传感器装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012054910A JP5726792B2 (ja) 2012-03-12 2012-03-12 情報処理装置、画像センサ装置及びプログラム
JP2012-054910 2012-03-12

Publications (1)

Publication Number Publication Date
WO2013136822A1 true WO2013136822A1 (ja) 2013-09-19

Family

ID=49160744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050126 WO2013136822A1 (ja) 2012-03-12 2013-01-08 情報処理装置、画像センサ装置及びプログラム

Country Status (6)

Country Link
US (1) US9137449B2 (ja)
EP (1) EP2827683A4 (ja)
JP (1) JP5726792B2 (ja)
CN (1) CN103444267B (ja)
SG (1) SG193230A1 (ja)
WO (1) WO2013136822A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2928269A1 (en) * 2014-04-04 2015-10-07 LG Electronics Inc. Lighting system and control method thereof
CN104467964B (zh) * 2014-11-10 2017-06-23 北京邮电大学 一种室内可见光通信的通信速率优化方法
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6251076B2 (ja) * 2014-02-17 2017-12-20 株式会社東芝 調整装置及び調整プログラム
JP6256137B2 (ja) * 2014-03-24 2018-01-10 東芝ライテック株式会社 センサ装置及びセンサ装置を用いる制御システム
JP6407562B2 (ja) * 2014-05-22 2018-10-17 株式会社東芝 照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラム
JP6316102B2 (ja) * 2014-06-04 2018-04-25 株式会社東芝 調整端末、調整方法及びコンピュータプログラム
JP6184612B2 (ja) * 2014-11-28 2017-08-23 三菱電機株式会社 照度推定装置および照度推定プログラム
US9948926B2 (en) * 2015-05-08 2018-04-17 Electronics And Telecommunications Research Institute Method and apparatus for calibrating multiple cameras using mirrors
CN105163435B (zh) * 2015-08-28 2018-02-13 北京京东方茶谷电子有限公司 照明方法和照明装置
WO2017100723A1 (en) 2015-12-11 2017-06-15 Lutron Electronics Co., Inc. Load control system having a visible light sensor
US20170223802A1 (en) * 2016-02-03 2017-08-03 Honeywell International Inc. Camera-aided controller of illumination
JP6681593B2 (ja) * 2016-03-17 2020-04-15 パナソニックIpマネジメント株式会社 照度取得システム、照明制御システム、及び照度取得プログラム
WO2018107182A2 (en) 2016-12-09 2018-06-14 Lutron Electronics Co., Inc. Load control system having a visible light sensor
US10552961B2 (en) * 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
JP6803536B2 (ja) * 2017-10-27 2020-12-23 パナソニックIpマネジメント株式会社 照明器具
JP7005285B2 (ja) * 2017-11-01 2022-01-21 株式会社東芝 画像センサ、センシング方法、制御システム及びプログラム
CN108229437A (zh) * 2018-02-02 2018-06-29 王辉 基于云计算的图像分析系统
JP2019158614A (ja) * 2018-03-13 2019-09-19 三菱電機株式会社 照度推定装置、プログラム
CN110466419A (zh) * 2018-10-31 2019-11-19 长城汽车股份有限公司 车辆的控制方法、系统及车辆
EP3964035A1 (en) 2019-04-30 2022-03-09 Signify Holding B.V. Camera-based lighting control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250696A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Works Ltd 照度自動設定システム
JP2001281054A (ja) * 2000-03-31 2001-10-10 Mitsubishi Electric Corp 照度検知装置
JP2002110371A (ja) * 2000-09-29 2002-04-12 Mitsubishi Electric Corp 照明制御システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256833B2 (en) * 2002-05-22 2007-08-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for automatically optimizing optical contrast in automated equipment
WO2007020760A1 (ja) * 2005-08-19 2007-02-22 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理システムおよび画像処理プログラム
JP4735255B2 (ja) * 2005-12-29 2011-07-27 オムロン株式会社 画像処理装置および画像処理装置の動作条件設定方法
KR101097017B1 (ko) * 2007-11-19 2011-12-20 후지쯔 가부시끼가이샤 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
KR101544033B1 (ko) * 2008-12-31 2015-08-12 삼성전자주식회사 디지털 카메라 및 그 제어방법
US8130292B2 (en) * 2008-12-31 2012-03-06 Aptina Imaging Corporation Scene illumination adaptive lens shading correction for imaging devices
US8462227B2 (en) * 2009-04-24 2013-06-11 Ati Technologies Ulc Digital camera module white balance calibration method and apparatus using only single illumination source data
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
JP2011081982A (ja) 2009-10-06 2011-04-21 Toshiba Corp 照明制御装置及び方法
JP4852159B2 (ja) * 2010-02-24 2012-01-11 株式会社東芝 画像処理装置、画像処理方法および空調制御装置
JP2011204643A (ja) * 2010-03-26 2011-10-13 Panasonic Electric Works Co Ltd 照明システム
EP2578062B1 (en) * 2010-06-03 2013-11-13 Koninklijke Philips N.V. Configuration unit and method for configuring a presence detection sensor
JP2012028015A (ja) * 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250696A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Works Ltd 照度自動設定システム
JP2001281054A (ja) * 2000-03-31 2001-10-10 Mitsubishi Electric Corp 照度検知装置
JP2002110371A (ja) * 2000-09-29 2002-04-12 Mitsubishi Electric Corp 照明制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2827683A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2928269A1 (en) * 2014-04-04 2015-10-07 LG Electronics Inc. Lighting system and control method thereof
US9668319B2 (en) 2014-04-04 2017-05-30 Lg Electronics Inc. Lighting system and control method thereof
CN104467964B (zh) * 2014-11-10 2017-06-23 北京邮电大学 一种室内可见光通信的通信速率优化方法
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法
CN114424263B (zh) * 2020-03-25 2023-06-27 株式会社日立制作所 行为识别服务器和行为识别方法

Also Published As

Publication number Publication date
US9137449B2 (en) 2015-09-15
CN103444267B (zh) 2015-04-01
JP5726792B2 (ja) 2015-06-03
JP2013191310A (ja) 2013-09-26
EP2827683A4 (en) 2015-09-23
SG193230A1 (en) 2013-10-30
CN103444267A (zh) 2013-12-11
US20150015775A1 (en) 2015-01-15
EP2827683A1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5726792B2 (ja) 情報処理装置、画像センサ装置及びプログラム
CN109076680B (zh) 控制照明系统
CN109076679B (zh) 控制照明系统
JP2016171526A (ja) 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
JP2013008460A (ja) 照明装置
US20140015417A1 (en) Lighting control system
JP2014017114A (ja) 照明システム
CN108370632A (zh) 产生照明场景
JP2013096947A (ja) 人センサ及び負荷制御システム
WO2019107060A1 (ja) 照明制御システムおよび照明制御方法
JP2013004490A (ja) 照明システム
EP3529788B1 (en) Presence detection system and method
JP2010123373A (ja) 照明システム
JP2016178517A (ja) 画像センサ、照明システム
JP2013206812A (ja) 調光システム
TW201419944A (zh) Led燈照明控制系統及方法
JP2013004311A (ja) 照明制御システム
JP5877372B2 (ja) 照明制御装置及び照明システム
KR101512141B1 (ko) 사람 움직임 방향을 고려한 스마트 조명 제어 장치 및 방법
JP6256137B2 (ja) センサ装置及びセンサ装置を用いる制御システム
JP6070173B2 (ja) 照明制御装置および照明制御方法
JP6709954B2 (ja) 照明制御システム
US20150245445A1 (en) Method of self-calibrating a lighting device and a lighting device performing the method
US20180249552A1 (en) Method and system for calculating color of ambient light
JP2011187292A (ja) 照明制御装置および照明ユニット

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13820690

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013730787

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13730787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE