JP6407562B2 - Illumination control system, image sensor, image sensor calibration method, and computer program - Google Patents
Illumination control system, image sensor, image sensor calibration method, and computer program Download PDFInfo
- Publication number
- JP6407562B2 JP6407562B2 JP2014106283A JP2014106283A JP6407562B2 JP 6407562 B2 JP6407562 B2 JP 6407562B2 JP 2014106283 A JP2014106283 A JP 2014106283A JP 2014106283 A JP2014106283 A JP 2014106283A JP 6407562 B2 JP6407562 B2 JP 6407562B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- space
- image sensor
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラムに関する。 Embodiments described herein relate generally to an illumination control system, an image sensor, an image sensor calibration method, and a computer program.
従来、明るさセンサを用いて照明機器の明るさを制御することが行われている。照明機器は、明るさセンサが検知する明るさが予め設定された明るさの範囲となるように制御される。そのため、明るさセンサには予め基準となる明るさの情報を設定する必要がある。この基準となる明るさの情報を明るさセンサに設定する作業を校正作業という。従来、明るさセンサの校正作業は、外光の無い夜間に行われており、作業員が基準となる明るさの情報を照度計を用いて計測していた。そのため、校正作業に多くの労力を要する場合があった。 Conventionally, brightness of an illumination device is controlled using a brightness sensor. The illumination device is controlled so that the brightness detected by the brightness sensor falls within a preset brightness range. Therefore, it is necessary to set brightness information as a reference in advance in the brightness sensor. The work for setting the brightness information as a reference to the brightness sensor is called a calibration work. Conventionally, the calibration operation of the brightness sensor has been performed at night when there is no external light, and the brightness information used as a reference by the worker has been measured using an illuminometer. Therefore, a lot of labor may be required for the calibration work.
本発明が解決しようとする課題は、照明機器を制御するためのセンサ装置の校正作業に要する労力を削減することができる照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラムを提供することである。 The problem to be solved by the present invention is to provide an illumination control system, an image sensor, an image sensor calibration method, and a computer program that can reduce labor required for calibration work of a sensor device for controlling an illumination device. is there.
実施形態の照明制御システムは、撮像部、推定部及び校正部を備える画像センサと、校正制御部を備える照明制御装置と、を持つ。撮像部は、空間の画像を取得する。推定部は、前記画像及び前記空間の反射率に基づいて前記空間の明るさを推定する。校正部は、前記撮像部が所定のタイミングで取得する前記空間の画像に基づいて前記反射率を校正する。校正制御部は、前記校正部が前記反射率の校正処理を実施する際に前記空間の照明機器を所定の調光率で点灯させる。前記校正部は、前記照明機器が前記調光率で点灯している状態で取得された前記空間の画像と、前記撮像部が前記画像の取得時に使用した撮像パラメータと、前記照明機器の調光率と出力光量との関係性を示す照明パラメータと、に基づいて前記反射率を取得する。The illumination control system of the embodiment includes an image sensor including an imaging unit, an estimation unit, and a calibration unit, and an illumination control device including a calibration control unit. The imaging unit acquires an image of the space. The estimation unit estimates the brightness of the space based on the image and the reflectance of the space. The calibration unit calibrates the reflectance based on the image of the space acquired by the imaging unit at a predetermined timing. The calibration control unit turns on the lighting device in the space at a predetermined dimming rate when the calibration unit performs the reflectance calibration process. The calibration unit includes an image of the space acquired when the lighting device is lit at the dimming rate, an imaging parameter used by the imaging unit when acquiring the image, and dimming of the lighting device. The reflectance is acquired based on the illumination parameter indicating the relationship between the rate and the output light quantity.
以下、実施形態の照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラムを、図面を参照して説明する。 Hereinafter, an illumination control system, an image sensor, an image sensor calibration method, and a computer program according to embodiments will be described with reference to the drawings.
図１は、実施形態の照明制御システム１のシステム構成を示すシステム構成図である。
照明制御システム１は、制御対象の照明機器２−１〜２−３を制御するシステムである。制御対象となる照明機器の数は、図１と異なる数であってもよい。以下の説明では、特に区別しない限り、照明機器２−１〜２−３を照明機器２と記す。
照明制御システム１は、外部システム４、画像センサ３−１〜３−３、第１のネットワーク５１、第２のネットワーク５２、第３のネットワーク５３、ゲートウェイ装置６及びＨＵＢ７を備える。
Drawing 1 is a system configuration figure showing the system configuration of
The
The
外部システム４は、制御対象の機器の制御を行う装置やシステムの集合である。例えば、外部システム４は、ＢＥＭＳ（Building Energy Management System）４１（登録商標、以下同様。）などの制御システム、及び、空調制御装置４２や照明制御装置４３などの制御装置を備える。ＢＥＭＳとは、ビル内の機器や設備などの運転を管理することによってエネルギー消費量の削減を図るためのビル管理システムである。外部システム４は、第１のネットワーク５１に接続され、ゲートウェイ装置６を介して画像センサ３−１〜３−３と通信可能である。また、照明制御装置４３は、第３のネットワーク５３を介して照明機器２と通信可能である。外部システム４は、画像センサ３から送信される情報に基づいて、照明機器２の動作を制御する。
The external system 4 is a set of devices and systems that control devices to be controlled. For example, the external system 4 includes a control system such as a BEMS (Building Energy Management System) 41 (registered trademark, the same applies hereinafter) and a control device such as an air
画像センサ３−１〜３−３は、設置された位置付近の空間（以下、「対象空間」という。）の画像（空間画像）を撮像し、撮像された画像から空間の明るさに関する情報を取得するセンサ装置である。図１において、画像センサ３−１〜３−３はそれぞれ、照明機器２−１〜２−３を制御するためのセンサ装置である。図１では、１つの画像センサに１つの照明機器が対応づけられているが、１つの画像センサには複数の照明機器が対応づけられてもよい。画像センサ３−１〜３−３は、ＨＵＢ７によって第２のネットワーク５２に収容され、ゲートウェイ装置６と通信可能である。画像センサ３−１〜３−３は、ゲートウェイ装置６を介して外部システム４と通信可能である。画像センサ３−１〜３−３は、取得した対象空間の明るさに関する情報を照明制御装置４３に送信する。以下の説明では、特に区別しない限り、画像センサ３−１〜３−３を画像センサ３と記す。なお、画像センサ３の数は、図１と異なる数であってもよい。
The image sensors 3-1 to 3-3 capture an image (spatial image) of a space in the vicinity of the installed position (hereinafter referred to as “target space”), and information on the brightness of the space from the captured image. It is a sensor device to acquire. In FIG. 1, image sensors 3-1 to 3-3 are sensor devices for controlling the lighting devices 2-1 to 2-3, respectively. In FIG. 1, one illumination device is associated with one image sensor, but a plurality of illumination devices may be associated with one image sensor. The image sensors 3-1 to 3-3 are accommodated in the
第１のネットワーク５１は、外部システム４を収容するネットワークである。例えば、第１のネットワーク５１はＢＡＣｎｅｔ（Building Automation and Control Networking protocol）や産業用Ｅｔｈｅｒｎｅｔ（登録商標、以下同様。）などの規格によって規定されたプロトコルで通信するネットワークである。ＢＡＣＡｎｅｔは、インテリジェントビル用のネットワーク規格であり、空調機器や照明機器の制御や、アクセス制御、火気検出などに用いられる。産業用Ｅｔｈｅｒｎｅｔは、主に工場等の製造現場におけるＦＡ（Factory Automation）システムに対応したＥｔｈｅｒｎｅｔ規格である。
The
第２のネットワーク５２は、画像センサ３を収容するネットワークである。第２のネットワーク５２は、ゲートウェイ装置６によって第１のネットワーク５１に接続される。なお、第２のネットワーク５２は、第１のネットワーク５１に統合されもよい。
第３のネットワーク５３は、照明機器２及び照明制御装置４３を収容するネットワークである。なお、第３のネットワーク５３は、第１のネットワーク５１又は第２のネットワーク５２に統合されもよい。
The
The
ゲートウェイ装置６は、第１のネットワーク５１と第２のネットワーク５２と間の通信を中継するゲートウェイ装置である。ゲートウェイ装置６は、第１のネットワーク５１と第２のネットワーク５２との間で通信プロトコルを変換する。
ＨＵＢ７は、画像センサ３を第２のネットワーク５２に収容させるネットワークハブである。
The
The HUB 7 is a network hub that accommodates the
図２は、画像センサ３の機能構成を示す機能ブロック図である。
画像センサ３は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、センサ制御プログラムを実行する。画像センサ３は、センサ制御プログラムの実行によって記憶部３１、通信部３２、撮像部３３、撮像制御部３４、画像処理部３５、校正処理部３６及び明るさ推定部３７を備える装置として機能する。
なお、画像センサ３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。センサ制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。センサ制御プログラムは、電気通信回線を介して送信されてもよい。
FIG. 2 is a functional block diagram showing a functional configuration of the
The
Note that all or part of the functions of the
記憶部３１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部３１は、撮像部３３によって撮像された画像及び撮像パラメータを記憶する。
通信部３２は、ＬＡＮ（Local Area Network）等の通信インターフェースを用いて構成される。通信部３２は、ＨＵＢ７を介して外部システム４及びゲートウェイ装置６との間で通信する。
撮像部３３は、レンズと撮像素子とシャッタとを備え、撮像制御部３４の制御によって空間を撮像する装置として動作する。例えば、本実施形態では、撮像部３３は、撮像範囲が広い魚眼レンズを用いて構成される。撮像部３３は、撮像制御部３４の制御に基づいて、自装置が設置された位置から対象空間の画像を取得する。撮像部３３は、取得した画像を撮像制御部３４に出力する。
The
The
The
撮像制御部３４は、撮像部３３の動作を制御する。撮像制御部３４は、撮像部３３に撮像パラメータを設定し、撮像部３３に撮像を指示する。撮像パラメータとは、ゲインやシャッタースピードなどのカメラの撮像動作を制御するためのパラメータである。また、撮像制御部３４は、撮像された画像及びその画像が撮像されたときの撮像パラメータを撮像部３３から取得する。撮像制御部３４は、取得された画像と撮像パラメータとを記憶部３１に記憶させる。
The
画像処理部３５は、撮像部３３によって取得された画像について画像処理を行う。画像処理部３５は、画像処理によって、対象空間における人の在・不在や、人数、人の活動量、人の行動などの情報を取得する。また、画像処理部３５は、画像処理によって、対象空間におけるレイアウトに関する情報を取得する。
The image processing unit 35 performs image processing on the image acquired by the
校正処理部３６は、校正処理における自装置の動作を制御する。校正処理とは、画像センサ３に設定されている明るさ推定パラメータを現状に合わせて修正する処理である。明るさ推定パラメータは、撮像部３３によって取得された画像に基づいて、画像センサ３が対象空間の明るさに関する情報を推定するためのパラメータである。具体的には、明るさ推定パラメータは、空間の反射率である。空間の反射率については後述する。
The
明るさ推定部３７は、撮像部３３によって取得された画像と、明るさ推定パラメータとに基づいて、対象空間の明るさに関する情報を推定する。明るさ推定部３７は、推定された対象空間の明るさに関する情報を照明制御装置４３に送信する。送信された明るさに関する情報は、照明制御装置４３が照明機器２を制御するための情報として使用される。明るさ推定部３７は、次に示す式１に基づいて、対象空間の明るさに関する情報を推定する。
式１は、画像センサ３に入力される光の量（画像センサへの入力光量）と、照明機器２が出力する光の量（照明の光量）との関係を表す式である。照明機器２から出力された光の一部は、対象空間内の物体に吸収される。そのため、照明機器２から出力された光のうち、対象空間内の物体に吸収されずに反射された光が画像センサ３に入力される光となる。空間の反射率は、照明機器２から出力された光のうち、画像センサ３に入力された光の量の割合を表すパラメータである。
式１の照明の光量は、以下に示す式２によって算出される。式１の画像センサへの入力光量は、以下に示す式３によって算出される。
The amount of illumination of
式２は、照明機器２が出力する光の量（照明の光量）と、照明機器２が出力する光の量（照明の光量）を調節するための調光率との関係を表す式である。ｇは、調光率と照明の光量との関係表す照明パラメータである。照明パラメータｇは、照明機器２の出力特性を表す既知のパラメータである。
式３において関数ｆは、撮像された画像と、その画像が撮像されたときの撮像パラメータとから、画像センサ３に入力された光の量（画像センサへの入力光量）を推定するモデル関数である。関数ｆは、撮像部３３の撮像機能の仕様に基づいて決定される既知の関数である。
In
照明機器２の運用時は、式３によって、画像センサ３が取得した画像と、その画像が取得されたときの撮像パラメータとから画像センサ３への入力光量が算出される。そして、画像センサ３への入力光量と空間の反射率とを式１に適用することによって照明の光量が算出される。このようにして推定された照明の光量を表す情報は、対象空間の明るさを表す情報として照明制御装置４３に送信される。照明制御装置４３は、対象空間の明るさを表す情報が示す照明の光量に基づいて、照明機器２の調光率を制御する。
When the
また、画像センサ３の校正時は、照明制御装置４３から画像センサ３に調光率が入力される。画像センサ３はその調光率で照明機器２が点灯しているときの対象空間を撮像する。画像センサ３は、取得した画像と、その画像が撮像されたときの撮像パラメータとに基づいて、画像センサ３への入力光量を算出する。画像センサ３は、算出された画像センサ３への入力光量と、入力された調光率と、照明パラメータとを式４に適用することによって、空間の反射率を算出する。画像センサ３は、算出された結果に基づいて自装置に設定されている空間の反射率を校正する。
Further, when the
図３は、照明の光量と調光率との関係の具体例を示す図である。
図３において縦軸は、照明の光量を表す。横軸は、照明の調光率を表す。符号８１は、照明の光量と照明の調光率との関係を表す特性曲線である。この特性曲線８１に基づいて照明パラメータｇが決定される。照明パラメータｇは、特性曲線８１を表す関数として表されてもよい。また照明パラメータｇは、特性曲線８１が示す照明の光量の値を所定の数サンプリングし、サンプリングされた照明の光量の値と、対応する調光率とを組み合わせたデータの集合として表されてもよい。
FIG. 3 is a diagram illustrating a specific example of the relationship between the amount of illumination light and the dimming rate.
In FIG. 3, the vertical axis represents the amount of illumination light. The horizontal axis represents the dimming rate of illumination.
図４は、照明制御装置４３の機能構成を示す機能ブロック図である。
照明制御装置４３は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、照明制御プログラムを実行する。照明制御装置４３は、照明制御プログラムの実行によって記憶部４３１、第１通信部４３２、第２通信部４３３、明るさ制御部４３４及び校正制御部４３５を備える装置として機能する。
なお、照明制御装置４３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。照明制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。照明制御プログラムは、電気通信回線を介して送信されてもよい。
FIG. 4 is a functional block diagram showing a functional configuration of the
The
Note that all or part of the functions of the
記憶部４３１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部４３１は、明るさ制御部４３４による照明機器２の明るさの制御に必要な情報を記憶する。例えば、記憶部４３１は、照明機器２ごとの調光率を示す情報を記憶する。例えば、記憶部４３１は、画像センサ３から送信された照明の光量を示す情報を記憶する。また、記憶部４３１は、校正制御部４３５による校正処理の制御に必要な情報を記憶する。例えば、記憶部４３１は、校正処理に用いられる所定の調光率を示す情報を記憶する。
The
第１通信部４３２は、ＬＡＮ等の通信インターフェースを用いて構成される。第１通信部４３２は、照明制御装置４３を第１のネットワーク５１に接続する。第１通信部４３２は、ゲートウェイ装置６及びＨＵＢ７を介して画像センサ３との間で通信する。
第２通信部４３３は、ＬＡＮ等の通信インターフェースを用いて構成される。第２通信部４３３は、照明制御装置４３を第３のネットワーク５３に接続する。第２通信部４３３は、照明機器２との間で通信する。
The
The
明るさ制御部４３４は、照明機器２の照明動作を制御する。具体的には、明るさ制御部４３４は、画像センサ３から送信された対象空間の明るさに関する情報（画像センサへの入力光量）を取得する。このとき、取得した対象空間の明るさに関する情報は、外光や対象空間における人の活動等の影響を含んで推定された光量である。明るさ制御部４３４は、画像センサ３から取得した対象空間の明るさに関する情報が示す光量が、予め設定された所定の光量よりも大きい場合は、照明機器２の調光率を下げるように制御する。また、明るさ制御部４３４は、画像センサ３から取得した対象空間の明るさに関する情報が示す光量が、予め設定された所定の光量よりも小さい場合は、照明機器２の調光率を上げるように制御する。
The
校正制御部４３５は、照明機器２の校正処理を制御する。具体的には、校正制御部４３５は、所定の調光率で照明を点灯させ、その調光率の情報を画像センサ３に送信する。
The
図５は、校正処理において取得された空間の反射率の具体例を示す図である。
図５において、縦軸は、画像センサ３に入力された調光率から算出される照明の光量を表す。横軸は、画像センサ３への入力光量を表す。図５にプロットされた各点は、異なる調光率における照明の光量と画像センサ３への入力光量とを表す。図５の例では、調光率が２５％、５０％、７５％及び１００％のときに取得された画像センサ３への入力光量を表す点がプロットされている。照明の光量は、調光率と照明パラメータとにより決定される。画像センサ３への入力光量は、画像センサ３によって取得された画像と、その画像が取得されたときの撮像パラメータとから推定される。符号８２は、プロットされた点の集合から推定された、照明の光量と画像センサ３への入力光量との関係を表す推定曲線である。すなわち、この推定曲線８２の勾配が、画像センサ３によって取得される空間の反射率となる。
FIG. 5 is a diagram illustrating a specific example of the reflectance of the space acquired in the calibration process.
In FIG. 5, the vertical axis represents the amount of illumination light calculated from the dimming rate input to the
図６は、画像センサ３の校正処理の流れを示すフローチャートである。
まず、照明制御装置４３の校正制御部４３５は、校正処理に使用する調光率の中から１つの調光率ａを選択する（ステップＳ１０１）。校正制御部４３５は、選択された調光率ａで校正対象の画像センサ３が受け持つ照明機器２を点灯させる（ステップＳ１０２）。校正制御部４３５は、照明機器２を点灯させると、画像センサ３に対象空間の撮像を指示する。画像センサ３の撮像制御部３４は、照明制御装置４３の指示に応じて、照明機器２が調光率ａで点灯する状態の対象空間の撮像を撮像部３３に指示する。撮像部３３は、対象空間を撮像し、取得した画像と、その画像を撮像したときの撮像パラメータとを撮像制御部３４に出力する。撮像制御部３４は、取得された画像と、その画像を取得したときの撮像パラメータと、そのときの調光率ａとを対応付けて記憶部３１に記憶させる（ステップＳ１０３）。
FIG. 6 is a flowchart showing the flow of the calibration process of the
First, the
具体的には、校正処理に使用される調光率は、２５％、５０％、７５％及び１００％の４つの調光率であってもよい。この場合、例えば、照明制御装置４３は、２５％、５０％、７５％及び１００％の順序で調光率を変更して照明機器２を点灯させる。照明制御装置４３が照明機器２の調光率を変更する順序は、前述した以外の順序であってもよい。例えば、上述した順序と逆の順序であってもよい。また、次に使用される調光率が、画像取得が完了していない調光率の中から任意に選択されてもよい。また、校正処理に使用される調光率は上記のものに限定されない。使用される調光率は、校正処理に許される時間や、明るさ制御に求められる精度などのバランスを考慮して任意に選択されてよい。
Specifically, the dimming rates used for the calibration process may be four dimming rates of 25%, 50%, 75%, and 100%. In this case, for example, the
次に、照明制御装置４３の校正制御部４３５は、校正処理に使用する全ての調光率について対象空間の画像を取得したかを判定する（ステップＳ１０４）。対象空間の画像を取得していない調光率が存在する場合（ステップＳ１０４−ＮＯ）、校正制御部４３５は、対象空間の画像を取得していない調光率の中から１つの調光率を選択し、調光率ａを変更する（ステップＳ１０５）。そして、ステップＳ１０１に戻り、対象空間の画像の取得を繰り返す。
一方、ステップＳ１０４において、全ての調光率について対象空間の画像を取得した場合（ステップＳ１０４−ＹＥＳ）、画像センサ３の校正処理部３６は、校正処理に使用する全ての調光率について取得された対象空間の画像に基づいて、空間の反射率を取得する（ステップＳ１０６）。
Next, the
On the other hand, when images of the target space are acquired for all dimming rates in step S104 (step S104-YES), the
なお、照明機器２は、温度によって出力特性が変化するため、調光率を変化した場合に光の出力が安定するまでにある程度の時間を要する。そのため、調光率を変化させた後、画像センサ３が対象空間を撮像するまでの間に、照明機器２の出力が安定するのに十分な所定時間を確保することによって、画像センサ３の校正処理をより正確に行うことができる。この場合、画像センサ３は、所定時間後に取得した画像に基づいて空間の反射率を取得してもよいし、所定時間内に取得した画像に基づいて空間の反射率を取得してもよい。例えば、所定時間内に取得した画像に基づいて取得された空間の反射率の平均値や、最頻値などの統計値が、空間の反射率として用いられてもよい。
Note that since the output characteristics of the
図６の校正処理では、画像センサ３は取得された画像に基づいて、空間の反射率を取得することによって、自装置に設定されている空間の反射率を校正する。この反射率の校正処理は、取得された画像に画像処理を行うことによって、画像から空間の反射率が変化したことが推定された場合に実施されるようにしてもよい。この推定によって、空間の反射率が一時的な空間の状態の変化によって校正されることを抑制することができる。一時的な空間の状態の変化とは、例えば、机上にある書類の位置の変化やＰＣの位置の変化などである。画像から空間の反射率が変化したことを認識する手法の具体例を次に示す。
In the calibration process of FIG. 6, the
図７は、画像センサ３によって取得された画像の具体例を示す図である。
符号Ａ１は、撮像部３３に魚眼レンズを用いた画像センサ３が、対象空間を上から俯瞰して取得した画像である。対象空間の部屋は、上部に照明機器２が設置されており、照明機器２から光が供給されている。符号Ａ１−１は、画像に写りこんだ魚眼レンズの外周である。符号Ａ１−２は、対象空間である部屋の床の外周である。符号Ａ１−３は、床Ａ１−２に設置された机である。画像Ａ１では、机Ａ１−３の上面は周囲よりも明るくなっており、光をよく反射していることが分かる。
FIG. 7 is a diagram illustrating a specific example of an image acquired by the
A reference sign A1 is an image acquired by the
図８は、画像センサ３によって取得された画像の具体例を示す図である。
図８の画像Ａ２は、図７の画像Ａ１に撮像された対象空間と同じ空間が撮像された画像である。画像Ａ２には、画像Ａ１の机Ａ１−３の一部が対象空間外に移動され、机Ａ２−１が残された状態の対象空間が撮像されている。
FIG. 8 is a diagram illustrating a specific example of an image acquired by the
An image A2 in FIG. 8 is an image in which the same space as the target space imaged in the image A1 in FIG. 7 is captured. In the image A2, a part of the desk A1-3 of the image A1 is moved out of the target space, and the target space in a state where the desk A2-1 is left is captured.
図９は、画像センサ３によって取得された画像の具体例を示す図である。
図９の画像Ａ３は、図７の画像Ａ１に撮像された対象空間と同じ空間が撮像された画像である。画像Ａ３には、撮像された部屋の四方の壁のうちの一方が別の壁に変更された状態の対象空間が撮像されている。そのため、変更後の壁Ａ３−１は周囲よりも明るくなっており、光をよく反射していることが分かる。
FIG. 9 is a diagram illustrating a specific example of an image acquired by the
An image A3 in FIG. 9 is an image in which the same space as the target space imaged in the image A1 in FIG. 7 is captured. In the image A3, the target space in a state where one of the four walls of the captured room is changed to another wall is captured. Therefore, it can be seen that the changed wall A3-1 is brighter than the surroundings and reflects light well.
図１０は、画像処理によってレイアウトの変更領域が認識された画像の具体例を示す図である。
図１０において、画像Ａ４は、図７の画像Ａ１及び図８の画像Ａ２に基づいて認識された、対象空間におけるレイアウトの変更領域Ａ４−１を表す画像である。レイアウトの変更領域Ａ４−１は、すなわち、画像Ａ１において、対象空間外に移動された机Ａ１−２に対応する領域である。
FIG. 10 is a diagram illustrating a specific example of an image in which a layout change area is recognized by image processing.
In FIG. 10, an image A4 is an image representing a layout change area A4-1 in the target space, recognized based on the image A1 in FIG. 7 and the image A2 in FIG. That is, the layout change area A4-1 is an area corresponding to the desk A1-2 moved out of the target space in the image A1.
図１１は、画像処理によってレイアウトの変更領域が認識された画像の具体例を示す図である。
図１１において、画像Ａ５は、図７の画像Ａ１及び図９の画像Ａ３に基づいて認識された、対象空間におけるレイアウトの変更領域Ａ５−１を表す画像である。レイアウトの変更領域Ａ５−１は、すなわち、画像Ａ３において変更された壁Ａ３−１に対応する領域である。
FIG. 11 is a diagram illustrating a specific example of an image in which a layout change area is recognized by image processing.
In FIG. 11, an image A5 is an image representing a layout change area A5-1 in the target space recognized based on the image A1 in FIG. 7 and the image A3 in FIG. The layout change area A5-1 is an area corresponding to the wall A3-1 changed in the image A3.
このように、レイアウトが変更される前後の画像を画像処理により比較することによって、画像センサ３は、対象空間におけるレイアウトの変更の有無を認識することができる。さらに、画像センサ３は、レイアウトの変更領域を表す画像に基づいて、レイアウトが変更された領域が対象空間の明るさ（空間の反射率）に寄与する度合いを推定することができる。例えば、レイアウトの変更領域が小さい場合、空間の反射率に与える影響は小さいと推定できる。また、例えば、レイアウトの変更領域が大きい場合であっても、その領域の物体の反射率が小さい場合、空間の反射率に与える影響は小さいと推定できる。このように、画像センサ３は、レイアウトが変更される前後の画像に基づいて、空間の反射率が変化したことを推定することができる。
In this way, by comparing the images before and after the layout is changed by image processing, the
レイアウトが変更される前の画像には、画像センサ３の初期導入時の調整作業において取得された画像が用いられてもよいし、前回の校正処理において取得された画像が用いられてもよい。また、比較対象の画像は、背景を生成する画像処理によって不要な被写体が除去された状態で比較されてもよい。なお、画像から取得される対象空間の反射率は、空間の光量や撮像パラメータによって変化する。そのため、比較対象とする画像には、照明機器の調光率や撮像パラメータが同じ状況で撮像された対象空間の画像が用いられるとよい。ただし、明るさの変化に強い画像処理手法が用いられる場合、比較対象とする画像には、調光率と撮像パラメータとが異なる状態で撮像された画像が用いられてもよい。画像を比較する手法には、エッジ画像を生成し、エッジの相関性を評価する手法が用いられてもよいし、画像特徴量の相関性を評価する手法が用いられてもよい。
As the image before the layout is changed, an image acquired in the adjustment work at the time of initial introduction of the
また、空間の反射率が変化したことを推定するために用いられる画像の領域（以下、「校正用領域」という。）には、照明機器２の明るさ制御において明るさに関する情報を推定するために用いられる画像の領域（以下、「制御用領域」という。）と異なる領域が用いられてもよい。次に、取得された画像から制御用領域を推定する方法の具体例について説明する。
In addition, in an area of an image used to estimate that the reflectance of the space has changed (hereinafter referred to as “calibration area”), information related to brightness is estimated in the brightness control of the
図１２は、校正用領域と制御用領域の具体例を示す図である。
画像Ｂは、撮像部３３に魚眼レンズを用いた画像センサ３によって取得された対象空間の画像である。符号Ｂ１が示す領域は、画像Ｂにおける制御用領域を表す。符号Ｂ２−１及び符号Ｂ２−２は、画像Ｂにおける校正用領域を表す。以下の説明では、特に区別しない限り、校正用領域Ｂ２−１及びＢ２−２を校正用領域Ｂ２と記す。画像センサ３の画像処理部３５は、校正用領域Ｂ２を、制御用領域Ｂ１以外の領域から選択する。このように、校正用領域Ｂ２が、制御用領域Ｂ１と異なる領域に設定されることによって人や外光などの一時的な要因が反射率の変化に及ぼす影響を抑制することができる。
FIG. 12 is a diagram showing a specific example of the calibration area and the control area.
The image B is an image of the target space acquired by the
図１３は、画像センサ３の校正処理の流れを示すフローチャートである。
図１３において、図６と同様の処理を行うステップには、図６と同様の符号を付すことにより説明を省略する。
まず、ステップＳ１０１〜ステップＳ１０５の処理を行うことにより、画像センサ３は、校正処理に使用する全ての調光率について、対象空間の画像を取得する。そして、画像センサ３の画像処理部３５が、取得された画像について画像処理を行う。画像処理部３５は、画像処理の結果に基づいて、空間の反射率が変化した可能性があるか否かを判定する（ステップＳ２０１）。空間の反射率が変化した可能性があると判定された場合（ステップＳ２０１−ＹＥＳ）、画像センサ３の校正処理部３６は、校正処理に使用する全ての調光率について取得された画像に基づいて空間の反射率を取得する（ステップＳ２０２）。そして、画像センサ３は、自装置に設定されている空間の反射率を、取得された空間の反射率に校正する。
一方、ステップＳ２０１において、空間の反射率が変化した可能性がないと判定された場合（ステップＳ２０１−ＮＯ）、校正処理部３６は、反射率の取得を行わずに処理を終了する。
FIG. 13 is a flowchart showing the flow of the calibration process of the
In FIG. 13, steps that perform the same processing as in FIG. 6 are denoted by the same reference numerals as in FIG.
First, the
On the other hand, when it is determined in step S201 that there is no possibility that the reflectance of the space has changed (step S201—NO), the
このように、取得された画像から、空間の反射率が変化したことが認識された場合に反射率の取得を行うことによって、空間の反射率が一時的な空間の状態の変化によって校正されることを抑制することができ、画像センサ３の校正をより正確に行うことができる。
また、画像センサ３は、レイアウトの変更領域を表す画像に基づいて、レイアウトの変更領域が対象空間の明るさ（空間の反射率）に寄与する度合いに応じて校正処理を行うことによって、画像センサ３の校正をより正確に行うことができる。具体的には、画像センサ３は、レイアウトの変更領域のうち、対象空間の明るさに寄与する度合いが小さい領域を、空間の反射率の取得に用いる画像の領域から除外する。このような校正処理の流れについて次に説明する。
Thus, when it is recognized from the acquired image that the reflectance of the space has changed, the reflectance of the space is calibrated by a temporary change in the state of the space by acquiring the reflectance. This can be suppressed, and the calibration of the
Further, the
図１４及び図１５は、画像センサ３の校正処理の流れを示すフローチャートである。
図１４及び図１５において、図１３と同様の処理を行うステップには、図１３と同様の符号を付すことにより説明を省略する。
まず、ステップＳ１０１〜ステップＳ１０５の処理を行うことにより、画像センサ３は、校正処理に使用する全ての調光率について、対象空間の画像を取得する。そして、画像センサ３の画像処理部３５が、取得された画像について画像処理を行う。画像処理の結果に基づいて、ステップＳ２０１において空間の反射率が変化した可能性があると判定された場合（ステップＳ２０１−ＹＥＳ）、画像処理部３５は、空間の反射率が変化した領域の大きさが所定の閾値Ｒｔｈより大きいか否かを判定する（ステップＳ３０１）。空間の反射率が変化した領域の大きさが閾値Ｒｔｈ以下である場合（ステップＳ３０１−ＮＯ）、画像処理部３５は、空間の反射率の変化が変化した領域の大きさが所定の閾値Ｒｔｌより小さいか否かを判定する（ステップＳ３０２）。空間の反射率が変化した領域の大きさが閾値Ｒｔｌより小さい場合（ステップＳ３０２−ＹＥＳ）、画像処理部３５は、空間の反射率が変化した領域の画像に、この領域を空間の反射率の取得に使用しない領域としてマークするためのマスク処理を行う（ステップＳ３０３）。校正処理部３６は、校正処理に使用する全ての調光率について取得された画像の領域のうち、マスクされていない領域の画像に基づいて空間の反射率を取得する（ステップＳ３０４）。
14 and 15 are flowcharts showing the flow of the calibration process of the
14 and 15, steps for performing the same processing as in FIG. 13 are denoted by the same reference numerals as in FIG. 13, and description thereof is omitted.
First, the
一方、ステップＳ３０１において、空間の反射率が変化した領域の大きさが閾値Ｒｔｈより大きい場合（ステップＳ３０１−ＹＥＳ）、ステップＳ３０４に進み、校正処理部３６は、取得された画像に基づいて空間の反射率を取得する。
また、一方、ステップＳ３０２において、空間の反射率が変化した領域の大きさが閾値Ｒｔｌ以上である場合（ステップＳ３０２−ＮＯ）、ステップＳ３０４に進み、校正処理部３６は、取得された画像に基づいて空間の反射率を取得する。
On the other hand, in step S301, when the size of the area where the reflectance of the space has changed is larger than the threshold value Rth (step S301-YES), the process proceeds to step S304, and the
On the other hand, when the size of the region where the reflectance of the space has changed is greater than or equal to the threshold value R tl in step S302 (step S302-NO), the process proceeds to step S304, and the
このように、空間の反射率が変化したことが認識された場合、画像センサ３は、変化量（例えば、空間の反射率が変化した領域の大きさ）が小さい場合は、その変化は一時的な変化であると判断して、その領域の画像にマスク処理を施す。画像センサ３は、マスクされていない領域の画像に基づいて空間の反射率を取得することによって、画像センサ３は、より正確な空間の反射率を取得することができる。
Thus, when it is recognized that the reflectance of the space has changed, the
以上、画像センサ３が自装置に設定されている空間の反射率を、取得した画像に基づいて取得された空間の反射率に校正する校正処理について説明した。しかしながら、上記の説明は、照明パラメータは、変化しないことを前提とした説明であった。実際には、照明パラメータは、照明機器の劣化に伴って緩やかに変化する。そのため、画像センサ３は、空間の反射率に加えて、照明パラメータについても校正する必要がある。取得された画像に基づいて、空間の反射率及び照明パラメータを校正する画像センサ３の校正処理について次に説明する。なお、照明パラメータは、空間の反射率に比べて十分に緩やかに変化するため、空間の反射率の変化と、照明パラメータの変化とは同時に発生しないことを前提とする。
The calibration process for calibrating the reflectance of the space set in the
図１６は、画像センサ３の校正処理の流れを示すフローチャートである。
図１６において、図１４及び図１５と同様の処理を行うステップには、図１４及び図１５と同様の符号を付すことにより説明を省略する。
まず、ステップＳ１０１〜ステップＳ１０５の処理を行うことにより、画像センサ３は、校正処理に使用する全ての調光率について、対象空間の画像を取得する。そして、画像センサ３の画像処理部３５が、取得された画像について画像処理を行う。画像処理の結果に基づいて、ステップ２０１において空間の反射率が変化した可能性がないと判定された場合（ステップＳ２０１−ＮＯ）、校正処理部３６は、校正処理に使用する全ての調光率について取得された画像に基づいて照明パラメータを取得する（ステップＳ４０１）。
FIG. 16 is a flowchart showing the flow of the calibration process of the
In FIG. 16, steps similar to those in FIGS. 14 and 15 are denoted by the same reference numerals as in FIGS. 14 and 15, and description thereof is omitted.
First, the
図１７は、校正処理において取得された照明パラメータの具体例を示す図である。
図１７において、縦軸は、画像センサ３によって取得された画像から推定された照明の光量を表す。横軸は、各画像が取得されたときの照明機器２の調光率を表す。図１７にプロットされた点は、各調光率において取得された画像から推定された照明の光量を表す。符号８３は、プロットされた点の集合から推定された調光率と照明の光量との関係を表す照明パラメータ推定曲線である。照明パラメータｇは、直線で近似された照明パラメータ推定曲線８３の勾配で表されてもよいし、調光率を入力とする関数として表されてもよい。
FIG. 17 is a diagram illustrating a specific example of the illumination parameter acquired in the calibration process.
In FIG. 17, the vertical axis represents the amount of illumination estimated from the image acquired by the
このように、画像センサ３の校正処理において、照明パラメータが校正されることによって、時間の経過による照明機器２の劣化を補正した照明機器２の制御が可能となる。具体的には、照明機器２の運用時においては、画像センサ３の明るさ推定部３７は、校正後の照明パラメータと調光率とから照明の光量を算出する。明るさ推定部３７は、算出された照明の光量を表す情報を照明制御装置４３に送信する。照明制御装置４３は、校正後の照明パラメータを用いて算出された照明の光量に基づいて調光率を決定し照明機器２を制御する。
As described above, in the calibration process of the
以上、画像センサ３の校正処理の内容について述べた。上述した校正処理は、人の判断によって任意のタイミングで実行されてもよいが、対象の画像センサ３の数が多い場合、個々の画像センサ３に対する校正処理の実行を人手で入力するのには、多くの労力を要する。そのため、校正作業の労力を低減するために、校正処理の実行を制御する方法が用意されていることが望ましい。以下では、校正処理の実施タイミングを制御する方法の具体例と、校正対象の機器を管理し校正作業を支援するためのツール（以下、「校正ツール」という。）の具体例について説明する。校正ツールは、校正作業を行う利用者が使用する作業端末にインストールされて実行される。校正ツールは、画像センサ３及び照明制御装置４３と通信することによって以下の機能を実現する。
The content of the calibration process of the
まず、校正処理の実施タイミングを制御する方法の具体例について説明する。校正ツールは、利用者によって入力された校正処理の実施タイミングを、照明制御装置４３に送信する。照明制御装置４３は、送信された実施タイミングに基づいて校正処理を制御する。例えば、校正処理は、所定のタイミングで自動的に実行されるように制御されてもよい。例えば、校正処理が、隔週の所定の曜日に実行されるように制御されてもよい。例えば、校正処理が、カレンダーによって指定された日時に実行されるように制御されてもよい。
First, a specific example of a method for controlling the execution timing of the calibration process will be described. The calibration tool transmits the calibration processing execution timing input by the user to the
また、校正処理の実施タイミングは、画像センサ３が画像処理によって対象空間の状態を認識し、その認識された状態に応じて制御されてもよい。例えば、画像センサ３が画像処理によって人の在・不在を認識することによって、校正処理が無人の夜間に実行されるように制御されてもよい。例えば、画像センサ３が画像処理によって、照明の点灯・消灯を認識することによって、照明が点灯中のときには、校正処理が実行されないように制御されてもよい。例えば、画像センサ３が空間の反射率が変化したことを認識したときに、校正処理が実行されるように制御されてもよい。
Further, the execution timing of the calibration process may be controlled in accordance with the recognized state when the
また、校正処理の実施のタイミングは、実行可能な時間帯又は実行不可能な時間帯を設定することによって制御されてもよい。
また、校正処理の実施のタイミングは、所定の単位ごとに制御されてもよい。例えば、個々の画像センサ３の単位で制御されてもよいし、複数の画像センサ３を１つの単位として制御されてもよい。例えば、画像センサ３が設置された建物やフロアを１つの単位として制御されてもよい。
In addition, the timing of performing the calibration process may be controlled by setting a feasible time zone or an infeasible time zone.
Further, the timing of performing the calibration process may be controlled for each predetermined unit. For example, it may be controlled in units of
また、校正処理の実施のタイミングは、照明制御装置４３や画像センサ３などの機器が他の装置又はシステムと連携することによって制御されてもよい。例えば、勤務管理システムや、入退官管理システムなどの外部システムと連携し、勤務中の人がいる場合は校正処理が実行されないように制御されてもよい。例えば、ＢＥＭＳと連携し、ＢＥＭＳから通知されるレイアウトの変更などの契機に応じて制御されてもよい。
また、校正処理の実施のタイミングは、上記機器や装置、システム以外に、調整用のＰＣ（Personal Computer）やスマートフォン、タブレット、携帯電話などの情報機器によって遠隔制御されてもよい。
Further, the timing of performing the calibration process may be controlled by cooperation of devices such as the
In addition to the above-described devices, apparatuses, and systems, the timing of performing the calibration process may be remotely controlled by an information device such as a PC (Personal Computer) for adjustment, a smartphone, a tablet, or a mobile phone.
図１８及び図１９は、校正ツールの具体例を示す図である。
図１８の選択画面Ｃ１及び図１９の選択画面Ｃ２は、ともに、校正ツールによって表示される、校正対象の画像センサ３を選択するための画面である。選択画面Ｃ１及びＣ２は、作業端末が備える表示部に表示される。
図１８では、選択画面Ｃ１は、画像センサ３が設置されたフロアのフロアマップの態様で構成される。選択画面Ｃ１のフロアマップには、画像センサ３の位置に応じた選択オブジェクトＣ１−１及びＣ１−２が表示される。選択オブジェクトＣ１−１は、選択済みの画像センサ３を表し、選択オブジェクトＣ１−２は、未選択の画像センサ３を表す。選択オブジェクトＣ１−１及びＣ１−２は、オブジェクトの色や大きさ、形状などの表示形式の違いによって区別される。校正ツールの利用者は、キーボードやマウス、タッチパネルなどの入力デバイスを用いてこれらのオブジェクトを選択することによって、画像センサ３の選択と、選択の解除を入力する。校正ツールは、利用者によって選択された画像センサ３の情報を、照明制御装置４３に送信する。照明制御装置４３は、選択された画像センサ３の校正処理を制御する。このように、フロアマップの態様で表示された選択画面を用いることによって、利用者は、校正対象の機器の選択を容易に行うことができる。
18 and 19 are diagrams showing specific examples of the calibration tool.
The selection screen C1 in FIG. 18 and the selection screen C2 in FIG. 19 are both screens for selecting the
In FIG. 18, the selection screen C1 is configured in the form of a floor map of the floor on which the
図１９では、選択画面Ｃ２は、所定の区分に分類された画像センサ３をリスト形式で表示する態様で構成される。符号Ｃ２−１は、フロアごとのフロア区分を表す。符号Ｃ２−２及びＣ２−３は、フロア内で分割された領域ごとのゾーン区分を表す。画像センサ３は、所属するゾーン区分ごとにリスト形式で表示される。フロア区分Ｃ２−１、ゾーン区分
Ｃ２−２、ゾーン区分Ｃ２−３及びリストアップされた各画像センサ３は、それぞれ、選択を入力するためのチェックボックスを伴って表示される。校正ツールの利用者は、チェックボックスを選択することによって、対応する画像センサ３の選択と、選択の解除を入力する。このように、リスト形式で表示される選択画面を用いることによって、利用者は、区分ごとの画像センサ３の選択状況を容易に把握することができる。さらに、区分ごとに選択と、選択の解除がまとめて行えるため、校正対象の機器の選択を容易に行うことができる。
In FIG. 19, the selection screen C <b> 2 is configured in such a manner that the
なお、校正ツールが表示する選択画面は、選択画面Ｃ１及び選択画面Ｃ２のいずれか一方に限らず、利用者によってどちらの画面を使用するかが選択されてもよい。また、画像センサ３の選択状況を共有し、選択画面Ｃ１及び選択画面Ｃ２を切り替えて表示することが可能なように構成されてもよい。また、選択画面Ｃ１及び選択場面Ｃ２によって選択された画像センサ３は、選択されたことによって校正処理を開始してもよいし、画像センサ３の選択とは別の操作によって、校正処理を開始してもよい。また、選択された画像センサ３は、同時に校正処理を開始してもよいし、別途設定されたタイミングにしたがって校正処理を開始してもよい。
Note that the selection screen displayed by the calibration tool is not limited to one of the selection screen C1 and the selection screen C2, and which screen to use may be selected by the user. Further, the selection status of the
図２０は、校正ツールの具体例を示す図である。
図２０の進捗画面Ｃ３は、校正ツールによって表示される、校正処理の進捗や実行結果を表示する画面である。進捗画面Ｃ３は、作業端末が備える表示部に表示される。校正ツールは、画像センサ３及び照明制御装置４３から校正処理の進捗や実行結果を示す情報を取得する。図２０では、進捗画面Ｃ３の態様は、選択画面Ｃ１と同様にフロアマップの態様で構成される。進捗画面Ｃ３のフロアマップには、画像センサ３の位置に応じた対象オブジェクトＣ３−１、Ｃ３−２及びＣ３−３が表示される。対象オブジェクトＣ３−１は、校正対象として選択された画像センサ３のうち、校正処理が完了していない画像センサ３を表す。対象オブジェクトＣ３−２は、校正対象として選択された画像センサ３のうち、校正が完了した画像センサ３を表す。対象オブジェクトＣ３−３は、校正対象として選択されなかった画像センサ３を表す。
FIG. 20 is a diagram illustrating a specific example of the calibration tool.
The progress screen C3 in FIG. 20 is a screen that displays the progress and execution result of the calibration process displayed by the calibration tool. The progress screen C3 is displayed on a display unit included in the work terminal. The calibration tool acquires information indicating the progress and execution result of the calibration process from the
また、進捗画面Ｃ３には、対象オブジェクトごとに、校正結果Ｃ３−４が表示されてもよい。校正結果Ｃ３−４は、対応する対象オブジェクトが示す画像センサ３の校正処理の結果を表す。図２０の例の場合、対象オブジェクトＣ３−２の校正処理の結果、空間の反射率が０．３５から０．２３に校正されたことを表している。また、進捗画面Ｃ３には、対象オブジェクトごとに、校正状況Ｃ３−５が表示されてもよい。校正状況Ｃ３−５は、対応する対象オブジェクトが示す画像センサ３の校正処理の状況を表す。図２０の例の場合、校正状況Ｃ３−５は、対応する対象オブジェクトが示す画像センサ３の校正処理が実行中であることを表している。校正状況Ｃ３−５は、例えば、校正処理が終了すると、校正処理の結果を示す校正結果Ｃ３−４として表示されてもよい。
The progress result C3-4 may be displayed for each target object on the progress screen C3. The calibration result C3-4 represents the result of the calibration process of the
このように、画像センサ３ごとの校正処理の状況を表示する進捗画面を用いることによって、利用者は、校正作業の進捗を可視化することができる。
以下、実施形態の照明制御システム１の別形態の具体例について説明する。
Thus, by using the progress screen that displays the status of the calibration process for each
Hereinafter, a specific example of another form of the
図２１は、別形態の照明制御システム１ａの構成を示すシステム構成図である。
照明制御システム１ａは、実施形態の照明制御システム１を小型化したシステムである。図２１において、図１と同様の構成要素には、図１と同様の符号を付すことにより説明を省略する。
照明制御システム１ａは、照明制御装置４３及び画像センサ３のみを備える点で照明制御システム１と異なる。小規模な照明制御システムを構成する場合、図２１によって示される照明制御システム１ａを構成することによって、照明制御システム１と同様の校正処理と、照明機器の制御とを実現することができる。
FIG. 21 is a system configuration diagram showing a configuration of another type of
The
The
図２２は、別形態の照明制御システム１ｂの構成を示すシステム構成図である。
照明制御システム１ｂは、実施形態の照明制御システム１に遮光装置と、遮光装置を制御する遮光制御装置とが付加されたシステムである。遮光装置とは、ブラインドやカーテンなどの遮光機能を有する装置である。照明制御システム１ｂは、遮光装置としてブラインド９−１〜９−３を備える。図２２において、図１と同様の構成要素には、図１と同様の符号を付すことにより説明を省略する。
照明制御システム１ｂは、外部システム４に代えて外部システム４ｂを備える点で照明制御システム１と異なる。外部システム４ｂは、ブラインド制御装置４４をさらに備える点で外部システム４と異なる。ブラインド制御装置４４は、ブラインド９−１〜９−３を制御する装置である。ブラインド制御装置４４が制御するブラインドの数は、図２２と異なる数であってもよい。以下の説明では、特に区別しない限り、ブラインド９−１〜９−３をブラインド９と記す。
ブラインド制御装置４４は、第４のネットワーク５４を介してブラインド９と通信し、ブラインド９の動作を制御する。
FIG. 22 is a system configuration diagram showing a configuration of another form of
The
The
The
図２３は、照明制御システム１ｂにおける画像センサ３の校正処理の流れを示すフローチャートである。
図２３において、図１６と同様の処理を行うステップには、図１６と同様の符号を付すことにより説明を省略する。
まず、ブラインド制御装置４４は、ブラインド９を制御し、ブラインドを下ろす（ステップＳ５０１）。次に、ステップＳ１０１〜ステップＳ４０１の処理を行うことによって、画像センサ３の校正処理を行う。画像センサ３の校正処理が完了すると、ブラインド制御装置４４は、ブラインド９を制御し、ブラインドを上げる（ステップＳ５０２）。
このように、照明制御システム１にブラインド制御機能が追加されることによって、照明制御システム１ｂでは、校正処理の実行中に点灯される照明の光が建物の外に漏れることを抑制することができる。
FIG. 23 is a flowchart showing a flow of calibration processing of the
In FIG. 23, steps similar to those in FIG. 16 are denoted by the same reference numerals as those in FIG.
First, the
In this way, by adding the blind control function to the
このように構成された実施形態の画像センサ３は、自装置が取得した対象空間の画像に基づいて明るさ推定パラメータ（空間の反射率）と照明パラメータとを取得する。そして、画像センサ３は、自装置に設定されている明るさ推定パラメータと照明パラメータとを、取得された明るさ推定パラメータ（空間の反射率）と照明パラメータとに校正する。そのため、照明機器２の校正を行う作業者は、照度計を用いて対象空間の明るさを計測する必要がなくなり、校正作業に要する労力を削減することが可能となる。
The
また、画像センサ３は、取得した画像に画像処理を行うことによって自装置の校正が必要か否かを判断することが可能である。そのため、画像センサ３は、明るさ推定パラメータが一時的な空間の状態の変化によって校正されることを抑制し、自装置の校正をより正確に行うことができる。
また、画像センサ３は、取得した画像に画像処理を行うことによって空間の反射率の変化を認識し、画像内の領域における変化の大きさを認識する。そして、画像センサ３は、変化の大きさに応じて校正用領域を設定する。そのため、画像センサ３は、自装置の校正をより正確に行うことができる。
また、実施形態の照明制御システム１において、画像センサ３を校正する作業者は、校正ツールを用いて校正処理を制御することが可能である。この校正ツールによって、作業者は、校正処理を行う対象の選択や、校正処理の実行、校正処理の結果の確認などを容易に行うことができるようになり、作業効率を向上させることができる。
Further, the
Further, the
In the
次に、本実施形態の変形例について説明する。
照明制御装置４３は、外部システム４以外に配置されてもよい。例えば、照明制御装置４３は、クラウド上に存在してもよいし、中央監視室や機械室などの場所に設置されてもよい。また、照明制御装置４３の機能を、画像センサ３が備えてもよい。
画像センサ３は、撮像機能を有する装置と、それ以外の機能を異なる装置とが組み合わされて構成されてもよい。例えば、撮像部３３と撮像制御部３４とがカメラを用いて構成されてもよい。撮像部３３及び撮像制御部３４以外の機能を備える装置は、カメラ近くに配置されカメラと通信可能に構成されてもよい。また、撮像部３３及び撮像制御部３４以外の機能を備える装置は、照明制御装置４３と同様に、クラウド上に存在してもよいし、中央監視室や機械室などの場所に設置されてもよい。
照明制御システム１が備える各ネットワークは、単一のネットワークとして構成されてもよい。また、各ネットワークは、有線のネットワークであってもよいし、無線のネットワークであってもよい。
Next, a modification of this embodiment will be described.
The
The
Each network provided in the
実施形態の校正処理は、外光が影響しない状態で行われる必要がある。そのため、照明機器の校正作業は一般的に深夜に行われる。校正処理中は、照明機器２の点灯・消灯が繰り返される。そのため、照明制御装置４３の校正制御部４３５は、校正処理の実施タイミングを周囲のビルの関係者に通知する機能を備えてもよい。例えば、周囲のビルの管理システムと通信し、監視画面にポップアップを表示することによって通知されてもよいし、メールの送信によって通知されてもよい。
The calibration processing of the embodiment needs to be performed in a state where the external light does not affect. For this reason, calibration of lighting equipment is generally performed at midnight. During the calibration process, the
以上説明した少なくともひとつの実施形態によれば、実施形態の画像センサ３は、自装置が撮像した対象空間の画像に基づいて対象空間の反射率を取得し、自装置に設定されている空間の反射率を校正する機能を持つことにより、画像センサ３の校正作業に要する労力を削減することができる。
According to at least one embodiment described above, the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１、１ａ、１ｂ…照明制御システム，２、２−１〜２−３…照明機器，３、３−１〜３−３…画像センサ，３１…記憶部，３２…通信部，３３…撮像部，３４…撮像制御部，３５…画像処理部，３６…校正処理部，３７…明るさ推定部，４…外部システム，４１…ＢＥＭＳ，４２…空調制御装置，４３…照明制御装置，４３１…記憶部，４３２…第１通信部，４３３…第２通信部，４３４…明るさ制御部，４３５…校正制御部，４４…ブラインド制御装置，５１…第１のネットワーク，５２…第２のネットワーク，５３…第３のネットワーク，６…ゲートウェイ装置，７…ＨＵＢ，８１…特性曲線，８２…推定曲線，８３…照明パラメータ推定曲線，９、９−１〜９−３…ブラインド，Ａ１…画像，Ａ１−１…魚眼レンズの外周，Ａ１−２…床，Ａ１−３…机，Ａ２…画像，Ａ２−１…机，Ａ３…画像，Ａ３−１…壁，Ａ４…画像，Ａ４−１…レイアウトの変更領域，Ａ５…画像，Ａ５−１…レイアウトの変更領域，Ｂ…画像，Ｂ１…制御用領域，Ｂ２、Ｂ２−１、Ｂ２−２…校正用領域，Ｃ１…選択画面，Ｃ１−１、Ｃ１−２…選択オブジェクト，Ｃ２…選択画面、Ｃ２−１…フロア区分，Ｃ２−２、Ｃ２−３…ゾーン区分，Ｃ３…進捗画面，Ｃ３−１〜Ｃ３−３…対象オブジェクト，Ｃ３−４…校正結果，Ｃ３−５…校正状況
DESCRIPTION OF
Claims (11)
前記画像及び前記空間の反射率に基づいて前記空間の明るさを推定する推定部と、
前記撮像部が所定のタイミングで取得する前記空間の画像に基づいて前記反射率を校正する校正部と、
を備える画像センサと、
前記校正部が前記反射率の校正処理を実施する際に前記空間の照明機器を所定の調光率で点灯させる校正制御部を備える照明制御装置と、
を備え、
前記校正部は、前記照明機器が前記調光率で点灯している状態で取得された前記空間の画像と、前記撮像部が前記画像の取得時に使用した撮像パラメータと、前記照明機器の調光率と出力光量との関係性を示す照明パラメータと、に基づいて前記反射率を取得する、
照明制御システム。 An imaging unit that acquires an image of the space;
An estimation unit that estimates the brightness of the space based on the reflectance of the image and the space;
A calibration unit that calibrates the reflectance based on an image of the space acquired by the imaging unit at a predetermined timing;
An image sensor comprising:
An illumination control device including a calibration control unit that turns on the lighting device in the space at a predetermined dimming rate when the calibration unit performs the calibration of the reflectance;
With
The calibration unit includes an image of the space acquired when the lighting device is lit at the dimming rate, an imaging parameter used by the imaging unit when acquiring the image, and dimming of the lighting device. Obtaining the reflectance based on illumination parameters indicating the relationship between the rate and the amount of output light,
Lighting control system.
前記校正部は、前記変化の有無に応じて前記反射率の校正処理を実行する、
請求項１に記載の照明制御システム。 The image sensor further includes an image processing unit that detects a change in brightness of the space by image processing of the image,
The calibration unit executes the reflectance calibration process according to the presence or absence of the change,
The lighting control system according to claim 1.
前記校正部は、前記画像内でマスクされていない領域の画像に基づいて前記反射率を推定する、
請求項２に記載の照明制御システム。 The image processing unit detects an area where the brightness has changed in the image, performs a mask process on an area where the change in brightness is small among the detected areas,
The calibration unit estimates the reflectance based on an image of an unmasked area in the image;
The lighting control system according to claim 2.
請求項１から３のいずれか一項に記載の照明制御システム。 The calibration unit calibrates the illumination parameter based on the image of the space acquired at the predetermined timing.
The illumination control system according to any one of claims 1 to 3.
請求項２又は３に記載の照明制御システム。 The calibration unit executes the calibration process of the illumination parameter based on the image of the space acquired at the predetermined timing when the change in the reflectance is not detected by the image processing unit.
The illumination control system according to claim 2 or 3 .
前記校正制御部は、前記画像センサが前記空間の反射率又は前記照明パラメータの校正処理を行うとき、前記遮光制御装置に前記空間の遮光動作を指示する、
請求項１から５のいずれか一項に記載の照明制御システム。 The illumination control system further includes a light shielding control device that controls a light shielding device installed in the space,
The calibration control unit instructs the light shielding control device to perform a light shielding operation of the space when the image sensor performs calibration processing of the reflectance of the space or the illumination parameter.
The illumination control system according to any one of claims 1 to 5.
前記校正制御部は、前記情報に基づいて前記校正処理を実行させる対象となる画像センサ又は校正処理の実施タイミングを制御し、
前記端末装置は、前記画像センサ及び前記照明制御装置から校正処理の状況を表す情報を取得して表示する、
請求項１から６のいずれか一項に記載の照明制御システム。 The illumination control system further includes a terminal device that receives an input of an operation for selecting an image sensor to be calibrated, or timing for performing a calibration process, and transmits the input information to the illumination control device,
The calibration control unit controls the execution timing of the image sensor or the calibration process that is a target for executing the calibration process based on the information,
The terminal device acquires and displays information representing the status of calibration processing from the image sensor and the illumination control device,
The illumination control system according to any one of claims 1 to 6.
請求項１から７のいずれか一項に記載の照明制御システム。 The calibration control unit notifies other devices of the timing for performing the calibration process.
The lighting control system according to any one of claims 1 to 7.
前記画像センサが、前記画像及び前記空間の反射率に基づいて前記空間の明るさを推定する推定ステップと、
前記画像センサが、前記撮像部が所定のタイミングで取得する前記空間の画像に基づいて前記反射率を校正する校正ステップと、
照明制御装置が、前記反射率の校正ステップが実施される際に前記空間の照明機器を所定の調光率で点灯させる校正制御ステップと、
を有し、
前記校正ステップにおいて、画像センサは前記照明機器が前記調光率で点灯している状態で取得された前記空間の画像と、前記撮像部が前記画像の取得時に使用した撮像パラメータと、前記照明機器の調光率と出力光量との関係性を示す照明パラメータと、に基づいて前記反射率を取得する、
画像センサ校正方法。 An imaging step in which an image sensor acquires an image of the space by an imaging unit that images the space;
An estimation step in which the image sensor estimates the brightness of the space based on the reflectance of the image and the space;
A calibration step in which the image sensor calibrates the reflectance based on an image of the space acquired by the imaging unit at a predetermined timing;
A calibration control step for lighting the lighting device in the space at a predetermined dimming rate when the reflectance calibration step is performed;
Have
In the calibration step, the image sensor includes an image of the space acquired in a state where the lighting device is lit at the dimming rate, an imaging parameter used by the imaging unit when acquiring the image, and the lighting device. Obtaining the reflectance based on the illumination parameter indicating the relationship between the dimming rate and the output light amount,
Image sensor calibration method.
前記画像及び前記空間の反射率に基づいて前記空間の明るさを推定する推定部と、
前記撮像部が所定のタイミングで取得する前記空間の画像に基づいて前記反射率を校正する校正部と、
を備え、
前記校正部は、前記空間の照明機器が所定の調光率で点灯している状態で取得された前記空間の画像と、前記撮像部が前記画像の取得時に使用した撮像パラメータと、前記照明機器の調光率と出力光量との関係性を示す照明パラメータと、に基づいて前記反射率を取得する、
画像センサ。 An imaging unit that acquires an image of the space;
An estimation unit that estimates the brightness of the space based on the reflectance of the image and the space;
A calibration unit that calibrates the reflectance based on an image of the space acquired by the imaging unit at a predetermined timing;
With
The calibration unit includes an image of the space acquired when the lighting device in the space is lit at a predetermined dimming rate, an imaging parameter used by the imaging unit when acquiring the image, and the lighting device. Obtaining the reflectance based on the illumination parameter indicating the relationship between the dimming rate and the output light amount,
Image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106283A JP6407562B2 (en) | 2014-05-22 | 2014-05-22 | Illumination control system, image sensor, image sensor calibration method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106283A JP6407562B2 (en) | 2014-05-22 | 2014-05-22 | Illumination control system, image sensor, image sensor calibration method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015222641A JP2015222641A (en) | 2015-12-10 |
| JP6407562B2 true JP6407562B2 (en) | 2018-10-17 |
Family
ID=54785557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014106283A Active JP6407562B2 (en) | 2014-05-22 | 2014-05-22 | Illumination control system, image sensor, image sensor calibration method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6407562B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6681593B2 (en) * | 2016-03-17 | 2020-04-15 | パナソニックＩｐマネジメント株式会社 | Illuminance acquisition system, lighting control system, and illuminance acquisition program |
| JP6797560B2 (en) * | 2016-05-26 | 2020-12-09 | 株式会社東芝 | Sensors, communication methods and communication programs |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4120287B2 (en) * | 2002-06-18 | 2008-07-16 | 東芝ライテック株式会社 | Lighting control system |
| JP4021351B2 (en) * | 2003-03-24 | 2007-12-12 | 株式会社新川 | BONDING LIGHTING DEVICE AND BONDING LIGHTING DEVICE CALIBRATION METHOD |
| JP2006065039A (en) * | 2004-08-27 | 2006-03-09 | Olympus Corp | Calibration system in image display device, and screen device for image display |
| JP5496580B2 (en) * | 2009-08-31 | 2014-05-21 | 株式会社ミツトヨ | LIGHTING DEVICE AND LIGHTING DEVICE CALIBRATION METHOD |
| JP5726792B2 (en) * | 2012-03-12 | 2015-06-03 | 株式会社東芝 | Information processing apparatus, image sensor apparatus, and program |
-
2014
- 2014-05-22 JP JP2014106283A patent/JP6407562B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015222641A (en) | 2015-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9137449B2 (en) | Luminance estimation model generation device, image sensor device, and computer program product | |
| US8630745B2 (en) | Energy consumption management system and energy consumption management apparatus | |
| ES2796312T3 (en) | System and method to maintain the performance of building automation system | |
| EP2669589A1 (en) | Control device, control method, and program | |
| WO2014156097A1 (en) | Air conditioning management device, air conditioning system, and program | |
| US10365619B2 (en) | Technologies for optimally individualized building automation | |
| CN102402694A (en) | Display control apparatus and display control method | |
| JP6407562B2 (en) | Illumination control system, image sensor, image sensor calibration method, and computer program | |
| JP2015208224A (en) | Electric apparatus control device electric apparatus control system, and program | |
| CN110892207B (en) | Indoor environment weighted preference management | |
| US20210037174A1 (en) | Devices and methods for security camera installation planning | |
| JP2015231128A (en) | Adjusting terminal, adjusting method, and computer program | |
| JP2019033355A (en) | Radio quality management system, terminal, radio quality management method and program | |
| US20190293318A1 (en) | Prognostics system and method for hvac system comfort failure forecasting | |
| US20190310589A1 (en) | Neural network combining visible and thermal images for inferring environmental data of an area of a building | |
| JP2015210062A (en) | Indoor equipment controller and air conditioner including the same, and method for controlling indoor equipment controller | |
| JP2018157444A (en) | Image display device, image adjustment method of image display device, and image adjustment program | |
| JP2017073633A (en) | Information processing device, communication system, communication control method and program | |
| JP6905576B2 (en) | Spatial environment analysis evaluation system | |
| DE102013103851B4 (en) | Method for controlling building system technology actuators | |
| KR101581836B1 (en) | Apparatus for detecting EUV dimming phenomenon and method thereof | |
| JP2010217133A (en) | Adaptation point prediction device, perception color prediction device, adaptation point prediction method and perception color prediction method | |
| KR20190013044A (en) | Indoor thermostat with built-in camera for angle adjustment and zoom | |
| KR102461697B1 (en) | Growth monitoring device for broiler weight management reaching slaughter weight | |
| JP2016119514A (en) | Remote control system, remote control method, controller, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170308 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170911 Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6407562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |