JP7105896B2 - Window detection device, air conditioning control device, air conditioning system, window detection method, and program - Google Patents

Window detection device, air conditioning control device, air conditioning system, window detection method, and program Download PDF

Info

Publication number
JP7105896B2
JP7105896B2 JP2020540910A JP2020540910A JP7105896B2 JP 7105896 B2 JP7105896 B2 JP 7105896B2 JP 2020540910 A JP2020540910 A JP 2020540910A JP 2020540910 A JP2020540910 A JP 2020540910A JP 7105896 B2 JP7105896 B2 JP 7105896B2
Authority
JP
Japan
Prior art keywords
window
region
discrimination
determination process
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020540910A
Other languages
Japanese (ja)
Other versions
JPWO2020049645A1 (en
Inventor
浩子 泉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020049645A1 publication Critical patent/JPWO2020049645A1/en
Application granted granted Critical
Publication of JP7105896B2 publication Critical patent/JP7105896B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Air Conditioning Control Device (AREA)

Description

本発明は、対象領域から窓領域を検知する窓検知装置、空調制御装置、空調システム、窓検知方法、及びプログラムに関する。 The present invention relates to a window detection device, an air conditioning control device, an air conditioning system , a window detection method , and a program for detecting a window area from a target area.

部屋内の環境、居住者の位置等の状況を判別し、判別した状況に応じて気流の方向、出力等を制御することができる空調機が知られている。このような空調機では、他の部分よりも冷気、暖気が逃げ易い窓の位置、大きさ、温度等を把握しておくことが重要である。 2. Description of the Related Art Air conditioners are known that can determine conditions such as the environment in a room and the position of an occupant, and control the direction of airflow, output, etc. according to the determined conditions. In such an air conditioner, it is important to know the position, size, temperature, etc. of windows through which cold air and warm air can escape more easily than other parts.

ここで、部屋内から窓を検知するための技術として、特許文献1-3が知られている。特許文献1には、熱画像データにおける周囲の温度差から窓領域を判別する技術が開示されている。特許文献2、3には、近赤外線画像データが示す輝度の差異から窓領域を検知する技術が開示されている。 Here, Patent Documents 1 to 3 are known as techniques for detecting windows from inside a room. Japanese Patent Application Laid-Open No. 2002-200001 discloses a technique for determining a window region from the ambient temperature difference in thermal image data. Patent Literatures 2 and 3 disclose techniques for detecting a window region from a difference in brightness indicated by near-infrared image data.

特開2013-64598号公報JP 2013-64598 A 特開2016-200282号公報JP 2016-200282 A 特開2017-44373号公報JP 2017-44373 A

一般住宅と異なりオフィス空間には熱を発する汁器、設備機器等が多数設置されている。また、オフィス空間には、多くの居住者が存在するとともに、時間帯に応じてオフィス空間の環境が大きく変化する場合が多い。そのため、特許文献1-3に記載された手法を用いてオフィス空間のような領域を対象に窓領域の検知を行った場合、正しく窓領域を検知することができない虞がある。 Unlike ordinary houses, office spaces are equipped with a large number of heat-generating soup bowls and equipment. In addition, there are many residents in the office space, and the environment of the office space often changes greatly depending on the time of day. Therefore, when detecting a window region in an area such as an office space using the methods described in Patent Documents 1 to 3, there is a possibility that the window region cannot be detected correctly.

本発明は上記実情に鑑みてなされたものであり、従来よりも精度良く窓領域を検知することができる窓検知装置、空調制御装置、空調システム、窓検知方法、及びプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a window detection device, an air-conditioning control device, an air-conditioning system, a window detection method, and a program, which are capable of detecting a window area with higher accuracy than in the past. and

上記目的を達成するため、本発明に係る窓検知装置は、
予め定めた期間に渡って対象領域の熱画像データを取得する取得手段と、
前記取得手段で取得した取得時間が異なる複数の前記熱画像データから前記対象領域内の窓領域を検知する窓検知手段と、
を備え
前記窓検知手段は、
前記対象領域に含まれる探索領域を分割した分割領域毎に窓領域であるか否かを判別する窓判別処理を予め定めた終了条件が成立するまで繰り返し実行する窓判別実行手段と、
前記窓判別処理の判別結果に基づいて、次回の前記窓判別処理で対象とする前記探索領域を設定する探索領域設定手段と、を備え、
前記窓判別実行手段は、前記窓判別処理として、第1窓判別処理と、前記第1窓判別処理の後に実行され前記第1窓判別処理とは異なる手法で前記窓領域を判別する第2窓判別処理と、を繰り返し実行する。
In order to achieve the above object, the window detection device according to the present invention includes:
Acquisition means for acquiring thermal image data of a target region over a predetermined period;
window detection means for detecting a window region within the target region from a plurality of the thermal image data acquired by the acquisition means and having different acquisition times;
with
The window detection means is
window discrimination execution means for repeatedly executing a window discrimination process for discriminating whether or not each divided region obtained by dividing the search region included in the target region is a window region until a predetermined end condition is satisfied;
Search area setting means for setting the search area to be targeted in the next window discrimination process based on the discrimination result of the window discrimination process,
The window determination executing means includes, as the window determination process, a first window determination process and a second window determination process which is executed after the first window determination process and determines the window region by a method different from the first window determination process. and are repeatedly executed.

本発明によれば、従来よりも精度良く窓領域を検知することが可能となる。 According to the present invention, it is possible to detect a window region with higher accuracy than conventionally.

本発明の実施形態に係る空調システムの構成を示す図A diagram showing the configuration of an air conditioning system according to an embodiment of the present invention. 本発明の実施形態に係る空調制御装置の構成を示すブロック図1 is a block diagram showing the configuration of an air conditioning control device according to an embodiment of the present invention; FIG. 本発明の実施形態に係る空調制御装置の二次記憶装置に記憶されている情報を示す図FIG. 2 is a diagram showing information stored in the secondary storage device of the air conditioning control device according to the embodiment of the present invention; 本発明の実施形態に係る空調制御装置の機能構成図1 is a functional configuration diagram of an air conditioning control device according to an embodiment of the present invention; 本発明の実施形態に係る窓検知処理のフローチャートFlowchart of window detection processing according to the embodiment of the present invention 探索領域を設定する例を示す図(その1)Diagram showing an example of setting a search area (Part 1) 探索領域を設定する例を示す図(その2)Diagram showing an example of setting a search area (Part 2) 本発明の実施形態に係る第1窓判別処理のフローチャートFlowchart of first window determination processing according to the embodiment of the present invention 第1窓判別処理を説明するための図(その1)Diagram for explaining the first window determination process (Part 1) 第1窓判別処理を説明するための図(その2)Diagram for explaining the first window determination process (Part 2) 本発明の実施形態に係る第2窓判別処理のフローチャートFlowchart of second window determination processing according to the embodiment of the present invention 第2窓判別処理を説明するための図(その1)Diagram for explaining the second window determination process (Part 1) 第2窓判別処理を説明するための図(その2)Diagram for explaining the second window determination process (Part 2) 本発明の実施形態に係る空調制御処理のフローチャートFlowchart of air conditioning control processing according to the embodiment of the present invention

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings.

図1は、本発明の実施形態に係る空調システム100の全体構成を示す図である。空調システム100は、オフィス空間200を空調する空調機10と、赤外線カメラ20と、空調制御装置30と、を備える。空調機10及び赤外線カメラ20は、ネットワークN1を介して、空調制御装置30と通信可能に接続される。ネットワークN1は、例えば、LAN(Local Area Network)、インターネット等である。 FIG. 1 is a diagram showing the overall configuration of an air conditioning system 100 according to an embodiment of the invention. The air conditioning system 100 includes an air conditioner 10 for air conditioning an office space 200 , an infrared camera 20 , and an air conditioning control device 30 . The air conditioner 10 and the infrared camera 20 are communicably connected to the air conditioning control device 30 via the network N1. The network N1 is, for example, a LAN (Local Area Network), the Internet, or the like.

空調機10は、オフィス空間200に設置され、空調制御装置30からの指示に基づいて冷房運転、暖房運転、除湿運転等をしてオフィス空間200を空調する。 The air conditioner 10 is installed in the office space 200 and air-conditions the office space 200 by performing cooling operation, heating operation, dehumidification operation, etc. based on instructions from the air conditioning control device 30 .

赤外線カメラ20は、空調機10の近傍に設置され、予め定めた時間毎(例えば、1分毎)に、撮像可能領域の温度分布を示す熱画像データを撮像して空調制御装置30に送信する。本実施形態では、図1に示すように、赤外線カメラ20は、窓201を有する壁202に対向する位置に設置されており、撮像可能領域には、当該壁202の全体が含まれる。以下の説明では、赤外線カメラ20の撮像可能領域を対象領域とも表記する。なお、オフィス空間200の全てをカバーできるように、異なる位置に設置された複数の赤外線カメラ20を備えていてもよい。赤外線カメラ20は、本発明の撮像装置の一例である。 The infrared camera 20 is installed in the vicinity of the air conditioner 10, and captures thermal image data indicating the temperature distribution of the imageable area at predetermined time intervals (for example, every minute) and transmits the thermal image data to the air conditioning control device 30. . In this embodiment, as shown in FIG. 1, the infrared camera 20 is installed at a position facing a wall 202 having a window 201, and the imageable area includes the entire wall 202. As shown in FIG. In the following description, the imageable area of the infrared camera 20 is also referred to as a target area. A plurality of infrared cameras 20 installed at different positions may be provided so as to cover the entire office space 200 . The infrared camera 20 is an example of the imaging device of the present invention.

空調制御装置30は、ネットワークN1を介して、空調機10及び赤外線カメラ20と通信可能に接続される。空調制御装置30は、赤外線カメラ20から取得した取得時間の異なる熱画像データに基づいて窓領域を検知し、検知結果に基づいて空調機10の運転を制御する。空調制御装置30は、本発明の窓検知装置の一例である。 The air conditioning control device 30 is communicably connected to the air conditioner 10 and the infrared camera 20 via the network N1. The air conditioning control device 30 detects the window area based on the thermal image data acquired from the infrared camera 20 and acquired at different times, and controls the operation of the air conditioner 10 based on the detection result. The air conditioning control device 30 is an example of the window detection device of the present invention.

続いて、空調制御装置30の構成について説明する。空調制御装置30は、図2に示すように、通信インタフェース31と、プロセッサ32と、ROM33と、RAM34と、二次記憶装置35とを備える。これらの構成部は、バス36を介して相互に接続される。 Next, the configuration of the air conditioning control device 30 will be described. The air conditioning control device 30 includes a communication interface 31, a processor 32, a ROM 33, a RAM 34, and a secondary storage device 35, as shown in FIG. These components are interconnected via bus 36 .

通信インタフェース31は、空調機10及び赤外線カメラ20とネットワークN1を介して通信するためのインタフェースを備える。 The communication interface 31 has an interface for communicating with the air conditioner 10 and the infrared camera 20 via the network N1.

プロセッサ32は、この空調制御装置30を統括的に制御する。ROM(Read Only Memory)33は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。RAM(Random Access Memory)34は、プロセッサ32の作業領域として使用される。 A processor 32 comprehensively controls the air conditioning control device 30 . A ROM (Read Only Memory) 33 stores a plurality of pieces of firmware and data used when these pieces of firmware are executed. A RAM (Random Access Memory) 34 is used as a work area for the processor 32 .

二次記憶装置35は、EEPROM、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はHDDを含んで構成される。図3に示すように、二次記憶装置35は、窓検知プログラム351と、空調制御プログラム352と、画像DB353と、判定結果DB354とを記憶する。 The secondary storage device 35 includes a readable/writable non-volatile semiconductor memory such as EEPROM, flash memory, or HDD. As shown in FIG. 3, the secondary storage device 35 stores a window detection program 351, an air conditioning control program 352, an image DB 353, and a determination result DB 354.

空調制御プログラム352は、赤外線カメラ20から取得した取得時間の異なる複数の熱画像データから窓領域を検知する処理が記述されたプログラムである。空調制御プログラム352は、窓領域の検知結果に基づいて空調機10を制御するための処理が記述されたプログラムである。 The air-conditioning control program 352 is a program describing a process of detecting a window area from a plurality of thermal image data acquired from the infrared camera 20 at different acquisition times. The air conditioning control program 352 is a program in which processing for controlling the air conditioner 10 based on the detection result of the window area is described.

画像DB353は、赤外線カメラ20から取得した対象領域の熱画像データを取得日時と対応付けて累積的に記憶する。 The image DB 353 cumulatively stores the thermal image data of the target area acquired from the infrared camera 20 in association with the date and time of acquisition.

判定結果DB354は、後述する窓検知処理によって検知された窓判定の結果を示す判定結果情報が格納される。判定結果情報は、対象領域内の小領域毎(例えば、画素毎)に、当該小領域が窓領域であるか否かの確度(以下、窓判別確度とする)を示す情報である。なお、本実施形態では、窓判別確度を1から10の10段階で表す。窓判別確度「1」は、その小領域が窓領域である可能性が低いことを示す。窓判別確度「10」は、その小領域が窓領域である可能性が高いことを示す。窓判別確度「5」は、その小領域が窓領域であるか否かが判然としないことを示す。なお、より細かい段階で窓判別確度を算出してもよいし、窓領域であるか否かの確率で窓判別確度を表してもよい。 The determination result DB 354 stores determination result information indicating the result of window determination detected by a window detection process, which will be described later. The determination result information is information indicating, for each small area (for example, each pixel) in the target area, the accuracy of whether or not the small area is a window area (hereinafter referred to as window discrimination accuracy). In this embodiment, the window discrimination accuracy is expressed in 10 stages from 1 to 10. FIG. A window discrimination accuracy of "1" indicates that the small area is unlikely to be a window area. A window discrimination accuracy of "10" indicates that the small area is highly likely to be a window area. A window discrimination accuracy of "5" indicates that it is unclear whether or not the small area is a window area. Note that the window discrimination accuracy may be calculated in finer steps, or the window discrimination accuracy may be expressed by the probability of whether or not it is a window region.

図4は、空調制御装置30の機能構成を示すブロック図である。空調制御装置30は、機能的には、取得部301と、窓検知部302と、開閉判別部303と、空調制御部304とを備える。取得部301と窓検知部302は、プロセッサ32が二次記憶装置35に記憶されている窓検知プログラム351を実行することで実現される。開閉判別部303と空調制御部304は、プロセッサ32が二次記憶装置35に記憶されている空調制御プログラム352を実行することで実現される。 FIG. 4 is a block diagram showing the functional configuration of the air conditioning control device 30. As shown in FIG. The air conditioning control device 30 functionally includes an acquisition unit 301 , a window detection unit 302 , an open/close determination unit 303 , and an air conditioning control unit 304 . The acquisition unit 301 and the window detection unit 302 are implemented by the processor 32 executing a window detection program 351 stored in the secondary storage device 35 . The open/close determination unit 303 and the air conditioning control unit 304 are implemented by the processor 32 executing an air conditioning control program 352 stored in the secondary storage device 35 .

取得部301は、赤外線カメラ20によって撮像された熱画像データを取得し、取得時間を示す情報と対応付けて画像DB353に蓄積記憶する。取得部301は、本発明の取得手段の一例である。取得部301の動作は、本発明の取得ステップの一例である。 The acquisition unit 301 acquires the thermal image data captured by the infrared camera 20, and accumulates and stores it in the image DB 353 in association with the information indicating the acquisition time. Acquisition unit 301 is an example of acquisition means of the present invention. The operation of the acquisition unit 301 is an example of the acquisition step of the present invention.

窓検知部302は、画像DB353に記憶されている取得時間が異なる複数の熱画像データから対象領域内の窓領域を検知して判定結果DB354の判定結果情報を更新する。窓検知部302は、本発明の窓検知手段の一例である。窓検知部302の動作は、本発明の窓検知ステップの一例である。窓検知部302は、より詳細な構成として、窓判別実行部3021と、探索領域設定部3022とを備える。 The window detection unit 302 detects a window region within the target region from a plurality of thermal image data with different acquisition times stored in the image DB 353 and updates the determination result information in the determination result DB 354 . Window detection unit 302 is an example of the window detection means of the present invention. The operation of the window detection unit 302 is an example of the window detection step of the present invention. The window detection unit 302 includes a window determination execution unit 3021 and a search area setting unit 3022 as a more detailed configuration.

窓判別実行部3021は、対象領域に含まれる探索領域を分割した分割領域毎に、当該分割領域が窓領域であるか否かを判別する窓判別処理を予め定めた終了条件が成立するまで繰り返し実行する。窓判別実行部3021は、本発明の窓判別実行手段の一例である。 The window determination execution unit 3021 repeats the window determination process for determining whether or not the divided area is a window area for each divided area obtained by dividing the search area included in the target area until a predetermined end condition is satisfied. Run. The window discrimination executing section 3021 is an example of the window discrimination executing means of the present invention.

本実施形態では、窓判別実行部3021は、アルゴリズムが異なる2種類の窓判別処理である第1窓判別処理と第2窓判別処理とを終了条件が成立するまで繰り返し実行する。第1窓判別処理は、取得手段が取得した複数の熱画像データが示す温度分布状況に基づいて、窓領域を検知する処理である。第2窓判別処理は、取得手段が取得した複数の熱画像データが示す経時的な温度変化に基づいて窓領域を検知する処理である。 In this embodiment, the window discrimination execution unit 3021 repeatedly executes the first window discrimination process and the second window discrimination process, which are two kinds of window discrimination processes with different algorithms, until the termination condition is satisfied. The first window determination process is a process of detecting a window region based on temperature distribution conditions indicated by a plurality of thermal image data acquired by the acquisition means. The second window determination process is a process of detecting a window region based on temporal temperature changes indicated by a plurality of thermal image data acquired by the acquisition means.

ここで、第1窓判別処理は、複数の熱画像データが示す温度を時間変化とは無関係に一定温度範囲毎に集計することで求めることができる温度分布状況に基づいて窓領域を判別する。そのため、温度の時間変化に基づいて窓領域を検知する第2窓判別処理は、第1窓判別処理よりも処理負荷が大きい。窓判別実行部3021の行う処理の詳細については後述する。 Here, the first window discrimination process discriminates a window region based on a temperature distribution state that can be obtained by summing temperatures indicated by a plurality of thermal image data for each constant temperature range regardless of time change. Therefore, the second window determination process for detecting the window region based on the temperature change over time has a larger processing load than the first window determination process. Details of the processing performed by the window determination execution unit 3021 will be described later.

探索領域設定部3022は、窓判別処理の実行結果に基づいて、次回の窓判別処理で対象とする探索領域及び分割領域を設定する処理を行う。探索領域設定部3022の行う処理の詳細については後述する。探索領域設定部3022は、本発明の探索領域設定手段の一例である。 The search area setting unit 3022 performs processing for setting search areas and divided areas to be targeted in the next window discrimination process based on the execution result of the window discrimination process. Details of the processing performed by the search area setting unit 3022 will be described later. The search area setting section 3022 is an example of the search area setting means of the present invention.

開閉判別部303は、検知された窓領域の開閉状態を判別する。開閉判別部303の行う処理の詳細については後述する。開閉判別部303は、本発明の開閉判別手段の一例である。 The open/close determination unit 303 determines the open/closed state of the detected window region. The details of the processing performed by the open/close determination unit 303 will be described later. The open/close determination unit 303 is an example of the open/close determination unit of the present invention.

空調制御部304は、判定結果DB354に記憶されている判定結果情報、画像DB353に格納されている最新の熱画像データ、開閉判別部303による判別結果等に基づいて、空調機10を制御する。空調制御部304は、本発明の空調制御手段の一例である。空調制御部304の行う処理の詳細については後述する。 The air conditioning control unit 304 controls the air conditioner 10 based on the determination result information stored in the determination result DB 354, the latest thermal image data stored in the image DB 353, the determination result by the open/close determination unit 303, and the like. The air conditioning control unit 304 is an example of air conditioning control means of the present invention. Details of the processing performed by the air conditioning control unit 304 will be described later.

続いて、空調制御装置30で実行される窓検知処理の動作について説明する。例えば、空調制御装置30が初めてネットワークN1を介して空調機10及び赤外線センサ20に接続された場合、若しくは、図示せぬリモコンを介して管理者から処理開始の指示信号を受信した場合に、空調制御装置30は、図5に示す窓検知処理を実行する。 Next, the operation of window detection processing executed by the air conditioning control device 30 will be described. For example, when the air conditioning control device 30 is connected to the air conditioner 10 and the infrared sensor 20 via the network N1 for the first time, or when an instruction signal to start processing is received from an administrator via a remote controller (not shown), the air conditioning The control device 30 executes window detection processing shown in FIG.

まず、取得部301は、予め定めた集計期間、定期的に赤外線カメラ20が撮像した熱画像データを取得して画像DB353に格納する(ステップS101)。なお、この集計期間は、最低でも1日以上の期間であり、数日分の期間であるのが望ましい。集計期間は、本発明の予め定めた期間の一例である。 First, the acquiring unit 301 periodically acquires thermal image data captured by the infrared camera 20 for a predetermined aggregation period, and stores the thermal image data in the image DB 353 (step S101). It should be noted that this totaling period is at least one day or more, preferably several days. The aggregation period is an example of a predetermined period of the present invention.

集計期間分の熱画像データを取得すると、探索領域設定部3022は、判定結果DB354に記憶されている判定結果情報に基づいて、後述する第1窓判別処理で判別対象とする探索領域を設定する(ステップS102)。具体的には、探索領域設定部3022は、判定結果情報に基づいて、窓領域であるか否かが不確かな領域を含むように探索領域に設定する。なお、初回の処理では、判定結果DB354には判定結果情報が記憶されていないため、探索領域設定部3022は、対象領域全体を探索領域に設定する。 After obtaining the thermal image data for the aggregation period, the search area setting unit 3022 sets the search area to be determined in the first window determination process described later based on the determination result information stored in the determination result DB 354. (Step S102). Specifically, based on the determination result information, the search area setting unit 3022 sets the search area so as to include an area where it is uncertain whether or not it is a window area. It should be noted that in the first process, the determination result information is not stored in the determination result DB 354, so the search area setting unit 3022 sets the entire target area as the search area.

ここで、例を挙げてステップS102の処理について説明する。図6Aは、現在の判定結果情報が示す対象領域の窓判別確度を示す図である。この場合、探索領域設定部3022は、窓判別確度が「1」、「10」以外の領域である、図6Bに示す斜線部分の領域を探索領域に設定する。なお、探索領域設定部3022は、窓領域であるか否かが不確かな領域だけでなくその周辺の領域も含めて探索領域を設定してもよい。 Here, the processing of step S102 will be described with an example. FIG. 6A is a diagram showing the window discrimination accuracy of the target region indicated by the current determination result information. In this case, the search area setting unit 3022 sets the hatched area shown in FIG. 6B, which is an area other than the window discrimination accuracy of "1" and "10", as the search area. Note that the search area setting unit 3022 may set the search area including not only the area where it is uncertain whether it is a window area, but also the area around it.

図5に戻り、続いて、探索領域設定部3022は、ステップS102で設定した探索領域を、分割数N個の同サイズの分割領域に分割する(ステップS103)。なお、ステップS103の処理は繰り返し実行される場合もあるが、各回で分割数Nは同じである。 Returning to FIG. 5, the search area setting unit 3022 subsequently divides the search area set in step S102 into divided areas of the same size, the number of divisions being N (step S103). Note that the process of step S103 may be repeatedly executed, but the number of divisions N is the same each time.

続いて、窓判別実行部3021は、画像DB353に記憶されている集計期間に取得した複数の熱画像データに基づいて、対象領域から窓領域を判別する第1窓判別処理を実行する(ステップS104)。第1窓判別処理の詳細について、図7のフローチャートを用いて説明する。 Subsequently, the window discrimination execution unit 3021 executes first window discrimination processing for discriminating a window region from the target region based on a plurality of thermal image data acquired during the tallying period stored in the image DB 353 (step S104). ). Details of the first window determination process will be described with reference to the flowchart of FIG.

まず、窓判別実行部3021は、ステップS103で分割した分割領域の中から未選択のものを1つ選択する(ステップS1041)。説明を容易にするため、以下の説明では、ステップS1041で選択した分割領域を選択領域とも表記する。 First, the window determination execution unit 3021 selects one unselected region from among the divided regions divided in step S103 (step S1041). For ease of explanation, the divided area selected in step S1041 is also referred to as a selected area in the following explanation.

続いて、窓判別実行部3021は、画像DB353に記憶されている集計期間に取得した複数の熱画像データのそれぞれについて、選択領域の平均温度を算出する(ステップS1042)。 Subsequently, the window discrimination executing unit 3021 calculates the average temperature of the selected area for each of the plurality of thermal image data acquired during the aggregation period stored in the image DB 353 (step S1042).

続いて、窓判別実行部3021は、熱画像データ毎に算出した選択領域の平均温度を予め定めた温度範囲毎に集計して、その温度分布状況を示す情報を求める(ステップS1043)。温度分布状況を示す情報は、例えば、平均、分散、ピーク数等である。 Subsequently, the window discrimination execution unit 3021 aggregates the average temperature of the selected region calculated for each thermal image data for each predetermined temperature range, and obtains information indicating the temperature distribution (step S1043). The information indicating the temperature distribution state is, for example, average, variance, number of peaks, and the like.

そして、窓判別実行部3021は、温度分布状況を示す情報に基づいて、選択領域の窓判別確度を算出する(ステップS1044)。 Then, the window discrimination execution unit 3021 calculates the window discrimination accuracy of the selected region based on the information indicating the temperature distribution (step S1044).

ここで、ステップS1044で窓判別確度を算出する例について説明する。例えば、窓判別実行部3021は、温度分布状況を示す情報である平均、分散、ピーク数が以下に示す条件1~3に合致するか否かを判別する。なお、条件1のピーク数は、公知のピーク解析技術を用いて算出すればよい。条件3の室温の平均温度は、空調機10の備える図示せぬ温度センサの計測値、オフィス空間200に別途設けられた図示せぬ室温センサの計測値等から算出すればよい。
(条件1)ピーク数が2以上ある。
(条件2)分散が閾値よりも大きい。
(条件3)平均と集計期間における室温の平均温度との差分が閾値よりも大きい
Here, an example of calculating the window discrimination accuracy in step S1044 will be described. For example, the window discrimination execution unit 3021 discriminates whether or not the average, variance, and number of peaks, which are information indicating the temperature distribution state, match conditions 1 to 3 shown below. Note that the number of peaks in Condition 1 may be calculated using a known peak analysis technique. The average room temperature of condition 3 may be calculated from the measured value of a temperature sensor (not shown) provided in the air conditioner 10, the measured value of a room temperature sensor (not shown) separately provided in the office space 200, and the like.
(Condition 1) The number of peaks is 2 or more.
(Condition 2) Variance is greater than the threshold.
(Condition 3) The difference between the average and the average room temperature in the aggregation period is greater than the threshold

そして、窓判別実行部3021は、条件1~3に合致した数に基づいて、選択領域の窓判別確度を求めればよい。例えば、窓判別実行部3021は、1個も条件に合致しなかった場合は窓判別確度「1」、1個だけ一致した場合は窓判別確度「2」、2個一致した場合は窓判別確度「5」、3個一致した場合は窓判別確度「10」等のように窓判別確度を算出すればよい。 Then, the window discrimination execution unit 3021 may obtain the window discrimination accuracy of the selected region based on the number of times that the conditions 1 to 3 are met. For example, the window discrimination execution unit 3021 sets the window discrimination accuracy to "1" if not even one match, the window discrimination accuracy to "2" if only one matches, and the window discrimination accuracy to "2" if two matches. The window discrimination accuracy may be calculated such as "5" and "10" when three match.

例えば、選択領域の温度分布状況が図8Aに示すような状況である場合を考える。この場合、上述した窓判別確度の算出例に従えば、ピーク数は2であるため条件1に合致し、分散も大きく閾値以上であるため条件2にも合致するため、条件3にも合致すれば、選択領域が窓領域である可能性は高く、比較的高い窓判別確度が算出される。 For example, consider a case where the temperature distribution of the selected area is as shown in FIG. 8A. In this case, according to the calculation example of the window discrimination accuracy described above, since the number of peaks is 2, condition 1 is met, and since the variance is large and above the threshold, condition 2 is also met, so condition 3 is also met. If so, the possibility that the selected area is the window area is high, and a relatively high window discrimination accuracy is calculated.

一方、選択領域の温度分布状況が図8Bに示すような状況である場合は、ピーク数は1であるため条件1には合致せず、分散も低いため条件2にも合致しないため、選択領域が窓領域である可能性は低く、比較的低い窓判別確度が算出される。 On the other hand, when the temperature distribution of the selected region is as shown in FIG. is a window region, and a relatively low window discrimination accuracy is calculated.

図7に戻り、窓判別実行部3021は、判定結果DB354に記憶されている判定結果情報が示す選択領域の窓判別確度の値を、ステップS1044で算出した窓判別確度に基づいて更新する(ステップS1045)。 Returning to FIG. 7, the window discrimination executing unit 3021 updates the value of the window discrimination accuracy of the selected region indicated by the discrimination result information stored in the discrimination result DB 354 based on the window discrimination accuracy calculated in step S1044 (step S1045).

具体的には、窓判別実行部3021は、以下に示す式(1)で算出された値に選択領域の窓判別確度の値を更新すればよい。式(1)のαは、0から1の範囲の計数である。
式(1):(更新後の選択領域の窓判別確度)=(現在の判定結果情報が示す選択領域の窓判別確度)*(1-α)+(ステップS1044で算出した選択領域の窓判別確度)*α
Specifically, the window discrimination execution unit 3021 may update the value of the window discrimination accuracy of the selected region to the value calculated by the following formula (1). α in equation (1) is a count ranging from 0 to 1.
Formula (1): (window discrimination accuracy of selected area after update)=(window discrimination accuracy of selected area indicated by current determination result information)*(1−α)+(window discrimination of selected area calculated in step S1044) Accuracy) *α

続いて、窓判別実行部3021は、ステップS1041で全ての分割領域を選択したか否かを判別する(ステップS1046)。未選択の分割領域がある場合(ステップS1046;No)、窓判別実行部3021は、未選択の分割領域を選択して、選択した分割領域(即ち、選択領域)の窓判別確度を算出して判定結果情報を更新する処理(ステップS1041~S1045)を繰り返す。未選択の分割領域がない場合(ステップS1046;Yes)、第1窓判別処理は終了する。 Subsequently, the window discrimination execution unit 3021 discriminates whether or not all divided regions have been selected in step S1041 (step S1046). If there is an unselected divided area (step S1046; No), the window discrimination execution unit 3021 selects the unselected divided area and calculates the window discrimination accuracy of the selected divided area (that is, the selected area). The process of updating the determination result information (steps S1041 to S1045) is repeated. If there is no unselected divided area (step S1046; Yes), the first window determination process ends.

図5に戻り、第1窓判別処理が終了すると、窓検知部302は、予め定めた終了条件が成立するか否かを判別する(ステップS105)。具体的には、窓検知部302は、判定結果DB354に記憶されている判定結果情報が示す小領域毎の窓判別確度の値が「1」と「10」のみである場合(即ち、窓領域であるか否かが不確かな領域が無い場合)に、終了条件を成立すると判定すればよい。若しくは、窓検知部302は、対象領域の中で窓判別確度が「1」と「10」以外の領域がある場合でも、第1窓判別処理を繰り返した回数が予め定めた回数に達した場合は、終了条件が成立すると判定してもよい。 Returning to FIG. 5, when the first window determination process ends, the window detection unit 302 determines whether or not a predetermined end condition is satisfied (step S105). Specifically, the window detection unit 302 detects that the values of the window discrimination accuracy for each small region indicated by the determination result information stored in the determination result DB 354 are only “1” and “10” (that is, the window region If there is no region in which it is uncertain whether or not the condition is satisfied, it may be determined that the termination condition is satisfied. Alternatively, the window detection unit 302 detects when the number of repetitions of the first window discrimination processing reaches a predetermined number even when there are regions with window discrimination accuracies other than "1" and "10" in the target region. may determine that the termination condition is satisfied.

終了条件が成立する場合(ステップS105;Yes)、窓検知処理は終了する。一方、終了条件を満たさない場合(ステップS105;No)、探索領域設定部3022は、ステップS102と同様に、判定結果DB354に記憶されている判定結果情報に基づいて、後述する第2窓判別処理で判別対象とする探索領域を設定する(ステップS106)。そして、探索領域設定部3022は、ステップS103と同様に、設定した探索領域を、分割数N個の同サイズの分割領域に分割する(ステップS107)。 If the end condition is satisfied (step S105; Yes), the window detection process ends. On the other hand, if the end condition is not satisfied (step S105; No), the search area setting unit 3022 performs the second window determination process, which will be described later, based on the determination result information stored in the determination result DB 354, as in step S102. , a search area to be determined is set (step S106). Then, the search area setting unit 3022 divides the set search area into N divided areas of the same size, as in step S103 (step S107).

続いて、窓判別実行部3021は、画像DB353に記憶されている集計期間に取得した複数の熱画像データに基づいて、第1窓判別処理とは異なる手法によって対象領域から窓領域を判別する第2窓判別処理を実行する(ステップS108)。第2窓判別処理の詳細について、図9のフローチャートを用いて説明する。 Subsequently, the window discrimination executing unit 3021 discriminates the window region from the target region by a method different from the first window discrimination process, based on a plurality of thermal image data acquired during the aggregation period stored in the image DB 353. 2-window discrimination processing is executed (step S108). Details of the second window determination process will be described with reference to the flowchart of FIG.

まず、窓判別実行部3021は、ステップS107で分割した分割領域の中から未選択のものを1つ選択する(ステップS1081)。説明を容易にするため、以下の説明では、ステップS1081で選択した分割領域を選択領域とも表記する。そして、窓判別実行部3021は、画像DB353に記憶されている集計期間に取得した複数の熱画像データのそれぞれについて、選択領域の平均温度を算出する(ステップS1082)。 First, the window determination executing unit 3021 selects one unselected region from among the divided regions divided in step S107 (step S1081). For ease of explanation, the divided area selected in step S1081 is also referred to as a selected area in the following explanation. Then, the window discrimination executing unit 3021 calculates the average temperature of the selected area for each of the plurality of thermal image data acquired during the aggregation period stored in the image DB 353 (step S1082).

続いて、窓判別実行部3021は、熱画像データ毎に算出した選択領域の平均温度の経時的な変化を、最小二乗法、多項式近似等の公知の手法を用いて近似曲線に当てはめる(ステップS1083)。 Subsequently, the window determination execution unit 3021 applies the temporal change in the average temperature of the selected region calculated for each thermal image data to an approximated curve using a known method such as the least squares method or polynomial approximation (step S1083). ).

そして、窓判別実行部3021は、当てはめた近似曲線と実際の平均温度との間の相関の度合いを示す相関係数を公知の手法により算出し、算出した相関係数から選択領域の窓判別確度を求める(ステップS1084)。ここで、窓領域は、他の領域よりも滑らかな温度変化をすることが経験的に知られている。そのため、窓判別実行部3021は、相関係数が大きくなるほど高い値になるような予め定めた基準に従って、窓判別確度を求めればよい。 Then, the window discrimination execution unit 3021 calculates a correlation coefficient indicating the degree of correlation between the fitted approximated curve and the actual average temperature using a known method, and calculates the window discrimination accuracy of the selected region from the calculated correlation coefficient. is obtained (step S1084). Here, it is empirically known that the window region changes temperature more smoothly than other regions. Therefore, the window discrimination execution unit 3021 may obtain the window discrimination accuracy according to a predetermined criterion such that the larger the correlation coefficient, the higher the value.

例えば、図10Aに示すグラフの実線で示す選択領域の平均温度の時間変化は、点線で示すこの時間変化から求めた近似曲線と大きく乖離しており、相関係数は低くなる。そのため、この場合の選択領域の窓判別確度は低く算出される。 For example, the change over time of the average temperature in the selected region indicated by the solid line in the graph shown in FIG. 10A deviates greatly from the approximate curve obtained from this change over time indicated by the dotted line, and the correlation coefficient is low. Therefore, the window discrimination accuracy of the selected region in this case is calculated to be low.

一方、図10Bに示すグラフの実線で示す選択領域の平均温度の時間変化は、点線で示すこの時間変化から求めた近似曲線とあまり乖離しておらず、相関係数は大きくなる。そのため、この場合の選択領域の窓判別確度は高く算出される。 On the other hand, the time change of the average temperature of the selected region indicated by the solid line in the graph shown in FIG. 10B does not deviate much from the approximate curve obtained from this time change indicated by the dotted line, and the correlation coefficient is large. Therefore, the window discrimination accuracy of the selected region in this case is calculated to be high.

図9に戻り、続いて、窓判別実行部3021は、判定結果DB354に記憶されている判定結果情報が示す選択領域の窓判別確度の値を、ステップS1084で算出した窓判別確度に基づいて更新する(ステップS1085)。 Returning to FIG. 9, subsequently, the window discrimination executing unit 3021 updates the value of the window discrimination accuracy of the selected region indicated by the discrimination result information stored in the discrimination result DB 354 based on the window discrimination accuracy calculated in step S1084. (step S1085).

続いて、窓判別実行部3021は、ステップS1081で全ての分割領域を選択したか否かを判別する(ステップS1086)。未選択の分割領域がある場合(ステップS1086;No)、窓判別実行部3021は、未選択の分割領域を選択して、選択した分割領域(即ち、選択領域)の窓判別確度を算出して判定結果情報を更新する処理(ステップS1081~S1085)を繰り返す。未選択の分割領域がない場合(ステップS1086;Yes)、第2窓判別処理は終了する。 Subsequently, the window discrimination execution unit 3021 discriminates whether or not all divided regions have been selected in step S1081 (step S1086). If there is an unselected divided area (step S1086; No), the window discrimination execution unit 3021 selects the unselected divided area and calculates the window discrimination accuracy of the selected divided area (that is, the selected area). The process of updating the determination result information (steps S1081 to S1085) is repeated. If there is no unselected divided area (step S1086; Yes), the second window determination process ends.

図5に戻り、第2窓判別処理が終了すると、窓検知部302は、予め定めた終了条件が成立するか否かを判別する(ステップS109)。なお、この終了条件は、ステップS105の終了条件と同じにしてもよいし、異なる条件としてもよい。 Returning to FIG. 5, when the second window determination process ends, the window detection unit 302 determines whether or not a predetermined termination condition is satisfied (step S109). Note that this termination condition may be the same as the termination condition of step S105, or may be a different condition.

終了条件が成立しない場合(ステップS109;No)、ステップS101に処理は戻り、窓検知部302は、集計期間に取得された熱画像データに基づいて窓領域を判別する処理(ステップS101~S108)を繰り返す。一方、終了条件が成立する場合(ステップS109;Yes)、窓検知処理は終了する。 If the termination condition is not satisfied (step S109; No), the process returns to step S101, and the window detection unit 302 performs processing for determining a window region based on the thermal image data acquired during the aggregation period (steps S101 to S108). repeat. On the other hand, if the end condition is satisfied (step S109; Yes), the window detection process ends.

このように窓検知処理が実行されることによって、赤外線カメラ20によって対象領域を撮像した集計期間分の複数の熱画像データから、窓領域が精度よく検知される。 By executing the window detection process in this way, the window region can be accurately detected from a plurality of thermal image data for the aggregation period in which the target region is imaged by the infrared camera 20 .

続いて、空調制御装置30で実行される空調制御処理の動作について説明する。なお、空調制御処理が開始される前に窓検知処理が実行済みである。例えば、空調制御装置30は、予め定めた時間(例えば、5分間)毎に、図11に示す空調制御処理を実行する。 Next, the operation of the air conditioning control process executed by the air conditioning control device 30 will be described. Note that the window detection process has already been executed before the air conditioning control process is started. For example, the air-conditioning control device 30 executes the air-conditioning control process shown in FIG. 11 every predetermined time (for example, 5 minutes).

まず、空調制御部304は、判定結果DB354に記憶されている判定結果情報で示されている窓領域の開閉状態を判別する(ステップS201)。例えば、空調制御部304は、赤外線カメラ20から最新の熱画像データを取得して、窓領域内に突出して温度が異なる部分が無いか否かを確認し、そのような部分が有る場合は窓が開いていると判別し、そのような部分が無い場合は窓が閉じていると判別すればよい。若しくは、対象領域内の輝度を図示せぬ輝度センサで測定できる場合、空調制御部304は、窓領域内に閾値よりも輝度が高い部分がある場合は窓が閉じていると判別し、そのような部分が無い場合は窓が開いていると判別してもよい。なお、窓領域の開閉状態を判別する手法は任意であり、他の手法を用いて開閉状態を判別してもよい。 First, the air conditioning control unit 304 determines the open/closed state of the window region indicated by the determination result information stored in the determination result DB 354 (step S201). For example, the air-conditioning control unit 304 acquires the latest thermal image data from the infrared camera 20, checks whether there is a portion with a different temperature protruding into the window area, and if there is such a portion, the window is closed. is open, and if there is no such portion, it is determined that the window is closed. Alternatively, if the brightness in the target area can be measured by a brightness sensor (not shown), the air conditioning control unit 304 determines that the window is closed if there is a portion with brightness higher than the threshold value in the window area, and determines that the window is closed. If there is no such portion, it may be determined that the window is open. Any method may be used to determine the open/closed state of the window region, and another method may be used to determine the open/closed state.

続いて、空調制御部304は、窓領域の位置、開閉状態等に基づいて空調機10を制御する(ステップS202)。例えば、現在の空調機10の運転モードが省エネモードで有り、且つ、窓が開いている場合、空調制御部304は、ネットワークN1を介して停止コマンドを空調機10に送信して、空調機10の運転を停止させる。また、空調制御部304は、窓が閉じている場合、最新の熱画像データから算出した窓領域の平均温度と空調機10の設定温度との差を求め、差が閾値よりも大きい場合に風量を強くすることを指示するコマンドを、ネットワークN1を介して空調機10に送信する。以上で空調制御処理は終了する。 Subsequently, the air conditioning control unit 304 controls the air conditioner 10 based on the position of the window area, the open/close state, etc. (step S202). For example, when the current operation mode of the air conditioner 10 is the energy saving mode and the window is open, the air conditioning control unit 304 transmits a stop command to the air conditioner 10 via the network N1, and the air conditioner 10 stop the operation of Further, when the window is closed, the air conditioning control unit 304 obtains the difference between the average temperature of the window area calculated from the latest thermal image data and the set temperature of the air conditioner 10, and if the difference is larger than the threshold, the air volume is transmitted to the air conditioner 10 via the network N1. The air-conditioning control process ends here.

このように、本実施形態に係る空調制御装置30によれば、予め定めた期間に渡って取得した複数の熱画像データから対象領域内の窓領域が検知される。そのため、熱を発する汁器、設備機器等が多数設置されており、時間帯に応じて環境が大きく変化するオフィス空間200のような領域を対象に窓領域の検知を行った場合でも、複数の熱画像データから窓領域を正しく判定することができ、従来よりも精度良く窓領域を検知することが可能となる。 As described above, according to the air-conditioning control device 30 according to the present embodiment, the window region within the target region is detected from a plurality of thermal image data acquired over a predetermined period. Therefore, even when the detection of the window area is performed for an area such as the office space 200 in which a large number of heat-generating soup bowls, equipment, etc. are installed and the environment changes greatly depending on the time of day, a plurality of windows can be detected. It is possible to correctly determine the window area from the thermal image data and detect the window area with higher accuracy than in the past.

また、本実施形態に係る空調制御装置30は、複数の熱画像データが示す温度分布状況に基づいて窓領域を検知する第1窓判別処理を実行する。また、空調制御装置30は、複数の熱画像データが示す経時的な温度変化に基づいて窓領域を検知する第2窓判別処理を実行する。そして、空調制御装置30は、このようなアルゴリズムが異なる第1窓判別処理と第2窓判別処理とを終了条件が成立するまで繰り返し実行することで、窓領域を検知する。そして、窓判別処理をこのように繰り返す際には、前回の窓判別処理の実行結果に基づいて、次回の窓判別処理の探索領域が設定される。従って、本実施形態では、窓であるか否かが不確かな領域に対して重点的に繰り返し窓判別処理が実行されることになるため、処理負荷を抑えつつも、精度良く窓領域を判別することが可能となる。 Further, the air-conditioning control device 30 according to the present embodiment executes a first window determination process of detecting a window region based on the temperature distribution conditions indicated by multiple pieces of thermal image data. The air-conditioning control device 30 also executes a second window determination process for detecting a window region based on temperature changes over time indicated by a plurality of thermal image data. The air-conditioning control device 30 detects the window area by repeatedly executing the first window determination process and the second window determination process with different algorithms until the end condition is satisfied. Then, when repeating the window discrimination process in this manner, the search area for the next window discrimination process is set based on the execution result of the previous window discrimination process. Therefore, in the present embodiment, since the window determination process is repeatedly executed with emphasis on the area where it is uncertain whether it is a window, the window area can be accurately determined while suppressing the processing load. becomes possible.

また、本実施形態では、第1窓判別処理の実行後に、第1窓判別処理よりも処理負荷が大きい第2窓判別処理が実行されるため、より処理にかかる負荷を抑えることが可能となる。 In addition, in the present embodiment, the second window determination process, which has a larger processing load than the first window determination process, is performed after the first window determination process is performed, so it is possible to further reduce the processing load. .

(変形例)
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
(Modification)
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications are of course possible without departing from the gist of the present invention.

上記実施形態では、窓検知処理として、終了条件が成立するまで第1窓判別処理と第2窓判別処理とを繰り返し実行したが、第1窓判別処理、第2窓判別処理の何れか一方のみを繰り返し実行してもよい。また、処理に時間をかけず、大まかに窓領域を判別したい場合は、このような繰り返しを行わず、第1窓判別処理及び/又は第2窓判別処理を1回だけ実行して窓検知処理を終了してもよい。 In the above embodiment, as the window detection process, the first window discrimination process and the second window discrimination process are repeatedly executed until the end condition is satisfied. may be executed repeatedly. Also, if it is desired to roughly determine the window region without spending time on the processing, the first window determination processing and/or the second window determination processing are executed only once without such repetition, and the window detection processing is performed. may be terminated.

上記実施形態では、第1窓判別処理は、複数の熱画像データが示す温度分布状況に基づいて窓領域を検知する処理であると説明した。また、第2窓判別処理は、複数の熱画像データが示す経時的な温度変化に基づいて、窓領域を検知する処理であると説明した。しかしながら、取得時間が異なる複数の熱画像データを用いるものであれば、第1窓判別処理、第2窓判別処理のアルゴリズムは種々のものが採用可能である。例えば、第1窓判別処理、第2窓判別処理として、取得時間が異なる熱画像データから、分割領域毎に平均温度を算出し、閾値と比較することで窓領域であるか否かを判別する処理を実行してもよい。 In the above embodiment, the first window determination process is a process of detecting a window region based on the temperature distribution conditions indicated by a plurality of thermal image data. Further, it has been described that the second window determination process is a process of detecting a window region based on temporal temperature changes indicated by a plurality of thermal image data. However, as long as a plurality of thermal image data with different acquisition times are used, various algorithms can be adopted for the first window discrimination process and the second window discrimination process. For example, as the first window discrimination process and the second window discrimination process, the average temperature is calculated for each divided area from the thermal image data acquired at different times, and it is compared with a threshold to determine whether it is a window area or not. processing may be performed.

また、上記実施形態では、画像DB353に熱画像データを記憶し、窓検知処理で記憶されている複数の熱画像データに基づいて窓領域を検知した。しかしながら、熱画像データを取得した際に、第1窓判別処理と第2窓判別処理とで窓判別に利用する情報(例えば、分割領域毎の平均温度)を算出し、算出した情報のみを記憶するようにしてもよい。このようにすることで、二次記憶装置35の容量を節約することが可能となる。 Further, in the above embodiment, the thermal image data is stored in the image DB 353, and the window area is detected based on a plurality of thermal image data stored in the window detection process. However, when the thermal image data is acquired, the information used for window discrimination (for example, the average temperature of each divided area) is calculated in the first window discrimination process and the second window discrimination process, and only the calculated information is stored. You may make it By doing so, the capacity of the secondary storage device 35 can be saved.

また、上記実施形態において、空調制御装置30のプロセッサ32が実行する窓検知プログラム351、空調制御プログラム352を、既存のコンピュータに適用することで、当該コンピュータを本発明に係る空調制御装置30として機能させることも可能である。 Further, in the above embodiment, by applying the window detection program 351 and the air conditioning control program 352 executed by the processor 32 of the air conditioning control device 30 to an existing computer, the computer functions as the air conditioning control device 30 according to the present invention. It is also possible to let

このようなプログラムの配布方法は任意であり、例えば、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。 Any method can be used to distribute such a program. may be stored and distributed in the , or may be distributed via a communication network such as the Internet.

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。 The present invention is capable of various embodiments and modifications without departing from the broader spirit and scope of the invention. Moreover, the above-described embodiments are for explaining the present invention, and do not limit the scope of the present invention. In other words, the scope of the present invention is indicated by the claims rather than the embodiments. Various modifications made within the scope of the claims and within the meaning of the invention equivalent thereto are considered to be within the scope of the present invention.

本発明は、空調機を制御する空調制御装置に好適に採用され得る。 INDUSTRIAL APPLICATION This invention can be suitably employ|adopted for the air-conditioning control apparatus which controls an air conditioner.

100 空調システム、200 オフィス空間、201 窓、202 壁、10 空調機、20 赤外線カメラ、30 空調制御装置、N1 ネットワーク、31 通信インタフェース、32 プロセッサ、33 ROM、34 RAM、35 二次記憶装置、36 バス、351 窓検知プログラム、352 空調制御プログラム、353 画像DB、354 判定結果DB、301 取得部、302 窓検知部、303 開閉判別部、304 空調制御部、3021 窓判別実行部、3022 探索領域設定部 100 air conditioning system 200 office space 201 window 202 wall 10 air conditioner 20 infrared camera 30 air conditioning control device N1 network 31 communication interface 32 processor 33 ROM 34 RAM 35 secondary storage device 36 Bus 351 Window detection program 352 Air conditioning control program 353 Image DB 354 Determination result DB 301 Acquisition unit 302 Window detection unit 303 Open/close determination unit 304 Air conditioning control unit 3021 Window determination execution unit 3022 Search area setting Department

Claims (9)

予め定めた期間に渡って対象領域の熱画像データを取得する取得手段と、
前記取得手段で取得した取得時間が異なる複数の前記熱画像データから前記対象領域内の窓領域を検知する窓検知手段と、
を備え、
前記窓検知手段は、
前記対象領域に含まれる探索領域を分割した分割領域毎に窓領域であるか否かを判別する窓判別処理を予め定めた終了条件が成立するまで繰り返し実行する窓判別実行手段と、
前記窓判別処理の判別結果に基づいて、次回の前記窓判別処理で対象とする前記探索領域を設定する探索領域設定手段と、を備え、
前記窓判別実行手段は、前記窓判別処理として、第1窓判別処理と、前記第1窓判別処理の後に実行され前記第1窓判別処理とは異なる手法で前記窓領域を判別する第2窓判別処理と、を繰り返し実行する、
窓検知装置。
Acquisition means for acquiring thermal image data of a target region over a predetermined period;
window detection means for detecting a window region within the target region from a plurality of the thermal image data acquired by the acquisition means and having different acquisition times;
with
The window detection means is
window discrimination execution means for repeatedly executing a window discrimination process for discriminating whether or not each divided region obtained by dividing the search region included in the target region is a window region until a predetermined end condition is satisfied;
Search area setting means for setting the search area to be targeted in the next window discrimination process based on the discrimination result of the window discrimination process,
The window determination executing means includes, as the window determination process, a first window determination process and a second window determination process which is executed after the first window determination process and determines the window region by a method different from the first window determination process. Repeatedly executing the discrimination process and
Window detection device.
前記窓判別実行手段は、前記第1窓判別処理として、前記複数の熱画像データのそれぞれから前記分割領域の平均温度を求め、求めた各平均温度の分布状況から当該分割領域が窓領域であるか否かを判別する、
請求項1に記載の窓検知装置。
The window determination executing means obtains an average temperature of the divided area from each of the plurality of thermal image data as the first window determination process, and determines that the divided area is a window area based on the obtained average temperature distribution. determine whether or not
The window detection device according to claim 1.
前記窓判別実行手段は、前記第2窓判別処理として、前記複数の熱画像データのそれぞれから前記分割領域の平均温度を求め、求めた各平均温度の経時的な変化を予め定めた近似曲線に当てはめ、当てはめた近似曲線と各平均温度との相関に基づいて、当該分割領域が窓領域であるか否かを判別する、
請求項1又は2に記載の窓検知装置。
As the second window discrimination processing, the window discrimination executing means obtains the average temperature of the divided regions from each of the plurality of thermal image data, and converts the obtained average temperature over time into a predetermined approximation curve. applying, determining whether the divided area is a window area based on the correlation between the fitted approximated curve and each average temperature;
The window detection device according to claim 1 or 2.
前記第2窓判別処理の処理負荷は前記第1窓判別処理の処理負荷よりも大きい、
請求項1から3の何れか1項に記載の窓検知装置。
the processing load of the second window discrimination process is greater than the processing load of the first window discrimination process;
The window detection device according to any one of claims 1 to 3.
前記窓検知手段が検知した前記窓領域の開閉状態を判別する開閉判別手段をさらに備える、
請求項1から4の何れか1項に記載の窓検知装置。
Further comprising open/close determination means for determining the open/closed state of the window area detected by the window detection means,
The window detection device according to any one of claims 1 to 4.
請求項1から5の何れか1項に記載の窓検知装置と、
前記窓検知手段による検知結果に基づいて空調機を制御する空調制御手段と、
を備える空調制御装置。
a window detection device according to any one of claims 1 to 5;
air conditioning control means for controlling an air conditioner based on a detection result by the window detection means;
Air conditioning control device.
対象領域の熱画像データを撮像する撮像装置と、前記対象領域を含む領域を空調する空調機と、前記空調機を制御する空調制御装置と、を備えた空調システムであって、
前記空調制御装置は、
予め定めた期間に渡って前記撮像装置から対象領域の熱画像データを取得する取得手段と、
前記取得手段で取得した取得時間が異なる複数の前記熱画像データから前記対象領域内の窓領域を検知する窓検知手段と、
前記窓検知手段による検知結果に基づいて前記空調機を制御する空調制御手段と、を備え、
前記窓検知手段は、
前記対象領域に含まれる探索領域を分割した分割領域毎に窓領域であるか否かを判別する窓判別処理を予め定めた終了条件が成立するまで繰り返し実行する窓判別実行手段と、
前記窓判別処理の判別結果に基づいて、次回の前記窓判別処理で対象とする前記探索領域を設定する探索領域設定手段と、を備え、
前記窓判別実行手段は、前記窓判別処理として、第1窓判別処理と、前記第1窓判別処理の後に実行され前記第1窓判別処理とは異なる手法で前記窓領域を判別する第2窓判別処理と、を繰り返し実行する、
空調システム。
An air conditioning system comprising: an imaging device that captures thermal image data of a target region; an air conditioner that air-conditions a region that includes the target region; and an air conditioning control device that controls the air conditioner,
The air conditioning control device
Acquisition means for acquiring thermal image data of a target region from the imaging device over a predetermined period;
window detection means for detecting a window region within the target region from a plurality of the thermal image data acquired by the acquisition means and having different acquisition times;
air conditioning control means for controlling the air conditioner based on the detection result of the window detection means;
The window detection means is
window discrimination execution means for repeatedly executing a window discrimination process for discriminating whether or not each divided region obtained by dividing the search region included in the target region is a window region until a predetermined end condition is satisfied;
Search area setting means for setting the search area to be targeted in the next window discrimination process based on the discrimination result of the window discrimination process,
The window determination executing means includes, as the window determination process, a first window determination process and a second window determination process which is executed after the first window determination process and determines the window region by a method different from the first window determination process. Repeatedly executing the discrimination process and
air conditioning system.
予め定めた期間に渡って対象領域の熱画像データを取得する取得ステップと、
前記取得ステップで取得した取得時間が異なる複数の前記熱画像データから前記対象領域内の窓領域を検知する窓検知ステップと、を有し、
前記窓検知ステップでは、予め定めた終了条件が成立するまで、互いに手法が異なる第1窓判別処理と第2窓判別処理とを交互に繰り返し実行することによって前記窓領域を検知する、
窓検知方法。
an acquisition step of acquiring thermal image data of the region of interest over a predetermined period of time;
a window detection step of detecting a window region within the target region from a plurality of the thermal image data acquired at the acquisition step and having different acquisition times;
In the window detection step, the window region is detected by alternately and repeatedly executing a first window determination process and a second window determination process using different methods until a predetermined termination condition is satisfied .
Window detection method.
コンピュータを、
予め定めた期間に渡って対象領域の熱画像データを取得する取得手段、
前記取得手段で取得した取得時間が異なる複数の前記熱画像データから前記対象領域内の窓領域を検知する窓検知手段、
として機能させ、
前記窓検知手段は、
前記対象領域に含まれる探索領域を分割した分割領域毎に窓領域であるか否かを判別する窓判別処理を予め定めた終了条件が成立するまで繰り返し実行する窓判別実行手段と、
前記窓判別処理の判別結果に基づいて、次回の前記窓判別処理で対象とする前記探索領域を設定する探索領域設定手段と、を備え、
前記窓判別実行手段は、前記窓判別処理として、第1窓判別処理と、前記第1窓判別処理の後に実行され前記第1窓判別処理とは異なる手法で前記窓領域を判別する第2窓判別処理と、を繰り返し実行する、
プログラム。
the computer,
Acquisition means for acquiring thermal image data of the target area over a predetermined period;
window detection means for detecting a window region within the target region from a plurality of the thermal image data acquired by the acquisition means and having different acquisition times;
function as
The window detection means is
window discrimination execution means for repeatedly executing a window discrimination process for discriminating whether or not each divided region obtained by dividing the search region included in the target region is a window region until a predetermined end condition is satisfied;
Search area setting means for setting the search area to be targeted in the next window discrimination process based on the discrimination result of the window discrimination process,
The window determination executing means includes, as the window determination process, a first window determination process and a second window determination process which is executed after the first window determination process and determines the window region by a method different from the first window determination process. Repeatedly executing the discrimination process and
program.
JP2020540910A 2018-09-05 2018-09-05 Window detection device, air conditioning control device, air conditioning system, window detection method, and program Active JP7105896B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032840 WO2020049645A1 (en) 2018-09-05 2018-09-05 Window-sensing device, air conditioning control device, air conditioning system, and window-sensing method

Publications (2)

Publication Number Publication Date
JPWO2020049645A1 JPWO2020049645A1 (en) 2021-03-11
JP7105896B2 true JP7105896B2 (en) 2022-07-25

Family

ID=69721615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540910A Active JP7105896B2 (en) 2018-09-05 2018-09-05 Window detection device, air conditioning control device, air conditioning system, window detection method, and program

Country Status (2)

Country Link
JP (1) JP7105896B2 (en)
WO (1) WO2020049645A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091253A (en) 2008-09-10 2010-04-22 Mitsubishi Electric Corp Air conditioner
JP2011027305A (en) 2009-07-23 2011-02-10 Mitsubishi Electric Corp Energy saving equipment and air conditioner
JP2016008796A (en) 2014-06-25 2016-01-18 三菱電機株式会社 Indoor unit of air conditioning device and air conditioning device
JP2016200282A (en) 2015-04-07 2016-12-01 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド Air conditioner and operation method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091253A (en) 2008-09-10 2010-04-22 Mitsubishi Electric Corp Air conditioner
JP2011027305A (en) 2009-07-23 2011-02-10 Mitsubishi Electric Corp Energy saving equipment and air conditioner
JP2016008796A (en) 2014-06-25 2016-01-18 三菱電機株式会社 Indoor unit of air conditioning device and air conditioning device
JP2016200282A (en) 2015-04-07 2016-12-01 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド Air conditioner and operation method thereof

Also Published As

Publication number Publication date
JPWO2020049645A1 (en) 2021-03-11
WO2020049645A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US9967482B2 (en) Image processing apparatus, image processing method, and storage medium for noise reduction processing
US10521673B2 (en) Counting persons in queue system, apparatus, method, and storage medium
CN108881736B (en) Aperture correction method and device
CN108507132B (en) Infrared sensor adjusting method and device, readable storage medium and air conditioner
JP2020046637A (en) Control device, image capturing device, control method, and program
CN111562013B (en) Thermal infrared imager automatic correction method and device based on TEC
JP7105896B2 (en) Window detection device, air conditioning control device, air conditioning system, window detection method, and program
JP6811909B1 (en) Heat load estimation device, air conditioning control system and heat load estimation method
WO2016051848A1 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
CN113280406B (en) Air conditioner, control method and device of air conditioner and readable storage medium
TW201823678A (en) Image capturing device and calibration method for phase detection auto focus thereof
JP5045449B2 (en) Environment-adaptive intruder detection device by image processing
CN114697473B (en) Defogging method and device for camera, electronic equipment and storage medium
JP7113980B2 (en) POWER CONTROL DEVICE AND POWER CONTROL METHOD FOR VEHICLE CAMERA
US11107491B2 (en) Sensor data array and method of counting occupants
JP6458181B2 (en) Air conditioning control apparatus and method
JPWO2022014026A5 (en) Temperature control device, system, method and program
CN109163364B (en) Intelligent range hood and control method thereof
JP6884539B2 (en) Projection type display device
JPWO2020115791A1 (en) Equipment control device and equipment control method
JP6705486B2 (en) Object detection apparatus, system, method and program
WO2017033559A1 (en) Image capture device, image capture method, and program
WO2021019768A1 (en) Indoor layout estimation device, indoor layout estimation method, and air conditioner
US20220360701A1 (en) Imaging control apparatus for controlling exposure of imaging apparatus based on subject authentication result, imaging control method, and storage medium
JP2021114681A (en) Control apparatus, imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220712

R150 Certificate of patent or registration of utility model

Ref document number: 7105896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150