JP6453069B2 - 空気調和機、空気調和機の制御方法、及びプログラム - Google Patents

空気調和機、空気調和機の制御方法、及びプログラム Download PDF

Info

Publication number
JP6453069B2
JP6453069B2 JP2014251956A JP2014251956A JP6453069B2 JP 6453069 B2 JP6453069 B2 JP 6453069B2 JP 2014251956 A JP2014251956 A JP 2014251956A JP 2014251956 A JP2014251956 A JP 2014251956A JP 6453069 B2 JP6453069 B2 JP 6453069B2
Authority
JP
Japan
Prior art keywords
sensor
external system
room
air conditioner
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014251956A
Other languages
English (en)
Other versions
JP2016114270A (ja
Inventor
勇太 及川
勇太 及川
一浩 土橋
一浩 土橋
米山 裕康
裕康 米山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Johnson Controls Air Conditioning Inc
Original Assignee
Hitachi Johnson Controls Air Conditioning Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Johnson Controls Air Conditioning Inc filed Critical Hitachi Johnson Controls Air Conditioning Inc
Priority to JP2014251956A priority Critical patent/JP6453069B2/ja
Publication of JP2016114270A publication Critical patent/JP2016114270A/ja
Application granted granted Critical
Publication of JP6453069B2 publication Critical patent/JP6453069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Air Conditioning Control Device (AREA)

Description

本発明は、空気調和機等に関する。
在室者を検出し、その検出結果を空調制御に反映させる空気調和機が知られている。このような空気調和機に関して、在室者の検出結果を監視・防犯にも利用することが提案されている。
例えば、特許文献1には、室内にいる人及びペットのうち少なくともいずれかの活動状態を検出する活動状態検出手段と、前記した活動状態に応じて空気調和処理/情報出力処理を切り替える処理切り替え手段と、を備える空気調和装置について記載されている。
特開2010−71595号公報
特許文献1に記載の技術は、室内にいる子供やペットの見守り等を行うために、家庭用の空気調和機に監視・防犯機能を設けたものである。
一方、店舗やオフィスには、多くの場合、室内を監視するための監視カメラが設置され、この監視カメラを備える監視システム(外部システム)が常時作動している。
また、店舗やオフィスには、多くの場合、複数台の空気調和機が設置されている。そして、それぞれの空気調和機は、他の空気調和機(外部システム)と情報をやり取りすることなく、自身が備える撮像手段の撮像結果に基づいて個別で空調制御を行うようになっている。
前記した外部システム(監視システム、他の空気調和機)と、空気調和機と、の間で情報をやり取りすることによって、空気調和機が備えるセンサ(撮像手段)によるセンシングの結果を有効利用できる可能性があるが、このような技術について特許文献1には記載されていない。
そこで、本発明は、室内のセンシングの結果を有効利用する空気調和機等を提供することを課題とする。
前記課題を解決するために、本発明に係る空気調和機は、室内を赤外線及び/又は可視光線によってセンシングする第1センサと、少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、を備える空気調和機において、前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段を備え、前記外部システムは、前記室内を監視する監視システムであり、前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、前記制御手段は、前記協調制御として、前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサによる前記室内の監視の作動/停止を判断し、前記監視が作動されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしないときは、前記監視を停止させる情報を前記通信手段を介して前記外部システムに送信し、前記監視が停止されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしたときは、前記監視を作動させる情報を前記通信手段を介して前記外部システムに送信することを特徴とする。
また、本発明は、室内を赤外線及び/又は可視光線によってセンシングする第1センサと、少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、を備える空気調和機において、前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段を備え、前記外部システムは、前記室内を監視する監視システムであり、前記第1センサ及び前記第2センサは、前記室内を撮像する撮像センサであり、前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、前記制御手段は、前記協調制御として、前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサの故障状態を判断し、前記第2センサが故障している判断した場合、前記第1センサによって撮像した前記室内の撮像情報を、前記通信手段を介して前記外部システムに送信し、前記第2センサが前記故障から復帰したと判断した場合、前記外部システムへの前記撮像情報の送信を停止することを特徴とする。
本発明によれば、室内のセンシングの結果を有効利用する空気調和機等を提供できる。
本発明の第1実施形態に係る空気調和機を含む構成図である。 空気調和機及び監視システムの処理を示すシーケンス図である。 本発明の第2実施形態に係る空気調和機及び監視システムの処理を示すシーケンス図である。 本発明の第3実施形態に係る空気調和機を含む構成図である。 (a)は各空気調和機の室内機を天井の上側に設置した例を示す模式的な側面図であり、(b)は各撮像部の撮像領域と、動線計測した結果の一例と、を示す模式的な平面図である。 各空気調和機の処理を示すシーケンス図である。
≪第1実施形態≫
<空気調和機>
図1は、第1実施形態に係る空気調和機1を含む構成図である。
空気調和機1は、室内を空気調和する装置であり、例えば、店舗やオフィスに設置されている。空気調和機1は、図示はしないが、圧縮機と、四方弁と、凝縮器と、膨張弁と、蒸発器と、が環状に順次接続されてなる冷媒回路を備え、この冷媒回路において周知のヒートポンプサイクルで冷媒を循環させて室内を空調するようになっている。
図1に示すように、空気調和機1は、撮像部11(第1センサ)と、制御部12(制御手段)と、情報入出力部13(通信手段)と、を備えている。
撮像部11は、室内を可視光線によってセンシングするセンサであり、自身に入射する光を電気信号に変換する撮像素子11aを有している。撮像素子11aとして、例えば、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。
撮像素子11aの前方には、入射する光を集光するためのレンズ(図示せず)が配置されている。このレンズを介して入射した光が撮像素子11aにおいて電気信号に変換されることで、画像データが生成される。撮像部11は、制御部12と電気的に接続され、生成した画像データを制御部12に出力するようになっている。
なお、撮像部11として、赤外線によって室内をセンシングする焦電型(熱型)の赤外線センサを用いてもよい。また、撮像部11として、対象物から放射される赤外線を熱電対で受けて電気信号に変換するサーモパイルを用いてもよい。このように、赤外線センサやサーモパイルを用いることで、撮像部11に要する製造コストを低減できる。
また、撮像部11は、可視光線によって室内をセンシングする撮像素子と、赤外線によって室内をセンシングする素子(図示せず)と、の両方を備える構成であってもよい。
撮像部11は、室内機(図示せず)の各機器を収容する筐体(図示せず)に設置されている。例えば、天井の上側に室内機を配置する場合、撮像部11は、前記した筐体において室内に露出している所定箇所に設置される。本実施形態では、一例として、撮像部11によって室内の略全域が撮像される場合について説明する。
制御部12は、例えば、マイクロコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェースなどの電子回路を含んで構成される。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。
制御部12は、撮像部11から入力される画像データや、室内・室外の温度等に基づいて空調制御を行う機能を有している。すなわち、制御部12は、在室者にとって快適な空調が行われるように、風向、風量、圧縮機(図示せず)を駆動するモータ(図示せず)の回転速度等を調整するようになっている。
制御部12は、撮像部11から入力される画像データに基づいて、在室者の有無を判定し、また、在室者の座標(位置)を演算する機能を有している。すなわち、制御部12は、撮像部11から入力される画像データを時系列に従ってフレーム毎に画像メモリ(図示せず)に格納し、この画像メモリに格納した画像データに基づいて在室者を検出する。
撮像部11がCCDイメージセンサ等の撮像素子11aを有する場合、制御部12は、例えば、撮像された対象物の形状に基づいて在室者の有無を判定する。そして、「在室者有り」と判定した場合、制御部12は、この在室者の座標(位置)を演算する。
また、撮像部11として焦電型の赤外線センサを用いる場合、制御部12は、赤外線センサから入力される電気信号に基づいて、熱源である在室者の有無を判定し、在室者の座標(位置)を演算する。なお、この場合には、例えば、検知範囲の異なる複数の焦電型の赤外線センサを組み合わせて使用し、検知した赤外線センサに対応する範囲から在室者の座標(位置)を特定する。
図1に示すように、制御部12は、情報入出力部13と電気的に接続されている。そして、制御部12による在室者の検出結果に関する情報(在室者の有無、在室者の座標)が、情報入出力部13を介して監視システム2(外部システム)に出力されるようになっている。
また、制御部12は、情報入出力部13を介して取得した監視システム2からの情報に基づいて、監視カメラ21による室内の監視の作動/停止を判断する機能も有している。
情報入出力部13は、監視システム2と、制御部12と、の間で情報を入出力するためのものである。具体的には、情報入出力部13は、監視システム2に接続される有線ケーブルを取り付けるためのコネクタ、又は無線送受信用のアンテナ(USBドングル:Universal Serial Bus Dongle等)を取り付けるためのコネクタである。
なお、情報入出力部13はこれに限定されず、監視システム2と有線又は無線で相互に通信可能にするものであれば、他の構成であってもよい。
<監視システム>
図1に示す監視システム2は、店舗等の室内に不審者等がいるか否かを監視するためのシステムである。監視システム2は、監視カメラ21(第2センサ)と、制御部22と、情報入出力部23と、を備えている。
監視カメラ21は、空気調和機1が設置されている室内を撮像するカメラであり、室内の所定箇所に設置されている。つまり、空気調和機1の撮像部11によって室内が撮像されるとともに、監視カメラ21によって当該室内が撮像されるようになっている。
監視カメラ21は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子21aを有している。そして、レンズ(図示せず)を介して入射した光が撮像素子21aによって電気信号に変換されることで、画像データが生成されるようになっている。監視カメラ21は、制御部22と電気的に接続され、撮像結果である画像データを制御部22に出力するようになっている。この画像データは、監視システム2の記憶手段(図示せず)に逐次格納される。
なお、監視カメラ21に代えて、赤外線によって室内をセンシングする赤外線センサ(第2センサ)やサーモパイル(第2センサ)を用いてもよい。また、監視カメラ21は、可視光線によって室内をセンシングする撮像素子と、赤外線によって室内をセンシングする素子(図示せず)と、の両方を備える構成であってもよい。
制御部22は、監視カメラ21から入力される画像データを解析して不審者の有無を判定するとともに、室内に不審者がいる場合には、その位置や顔画像を記録する機能を有している。
また、制御部22は、監視カメラ21による室内の監視の作動/停止を示す情報を所定周期で(又は、空気調和機1の制御部12からの要求に応じて)、空気調和機1に出力する機能を有している。
さらに、制御部22は、空気調和機1の制御部12から情報入出力部13,23を介して入力される情報(在室者の有無、在室者の座標)に基づき、監視カメラ21のオン/オフを切り替える機能を有している。その他、制御部22は、前記した情報に基づいて監視カメラ21にズーム指令を出力し、その倍率を変化させる機能も有している。これらの機能の詳細については後記する。
ちなみに、空気調和機1において在室者の座標の演算に用いられる座標系と、監視システム2において在室者の座標の演算に用いられる座標系と、は相互に変換可能になっている。つまり、在室者の位置を示す座標データが空気調和機1から情報入出力部13,23を介して入力された場合、監視システム2の制御部22が、この座標データに基づいて、在室者の位置を特定できるようになっている。
<処理内容>
図2は、空気調和機1及び監視システム2の処理を示すシーケンス図である(適宜、図1参照)。
ステップS101において空気調和機1の制御部12は、在室者検出処理を実行する。つまり、制御部12は、撮像部11から入力される画像データに基づいて、在室者の有無を判定する。なお、在室者検出処理は、空調運転の実行/停止に関わらず、所定周期で繰り返される。
ステップS102において監視システム2の制御部22は、監視カメラ21の電源をオン状態にする。つまり、制御部22は、監視カメラ21から入力される画像データを記録するとともに、室内に不審者がいないかを監視する。なお、監視カメラ21の電源をオンに切り替えるトリガは、後記するように、空気調和機1の制御部12から入力される電源オン指令である(S105)。
例えば、在室者が検出されない状態が所定時間(例えば、数分間)以上続いた場合、ステップS102において空気調和機1の制御部12は、「在室者なし」と判定する。室内が店舗である場合を例に挙げると、販売を終了してから再開するまでの深夜は、通常、店舗内に人がいないため、制御部12によって「在室者なし」と判定される。
なお、在室者が検出されない状態が所定時間以上続くという条件に加えて、現在時刻が、通常は在室者がいない時間帯(例えば、深夜)に含まれるという条件を追加してもよい。また、前記した条件に代えて、最新のフレーム画像に基づいて在室者が検出されない場合、「在室者なし」と判定するようにしてもよい。
図2において「在室者なし」と判定した後(S103)、ステップS104において制御部12は、監視カメラ21を停止させるための電源オフ指令を、情報入出力部13を介して監視システム2に出力する。
言い換えると、制御部12は、監視カメラ21による監視が作動されていると判断した場合において、撮像部11を介して室内の変化をセンシングしないときは、前記した監視を停止させるための電源オフ指令を監視システム2に送信する。
空気調和機1の制御部12から電源オフ指令が入力された場合(S104)、ステップS105において監視システム2の制御部22は、監視カメラ21の電源をオンからオフに切り替える。このように、在室者がいない場合(例えば、深夜)に監視カメラ21を停止させることで、その消費電力量を大幅に低減できる。
なお、電源オフ指令を出力した後も、空気調和機1の制御部12によって在室者検出処理が継続される。これは、監視カメラ21による撮像を停止(S105)している間も、途切れることなく室内を監視するためである。つまり、制御部12は、監視カメラ21によって撮像されない期間を補うように、撮像部11から入力される画像データに基づいて室内を監視する。前記したように、撮像部11によって室内の略全域が撮像されているため、監視カメラ21の電源をオフにしても不審者を見落とすおそれはない。
また、監視カメラ21の停止中は通常、在室者がいないため、制御部12によって在室者検出処理を行いつつ、空調運転をオフにすることで省電力化を図ってもよい。また、冷暖房が不要である春季・秋季には、撮像部11及び制御部12に電力供給して在室者検出処理を行いつつ、空調運転をオフにしてもよい。
監視カメラ21の停止中に、在室者検出処理によって在室者(不審者)を検出した場合、ステップS106において制御部12は、「在室者有り」と判定する。
ステップS107において制御部12は、監視カメラ21を起動させるための電源オン指令を、情報入出力部13を介して監視システム2に出力する。言い換えると、制御部12は、監視カメラ21による監視が停止されていると判断した場合において、撮像部11を介して室内の変化をセンシングしたときは、前記した監視を作動させるための電源オン指令を監視システム2に送信する。
このようにして制御部12は、情報入出力部13を介して入出力される情報に基づき、監視システム2との協調制御を行う。
なお、ステップS107の電源オン指令に加えて、在室者の座標(位置)を示す座標データを監視システム2に出力するようにしてもよい。この座標データは、後記する監視カメラ21のズーム処理で用いられる。
空気調和機1の制御部12から電源オン指令が入力された場合(S107)、ステップS108において監視システム2の制御部22は、監視カメラ21の電源をオフからオンに切り替える。これによって、監視カメラ21によって在室者(不審者)を撮像し、その撮像結果を高精度で記録できる。
ちなみに、店舗等の空気調和機1として天井埋込み型のものを用いる場合には、撮像部11によって在室者を略真上から撮像できるものの、その顔は撮像できないことが多い。前記したように監視カメラ21を作動させることで(S108)、在室者の顔画像も記録できる。
また、ステップS107において前記した座標データも入力された場合、監視システム2の制御部22は、この座標データに基づいて在室者(不審者)の位置を特定し、この在室者を拡大して撮像するようにズーム処理を行う。これによって、在室者の姿や顔を鮮明に撮像できる。
<効果>
本実施形態によれば、在室者がいない場合に監視カメラ21の電源をオフにすることで(S103〜S105)、監視カメラ21の消費電力量を従来よりも大幅に低減できる。例えば、不審者がいない通常時の画像データについては記録する必要はなく、不審者が侵入した場合のみ画像データを記録できばよいといった場合や、高性能の監視カメラ21を設置しているが電源を常時オンにしているのでは電気代が気になるといった場合に、本実施形態は特に有効である。
また、監視カメラ21の電源がオフになっている間も空気調和機1では在室者検出処理が継続される。つまり、室内の監視が時間的に途切れなく行われるため、不審者の見落としを防止できる。さらに、在室者検出処理に基づいて在室者(不審者)が検出された場合には監視カメラ21の電源がオンに切り替えられ(S106〜S108)、検出した在室者をズームして撮像する。これによって、在室者(不審者)の特徴が鮮明に記録されるため、防犯力の強化を図ることができる。
なお、在室者の有無のみの判定で足りる場合には、撮像部11として安価な赤外線センサを使用することで、空気調和機1の製造コストを低減できる。
このように、本実施形態によれば、空気調和機1と監視システム2とを連動させることによって、空気調和機1単体での空調制御や見守り機能だけでなく、顧客に対して新たな付加価値(省電力化、防犯力の強化)を提供できる。
≪第2実施形態≫
第2実施形態は、空気調和機1(図1参照)及び監視システム2(図1参照)の処理内容が異なるが、それぞれの構成は第1実施形態と同様である。したがって、第1実施形態と異なる部分について説明し、重複する部分については説明を省略する。
なお、監視システム2(外部システム)の監視カメラ21は、その故障状態(故障/故障からの復帰)を示す情報を制御部22に出力するように構成されているものとする。また、空気調和機1の制御部12は、情報入出力部13を介して監視システム2から取得した情報に基づいて、監視カメラ21の故障状態を判断するようになっている。
図3は、第2実施形態に係る空気調和機1及び監視システム2の処理を示すシーケンス図である(適宜、図1参照)。
ステップS201において監視システム2の制御部22が、監視カメラ21の故障を検知したとする。
ステップS202において監視システム2の制御部22は、監視カメラ21が故障したことを示す故障信号を、情報入出力部23,13を介して空気調和機1の制御部12に出力する。なお、監視カメラ21の故障状態を問い合わせる信号を空気調和機1の制御部12から所定周期で監視システム2に出力し、それに応答する信号を監視システム2から空気調和機1に出力するようにしてもよい。
ステップS203において空気調和機1の制御部12は、監視システム2への画像データの出力を開始する。つまり、制御部12は、故障信号に基づいて監視カメラ21が故障していると判断した場合、撮像部11によって撮像した室内の画像データ(撮像情報)を、情報入出力部13を介して監視システム2に送信する(S204)。この画像データは、監視システム2の記憶手段(図示せず)に逐次格納される。
なお、空気調和機12の制御部12は、監視カメラ21が故障している間は、監視システム2への画像データの出力を継続する。つまり、制御部12は、監視カメラ21によって撮像されない期間を補うように、撮像部11から入力される画像データが監視システム2に出力される。これによって、監視カメラ21の故障中も室内の撮像結果を記録し続けることができる。
ステップS205において監視カメラ21が故障から復帰し、監視システム2の制御部22が、前記した復帰を検知したとする。
ステップS206において監視システム2の制御部22は、監視カメラ21が故障から復帰したことを示す復帰信号を、情報入出力部23,13を介して空気調和機1の制御部12に出力する。
ステップS207において空気調和機1の制御部12は、監視システム2への画像データの出力を停止する。つまり、制御部12は、復帰信号に基づいて監視カメラ21が故障から復帰したと判断した場合、監視システム2への画像データ(撮像情報)の送信を停止する。
このようにして制御部12は、情報入出力部13を介して入出力される情報に基づき、監視システム2との協調制御を行う。
<効果>
本実施形態によれば、監視カメラ21が故障している間は、空気調和機1から画像データを取得することで(S201〜S204)、室内の撮像結果を記録し続けることができる。従来は、監視カメラ21が故障している間は室内の撮像結果が記録されなかったが、本実施形態では空気調和機1において撮像が正常に行われていることを利用して、時間的に途切れることなく(仮に、途切れることがあったとしても、その途切れる時間を可能な限り短くして)室内の撮像結果を記録できる。
≪第3実施形態≫
第3実施形態は、一つの部屋に2台の空気調和機1A,1B(図5(a)参照)が設置され、空気調和機1A,1Bで生成された活動情報を合成し、合成した活動情報を顧客システム3(図4参照)に提供する点が、第1実施形態と異なっている。なお、それぞれの空気調和機1A,1B(図4参照)の構成は、第1実施形態(図1参照)と同様である。したがって、第1実施形態と異なる部分について説明し、重複する部分については説明を省略する。
図4は、第3実施形態に係る空気調和機1A,1Bを含む構成図である。
一方の空気調和機1Aは、撮像部11A(第1センサ)と、制御部12A(制御手段)と、情報入出力部13A(通信手段)と、を備えている。
撮像部11Aは、室内において所定の撮像領域Apを撮像するものであり(図5(a)参照)、撮像素子11aを有している。制御部12Aは、撮像部11Aから入力される画像データ等に基づいて空調制御を行うとともに、前記した画像データに基づいて動線計測データを生成する機能を有している。
なお、「動線計測データ」とは、在室者の移動軌跡を示すデータである。例えば、制御部12Aは、撮像部11Aから入力される画像データに基づいて、在室者の位置を示す座標を所定周期で演算する。そして、制御部12Aは、在室者の座標と、その在室者に付与した識別情報と、各時刻における座標の時系列的な関係を示す情報と、を含む動線計測データを生成する。
撮像部11Aの撮像領域Ap(図5(b)参照)内で在室者が移動した場合、その動線上の複数の点列の座標と、各座標の時系列的な関係と、が制御部12Aによって演算される。そして、顧客システム3のディスプレイ(図示せず)に表示される際には、例えば、在室者の位置を示す点列を線分で結ぶことによって、折線状の動線が表示される(図5(b)参照)。なお、制御部12Aによって在室者を検出する際の時間間隔を短くしたり、スプライン補間等によって動線を曲線近似することで動線計測の精度を上げるようにしてもよい。
また、制御部12Aは、撮像部11Aから入力される画像データに基づいて、滞在時間ヒートマップデータ(以下、「ヒートマップデータ」と記す。)を生成する機能も有している。なお、「ヒートマップデータ」とは、在室者の滞在時間の分布を色や濃淡で可視化して示すためのデータである。
具体的には、制御部12Aは、撮像部11Aの撮像領域Ap(図5(a)参照)を格子状に分割し、格子領域毎に在室者の滞在時間を算出する。つまり、制御部12Aは、在室者の座標(位置)を所定周期で演算し、前記した各格子領域のうち在室者の座標を含むものを特定する。そして、制御部12Aは、特定した格子領域に対応付けて、在室者の滞在時間を示す数値をカウントしていく。これによって、在室者が、撮像部11Aの撮像領域Ap(図5(a)参照)のどのあたりにどのくらい時間、留まっていたかを把握できる。
なお、顧客システム3のディスプレイ(図示せず)に表示される際には、例えば、在室者の滞在時間に関して色分けし、サーモグラフィのように視覚的にわかりやすく表示される。
また、空気調和機1Aの制御部12Aは、他方の空気調和機1Bの制御部12Bから情報入出力部13B,13Aを介して入力される動線計測データと、自身が生成した動線計測データと、を合成する機能を有している。
また、空気調和機1Aの制御部12Aは、他方の空気調和機1Bの制御部12Bから情報入出力部13B,13Aを介して入力されるヒートマップデータと、自身が生成したヒートマップデータと、を合成する機能を有している。
以下では、動線計測データとヒートマップデータとをまとめて「活動情報」と記す。制御部12Aによる活動情報の合成については後記する。
図4に示す情報入出力部13Aは、一方の空気調和機1Aの制御部12Aと、他方の空気調和機1Bの制御部12Bと、を有線又は無線で相互に通信可能にする接続するためのコネクタである。また、情報入出力部13Aは、制御部12Aと顧客システム3とを有線又は無線で通信可能に接続する機能も有している。
他方の空気調和機1Bは、撮像部11B(第センサ)と、制御部12Bと、情報入出力部13Bと、を備えている。
撮像部11Bは、室内における所定の撮像領域Bp(図5(a)参照)を撮像するように配置されている。
制御部12Bは、撮像部11Bから入力される画像データに基づいて室内の在室者を検出し、活動情報(動線計測データ、ヒートマップデータ)を生成する機能を有している。
情報入出力部13Bは、空気調和機1Bの制御部12Bと、前記した空気調和機1Aの制御部12Aと、を通信可能に接続するためのコネクタである。なお、情報入出力部13Bは、空気調和機1Bの制御部12Bと、顧客システム3とを通信可能に接続する機能も有している。
顧客システム3は、店舗等の管理・監視に利用される情報を、店舗等の管理者に提供するためのシステムである。前記した情報には、制御部12Aから提供される活動情報と、監視カメラ21の撮像結果と、が含まれる。
図4に示す監視カメラ21は、室内を撮像するカメラであり、空気調和機1A,1Bとは独立して稼動する(つまり、相互に影響を及ぼさない)ようになっている。ちなみに、監視カメラ21については省略してもよい。
図5(a)は、空気調和機1Aの室内機14Aと、空気調和機1Bの室内機14Bと、を天井の上側に設置した例を示す模式的な側面図である。図5(a)に示すように、空気調和機1A,1Bによって同一の部屋を空調するように、室内機14A,14Bが設置されている。図5(a)に示す例では、部屋の天井付近の隅部に配置された監視カメラ21を基準として、一方の室内機14Aは手前側に配置され、他方の室内機14Bは奥側に配置されている。
また、図5(a)に示すように、撮像部11A,11Bによって異なる撮像領域Ap,Bp(一部は重複)が撮像されるようになっている。言い換えると、撮像部11Bによって撮像されない領域Cpを補うように、撮像部11Aの撮像領域Apが設定されている。
次に、動線計測データの合成について説明する。
図5(b)は、撮像部11Aの撮像領域Apと、撮像部11Bの撮像領域Bpと、動線計測した結果の一例と、を示す模式的な平面図である。なお、側面図である図5(a)と、平面図である図5(b)と、は対応している。
例えば、時刻t0〜t9において在室者Mが監視カメラ21の方に向かって移動した場合、時刻t0〜t5では、空気調和機1B(図4参照)の制御部12B(図4参照)によって在室者Mが検出される。そして、制御部12Bによって、時刻t0〜t5における動線を表す動線計測データが生成される。この動線計測データは、情報入出力部13B,13A(図4参照)を介して、空気調和機1Aの制御部12A(図4参照)に出力される。
また、図5(b)に示す時刻t5〜t9では、空気調和機1A(図4参照)の制御部12A(図4参照)によって在室者Mが検出され、在室者Mの移動軌跡を示す動線計測データが生成される。
図5(b)に示す例では、時刻t5において在室者Mは、撮像部11Aの撮像領域Apと、撮像部11Bの撮像領域Bpと、の重複部分に位置している。つまり、時刻t5において在室者は、撮像部11A,11Bの両方で撮像されている。したがって、制御部12A,12B(図4参照)で用いる座標系が同一又は相互に変換可能であれば、時刻t5付近で撮像領域Ap,Bpの重複部分を横切るように移動する在室者Mの同一性を判別できる。
なお、撮像領域Ap,Bpの位置関係を特定する情報は、予め空気調和機1A(図4参照)の記憶手段(図示せず)に格納されている。
前記したように、空気調和機1Aの制御部12A(図4参照)は、空気調和機1Bの制御部12B(図4参照)で生成された撮像領域Bpの動線計測データと、自身が生成した撮像領域Apの動線計測データと、を合成する機能を有している。
図5(b)に示す例では、制御部12Aは、制御部12Bで生成された時刻t0〜t5の動線計測データと、自身が生成した時刻t5〜t9の動線計測データと、を合成し、時刻t0〜t9における在室者Mの一連の移動軌跡を示す動線計測データを生成する。
なお、前記した方法は一例であり、例えば、撮像領域Ap,Bpにおいて在室者Mの同一性を判別することなく動線計測データを生成するようにしてもよい。また、撮像領域Ap,Bpが一部重複していることは必須の要件ではない。
次に、ヒートマップデータの合成について説明する。
制御部12A(図4参照)は、撮像領域Ap,Bp(図5(a)参照)を平面視で格子状に分割してなる格子領域に、在室者の滞在時間を示す値を割り当てる。
なお、合成される各ヒートマップデータに関して、対象となる時間帯は同一であるものとする。例えば、制御部12A(図4参照)は、制御部12Bで生成された7時〜8時のヒートマップデータと、自身が生成した7時〜8時のヒートマップデータと、を合成することで、撮像領域Ap,Bpにおける7時〜8時のヒートマップデータを生成する。
また、撮像領域Ap,Bpと、が重複している部分については、制御部12A,12Bのうち一方(例えば、制御部12A)で生成したヒートマップデータの値を用いる。これは、撮像領域Ap,Bpが重複する部分でヒートマップデータの値を加算すると、当該部分に含まれる格子領域の値(滞在時間)が実際の2倍になってしまうからである。
なお、前記した方法は一例であり、ヒートマップデータの合成方法はこれに限定されない。
図6は、空気調和機1A,1Bの処理を示すシーケンス図である(適宜、図4参照)。
ステップS301において空気調和機1Bの制御部12Bは、撮像部11Bから入力される画像データに基づいて、活動情報(第活動情報)を生成する。つまり、制御部12Bは、撮像領域Bp(図5(a)参照)における動線計測データ及びヒートマップデータを生成する。
ステップS302において空気調和機1Bの制御部12Bは、ステップS301で生成した活動情報を、情報入出力部13B,13Aを介して、空気調和機1Aの制御部12Aに出力する。
ステップS303において空気調和機1Aの制御部12Aは、撮像部11Aから入力される画像データに基づいて、活動情報(第1活動情報)を生成する。
ステップS304において空気調和機1Aの制御部12Aは、空気調和機1Bで生成された活動情報と、自身が生成した活動情報と、を合成する。
ステップS305において空気調和機1Aの制御部12Aは、合成した活動情報を、情報入出力部13Aを介して顧客システム3に提供する。なお、顧客システム3からの要求に応じて、合成後の活動情報を提供するようにしてもよい。
ステップS301〜S304の処理は、所定周期で繰り返し実行される。
このようにして制御部12は、情報入出力部13を介して入出力される情報に基づき、他の空気調和機1Bとの協調制御を行う。
<効果>
本実施形態によれば、空気調和機1A,1Bで生成される活動情報(動線計測データ、ヒートマップデータ)を合成し、室内の略全域に亘る活動情報を顧客システム3に提供できる。
従来、店舗やオフィスでは、店舗管理や商品開発などの販促支援を目的として、監視カメラ21から取得した画像データに基づいて動線計測データ等が生成されていた。しかしながら、図5(a)に示すように、通常、監視カメラ21は、室内を上から斜め方向に見下ろすように室内の隅部に設置されている場合が多く、奥行き方向(図5(a)では、紙面左右方向)における在室者の位置を把握しにくいという問題があった。
これに対して本実施形態によれば、店舗等の室内を動いている在室者(例えば、店舗の顧客)を空気調和機1A,1Bの撮像部11A,11Bによって略真上から撮像し、その撮像結果に基づいて活動情報が生成される。したがって、在室者が移動する経路を略真上から捉えることができ、特に、奥行き方向で在室者がどのように動いたかを正確に把握できる。これによって、例えば、店舗の管理者が商品の陳列を考える際の判断材料として、空気調和機1Aで合成された活動情報を利用できる。
また、従来は、監視カメラ21から入力される画像データに基づいて顧客システム3側で活動情報が作成されていた。これに対して本実施形態では、空気調和機1A,1Bにおいて活動情報を生成し、さらに、空気調和機1Aにおいて合成した活動情報を顧客システム3に提供する構成になっている。したがって、顧客システム3側で活動情報を生成する必要がないため、顧客(店舗等の管理者)側の負担を低減できる。
≪変形例≫
以上、本発明に係る空気調和機1等について各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、第1実施形態(図1参照)では、空気調和機1が一台であり、撮像部11によって室内の略全域が撮像される場合について説明したが、これに限らない。すなわち、一つの部屋を空調する空気調和機1を複数台設け、各空気調和機1で実行される在室者検出処理に基づき、統括用の空気調和機によって在室者の有無を判定するようにしてもよい。
前記した構成において、各空気調和機1のいずれによっても在室者が検出されない場合、統括用の空気調和機は「在室者なし」と判定し(S103:図2参照)、その判定結果を監視システム2に出力する。
また、各空気調和機のうち少なくとも一つによって在室者が検出された場合、統括用の空気調和機は「在室者あり」と判定し(S106:図2参照)、その判定結果を監視システム2に出力する。
また、第2実施形態についても同様に、監視カメラ21の故障中(S201:図3参照)、一つの部屋を空調する複数台の空気調和機1から監視システム2に画像データを出力するようにしてもよい。この場合において、統括用の空気調和機において各画像データを合成するようにしてもよい。
また、第1実施形態(図1参照)では、監視システム2が備える監視カメラ21が一つである場合について説明したが、室内に複数の監視カメラ21が設置されている場合にも適用できる。このような構成において、制御部12から電源オフ指令が入力された場合(S104:図2参照)、監視システム2は、例えば、全ての監視カメラ21の電源をオフにする(S105)。その後、電源オン指令が入力された場合(S107)、監視システム2は、例えば、全ての監視カメラ21の電源をオンにする(S108)。
また、第2実施形態についても同様に、監視システム2が複数の監視カメラ21を備える場合にも適用できる。この場合、少なくとも一つの監視カメラ21が故障している期間中(S201:図3参照)、空気調和機1から監視システム2に画像データを出力するようにすればよい。また、空気調和機1に接続される監視システム2が複数存在する場合にも、第1、第2実施形態を適用できる。
また、第3実施形態では、2台の空気調和機1A,1B(図4参照)によって室内を空調する場合について説明したが、これに限らない。すなわち、3台以上の空気調和機によって室内を空調する構成において、各空気調和機で生成された活動情報(動線計測データ、ヒートマップデータ)を特定の空気調和機で合成し、合成した活動情報を顧客システム3(図4参照)に提供するようにしてもよい。
また、第3実施形態では、空気調和機1A,1Bにおいて動線計測データ及びヒートマップデータの両方を生成する場合について説明したが、一方のみを生成するようにしてもよい。
また、空気調和機1A,1Bで生成される「活動情報」は、動線計測データ及びヒートマップデータに限定されない。例えば、人体の単位表面積あたりの代謝量[W/m]である活動量を「活動情報」に含めてもよい。なお、在室者の移動速度が大きいほど活動量も大きくなるため、移動速度と活動量との関係を示すマップや関数を予め設定しておくことで、在室者の移動速度に基づいて活動量を演算できる。
また、各実施形態は、適宜組み合わせることができる。例えば、第1実施形態と第3実施形態とを組み合わせ、空気調和機1Aにおいて合成した活動情報を顧客システム3に提供するとともに(第3実施形態)、空気調和機1A,1Bのいずれによっても在室者が検出されない間は監視カメラ21の電源をオフにするようにしてもよい(第1実施形態)。
また、各実施形態は、撮像部11(図1参照)を備える空気調和機1であれば、その種類は限定されない。例えば、天井埋込み型の空気調和機(図5(a)参照)の他、壁掛型、天吊り型、ビルトイン型等の空気調和機にも各実施形態を適用できる。
なお、各実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、コンピュータであるハードウェアで実現してもよい。また、前記した各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、IC(Integrated-circuit)カード、SD(Secure Digital)カード、光ディスク等の記録媒体に格納することができる。また、図1等で示した制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。
1,1A 空気調和機
1B 空気調和機(他の空気調和機)
11,11A 撮像部(第1センサ)
11B 撮像部
12,12A 制御部(制御手段)
12B 制御部
13,13A 情報入出力部(通信手段)
13B 情報入出力部
14A 室内機
14B 室内機
21 監視カメラ(第2センサ)
22 制御部
23 情報入出力部
Ap,Bp 撮像領域
2 監視システム(外部システム)
3 顧客システム(外部)

Claims (9)

  1. 室内を赤外線及び/又は可視光線によってセンシングする第1センサと、
    少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、を備える空気調和機において、
    前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段を備え、
    前記外部システムは、前記室内を監視する監視システムであり、
    前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、
    前記制御手段は、前記協調制御として、
    前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサによる前記室内の監視の作動/停止を判断し、
    前記監視が作動されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしないときは、前記監視を停止させる情報を前記通信手段を介して前記外部システムに送信し、
    前記監視が停止されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしたときは、前記監視を作動させる情報を前記通信手段を介して前記外部システムに送信すること
    を特徴とする空気調和機。
  2. 室内を赤外線及び/又は可視光線によってセンシングする第1センサと、
    少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、を備える空気調和機において、
    前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段を備え、
    前記外部システムは、前記室内を監視する監視システムであり、
    前記第1センサ及び前記第2センサは、前記室内を撮像する撮像センサであり、
    前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、
    前記制御手段は、前記協調制御として、
    前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサの故障状態を判断し、
    前記第2センサが故障している判断した場合、前記第1センサによって撮像した前記室内の撮像情報を、前記通信手段を介して前記外部システムに送信し、
    前記第2センサが前記故障から復帰したと判断した場合、前記外部システムへの前記撮像情報の送信を停止すること
    を特徴とする空気調和機。
  3. 複数の前記空気調和機が設けられる構成において、
    所定の前記空気調和機が備える前記制御手段は前記第1センサによって取得したデータに基づいて、前記室内の在室者の活動状態を示す第1活動情報を生成し、さらに、他の前記空気調和機で生成された他の前記第1活動情報と、自身が生成した前記第1活動情報と、を合成し、合成した活動情報を前記通信手段を介して外部に提供すること
    を特徴とする請求項1又は請求項2に記載の空気調和機。
  4. それぞれの前記第1活動情報は、在室者の移動軌跡を示す動線計測データであること
    を特徴とする請求項に記載の空気調和機。
  5. それぞれの前記第1活動情報は、在室者の滞在時間の分布を示す滞在時間ヒートマップデータであること
    を特徴とする請求項に記載の空気調和機。
  6. 前記制御手段は、前記通信手段を介して、前記外部システムと有線又は無線で相互に通信可能であること
    を特徴とする請求項1から請求項のいずれか一項に記載の空気調和機。
  7. 室内を赤外線及び/又は可視光線によってセンシングする第1センサと、少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段と、を備える空気調和機の制御方法であって、
    前記外部システムは、前記室内を監視する監視システムであり、
    前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、
    前記制御手段は、前記協調制御として、
    前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサによる前記室内の監視の作動/停止を判断し、
    前記監視が作動されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしないときは、前記監視を停止させる情報を前記通信手段を介して前記外部システムに送信し、
    前記監視が停止されていると判断した場合において、前記第1センサを介して前記室内の変化をセンシングしたときは、前記監視を作動させる情報を前記通信手段を介して前記外部システムに送信すること
    を特徴とする空気調和機の制御方法。
  8. 室内を赤外線及び/又は可視光線によってセンシングする第1センサと、少なくとも前記第1センサによって取得したデータに基づいて前記室内の空調制御を行う制御手段と、前記室内を赤外線及び/又は可視光線によってセンシングする第2センサを備える外部システムと通信する通信手段と、を備える空気調和機の制御方法であって、
    前記外部システムは、前記室内を監視する監視システムであり、
    前記第1センサ及び前記第2センサは、前記室内を撮像する撮像センサであり、
    前記制御手段は、前記通信手段を介して前記外部システムとの間で入出力される情報に基づいて、前記外部システムとの協調制御を行い、
    前記制御手段は、前記協調制御として、
    前記通信手段を介して取得した前記外部システムからの前記情報に基づいて、前記外部システムの前記第2センサの故障状態を判断し、
    前記第2センサが故障している判断した場合、前記第1センサによって撮像した前記室内の撮像情報を、前記通信手段を介して前記外部システムに送信し、
    前記第2センサが前記故障から復帰したと判断した場合、前記外部システムへの前記撮像情報の送信を停止すること
    を特徴とする空気調和機の制御方法。
  9. 請求項7又は請求項8に記載の空気調和機の制御方法を、コンピュータである前記制御手段に実行させるためのプログラム。
JP2014251956A 2014-12-12 2014-12-12 空気調和機、空気調和機の制御方法、及びプログラム Active JP6453069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014251956A JP6453069B2 (ja) 2014-12-12 2014-12-12 空気調和機、空気調和機の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014251956A JP6453069B2 (ja) 2014-12-12 2014-12-12 空気調和機、空気調和機の制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016114270A JP2016114270A (ja) 2016-06-23
JP6453069B2 true JP6453069B2 (ja) 2019-01-16

Family

ID=56141436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014251956A Active JP6453069B2 (ja) 2014-12-12 2014-12-12 空気調和機、空気調和機の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6453069B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556104A (zh) * 2016-10-27 2017-04-05 芜湖美智空调设备有限公司 一种婴幼儿所处环境的监控方法和监控系统
JP7081081B2 (ja) * 2017-03-03 2022-06-07 日本電気株式会社 情報処理装置、端末装置、情報処理方法、情報出力方法、接客支援方法及びプログラム
CN107036251A (zh) * 2017-05-08 2017-08-11 广东美的制冷设备有限公司 移动空调及其出风舒适性控制方法
JP7145433B2 (ja) * 2018-08-10 2022-10-03 パナソニックIpマネジメント株式会社 人検知装置および人検知システム
CN109489185B (zh) * 2018-11-16 2020-06-26 珠海格力电器股份有限公司 空调系统、控制方法和内机控制器
JP7313161B2 (ja) * 2019-03-01 2023-07-24 三菱電機株式会社 空気調和機システム、コントローラ、施工支援方法および施工支援プログラム
WO2020230216A1 (ja) * 2019-05-10 2020-11-19 三菱電機株式会社 制御装置、システム、方法、及び、プログラム
CN111412598B (zh) * 2020-03-31 2022-02-11 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
WO2021240570A1 (ja) * 2020-05-25 2021-12-02 三菱電機株式会社 空調制御システム、コントローラおよび空調制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11270890A (ja) * 1998-03-25 1999-10-05 Daikin Ind Ltd セキュリティー機能付き空調システム
JP2003120984A (ja) * 2001-10-17 2003-04-23 Sharp Corp 空気調和機およびその制御方法
JP2004150731A (ja) * 2002-10-31 2004-05-27 Daikin Ind Ltd 空気調和装置
JP4274163B2 (ja) * 2005-09-13 2009-06-03 ダイキン工業株式会社 空調制御システム
US9791872B2 (en) * 2013-03-14 2017-10-17 Pelco, Inc. Method and apparatus for an energy saving heating, ventilation, and air conditioning (HVAC) control system

Also Published As

Publication number Publication date
JP2016114270A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
JP6453069B2 (ja) 空気調和機、空気調和機の制御方法、及びプログラム
KR101523424B1 (ko) 공기 조화기
US8717439B2 (en) Surveillance system and method
JP2014074560A (ja) 空調制御システム、空調制御方法及びプログラム
JP6262239B2 (ja) 空気調和機の監視システム
JP7072695B2 (ja) 報知装置、報知方法及びプログラム
CN105844209B (zh) 基于红外辐射探测的访客识别
JP2010190432A (ja) 空間認識装置及び空気調和機
JP6226766B2 (ja) 空気調和システム
JP6360736B2 (ja) 空気調和装置
JP2006226988A (ja) 赤外線センサシステム
JP2015078802A (ja) 空気調和機の室内機及び空気調和機
JPH0894400A (ja) 画像処理装置と画像処理装置を用いた応用機器
EP3985318A1 (en) Air-conditioning control device and air-conditioning control system
JP6355850B2 (ja) 判定支援装置、判定支援方法及びプログラム
JP5879220B2 (ja) 空気調和機
JP2014077598A (ja) 温度調節器、空気調和機、給湯器及び床暖房
JP6069463B2 (ja) 空気調和システム及び空気調和機
JP2020086482A (ja) 安全対策システム及び安全対策方法
JP6914279B2 (ja) 制御装置、空調機、空調システム及び空調制御方法
JP7334689B2 (ja) 制御システム、制御方法及び制御プログラム
JP6783386B2 (ja) 空気調和システム
JP7228767B2 (ja) センサシステム、空気調和システム、物体検知方法及びプログラム
WO2013062007A1 (ja) 機器管理用装置および機器の管理方法
JP6255207B2 (ja) 空気調和機の室内機及びこれを用いた空気調和機

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170619

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181212

R150 Certificate of patent or registration of utility model

Ref document number: 6453069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150