JP7378684B2

JP7378684B2 - 空気調和操作端末、空気調和操作プログラムおよび空気調和システム

Info

Publication number: JP7378684B2
Application number: JP2023544760A
Authority: JP
Inventors: 輔祐太渡邉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-11-13
Anticipated expiration: 2041-09-15
Also published as: JPWO2023042294A1; WO2023042294A1; US20240159418A1; DE112021007949T5; CN117916535A

Description

本開示は、空気調和機の操作に関するものである。

室内機が複数のベーンを有する空気調和機が存在する。例えば、天井カセット形の室内機の多くは複数のベーンを有する。
このような空気調和機の使用において、ベーンごとに風向および風量などを調節すれば、より快適な室内環境が実現される。

特許文献１は、スマートフォンのような端末装置を利用して風向および風量を変更する操作を行うための技術を開示している。
この技術では、室内機のベーンから吹き出される風に対応した仮想空間画像が、画面に表示される。そして、利用者は、その画面に触れることによって、風向および風量を変更するための操作を行う。

特開２０１４－１９０６８６号公報

特許文献１の技術は、室内機が１つのベーンを有する空気調和機の操作を対象にしている。そして、室内機が複数のベーンを有する空気調和機に対して、操作対象となるベーンを特定し、特定したベーンからの風向および風量などを調節するための操作は開示されていない。

本開示は、室内機が複数のベーンを有する空気調和機に対して、操作対象となるベーンを特定し、特定したベーンからの風向および風量などを調節するための操作を行えるようにすることを目的とする。

本開示の空気調和操作端末は、
複数のベーンを有する空気調和室内機を撮影して得られる撮影画像を取得する画像取得部と、
前記空気調和室内機と同じ種類の空気調和室内機が映った教師画像に対する機械学習によって生成される学習済みモデルを用いて、前記撮影画像の中の前記複数のベーンを検出する物体検出部と、
前記撮影画像の中の前記複数のベーンから、吹き出し風が調節される１つのベーンである対象ベーンを選択するベーン選択部と、
前記対象ベーンを識別するための対象識別マークと、前記対象ベーンからの吹き出し風の調節内容を指定するためのグラフィカルユーザインタフェースである調節インタフェースと、が重畳された前記撮影画像を重畳画像として表示する画像表示部と、
前記調節インタフェースの操作によって指定される調節内容を受け付ける指定受付部と、
受け付けられた調節内容を前記空気調和室内機に設定する空気調和設定部と、を備える。

本開示によれば、室内機が複数のベーンを有する空気調和機に対して、操作対象となるベーンを特定し、特定したベーンからの風向および風量などを調節するための操作を行うことが可能となる。

実施の形態１における空気調和システム１００の構成図。実施の形態１における空気調和室内機１１０の構成図。実施の形態１における空気調和操作端末２００の構成図。実施の形態１における記憶部２９０の構成図。実施の形態１における学習済みモデル２９１の説明図。実施の形態１におけるベーン識別データ２９２を示す図。実施の形態１における空気調和操作方法のフローチャート。実施の形態１における撮影画像２８１を示す図。実施の形態１におけるステップＳ１２０のフローチャート。実施の形態１におけるステップＳ１３０の説明図。実施の形態１における対象ベーン１１３を示す図。実施の形態１における重畳画像２８２を示す図。実施の形態１における空気調和システム１００の構成例を示す図。実施の形態１における空気調和コントローラ１２０の構成例を示す図。実施の形態２における空気調和操作方法のフローチャート。実施の形態２における候補ベーン群１１４を示す図。実施の形態２における重畳画像２８５を示す図。実施の形態２における重畳画像２８２を示す図。実施の形態３における空気調和操作端末２００の構成図。実施の形態３における空気調和操作方法のフローチャート。実施の形態３における端末向きを示す図。実施の形態３におけるステップＳ３５０のフローチャート。実施の形態３における状態インタフェース２８７の表示手順を示す図。実施の形態３における重畳画像２８２を示す図。実施の形態４における重畳画像２８２を示す図。実施の形態における空気調和操作端末２００のハードウェア構成図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
空気調和システム１００について、図１から図１４に基づいて説明する。

＊＊＊構成の説明＊＊＊
図１に基づいて、空気調和システム１００の構成を説明する。
空気調和システム１００は、空気調和機１０１と、空気調和操作端末２００と、を備える。

空気調和機１０１は、空気調和室外機１０２と、空気調和室内機１１０と、を備える。
空気調和室外機１０２は、空気調和機１０１の室外機である。
空気調和室内機１１０は、空気調和機１０１の室内機である。

空気調和操作端末２００は、空気調和のための各種操作に用いられる端末である。例えば、スマートフォンが空気調和操作端末２００として利用される。
空気調和操作端末２００は、空気調和機１０１と無線で通信する。具体的には、空気調和操作端末２００は空気調和室内機１１０と通信する。

図２に基づいて、空気調和室内機１１０の構成を説明する。
空気調和室内機１１０は、複数のベーン１１１と、拡張部品１１２と、通信装置１１９と、を有する。
ベーン１１１は、風が吹き出される口である。
拡張部品１１２は、空気調和室内機１１０に設けられる部品である。例えば、拡張部品１１２は、人感センサおよび温度センサなどが搭載された部品である。
通信装置１１９は、レシーバ及びトランスミッタである。例えば、通信装置１１９は通信チップまたはＮＩＣである。空気調和室内機１１０の通信は通信装置１１９を用いて行われる。
ＮＩＣは、ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄの略称である。

空気調和室内機１１０は、ベーン１１１ごとに吹き出し風を調節することが可能である。具体的には、空気調和室内機１１０は、ベーン１１１ごとに風向および風量などを調節する。
吹き出し風の調節が可能な項目（風向および風量など）を「調節項目」と称する。
調節の具体的な内容を「調節内容」と称する。例えば、調節内容は、上下左右のような風向、および、風量の強さなどを示す。

図３に基づいて、空気調和操作端末２００の構成を説明する。
空気調和操作端末２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４とカメラ２０５とディスプレイ２０６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略称である。
ＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。
ＤＳＰは、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。

メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略称である。

補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、ＲｅａｄＯｎｌｙＭｅｍｏｒｙの略称である。
ＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略称である。

通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。空気調和操作端末２００の通信は通信装置２０４を用いて行われる。

カメラ２０５は、撮影装置である。

ディスプレイ２０６は、表示装置である。例えば、ディスプレイ２０６はタッチパネルディスプレイである。

空気調和操作端末２００は、画像取得部２１１と物体検出部２１２とベーン識別部２１３とベーン選択部２１４と画像表示部２１５と指定受付部２１６と空気調和設定部２１７といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置２０３には、画像取得部２１１と物体検出部２１２とベーン識別部２１３とベーン選択部２１４と画像表示部２１５と指定受付部２１６と空気調和設定部２１７としてコンピュータを機能させるための空気調和操作プログラムが記憶されている。空気調和操作プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、空気調和操作プログラムを実行する。
ＯＳは、ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍの略称である。

空気調和操作プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。

空気調和操作端末２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。

空気調和操作プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図４に基づいて、記憶部２９０の構成を説明する。
記憶部２９０には、学習済みモデル２９１およびベーン識別データ２９２などのデータが記憶される。

図５に基づいて、学習済みモデル２９１を説明する。
学習済みモデル２９１は、空気調和室内機１１０が映った入力画像から各ベーン１１１および拡張部品１１２を検出するためのモデルである。

学習済みモデル２９１は、複数の教師画像を入力にして機械学習を行うことによって生成される。
教師画像は、教師データとなる画像である。教師画像には、空気調和室内機１１０と同じ種類の空気調和室内機が映っている。教師画像に映った空気調和室内機は、空気調和室内機１１０であってもよいし、空気調和室内機１１０とは別の機体であってもよい。
教師画像は大量にあった方がよい。汎化性能向上のため、室内の照明環境の変化を考慮して教師画像を用意することが望ましい。具体的には、ノイズが付加された画像および輝度が変更された画像などを教師画像として用意することが望ましい。
例えば、物体検出部２１２が、１つ以上の教師画像を受け付け、バリエーションの教師画像を生成し、受け付けた教師画像と生成した教師画像とを使って機械学習を行う。

機械学習では、例えば、畳み込みニューラルネットワーク、ＹＯＬＯ、ＳＳＤまたはＦａｓｔｅｒＲ－ＣＮＮなどの学習モデルが用いられる。
ＹＯＬＯは、ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅの略称である。
ＳＳＤは、ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒの略称である。
ＦａｓｔｅｒＲ－ＣＮＮは、ＦａｓｔｅｒＲｅｇｉｏｎＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋの略称である。
機械学習では、具体的にはバウンディングボックスおよびクラス分類が学習される。
バウンディングボックスは、ベーン１１１または拡張部品１１２といった物体を囲う枠であり、物体が位置する領域を示す。
クラス分類は、ベーン１１１または拡張部品１１２といった物体の種類を示す。

図６に基づいて、ベーン識別データ２９２を説明する。
ベーン識別データ２９２は、拡張部品１１２に対する各ベーン１１１の位置関係と各ベーン１１１の識別子を示すデータである。
具体的には、ベーン識別データ２９２は、ベーン１１１ごとに、位置番号と識別番号を互いに対応付けて示す。
位置番号は、拡張部品１１２に対するベーン１１１の位置関係を示す番号である。例えば、拡張部品１１２が右に位置するベーン１１１の位置番号が「１」である。また、位置番号が「１」であるベーン１１１から右回りの順で、各ベーン１１１の位置番号が１ずつ大きくなる。
識別番号は、ベーン１１１を識別する番号である。
なお、拡張部品１１２の取り付け位置は、空気調和室内機１１０を設置する時に決定される。そして、複数の空気調和室内機１１０が存在する場合、拡張部品１１２の取り付け位置が空気調和室内機１１０ごとに異なる可能性がある。そのため、ベーン識別データ２９２は空気調和室内機１１０ごとに管理される。

ベーン識別データ２９２は、記憶部２９０に予め記憶される。
但し、ベーン識別データ２９２は、空気調和操作端末２００によって自動で生成されてもよい。

以下に、ベーン識別データ２９２を自動で生成する方法について説明する。
例えば、空気調和操作端末２００は、空気調和室内機１１０から位置関係データを通信によって取得する。位置関係データは、拡張部品１１２と各ベーン１１１の位置関係と、各ベーン１１１の識別子と、を示す。そして、空気調和操作端末２００は、学習済みモデル２９１により定められた位置番号と取得された位置関係データとに基づいて、ベーン識別データ２９２を生成する。
例えば、空気調和操作端末２００は、学習済みモデル２９１により定められた各ベーン１１１の位置番号を仮の識別番号として認識する。次に、空気調和操作端末２００は、認識した仮の識別番号を使って空気調和室内機１１０を操作する。そして、空気調和操作端末２００は、操作に応じて実際に稼働したベーン１１１と仮の識別番号のズレに基づいて、ベーン識別データ２９２を作成する。図６では、仮の識別番号は位置番号と同じになる。そのため、実際に稼働したベーン１１１と仮の識別番号のズレは、番号が１ずれることに相当する。なお、操作に応じて実際に稼働したベーン１１１は、カメラ２０５が空気調和室内機１１０を撮影することにより自動で検知されてもよいし、ユーザが稼働したベーン１１１を指定することにより検知されてもよい。

＊＊＊動作の説明＊＊＊
空気調和操作端末２００の動作の手順は空気調和操作方法に相当する。また、空気調和操作端末２００の動作の手順は空気調和操作プログラムによる処理の手順に相当する。

図７に基づいて、空気調和操作方法を説明する。
ステップＳ１１０において、利用者は、空気調和操作端末２００のカメラ２０５を操作して、空気調和室内機１１０を撮影する。
カメラ２０５は、利用者の操作にしたがって空気調和室内機１１０を撮影して画像を出力する。撮影によって得られる画像を「撮影画像２８１」と称する。

画像取得部２１１は、カメラ２０５から撮影画像２８１を取得し、撮影画像２８１を記憶部２９０に記憶する。

図８に基づいて、撮影画像２８１の具体例を説明する。
撮影画像２８１は、空気調和操作端末２００のディスプレイ２０６に表示されている。
撮影画像２８１には、空気調和室内機１１０が映っている。空気調和室内機１１０は、４つのベーン（１１１Ａ～１１１Ｄ）を有する。つまり、撮影画像２８１には、４つのベーン（１１１Ａ～１１１Ｄ）を有する空気調和室内機１１０が映っている。

図７に戻り、ステップＳ１２０から説明を続ける。
ステップＳ１２０において、物体検出部２１２は、学習済みモデル２９１を用いて、撮影画像２８１の中の複数のベーン１１１を検出する。
具体的には、物体検出部２１２は、撮影画像２８１を入力にして学習済みモデル２９１を演算する。これにより、複数のベーン１１１および拡張部品１１２が検出される。

図９に基づいて、ステップＳ１２０の手順を説明する。
ステップＳ１２１において、物体検出部２１２は、学習済みモデル２９１を用いて、ベーン１１１と拡張部品１１２のそれぞれのバウンディングボックスを推定する。

ステップＳ１２２において、物体検出部２１２は、各バウンディングボックスに基づいて、ベーン１１１と拡張部品１１２のそれぞれの位置を特定する。
例えば、物体検出部２１２は、バウンディングボックスの中心を算出する。算出される中心が特定された位置である。

図７に戻り、ステップＳ１３０から説明を続ける。
ステップＳ１３０において、ベーン識別部２１３は、撮影画像２８１における拡張部品１１２に対する各ベーン１１１の位置関係を判定し、判定された位置関係に基づいて各ベーン１１１を識別する。
具体的には、ベーン識別部２１３は、ベーン識別データ２９２を用いて、各ベーン１１１の識別子を特定する。

図１０に基づいて、ステップＳ１３０の詳細を説明する。
拡張部品１１２を基点として基準方向を示すベクトルを「基準ベクトル」と称する。具体的には、基準方向は、拡張部品１１２が右上に位置する場合の右方向である。
拡張部品１１２から各ベーン１１１へのベクトルを「相対位置ベクトル」と称する。

（１）まず、ベーン識別部２１３は、ベーン１１１ごとに、基準ベクトルに対する相対位置ベクトルの相対角度を算出する。算出される相対角度は、拡張部品１１２を基点にして基準ベクトルを相対位置ベクトルと重なるまで左回りに回転させたときの回転角度である。
（２）次に、ベーン識別部２１３は、各ベーン１１１の相対角度に基づいて、各ベーン１１１の位置番号を決定する。
具体的には、ベーン識別部２１３は、相対角度が最も小さいベーン１１１を選択し、選択されたベーン１１１に位置番号「１」を割り当てる。さらに、ベーン識別部２１３は、相対角度の大きい順に残りの各ベーン１１１を選択し、選択された各ベーン１１１に「２」から順番に位置番号を割り当てる。
（３）そして、ベーン識別部２１３は、ベーン１１１ごとに、位置番号に対応する識別番号をベーン識別データ２９２から取得する。

図７に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、ベーン選択部２１４は、撮影画像２８１の中の複数のベーン１１１から、１つのベーン１１１を選択する。選択されるベーン１１１を「対象ベーン１１３」と称する。
対象ベーン１１３は、吹き出し風が調節されるベーン１１１である。

図１１に基づいて、対象ベーン１１３の具体例を説明する。
利用者に最も近いベーン１１１から吹き出る風が、利用者に当たって利用者に強く影響を及ぼす、と考えられる。
撮影画像２８１の中で最も上方に位置するベーン１１１が利用者に最も近いベーン１１１である、と考えられる。
そこで、ベーン選択部２１４は、撮影画像２８１の中で最も上方に位置するベーン１１１を対象ベーン１１３として選択する。

図７に戻り、ステップＳ１５０から説明を続ける。
ステップＳ１５０において、画像表示部２１５は、撮影画像２８１を用いて重畳画像２８２を生成し、重畳画像２８２をディスプレイ２０６に表示する。

図１２に基づいて、重畳画像２８２を説明する。
重畳画像２８２は、対象識別マーク２８３と調節インタフェース２８４が重畳された撮影画像２８１である。
対象識別マーク２８３は、対象ベーン１１３を識別するためのマークである。対象識別マーク２８３は、対象ベーン１１３の位置に重畳される。
調節インタフェース２８４は、対象ベーン１１３からの吹き出し風の調節内容を指定するためのグラフィカルユーザインタフェース（ＧＵＩ）である。
調節インタフェース２８４は、調節の種類ごとにＧＵＩを含む。調節の種類は、上下風向、左右風向、風量および運転モードなどである。
調節インタフェース２８４には、アイコン（図１２を参照）またはスライダなどのＧＵＩが用いられる。
調節インタフェース２８４は、図１２において重畳画像２８２の下側に重畳されている。但し、調節インタフェース２８４が重畳される位置は、図１２に示す位置に限定されない。

図７に戻り、ステップＳ１６０から説明を続ける。
ステップＳ１６０において、利用者は、調節インタフェース２８４を操作することによって、対象ベーン１１３に対する調節内容を指定する。
そして、指定受付部２１６は、対象ベーン１１３に対する調節内容を受け付ける。

ステップＳ１７０において、空気調和設定部２１７は、空気調和室内機１１０と通信することによって、対象ベーン１１３に対する調節内容を空気調和室内機１１０に設定する。
具体的には、空気調和設定部２１７は、対象ベーン１１３の識別子と、対象ベーン１１３に対する調節内容と、を示す設定要求を空気調和室内機１１０に送信する。空気調和室内機１１０は、設定要求を受信する。そして、空気調和室内機１１０は、設定要求に示される識別子で識別されるベーン１１１に対して、設定要求に示される調節内容の設定を行う。
その後、空気調和室内機１１０は、設定された調節内容にしたがって、対象ベーン１１３からの吹き出し風を調節する。

＊＊＊実施例の説明＊＊＊
図１３および図１４に基づいて、実施例を説明する。
図１３に示すように、空気調和機１０１は、空気調和コントローラ１２０を備えてもよい。
空気調和コントローラ１２０は、空気調和室内機１１０を制御するためのリモートコントローラである。空気調和コントローラ１２０は、ワイヤードリモートコントローラとワイヤレスリモートコントローラのいずれであってもよい。
空気調和コントローラ１２０は、有線または無線で空気調和室内機１１０に接続し、空気調和室内機１１０を制御する。空気調和コントローラ１２０が有線で空気調和室内機１１０に接続される場合、空気調和室内機１１０の通信装置１１９は不要である。

図１４に、空気調和コントローラ１２０の構成を示す。
空気調和コントローラ１２０は、処理回路１２１と通信装置１２２とディスプレイ１２３といったハードウェアを備える。これらのハードウェアは、信号線を介して互いに接続される。
処理回路１２１は、空気調和制御部１２４を実現するハードウェアである。
通信装置１２２は、レシーバ及びトランスミッタである。例えば、通信装置１２２は通信チップまたはＮＩＣである。空気調和コントローラ１２０の通信は通信装置１２２を用いて行われる。
ディスプレイ１２３は、表示装置である。例えば、ディスプレイ１２３は液晶ディスプレイまたはタッチパネルディスプレイである。

処理回路１２１の詳細を説明する。
処理回路１２１は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。

処理回路１２１が専用のハードウェアである場合、処理回路１２１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略称である。
ＦＰＧＡは、ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙの略称である。

空気調和コントローラ１２０は、処理回路１２１を代替する複数の処理回路を備えてもよい。

処理回路１２１において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。

空気調和機１０１が空気調和コントローラ１２０を備える場合、ステップＳ１７０（図７を参照）は以下のように実行される。
ステップＳ１７０において、空気調和設定部２１７は、対象ベーン１１３に対する調節内容を示すデータを空気調和コントローラ１２０へ送信する。空気調和制御部１２４は、送信されたデータを受信する。
そして、空気調和制御部１２４は、空気調和室内機１１０と通信することによって、対象ベーン１１３に対する調節内容を空気調和室内機１１０に設定する。

各ベーン１１１の識別番号は、ベーン識別データ２９２を用いずに特定されてもよい。
例えば、空気調和操作端末２００は、空気調和室内機１１０から位置関係データを通信により取得する。位置関係データは、拡張部品１１２と各ベーン１１１の位置関係と、各ベーン１１１の識別子と、を示す。そして、空気調和操作端末２００は、学習済みモデル２９１により定められた位置番号と取得された位置関係データとに基づいて、各ベーン１１１の識別番号を特定する。
例えば、空気調和操作端末２００は、学習済みモデル２９１により定められた各ベーン１１１の位置番号を仮の識別番号として認識する。次に、空気調和操作端末２００は、認識した仮の識別番号を使って空気調和室内機１１０を操作する。そして、空気調和操作端末２００は、操作に応じて実際に稼働したベーン１１１と仮の識別番号のズレに基づいて、ベーン１１１の識別番号を特定する。なお、操作に応じて実際に稼働したベーン１１１は、カメラ２０５が空気調和室内機１１０を撮影することにより自動で検知されてもよいし、利用者が稼働したベーン１１１を指定することにより検知されてもよい。

＊＊＊実施の形態１の効果＊＊＊
実施の形態１は、室内機が複数のベーン１１１を有する空気調和機１０１に対して、操作対象となるベーン１１１を特定し、風向および風量などを調節するための操作を行うことを可能にする。
具体的には、空気調和室内機１１０が撮影されると、撮影によって得られた画像の中で複数のベーン１１１がそれぞれ識別され、対象ベーン１１３が特定される。これにより、室内機が複数のベーン１１１を有する空気調和機１０１に対して、対象ベーン１１３の風向および風量などを調節するための操作が可能となる。

実施の形態２．
対象ベーン１１３の候補となる２つ以上のベーン１１１を提示し、候補の中から選択された１つのベーン１１１を対象ベーン１１３として扱う形態について、主に実施の形態１と異なる点を図１５から図１８に基づいて説明する。

＊＊＊構成の説明＊＊＊
空気調和システム１００の構成は、実施の形態１における構成と同じである。

＊＊＊動作の説明＊＊＊
図１５に基づいて、空気調和操作方法を説明する。
ステップＳ２１０からステップＳ２３０は、実施の形態１のステップＳ１１０からステップＳ１３０と同じである。
ステップＳ２３０の後、処理はステップＳ２４１に進む。

ステップＳ２４１において、ベーン選択部２１４は、撮影画像２８１の中の複数のベーン１１１から、２つ以上のベーン１１１を選択する。選択されるベーン１１１を「候補ベーン群１１４」と称する。
候補ベーン群１１４は、対象ベーン１１３の候補となる２つ以上のベーン１１１である。

図１６に基づいて、候補ベーン群１１４の具体例を説明する。
利用者に近いベーン１１１から吹き出る風が、利用者に当たって利用者に強く影響を及ぼす、と考えられる。
撮影画像２８１の中で上方に位置するベーン１１１ほど利用者に近い、と考えられる。
そこで、ベーン選択部２１４は、撮影画像２８１の上方から順に２つのベーン１１１を候補ベーン群１１４として選択する。

図１５に戻り、ステップＳ２４２から説明を続ける。
ステップＳ２４２において、画像表示部２１５は、撮影画像２８１を用いて重畳画像２８５を生成し、重畳画像２８５をディスプレイ２０６に表示する。

図１７に基づいて、重畳画像２８５を説明する。
重畳画像２８５は、候補識別マーク群が重畳された撮影画像２８１である。
候補識別マーク群は、候補ベーン群１１４を構成する２つ以上のベーン１１１に対応する２つ以上の候補識別マーク２８６である。
候補識別マーク２８６は、候補ベーン群１１４の各ベーン１１１を識別するためのマークである。候補識別マーク２８６は、候補ベーン群１１４の各ベーン１１１の位置に重畳される。

図１５に戻り、ステップＳ２４３から説明を続ける。
ステップＳ２４３において、利用者は、対象ベーン１１３にしたい１つのベーン１１１の候補識別マーク２８６を選択することによって、１つのベーン１１１の識別子を指定する。
指定受付部２１６は、１つのベーン１１１の識別子を受け付ける。
ベーン選択部２１４は、候補ベーン群１１４から、受け付けられた識別子で識別される１つのベーン１１１を選択する。選択されるベーン１１１が対象ベーン１１３となる。
ステップＳ２４３の後、処理はステップＳ２５０に進む。

ステップＳ２５０において、画像表示部２１５は、撮影画像２８１を用いて重畳画像２８２を生成し、重畳画像２８２をディスプレイ２０６に表示する。
ステップＳ２５０は、実施の形態１のステップＳ１５０に相当する。

図１８に、重畳画像２８２の具体例を示す。
重畳画像２８２には、対象ベーン１１３に選ばれなかったベーン１１１の候補識別マーク２８６が重畳されてもよい。

図１５に戻り、ステップＳ２６０から説明を続ける。
ステップＳ２６０およびステップＳ２７０は、実施の形態１のステップＳ１６０およびステップＳ１７０と同じである。

＊＊＊実施の形態２の効果＊＊＊
実施の形態１は、空気調和室内機１１０が撮影されると撮影によって得られた画像の中で複数のベーン１１１のそれぞれを識別し、候補ベーン群１１４を特定する。また、指定受付部２１６がベーン１１１の指定を受け付ける。
これにより、室内機が複数のベーン１１１を有する空気調和機１０１に対して、候補ベーン群１１４から対象ベーン１１３を指定して対象ベーン１１３の風向および風量などを調節するための操作が可能となる。

実施の形態３．
対象ベーン１１３からの吹き出し風の状態を表示する形態について、主に実施の形態１と異なる点を図１９から図２４に基づいて説明する。

＊＊＊構成の説明＊＊＊
空気調和システム１００の構成は、実施の形態１における構成と同様である。
但し、空気調和操作端末２００の構成が、実施の形態１における構成と異なる。

図１９に基づいて、空気調和操作端末２００の構成を説明する。
空気調和操作端末２００は、さらに、方向センサ２０７というハードウェアを備える。
方向センサ２０７は、空気調和操作端末２００の向きを計測するためのセンサである。例えば、方向センサ２０７は、加速度センサおよびジャイロセンサなどである。

空気調和操作端末２００は、さらに、方向取得部２１８という要素を備える。
空気調和操作プログラムは、さらに、方向取得部２１８としてコンピュータを機能させる。

＊＊＊動作の説明＊＊＊
図２０に基づいて、空気調和操作方法を説明する。
ステップＳ３１０において、画像取得部２１１は、カメラ２０５から撮影画像２８１を取得する。この処理は、実施の形態１のステップＳ１１０と同じである。
さらに、方向取得部２１８は、方向センサ２０７から端末向きを取得する。
端末向きは、空気調和操作端末２００の向きを示すデータである。

図２１に示すように、端末向きは、空気調和操作端末２００の平面と直交する方向が鉛直上向きに対して成す角度で表される。

図２０に戻り、ステップＳ３２０から説明を続ける。
ステップＳ３２０において、物体検出部２１２は、学習済みモデル２９１を用いて、撮影画像２８１の中の複数のベーン１１１を検出する。
ステップＳ３２０は、実施の形態１のステップＳ１２０と同じである。
ステップＳ３２０では、複数のベーン１１１のそれぞれのバウンディングボックスが推定される。

ステップＳ３３０およびステップＳ３４０は、実施の形態１のステップＳ１３０およびステップＳ１４０と同じである。

ステップＳ３５０において、画像表示部２１５は、撮影画像２８１を用いて重畳画像２８２を生成し、重畳画像２８２をディスプレイ２０６に表示する。
重畳画像２８２は、状態インタフェース２８７および調節インタフェース２８４が重畳された撮影画像２８１である。
状態インタフェース２８７は、対象ベーン１１３からの吹き出し風の状態を示すグラフィカルユーザインタフェース（ＧＵＩ）である。

図２２に基づいて、ステップＳ３５０の手順を説明する。
ステップＳ３５１において、画像表示部２１５は、対象ベーン１１３からの吹き出し風の状態を示すデータ（対象状態）を取得する。
対象状態は、対象状態は現在値および指令値で表される。
現在値は、対象ベーン１１３からの吹き出し風の現在の状態を示すデータである。
指令値は、対象ベーン１１３からの吹き出し風の調節後の状態を示すデータである。

具体的には、画像表示部２１５は、空気調和室内機１１０（または空気調和コントローラ１２０）と通信することによって、現在値を取得する。
また、画像表示部２１５は、記憶部２９０から指令初期値を取得する。
指令初期値は、初期の指令値である。例えば、前回の指令値または現在値が指令初期値となる。

ステップＳ３５２において、画像表示部２１５は、対象ベーン１１３のバウンディングボックスに基づいて、対象傾きを算出する。
対象傾きは、撮影画像２８１の中の対象ベーン１１３の傾きである。
例えば、画像表示部２１５は、ハフ変換などの従来技術を用いて対象傾きを算出する。

ステップＳ３５３において、画像表示部２１５は、端末向きと対象傾きに基づいて重畳向きを算出する。
重畳向きは、撮影画像２８１に重畳される状態インタフェース２８７の向きである。例えば、重畳向きは、状態インタフェース２８７の基準座標系における回転行列で表現される。

ステップＳ３５４において、画像表示部２１５は、撮影画像２８１の中の対象ベーン１１３の位置に状態インタフェース２８７を重畳向きで重畳させて重畳画像２８２を生成し、重畳画像２８２をディスプレイ２０６に表示する。

具体的には、画像表示部２１５は以下のように動作する。
まず、画像表示部２１５は、対象状態（現在値および指令値）に基づいて、対象ベーン１１３からの吹き出し風の状態を示す状態インタフェース２８７を生成する。
次に、画像表示部２１５は、状態インタフェース２８７を重畳向きに合わせて回転させる。
次に、画像表示部２１５は、回転された状態インタフェース２８７を撮影画像２８１の中の対象ベーン１１３の位置に重畳させることによって、重畳画像２８２を生成する。
そして、画像表示部２１５は、重畳画像２８２をディスプレイ２０６に表示する。

ステップＳ３５５において、画像表示部２１５は、表示された重畳画像２８２に調節インタフェース２８４を重畳する。

図２３に、状態インタフェース２８７の表示手順の概要を示す。
まず、複数のベーン１１１のバウンディングボックスが推定される（ステップＳ３２０）。
次に、対象ベーン１１３のバウンディングボックスが選択され、対象ベーン１１３のバウンディングボックスに基づいて対象ベーン１１３の傾きが算出される（ステップＳ３５２）。
そして、状態インタフェース２８７が対象ベーン１１３の傾きに合わせて対象ベーン１１３の位置に重畳され、重畳画像２８２が表示される（ステップＳ３５４）。

図２０に戻り、ステップＳ３６０から説明を続ける。
ステップＳ３６０において、利用者は、調節インタフェース２８４を操作することによって、対象ベーン１１３に対する調節内容を指定する。
そして、指定受付部２１６は、対象ベーン１１３に対する調節内容を受け付ける。
ステップＳ３６０は、実施の形態１のステップＳ１６０に相当する。

図２４に、重畳画像２８２の具体例を示す。
重畳画像２８２において、状態インタフェース２８７および複数の調節インタフェース（２８４Ａ～２８４Ｃ）が重畳されている。
状態インタフェース２８７は、対象ベーン１１３からの吹き出し風の向きおよび強さを矢印で表している。
調節インタフェース２８４Ａはアイコンである。
調節インタフェース（２８４Ｂおよび２８４Ｃ）はスライダである。利用者は、黒丸部分を移動して操作を行う。調節インタフェース２８４Ｂの操作により、水平方向の風向きを指定することができる。調節インタフェース２８４Ｃの操作により、上下方向の風向きを指定することができる。

画像表示部２１５は、状態インタフェース２８７と調節インタフェース（２８４Ｂおよび２８４Ｃ）の少なくとも一方に、現在値を表すマークと指令値を表すマークを記してもよい。

図２０に戻り、ステップＳ３７０を説明する。
ステップＳ３７０において、空気調和設定部２１７は、対象ベーン１１３に対する調節内容を空気調和室内機１１０に設定する。
ステップＳ３７０は、実施の形態１のステップＳ１７０と同じである。

＊＊＊実施例の説明＊＊＊
実施の形態３は実施の形態２に適用されてもよい。つまり、対象ベーン１１３は候補ベーン群１１４から選択されてもよい。

＊＊＊実施の形態３の効果＊＊＊
実施の形態３は、状態インタフェース２８７を表示する。これにより、室内機が複数のベーン１１１を有する空気調和機１０１に対して、より直観的に、対象ベーン１１３の風向および風量などを調節するための操作が可能となる。

実施の形態４．
状態インタフェース２８７が調節インタフェース２８４を兼ねる形態について、主に実施の形態３と異なる点を図２５に基づいて説明する。

＊＊＊構成の説明＊＊＊
空気調和システム１００の構成は、実施の形態３における構成と同じである。

＊＊＊動作の説明＊＊＊
空気調和操作方法の手順は、実施の形態３における手順と同じである。
但し、以下の点で、ステップＳ３６０が実施の形態３の処理と異なる。

状態インタフェース２８７は、調節インタフェース２８４を兼ねる。つまり、状態インタフェース２８７は、対象ベーン１１３からの吹き出し風の状態を示すＧＵＩであり、且つ、対象ベーン１１３からの吹き出し風の調節内容を指定するためのＧＵＩである。

ステップＳ３６０において、利用者は、状態インタフェース２８７を操作することによって、対象ベーン１１３に対する調節内容を指定する。
そして、指定受付部２１６は、対象ベーン１１３に対する調節内容を受け付ける。

図２５に、重畳画像２８２の具体例を示す。
利用者は、調節したい風向を示す矢印を伸縮して状態インタフェース２８７を操作する。状態インタフェース２８７の操作により、各風向における風量を指定することができる。

＊＊＊実施の形態４の効果＊＊＊
実施の形態４では、状態インタフェース２８７が直接操作される。
これにより、室内機が複数のベーン１１１を有する空気調和機１０１に対して、より直観的に、対象ベーン１１３の風向および風量などを調節するための操作が可能となる。

＊＊＊実施の形態の補足＊＊＊
図２６に基づいて、空気調和操作端末２００のハードウェア構成を説明する。
空気調和操作端末２００は処理回路２０９を備える。
処理回路２０９は、画像取得部２１１と物体検出部２１２とベーン識別部２１３とベーン選択部２１４と画像表示部２１５と指定受付部２１６と空気調和設定部２１７と方向取得部２１８とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。

処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。

空気調和操作端末２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。

処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。

このように、空気調和操作端末２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。

各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

空気調和操作端末２００の要素である「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。

１００空気調和システム、１０１空気調和機、１０２空気調和室外機、１１０空気調和室内機、１１１ベーン、１１２拡張部品、１１３対象ベーン、１１４候補ベーン群、１１９通信装置、１２０空気調和コントローラ、１２１処理回路、１２２通信装置、１２３ディスプレイ、１２４空気調和制御部、２００空気調和操作端末、２０１プロセッサ、２０２メモリ、２０３補助記憶装置、２０４通信装置、２０５カメラ、２０６ディスプレイ、２０７方向センサ、２０９処理回路、２１１画像取得部、２１２物体検出部、２１３ベーン識別部、２１４ベーン選択部、２１５画像表示部、２１６指定受付部、２１７空気調和設定部、２１８方向取得部、２８１撮影画像、２８２重畳画像、２８３対象識別マーク、２８４調節インタフェース、２８５重畳画像、２８６候補識別マーク、２８７状態インタフェース、２９０記憶部、２９１学習済みモデル、２９２ベーン識別データ。

Claims

複数のベーンを有する空気調和室内機を撮影して得られる撮影画像を取得する画像取得部と、
前記空気調和室内機と同じ種類の空気調和室内機が映った教師画像に対する機械学習によって生成される学習済みモデルを用いて、前記撮影画像の中の前記複数のベーンを検出する物体検出部と、
前記撮影画像の中の前記複数のベーンから、吹き出し風が調節される１つのベーンである対象ベーンを選択するベーン選択部と、
前記対象ベーンを識別するための対象識別マークと、前記対象ベーンからの吹き出し風の調節内容を指定するためのグラフィカルユーザインタフェースである調節インタフェースと、が重畳された前記撮影画像を重畳画像として表示する画像表示部と、
前記調節インタフェースの操作によって指定される調節内容を受け付ける指定受付部と、
受け付けられた調節内容を前記空気調和室内機に設定する空気調和設定部と、
を備える空気調和操作端末。
前記空気調和室内機が、拡張部品を有し、
前記物体検出部は、前記撮影画像の中の前記複数のベーンおよび前記拡張部品を検出し、
前記空気調和操作端末は、
前記撮影画像における前記拡張部品に対する各ベーンの位置関係を判定し、判定された位置関係に基づいて各ベーンを識別するベーン識別部を備える
請求項１に記載の空気調和操作端末。
前記ベーン識別部は、前記拡張部品に対する各ベーンの位置関係と各ベーンの識別子とを示すベーン識別データを用いて、各ベーンの識別子を特定する
請求項２に記載の空気調和操作端末。
前記物体検出部は、前記学習済みモデルを用いて各ベーンのバウンディングボックスを推定し、各ベーンの前記バウンディングボックスに基づいて各ベーンの位置を特定する
請求項１から請求項３のいずれか１項に記載の空気調和操作端末。
前記ベーン選択部は、前記撮影画像の中の前記複数のベーンから、２つ以上のベーンを候補ベーン群として選択し、
前記画像表示部は、前記候補ベーン群を構成する前記２つ以上のベーンに対応する２つ以上の候補識別マークが重畳された前記撮影画像を表示し、
前記指定受付部は、前記２つ以上の候補識別マークのうちの１つの候補識別マークの選択によって指定される前記１つのベーンの識別子を受け付け、
前記ベーン選択部は、前記候補ベーン群から、受け付けられた識別子で識別される前記１つのベーンを前記対象ベーンとして選択する
請求項１から請求項４のいずれか１項に記載の空気調和操作端末。
前記空気調和操作端末は、方向取得部を備え、
前記方向取得部は、前記空気調和操作端末の向きを示す端末向きを取得し、
前記物体検出部は、前記学習済みモデルを用いて、前記撮影画像の中の各ベーンのバウンディングボックスを推定し、
前記画像表示部は、前記対象ベーンの前記バウンディングボックスに基づいて前記撮影画像の中の前記対象ベーンの傾きを対象傾きとして算出し、前記端末向きと前記対象傾きに基づいて重畳向きを算出し、前記対象ベーンからの吹き出し風の状態を示すグラフィカルユーザインタフェースである状態インタフェースを前記撮影画像の中の前記対象ベーンの位置に前記重畳向きで重畳させて前記重畳画像を生成する
請求項１から請求項５のいずれか１項に記載の空気調和操作端末。
前記状態インタフェースが、前記調節インタフェースとして利用され、
前記指定受付部は、前記状態インタフェースの操作によって指定される前記調節内容を受け付ける
請求項６に記載の空気調和操作端末。
複数のベーンを有する空気調和室内機を撮影して得られる撮影画像を取得する画像取得部と、
前記空気調和室内機と同じ種類の空気調和室内機が映った教師画像に対する機械学習によって生成される学習済みモデルを用いて、前記撮影画像の中の前記複数のベーンを検出する物体検出部と、
前記撮影画像の中の前記複数のベーンから、吹き出し風が調節される１つのベーンである対象ベーンを選択するベーン選択部と、
前記対象ベーンを識別するための対象識別マークと、前記対象ベーンからの吹き出し風の調節内容を指定するためのグラフィカルユーザインタフェースである調節インタフェースと、が重畳された前記撮影画像を重畳画像として表示する画像表示部と、
前記調節インタフェースの操作によって指定される調節内容を受け付ける指定受付部と、
受け付けられた調節内容を前記空気調和室内機に設定する空気調和設定部として、
コンピュータを機能させるための空気調和操作プログラム。
複数のベーンを有する空気調和室内機と、空気調和操作端末と、を備え、
前記空気調和操作端末は、
前記空気調和室内機を撮影して得られる撮影画像を取得する画像取得部と、
前記空気調和室内機と同じ種類の空気調和室内機が映った教師画像に対する機械学習によって生成される学習済みモデルを用いて、前記撮影画像の中の前記複数のベーンを検出する物体検出部と、
前記撮影画像の中の前記複数のベーンから、吹き出し風が調節される１つのベーンである対象ベーンを選択するベーン選択部と、
前記対象ベーンを識別するための対象識別マークと、前記対象ベーンからの吹き出し風の調節内容を指定するためのグラフィカルユーザインタフェースである調節インタフェースと、が重畳された前記撮影画像を重畳画像として表示する画像表示部と、
前記調節インタフェースの操作によって指定される調節内容を受け付ける指定受付部と、
受け付けられた調節内容を前記空気調和室内機に設定する空気調和設定部と、を備える
空気調和システム。
複数のベーンと拡張部品を有する空気調和室内機を撮影して得られる撮影画像を取得する画像取得部と、
前記空気調和室内機と同じ種類の空気調和室内機が映った教師画像に対する機械学習によって生成される学習済みモデルを用いて、前記撮影画像の中の前記複数のベーンを検出し、前記撮影画像の中の各ベーンの位置番号を検出する物体検出部と、
各ベーンの位置番号に応じて前記空気調和室内機を操作した場合に実際に稼働したベーンに基づいて生成され前記拡張部品に対する各ベーンの位置関係と各ベーンの識別子とを示すベーン識別データを用いて、前記撮影画像における前記拡張部品に対する各ベーンの位置関係に基づいて、各ベーンを識別するベーン識別部と、
を備える空気調和操作端末。