JP6803036B1 - 情報処理方法、情報処理装置、情報処理システム、及びプログラム - Google Patents

Abstract

【課題】設置や管理に要する手間やコストを抑制しつつ気流の状態を推定する。【解決手段】本発明の一態様に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得ステップと、前記取得ステップにおいて取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定ステップとを含んでいる。【選択図】図２

Description

本発明は、気流の状態を推定する技術に関する。

従来、室内における気流等をセンシングして、集計したデータをユーザに提示可能なシステムが知られている。

例えば、特許文献１では、環境要因を計測する各センサからデータを取得し、工場内の環境を複合的に評価できるシステムが開示されている。

特開２０２０−９１５８５号公報（２０２０年６月１１日公開）

しかしながら、上述のような従来技術は、複数の気流センサの設置や管理に手間やコストがかかるという問題がある。

本発明の一態様は、上記の問題を鑑みてなされたものであり、設置や管理に要する手間やコストを抑制しつつ気流の状態を推定することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得ステップと、前記取得ステップにおいて取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定ステップとを含んでいる。

本発明の一態様によれば、設置や管理に要する手間やコストを抑制しつつ気流の状態を推定できる。

実施形態１に係る情報処理システム及びその周辺構成を示す図である。 実施形態１に係る撮像装置と対象物とが配置された店舗の一例を示している。 実施形態１に係る情報処理システムの構成例を示すブロック図である。 実施形態１に係る情報処理システムよる処理の流れを示すシーケンス図である。 対応情報を示すテーブルの一例を示す図である。 対応情報を示すテーブルの一例を示す図である。 実施形態１に係る情報処理システムが生成する表示用マップの一例を示す図である。 実施形態２に係る情報処理システムの構成例を示すブロック図である。 実施形態２に係る情報処理システムよる処理の流れを示すシーケンス図である。 実施形態３に係る情報処理システムの構成例を示すブロック図である。 実施形態３に係る情報処理システムよる処理の流れを示すシーケンス図である。 各実施形態に係る情報処理システムのハードウェア構成の一例を示す図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

〔１．情報処理システム１の構成例〕
図１は、本実施形態に係る情報処理システム１及びその周辺構成を示す図である。図１に示すように、本実施形態に係る情報処理システム１は、対象物３を撮像する撮像装置１０、サーバ装置４０及び端末装置６０を備えている。ここで、情報処理システム１に含まれる撮像装置１０、サーバ装置４０、及び端末装置６０の数は、それぞれ単数であっても複数であってもよい。

また、情報処理システム１に含まれる各装置は、図１に示すように、ネットワークＮを介して互いに通信可能に接続されている。なお、本明細書において、撮像装置１０とサーバ装置４０との一方又は双方を情報処理装置と呼称することもある。

撮像装置１０は、対象物を撮像する機能を備えた装置であり、一例として、推論機能を備えたＡＩ（Artificial intelligence）カメラとして実現することができる。

対象物は、気流の作用を受けることによって状態が変化する物体である。図１に示す例では、対象物の一例として、気流の作用を受けることにより形状等が変化する吹流し（吹き流し）部が紐状に形成されている吹流し３を示しているが、これは本明細書に記載の事項を限定するものではなく、本明細書に係る対象物は、例えば筒状に形成された吹流し部を備えた吹流し、旗、風車、オーナメント、短冊又はポスター等であってもよいし、その他の対象物であってもよい。

また、本明細書における対象物の状態には、当該対象物の大きさ、形状、向き（角度）、及び回転速度のうち少なくとも何れかが含まれる。

本実施形態に係る撮像装置１０は、対象物の状態を撮像し、撮像した撮像画像に基づき、当該対象物の位置における気流の状態を推定する。ここで、気流の状態には、気流の流速（風速）、流量（風量）及び向きのうち少なくとも何れかが含まれる。

また、本明細書において対象物は、一例として、店舗、オフィス、公共施設又は住居等の室内における所定位置に設置されている。ただしこれは本実施形態を限定するものではなく、対象物は、屋外に設置されていてもよい。

また、本明細書において、１つの撮像装置１０は、１つの対象物を撮像するよう配置されていてもよいし、複数の対象物を撮像するよう配置されていてもよい。また、１つの対象物を複数の撮像装置１０によって撮像するような配置としてもよい。

また、本明細書において、各位置に設置された複数の対象物の種類は互いに異っていてもよい。例えば、吹流しである対象物を第１の位置に配置し、風車である対象物を、第１の位置とは異なる第２の場所に配置するようにしてもよい。

（撮像装置１０及び対象物３の設置例）
図２は、本実施形態に係る撮像装置１０と対象物３との設置例を示す図であり、一例として、撮像装置１０と対象物である吹流し３とが配置された店舗を示している。図２に示す例では、吹流し３は、店舗が備える商品棚の上部に設置されている。吹流し３は、図２に示すように、吹流し部と当該吹流し部の一端を支持する支柱部とを備えて構成されている。ここで、吹流し部は、気流の作用を受けることによって、以下に例示する状態の少なくとも何れかが変化する。
・当該吹き流し部の方位角
・当該吹き流し部の仰角又は俯角、および、
・当該吹き流し部の撓みや捻じれ。

図２において、撮像装置１０は、吹流し３を画角に含む位置に配置されている。図２に示す例では、撮像装置１０は、２つの吹流し３を画角に含む位置に配置されているがこれは本例を限定するものではなく、１つの吹流し３に対して１つの撮像装置を備える構成としてもよい。

（情報処理システム１の具体的構成例）
続いて、図３を参照して情報処理システムの具体的構成例について説明する。図３は、本実施形態に係る情報処理システム１の構成例を示すブロック図である。図３に例示する情報処理システム１は、１又は複数の撮像装置１０、サーバ装置４０及び端末装置６０を備えている。

（撮像装置１０）
図３に示すように、撮像装置（情報処理装置）１０は、撮像部１２、制御部１４、記憶部２６及び通信部２８を備えている。撮像部１２は、撮像装置１０の外部を撮像するカメラである。

（制御部１４）
制御部１４は、撮像装置１０の各部を制御する構成であり、図３に示すように、取得部１６、及び推定部１８を備えている。

取得部１６は、撮像部１２による撮像画像であって、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する。この撮像画像は、例えば静止画であってもよいし、動画であってもよい。なお、この撮像画像を単に画像ともいう。

推定部１８は、取得部１６が取得した撮像画像を参照して、対象物の位置における気流の状態を推定する。対象物の位置における気流の状態とは、例えば、対象物を通過する気流についての、対象物の位置における状態をいう。推定部１８は、一例として、撮像画像が入力され対象物の位置における気流の状態に関する情報を出力する第１の推定モデルを用いて、前記対象物の位置における気流の状態を推定する。

また、推定部１８は、対象物の位置を特定し、特定した位置を示す位置情報を、推定した気流の状態に関連付ける。

また、推定部１８は、一例として、図３に示すように、第１の推定部２０及び第２の推定部２２を備える構成としてもよい。

ここで、第１の推定部２０は、一例として、取得部１６が取得した撮像画像に含まれる対象物の状態を推定する。また、第２の推定部２２は、一例として、第１の推定部２０が推定した対象物の状態を参照して、当該対象物の位置における気流の状態を推定する。

ここで、第１の推定部２０は、一例として、取得部１６が取得した撮像画像が入力され対象物の状態に関する情報を出力する第２の推定モデルを用いて、前記対象物の状態を推定する構成とすることができる。

記憶部２６には、各種の情報が格納されている。一例として、記憶部２６には、
・撮像装置１０が設置された位置を示す位置情報、
・第１の推定モデル、及び第２の推定モデルを規定するための関数やパラメータ、及び
・推定部１８が推定した対象物ついての、撮像装置１０が設置された位置に対する相対位置を示す相対位置情報等が格納される。なお、この相対位置情報は、例えば、撮像画像上の対象物の位置と、当該撮像画像を撮影した撮像装置１０の位置とから推定されてもよい。

通信部２８は、サーバ装置４０に対して各種のデータを送信したり、サーバ装置４０から各種のデータを受信したりする。一例として、通信部２８は、推定部１８が推定した気流の状態を示す情報をサーバ装置４０に送信する。

（サーバ装置４０）
続いて、情報処理システム１が備えるサーバ装置４０の具体的構成例について説明する。図３に示すように、サーバ装置４０は、制御部４２、通信部４８及び記憶部５０を備えている。

制御部４２は、サーバ装置４０の各部を制御する構成であり、図３に示すように、取得部４３、及びマップ生成部４４を備えている。

取得部４３は、撮像装置１０が送信した情報を、通信部４８を介して取得する。一例として、取得部４３は、撮像装置１０が送信した、各対象物の位置における気流の状態を示す情報を取得する。

マップ生成部４４は、１又は複数の撮像装置１０の各々が推定し、取得部４３が取得した各対象物の位置における気流の状態を参照して、対象物が配置された位置における気流の状態を示す表示用マップを生成する。

記憶部５０には、各種情報が格納されている。一例として、記憶部５０には、
・各撮像装置１０から取得した各対象物の位置における気流の状態を示す情報
・マップ生成部４４が生成した表示用マップを示すデータ
等が格納される。

通信部４８は、撮像装置１０及び端末装置６０に各種のデータを送信したり、撮像装置１０及び端末装置６０から各種のデータを受信したりする。一例として、通信部４８は、撮像装置１０から気流の状態を示す情報を受信したり、表示用マップを示すデータを端末装置６０に送信したりする。

（端末装置６０）
情報処理システム１が備える端末装置６０は、サーバ装置４０が送信する表示用マップを示すデータを受信する通信部６２と、受信したデータが示す表示用マップを表示する表示部６４とを備えている。端末装置６０は、一例として、スマートフォン、タブレット又はパーソナルコンピュータ等の装置として実現される。

また、撮像装置１０の制御部１４、又はサーバ装置４０の制御部４２が、第１の推定モデル及び第２の推定モデルの学習を行う学習部（図示を省略）として機能する構成であってもよい。制御部４２が上記学習を行う場合、各推定モデルを規定する情報は、制御部４２によって通信部４８を介して撮像装置１０に送信され、記憶部２６に格納されてもよい。

〔２．情報処理システム１の処理例〕
続いて、本実施形態に係る情報処理システム１における処理の流れについて、図４を参照して説明する。図４は、本実施形態に係る情報処理システム１による処理の流れを示すシーケンス図である。なお、図４のステップＳ１０１〜Ｓ１０７は撮像装置１０による処理を例示し、ステップＳ１０８〜Ｓ１１０はサーバ装置４０による処理を例示する。

（ステップＳ１０１）
まず、ステップＳ１０１において、撮像装置１０の撮像部１２は、少なくとも１つの対象物を含む画角を撮像する。そして、取得部１６は、撮像部１２が撮像した、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する。

（ステップＳ１０２）
続いて、ステップＳ１０２において、推定部１８は、取得部１６が取得した撮像画像から対象物を検出する処理を行う。

ここで、推定部１８による対象物の検出処理に用いるアルゴリズムは本実施形態を限定するものではないが、一例として、Ｆａｓｔｅｒ Ｒ−ＣＮＮ（Regions with Convolutional Neural Networks）や、ＳＳＤ（Single Shot Multibox Detector）等を用いることができる。

（ステップＳ１０３）
続いて、ステップＳ１０３において、推定部１８は、ステップＳ１０２における検出処理によって少なくとも１つの対象物が検出されたか否かを判定する。推定部１８が、少なくとも１つの対象物を検出したと判定した場合、続いてステップＳ１０４の処理が実行され、対象物を検出していないと判定した場合、図４のシーケンス図に示す処理が終了する。

（ステップＳ１０４）
続いて、ステップＳ１０４において、推定部１８は、検出した対象物について、撮像装置１０の位置に対する相対位置を推定する。

（ステップＳ１０５）
続いて、ステップＳ１０５では、第１の推定部２０は、第２の推定モデルを用いて、ステップＳ１０２で撮像画像内において検出した対象物の状態を推定する。ここで、第２の推定モデルは、上述したように、撮像画像が入力され対象物の状態に関する情報を出力する推定モデルである。

なお、本ステップにおいて、第１の推定部２０は、対象物の状態として、対象物の大きさ、形状、向き、及び回転速度のうち少なくとも何れかを推定する構成としてもよい。

また、本ステップにおいて、第１の推定部２０は、複数の時点において、対象物の状態を推定し、各時点における対象物の状態を平均することによって、次ステップで参照する対象物の状態を推定する構成としてもよい。

（ステップＳ１０６）
続いて、ステップＳ１０６において、第２の推定部２２は、
・ステップＳ１０５において、第１の推定部２０が推定した対象物の状態、及び
・当該対象物の状態と気流の状態との対応関係を示す対応情報
を参照して、対象物の位置における気流の状態を推定する。

ここで、上記対応情報は、一例として、
・対象物の方位角
・対象物の仰角又は俯角、
・対象物の回転速度、及び
・対象物の撓みや捻じれ、ふくらみ等の形状の変化
の少なくとも何れかによって表される対象物の状態と、
・気流の流速、流量、及び向き
によって表される気流の状態と、を対応付けたテーブルとして規定される。

上記のような対応情報を参照することによって、第２の推定部２２は、本ステップにおいて、気流の状態として、気流の流速、流量、及び向きのうち少なくとも何れかを推定することができる。

図５の表７０及び図６の表７２は、対応情報を示す上記テーブルの一例を示す図である。

一例として、第２の推定部２２は、表７０に示す対応情報を参照して、鉛直下方向からの対象物の角度が０〜１０度であれば、対象物の位置における気流の状態として流速が０〜０．２ｍ／ｓであると推定し、上記角度が１０〜２０度であれば、上記流速が０．２〜０．４ｍ／ｓであると推定する。

また、一例として、第２の推定部２２は、表７２に示す対応情報を参照して、対象物の回転速度が０〜５回転／ｓであれば、対象物の位置における気流の状態として流量が０〜０．１ｍ^３／ｓであると推定し、対象物の回転速度が６〜１０回転／ｓであれば、上記流量が０．１〜０．２ｍ^３／ｓであると推定する。

また、第２の推定部２２は、例えば対象物が動いた向き又は設置された向きに応じた気流の向きを推定してもよい。

このように、例えば、上述の気流の流速や流量の値を、気流の状態に関する情報といい、上述の対象物の角度や回転速度の値を、対象物の状態に関する情報という。

また、本ステップＳ１０６において、推定部１８は、ステップＳ１０４において推定した相対位置であって、対象物の相対位置を示す相対位置情報を、本ステップにおいて推定した気流の状態に関連付ける処理を行う。

また、ステップＳ１０５及びＳ１０６における処理は、ステップＳ１０１の取得ステップにおいて取得した撮像画像を参照して対象物の位置における気流の状態を推定する推定ステップが、第１の推定部２０によって実行される第１の推定ステップと、第２の推定部２２によって実行される第２の推定ステップとを含んでいてもよいことを示している。なお、ステップＳ１０５及びＳ１０６における処理の別の態様として、推定部１８は、取得部１６が取得した撮像画像を参照し、第１の推定モデルを用いて対象物の位置における気流の状態を推定してもよい。

（ステップＳ１０７）
続いて、ステップＳ１０７において、制御部１４は、推定部１８が推定した対象物の相対位置を示す相対位置情報、及び当該対象物の位置における気流の状態を示す情報を、通信部２８を介してサーバ装置４０に送信する。また、情報処理システム１が複数の撮像装置１０を有する場合、制御部１４は、自装置である撮像装置１０を他の撮像装置１０と識別するための撮像装置ＩＤをサーバ装置４０に送信してもよい。そして、撮像装置１０は処理を終了する。

（ステップＳ１０８）
続いて、ステップＳ１０８において、サーバ装置４０の制御部４２が備える取得部４３は、１又は複数の撮像装置１０からそれぞれ送信された推定結果として、上記相対位置情報、及び上記気流の状態を示す情報を、通信部４８を介して取得する。

（ステップＳ１０９）
続いて、ステップＳ１０９において、マップ生成部４４は、記憶部５０が格納する、各撮像装置１０の位置を示す位置情報と、取得部４３が取得した対象物の相対位置情報とを参照して、表示用マップ上に示すべき対象物の位置を特定する。

（ステップＳ１１０）
続いて、ステップＳ１１０において、マップ生成部４４は、ステップＳ１０９において推定した各対象物の位置と、ステップＳ１０８において取得した当該位置における気流の状態を示す情報とを参照して、表示用マップを生成する。また、制御部４２は、当該表示用マップを示す情報を、記憶部５０に格納してもよい。そして、サーバ装置４０は処理を終了する。

図７は、マップ生成部４４が生成した表示用マップの一例を示す図である。図７は、例えば、上述の図２に例示した店舗において、複数の商品棚の配置と気流とを平面的に図示したものである。
ば、図７において、矢印は気流を示し、四角は商品棚を示し、四角がないところは通路を示すとすると、具体的に、図中の矢印は、商品棚と商品棚の間の通路における気流を示す。また、矢印の幅は気流の流量を示しており、且つ矢印の向きは気流の向きを示している。例えば、矢印の長さが長いほど流速が大きい（速い）ことを示してもよく、また、矢印の幅が大きいほど流量が多いことを示してもよい。なお、気流を示す表示は矢印に限られず、また、気流の向き等は、例えば楔形のオブジェクトによって表示されてもよい。

以上、図４のシーケンス図に示す処理について説明した。また、上記処理に続いて以下に例示する処理が実行され得る。

（１）端末装置６０は、例えば、ユーザ操作に基づいて、表示用マップを示す情報の送信を要求する情報を、サーバ装置４０に対して送信する。サーバ装置４０が備える制御部４２は、端末装置６０から送信された情報を、通信部４８を介して取得する。

（２）制御部４２は、記憶部５０に格納された表示用マップを示す情報を、通信部４８を介して端末装置６０に対して送信する。端末装置６０は、サーバ装置４０から送信された情報を受信する。

（３）端末装置６０は、サーバ装置４０から受信した情報を参照して、表示部６４上に表示用マップを表示する処理を行う。

なお（１）において上述した、表示用マップを示す情報の送信を要求する情報は、例えばＨＴＴＰ（Hyper Text Transfer Protocol）の形式であってもよい。別の観点から言えば、表示用マップは、情報処理システム１が導入された店舗のウェブサイト等で公開され、端末装置６０のブラウザを介して閲覧可能な構成であってもよい。

以上のように構成された情報処理システム１によれば、複数の気流センサの設置や管理に要する手間やコストを抑制しつつ気流の状態を推定することができる。

（推定モデルについて）
上述のように、本実施形態において、第１の推定モデルは、撮像画像が入力され対象物の位置における気流の状態に関する情報を出力するモデルである。当該第１の推定モデルは、本実施形態に係る情報処理システム１が備える学習部によって学習されたモデルであってもよいし、情報処理システム１に含まれない情報処理装置によって学習されたモデルであってもよい。前者の場合、一例として撮像装置１０、サーバ装置４０、または端末装置６０は、学習部を備え、当該学習部は、撮像画像と、当該撮像画像に含まれる対象物の位置における気流の状態との組を学習データとして用いることによって第１の推定モデルを学習させる。

また、上述のように、本実施形態において、第２の推定モデルは、撮像画像が入力され対象物の状態に関する情報を出力するモデルである。当該第２の推定モデルは、本実施形態に係る情報処理システム１が備える学習部によって学習されたモデルであってもよいし、情報処理システム１に含まれない情報処理装置によって学習されたモデルであってもよい。前者の場合、一例として撮像装置１０、サーバ装置４０、または端末装置６０は、学習部を備え、当該学習部は、撮像画像と、当該撮像画像に含まれる対象物の状態との組を学習データとして用いることによって第２の推定モデルを学習させる。

〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。本実施形態においては、対象物の状態の推定、及び対象物の位置における気流の状態の推定をサーバ装置において実行する構成例について説明する。

〔１．情報処理システム１ａの構成例〕
図８は、本実施形態に係る情報処理システム１ａの構成を示すブロック図である。図８に示すように、情報処理システム１ａは、上述した第１の実施形態に係る情報処理システム１と比較して、撮像装置１０ａが備える制御部１４ａが推定部１８を備えずともよく、サーバ装置４０ａが備える制御部４２ａが、推定部１８と同等の機能を有する推定部５２を備える構成である。本実施形態では、制御部１４ａは推定部１８を備える必要がないため、エッジＡＩカメラではない通常の監視カメラ等を用いて撮像装置１０ａを実現することができる。

〔２．情報処理システム１ａの処理例〕
続いて、本実施形態に係る情報処理システム１ａにおける処理の流れについて、図９を参照して説明する。図９は、本実施形態に係る処理の流れを示すシーケンス図である。なお、図９のステップＳ２０１は撮像装置１０ａによる処理を例示し、ステップＳ２０２〜Ｓ２０９はサーバ装置４０ａによる処理を例示する。

（ステップＳ２０１）
ステップＳ２０１において、撮像部１２は、少なくとも１つの対象物を含む画角を撮像する。そして、取得部１６は、撮像部１２が撮像した、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する。そして、制御部１４ａは、当該撮像画像を、通信部２８を介してサーバ装置４０ａに送信する。また、情報処理システム１ａが複数の撮像装置１０ａを有する場合、制御部１４ａは、自装置である撮像装置１０ａを他の撮像装置１０ａと識別するための撮像装置ＩＤをサーバ装置４０ａに送信してもよい。そして、撮像装置１０ａは処理を終了する。

（ステップＳ２０２）
続いて、ステップＳ２０２において、サーバ装置４０ａの制御部４２ａが備える取得部４３は、撮像装置１０ａから送信された撮像画像を、通信部４８を介して取得する。

（ステップＳ２０３〜Ｓ２０７）
続いて、ステップＳ２０３〜Ｓ２０７において、推定部５２は、上述したステップＳ１０２〜Ｓ１０６における推定部１８と同等の処理を行う。即ち、ステップＳ２０３〜Ｓ２０７においては、ステップＳ１０２〜Ｓ１０６における推定部１８を、推定部５２と読み替え、且つその他の部材について、取得部１６を取得部４３と、第１の推定部２０を第１の推定部５４と、第２の推定部２２を第２の推定部５６と、記憶部２６を記憶部５０とそれぞれ読み替えた処理が実行される。

なお、ステップＳ２０４において、推定部５２が、少なくとも１つの対象物を検出したと判定した場合、続いてステップＳ２０５の処理が実行され、対象物を検出していないと判定した場合、図９のシーケンス図に示す処理が終了する。

（ステップＳ２０８）
続いて、ステップＳ２０８において、マップ生成部４４は、記憶部５０が格納する、各撮像装置１０ａの位置を示す位置情報と、ステップＳ２０５において推定部１８が推定した対象物の相対位置情報とを参照して、表示用マップ上に示すべき対象物の位置を特定する。

（ステップＳ２０９）
続いて、ステップＳ２０９において、マップ生成部４４は、ステップＳ２０８において推定した各対象物の位置と、ステップＳ２０７において推定部１８が推定した当該位置における気流の状態を示す情報とを参照して、表示用マップを作成する。そして、サーバ装置４０ａは処理を終了する。

以上、図９のシーケンス図に示す処理について説明した。また、上記処理に続いて実行され得る処理は、実施形態１と同様の処理（上述した（１）〜（３）に例示する処理）である。

以上のように構成された情報処理システム１ａによれば、撮像装置１０ａがエッジＡＩカメラではない通常の監視カメラ等であっても、複数の気流センサを各所に設置することなく、手間やコストを抑制しつつ気流の状態を推定することができる。

〔実施形態３〕
本発明の第３の実施形態について、以下に説明する。本実施形態においては、対象物の状態の推定を撮像装置において実行し、対象物の位置における気流の状態の推定をサーバ装置において実行する構成例について説明する。

〔１．情報処理システム１ｂの構成〕
図１０は、本実施形態に係る情報処理システム１ｂの構成を示すブロック図である。図１０に示すように、情報処理システム１ｂは、図３に示す実施形態１に係る情報処理システム１と比較して、撮像装置１０ｂの推定部１８ｂが第２の推定部２２を備えておらず、サーバ装置４０ｂの制御部４２ｂが、推定部５２ｂとして機能する構成である。推定部５２ｂは、第２の推定部２２と同等の機能を有する第２の推定部５６を備えている。

〔２．情報処理システム１ｂの処理例〕
続いて、本実施形態に係る情報処理システム１ｂの処理の流れについて、図１１を参照して説明する。図１１は、本実施形態に係る処理の流れを示すシーケンス図である。なお、図１１のステップＳ１０１〜Ｓ１０５及びＳ３０６は撮像装置１０ｂによる処理を例示し、ステップＳ３０７〜Ｓ３１０はサーバ装置４０ｂによる処理を例示する。

（ステップＳ１０１〜Ｓ１０５）
ステップＳ１０１からステップＳ１０５までは、実施形態１のステップＳ１０１〜Ｓ１０５に示す処理（図４参照）と同様の処理が実行される。ステップＳ１０５の処理に続いてステップＳ３０６の処理が実行される。

（ステップＳ３０６）
続いて、ステップＳ３０６において、制御部１４ｂは、推定部１８ｂが推定した対象物の相対位置を示す相対位置情報、及び当該対象物の状態を示す情報を、通信部２８を介してサーバ装置４０ｂに送信する。また、情報処理システム１ｂが複数の撮像装置１０ｂを有する場合、制御部１４ｂは、自装置である撮像装置１０ｂを他の撮像装置１０ｂと区別するための制御装置ＩＤをサーバ装置４０ｂに送信してもよい。そして、撮像装置１０ｂは処理を終了する。

（ステップＳ３０７）
続いて、ステップＳ３０７において、サーバ装置４０ｂの制御部４２ｂが備える取得部４３は、撮像装置１０ｂからそれぞれ送信された推定結果として、上記相対位置情報、及び上記対象物の状態を示す情報を、通信部４８を介して取得する。

（ステップＳ３０８〜Ｓ３１０）
続いて、ステップＳ３０８〜ステップＳ３１０においては、上述したステップＳ２０７〜Ｓ２０９と同様の処理が実行される。そして、サーバ装置４０ａは処理を終了する。

以上、図１１のシーケンス図に示す処理について説明した。また、上記処理に続いて実行され得る処理は、実施形態１と同様の処理（上述した（１）〜（３）に例示する処理）である。

以上のように構成された情報処理システム１ｂによれば、撮像画像を参照して対象物の位置における気流の状態を推定する処理の負荷を、撮像装置１０ｂとサーバ装置４０ｂとで分散させると共に、撮像装置１０ｂとサーバ装置４０ｂとの間で通信されるデータ量を減少させることができる。

〔ソフトウェアによる実現例〕
撮像装置１０（１０ａ、１０ｂ）の制御ブロック（特に取得部１６、及び推定部１８（１８ｂ））、及びサーバ装置４０（４０ａ、４０ｂ）の制御ブロック（特に取得部４３、マップ生成部４４、及び推定部５２（５２ｂ））は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、撮像装置１０及びサーバ装置４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

（撮像装置１０の物理的構成）
情報処理システム１（１ａ、１ｂ）における撮像装置１０（１０ａ、１０ｂ）は、図１２に示すように、バス１１０と、プロセッサ１０１と、主メモリ１０２と、補助メモリ１０３と、通信インタフェース１０４とを備えたコンピュータによって構成可能である。プロセッサ１０１、主メモリ１０２、補助メモリ１０３、および通信インタフェース１０４は、バス１１０を介して互いに接続されている。

プロセッサ１０１としては、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。主メモリ１０２としては、例えば、半導体ＲＡＭ（random access memory）等が用いられる。

補助メモリ１０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはこれらの組み合わせ等が用いられる。補助メモリ１０３には、上述した撮像装置１０の動作をプロセッサ１０１に実行させるためのプログラムが格納されている。プロセッサ１０１は、補助メモリ１０３に格納されたプログラムを主メモリ１０２上に展開し、展開したプログラムに含まれる各命令を実行する。

通信インタフェース１０４は、ネットワークＮ１に接続するインタフェースである。

この例で、プロセッサ１０１および通信インタフェース１０４は、制御部１４（１４ａ、１４ｂ）および通信部２８を実現するハードウェア要素の一例である。また、主メモリ１０２および補助メモリ１０３は、記憶部２６を実現するハードウェア要素の一例である。

（サーバ装置４０の物理的構成）
情報処理システム１（１ａ、１ｂ）におけるサーバ装置４０（４０ａ、４０ｂ）は、図１２に示すように、バス４１０と、プロセッサ４０１と、主メモリ４０２と、補助メモリ４０３と、通信インタフェース４０４と、入出力インタフェース４０５とを備えたコンピュータによって構成可能である。プロセッサ４０１、主メモリ４０２、補助メモリ４０３、通信インタフェース４０４、および入出力インタフェース４０５は、バス４１０を介して互いに接続されている。入出力インタフェース４０５には、入力装置４０６および出力装置４０７が接続されている。

プロセッサ４０１としては、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。主メモリ４０２としては、例えば、半導体ＲＡＭ（random access memory）等が用いられる。

補助メモリ４０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはこれらの組み合わせ等が用いられる。補助メモリ４０３には、上述したサーバ装置４０の動作をプロセッサ４０１に実行させるためのプログラムが格納されている。プロセッサ４０１は、補助メモリ４０３に格納されたプログラムを主メモリ４０２上に展開し、展開したプログラムに含まれる各命令を実行する。

通信インタフェース４０４は、ネットワークＮ１に接続するインタフェースである。

入出力インタフェース４０５としては、例えば、ＵＳＢインタフェース、赤外線やBluetooth（登録商標）等の近距離通信インタフェース、またはこれらの組み合わせが用いられる。

入力装置４０６としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置４０７としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。

この例で、プロセッサ４０１および通信インタフェース４０４は、制御部４２（４２ａ、４２ｂ）及び通信部４８を実現するハードウェア要素の一例である。また、主メモリ４０２および補助メモリ４０３は、記憶部５０を実現するハードウェア要素の一例である。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔まとめ〕
本発明の態様１に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得ステップと、前記取得ステップにおいて取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定ステップとを含む情報処理方法である。上記の構成によれば、設置や管理に要する手間やコストを抑制しつつ気流の状態を推定できる。

本発明の態様２に係る情報処理方法は、上記の態様１において、前記推定ステップでは、前記撮像画像が入力され前記対象物の位置における気流の状態に関する情報を出力する第１の推定モデルを用いて、前記対象物の位置における気流の状態を推定する構成としてもよい。

上記の構成によれば、例えば対象物の画像と気流の状態との対応関係を示す情報を教師情報として学習された第１の推定モデルを用いて気流の状態を推定することができる。

本発明の態様３に係る情報処理方法は、上記の態様１において、前記推定ステップは、前記撮像画像に含まれる前記対象物の状態を推定する第１の推定ステップと、前記第１の推定ステップにおいて推定した前記対象物の状態を参照して、前記対象物の位置における気流の状態を推定する第２の推定ステップとを含んでいる構成としてもよい。上記の構成によれば、推定した対象物の状態に応じた気流の状態を推定することができる。

本発明の態様４に係る情報処理方法は、上記の態様３において、前記第１の推定ステップでは、前記撮像画像が入力され前記対象物の状態に関する情報を出力する第２の推定モデルを用いて、前記対象物の状態を推定する構成としてもよい。上記の構成によれば、例えば対象物の画像と当該対象物の状態との対応関係を示す情報を教師情報として学習された第２の推定モデルを用いて対象物の状態を推定することができる。

本発明の態様５に係る情報処理方法は、上記の態様３又は４において、前記第１の推定ステップでは、前記対象物の状態として、前記対象物の大きさ、形状、向き、及び回転速度のうち少なくとも何れかを推定する構成としてもよい。上記の構成によれば、上述の対象物の状態に応じて気流の状態を推定することができる。

本発明の態様６に係る情報処理方法は、上記の態様３から５の何れかにおいて、前記第２の推定ステップでは、前記対象物の状態と前記気流の状態との対応関係を示す対応情報を参照して、前記対象物の位置における気流の状態を推定する構成としてもよい。上記の構成によれば、対象物の状態から気流の状態を推定する場合における処理負荷を軽減することができる。

本発明の態様７に係る情報処理方法は、上記の態様３から６の何れかにおいて、前記第２の推定ステップでは、前記気流の状態として、前記気流の流速、流量、及び向きのうち少なくとも何れかを推定する構成としてもよい。上記の構成によれば、簡易な構成によって気流の流速、流量、及び向きのうち少なくとも何れかを推定可能な情報処理装置を実現できる。

本発明の態様８に係る情報処理方法は、上記の態様１から７の何れかにおいて、前記推定ステップでは、撮像位置に対する対象物の相対位置を推定し、推定した相対位置を示す相対位置情報を、前記気流の状態に関連付ける構成としてもよい。上記の構成によれば、対象物の相対位置における気流の状態を規定することができる。

本発明の態様９に係る情報処理方法（４０ａ）は、上記の態様１から８の何れかにおいて、前記推定ステップにおいて推定した前記対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成ステップを更に含んでいる構成としてもよい。上記の構成によれば、対象物が設置された所定範囲における気流の状態を容易に把握可能な表示用マップを生成することができる。

本発明の態様１０に係る情報処理装置（１０、４０ａ）は、少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得部（１６、４３）と、前記取得部が取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定部（１８、５２）とを備えている構成である。上記の構成によれば、設置や管理に要する手間やコストを抑制しつつ気流の状態を推定できる。

本発明の態様１１に係る情報処理システム（１ａ）は、１又は複数の撮像装置（１０ａ）と、情報処理装置（４０ａ）とを含む情報処理システムであって、前記１又は複数の撮像装置の各々は、少なくとも１つの対象物を含む撮像画像を撮像する撮像部（１２）を備え、前記情報処理装置は、前記撮像部が撮像した撮像画像を参照して、各対象物の位置における気流の状態を推定する推定部（５２）と、前記推定部が推定した各対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成部（４４）と、を備えている構成である。上記の構成によれば、撮像装置がエッジＡＩカメラではない通常の監視カメラ等であっても、簡易な構成によって気流の状態を推定可能な情報処理システムを実現できる。

本発明の態様１２に係る情報処理システム（１）は、１又は複数の撮像装置（１０）と、情報処理装置（４０）と含む情報処理システムであって、前記１又は複数の撮像装置の各々は、少なくとも１つの対象物を含む撮像画像を撮像する撮像部（１２）と、前記撮像部が撮像した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定部（１８）とを備え、前記情報処理装置は、前記１又は複数の撮像装置の各々が推定した各対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成部（４４）を備えている構成である。上記の構成によれば、簡易な構成によって気流の状態を推定可能な情報処理システム１を実現できる。

本発明の態様１３に係るプログラムは、上述の態様１０に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部及び前記推定部としてコンピュータを機能させる。上記の構成によれば、上述した情報処理装置と同様の効果を奏する。

このようにして、本発明に係る情報処理装置は、気流の状態を、例えば、気流の状態を示す表示用マップを介して把握することができるだけでなく、所定の閾値に基づき、気流の状態がどの程度良好であるかを把握することができる。また、気流が換気された空気である場合には、換気状態をも知ることができる。

また、ユーザは端末装置６０表示用マップを示すデータを端末装置６０に送信したりする。

１、１ａ、１ｂ 情報処理システム
１０、１０ａ、１０ｂ 撮像装置（情報処理装置）
１２ 撮像部
１４、１４ａ、１４ｂ、４２、４２ａ、４２ｂ 制御部
１６、４３ 取得部
１８、１８ｂ、５２、５２ｂ 推定部
２０、５４ 第１の推定部
２２、５６ 第２の推定部
２６、５０ 記憶部
２８、４８ 通信部
４０、４０ａ、４０ｂ サーバ装置（情報処理装置）
４４ マップ生成部
６０ 端末装置

Claims (12)

1. 情報処理装置が実行する情報処理方法であって、
   少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得ステップと、
   前記取得ステップにおいて取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定ステップと
   を含み、
   前記推定ステップは、
   前記撮像画像に含まれる前記対象物の状態を推定する第１の推定ステップと、
   前記第１の推定ステップにおいて推定した前記対象物の状態を参照して、前記対象物の位置における気流の状態を推定する第２の推定ステップと
   を含んでいることを特徴とする情報処理方法。
2. 前記推定ステップでは、
   前記撮像画像が入力され前記対象物の位置における気流の状態に関する情報を出力する第１の推定モデルを用いて、前記対象物の位置における気流の状態を推定する
   ことを特徴とする請求項１に記載の情報処理方法。
3. 前記第１の推定ステップでは、
   前記撮像画像が入力され前記対象物の状態に関する情報を出力する第２の推定モデルを用いて、前記対象物の状態を推定する
   ことを特徴とする請求項２に記載の情報処理方法。
4. 前記第１の推定ステップでは、
   前記対象物の状態として、前記対象物の大きさ、形状、向き、及び回転速度のうち少なくとも何れかを推定する
   ことを特徴とする請求項２又は３に記載の情報処理方法。
5. 前記第２の推定ステップでは、
   前記対象物の状態と前記気流の状態との対応関係を示す対応情報を参照して、前記対象物の位置における気流の状態を推定する
   ことを特徴とする請求項２から４の何れか１項に記載の情報処理方法。
6. 前記第２の推定ステップでは、
   前記気流の状態として、前記気流の流速、流量、及び向きのうち少なくとも何れかを推定する
   ことを特徴とする請求項２から５の何れか１項に記載の情報処理方法。
7. 前記推定ステップでは、
   撮像位置に対する対象物の相対位置を推定し、
   推定した相対位置を示す相対位置情報を、前記気流の状態に関連付ける
   ことを特徴とする請求項１から６の何れか１項に記載の情報処理方法。
8. 前記推定ステップにおいて推定した前記対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成ステップを更に含んでいる
   ことを特徴とする請求項１から７の何れか１項に記載の情報処理方法。
9. 少なくとも１つの対象物を含む１又は複数の撮像画像を取得する取得部と、
   前記取得部が取得した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定部と
   を備え、
   前記推定部は、
   前記撮像画像に含まれる前記対象物の状態を推定する第１の推定部と、
   前記第１の推定部が推定した前記対象物の状態を参照して、前記対象物の位置における気流の状態を推定する第２の推定部と
   を備えていることを特徴とする情報処理装置。
10. １又は複数の撮像装置と、情報処理装置とを含む情報処理システムであって、
    前記１又は複数の撮像装置の各々は、
    少なくとも１つの対象物を含む撮像画像を撮像する撮像部を備え、
    前記情報処理装置は、
    前記撮像部が撮像した撮像画像を参照して、各対象物の位置における気流の状態を推定する推定部と、
    前記推定部が推定した各対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成部と
    を備え、
    前記推定部は、
    前記撮像画像に含まれる前記対象物の状態を推定する第１の推定部と、
    前記第１の推定部が推定した前記対象物の状態を参照して、前記対象物の位置における気流の状態を推定する第２の推定部と
    を備えていることを特徴とする情報処理システム。
11. １又は複数の撮像装置と、情報処理装置と含む情報処理システムであって、
    前記１又は複数の撮像装置の各々は、
    少なくとも１つの対象物を含む撮像画像を撮像する撮像部と、
    前記撮像部が撮像した撮像画像を参照して、前記対象物の位置における気流の状態を推定する推定部と
    を備え、
    前記情報処理装置は、
    前記１又は複数の撮像装置の各々が推定した各対象物の位置における気流の状態を参照して、前記対象物が配置された位置における気流の状態を示す表示用マップを生成するマップ生成部
    を備え、
    前記推定部は、
    前記撮像画像に含まれる前記対象物の状態を推定する第１の推定部と、
    前記第１の推定部が推定した前記対象物の状態を参照して、前記対象物の位置における気流の状態を推定する第２の推定部と
    を備えていることを特徴とする情報処理システム。
12. 請求項９に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部及び前記推定部としてコンピュータを機能させるためのプログラム。

Images