JP6958796B1 - 情報処理方法、情報処理システム、情報処理装置及びコンピュータプログラム - Google Patents

Abstract

【課題】スポーツジム等における感染症対策等に寄与することが期待できる情報処理方法、情報処理システム、情報処理装置及びコンピュータプログラムを提供する。【解決手段】情報処理方法は、プロジェクタの投影パターンに応じた遮光パターンで光を遮断する光遮断部を介して、プロジェクタが投影パターンを投影した投影先を背景とした撮影を行う撮影部にて、スポーツジム内の撮影を行い、撮影部が撮影した画像に基づいて、スポーツジム内に存在する被清掃対象箇所を判定し、被清掃対象箇所の判定結果に関する情報を出力する処理を情報処理装置が行う。また情報処理方法は、偏光の方向を変更する事が可能な偏光部を介した撮影を行う撮影部にて、スポーツジム内の撮影を行い、撮影部が撮影した画像に基づいて、スポーツジム内に存在する被清掃対象箇所を判定し、被清掃対象箇所の判定結果に関する情報を出力する処理を情報処理装置が行う。【選択図】図８

Description

本発明は、被清掃対象箇所に関する情報を出力する情報処理方法、情報処理システム、情報処理装置及びコンピュータプログラムに関する。

新型コロナウイルスの集団感染が世界経済に大きな影響を与えている。三密（密閉、密集、密接）の状況は集団感染を招く可能性が高いとされ、飲食店又は映画館等の施設では三密の状況を避けるべく、様々な対策が実施されている。例えば飲食店では、一定の距離を保つように使用できる席を制限する、又は、席の間に敷居を設ける等の対策が行われている。また例えば客等が利用したテーブル等を頻繁に清掃することで、テーブル等に付着したウイルス等を除去する対策が行われている。しかし、これらの対策により本当に集団感染を防ぐことができているのか、対策を実施した店舗又は施設等が確認する術はない。

特許文献１においては、気流の上流側で溶剤を蒸発させて気流中に溶剤蒸気を含ませ、気流の下流側で気流における溶剤蒸気の濃度分布を光学的に可視化することで、気流の乱れを溶剤蒸気の濃度分布として可視化する、気流の乱れを可視化する方法が提案されている。この方法では、可視化をシュリーレン法により行っている。

特開２００８−６４６７９号公報

多くの人が利用する施設にスポーツジム（フィットネスジム、スポーツクラブ、又は、フィットネスクラブ等）がある。スポーツジムには複数のトレーニング器具が設置されており、多くの人がこれらのトレーニング器具を共有して利用する。これらのトレーニング器具を介した新型コロナウイルスの感染が気になる利用者は、スポーツジムを安心して利用できない虞があった。特許文献１に記載された気流の乱れを可視化する方法でも用いられているシュリーレン法は、空気等の屈折率の変化を可視化することができる方法である。シュリーレン法は、例えば室内の空気の流れ等を可視化することが期待できるが、これまでに感染症対策の評価等に用いられることはなかった。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、スポーツジム等における感染症対策等に寄与することが期待できる情報処理方法、情報処理システム、情報処理装置及びコンピュータプログラムを提供することにある。

一実施形態に係る情報処理方法は、プロジェクタの投影パターンに応じた遮光パターンで光を遮断する光遮断部を介して、前記プロジェクタが前記投影パターンを投影した投影先を背景とした撮影を行う撮影部にて、スポーツジム内の撮影を行い、前記撮影部が撮影した画像に基づいて、スプレーが噴射する水分を検出し、前記水分が噴射された箇所に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定し、前記被清掃対象箇所の判定結果に関する情報を出力する処理を情報処理装置が行う。

一実施形態による場合は、スポーツジム等における感染症対策等に寄与することが期待できる。

本実施の形態に係る情報処理システムにて用いられる撮影装置の構成を説明するための模式図である。 本実施の形態に係る撮影装置１の情報処理装置の構成を示すブロック図である。 背景画像及びカットオフグリッドの一例を示す模式図である。 投影用画像の修正を説明するための模式図である。 呼気等を可視化した画像の一例を示す模式図である。 偏光板の有無による撮影画像の差異を説明するための画像例である。 本実施の形態に係る情報処理システムが提供するサービスの概要を説明するための模式図である。 本実施の形態に係るサーバ装置の構成を示すブロック図である。 本実施の形態に係る従業員端末装置の構成を示すブロック図である。 本実施の形態に係るサーバ装置が行う清掃状況判定処理の手順を示すフローチャートである。 本実施の形態に係るサーバ装置が行う清掃状況判定処理の手順を示すフローチャートである。 トレーニング器具による清掃状況の判定結果の表示例を示す模式図である。 清掃状況の判定結果の表示例を示す模式図である。 清掃状況の判定結果の表示例を示す模式図である。 本実施の形態に係るサーバ装置が行う換気状態判定処理の手順を示すフローチャートである。 換気状況の判定結果の表示例を示す模式図である。 換気状況の判定結果の表示例を示す模式図である。 換気状況の判定結果の表示例を示す模式図である。

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

＜撮影装置＞
図１は、本実施の形態に係る情報処理システムにて用いられる撮影装置の構成を説明するための模式図である。本実施の形態に係る情報処理システムは、シュリーレン法による空気の流れを可視化する機能、及び、複数の偏光方向での撮影により水滴又は汚れ等の付着物を検出する機能を有する撮影装置１をスポーツジム等に設置し、撮影装置１によるスポーツジム内の撮影を行う。本実施の形態に係る情報処理システムは、撮影装置１が撮影した画像に基づいてスポーツジム内の換気状況及び清掃状況等を判定し、これらの判定結果をスポーツジムの従業員及び利用者等へ通知する処理を行う。なお本実施の形態においては、換気状況及び清掃状況等の判定を行う施設をスポーツジムとするが、判定対象の施設はスポーツジムに限らない。本実施の形態に係る情報処理システムは、例えばカラオケ店、フードコート、介護施設、又は、接待を伴う飲食店等のように、不特定多数の人が利用する様々な施設に適用することができる。

本実施の形態に係る撮影装置１は、プロジェクタ１０と、第１撮影部１１と、第２撮影部１２と、これらの動作を制御する情報処理装置２０とを備えて構成されている。プロジェクタ１０は、画像をスクリーン等に投影する装置であり、本実施の形態においては判定の対象となるスポーツジム内の壁１０１等に対して、情報処理装置２０が生成した画像の投影を行う。また本実施の形態に係るプロジェクタ１０は、人間が見ることのできない不可視光線として赤外線による画像の投影を行う。このため、撮影装置１がスポーツジム内に設置されている場合であっても、スポーツジムを利用している利用者等によりプロジェクタ１０が投影する画像が視認されることはない。

第１撮影部１１は、シュリーレン法による呼気等の空気の流れを可視化した画像を撮影する撮影部である。第１撮影部１１は、レンズ１１ａ、カットオフグリッド（光遮断部）１１ｂ及び赤外線用レンズ１１ｃ等を備えて構成されている。レンズ１１ａ、カットオフグリッド１１ｂ及び赤外線用レンズ１１ｃは、例えば円筒状のケースに並べて収容されている。レンズ１１ａは、光を屈折させて収束させる光学素子であり、第１撮影部１１の撮影対象の像を結像する。カットオフグリッド１１ｂは、レンズ１１ａから赤外線用レンズ１１ｃへ至る光の一部をカット（遮断）する。本実施の形態においてカットオフグリッド１１ｂは、例えば液晶パネルを用いて構成されており、光をカットするパターンを変更することができる。情報処理装置２０は、カットオフグリッド１１ｂによるカットパターンを制御する。赤外線用レンズ１１ｃは、赤外線（例えば波長が０．７マイクロメートル〜１０００マイクロメートルの光）を透過させ、赤外線以外の光を透過させない。赤外線用レンズ１１ｃは、カットオフグリッド１１ｂを通過した赤外線を撮像素子（図示は省略する）上へ収束する。第１撮影部１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えており、赤外線用レンズ１１ｃが収束した赤外線による像を撮影し、撮影により得られる画像のデータを情報処理装置２０へ出力する。

第２撮影部１２は、偏光状態を撮影する撮影部である。第２撮影部１２は、偏光板（偏光部）１２ａ及び可視光線用レンズ１２ｂを備えて構成されている。偏光板１２ａ及び可視光線用レンズ１２ｂは、例えば円筒状のケースに並べて収容されている。偏光板１２ａは、特定方向の光を通過させ、これ以外の光を遮断する光学素子である。本実施の形態に係る偏光板１２ａは、例えばモータを用いた回転機構を有しており、情報処理装置２０の制御に応じて回転させることができる。これにより第２撮影部１２は、偏光板１２ａを任意の角度だけ回転させて、任意の方向で遮光した画像を撮影することができる。可視光線用レンズ１２ｂは、可視光線（例えば波長が３６０ナノメートル〜８３０ナノメートルの光）を透過させ、これ以外の光を透過させない。可視光線用レンズ１２ｂは、偏光板１２ａを通過した可視光線を撮像素子（図示は省略する）上へ収束する。第２撮影部１２は、例えばＣＣＤ又はＣＭＯＳ等の撮像素子を備えており、可視光線用レンズ１２ｂが収束した像を撮影し、撮影により得られる画像のデータを情報処理装置２０へ出力する。なお、第１撮影部１１及び第２撮影部１２は、個別に撮像素子を備えてもよく、１つの撮像素子を共有してもよい。

なお、第２撮影部１２は偏光板１２ａを回転させて複数の偏光方向での撮影を行うものとしたが、これに限るものではない。例えば、偏光方向が異なる複数の偏光板１２ａを切り替えることによって、複数の偏光方向での撮影を行ってもよい。また例えば、１画素毎に複数方向の偏光子を配置した撮像素子を用いて、１度に複数方向の撮影を行ってもよい。

また本実施の形態に係る撮影装置１は、いわゆるエッジカメラ、ＡＩ（Artificial Intelligence）エッジカメラ又はエッジＡＩカメラ等の名称で呼ばれ得る装置であり、高度な演算処理を行うプロセッサ等が搭載された情報処理装置２０を備えている。これにより撮影装置１は、空気の流れを可視化した画像を撮影する処理、並びに、偏光状態を変更して撮影する処理等を行うことができる。情報処理装置２０は、撮影装置１の各部の動作を制御すると共に、第１撮影部１１及び第２撮影部１２の撮影により得られた画像を利用する種々の処理を行う。図２は、本実施の形態に係る撮影装置１の情報処理装置２０の構成を示すブロック図である。本実施の形態に係る情報処理装置２０は、処理部２１、入出力部２２、記憶部２３及び通信部２４等を備えて構成されている。

処理部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部２１は、記憶部２３に記憶されたプログラム２３ａを読み出して実行することにより、プロジェクタ１０、第１撮影部１１及び第２撮影部１２等を制御する処理、並びに、撮影により得られた画像に基づく判定、評価又は検出等の種々の処理を行う。

入出力部２２は、プロジェクタ１０、第１撮影部１１及び第２撮影部１２との間でデータの入出力を行う。入出力部２２は、例えば信号線を介してプロジェクタ１０、第１撮影部１１及び第２撮影部１２と接続されており、信号線を介したシリアル通信又はパラレル通信等によりデータの入出力を行う。入出力部２２は、処理部２１から与えられたデータをプロジェクタ１０、第１撮影部１１又は第２撮影部１２へ適宜に送信すると共に、プロジェクタ１０、第１撮影部１１又は第２撮影部１２から入力されたデータを処理部２１へ与える。

記憶部２３は、例えばフラッシュメモリ又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性のメモリ素子を用いて構成されている。記憶部２３は、処理部２１が実行する各種のプログラム、及び、処理部２１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部２３は、処理部２１が実行するプログラム２３ａを記憶する。また記憶部２３は、プロジェクタ１０が投影する画像のデータ、第１撮影部１１及び第２撮影部１２が撮影した画像のデータ等を記憶してもよい。

通信部２４は、ＬＡＮ（Local Area Network）又はインターネット等のネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部２４は、サーバ装置３等との間で通信を行い、撮影した画像、及び、画像に基づく判定、評価又は検出等の処理結果等の情報を送信する。通信部２４は、有線又は無線のいずれの通信を行うものであってもよい。通信部２４は、処理部２１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部２１へ与える。

本実施の形態においてプログラム（プログラム製品）２３ａは、例えば撮影装置１の製造段階において記憶部２３に書き込まれる。また例えばプログラム２３ａは、遠隔のサーバ装置等が配信するものを撮影装置１が通信にて取得してもよい。また例えばプログラム２３ａは、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、撮影装置１は記録媒体からプログラム２３ａを読み出して記憶部２３に記憶してもよい。また例えばプログラム２３ａは、記録媒体に記録されたものを書込装置が読み出して撮影装置１の記憶部２３に書き込んでもよい。プログラム２３ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。

また本実施の形態に係る撮影装置１の処理部２１には、記憶部２３に記憶されたプログラム２３ａを処理部２１が読み出して実行することにより、投影用画像生成部２１ａ、第１撮影処理部２１ｂ及び第２撮影処理部２１ｃ等がソフトウェア的な機能部として実現される。

投影用画像生成部２１ａは、プロジェクタ１０が投影する画像のデータを生成する処理を行う。プロジェクタ１０が投影する画像は、シュリーレン法による呼気等の空気の流れを可視化した画像を第１撮影部１１にて撮影するために用いられる。本実施の形態においてプロジェクタ１０が投影する画像のパターンは、例えば白黒又はモノクローム等による縞模様（グリッド模様）の画像が採用されるが、これに限るものではなく、種々のパターン（模様）が採用され得る。また本実施の形態において投影用画像生成部２１ａは、プロジェクタ１０が画像を投影する投影先（図１に示す例では壁１０１）の形状及び模様等に応じて、プロジェクタ１０が投影する縞模様を調整した画像を生成する。投影用画像生成部２１ａは、投影先の形状及び模様等に応じて、投影する縞模様の形状及び大きさ等を最適化し、最適化した縞模様の画像を生成してプロジェクタ１０へ与えることにより、生成した画像をプロジェクタ１０に投影させる。なお本実施の形態においては、プロジェクタ１０は縞模様の画像を赤外線で投影する。

第１撮影処理部２１ｂは、第１撮影部１１による撮影を制御する処理を行う。第１撮影処理部２１ｂは、第１撮影部１１による空気の流れを可視化した画像の撮影を行う。このときに第１撮影処理部２１ｂは、第１撮影部１１のカットオフグリッド１１ｂが光を遮断するパターンを、プロジェクタ１０が投影先の壁１０１等に投影したパターン（模様）に応じて変化させる。本実施の形態において第１撮影処理部２１ｂは、プロジェクタ１０が投影する縞模様の白黒を反転したパターン、即ちプロジェクタ１０が投影した縞模様の白に相当する部分を遮断するパターンとなるように、カットオフグリッド１１ｂによる遮断のパターンを制御する。このパターンでカットオフグリッド１１ｂが光を遮断することにより、第１撮影部１１は、撮影装置１とプロジェクタ１０の映像が投影される壁１０１等との間に存在する空気の流れ等をシュリーレン法により可視化した画像を撮影することができる。なお本実施の形態において第１撮影処理部２１ｂは、第１撮影部１１にて空気の流れを可視化した画像を動画像として撮影する。

なお本実施の形態においてカットオフグリッド１１ｂは、プロジェクタ１０が投影したパターンを反転したパターンで光を遮断するものとするが、これに限るものではない。カットオフグリッド１１ｂは、プロジェクタ１０の投影パターンに対して、完全な反転パターンではなく、完全な反転パターンに対して多少のずれ又は相違等のある不完全な反転パターンで光を遮断してもよく、この場合であっても第１撮影部１１にて空気の流れを可視化した画像を撮影することはできる。カットオフグリッド１１ｂによる遮断パターンは、第１撮影部１１により空気の流れを可視化した画像を撮影し得るパターンであればどのようなパターンであってもよい。

第２撮影処理部２１ｃは、第２撮影部１２による偏光状態の撮影を行う。このときに第２撮影処理部２１ｃは、第２撮影部１２の偏光板１２ａに設けられた回転機構の回転角度を制御して、第２撮影部１２による撮影を行う。第２撮影処理部２１ｃは、例えば回転機構を所定角度（例えば１°又は１０°等）ずつ回転させて、偏光板１２ａによる偏光の角度を所定角度ずつ変化させて、第２撮影部１２による撮影を行う。例えば飲食店等の建物内に撮影装置１を設置した場合、建物内の座席を撮影装置１が第２撮影部１２の偏光板１２ａを通して撮影することで、座席のテーブル等に付着した水滴又は食べ残し等の汚れの存在を撮影することができる。また第２撮影処理部２１ｃが偏光板１２ａを回転させて偏光の角度を変化させることで、１つの角度では発見が難しい汚れを別の角度からの撮影で発見することができる。第２撮影処理部２１ｃは、所定のタイミングで複数回、例えばスポーツジムの利用客がトレーニング器具（トレーニング機器、スポーツ器具）を使用する前と後とに、偏光板１２ａを１回転させてそれぞれ複数回の撮影を行う。第２撮影処理部２１ｃは、偏光の角度が同じであり且つ異なるタイミングで撮影された２つの画像を比較することで、偏光状態の変化の有無を判定する。使用前の汚れのないトレーニング器具の偏光状態を基準として、使用後の偏光状態との比較を行うことで、第２撮影処理部２１ｃは、使用に伴うトレーニング器具の汚れ、又は、スポーツジム内における清掃が十分でない箇所等の清掃を行うべき対象物（被清掃対象物）を精度よく検出することができる。

また第２撮影処理部２１ｃは、上記のように所定のタイミングで偏光板１２ａを回転させて第２撮影部１２による撮影を行う場合以外には、回転機構を回転させずに偏光板１２ａの角度を固定した状態で第２撮影部１２による撮影を継続的に行う。このときに撮影された画像は、例えば画像から人の顔を検出する処理、人体を検出する処理又は人の行動を認識する処理等に用いられる。即ち第２撮影処理部２１ｃは、第２撮影部１２により通常のスポーツジム内の撮影を行い、所定のタイミングで偏光板１２ａの角度を変化させて第２撮影部１２による偏光状態の撮影を行っている。第２撮影部１２による通常の撮影で得られた画像から例えば利用者によるトレーニング器具の使用の前後のタイミングを判断し、第２撮影処理部２１ｃは、偏光板１２ａの角度を変化させて偏光状態の撮影を行うことができる。

＜空気の流れの可視化処理＞
本実施の形態に係る撮影装置１は、プロジェクタ１０及び第１撮影部１１により、シュリーレン法を用いた空気の流れを可視化した画像の撮影を行う。シュリーレン法は、透明な気体中の密度勾配により通過する光が屈折する現象を利用し、屈折率の変化を明暗の差として観測する方法である。従来のシュリーレン法ではナイフエッジを含む光学系が利用されていたが、近年ではデジタルフォーカシングシュリーレン法又は背景指向性シュリーレン法と呼ばれる方法が提案されている。これらのシュリーレン法では、観測対象の背景に縞模様等の背景画像を配置し、背景画像に対応するカットオフグリッドを通して撮影を行うことで、観測対象における屈折率の変化を明暗の差とした画像を撮影することができ、観測対象の呼気又は空気の流れ等を可視化した画像を得ることができる。図１に示す例では、スポーツジム等の建物の壁１０１にプロジェクタ１０が投影する画像が背景画像となる。

図３は、背景画像及びカットオフグリッドの一例を示す模式図である。なお図３に示す背景画像は、プロジェクタ１０が壁１０１に投影したものを、カットオフグリッド１１ｂによる遮断なしで、第１撮影部１１が撮影する画像に相当する。この背景画像は、プロジェクタ１０が投影する画像に必ずしも一致しない。図示の背景画像は、ハッチングを付した領域が黒（暗）色であり、ハッチングを付していない領域が白（明）色である。また図３に示すカットオフグリッドは、第１撮影部１１のカットオフグリッド１１ｂにて光を遮断するパターンである。図示のカットオフグリッドは、ハッチングを付した領域が光を遮断する領域であり、ハッチングを付していない領域が光りを透過させる領域である。

図３に示す背景画像は、モノクロームの横縞模様であり、本例では黒色領域が太く、白色領域が細い縞模様となっている。これに対応するカットオフグリッドは、背景画像の白黒を反転させたパターンであり、本例では遮断領域が細く、透過領域が太い横縞模様のパターンとなる。撮影装置１の第１撮影処理部２１ｂは、プロジェクタ１０が投影した背景画像を反転させたパターンで光を遮断すべく、カットオフグリッド１１ｂによる遮断のパターンを制御する。また背景画像及びカットオフグリッドは縞模様に限らず、例えば円形の図形が並べられた模様、いわゆる水玉模様であってもよく、また例えば文字又は数字等が適宜に並べられたパターンであってもよく、これら以外の様々なパターンであってよい。本実施の形態に係る撮影装置１は、プロジェクタ１０の投影先となる壁１０１の形状、色及び模様等に応じて、プロジェクタ１０が投影する画像を適宜に調整及び変更等して最適化する。

このため、本実施の形態に係る情報処理システムでは、撮影装置１による空気の流れを可視化した画像の撮影を行う前に、予めプロジェクタ１０が投影する画像を決定する処理を行う必要がある。撮影装置１は、例えば初期設定等の操作がユーザによりなされた場合に、記憶部２３にデフォルトの投影用画像として記憶された画像をプロジェクタ１０にて建物の壁１０１へ投影する。撮影装置１は、第１撮影部１１のカットオフグリッド１１ｂを全領域について光を遮断しない状態とし、第１撮影部１１にて壁１０１に投影された画像の撮影を行う。撮影装置１は、第１撮影部１１にて撮影した画像に基づいて、デフォルトの投影用画像を修正する。

図４は、投影用画像の修正を説明するための模式図である。図４の上段左側には、撮影装置１が記憶するデフォルトの投影用画像の一例として、横縞模様の画像が示されている。撮影装置１がこの投影用画像をプロジェクタ１０にて壁１０１へ投影し、第１撮影部１１にて撮影して得られた画像が、図４の上段右側に示す撮影画像であるとする。例えば壁１０１に凹凸又は段差等のような形状が変化する箇所が存在する場合に、プロジェクタ１０が投影した画像はこの箇所で屈曲又は湾曲等の歪みが生じた状態で第１撮影部１１にて撮影される。

撮影装置１は、第１撮影部１１にて撮影した画像に基づいて、撮影画像をデフォルトの投影用画像に近付けるよう（撮影画像とデフォルトの投影用画像とが一致するよう）、投影用画像を修正する。図４の下段左側には、修正後の投影用画像の一例が示されている。撮影装置１は、例えば第１撮影部１１にて撮影した画像から横縞模様が歪んでいる箇所を検出し、この歪みを取り除く方向へデフォルトの撮影用画像の該当箇所を歪ませることで、撮影用画像を修正することができる。なお、この撮影装置１による撮影用画像の修正方法は一例であり、これに限るものではなく、種々の修正方法が採用されてよい。撮影用画像の修正には、例えばプロジェクションマッピング等の技術を用いることができる。また例えば、予め機械学習がなされた学習モデルを用いて投影用画像を生成してもよい。この場合に学習モデルは、例えば投影された歪みのある模様を撮影した画像と、この画像を適切に修正した投影用画像とを対応付けた教師データを用いて予め機械学習がなされ、第１撮影部１１が撮影した画像を入力することで投影用画像を出力するよう構成され得る。

また図４に示した投影用画像を修正の例は、投影用画像の形状を修正するものである。図示は省略するが、撮影装置１は、投影用画像の濃淡を修正してもよい。例えば壁１０１に模様等が描かれている場合、プロジェクタ１０が投影した模様に濃淡が生じる場合がある。そこで撮影装置１は、第１撮影部１１にて撮影した撮影画像の縞模様の濃淡が均一になるように、投影用画像の濃淡を修正する。撮影装置１は、例えば壁１０１に描かれている模様等において光をより吸収する部分に対し、より強い光を出力するように、投影の際の光の強弱を修正する。

上述の手順によりプロジェクタ１０が投影する投影用画像の生成、及び、第１撮影部１１のカットオフグリッド１１ｂによる遮断パターンの決定等を行った後、撮影装置１は、修正後の投影用画像をプロジェクタ１０にて壁１０１へ向けて投影し、決定した遮断のパターンでカットオフグリッド１１ｂによる光の遮断を行い、第１撮影部１１による撮影を行う。この撮影により撮影装置１は、建物内の空気の流れ等を可視化した画像を撮影することができる。図５は、呼気等を可視化した画像の一例を示す模式図である。なお図示の画像は、撮影装置１が撮影する画像から空気の流れの一例として人の呼気が可視化されている箇所を拡大して抜き出した画像に相当する。

＜偏光状態に基づく汚れ等の検出＞
本実施の形態に係る撮影装置１は、偏光板１２ａを回転させて偏光の角度を変化させることにより、複数の角度での偏光状態を第２撮影部１２にて撮影することができる。図６は、偏光板１２ａの有無による撮影画像の差異を説明するための画像例である。図６に示す２つの画像は、水滴がこぼれた机を撮影したものである。図６の左側の画像が偏光板１２ａによる偏光なしでの撮影画像であり、右側の画像が偏光板１２ａを用いた所定角度の偏光ありでの撮影画像である。偏光なしの撮影画像では、透明な水滴の存在を確認することは難しい。これに対して偏光ありの撮影画像では、机にこぼれた水滴の存在を目視で確認することができる。

また撮影装置１は、撮影対象となる建物内が清潔な状態で第２撮影部１２が撮影した複数の偏光の角度における画像を、基準となる画像として記憶部２３に記憶している。撮影装置１は、適宜のタイミング（例えばトレーニング器具を利用者が使用した後等）で、第２撮影部１２により複数の偏光の角度での撮影を行う。撮影装置１は、基準となる画像と、適宜のタイミングで撮影した画像とを比較して、例えば２つの画像の画素値の差を算出して、偏光状態が変化した箇所を検出することができる。

＜情報処理システム概要＞
図７は、本実施の形態に係る情報処理システムが提供するサービスの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、上述の撮影装置１を利用して、スポーツジム１００内における清掃状況及び換気状況等を判定し、判定結果に関する情報をスポーツジム１００の従業員及び利用者等のユーザへ通知するサービスを提供する。

本実施の形態に係る情報処理システムでは、スポーツジム１００内の適所に一又は複数の撮影装置１が設置され、撮影装置１によるスポーツジム１００内の撮影を継続的に行う。撮影装置１は、上述のように第１撮影部１１による空気の流れを可視化した画像と、第２撮影部１２による複数の偏光方向で撮影した画像とをサーバ装置３へ送信する。サーバ装置３は、一又は複数の撮影装置１が撮影した画像を取得し、取得した複数の撮影画像に基づいてスポーツジム１００内の清掃状況及び換気状況等を判定する処理を行う。このときにサーバ装置３は、撮影装置１の第１撮影部１１が撮影した画像及び第２撮影部１２が撮影した画像のいずれか一方又は両方に基づいて、スポーツジム１００内の清掃状況を判定する。またサーバ装置３は、撮影装置１の第１撮影部１１が撮影した画像に基づいて、スポーツジム１００内の換気状況を判定する。

例えばサーバ装置３は、スポーツジム１００内に設置された一又は複数のトレーニング器具１１０について、消毒等の清掃が必要であるか否かを判定する。サーバ装置３は、第１撮影部１１が撮影した画像に基づき、例えばトレーニング器具１１０を使用した利用者等の呼気が、トレーニング器具１１０まで到達したか否かに基づいて、このトレーニング器具１１０について清掃の要否を判定することができる。サーバ装置３は、第２撮影部１２が撮影した画像に基づき、トレーニング器具１１０に付着した汚れ等を検出することで、このトレーニング器具１１０について清掃の要否を判定することができる。またサーバ装置３は、例えば第２撮影部１２が撮影した画像に基づく従業員等の清掃動作認識を行い、トレーニング器具１１０に対する清掃動作がなされたか否かに応じて清掃の要否を判定することができる。なお清掃の要否の判定方法は上記のものに限らず、種々の方法が採用されてよい。またサーバ装置３は、トレーニング器具１１０以外のスポーツジムの種々の設備等について、同様の方法で清掃の要否を判定することができる。

サーバ装置３は、スポーツジム１００内の清掃状況の判定結果、例えば各トレーニング器具１１０の清掃の要否の判定結果に関する情報を、スポーツジム１００の利用者及び従業員等に通知する処理を行う。サーバ装置３は、例えば各トレーニング器具１１０が備えるディスプレイ又はランプ等に、当該トレーニング器具１１０が清掃済であるか又は未清掃であるか等の情報を表示する。またサーバ装置３は、スポーツジム１００内に設置されたディスプレイ装置１２０に、このスポーツジム１００内に設置された複数のトレーニング器具１１０について、それぞれの清掃状況及び使用状況等を示す情報を表示する。またサーバ装置３は、スポーツジム１００の従業員が使用する従業員端末装置５又はスポーツジム１００の利用者が使用するユーザ端末装置６等に清掃状況の判定結果に関する情報を送信し、従業員端末装置５及びユーザ端末装置６等に清掃状況に関する情報を表示させる。なお、従業員端末装置５は、例えばスポーツジム１００の受付等に設置されたＰＣ（パーソナルコンピュータ）又は従業員が所持するスマートフォン等の情報処理装置が用いられ得る。またユーザ端末装置６は、ユーザが所持するスマートフォン、タブレット型端末装置又はＰＣ等の情報処理装置が用いられ得る。

また例えばサーバ装置３は、撮影装置１の第１撮影部１１が撮影した画像に基づいて、スポーツジム１００内の換気状況に関する様々な判定を行うことができる。サーバ装置３は、例えばスポーツジム１００内の気流の向き、速度及び量等の数値を算出することができ、また例えばスポーツジム１００内において空気の流れが滞留している箇所の数及び大きさ等の数値を算出することができ、算出した数値が所定の閾値を超えるか否かによりスポーツジム１００内の換気が適切に行われているか否か等を判定することができる。サーバ装置３は、スポーツジム１００内の換気状況の判定結果を、例えば従業員端末装置５へ送信して表示させることにより、スポーツジム１００の従業員に換気の作業を促すことができる。またサーバ装置３は、換気状況の判定結果をスポーツジム１００のディスプレイ装置１２０又はユーザのユーザ端末装置６等へ送信して表示させてもよい。

なお、本実施の形態においては、撮影装置１が撮影した画像に基づいてサーバ装置３がスポーツジム１００の清掃状況及び換気状況等の判定を行うものとするが、これに限るものではない。例えば撮影装置１が判定を行ってサーバ装置３へ判定結果を送信してもよい。また例えば撮影装置１が従業員端末装置５へ画像を送信し、従業員端末装置５が撮影画像に基づく清掃状況及び換気状況等の判定を行ってもよい。この場合に従業員端末装置５の判定結果は、例えばトレーニング器具１１０、ディスプレイ装置１２０及びユーザ端末装置６等へ直接的に送信されてもよく、また例えばサーバ装置３を介して各装置へ送信されてもよい。また本実施の形態に係る情報処理システムが提供するサービスは、クラウドサービスとして提供されてよい。

＜装置構成＞
図８は、本実施の形態に係るサーバ装置３の構成を示すブロック図である。本実施の形態に係るサーバ装置３は、本実施の形態に係るサーバ装置３は、処理部３１、記憶部（ストレージ）３２及び通信部（トランシーバ）３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

処理部３１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、撮影装置１が撮影した画像に基づいて清掃状況を判定する処理、換気情報を判定する処理、並びに、これらの判定結果を従業員及びユーザ等に提示する処理等の種々の処理を行う。

記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａを記憶すると共に、判定処理に用いる機械学習済の学習モデルを記憶する学習モデル記憶部３２ｂ、及び、判定結果の様々な情報を記憶する判定結果記憶部３２ｃ等が設けられている。

本実施の形態においてサーバプログラム（プログラム製品）３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

学習モデル記憶部３２ｂは、サーバ装置３が行う種々の判定処理に用いられる学習モデルの情報を記憶する。例えばサーバ装置３は、撮影装置１が撮影した画像から人を検出する処理、検出した人を追跡する処理、又は、検出した人の行動を認識する処理等を、予め機械学習がなされた学習モデルを利用して行うことができる。学習モデルは、例えばＳＶＭ（Support Vector Machine）又はニューラルネットワーク等のモデルが採用され得る。これらの学習モデルを生成（学習）する処理は、サーバ装置３が行ってもよく、他の装置が行ってもよい。学習モデル記憶部３２ｂには、例えば学習モデルを構成するための構成情報と、学習処理により決定されたパラメータの値とが記憶される。

判定結果記憶部３２ｃは、撮影装置１が撮影した画像に基づく清掃状況の判定結果及び換気情報の判定結果等を記憶する。例えばサーバ装置３は、撮影画像に基づいてスポーツジム１００内に設置された各トレーニング器具１１０及びスポーツジム１００内の複数のエリア等について、これらが清掃済であるか又は未清掃であるか等を清掃状況として判定し、判定を行った日時と、判定した各トレーニング器具１１０及び各エリアの清掃状況とを対応付けて判定結果記憶部３２ｃに記憶することができる。また例えばサーバ装置３は、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、スポーツジム１００内の気流の速度、向き及び量等の値を算出し、算出した値に基づいてスポーツジム１００内の換気に関する性能等を判定し、判定を行った日時と、算出した気流の速度、向き及び量等の数値と、数値に基づく換気性能の判定結果とを対応付けて判定結果記憶部３２ｃに記憶することができる。なお上記の判定結果は一例であり、判定結果記憶部３２ｃにはどのような判定結果が記憶されていてもよい。判定結果記憶部３２ｃに記憶された情報に基づいて、清掃状況及び換気情報の変化の履歴等をユーザに対して提供することができる。

通信部３３は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、一又は複数の撮影装置１、一又は複数のトレーニング器具１１０、一又は複数のディスプレイ装置１２０、一又は複数の従業員端末装置５、及び、一又は複数のユーザ端末装置６等との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

また本実施の形態に係るサーバ装置３には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、画像取得処理部３１ａ、清掃状況判定部３１ｂ、換気状況判定部３１ｃ及び判定結果出力部３１ｄ等が、ソフトウェア的な機能部として処理部３１に実現される。なお本図においては、処理部３１の機能部として、スポーツジム１００の清掃状況及び換気状況の判定に関する処理を行う機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

画像取得処理部３１ａは、スポーツジム１００の適所に配置された一又は複数の撮影装置１との間でネットワークＮを介した通信を行い、各撮影装置１が撮影した画像を周期的に取得する。画像取得処理部３１ａは、各撮影装置１から取得した画像のデータを、撮影装置１のＩＤ及び取得した日時等の情報に対応付けて、記憶部３２に一時的に記憶して蓄積する。画像取得処理部３１ａが各撮影装置１から取得する撮影画像には、撮影装置１の第１撮影部１１が撮影する空気の流れを可視化した画像と、第２撮影部１２による複数の偏光方向で撮影した画像とが含まれる。

なお本実施の形態に係る情報処理システムでは、清掃状況及び換気状況の判定対象となるトレーニング器具１１０及びスポーツジム１００のエリア等をカバーするように、複数の撮影装置１がスポーツジム１００内の適所に予め配置されている。撮影装置１は、第１撮影部１１による撮影と第２撮影部１２による撮影との両方を必ずしも行う必要はなく、例えば換気状況の判定のみを行うエリアが存在する場合に、このエリアを撮影する撮影装置１は、第１撮影部１１による撮影を行い、第２撮影部１２による撮影を行わなくてもよい。このような場合には、撮影装置１は第２撮影部１２を備えない構成のものが用いられてもよい。同様に撮影装置１は、第２撮影部１２による撮影を行い、第１撮影部１１による撮影を行わない構成であってもよく、この場合には撮影装置１がプロジェクタ１０及び第１撮影部１１を備えていなくてもよい。

清掃状況判定部３１ｂは、撮影装置１が撮影した画像に基づいて、スポーツジム１００内の清掃状況を判定する処理を行う。例えば清掃状況判定部３１ｂは、撮影装置１の第２撮影部１２が撮影した画像に基づき、スポーツジム１００に設置されたトレーニング器具１１０又はスポーツジム１００内の所定エリア等の判定対象についての清掃状況を判定することができる。この場合に清掃状況判定部３１ｂは、例えば判定対象の清掃が完了した状態を撮影した画像を基準画像として記憶部３２に記憶しておき、その後の適宜のタイミングで撮影装置１の第２撮影部１２が撮影した画像を取得し、取得した画像を記憶しておいた基準画像と比較する。清掃状況判定部３１ｂは、例えば２つの画像の画素値の差を算出することで、基準画像に対して偏光状態が変更した箇所を撮影画像から検出することができ、この箇所に汗又は汚れ等が付着したと判定し、この箇所は清掃が必要な状態（未清掃）と判定することができる。

また例えば清掃状況判定部３１ｂは、撮影装置１の第２撮影部１２が撮影した画像に基づいて（第１撮影部１１が撮影した画像であってもよい）、撮影画像に写された人を検出する処理を行う。更に清掃状況判定部３１ｂは、検出された人の行動認識を行うことにより、この人がトレーニング器具１１０を使用して運動を行ったか否かを判定する。清掃状況判定部３１ｂは、少なくとも１人の人がトレーニング器具１１０を使用している場合にこのトレーニング器具１１０を使用中と判定し、この人がトレーニング器具１１０の使用を終えた場合にこのトレーニング器具１１０を清掃が必要な状態（未清掃）と判定することができる。

また例えば清掃状況判定部３１ｂは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、撮影画像に写された人の呼気を検出し、この呼気の到達範囲を判定する。清掃状況判定部３１ｂは、人の呼気が到達した箇所を清掃が必要な状態（未清掃）と判定することができる。

また例えば清掃状況判定部３１ｂは、撮影装置１の第２撮影部１２が撮影した画像に基づいて（第１撮影部１１が撮影した画像であってもよい）、撮影画像に写された人（スポーツジム１００の従業員等）を検出する処理を行う。更に清掃状況判定部３１ｂは、検出された従業員による清掃行動の行動認識を行うことにより、この従業員が清掃を行った箇所及び清掃を行っていない箇所を判定することができる。行動認識を行う従業員の清掃行動には、例えば従業員が雑巾等による拭き掃除を行う行動、及び、従業員がスプレー等を噴射して殺菌等を行う行動等が含まれ得る。例えば清掃状況判定部３１ｂは、拭き掃除の行動を行う従業員を検出した場合、雑巾等を持つ従業員の手の移動を追跡することで、拭き掃除が行われた箇所を判定することができる。また例えば清掃状況判定部３１ｂは、スプレーを噴射する行動を行う従業員を検出した場合、撮影装置１の第１撮影部１１が撮影した画像に基づいて、スプレーから噴射された消毒液等の到達範囲を判定し、この消毒液等が到達した箇所を殺菌等がなされた箇所と判定することができる。また清掃状況判定部３１ｂは、スプレーから噴射された消毒液等の到達範囲を判定することによって、第２撮影部１２が撮影した画像に基づく付着物の検出を行った場合に、検出された付着物がスプレーの消毒液等のような清掃が必要ないものであるか、人の汗又は汚れ等の清掃が必要なものであるかを判定することができる。清掃状況判定部３１ｂは、清掃が必要な状態（未清掃）と判定した箇所に対して、従業員による清掃行動がなされた場合に、この箇所を清掃済と判定することができる。

換気状況判定部３１ｃは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、スポーツジム１００内の換気状況を判定する処理を行う。換気状況判定部３１ｃは、第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、この画像に写された気流の大きさ、長さ又は向き等を判定する画像処理を行う事によって、スポーツジム１００内の気流の方向、気流の速度及び気流の量等の数値を算出する。また換気状況判定部３１ｃは、例えば空気が全く流れていないもしくは空気の流れが少ない箇所、又は、空気の流れが渦を巻いている箇所等を画像から検出し、このような空気が滞留している箇所についてその数、大きさ及び量等の数値を算出する。換気状況判定部３１ｃは、算出した各数値と、各数値について予め定められた閾値とを比較することにより、スポーツジム１００内の換気状況を判定する。また換気状況判定部３１ｃは、これらの判定を周期的に繰り返し行い、換気状況の変化（悪化）を検出する。

また換気状況判定部３１ｃは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、例えばスポーツジム１００内に存在する複数の人の呼気の到達範囲を判定し、ある人の呼気が近隣の他の人まで到達している状況が生じているか否かを判定することができる。換気状況判定部３１ｃは、ある人の呼気が他の人まで到達する箇所を、いわゆる「密」な箇所と判定し、換気状況の改善が必要な箇所と判定することができる。

なお、清掃状況判定部３１ｂ及び換気状況判定部３１ｃは、撮影装置１が撮影した画像から人の検出及び人の行動認識等の処理を行うことがあり得る。本実施の形態に係る情報処理システムにおいては、人の検出及び人の行動認識等の処理を、サーバ装置３は学習モデル記憶部３２ｂに予め記憶された機械学習済の学習モデル、いわゆるＡＩ（Artificial Intelligence）を用いることにより行う。学習モデルには、例えばＣＮＮ（Convolutional Neural Network）又はＲＮＮ（Recurrent Neural Network）等のニューラルネットワークの学習モデルが採用され得る。また学習モデルを用いた人検出の手法には、例えばＲ−ＣＮＮ（Regions with Convolutional Neural Networks）、ＳＳＤ（Single Shot Detector）又はＹＯＬＯ（You Only Look Once）等の手法が採用され得る。また学習モデルを用いた行動認識の手法には、例えばOpen Poseの技術により画像に写された人の骨格情報を抽出し、骨格情報の時系列的な変化に基づきＲＮＮ等の学習モデルで人の行動の認識（推定）する手法が採用され得る。なお、上記の学習モデルを用いた人の検出及び行動認識の方法は一例であってこれに限るものではなく、上記以外の様々な手法が採用され得る。また学習モデルは、ニューラルネットワークの学習モデル以外、例えばＳＶＭ（Support Vector Machine）等の学習モデルが採用されてもよい。学習モデルを用いた人の検出及び行動認識等の処理は、既存の技術であるため、詳細な説明を省略する。また人の検出及び行動認識等の処理は、学習モデルを用いる方法ではなく、学習モデルを用いない方法、例えば画像処理に基づく方法等が採用されてもよい。

判定結果出力部３１ｄは、清掃状況判定部３１ｂによる清掃状況の判定結果及び換気状況判定部３１ｃによる換気状況の判定結果に関する情報を、通信部３３にて従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０又はディスプレイ装置１２０へ送信することにより、これらの装置に判定結果を表示する処理を行わせる。判定結果出力部３１ｄは、例えば清掃が必要であると判定したスポーツジム１００のエリア又はトレーニング器具１１０に関する情報を従業員端末装置５に表示させることにより、従業員に清掃の実施を促すことができる。また判定結果出力部３１ｄは、例えば換気状況が悪化していると判定した場合に従業員端末装置５への通知を行い、従業員に窓を開ける又は空調設備を作動させる等の換気改善の実施を促すことができる。

また判定結果出力部３１ｄは、例えば清掃状況判定部３１ｂが清掃済（清掃が必要ない状態）と判定したトレーニング器具１１０又はエリア等の情報をユーザ端末装置６へ送信し、ユーザが使用可能なトレーニング器具１１０又はエリア等がいずれであるかを通知し、ユーザにトレーニング器具１１０又はエリア等の使用を促すことができる。また判定結果出力部３１ｄは、例えば清掃状況及び換気状況の判定結果をスポーツジム１００のＷｅｂサイトに公開し、ユーザ端末装置６によるこのＷｅｂサイトへのアクセスに応じて、清掃状況及び換気状況の判定結果に関する情報をユーザ端末装置６へ送信して表示させる。これによりユーザは、スポーツジム１００を訪れる前に、自身のユーザ端末装置６にてスポーツジム１００の清掃状況及び換気状況等を確認することができる。

また本実施の形態においてスポーツジム１００に設置されるランニングマシン、バイク又はウェイトマシン等のトレーニング器具１１０には、個別にディスプレイ等が装備されており、サーバ装置３から送信される情報を受信して種々の画像をディスプレイに表示することが可能である。サーバ装置３の判定結果出力部３１ｄは、例えば清掃状況判定部３１ｂにより清掃が必要と判定されたトレーニング器具１１０に対してその旨を通知する。サーバ装置３からの通知を受けたトレーニング器具１１０は、自身のディスプレイ等に清掃が必要である旨を画像又はメッセージ等により表示する。これにより未清掃のトレーニング器具１１０にユーザが触れることを防止することができる。

また本実施の形態において例えばスポーツジム１００の入口付近、更衣室又はスタジオ等の適所にディスプレイ装置１２０が設置されており、ディスプレイ装置１２０はサーバ装置３から送信される情報を受信して種々の画像を表示することが可能である。サーバ装置３の判定結果出力部３１ｄは、清掃状況及び換気状況の判定結果に関する情報をディスプレイ装置１２０へ送信し、ディスプレイ装置１２０にこれらの情報を表示させる。なお本実施の形態においてディスプレイ装置１２０に表示する情報は、スポーツジム１００を利用するユーザ向けの情報であり、ユーザ端末装置６が表示する情報と同じ又は類似の情報であってよい。

図９は、本実施の形態に係る従業員端末装置５の構成を示すブロック図である。本実施の形態に係る従業員端末装置５は、処理部５１、記憶部（ストレージ）５２、通信部（トランシーバ）５３、表示部（ディスプレイ）５４及び操作部５５等を備えて構成されている。従業員端末装置５は、スポーツジム１００の従業員等が使用する装置であり、例えばパーソナルコンピュータ、スマートフォン又はタブレット型端末装置等の情報処理装置を用いて構成され得る。

処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５２ａを読み出して実行することにより、サーバ装置３による清掃状況及び換気状況の判定結果を取得する処理、並びに、取得した判定結果を表示する処理等の種々の処理を行う。

記憶部５２は、例えばフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム（プログラム製品）５２ａを記憶している。本実施の形態においてプログラム５２ａは遠隔のサーバ装置等により配信され、これを従業員端末装置５が通信にて取得し、記憶部５２に記憶する。ただしプログラム５２ａは、例えば従業員端末装置５の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム５２ａを従業員端末装置５が読み出して記憶部５２に記憶してもよい。例えばプログラム５２ａは、記録媒体９８に記録されたものを書込装置が読み出して従業員端末装置５の記憶部５２に書き込んでもよい。プログラム５２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

通信部５３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部５３は、ネットワークＮを介して、サーバ装置３等との間で通信を行う。通信部５３は、処理部５１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部５１へ与える。

表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５５は、機械式のボタン又は表示部５４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部５５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは従業員端末装置５に対して取り外すことが可能な構成であってもよい。

また本実施の形態に係る従業員端末装置５は、記憶部５２に記憶されたプログラム５２ａを処理部５１が読み出して実行することにより、判定結果取得部５１ａ及び表示処理部５１ｂ等がソフトウェア的な機能部として処理部５１に実現される。なおプログラム５２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。

判定結果取得部５１ａは、サーバ装置３との間でネットワークＮを介した通信を行い、サーバ装置３が撮影装置１の撮影画像を基に判定した清掃状況及び換気状況の判定結果に関する情報を取得する処理を行う。判定結果取得部５１ａは、サーバ装置３から取得した判定結果に関する情報を記憶部５２に一時的に記憶する。なお判定結果取得部５１ａは、サーバ装置３から判定結果に関する情報を取得する処理を、例えば所定の周期で繰り返し行ってもよく、また例えば従業員の操作に応じて行ってもよい。

表示処理部５１ｂは、表示部５４に対して種々の文字又は画像等を表示する処理を行う。本実施の形態において表示処理部５１ｂは、判定結果取得部５１ａがサーバ装置３から取得した清掃状況及び換気状況の判定結果に関する情報を表示して従業員へ提示する処理を行う。

なお、本実施の形態に係る情報処理システムにて用いられるユーザ端末装置６の構成については、従業員端末装置５の構成と略同じであるため、ブロック図及び構成の説明は省略する。ユーザ端末装置６は、例えばパーソナルコンピュータ、スマートフォン又はタブレット型端末装置等の情報処理装置を用いて構成され、サーバ装置３から清掃状況及び換気状況の判定結果を取得して表示する処理を行う。

また、本実施の形態に係る情報処理システムにて用いられるトレーニング器具１１０及びディスプレイ装置１２０の構成についても、ブロック図及び構成の説明は省略する。トレーニング器具１１０及びディスプレイ装置１２０は、サーバ装置３との間で有線又は無線の通信を行う通信部、及び、サーバ装置３から送信される情報を表示する表示部を備えて構成される。ただしトレーニング器具１１０は、液晶ディスプレイ等の画像表示を行う表示部に代えて、例えばサーバ装置３の制御により点灯／消灯が制御される一又は複数のランプ等を備えてもよい。これによりサーバ装置３は、例えば未清掃と判定したトレーニング器具１１０のランプを点灯して、従業員に清掃を促すと共に、ユーザによるこのトレーニング器具１１０の使用を制限することができる。

＜清掃状況の判定＞
本実施の形態に係る情報処理システムは、スポーツジム１００に設置された複数の撮影装置１が撮影した画像に基づいて、サーバ装置３がスポーツジム１００内の清掃状況を判定する。本実施の形態においてサーバ装置３は、スポーツジム１００に設置された複数のトレーニング器具１１０について、未清掃又は清掃済のいずれであるかを判定する。またトレーニング器具１１０以外の箇所について、サーバ装置３は、スポーツジム１００内を複数のエリアに分け、各エリアについて未清掃又は清掃済のいずれであるかを判定する。なお、トレーニング器具１１０毎の判定及びエリア毎の判定は一例であってこれに限るものではなく、例えばスポーツジム１００の建物内に存在する部屋毎に判定が行われてもよく、これら以外の単位で判定が行われてよい。

トレーニング器具１１０毎の判定を行うため、本実施の形態に係る情報処理システムでは、各トレーニング器具１１０に個別の器具ＩＤが予め割り当てられている。サーバ装置３は、スポーツジム１００内に設置された各撮影装置１が撮影するトレーニング器具１１０のＩＤと、撮影画像中の各トレーニング器具１１０の位置との対応情報を予め記憶している。サーバ装置３は、撮影装置１が撮影した画像に基づいて未清掃又は清掃済と判定した箇所が、トレーニング器具１１０が設置された位置に該当する場合、このトレーニング器具１１０が未清掃又は清掃済であると判定することができる。

またスポーツジム１００内のエリア毎の判定を行うため、本実施の形態に係る情報処理システムでは、各エリアに個別のエリアＩＤが予め割り当てられており、各撮影装置１が撮影するエリアがいずれのエリアであるかの対応情報をサーバ装置３は予め記憶している。例えば１つの撮影装置１が１つのエリアを撮影する、複数の撮影装置１が１つのエリアを撮影する、１つの撮影装置１が複数のエリアを撮影する、又は、複数の撮影装置１がそれぞれ複数のエリアを撮影する等のように、撮影装置１とエリアとの割り当ては適宜に行われ得る。１つの撮影装置１が複数のエリアを撮影する場合、この撮影装置１が撮影した画像のいずれの範囲がいずれのエリアに対応するかについて、例えば画像の座標情報とエリアＩＤとの対応情報をサーバ装置３は予め記憶する。

本実施の形態においてサーバ装置３は、以下の（１）〜（４）の４つの清掃状況の判定処理を行う。
（１）付着物に基づく清掃状況の判定
（２）トレーニング器具１１０の使用に基づく清掃状況の判定
（３）呼気に基づく清掃状況の判定
（４）清掃行動に基づく清掃状況の判定

（１）付着物に基づく清掃状況の判定
本実施の形態に係るサーバ装置３は、撮影装置１の第２撮影部１２が撮影した画像、即ち偏光の方向を変化させて撮影された複数の画像に基づいて、汗又は汚れ等の付着物の有無を判定することによって清掃状況を判定する。サーバ装置３は、付着物のない状態で撮影装置１の第２撮影部１２が撮影した画像を基準画像として記憶しておき、その後の適宜のタイミングで撮影装置１の第２撮影部１２が撮影した画像を取得し、取得した撮影画像と基準画像とを比較することによって、汗又は汚れ等の付着物を検出し、付着物が検出された箇所を未清掃と判定する。サーバ装置３は、撮影画像から検出された付着物の位置に基づいて、いずれのトレーニング器具１１０又はエリアが未清掃であるかを特定することができる。

なお、撮影装置１が撮影する画像には、従業員又はユーザ等が含まれる可能性がある。そこで、例えばサーバ装置３は、学習モデル記憶部３２ｂに記憶された学習モデルを利用して撮影画像に写された人の検出を行い、人が検出された箇所を除外して付着物の有無を判定してもよい。また例えばサーバ装置３は、撮影画像に人が検出されない場合に付着物の有無を判定してもよい。

また、撮影装置１の第２撮影部１２が撮影した画像に基づいて検出される付着物には、汗又は汚れ等の取り除くべきものの他に、例えば清掃時に噴射された消毒液等が含まれ得る。そこでサーバ装置３は、例えば後述の（４）清掃行動に基づく清掃状況の判定の処理において、清掃がなされたと判定したトレーニング器具１１０又はエリアについては、所定時間に限り付着物の有無を判定しなくてもよい。

（２）トレーニング器具１１０の使用に基づく清掃状況の判定
本実施の形態に係るサーバ装置３は、学習モデル記憶部３２ｂに記憶された学習モデルを用い、撮影装置１（の第２撮影部１２）が撮影した画像に写された人を検出する処理を行う。更にサーバ装置３は、撮影画像から検出された人について、学習モデルを用いた行動認識を行うことにより、トレーニング器具１１０を使用する運動を行ったか否かを判定する。サーバ装置３は、撮影画像に写された人がトレーニング器具１１０を使用する運動を行ったと判定した場合、この人が使用したトレーニング器具１１０を特定し、特定したトレーニング器具１１０を未清掃と判定することができる。

（３）呼気に基づく清掃状況の判定
本実施の形態に係るサーバ装置３は、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、撮影画像に写された人の呼気の到達範囲を判定し、人の呼気が到達した範囲を未清掃と判定することができる。第１撮影部１１が撮影した画像には、人の呼気の流れの他に、例えばエアコンディショナー又は換気扇等による空気の流れ、窓又は扉等を通じたスポーツジム１００の内外への空気の流れ、及び、人の移動に伴う空気の流れ等が含まれ得る。そこでサーバ装置３は、例えば第２撮影部１２が撮影した画像に基づく人の検出結果から、画像に写された人の頭部の位置を取得する。サーバ装置３は、第１撮影部１１が撮影した空気の流れを可視化した画像における人の頭部の位置を探索し、頭部の位置から流れ出る空気を呼気と判断することができる。更に頭部の向き又は人の口及び鼻の位置等の情報を取得することができる場合、サーバ装置３は、これらの情報を考慮して人の呼気をより精度よく判断することができる。

（４）清掃行動に基づく清掃状況の判定
本実施の形態に係るサーバ装置３は、撮影装置１が撮影した画像に写された人の行動認識を行うことにより、従業員の清掃行動を検出し、清掃行動がなされたか否かに基づいて清掃状況の判定を行う。上述のようにサーバ装置３は、学習モデル記憶部３２ｂに記憶された学習モデルを利用して撮影画像に写された人を検出する処理を行う。この際に、例えばスポーツジム１００の従業員が制服などの所定の衣服を着用している場合には、撮影画像に写された従業員を検出する学習モデルが用いられてもよい。サーバ装置３は、学習モデル記憶部３２ｂに記憶された学習モデルを利用した行動認識を行い、撮影画像に写された一又は複数の人が清掃行動を行っているか否かを判定する。本実施の形態においてサーバ装置３は、例えば雑巾等を手に持って拭き掃除を行っている行動、及び、消毒液等をスプレーで噴射する行動の２つの行動を、清掃行動として判定する。ただし清掃行動は、上記の２つ以外にも種々のものが判定され得る。

サーバ装置３は、撮影画像に写された人が拭き掃除を行っていると判定した場合、この人の雑巾等を持つ手の位置を追跡する処理を行う。サーバ装置３は、この雑巾等を持つ手が移動した箇所を清掃済であると判定することができる。また例えばサーバ装置３は、トレーニング器具１１０の所定箇所を雑巾等を持つ手が移動した場合、又は、トレーニング器具１１０の表面に対して所定割合以上の面を雑巾等を持つ手が移動した場合等に、このトレーニング器具１１０が清掃済であると判定することができる。また例えばサーバ装置３は、上記の（１）付着物に基づく清掃状況の判定の処理において検出された付着物の付着位置を雑巾等を持つ手が移動した場合に、この付着物が付着したトレーニング器具１１０又はエリアを清掃済と判定することができる。この場合にサーバ装置３は、例えばトレーニング器具１１０に対して清掃がなされた場合であっても、トレーニング器具１１０に付着した付着物の位置を雑巾等を持つ手が移動していない場合には、このトレーニング器具１１０について未清掃と判定してもよい。

またサーバ装置３は、撮影画像に写された人がスプレーを噴射する行動を行っていると判定した場合、撮影装置１が撮影した空気の流れを可視化した画像に基づいて、スプレーから噴射された消毒液等の到達範囲を判定する。サーバ装置３は、例えばスプレーから噴射された消毒液等の到達範囲に存在するトレーニング器具１１０又はエリアを清掃済と判定することができる。また例えばサーバ装置３は、スプレーから噴射された消毒液等の到達範囲が、トレーニング器具１１０又はエリアの表面席に対して所定割合以上の表面積に達した場合等に、このトレーニング器具１１０又はエリアが清掃済と判定することができる。

またサーバ装置３は、撮影画像に写された人の顔が予め登録された従業員の顔であるか否かを判定する顔認識処理を行い、清掃行動を行っている人が従業員であるか否かを判定してもよい。またスポーツジム１００において従業員が清掃を行った場合に、従業員が従業員端末装置５を用いて清掃した時刻、場所、トレーニング器具１１０及び清掃方法等の情報を入力し、これらの清掃に関する情報をサーバ装置３が記憶してもよい。この場合にサーバ装置３は、撮影装置１の撮影画像に写された人の清掃行動と共に、従業員が入力した情報に基づいて、スポーツジム１００のエリア又はトレーニング器具１１０が清掃済であるか否かを判定してもよい。

図１０及び図１１は、本実施の形態に係るサーバ装置３が行う清掃状況判定処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像取得処理部３１ａは、スポーツジム１００に設置された一又は複数の撮影装置１との間でネットワークＮを介した通信を行い、一又は複数の撮影装置１が撮影した画像を取得する（ステップＳ１）。なお撮影装置１から取得する撮影画像には、第１撮影部１１が撮影した画像及び第２撮影部１２が撮影した画像の両方が含まれる。また取得する画像は動画像又は静止画像のいずれであってもよい。ただし、人の行動認識及び追跡等の処理を行う場合には、時系列的に撮影された複数の画像が用いられる。

処理部３１の清掃状況判定部３１ｂは、学習モデル記憶部３２ｂに記憶された学習モデルを用い、ステップＳ１にて取得した撮影画像（第２撮影部１２が撮影した画像）に写された人を検出する処理を行う（ステップＳ２）。次いで清掃状況判定部３１ｂは、予め記憶した基準画像と、第２撮影部１２が撮影した画像とを比較することにより、汗又は汚れ等の付着物を検出する処理を行う（ステップＳ３）。清掃状況判定部３１ｂは、ステップＳ３の検出処理において撮影画像中に付着物が検出されたか否かを判定する（ステップＳ４）。付着物が検出された場合（Ｓ４：ＹＥＳ）、清掃状況判定部３１ｂは、検出された付着物が付着している箇所、例えばいずれのトレーニング器具１１０又はエリアに付着しているか、を特定する処理を行う（ステップＳ５）。清掃状況判定部３１ｂは、付着物が付着している箇所について未清掃と判定した判定結果を、判定結果記憶部３２ｃに記憶する（ステップＳ６）。付着物が検出されない場合（Ｓ４：ＮＯ）、清掃状況判定部３１ｂは、ステップＳ７へ処理を進める。

次いで清掃状況判定部３１ｂは、撮影画像から検出された人について行動判定の処理を行う（ステップＳ７）。ステップＳ７の行動判定の結果に基づいて、清掃状況判定部３１ｂは、撮影画像に写された人が行っている行動の中に、トレーニング器具１１０を使用した運動行動が存在するか否かを判定する（ステップＳ８）。トレーニング器具１１０を使用した運動行動が存在する場合（Ｓ８：ＹＥＳ）、清掃状況判定部３１ｂは、撮影画像中の運動行動を行っている人の位置等に基づいて、この人が使用しているトレーニング器具１１０がいずれであるかを特定する（ステップＳ９）。清掃状況判定部３１ｂは、使用されたトレーニング器具１１０について未清掃と判定した判定結果を、判定結果記憶部３２ｃに記憶する（ステップＳ１０）。運動行動が存在しない場合（Ｓ８：ＮＯ）、清掃状況判定部３１ｂは、ステップＳ１１へ処理を進める。

次いで清掃状況判定部３１ｂは、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像から、ステップＳ２の人検出結果等に基づいて、人の呼気を検出する処理を行う（ステップＳ１１）。清掃状況判定部３１ｂは、例えば第１撮影部１１が時系列的に撮影した複数の画像から、ステップＳ２にて検出した人の呼気の移動を追跡することにより、人の呼気が到達した範囲を判定する（ステップＳ１２）。清掃状況判定部３１ｂは、ステップＳ１２にて判定した呼気の到達範囲に存在するトレーニング器具１１０及びエリア等について未清掃と判定した判定結果を、判定結果記憶部３２ｃに記憶する（ステップＳ１３）。

次いで清掃状況判定部３１ｂは、ステップＳ７の行動判定の結果に基づいて、撮影画像に写された人が行っている行動の中に、拭き掃除の行動が存在するか否かを判定する（ステップＳ１４）。拭き掃除の行動が存在する場合（Ｓ１４：ＹＥＳ）、清掃状況判定部３１ｂは、例えば拭き掃除の行動を行っている人が雑巾等を持つ手の移動を追跡することにより、拭き掃除が行われた箇所がいずれであるかを判定する（ステップＳ１５）。清掃状況判定部３１ｂは、拭き掃除が行われたトレーニング器具１１０及びエリア等について清掃済と判定した判定結果を、判定結果記憶部３２ｃに記憶する（ステップＳ１６）。拭き掃除の行動が存在しない場合（Ｓ１４：ＮＯ）、清掃状況判定部３１ｂは、ステップＳ１７へ処理を進める。

次いで清掃状況判定部３１ｂは、ステップＳ７の行動判定の結果に基づいて、撮影画像に写された人が行っている行動の中に、スプレーを噴射する行動が存在するか否かを判定する（ステップＳ１７）。スプレーを噴射する行動が存在する場合（Ｓ１７：ＹＥＳ）、清掃状況判定部３１ｂは、例えば撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像を用いて、スプレーが噴射した消毒液等の飛沫の到達範囲を判定する（ステップＳ１８）。清掃状況判定部３１ｂは、スプレーを噴射した飛沫の到達範囲に存在するトレーニング器具１１０及びエリアとうについて清掃済と判定した判定結果を、判定結果記憶部３２ｃに記憶する（ステップＳ１７）。スプレーを噴射する行動が存在しない場合（Ｓ１７：ＮＯ）、清掃状況判定部３１ｂは、ステップＳ２０へ処理を進める。

処理部３１の判定結果出力部３１ｄは、清掃状況判定部３１ｂによる清掃状況の判定結果に関する情報を、従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０及びディスプレイ装置１２０等へ適宜のタイミングで送信し（ステップＳ２０）、これらの装置に判定結果を表示させて、処理を終了する。

図１２は、トレーニング器具１１０による清掃状況の判定結果の表示例を示す模式図である。本実施の形態に係る情報処理システムにおいては、スポーツジム１００に設置されるトレーニング器具１１０には液晶ディスプレイ等の表示部が設けられている。またトレーニング器具１１０は、有線又は無線の通信機能を有しており、サーバ装置３との間で情報の送受信を行うことができる。本図には一例として、表示部を有するランニングマシンが示されている。

サーバ装置３は、スポーツジム１００に設けられた各トレーニング器具１１０について清掃状況を判定し、判定結果に関する情報を該当するトレーニング器具１１０へ送信する。サーバ装置３から清掃状況の判定結果を受信したトレーニング器具１１０は、受信した判定結果に応じたメッセージを表示部に表示する。本図はトレーニング器具１１０がサーバ装置３から清掃済の判定結果を受信した場合の例であり、表示部に「このトレーニング器具は清掃済です」のメッセージが表示されている。なお、図示は省略するが、トレーニング器具１１０が未清掃の判定結果を受信した場合には、例えば「このトレーニング器具は使用済みです。消毒のためにスタッフを及びください。」等のメッセージが表示される。

なおトレーニング器具１１０は、液晶ディスプレイ等の表示部を備えるのではなく、例えば清掃状況に応じて点灯するランプを備えてもよい。例えばトレーニング器具１１０は赤色に点灯するランプ及び青色に点灯するランプを備え、清掃状況が未清掃の場合に赤色ランプを点灯し、清掃状況が清掃済の場合に青色ランプを点灯することができる。ランプの点灯の制御は、サーバ装置３による遠隔制御で行われてもよく、サーバ装置３から受信した情報に基づいてトレーニング器具１１０により行われてもよい。

図１３及び図１４は、清掃状況の判定結果の表示例を示す模式図である。この表示例は、従業員端末装置５、ユーザ端末装置６及びディスプレイ装置１２０が表示し得るものであるが、以下では従業員端末装置５が表示を行うものとして説明する。また、図１３はトレーニング器具１１０毎の清掃状況を表示する例であり、図１４はスポーツジム１００のエリア毎の清掃状況を表示する例である。

サーバ装置３から清掃状況の判定結果に関する情報を受信した従業員端末装置５は、図示の清掃状況通知画面を表示部５４に表示する処理を行う。本例の清掃状況通知画面において、従業員端末装置５は、例えばスポーツジム１００のトレーニングルームにおけるトレーニング器具１１０の配置を模式的に示した配置図を表示する。本例では、トレーニングルームにヨガマット、エアロバイク（登録商標）１，２、プレスマシン１〜４及びランニングマシン１，２等のトレーニング器具１１０が適宜に配置されていることが配置図により示されている。従業員端末装置５は、この配置図において、各トレーニング器具１１０の清掃状況を、色分け（本図では異なるハッチングを付すことで色分けを表現している）して通知する。

図１３に示す表示例において従業員端末装置５は、トレーニング器具１１０の清掃状況として「清掃済・使用可能」及び「未清掃」の２つに加えて、「使用中」の状況を色分け表示している。「使用中」はトレーニング器具１１０を使用してユーザが運動を行っている状況であることを示し、ユーザが使用を終えた後には「未清掃」となる。本例では、エアロバイク１，２及びプレスマシン２，４が「清掃済・使用可能」であり、ヨガマット、プレスマシン３及びランニングマシン２が「使用中」であり、プレスマシン１及びランニングマシン１が「未清掃」であることが示されている。

また図１４に示す表示例において従業員端末装置５は、スポーツジム１００のエリア毎に清掃状況を示している。本例では、トレーニングルームが４つのエリア、即ちヨガマットのエリア、エアロバイクのエリア、プレスマシンのエリア及びランニングマシンのエリアに分けられている。従業員端末装置５は、配置図に重ねて各エリアを示す矩形枠を表示し、この矩形枠内を色分けすることによって各エリアの清掃状況が「清掃済・使用可能」、「未清掃」又は「使用中」のいずれであるかを示している。本例では、エアロバイクのエリア及びプレスマシンのエリアが「清掃済・使用可能」であり、ヨガマットのエリアが使用中であり、ランニングマシンのエリアが「未清掃」であることが示されている。

従業員端末装置５は、サーバ装置３との間で周期的に通信を行い、サーバ装置３による清掃状況の判定結果に関する情報を取得する。サーバ装置３から従業員端末装置５への情報送信は、例えば従業員端末装置５からの情報の取得要求に応じてサーバ装置３が行ってもよく、また例えばサーバ装置３が自発的に予め登録された従業員端末装置５へ情報を送信してもよい。従業員端末装置５は、サーバ装置３から取得した清掃状況の判定結果に基づいて、トレーニング器具１１０毎又はエリア毎の清掃状況を示す図１３又は図１４の清掃状況通知画面を生成して表示部５４に表示する。

またユーザ端末装置６は、サーバ装置３からスポーツジム１００の清掃状況に関する情報を取得することによって、同様の画面表示を行う。本実施の形態においてサーバ装置３は、スポーツジム１００の清掃状況に関する情報をホームページ（Ｗｅｂサイト）にて配信している。ユーザ端末装置６は、例えばブラウザ等のプログラムに所定のＵＲＬ（Uniform Resource Locator）が入力されることによりスポーツジム１００のホームページにアクセスし、サーバ装置３が配信するホームページを表示する。ユーザ端末装置６は、例えばブラウザに表示されたホームページにて清掃状況に関する情報を表示する項目がユーザにより選択された場合、サーバ装置３に対して清掃状況に関する情報の送信を要求する。この要求に応じてサーバ装置３は、図１３又は図１４に示す清掃状況通知画面を表示するための情報を要求元のユーザ端末装置６へ送信する。この情報をサーバ装置３から受信したユーザ端末装置６は、図１３又は図１４と同様の清掃状況通知画面を表示し、スポーツジム１００のトレーニング器具１１０毎又はエリア毎の清掃状況をユーザに通知する。ユーザは、スポーツジム１００の内外のいずれにいる場合であっても、ユーザ端末装置６を用いてスポーツジム１００の清掃状況を確認することができる。

またサーバ装置３は、スポーツジム１００内に設置された一又は複数のディスプレイ装置１２０に対して、図１３又は図１４に示す清掃状況通知画面を表示するための情報を送信し、ディスプレイ装置１２０にこの画面を表示させる。

＜換気状況の判定＞
本実施の形態に係る情報処理システムは、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、サーバ装置３がスポーツジム１００内の換気状況を判定する処理を行う。サーバ装置３は、撮影装置１が撮影した空気の流れを可視化した画像に基づいて、例えばスポーツジム１００内の各地点における気流の向き、速度及び量等の数値を算出する。このときにサーバ装置３は、撮影装置１から取得した画像において画素値の濃淡で模様として描かれる空気の流れについて、その長さ、幅、面積、濃淡の変化等を算出することで、画像に写された気流の向き、速度及び量等の数値を算出することができる。サーバ装置３は、算出したこれらの値に基づいて、例えば気流の速度又は量等が小さい箇所は空気の流れが滞留している箇所であり、換気が適切に行われていない箇所であると判定することができる。

またサーバ装置３は、撮影装置１の第１撮影部１１が撮影した画像から、例えば空気が流れていない箇所及び空気の流れが渦を巻いている箇所等を空気が滞留している箇所として抽出し、このような箇所の数、大きさ及び量等の数値を算出する。サーバ装置３は、このような空気が滞留している箇所の数、大きさ及び量等が所定の閾値を超える場合、スポーツジム１００の換気状況が悪いと判定することができる。

またサーバ装置３は、学習モデル記憶部３２ｂに記憶された学習モデルを用いた撮影画像に写された人の検出結果に基づいて、第１撮影部１１が撮影した画像に含まれる人の呼気を検出する。サーバ装置３は、検出した人の呼気の到達範囲を判定し、ある人の呼気の到達範囲内に他の人が存在している箇所を特定する。サーバ装置３は、特定した箇所について換気状態が悪いと判定することができる。

図１５は、本実施の形態に係るサーバ装置３が行う換気状態判定処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像取得処理部３１ａは、スポーツジム１００に設置された一又は複数の撮影装置１との間でネットワークＮを介した通信を行い、一又は複数の撮影装置１が撮影した画像を取得する（ステップＳ３１）。なお、換気状況判定処理において行う画像取得の処理は、清掃状況判定処理において行う画像取得の処理（図１０のステップＳ１参照）と共通の処理である。

処理部３１の換気状況判定部３１ｃは、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、スポーツジム１００内の気流を検出し、検出した気流について向き、速度及び量等の数値を算出する（ステップＳ３２）。換気状況判定部３１ｃは、算出した気流に関する種々の数値に基づいて、スポーツジム１００内において空気が滞留している箇所を判定する（ステップＳ３３）。

次いで換気状況判定部３１ｃは、学習モデル記憶部３２ｂに記憶された学習モデルを用い、ステップＳ３１にて取得した撮影画像（第２撮影部１２が撮影した画像）に写された人を検出する処理を行う（ステップＳ３４）。なお、換気状況判定処理において行う人検出の処理は、清掃状況判定処理において行う人検出の処理（図１０のステップＳ２参照）と共通の処理である。

換気状況判定部３１ｃは、第１撮影部１１が撮影した画像と、ステップＳ３４の人検出の結果とに基づいて、撮影画像に含まれる人の呼気を検出し、これらの呼気の到達範囲を判定する（ステップＳ３５）。呼気の到達範囲の判定結果に基づいて、換気状況判定部３１ｃは、ある人の呼気の到達範囲内に他の人が存在している箇所、即ち人が密な箇所の有無を判定する（ステップＳ３６）。

換気状況判定部３１ｃは、ステップＳ３２にて算出した数値、ステップＳ３３にて判定した滞留箇所、及び、ステップＳ３６にて判定した密の箇所等に関する情報を、換気状況の判定結果として判定結果記憶部３２ｃに記憶する（ステップＳ３７）。処理部３１の判定結果出力部３１ｄは、換気状況判定部３１ｃによる換気状況の判定結果に関する情報を、従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０及びディスプレイ装置１２０等へ適宜のタイミングで送信し（ステップＳ３８）、これらの装置に判定結果を表示させて、処理を終了する。

図１６は、換気状況の判定結果の表示例を示す模式図である。この表示例は、主に従業員端末装置５が表示する換気状況の判定結果であるが、ユーザ端末装置６及びディスプレイ装置１２０が同様の表示を行ってもよい。サーバ装置３から換気状況の判定結果に関する情報を受信した従業員端末装置５は、図示の換気状況通知画面を表示部５４に表示する処理を行う。本例の換気状況通知画面において、従業員端末装置５は、図１３及び図１４に示した清掃状況通知画面と同様に、スポーツジム１００のトレーニングルームにおけるトレーニング器具１１０の配置を模式的に示した配置図を表示する。従業員端末装置５は、この配置図に重ねて、換気状況が悪い箇所を色分け（本図では異なるハッチングを付すことで色分けを表現している）して通知する。

換気状況通知画面において従業員端末装置５は、例えば空気の流れが滞留している箇所、及び、人が集まって密となっている箇所を換気状況が悪い箇所として通知する。本図では、例えばプレスマシン３，４の近傍と、エアロバイク１，２の近傍とに、空気の流れが滞留している箇所として楕円形の領域が示されている。空気の流れが滞留している箇所は、図１５に示したフローチャートのステップＳ３３にて行われる判定処理の結果に基づくものである。例えば空気の流れがない箇所、気流の速度が閾値未満の箇所、気流の量が閾値未満の箇所、気流の向きが渦を巻いている箇所等が、空気の流れが滞留している箇所と判定され得る。また本図では、例えばランニングマシン１，２の近傍に、密の箇所として楕円形の領域が示されている。密の箇所は、図１５に示したフローチャートのステップＳ３５にて行われる判定処理の結果に基づくものである。例えば、ある人の呼気の到達範囲内に他の人が存在している箇所が、密の箇所と判定され得る。

なお本例では、空気の流れが滞留している箇所及び人が密な箇所が楕円形の領域として示されているが、これに限るものではなく、これらの箇所は任意の形状の領域として示されてよい。また本例では、スポーツジム１００のトレーニングルームを模式的に示した配置図に換気状況が悪い箇所を重ねて表示しているが、これに限るものではなく、例えば撮影装置１の第２撮影部１２が撮影したスポーツジム１００内の画像に、換気状況が悪い箇所を重ねて表示してもよい。また換気状況が悪い箇所を色分けして示す場合に、例えば単色での色分けを行ってもよく、また例えば換気状況の程度に応じた濃淡をつけた色分けを行ってもよい。

従業員端末装置５は、サーバ装置３との間で周期的に通信を行い、サーバ装置３による換気状況の判定結果に関する情報を取得する。サーバ装置３から従業員端末装置５への情報送信は、例えば従業員端末装置５からの情報の取得要求に応じてサーバ装置３が行ってもよく、また例えばサーバ装置３が自発的に予め登録された従業員端末装置５へ情報を送信してもよい。従業員端末装置５は、サーバ装置３から取得した換気状況の判定結果に基づいて、図１６に示す換気状況通知画面を生成して表示部５４に表示する。

図１７は、換気状況の判定結果の表示例を示す模式図である。図示の例は、サーバ装置３がスポーツジム１００内の換気状況を判定した結果を３次元的に表示したものである。サーバ装置３は、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、スポーツジム１００内の各地点における気流の向き、速度及び量等の数値を算出する。サーバ装置３は算出したこれらの数値を換気状況の判定結果として従業員端末装置５へ送信し、従業員端末装置５はサーバ装置から受信したこれらの数値に基づいて、気流の向きを矢印の向きとし、気流の速さを矢印の長さとし、気流の量を矢印の太さとして、例えば３次元仮想空間に再現されたスポーツジム１００のトレーニングルームの中に気流を示す複数の矢印を配置した画像を表示部５４に表示する。

またサーバ装置３は、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、例えば空気が全く流れていない箇所、空気の流れが少ない箇所、又は、空気の流れが渦を巻いている箇所等を画像から判定し、判定結果を従業員端末装置５へ送信する。従業員端末装置５は、このような個所を空気が滞留している箇所とし、図示の例では複数の矢印を内包する楕円形の領域として、３次元仮想空間に再現されたスポーツジム１００の中に滞留箇所を表示している。

なお従業員端末装置５は、本例の表示を行う場合に、判定対象となるスポーツジム１００を３次元仮想空間に再現した３次元オブジェクトの情報を予め記憶している。スポーツジム１００の３次元オブジェクトは、例えばカメラにて撮影した画像を基に３次元オブジェクトを生成するＳＦＭ（structure from motion）等の技術により予め生成される。スポーツジム１００内の撮影及び３次元オブジェクトの生成には撮影装置１、サーバ装置３及び従業員端末装置５等の装置が用いられ得るが、これらの装置とは異なる装置が用いられてもよい。またスポーツジム１００の建物の設計データ等から３次元オブジェクトを生成して従業員端末装置５に記憶させておいてもよい。

また図示の表示例は、撮影装置１による撮影地点から所定距離だけ離れた地点における平面に気流を示す矢印等を配置して判定結果を平面的に示している。しかし従業員端末装置５は、更に撮影地点から遠ざかる奥行き方向、及び、撮影地点から近付く手前方向についても、気流を示す矢印等を配置して空間的に判定結果を表示してよい。また図示の表示例は、矢印を用いて気流を表現しているが、これに限るものではなく、例えば色分け表示などにより気流を表現して表示してもよい。また図示の表示例は、判定結果を３次元的に表示しているが、これに限るものではなく、２次元的に表示してもよい。

図１８は、換気状況の判定結果の表示例を示す模式図である。図示の例は、例えばスポーツジム１００内の特定位置における空気の状態を判定した結果をグラフとして表示したものである。本例において従業員端末装置５は、サーバ装置３が判定した気流の速度、気流の量及び滞留の量の時系列的な変化を折れ線グラフとして表示している。特定の地点は、例えばスポーツジム１００において予め調査がなされた、空気の流れが少なく、換気の必要が高い箇所等が設定され得る。また例えば、スポーツジム１００の配置図等に対する位置を指定する操作を従業員から受け付けて、従業員端末装置５が図示のグラフを表示する特定地点を決定してもよい。

本例では、撮影装置１が撮影した画像に基づく換気状況の判定を、サーバ装置３が１時間に１回の周期で繰り返し行っている。サーバ装置３は、撮影装置１が撮影した空気の流れを可視化した画像を基に、特定地点における気流の速度及び量等の数値を算出し、算出した値を換気状況の判定結果として従業員端末装置５へ送信する。またサーバ装置３は、記憶部３２の判定結果記憶部３２ｃに記憶した過去の判定結果を取得して、今回の判定結果と、現時点から所定時間前までの判定結果とを従業員端末装置５へ送信する。これらの情報を受信した従業員端末装置５は、スポーツジム１００内の特定地点における気流速、気流量及び滞留量の時系列的な変化を示すグラフを作成する。図示の例では、ある１日における９：００から１７：００までの気流速、気流量及び滞留量の変化がグラフで示されている。

図示のグラフでは、撮影装置１の第１撮影部１１が撮影した画像に基づいて算出された気流速、気流量及び滞留量が、所定の基準値に対する増減量、その比率又は偏差値等として示されている。所定の基準値には、例えばスポーツジム１００の開店前もしくは閉店後等に測定された値、その１日において最初に測定された値、１日において定められた時刻に測定された値、又は、国もしくは認証機関等が換気性能として要求する値等の種々の値が用いられ得る。

気流速は、例えばある地点における気体の流れる速さとして算出され、複数地点の気流速の平均等が用いられてもよい。気流量は、例えばある範囲における気流速の合計値として算出される。また滞留量は、例えば気流が渦を巻いている箇所について渦度を算出し、渦度が閾値を超える箇所が観測範囲全体に対してどの程度の割合を占めているかを算出することで取得できる。例えば観測範囲全買いが１０平方メートルの広さであり、渦度が閾値を超える箇所が５平方メートルの広さであれば、滞留量を０．５と算出することができる。

また本例では、気流速、気流量及び滞留量を１つのグラフに重ねて表示しているが、これらを個別のグラフに表示してもよい。気流速、気流量及び滞留量を個別にグラフ表示する場合には、所定の基準値に対する増減量等として表示するのではなく、算出した各値をグラフとして表示してよい。この場合に複数のグラフは、例えば横軸（時間軸）を一致させて上下に並べて表示される。また従業員端末装置５は、グラフ上の一点に対するクリック操作等を受け付けた場合に、この一点に対応する時刻において撮影装置１が撮影した画像に気流を示す矢印等を重畳した画像（例えば図１７と同様の画像）を表示してもよい。

また従業員端末装置５は、上述のグラフの下方に、「換気改善のヒント」として、「空気の循環が悪くなっています」、「換気扇・エアコン等を確認してください」、及び、「窓を開けて下さい」等のメッセージの文字列を表示する。これらの文字列は、例えば換気状況の判定結果と共にサーバ装置３から送信される。サーバ装置３は、例えば記憶部３２に予め記憶した複数のメッセージの中から、判定結果に応じたメッセージを取得して従業員端末装置５へ送信することができる。なお図示のメッセージは一例であって、これに限るものではない。

またこれらのメッセージの出力には、予め機械学習がなされた学習モデル、いわゆるＡＩ（Artificial Intelligence）が用いられてもよい。例えば学習モデルは、空気の流れに関する判定結果を入力として受け付け、判定結果に応じたメッセージを出力するように予め機械学習がなされ得る。また例えば学習モデルは、空気の流れに関する判定結果を入力として受け付け、この判定結果に至った要因を推定するように予め機械学習がなされ、学習モデルが推定した要因に応じたメッセージをサーバ装置３が選択してもよい。また従業員端末装置５は、判定結果が変化した際にその旨をユーザに通知し、このときにユーザからその要因についての情報の入力を受け付け、判定結果及びその要因の対応を教師データとして収集してサーバ装置３へ送信し、この教師データを用いてサーバ装置３等が学習モデルの再学習を行ってもよい。これにより学習モデルは、ユーザの環境毎の要因を学習することができ、より適切なメッセージをユーザに対して出力することが期待できる。

またサーバ装置３は、気流速、気流量及び滞留量の各値について、今回の判定結果と前回の判定結果との差分をそれぞれ算出し、各値に対してそれぞれ定められた閾値との比較を行う。サーバ装置３は、例えば今回の気流量と前回の気流量との差分を算出し、この差分が閾値を超えた場合、即ち気流量が閾値を超えて変化した場合に従業員端末装置５への通知を行い、従業員端末装置５による従業員への警告メッセージの出力等を行う。図示は省略するが、従業員端末装置５は、例えば図１８に示した画面のいずれかの空き領域に、又は、ポップアップのダイアログなどを表示して、警告メッセージを表示する。このときに従業員端末装置５は、警告音の出力などを併せて行ってもよい。また従業員端末装置５は、自身の表示部５４に警告メッセージを表示するのではなく、予め登録されたユーザのスマートフォン等に対して警告メッセージを送信し、スマートフォン等の画面に警告メッセージを表示させてもよい。

例えば図１８に示す例では、１５：００から１６：００までの間に気流量が閾値を超えて変化している（低下している）。サーバ装置３は、例えば１６：００の判定結果を算出した際に、気流量が１５：００のものから閾値を超えて変化したと判断し、従業員端末装置５に対する通知を行うことができる。なお、サーバ装置３による従業員端末装置５への通知は、判定結果が悪化する方向へ閾値を超えて変化した場合に行えばよく、判定結果が好転（良化）する方向への変化については警告メッセージの表示を行わなくてよい。例えば図１８に示す例では、９：００から１０：００までの間に気流量が増加しているが、これは換気の判定結果として好転する方向であるため、サーバ装置３は従業員端末装置５への通知を行わなくてよい。ただしサーバ装置３は、判定結果が好転したことを従業員端末装置５へ通知してもよい。

またサーバ装置３は、撮影装置１が撮影した画像に基づいて算出した気流量等の数値の変化量と閾値との比較を行うのではなく、例えば予め機械学習がなされた学習モデルを用いてこれらの数値の時系列的な変化が悪化であるか又は好転であるかを判断してもよい。この学習モデルは、例えば気流量の数値の時系列的な変化を入力として受け付け、この変化が悪化であることを示す確信度を出力するように予め機械学習がなされ得る。

＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、プロジェクタ１０による投影パターンに応じた遮光パターンで第１撮影部１１のカットオフグリッド（光遮断部）１１ｂが光を遮断し、プロジェクタ１０が投影パターンを投影した投影先を背景とした撮影を行う第１撮影部１１を有する撮影装置１にてスポーツジム１００内の撮影を行う。サーバ装置３は、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて、スポーツジム１００内に存在する清掃が必要な箇所（被清掃対象箇所）を判定し、判定結果に関する情報を従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０又はディスプレイ装置１２０等の装置へ送信（出力）して、これらの装置に判定結果を表示（出力）させる。これにより情報処理システムは、スポーツジム１００における被清掃対象箇所を判定してユーザ及び従業員等に通知することができ、スポーツジム１００における感染症対策等に寄与することが期待できる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、サーバ装置３が人の呼気を検出し、検出した呼気の到達範囲に基づいて被清掃対象箇所を判定する。これにより情報処理システムは、スポーツジム１００内に存在する従業員及びユーザ等の人の呼気が到達した範囲について清掃が必要と判断し、ユーザ及び従業員等に通知することができる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、サーバ装置３が、清掃に用いられるスプレーが噴射する消毒液等の水分を検出し、検出した水分が噴射された箇所に基づいて被清掃対象箇所を判定する。これにより情報処理システムは、従業員等が清掃により消毒液等のスプレーを噴射した箇所は清掃済と判定することができる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、サーバ装置３が、スポーツジム１００内の換気状況を判定し、判定結果を従業員端末装置５等へ送信する。これにより情報処理システムは、撮影装置１の第１撮影部１１が撮影した空気の流れを可視化した画像に基づいて判定されるスポーツジム１００内の換気状況を従業員等に通知することができる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第１撮影部１１が撮影した画像に基づいて、サーバ装置３が、スポーツジム１００内の複数の人の間で、各人の呼気が他の人へ到達している箇所を判定し、人の呼気が他の人へ到達している箇所の判定結果を従業員端末装置５等へ送信する。これにより情報処理システムは、スポーツジム１００内においてある人の呼気が他の人へ到達している箇所、いわゆる密な箇所（人が密集した箇所）を判定して従業員等に通知することができる。

また本実施の形態に係る情報処理システムでは、偏光の方向を変更することが可能な偏光板（偏光部）１２ａを介した撮影を行う第２撮影部１２を有する撮影装置１にてスポーツジム１００内の撮影を行う。サーバ装置３は、撮影装置１の第２撮影部１２が撮影した画像に基づいて、スポーツジム１００内に存在する清掃が必要な箇所（被清掃対象箇所）を判定し、判定結果に関する情報を従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０又はディスプレイ装置１２０等の装置へ送信（出力）して、これらの装置に判定結果を表示（出力）させる。これにより情報処理システムは、スポーツジム１００における被清掃対象箇所を判定してユーザ及び従業員等に通知することができ、スポーツジム１００における感染症対策等に寄与することが期待できる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第２撮影部１２が撮影した画像に基づいて、サーバ装置３が、スポーツジム１００内に付着した付着物を検出し、付着物の検出結果に基づいて被清掃対象箇所を判定する。これにより情報処理システムは、スポーツジム１００を利用したユーザの汗又は汚れ等の付着物が付着した箇所を撮影画像に基づいて判定し、ユーザ及び従業員等に通知することができる。

また本実施の形態に係る情報処理システムでは、撮影装置１の第２撮影部１２が撮影した画像に基づいて、サーバ装置３が、スポーツジム１００内の人の手を検出し、時系列的に撮影された複数の画像に基づいて人の手の動きを追跡し、手の動きの追跡結果に基づいてスポーツジム１００内の清掃済箇所を判定し、清掃済箇所の判定結果に基づいてスポーツジム１００内の被清掃対象箇所を判定する。これにより情報処理システムは、拭き掃除等の行動を行う従業員等が雑巾等を持つ手の動きを追跡することができ、手が移動した部分は拭き掃除がなされた清掃済の箇所であると判定することができる。

また本実施の形態に係る情報処理システムでは、スポーツジム１００内に配置された複数のトレーニング器具１１０の中から清掃が必要なトレーニング器具１１０をサーバ装置３が判定し、清掃が必要なトレーニング器具１１０に関する情報を従業員端末装置５等へ送信する。これにより情報処理システムは、清掃が必要なトレーニング器具１１０を従業員等に通知して、このトレーニング器具１１０の使用を抑制する又はこのトレーニング器具１１０の清掃を促すことが期待できる。

また本実施の形態に係る情報処理システムでは、トレーニング器具１１０に設けられた表示部又はランプ等により、このトレーニング器具１１０についての清掃の要否を通知する。これにより情報処理システムは、スポーツジム１００を利用するユーザに対して各トレーニング器具１１０の清掃状況をより確実に通知することができ、清掃が必要なトレーニング器具１１０をユーザが利用することを防止できる。

また本実施の形態に係る情報処理システムでは、スポーツジム１００内設けられたディスプレイ装置１２０に、トレーニング器具１１０の清掃状況に関する情報を表示する。これにより情報処理システムは、スポーツジム１００を利用するユーザに対する清掃状況に関する情報提供を行うことができる。

また本実施の形態に係る情報処理システムでは、サーバ装置３がスポーツジム１００のトレーニング器具１１０の清掃状況等の情報を配信し、スポーツジム１００を利用するユーザのユーザ端末装置６はサーバ装置３が配信する情報に基づいてトレーニング器具１１０の清掃状況に関する情報を表示する。これにより情報処理システムでは、スポーツジム１００を利用するユーザは、例えばスポーツジム１００を利用する前、及び、利用している最中等の適宜のタイミングで、トレーニング器具１１０の清掃状況を確認することができるため、安心してスポーツジム１００を利用することができる。

なお本実施の形態においては、撮影装置１が撮影した画像に基づいてサーバ装置３が清掃状況及び換気状況の判定を行う構成としたが、これに限るものではない。例えば、撮影装置１が撮影及び判定を行って、判定結果を撮影装置１からサーバ装置３、従業員端末装置５及びユーザ端末装置６等の装置へ送信し手もよい。また例えば、撮影装置１が従業員端末装置５又はユーザ端末装置６等へ撮影画像を送信し、これらの各装置が判定を行ってその結果を表示してもよい。

また、図１２〜図１４、図１６〜図１８に示した画面の表示は一例であってこれに限るものではなく、従業員端末装置５、ユーザ端末装置６、トレーニング器具１１０及びディスプレイ装置１２０は、どのような態様で清掃状況及び換気状況の判定結果を表示してもよい。また本実施の形態に係る情報処理システムは、スポーツジム１００以外の種々の施設に適用可能である。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 撮影装置
３ サーバ装置（情報処理装置）
５ 従業員端末装置
６ ユーザ端末装置
１０ プロジェクタ
１１ 第１撮影部（撮影部）
１１ａ レンズ
１１ｂ カットオフグリッド（光遮断部）
１１ｃ 赤外線用レンズ
１２ 第２撮影部（撮影部）
１２ａ 偏光板（偏光部）
１２ｂ 可視光線用レンズ
２０ 情報処理装置
２１ 処理部
２１ａ 投影用画像生成部
２１ｂ 第１撮影処理部
２１ｃ 第２撮影処理部
２２ 入出力部
２３ 記憶部
２３ａ プログラム
２４ 通信部
３１ 処理部
３１ａ 画像取得処理部
３１ｂ 清掃状況判定部（判定部）
３１ｃ 換気状況判定部
３１ｄ 判定結果出力部（出力部）
３２ 記憶部
３２ａ サーバプログラム（コンピュータプログラム）
３２ｂ 学習モデル記憶部
３２ｃ 判定結果記憶部
３３ 通信部
５１ 処理部
５１ａ 判定結果取得部
５１ｂ 表示処理部
５２ 記憶部
５２ａ プログラム
５３ 通信部
５４ 表示部
５５ 操作部
９８，９９ 記録媒体
１００ スポーツジム
１１０ トレーニング器具
１２０ ディスプレイ装置

Claims (15)

1. プロジェクタの投影パターンに応じた遮光パターンで光を遮断する光遮断部を介して、前記プロジェクタが前記投影パターンを投影した投影先を背景とした撮影を行う撮影部にて、スポーツジム内の撮影を行い、
   前記撮影部が撮影した画像に基づいて、スプレーが噴射する水分を検出し、
   前記水分が噴射された箇所に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定し、
   前記被清掃対象箇所の判定結果に関する情報を出力する
   処理を情報処理装置が行う、情報処理方法。
2. 前記撮影部が撮影した画像に基づいて、人の呼気を検出し、
   前記呼気の到達範囲に基づいて前記被清掃対象箇所を判定する、
   請求項１に記載の情報処理方法。
3. 前記撮影部が撮影した画像に基づいて、前記スポーツジム内の換気状況を判定し、
   換気状況の判定結果に関する情報を出力する、
   請求項１又は請求項２に記載の情報処理方法。
4. 前記撮影部が撮影した画像に基づいて、前記スポーツジム内に複数の人の間で、各人の呼気が他の人へ到達している箇所を判定し、
   人の呼気が他の人へ到達している箇所の判定結果に関する情報を出力する、
   請求項１から請求項３までのいずれか１つに記載の情報処理方法。
5. 偏光の方向を変更する事が可能な偏光部を介した撮影を行う第２撮影部にて、前記スポーツジム内の撮影を行い、
   前記第２撮影部が撮影した画像に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定し、
   前記被清掃対象箇所の判定結果に関する情報を出力する、
   請求項１から請求項４までのいずれか１つに記載の情報処理方法。
6. 前記第２撮影部が撮影した画像に基づいて、前記スポーツジム内に付着した付着物を検出し、
   前記付着物の検出結果に基づいて前記被清掃対象箇所を判定する、
   請求項５に記載の情報処理方法。
7. 前記撮影部又は前記第２撮影部が撮影した画像に基づいて、前記スポーツジム内の人の手を検出し、
   時系列的に撮影された複数の画像に基づいて前記手の動きを追跡し、
   前記手の動きの追跡結果に基づいて、前記スポーツジム内の清掃済箇所を判定し、
   前記清掃済箇所の判定結果に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定する、
   請求項５又は請求項６に記載の情報処理方法。
8. 前記被清掃対象箇所として、前記スポーツジム内に配置された複数のトレーニング器具の中から清掃が必要なトレーニング器具を判定し、
   判定した清掃が必要なトレーニング器具に関する情報を出力する、
   請求項１から請求項７までのいずれか１つに記載の情報処理方法。
9. 各トレーニング器具に設けられた表示部又はランプにより、当該トレーニング器具についての清掃の要否を通知する、
   請求項８に記載の情報処理方法。
10. 前記スポーツジム内に設けられた表示装置に、判定した清掃が必要なトレーニング器具に関する情報を出力する、
    請求項８又は請求項９に記載の情報処理方法。
11. 前記スポーツジムを利用する利用者が使用する端末装置に、判定した清掃が必要なトレーニング器具に関する情報を出力する、
    請求項８から請求項１０までのいずれか１つに記載の情報処理方法。
12. 前記スポーツジムを利用する利用者が使用する端末装置に、前記被清掃対象箇所の判定結果に関する情報を配信する、
    請求項１から請求項１１までのいずれか１つに記載の情報処理方法。
13. 投影先に応じた投影パターンを投影するプロジェクタと、
    前記プロジェクタが前記投影パターンを投影した前記投影先を背景とした撮影を行う撮影部と、
    前記撮影部が撮影した画像に基づいて、スプレーが噴射する水分を検出する検出部、前記水分が噴射された箇所に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定する判定部、及び、前記判定部による前記被清掃対象箇所の判定結果に関する情報を出力する情報出力部を有する情報処理装置と
    を備える、情報処理システム。
14. プロジェクタの投影パターンに応じた遮光パターンで光を遮断する光遮断部を介して、前記プロジェクタが前記投影パターンを投影した投影先を背景とした撮影を行う撮影部がスポーツジム内を撮影した画像に基づいて、スプレーが噴射する水分を検出する検出部と、
    前記水分が噴射された箇所に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定する判定部と、
    前記判定部による前記被清掃対象箇所の判定結果に関する情報を出力する情報出力部と
    を備える、情報処理装置。
15. コンピュータに、
    プロジェクタの投影パターンに応じた遮光パターンで光を遮断する光遮断部を介して、前記プロジェクタが前記投影パターンを投影した投影先を背景とした撮影を行う撮影部がスポーツジム内を撮影した画像に基づいて、スプレーが噴射する水分を検出し、
    前記水分が噴射された箇所に基づいて、前記スポーツジム内に存在する被清掃対象箇所を判定し、
    前記被清掃対象箇所の判定結果に関する情報を出力する
    処理を実行させるコンピュータプログラム。

Images