WO2023218610A1

WO2023218610A1 - 監視装置、監視方法

Info

Publication number: WO2023218610A1
Application number: PCT/JP2022/020092
Authority: WO
Inventors: 優佐々木
Original assignee: シャープＮｅｃディスプレイソリューションズ株式会社
Priority date: 2022-05-12
Filing date: 2022-05-12
Publication date: 2023-11-16

Abstract

複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得する取得部（１０２Ｂ）と、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、表示装置に不具合があるか否かを示すデータとを用いて、視認データと表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、取得部によって取得された視認データを入力することで、表示装置に不具合があるか否かの判定結果を得る判定部（１０４Ｂ）と、を有する。

Description

監視装置、監視方法

　本発明は、監視装置、監視方法に関する。

　公共の施設や店舗において、モニタやプロジェクタ等の映像表示機器（以下ディスプレイ）を使用し、広告などや通知事項を写す様々なソリューションがある。この場合、表示デバイスに不具合が生じた場合や、表示デバイスに入力信号を供給する供給機器に不具合が生じた場合には、意図した映像を正しく表示できないことがある。
　映像を正しく表示できない場合、広告主などのディスプレイ使用者（以下ユーザ）にとっては不利益となる。そのため、ディスプレイの表示内容に不具合が生じているか否かを検出し、不具合が生じている場合には、直ちに交換や、機器確認などのメンテナンスを促す必要があるが、ディスプレイが設置された現場に赴き、表示状態を確認しようとするとコストがかかる。そのため、使用者や管理者は、遠隔のアプリケーションなどを用いて、表示内容に異常が起きているか否かを把握したいというニーズがある。

　ここで、ディスプレイを視聴する視聴者の視線を検出する技術がある（例えば特許文献１参照）。

特開２００９－２４４９４９号公報

　しかしながら、ディスプレイの表示状態を監視する場合、ディスプレイに内蔵されたセンサなどを用いて、ディスプレイの内部状態を監視することで、ディスプレイ側だけで不具合の発生有無を検出する方法がある。しかし、この方法では、「映像機器側の不備」、「センサで検出できない最後段パネルなどの表示デバイスのみの不調」、というように、不具合内容によっては、検出できない種類の不具合がある。
　本開示における、解決しようとする問題点は、機器の内部を検出するセンサを用いる場合には、検出できる対象の不具合が十分ではないという点である。

　本発明の一態様は、表示装置を視認可能な場所を撮像するカメラから撮像データを取得する取得部と、前記撮像データから判定される、複数の視聴者の視聴行動に基づいて、前記表示装置に不具合があるか否かを判定する判定部と、を有する監視装置である。

　本発明の一態様は、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得する取得部と、前記視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて、前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、前記取得部によって取得された視認データを入力することで、前記表示装置に不具合があるか否かの判定結果を得る判定部とを有する監視装置である。

　本発明の一態様は、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて、前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習する学習装置である。

　本発明の一態様は、表示装置を視認可能な場所を撮像するカメラから撮像データを取得し、前記撮像データから判定される、複数の視聴者の視聴行動に基づいて、前記表示装置に不具合があるか否かを判定する監視方法である。

　本発明の一態様は、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得し、前記視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、前記視認データを入力することで、前記表示装置に不具合があるか否かの判定結果を取得し、前記判定結果に応じてアラート信号を出力する監視方法である。

　本発明によれば、表示装置を視認可能な場所を撮像するカメラから得られる撮像データを用い、撮像データに基づく視聴者の視聴行動から前記表示装置に不具合があるか否かを判定することができるため、機器の内部を検出するセンサとは別の手法によって不具合をあるか否かを把握することができる。

遠隔制御システムＳの構成を示すシステム構成図である。マルチディスプレイ３０の構成を示す概略機能ブロック図である。監視装置１０の構成を示す概略機能ブロック図である。監視装置１０の動作を説明するフローチャートである。他の実施形態における監視装置１０Ａの構成を示す概略機能ブロック図である。学習装置５０の機能を表す概略機能ブロック図である。監視装置１０Ａの動作を説明するフローチャートである。他の実施形態における監視装置１０Ｂの構成を示す概略機能ブロック図である。他の実施形態における監視装置１０Ｃの構成を示す概略機能ブロック図である。

　以下、本発明の一実施形態による遠隔監視システムＳについて図面を参照して説明する。
　図１は、遠隔制御システムＳの構成を示すシステム構成図である。
　遠隔監視システムＳは、監視装置１０と、コンテンツ供給装置２０と、マルチディスプレイ３０とがネットワークＮを介して通信可能に接続される。
　監視装置１０は、マルチディスプレイ３０についてネットワークＮを介して制御すること、マルチディスプレイ３０に関する情報についてネットワークＮを介して取得する。
　監視装置１０を使用する使用者は、監視装置１０を利用することで、マルチディスプレイ３０を遠隔から監視したり、制御することができる。
コンテンツ供給装置２０は、コンテンツを記憶しており、マルチディスプレイにコンテンツを供給する。コンテンツは、広告、お知らせ、案内等であってもよい。

　マルチディスプレイ３０は、複数のディスプレイが隣接して設置され、コンテンツ供給装置２０から供給されるコンテンツに対応する映像信号を表示する。
　マルチディスプレイ３０は、カメラ３１が設けられている。このカメラは、マルチディスプレイ３０に内蔵されていてもよいし、マルチディスプレイ３０の外部に設けられていてもよい。マルチディスプレイ３０は、ここでは、縦方向に３台、横方向に３台並ぶようにして合計９台のディスプレイ（ディスプレイ３０ａ、ディスプレイ３０ｂ、ディスプレイ３０ｃ、ディスプレイ３０ｄ、ディスプレイ３０ｅ、ディスプレイ３０ｆ、ディスプレイ３０ｇ、ディスプレイ３０ｈ、ディスプレイ３０ｉ）が隣接して配置されている。
　マルチディスプレイ３０は、このような複数のディスプレイのそれぞれの表示画面を含む１つの大きな表示画面として、コンテンツを表示することができる。

　カメラ３１は、マルチディスプレイ３０を視認可能な範囲を撮像する。より具体的に、カメラ３１は、マルチディスプレイ３０の表示画面の近傍にいる視聴者を撮像する。
　ここで、ディスプレイにカメラを設置する場合、ディスプレイの表示画面を撮像するカメラをディスプレイとは異なる場所に設置するケースは稀である。一方、ディスプレイにカメラを設置し、ディスプレイの位置から、ディスプレイの表示画面を視認可能な範囲を撮像するカメラすなわち、ディスプレイの表示画面を視認するユーザを撮像可能なカメラが設置されるケースは増えつつある。例えば、ディスプレイの前に立つ人物（視聴者）の動作をカメラで撮像し、撮像された人物の動作を解析し、その動作に応じて、表示されるコンテンツに含まれるオブジェクトを動かすコンテンツが提供されている。また、ディスプレイに設けられたカメラによって視聴者を撮像し、撮像画像から得られる人物（視聴者）の顔画像に基づいて年齢層を推定し、その推定された年齢層に応じた広告をディスプレイに表示させるソリューションについても提供されている。

　本実施形態においては、このような一般に利用されているカメラを利用し、このカメラから得られる撮像画像をもとに、マルチディスプレイを視聴する視聴行動に基づいて、マルチディスプレイに含まれるいずれかのディスプレイに不具合が発生しているか否かを判定する。そのため、ディスプレイにカメラが設置されている場合には、そのカメラを利用することで、新たにカメラを設置する必要がない。また、ディスプレイの表示画面を撮像するためのカメラをディスプレイとは異なる場所に設置し、カメラから得られる撮像画像を監視することで、ディスプレイの表示状態を監視するようなシステムを構築する必要がないため、ディスプレイとは異なる場所のいずれの場所にカメラを設置すればよいかを検討する必要がなく、また、ディスプレイとは異なる場所にカメラを設置するための設置コストも不要である。

　ネットワークＮは、ＬＡＮ（ローカルアリアネットワーク）であってもよいし、他の通信網であってもよい。

　図２は、マルチディスプレイ３０の構成を示す概略機能ブロック図である。
　マルチディスプレイ３０は、通信部３０１、表示部３０２、表示制御部３０３、カメラ３０４、視線検知部３０５、記憶部３０６、制御部３０７を有する。
　通信部３０１は、ネットワークＮを介して、監視装置１０、コンテンツ供給装置２０と通信を行う。
　表示部３０２は、映像信号に基づくコンテンツを表示する。表示部３０２は、例えば、液晶表示パネルである。ここでは、マルチディスプレイ３０には９台のディスプレイが含まれるが、説明を簡単にするために、１つの表示部３０２として９台のディスプレイをまとめて説明する。
　表示制御部３０３は、表示部３０２である液晶表示パネルを駆動する駆動回路を制御することで、記憶部３０６に記憶されるコンテンツを読み出して表示部３０２に表示する。

　カメラ３０４は、マルチディスプレイ３０の表示画面を視認可能な範囲を撮像する。
　視線検知部３０５は、カメラ３０４によって撮像された撮像画像に基づいて、撮像画像に含まれる人物（視聴者）を抽出し、その人物の視線を検知する。また、視線検知部３０５は、検知した視線に基づいて、人物の視線の動きや、マルチディスプレイ３０において人物が注視している位置を検出する。また、視線検知部３０５は、視線を検出した結果に基づいて、視線データを生成し、通信部３０１を介して監視装置１０に送信する。視線データは、表示装置の表示画面を視認することで表示装置に表示されたコンテンツを視聴する視聴者の視聴行動を表す。具体的には、視線データは、表示画面を視認する人物の視線を検知した結果に基づくデータであり、視線を検知した開始タイミングから測定終了タイミングまでの間におけるマルチディスプレイの表示画面における視認された位置を表すデータである。
　記憶部３０６は、コンテンツ供給装置２０から供給されたコンテンツを記憶する。
　制御部３０７は、マルチディスプレイ３０の各部を制御する。

　図３は、監視装置１０の構成を示す概略機能ブロック図である。
　監視装置１０は、通信部１０１、取得部１０２、記憶部１０３、判定部１０４、出力部１０５、制御部１０６を有する。
　通信部１０１は、ネットワークＮを介して、マルチディスプレイ３０と通信を行う。
　取得部１０２は、マルチディスプレイ３０から視線データを取得する。
　記憶部１０３は、取得部１０２が取得した視線データを記憶する。
　判定部１０４は、撮像データから判定される、複数の視聴者の視聴行動に基づいて、表示装置（マルチディスプレイ３０）に不具合があるか否かを判定する。例えば判定部１０４は、マルチディスプレイ３０から受信した視線データが示す視聴行動に基づいて、マルチディスプレイ３０に不具合が発生しているか否かを判定する。

　ここで、マルチディスプレイ３０における９台のディスプレイのうち１つのディスプレイ（例えば、ディスプレイ３０ｆ）の表示画面をＡとし、この表示画面Ａにおいて不具合が発生した場合し、コンテンツが非表示の状態（例えば、無信号状態となり全体的に黒い画面（黒画面））となった場合、表示画面Ａ以外については、１つのコンテンツを継続して表示できているため、表示画面Ａだけが黒いため、視聴者にとっては、表示画面Ａのみが特異に見える。そのため、大きな１つの画を８台のディスプレイの画面によって１つのコンテンツが表示されているのに対し、表示画面Ａのみが不具合によって黒画面となっているため、表示画面Ａが、唯一他と違う画像が個別で表示しており、他の８台の表示画面に比べて目立つ。
　そして、ディスプレイシステムの前を横切るように移動しながらマルチディスプレイ３０を視聴している視聴者は、このような表示状態のマルチディスプレイ３０を視認すると、表示画面Ａが目立つため、特別に表示画面Ａを注視してしまうことが予測される。これは、プレグナンツの法則の「類同の要因」に該当するともいえる。

　判定部１０４は、このような視聴者の視聴行動に基づいて、閲覧者が通常稼働中であるマルチディスプレイ３０によってコンテンツを閲覧するケースと、表示画面Ａに不具合が発生している状態のマルチディスプレイ３０によってコンテンツを閲覧するケースとを区別する方法について、それぞれの視線動作の特徴を利用して判定することができる。

　判定部１０４が行う判定には、主に次の２つがある。
（１）ディスプレイが通常稼働中のケースの閲覧者の視線特徴を用いた判定
（２）ディスプレイに異常状態が生じているケースの視聴者の視線特徴を用いた判定
　この２つの判定について説明する。

（１）ディスプレイが通常稼働中のケースの視聴者の視線特徴を用いた判定について
　ディスプレイが通常の稼働をしているケース（不具合が生じていないケース）における視聴者の視線の動きについては、例えば次のａ１、ａ２のような特徴がある。
（ａ１）１点を注視しない。コンテンツとして表示されたテロップや映像にあわせて、視聴者の視線は微動する。例えば、テロップの文字列を読み進めると、視線は移動する。また、コンテンツとして表示された映像において興味に応じて注視する点が変わる。
（ａ２）コンテンツを異なる視聴者が視聴する場合、初回の視線位置（最初に注視する位置）と一定時間後の視線位置とについては、視聴者毎に異なるため類似性がない。特に、コンテンツが動画である場合には、表示されたコンテンツに対して最初に注視した位置が異なるとともに、最初に注視した開始位置によっては、その後の視線の動きが異なる。

（２）ディスプレイに異常状態が生じているケースの視聴者の視線特徴を用いた判定について
　マルチディスプレイを構成する少なくとも１つのディスプレイに不具合が生じたケースにおける視聴者の視線の動きについては、例えば次のｂ１、ｂ２のような特徴がある。
（ｂ１）１点を注視する。
（ｂ２）コンテンツを異なる視聴者が視聴する場合、初回の視線位置（最初に注視する位置）と一定時間後の視線位置とについて、異なる視聴者において類似性がある。例えば、最初に注視する位置については、視聴者によって異なるものの、表示態様が特異なディスプレイが気になるため、その特異なディスプレイに視線を向けてしまう。そのため、一定時間後の視線位置は、異なる視聴者において類似性がある。
（ｂ３）上述のｂ１において、注視されるディスプレイは、不具合が生じているディスプレイである割合が高い。

　上述した条件ａ１について、たとえばマルチディスプレイのうち特定のディスプレイにだけ発売日などの文字情報が表示され、他のディスプレイに大きなキャラクターなどが表示されているコンテンツの場合などは、発売日を確認したい視聴者が複数人いる場合には、発売日が表示されたディスプレイを注視する視聴者の複数人について生じる可能性はある。しかし、コンテンツが動画である場合、キャラクターに視線を向けた後で発売日が表示されたディスプレイに視線を移す視聴者と、当該キャラクターの動きに応じてキャラクターに対して注視する位置が変わる視聴者などがいるため、注視する位置の変化の特徴に違いが生じる。そのため条件ａ２に基づいて、ディスプレイが通常稼働中であるか不具合が生じているかについて区別することができる。

　このような条件を考慮し、判定部１０４は、注視箇所（注視する位置）と、注視時間（同じ位置を継続して注視している時間）を含む視線データを検出した視線検知部３０５から取得し、視線データが取得された視聴者の人数が一定の数に到達した場合に、上述の条件および、条件に対して定められた基準値を用いて判定処理を行う。この判定処理を行うことで、ディスプレイに不具合が生じているか否かの状況を推定することができる。不具合があると判断された場合には、出力部１０５からにアラートメッセージを出力する。
　また、判定部１０４は、複数の視聴者が視認する位置であって、表示装置の表示画面における位置が、表示装置に表示する画像の変化にかかわらず、表示画面における特定の領域に集中する場合に、特定の領域に不具合があると判定してもよい。画像の変化とは、例えば、コンテンツを再生してから終了するまでの再生時間において、表示画面に表示されるコンテンツの画像が変化するか否かに基づくものである。例えば、コンテンツが静止画である場合、その静止画が表示されている間においては画像の変化はない。また、コンテンツが動画である場合、コンテンツの再生中においてシーンの切り替わりがない場合、コンテンツとして表示画面に表示された人物、景色、商品、文字列等について、動きがない、色の変化がない、ほとんど動かない場合等については、画像の変化がないといえる。
　また、特定の領域に集中する場合であるか否かについては、判定部１０４が、類似性があるか否かに基づいて判定してもよい。例えば、類似性がある場合には、特定の領域に集中していると判定し、類似性がない場合には、特定の領域に集中していないと判定してもよい。

　出力部１０５は、判定結果を出力する。例えば、出力部１０５は、判定結果においてディスプレイに不具合が発生していると判定された場合には、アラートを出力する。出力部１０５は、アラートを出力する場合、監視装置１０Ａに内蔵された表示装置または監視装置１０の外部に設けられた表示装置に、アラートを表す画面を表示する。また、出力部１０５は、ディスプレイの管理者またはディスプレイの使用者が携帯する端末装置（例えば、スマートフォン等）にアラートを送信し、アラート画面を表示させる、または、アラート音を放音させる。
　制御部１０６は、監視装置１０の各部を制御する。

　図４は、監視装置１０の動作を説明するフローチャートである。
　マルチディスプレイ３０は、カメラ３１によって撮像する。視線検知部３０５は、撮像画像から人物が抽出されると、その人物の視線を検知し、視線を検知したタイミングから測定対象時間（ここでは例えば１５秒）の間の視線の位置を表す視線データを生成し、監視装置１０に送信する。視線検知部３０５は、撮像画像から抽出される人物のそれぞれについて、視線検知処理を行い、視線データが生成される毎に、視線データを監視装置１０に送信する。

　監視装置１０の取得部１０２は、マルチディスプレイ３０から視線データが送信されると、視線データを受信（取得）する（ステップＳ１０１）。記憶部１０３は、取得された視線データを記憶する。判定部１０４は、受信した視線データの数が判定対象人数に到達したかを判定し（ステップＳ１０２）、判定対象人数に達していなければ（ステップＳ１０２－ＮＯ）、処理をステップＳ１０１に移行する。ここで判定対象人数は、２以上であれば任意の数であってよいが、ここでは、複数の視聴者の視聴行動の傾向を把握できる程度の人数であることが好ましく、例えば１０人である。

　ステップＳ１０２において、判定部１０４は、受信した視線データの数が判定対象人数に達している場合には（ステップＳ１０２－ＹＥＳ）、１つのディスプレイを注視した時間が基準時間以上である視線データがあるかを判定する（ステップＳ１０３）。基準時間は、測定対象時間よりも短い時間であって、ディスプレイのいずれかの位置に継続して視線を向けていると把握可能な程度の時間であることが好ましく、例えば１秒である。
　判定部１０４は、１０人分の視線データに、１秒以上同じ位置に視線を向けていることを示す視線データが無い場合（ステップＳ１０３－ＮＯ）、ディスプレイが通常稼働している状態であると判定する（ステップＳ１０４）。このようなケースは、１０人の視聴者の中に、ディスプレイの特定の位置を１秒以上継続して注視する人がいなかったと推定される。また、この場合、上述の条件ａ１を満たすと推定される。この場合、取得部１０２は、視線データの取得処理を行う（ステップＳ１０１）。

　ステップＳ１０３において、判定部１０４は、１０人分の視線データに、１秒以上同じ位置に視線を向けていることを示す視線データがある場合（ステップＳ１０３－ＹＥＳ）、処理をステップＳ１０５に移す。そして判定部１０４は、視線データに基づく視線動作について、類似性がある視線データがあるか否かを判定する（ステップＳ１０５）。例えば、判定部１０４は、最初に注視した位置から一定時間後の視線位置への動きについて、１０人分の視線データをそれぞれ比較し、少なくとも一定時間後の視線位置が同じ位置または一定の範囲内にある場合には、類似性がある視線データであると判定し、一定時間後の視線位置が同じ位置にはない場合には、類似性がないと判定する。

　判定部１０４は、視線データに基づく視線動作について、類似性がある視線データがない場合（ステップＳ１０５－ＮＯ）、ディスプレイが通常稼働している状態であると判定する（ステップＳ１０４）。この場合、特定の視聴者のみがディスプレイの特定位置を注視しただけであり、不具合等に起因して注視したものではないと推できる。

　一方、判定部１０４は、視線データに基づく視線動作について、類似性がある視線データがある場合（ステップＳ１０５－ＹＥＳ）、類似性のある視線データが基準人数の数を超えているか否かを判定する（ステップＳ１０６）。基準人数は、ステップＳ１０２における所定人数よりも少ない数であって、視聴傾向に共通性があると推定可能な程度の人数であればよく、例えば６人である。
　ステップＳ１０６において、判定部１０４は、類似性のある視線データが基準人数の数を超えていない場合には（ステップＳ１０６－ＮＯ）、ディスプレイが通常稼働している状態であると判定する（ステップＳ１０４）。この場合、数人の視聴者が同じような位置を注視したが、興味を引くような内容が表示されていた箇所を注視する視聴者が数人いたと推定できる。

　ステップＳ１０６において、判定部１０４は、類似性のある視線データが基準人数の数を超えている場合には（ステップＳ１０６－ＹＥＳ）、ディスプレイに不具合が発生したと判定する（ステップＳ１０７）。
　ディスプレイに不具合が発生したと判定されると、出力部１０５は、アラートを出力する（ステップＳ１０８）。

　このようにして、マルチディスプレイ３０に設けられたカメラから視聴者を撮影し、マルチディスプレイ３０に対する視聴者の視聴行動に基づいて、ディスプレイに不具合が発生しているか否かを判定することができる。

　次に、他の実施形態における監視装置１０Ａについて説明する。
　図５は、他の実施形態における監視装置１０Ａの構成を示す概略機能ブロック図である。この図において、図３の監視装置１０と同じ機能については図３と同じ符号を付し、その説明を省略する。この監視装置１０Ａは、図１における監視装置１０の代わりに遠隔制御システムＳに設けることができる。
　取得部１０２Ａは、マルチディスプレイ３０を視認可能な場所を撮像するカメラ３０４から撮像データを取得する。
　記憶部１０３Ａは、学習済みモデルを記憶する。

　学習済モデルは、学習モデルに教師あり学習を実行することにより作成されたモデルである。学習済モデルは、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、ディスプレイに不具合があるか否かを示すラベルデータとを用いて、視認データとディスプレイに不具合があるか否かとの関係性を表す条件を学習したモデルである。
　視認データは、例えば、撮像データであってもよいし、視認位置と継続時間とを表す停留データであってもよい。

　撮像データは、ディスプレイを視認可能な場所を撮像したデータであり、例えば、カメラ３１から得られる撮像データが用いられる。この撮像データには、ディスプレイを視認する視聴者が含まれており、視聴者がディスプレイの表示画面のうちどの位置を視認しているかを把握することが可能である。
　撮像データは、監視する対象のマルチディスプレイと同じ型式、または縦方向と横方向に並べられたディスプレイの数が同じマルチディスプレイに取り付けられたカメラから得られる撮像データであってもよい。

　停留データは、視聴者が視認する位置であり表示装置の表示画面における位置を示す視認位置と、当該視認位置に視線を継続して向けた時間である継続時間とを含むデータである。
　停留データを得る方法としては、例えば、撮像データに基づいて、視聴者が視認する視認位置が継続する時間を視認位置毎に計測することで得る方法がある。また、停留データを得る他の方法としては、撮像データを入力することで、視認位置と継続時間とを得ることができる学習済みモデルに、カメラ３１から得られる撮像データを入力することで、視認位置と継続時間とを得る方法がある。

　学習済モデルは、入力された視認データに基づいて、監視対象のマルチディスプレイにおいて不具合が発生したか否かを予測できるように学習する。
　学習済みモデルは、ディスプレイを視認可能な場所を撮像した撮像データと、表示装置に不具合があるか否かを示すデータとを用いて、撮像データと表示装置に不具合があるか否かとの関係性を表す条件を学習した第１学習済みモデルがある。

　また、学習済みモデルは、視聴者が視認する位置であり表示装置の表示画面における位置を示す視認位置と、当該視認位置に視線を継続して向けた時間である継続時間との組み合わせである停留データと、表示装置に不具合があるか否かとの関係性を表す条件を学習した第２学習済みモデルとがある。
　なお、学習済モデルは、不具合が発生したか否かを予測してもよいし、不具合が発生した度合いを確率などにより予測してもよい。

　学習済モデルへ学習させるモデル（学習モデル）は、任意の機械学習の手法が適用されたモデルであってよい。例えば、学習モデルは、画像を認識して分類する画像分類モデルとして知られているＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）等による深層学習（ディープラーニング）のモデルであってもよい。

　判定部１０４Ａは、撮像データを記憶部１０３Ａに記憶された学習済みモデルに入力することで、マルチディスプレイ３０に不具合があるか否かの判定結果を得る。すなわち、判定部１０４Ａは、複数の視聴者が視認する位置であって、前記表示装置の表示画面における位置を把握可能な視認データと、表示装置に不具合があるか否かを示すデータとを用いて前記視認データと表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、視認データを入力することで、表示装置に不具合があるか否かの判定結果を得る。
　判定部１０４Ａは、第１学習済みモデルまたは、第２学習済みモデルのいずれか一方を用いて、表示装置に不具合があるか否かを判定してもよい。
　判定部１０４Ａは、第１学習済みモデルを用いる場合、外部から得られる撮像データを、第１学習済みモデルに入力し、表示装置に不具合があるか否かの結果を得ることで、表示装置に不具合があるか否かを判定する。

　また、判定部１０４Ａは、第２学習済みモデルを用いる場合、撮像データに基づいて得られる停留データを、第２学習済みモデルに入力し、表示装置に不具合があるか否かの結果を得ることで、表示装置に不具合があるか否かを判定する。
　第２学習済みモデルを用いる場合、判定部１０４Ａは、監視装置１０Ａの外部に設けられる計測装置であって、撮像データから停留データを得る計測装置から、停留データを取得してもよい。また、このような計測装置の計測機能が監視装置１０Ａに設け、その計測機能から停留データを得るようにしてもよい。

　また、第２学習済みモデルを用いる場合、判定部１０４Ａは、停留データを、撮像データを入力することで、視認位置と継続時間とを得ることができる第３学習済みモデルに入力することで得るようにしてもよい。第３学習済みモデルは、撮像データと、視認位置及び継続時間との関係を学習した学習済みモデルである。第３学習済みモデルを用いて停留データを得る機能は、外部の装置に設けられ、判定部１０４Ａが、その停留データを取得するようにしてもよいし、監視装置１０Ａの内部に設けられ、判定部１０４Ａがその第３学習済みモデルから停留データを得るようにしてもよい。この場合、監視装置１０Ａでは、撮像データから第３学習済みモデルを用いて停留データを取得し、停留データを第２学習済みモデルに入力することで、表示装置に不具合があるか否かの判定をする。そのため、監視装置１０Ａにおいては、学習済みモデルを２段階で利用することで、表示装置に不具合があるか否かを判定する。

　出力部１０５Ａは、判定部１０４Ａの判定結果に基づいてアラート信号を出力する。

　図６は、学習装置５０の機能を表す概略機能ブロック図である。
　学習装置５０は、入力部５０１、学習部５０２、出力部５０３を有する。
　入力部５０１は、表示装置を視認可能な場所を撮像した撮像データと、表示装置に不具合があるか否かを表すラベルデータとが対応付けられた教師データを取得する。この教師データは、例えば、マルチディスプレイにおいて不具合が発生している場合における視聴者の視聴行動（視線の動きなど）と、不具合が発生していることを表すラベルデータとが対応付けられた第１教師データ、マルチディスプレイにおいて不具合が発生していない場合における視聴者の視聴行動と、不具合が発生していないことを表すラベルデータとが対応付けられた第２教師データとが含まれる。第１教師データと第２教師データは、それぞれ、異なる場面や異なる時刻における得られた大量のデータであることが望ましい。

　例えば、学習装置５０の入力部５０１は、表示装置に不具合が発生していない状態において、表示装置を視認可能な場所をカメラによって撮像することで、不具合が発生していない状態における視聴者の視聴行動を撮像した撮像データを収集する。そして、学習部５０２は、この撮像データに対し、不具合が発生していないことを示すラベルデータを付与する。ここでは、視聴者毎に異なる撮像データを取得することで、複数の撮像データを収集し、それぞれにラベルデータを付与し、教師データを生成する。
　そして不具合が発生した場合には、入力部５０１は、不具合が発生している期間においてカメラによって撮像された視聴者の視聴行動を撮像した撮像データを抽出する。学習部５０２は、この撮像データに対して、不具合が発生していることを示すラベルデータを付与し、教師データを生成する。
　そして学習部５０２は、生成された教師データを用いて学習する。

　学習部５０２は、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、ディスプレイに不具合があるか否かを示すデータとを用いて、視認データとディスプレイに不具合があるか否かとの関係性を表す条件を学習することによって学習済みモデルを生成する。学習部５０２が生成する学習済みモデルは、上述の第１学習済みモデル、第２学習済みモデル、第３学習済みモデル、のいずれか１つまたは複数であってもよい。

　出力部５０３は、学習部５０２によって生成された学習済みモデルを外部の装置に出力する。例えば、出力部は５０３、学習済みモデルを、監視装置１０Ａに出力する。この場合、学習装置５０の出力部５０３と監視装置１０Ａとが、通信ケーブルまたは通信ネットワーク等を介して通信可能に接続されており、学習装置５０の出力部５０３から監視装置１０Ａに学習済みモデルであるデータを送信することで出力する。

　図７は、監視装置１０Ａの動作を説明するフローチャートである。
　監視装置１０Ａの取得部１０２Ａは、マルチディスプレイ３０のカメラ３１から撮像データを取得する（ステップＳ２０１）。
　判定部１０４Ａは、取得した撮像データを学習済みモデルに入力し（ステップＳ２０２）、学習済みモデルから判定結果を取得する（ステップＳ２０３）。そして判定部１０４Ａは、判定結果が、ディスプレイに不具合が発生していることを表しているか否かを判定する（ステップＳ２０４）。
　判定部１０４Ａは、学習済みモデルから得られた判定結果が、ディスプレイに不具合が発生していることを表していない場合に（ステップＳ２０４－ＮＯ）、処理をステップＳ２０１に進め、学習済みモデルから得られた判定結果が、ディスプレイに不具合が発生していることを表す場合に（ステップＳ２０４－ＹＥＳ）、出力部１０５Ａによって、アラートを出力させる（ステップＳ２０５）。

　以上説明した実施形態では、監視対象が、マルチディスプレイ３０である場合について説明したが、監視対象は、マルチディスプレイに限られるものではなく、カメラが備えられるものであれば、複数の表示装置が隣接または近い位置に並べられたディスプレイ群であってもよいし、デジタルサイネージであってもよい。この場合のディスプレイ群は、それぞれのディスプレイが１つのコンテンツを表示していてもよい。また、複数のプロジェクタによって投射される画面が隣接するようにし、これら複数の投射画面を用いて１つのコンテンツを表示するマルチ表示システムにも適用することができる。

　図８は、他の実施形態における監視装置１０Ｂの構成を示す概略機能ブロック図である。
　監視装置１０Ｂは、取得部１０２Ｂ、判定部１０４Ｂを含む。
　取得部１０２Ｂは、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得する。この場合のカメラとしては、表示装置に取り付けられカメラを用いることができる。判定部１０４Ｂは、複数の視聴者が視認する位置であって、前記表示装置の表示画面における位置を把握可能な視認データと、表示装置に不具合があるか否かを示すデータとを用いて、前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、前記取得部によって取得された視認データを入力することで、前記表示装置に不具合があるか否かの判定結果を得る。視認データは、例えば、表示装置の表示画面におけるどの位置に視聴者が視線を向けているか、または、どの位置を見ているかを把握可能なデータを含む。例えば、複数の視聴者が表示画面の同じ位置を見ている傾向がある場合には、表示画面におけるその位置において不具合が発生していると判定することができる。

　図９は、他の実施形態における監視装置１０Ｃの構成を示す概略機能ブロック図である。
　監視装置１０Ｃは、取得部１０２Ｃ、判定部１０４Ｃ、出力部１０５Ｃを有する。
　取得部１０２Ｃは、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得する。
　判定部１０４Ｃは、複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、表示装置に不具合があるか否かを示すデータとを用いて視認データと表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、視認データを入力することで、表示装置に不具合があるか否かの判定結果を得る。
　出力部１０５Ｃは、判定結果に応じてアラート信号を出力する。

　以上説明した実施形態において、記憶部１０３、記憶部１０３Ａ、記憶部３０６は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　ｒｅａｄ／ｗｒｉｔｅ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
　これらの記憶部は、例えば、不揮発性メモリを用いることができる。

　また、以上説明した実施形態において、取得部１０２、取得部１０２Ａ、判定部１０４、判定部１０４Ａ、制御部１０６、表示制御部３０３、視線検知部３０５、制御部３０７、入力部５０１、学習部５０２は、例えばＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成されてよい。

　また、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより施工管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記のプログラムを所定のサーバに記憶させておき、他の装置からの要求に応じて、当該プログラムを通信回線を介して配信（ダウンロード等）させるようにしてもよい。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　１０，１０Ａ，１０Ｂ，１０Ｃ・・・監視装置、２０・・・コンテンツ供給装置、３０・・・マルチディスプレイ、３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ，３０ｆ，３０ｇ，３０ｈ，３０ｉ・・・ディスプレイ、３１・・・カメラ、５０・・・学習装置、１０１・・・通信部、１０２，１０２Ａ，１０２Ｂ，１０２Ｃ・・・取得部、１０３，１０３Ａ，３０６・・・記憶部、１０４，１０４Ａ，１０４Ｂ，１０４Ｃ・・・判定部、１０５，１０５Ａ，１０５Ｃ，５０３・・・出力部、１０６，３０７・・・制御部、３０１・・・通信部、３０２・・・表示部、３０３・・・表示制御部、３０４・・・カメラ、３０５・・・視線検知部、５０１・・・入力部、５０２・・・学習部

Claims

　表示装置を視認可能な場所を撮像するカメラから撮像データを取得する取得部と、
　前記撮像データから判定される、複数の視聴者の視聴行動に基づいて、前記表示装置に不具合があるか否かを判定する判定部と、
　を有する監視装置。
　前記判定部は、
　前記複数の視聴者の視聴行動として判定される、前記複数の視聴者が視認する位置であって、前記表示装置の表示画面における位置に基づいて、前記表示装置に不具合があるか否かを判定する
　請求項１に記載の監視装置。
　前記判定部は、
　前記複数の視聴者が視認する位置であって、前記表示装置の表示画面における位置が、前記表示装置に表示する画像の変化にかかわらず、前記表示画面における特定の領域に集中する場合に、前記特定の領域に不具合があると判定する
　請求項２に記載の監視装置。
　前記判定部は、前記視聴者が視認する前記表示画面の位置の履歴に基づいて、類似性があるか否かを判定し、その判定結果に基づいて、前記表示装置に不具合があるか否かを判定する
　請求項２に記載の監視装置。
　前記判定部は、前記視聴者によって第１の位置が視認された後に視認される第２の位置に類似性があるか否かを判定する
　請求項４に記載の監視装置。
　前記判定部は、前記類似性があるとされた視聴者の人数が基準人数に達したか否かに基づいて前記表示装置に不具合があるか否かを判定する
　請求項５に記載の監視装置。
　前記取得部は、前記表示装置に取り付けられたカメラから当該表示装置の表示画面に表示されるコンテンツを視認する視聴者が撮像された画像を取得する
　請求項１から請求項６のうちいずれか１項に記載の監視装置。
　複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得する取得部と、
　前記視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて、前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、前記取得部によって取得された視認データを入力することで、前記表示装置に不具合があるか否かの判定結果を得る判定部と
　を有する監視装置。
　複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて、前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習する学習装置。
　表示装置を視認可能な場所を撮像するカメラから撮像データを取得し、
　前記撮像データから判定される、複数の視聴者の視聴行動に基づいて、前記表示装置に不具合があるか否かを判定する
　監視方法。
　複数の視聴者が視認する位置であって、表示装置の表示画面における位置を把握可能な視認データを取得し、
　前記視認データと、前記表示装置に不具合があるか否かを示すデータとを用いて前記視認データと前記表示装置に不具合があるか否かとの関係性を表す条件を学習した学習済みモデルに、前記視認データを入力することで、前記表示装置に不具合があるか否かの判定結果を取得し、
　前記判定結果に応じてアラート信号を出力する
　監視方法。