JP7517422B2 - 会話監視装置、制御方法、及びプログラム - Google Patents

Description

本発明は、複数の人物による会話を検出する技術に関する。

感染症の感染拡大を予防する観点などから、近距離で長時間の会話が行われることを避けることが好ましい状況が存在する。そこで、近距離で長時間会話が行われている状況を検出するシステムが開発されている。例えば特許文献１は、施設に設置されたカメラから得られる画像を利用して、居住者と来訪者が所定時間以上会話を行ったことを検出し、当該検出に応じて、感染症に感染する危険性が高いことを通知する技術を開示している。ここで、特許文献１では、近距離で向かい合っている状態が、会話をしている状態として検出される。また、一時的に近距離で向かい合っている状態ではなくなっても、その後に再度近距離で向かい合っている状態となった場合には、会話が継続しているものとして扱われる。

国際公開第２０１９／２３９８１３号

特許文献１のシステムでは、一度の会話の時間が所定時間以上となった場合に通知が行われる。しかしながら、複数の人物による会話が好ましくないケースは、一度の会話が長時間であるケースに限定されない。

本発明は上記の課題に鑑みてなされたものであり、その目的の一つは、会話が行われている状況をより広範に検出する技術を提供することである。

本開示の会話監視装置は、監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録部と、前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定部と、を有する。

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、を有する。

本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

本発明によれば、会話が行われている状況をより広範に検出する技術が提供される。

実施形態１の会話監視装置の概要を例示する図である。 会話監視装置の機能構成を例示する図である。 会話監視装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 移動型ロボットのハードウエア構成を例示するブロック図である。 実施形態１の会話監視装置によって実行される処理の流れを例示する第１のフローチャートである。 実施形態１の会話監視装置によって実行される処理の流れを例示する第２のフローチャートである。 会話情報の構成をテーブル形式で例示する図である。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

図１は、実施形態１の会話監視装置（後述する図２の会話監視装置２０００）の概要を例示する図である。なお、図１を参照して行う以下の説明は、実施形態１の会話監視装置２０００についての理解を容易にするためのものであり、実施形態１の会話監視装置２０００の動作は以下で説明するものに限定されない。

会話監視装置２０００は、ビデオデータ３２を解析することで、複数の人物１０が所定距離 L1 以内で会話をしている状況を検出する。ビデオデータ３２は、所定の監視領域内を撮像するカメラ３０によって生成される。監視領域は、オフィスなどといった任意の場所とすることができる。また、監視領域は、屋外であってもよい。以下、所定距離 L1 以内で会話をしていると検出された複数の人物１０の組みを、人物グループ４０と呼ぶ。

カメラ３０は、特定の場所に固定されているカメラ（以下、固定カメラ）であってもよいし、監視領域内を移動する移動型ロボットに設けられるカメラ（以下、移動カメラ）であってもよい。固定カメラは、例えば、天井や壁に設けられている監視カメラなどである。

監視領域には、複数のカメラ３０が設けられていてもよい。例えば、複数の固定カメラが、監視領域に含まれるそれぞれ異なる場所を撮像するように設けられる。その他にも例えば、固定カメラを設けず、移動カメラを複数設けてもよい。その他にも例えば、固定カメラと移動カメラをそれぞれ１つ以上設けてもよい。なお、移動カメラを複数設ける場合、移動カメラが設けられている移動型ロボットが、監視領域内に複数設けられる。

会話監視装置２０００は、人物グループ４０の会話時間（会話の継続時間）を特定する。そして、会話監視装置２０００は、人物グループ４０の識別情報と、人物グループ４０の会話時間との対応付けを表す情報（以下、会話情報）を生成し、記憶装置に格納する。

会話時間の特定は、ビデオデータ３２を解析することで行われてもよいし、その他のデータを利用して行われてもよい。後者の場合、例えば、人物グループ４０の会話時間の特定は、移動型ロボットに設けられているカメラから得られるビデオデータや、移動型ロボットに設けられているマイクロフォンから得られる音声データを利用して行われる。

会話監視装置２０００は、会話情報を利用し、人物グループ４０について、所定期間内における当該人物グループ４０の会話時間の合計値（例えば、同一の日に行われた会話の合計時間）が、閾値以上であるか否かを判定する。そして、会話時間の合計値が閾値以上であると判定された場合、会話監視装置２０００は、所定の対処処理（例えば、人物グループ４０に対する警告処理）を行う。

＜作用効果の一例＞
感染症の感染拡大防止という観点などのからは、複数の人物１０が近距離で会話を行う場合、たとえ一回当たりの会話時間が短くても、特定の期間（例えば同一の日）に行われた会話の合計時間が長時間となることは好ましくない。この点、本実施形態の会話監視装置２０００によれば、「同一の日」などといった所定期間内について、人物グループ４０が所定距離以内で行った会話の合計時間が算出され、当該合計時間が閾値以上であるか否かが判定される。そのため、所定距離以内に位置する複数の人物１０について、一度の会話が長いケースだけでなく、所定期間内に行われた会話の合計時間が長いケースも検出することができる。よって、複数の人物１０によって行われる会話が長時間となるケースをより広範に検出することができる。

以下、本実施形態の会話監視装置２０００について、より詳細に説明する。

＜機能構成の例＞
図２は、会話監視装置２０００の機能構成を例示する図である。会話監視装置２０００は、記録部２０２０及び判定部２０４０を有する。記録部２０２０は、ビデオデータ３２を用いて、所定距離以内で会話をしている人物グループ４０を検出する。記録部２０２０は、検出した人物グループ４０についてその会話時間を特定する。記録部２０２０は、特定した会話時間が人物グループ４０の識別情報と対応づけて示されている会話情報６０を、記憶装置５０に格納する。判定部２０４０は、会話情報６０を利用して、人物グループ４０が行った複数の会話の合計時間を算出し、当該合計時間が閾値以上であるか否かを判定する。

＜ハードウエア構成の例＞
会話監視装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、会話監視装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、会話監視装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。その他にも例えば、コンピュータ５００は、移動型ロボットに内蔵されているコントローラ（後述するコントローラ６００）であってもよい。この場合、会話監視装置２０００が移動型ロボットとして実現されることとなる（すなわち、移動型ロボットが会話監視装置２０００としての機能も兼ね備えることとなる）。コンピュータ５００は、会話監視装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、会話監視装置２０００の各機能が実現される。上記アプリケーションは、会話監視装置２０００の機能構成部を実現するためのプログラムで構成される。

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース５１２は、コンピュータ５００を無線ネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。例えばコンピュータ５００は、ネットワークインタフェース５１２及び無線ネットワークを介して、移動型ロボット２０と通信可能に接続されている。

ストレージデバイス５０８は、会話監視装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、会話監視装置２０００の各機能構成部を実現する。

また、ストレージデバイス５０８には、会話情報６０が格納されてもよい。この場合、記憶装置５０は、ストレージデバイス５０８によって実現される。ただし、記憶装置５０は、ストレージデバイス５０８以外の記憶装置（例えば、コンピュータ５００の外部にもうけられている記憶装置）で実現されてもよい。

会話監視装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

また、１つの監視領域に対して複数の会話監視装置２０００が設けられてもよい。例えば、１つの監視領域に複数の移動型ロボットを導入し、各移動型ロボットが会話監視装置２０００として動作するようにする。

また、複数の移動型ロボットそれぞれにおいて記録部２０２０のみを実現し、判定部２０４０についてはその他のコンピュータ（例えば、サーバ装置）で実現するようにしてもよい。この場合、例えば、複数の移動型ロボットそれぞれが、監視領域を巡回しながら人物グループ４０を検出し、検出した人物グループ４０についての会話時間を記憶装置５０に格納していく。そして、サーバ装置は、移動型ロボットを利用して収集された会話時間を人物グループ４０ごとに集計して、閾値と比較していく。

＜移動型ロボットのハードウエア構成の例＞
図４は、移動型ロボットのハードウエア構成を例示するブロック図である。移動型ロボット２０は、カメラ２２、マイクロフォン２４、アクチュエータ２６、移動手段２７、及びコントローラ６００を有する。移動型ロボット２０は、アクチュエータ２６の出力に応じて移動手段２７が動作することによって移動する。例えば移動手段２７は、車輪などのような、走行を実現する手段である。この場合、移動型ロボット２０は、監視領域内を走行して移動する。その他にも例えば、移動手段２７は、プロペラのように、飛行を実現する手段でもよい。この場合、移動型ロボット２０は、監視領域内を飛行して移動する。アクチュエータ２６の出力は、コントローラ６００によって制御される。

コントローラ６００は任意のコンピュータであり、例えば SoC（System on a Chip）や SiP（System in a Package）などの集積回路で実現される。その他にも例えば、コントローラ６００は、スマートフォンなどの携帯端末で実現されてもよい。コントローラ６００は、バス６０２、プロセッサ６０４、メモリ６０６、ストレージデバイス６０８、入出力インタフェース６１０、及びネットワークインタフェース６１２を有する。バス６０２、プロセッサ６０４、メモリ６０６、ストレージデバイス６０８、入出力インタフェース６１０、及びネットワークインタフェース６１２はそれぞれ、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２と同様の機能を有する。

＜処理の流れ＞
図５は、実施形態１の会話監視装置２０００によって実行される処理の流れを例示する第１のフローチャートである。記録部２０２０は、ビデオデータ３２を利用して、人物グループ４０（所定距離以内で会話をしている複数の人物）を検出する（Ｓ１０２）。記録部２０２０は、人物グループ４０の会話時間を特定する（Ｓ１０４）。記録部２０２０は、人物グループ４０の識別情報と会話時間を表す会話情報６０を生成して、記憶装置５０に格納する（Ｓ１０６）。

図６は、実施形態１の会話監視装置２０００によって実行される処理の流れを例示する第２のフローチャートである。判定部２０４０は、会話情報６０を利用して、所定期間内に人物グループ４０が行った複数の会話の合計時間を算出する（Ｓ２０２）。判定部２０４０は、算出した合計時間が閾値以上であるか否かを判定する（Ｓ２０４）。合計時間が閾値以上である場合（Ｓ２０４：ＹＥＳ）、会話監視装置２０００は、所定の対処処理を実行する（Ｓ２０６）。一方、合計時間が閾値以上でない場合（Ｓ２０４：ＮＯ）、図６の処理は終了する。

＜人物グループ４０の検出：Ｓ１０２＞
記録部２０２０は、ビデオデータから複数の人物１０を検出し、これらの人物１０同士の距離が所定距離 L1 以下であることを特定することにより、これらの人物１０を人物グループ４０として検出する。

ここで、人物１０同士の距離が所定距離 L1 以下であることを特定する方法は様々である。例えば、記録部２０２０は、ビデオデータ３２を解析し、当該ビデオデータ３２から複数の人物１０を検出する。複数の人物１０が検出されたら、記録部２０２０は、プロジェクタを制御して、特定の距離を表す画像（以下、距離画像）を地面に投射させる。ここで、距離画像は、検出した複数の人物１０と距離画像の双方をカメラ３０の撮像範囲に含めることができる位置に投射される。距離画像が表す距離は、例えば、前述した所定距離 L1 である。なお、プロジェクタは、固定の場所（例えば天井など）に設置されてもよいし、移動型ロボットに搭載されていてもよい。

記録部２０２０は、距離画像の投射後にカメラ３０によって生成されるビデオデータから、複数の人物１０と距離画像を検出し、人物１０同士の距離を距離画像のサイズ（すなわち、画像上の所定距離 L1）と比較する。人物１０同士の距離が距離画像のサイズより小さい場合、記録部２０２０は、これらの人物１０を人物グループ４０として検出する。

なお、人物１０同士の距離が所定距離 L1 以下であることを特定する方法は、上述の方法に限定されず、その他の既存の技術を利用してもよい。

＜人物グループ４０の会話時間の特定：Ｓ１０４＞
記録部２０２０は、ビデオデータ３２から検出された人物グループ４０について、会話時間の特定を行う（Ｓ１０４）。そのために、記録部２０２０は、人物グループ４０について、会話の開始と終了を検出する。会話の開始と終了の検出は、ビデオデータ３２を用いて行われてもよいし、ビデオデータ３２以外を用いて行われてもよい。以下、まずはビデオデータ３２を用いて会話の開始と終了を検出するケースについて説明し、その後に、ビデオデータ３２以外を利用するケースについても説明する。なお、会話の有無を判定する方法（ビデオフレーム等が、会話をしている人物グループ４０と会話をしていない人物グループ４０のどちらを表しているのかを判定する方法）の詳細については後述する。

例えば記録部２０２０は、ビデオデータ３２を構成するビデオフレームを、生成された時点が早い順に解析していくことで、会話をしている状態の人物グループ４０を表すビデオフレームを検出する。そして記録部２０２０は、当該ビデオフレームの生成時点を、会話の開始時点として特定する。

さらに記録部２０２０は、ビデオデータ３２を構成するビデオフレームのうち、会話の開始時点以降に生成されたビデオフレームの中から、会話をしていない状態の人物グループ４０を表すビデオフレームを検出する。そして記録部２０２０は、当該ビデオフレームの生成時点を、会話の終了時間として特定する。

なお、後述するように、各人物１０の動きに基づいて会話の有無を判定する場合、１つのビデオフレームではなく、ビデオフレーム列（時系列で連続する複数のビデオフレームの組み）を利用して、会話の有無を判定してもよい。この場合、記録部２０２０は、会話をしている状態の人物グループ４０を表すビデオフレーム列を検出することで、会話の開始を検出する。そしてこの場合、記録部２０２０は、当該ビデオフレーム列に含まれるビデオフレームの生成時点に基づいて、会話の開始時間を特定する。例えば記録部２０２０は、上記ビデオフレーム列の先頭のビデオフレーム（最も早く生成されたビデオフレーム）の生成時点を、会話の開始時点として特定する。なお、ビデオデータをビデオフレーム列に分ける際、時系列で隣接するビデオフレーム列は、その一部が互いに重複してもよい。

同様に、記録部２０２０は、会話をしていない状態の人物グループ４０を表すビデオフレーム列を検出することで、会話の終了を検出する。そしてこの場合、記録部２０２０は、当該ビデオフレーム列に含まれるビデオフレームの生成時点に基づいて、会話の終了時間を特定する。例えば記録部２０２０は、上記ビデオフレーム列の末尾のビデオフレーム（最も遅く生成されたビデオフレーム）の生成時点を、会話の終了時点として特定する。

また、記録部２０２０は、会話の開始を検出する際、人物グループ４０が会話をしている状態がある程度の時間継続した場合のみ、会話が開始したと判定してもよい。例えば記録部２０２０は、会話をしている状態の人物グループ４０を表すビデオフレーム又はビデオフレーム列が所定数以上連続して検出された場合に、人物グループ４０において会話が開始したと判定する。一方、会話をしている状態の人物グループ４０を表すビデオフレーム又はビデオフレーム列が検出されても、連続して検出されたそれらの数が所定数未満であった場合、人物グループ４０において会話が開始していないと判定する。

同様に、記録部２０２０は、会話の終了を検出する際、人物グループ４０が会話をしていない状態がある程度の時間継続した場合のみ、会話が終了したと判定してもよい。例えば記録部２０２０は、会話をしていない状態の人物グループ４０を表すビデオフレーム又はビデオフレーム列が所定数以上連続して検出された場合に、人物グループ４０において会話が終了したと判定する。一方、会話をしていない状態の人物グループ４０を表すビデオフレーム又はビデオフレーム列が検出されても、連続して検出されたそれらの数が所定数未満であった場合、人物グループ４０において会話が終了していないと判定する。

ビデオデータ３２以外を利用して会話の開始と終了を検出する場合、例えば記録部２０２０は、移動型ロボット２０に設けられているカメラ２２から得られるビデオデータ２３（図示せず）、又は移動型ロボット２０に設けられているマイクロフォン２４から得られる音声データ２５（図示せず）を利用する。ここで、ビデオデータ２３を利用して会話の開始と終了を検出する方法は、ビデオデータ３２を利用して会話の開始と終了を検出する方法と同様である。

音声データ２５を利用する場合、記録部２０２０は、音声データ２５を複数の音声フレームに分割し、生成時点が早い音声フレームから順に解析していく。記録部２０２０は、会話をしている状態の人物グループ４０を表す音声フレームを検出することで、会話の開始を検出する。この場合、例えば記録部２０２０は、当該音声フレームの開始時点を、会話の開始時点として特定する。なお、音声データを音声フレームに分ける際、時系列で隣接する音声フレームは、その一部が互いに重複してもよい。

同様に、記録部２０２０は、会話の開始時点以降に生成された音声フレームの中から、会話をしていない状態の人物グループ４０を表す音声フレームを検出することで、会話の終了を検出する。そしてこの場合、例えば記録部２０２０は、当該音声フレームの生成時点を、会話の終了時点として特定する。

＜会話の有無を判定する方法＞
記録部２０２０は、各ビデオフレーム等について、人物グループ４０が会話をしている状態と、人物グループ４０が会話をしていない状態のどちらを表しているのかを判定する。以下、ビデオデータと音声データのそれぞれについて、その判定方法を例示する。

＜＜ビデオデータについて会話の有無を判定する方法＞＞
＜＜＜口の動きに基づく判定＞＞＞
例えば記録部２０２０は、ビデオデータから得られる各ビデオフレーム列について、人物グループ４０に含まれる各人物１０が口を動かしているか否かを判定する。例えば記録部２０２０は、ビデオフレーム列において、人物グループ４０に含まれる複数の人物１０のうち、誰か一人でも口を動かしていたら、当該ビデオフレーム列が、会話を行っている状態の人物グループ４０を表していると判定する。一方、ビデオフレーム列において、人物グループ４０に含まれる各人物１０のいずれもが口を動かしていない場合、記録部２０２０は、当該ビデオフレーム列が、会話を行っていない状態の人物グループ４０を表していると判定する。

なお、記録部２０２０は、人物グループ４０に含まれる複数の人物１０のうち、口を動かしている人物１０のみによって会話が行われていると判定してもよい。この場合、記録部２０２０は、人物グループ４０に含まれる一部の人物１０が口を動かしているビデオフレーム列が検出された場合、口を動かしていない人物１０を人物グループ４０から除外した上で、当該ビデオフレーム列が、会話をしている人物グループ４０を表していると判定する。ただしこの場合、口を動かしている人物１０が一人だけの場合には、人物グループ４０において会話が行われていないと判定される。

ビデオフレーム列から口の動きの有無を判別する方法は様々である。例えば記録部２０２０は、ビデオフレーム列に含まれる各ビデオフレームから、人物１０の口やその周辺を表す画像領域を抽出し、当該画像領域の時系列データを用いて、人物１０が口を動かしている確率と、人物１０が口を動かしていない確率の双方を算出する。そして、記録部２０２０は、人物１０が口を動かしている確率が、人物１０が口を動かしていない確率以上である場合に、人物１０が口を動かしていると判定する。一方、人物１０が口を動かしている確率が、人物１０が口を動かしていない確率未満である場合、記録部２０２０は、人物１０が口を動かしていないと判定する。

その他にも例えば、記録部２０２０は、人物１０が口を動かしている確率を算出し、当該確率が閾値以上である場合に、人物１０が口を動かしていると判定してもよい。この場合、当該確率が閾値未満である場合、記録部２０２０は、人物１０が口を動かしていないと判定する。

＜＜＜顔又は視線の向きに基づく判定＞＞＞
例えば記録部２０２０は、各ビデオフレームについて、人物グループ４０に含まれる各人物１０の顔又は視線の向きに基づいて、会話の有無を判定する。以下、顔の向きを利用するケースについて、より具体的に説明する。視線の向きを利用するケースについての説明は、特に説明しない限り、以下の説明において「顔」を「視線」に置き換えたものとなる。

例えば記録部２０２０は、ビデオデータから得られる各ビデオフレームにおいて、人物グループ４０に含まれる各人物１０の顔が、人物グループ４０に含まれる他のいずれかの人物１０の方を向いている場合、当該ビデオフレームが、人物グループ４０に含まれる人物１０全員で会話をしていることを表していると判定する。一方、人物グループ４０に含まれる各人物の顔がいずれも、人物グループ４０に含まれる他の人物１０の方を向いていない場合、記録部２０２０は、ビデオフレームが、人物グループ４０が会話をしていないことを表していると判定する。

記録部２０２０は、人物グループ４０に含まれる複数の人物１０のうち、人物グループ４０に含まれる他の人物１０の方へ顔が向いている人物１０のみによって会話が行われていると判定してもよい。この場合、記録部２０２０は、人物グループ４０に含まれる他の人物１０の方へ顔が向いていないと判定された人物１０を、人物グループ４０から除外する。具体的には、記録部２０２０は、ビデオフレームから、他の人物１０の方へ顔が向いている人物１０が二人以上検出されたら、他の人物１０の方へ顔が向いていない人物１０を人物グループ４０から除外した上で、当該ビデオフレームが、人物グループ４０が会話をしていることを表していると判定する。一方、記録部２０２０は、ビデオフレームから、他の人物１０の方へ顔が向いている人物１０が二人以上検出されない場合、当該ビデオフレームが、人物グループ４０が会話をしていないことを表していると判定する。

ビデオフレームに含まれる人物について顔の向きを特定する方法は様々である。例えば記録部２０２０は、ビデオフレームから人物１０の顔を表す画像領域を抽出する。さらに記録部２０２０は、抽出した画像領域を用いて、複数の向き（例えば、所定の４方向や８方向など）それぞれについて、人物１０の顔がその向きを向いている確率を算出する。そして、記録部２０２０は、複数の向きのうち、算出した確率が最も高い向きを、人物１０の顔の向きとして特定する。

＜＜＜識別器を利用する方法＞＞＞
記録部２０２０は、複数の人物１０の顔が含まれるビデオフレーム列が入力されたことに応じて会話の有無を識別する識別器を有していてもよい。当該識別器は、例えば、複数の人物１０の顔が含まれるビデオフレーム列が入力されたことに応じて、それら複数の人物１０について、「会話が行われている」と「会話が行われていない」という２つのうちのいずれかの判定結果を出力する。このような識別器は、例えば、リカレントニューラルネットワーク（RNN: Recurrent neural network）などで実現することができる。

例えば識別器は、会話が行われている確率と会話が行われない確率の双方を算出し、より確率が高い方を判定結果として出力する。

なお、上記識別器は、「ビデオフレーム列、正解のラベル（会話が行われているか否かを示すラベル）」という組み合わせで構成される学習データを用いて、予め学習しておく。入力データと正解のラベルの組み合わせで構成される学習データを用いて識別器を学習する技術には、既存の技術を利用することができる。

＜＜音声データについて会話の有無を判定する方法＞＞
例えば記録部２０２０は、各音声フレームについて、当該音声フレームに含まれる音声の大きさと、人物グループ４０までの距離との関係に基づいて、会話の有無の判定を行う。例えば、マイクロフォン２４から人物グループ４０までの距離と閾値との関係を定めた関数を予め定めておく。記録部２０２０は、マイクロフォン２４から音声フレームを得た時点について、移動型ロボット２０から人物グループ４０までの距離を特定し、上記関数にその距離を入力することで閾値を特定し、音声フレームによって表される音声の大きさと特定した閾値とを比較する。記録部２０２０は、音声の大きさが閾値以上であれば、音声フレームが、人物グループ４０が会話をしていることを表していると判定する。一方、音声の大きさが閾値未満であれば、記録部２０２０は、音声フレームが、人物グループ４０が会話をしていないことを表していると判定する。

なお、記録部２０２０は、音声フレームを解析して、人の声が含まれているか否かを判定してもよい。この場合、記録部２０２０は、音声フレームによって表される音声の大きさが閾値以上であり、なおかつ、当該音声に人の声が含まれる場合に、当該音声フレームが、人物グループ４０が会話していることを表していると判定する。一方、当該音声の大きさが閾値未満であるか、又は、当該音声に人の声が含まれていない場合、記録部２０２０は、当該音声フレームが、人物グループ４０が会話していないことを表していると判定する。こうすることで、例えば、人の声以外の音が発生している状況を、人物グループ４０が会話をしている状況として誤検出してしまうことを防ぐことができる。

なお、記録部２０２０は、音声フレームに声が含まれる人の数を考慮してもよい。例えば記録部２０２０は、音声フレームによって表される音声の大きさが閾値以上であり、なおかつ、当該音声に複数の人物の声が含まれる場合に、当該音声フレームが、人物グループ４０が会話していることを表していると判定する。一方、当該音声の大きさが閾値未満であるか、又は、当該音声に声が含まれる人の声が一人以下である場合、記録部２０２０は、当該音声フレームが、人物グループ４０が会話していないことを表していると判定する。こうすることで、例えば、一人の人物が独り言を言っている状況を、人物グループ４０が会話をしている状況として誤検出してしまうことを防ぐことができる。

その他にも例えば、記録部２０２０は、音声フレームが入力されたことに応じて、当該音声フレームに会話をしている複数の人物１０の音声が含まれているか否かを識別する識別器を有していてもよい。当該識別器は、例えば、音声フレームが入力されたことに応じて、「会話が行われている」と「会話が行われていない」のいずれかの判定結果を出力する。このような識別器は、例えば、リカレントニューラルネットワーク（RNN: Recurrent neural network）などで実現することができる。

なお、上記識別器は、「音声データ、正解のラベル（会話が行われているか否かを示すラベル）」という組み合わせで構成される学習データを用いて、予め学習しておく。前述したように、学習データを利用して識別器を学習する技術には、既存技術を利用することができる。

＜会話情報６０について＞
会話情報６０は、人物グループ４０の識別情報と、当該人物グループ４０によって行われた会話の会話時間とを対応づけた情報である。また、会話情報６０は、会話が行われた時刻を特定可能な情報も含む。

図７は、会話情報６０の構成をテーブル形式で例示する図である。図７において、会話情報６０は、グループ識別情報６２及び時間情報６４を含む。グループ識別情報６２は、人物グループ４０の識別情報を表す。人物グループ４０の識別情報は、人物グループ４０に含まれる各人物１０の識別情報の組み合わせ（例えば、各人物１０の識別情報が列挙された情報）を表す。時間情報６４は、例えば、会話の開始時刻と会話時間を示す。その他にも例えば、時間情報６４は、会話の開始時刻と終了時刻を示してもよい。この場合、会話時間は、会話の開始時刻と終了時刻の差分として算出することができる。

記録部２０２０は、人物グループ４０について前述した方法で会話時間を特定した後、当該人物グループ４０について会話情報６０を生成し、生成した会話情報６０を記憶装置５０に格納する。

＜会話の合計時間と閾値の比較：Ｓ２０２、Ｓ２０４＞
判定部２０４０は、人物グループ４０について、所定期間以内に行われた会話の合計時間を算出し（Ｓ２０２）、当該合計時間が閾値以上であるか否かを判定する（Ｓ２０４）。ここで、会話の合計時間は、既に終了している会話のみを対象として算出されてもよいし、現在行われている会話も対象にして算出されてもよい。以下、それぞれのケースについて説明する。

＜＜既に終了している会話のみを対象とするケース＞＞
例えば記録部２０２０は、特定のタイミングで、複数の人物グループ４０それぞれについて会話の合計時間を算出する。例えば所定期間が１日（同一の日）である場合、記録部２０２０は、１日に一度、その日に行われた会話の合計時間を、各人物グループ４０について算出する。具体的には、記録部２０２０は、記憶装置５０に格納されている会話情報６０のうち、所定期間内の会話についての会話情報６０のみを取得する。さらに記録部２０２０は、取得した会話情報６０を人物グループ４０ごと（すなわち、グループ識別情報６２の値が互いに同一である会話情報６０ごと）に分類する。そして記録部２０２０は、各人物グループ４０について、その人物グループ４０についての会話情報６０で特定される会話時間を合計することで、会話の合計時間を算出する。

記録部２０２０は、人物グループ４０ごとに、その人物グループ４０について算出した会話の合計時間が閾値以上であるか否かを判定する。こうすることで、記録部２０２０は、複数の人物グループ４０の中から、所定期間内にその人物グループ４０において行われた会話の合計時間が閾値以上である人物グループ４０を特定することができる。

ただし、対象とする人物グループ４０は、全ての人物グループ４０でなくてもよい。例えば、会話監視装置２０００は、人物グループ４０を指定するユーザ操作を受け付け、ユーザ操作によって指定された人物グループ４０についてのみ、所定期間内にその人物グループ４０において行われた会話の合計時間が閾値以上であるか否かを判定してもよい。

＜＜現在行われている会話も対象とするケース＞＞
このケースの場合、判定部２０４０は、既に終了している会話と現在行われている会話の合計時間が閾値以上となったか否かを判定する。前提として、現在、記録部２０２０により、人物グループ４０において会話が継続中であることが検出されている（会話の開始が既に検出されており、なおかつ、会話の終了がまだ検出されていない）状態にある。

例えば判定部２０４０は、記録部２０２０により、ある人物グループ４０について会話の開始が検出されたら、記憶装置５０から、グループ識別情報６２にその人物グループ４０の識別情報を示し、なおかつ、所定期間内に行われた会話についての会話時間を表す会話情報６０を取得する。例えば所定期間が１日であり、現在が２０２０年６月１５日である場合、判定部２０４０は、２０２０年６月１５日に行われた会話についての会話時間を表す会話情報６０を取得する。

判定部２０４０は、まず、取得した会話情報６０によって表されている会話時間を合計することで、人物グループ４０について、所定期間内に行われた過去の会話の合計時間を算出する。当該合計時間が閾値以上である場合、判定部２０４０は、所定期間内の会話の合計時間が閾値以上であると判定する。一方、当該合計時間が閾値未満である場合、判定部２０４０は、現在行われている会話の継続時間をカウントしながら、過去の会話の合計時間と、カウントした現在の会話の継続時間の合計値（すなわち、過去と現在の会話の合計時間）が閾値以上であるか否かを繰り返し判定する。そして、過去と現在の会話の合計時間が閾値以上となったら、判定部２０４０は、会話の合計時間が閾値以上であると判定する。例えば上記判定は、所定の時間ごと（１分ごとなど）に繰り返される。

ただし、判定部２０４０は、前述したように繰り返し判定を行う代わりに、現在行われた会話の終了が検出されたタイミングで、過去の会話の合計時間と、現在の会話の継続時間との合計値を算出し、当該合計値を閾値と比較してもよい。

このように、現在の会話の継続時間も対象とすることで、所定期間内に行われた会話の合計時間が閾値以上となった人物グループ４０を、リアルタイムで検出することができる。後述する対処処理として、会話を行っている人物グループ４０に対してリアルタイムで警告などを行う場合、このように現在の会話の継続時間を対象とする必要がある。

＜会話時間の特定から除外するケース＞
会話監視装置２０００は、人物グループ４０が特定の条件を満たしている状態で会話をしている場合には、その会話時間を、会話の合計時間の算出対象から除外するようにしてもよい。例えば特定の条件は、「感染症予防のための適切な対処が行われている」という条件である。より具体的な例としては、「人物グループ４０に含まれる全ての人物１０がマスクをしている」
という条件や、「人物グループ４０に含まれている複数の人物１０が、仕切りで仕切られている」という条件などが挙げられる。

ここで、監視領域における会話を制限する際のポリシーとして、「感染症予防のための適切な対処が行われていれば近距離で会話をしてもよい」というポリシーを採用することが考えられる。前述した感染症予防に関する条件を採用することにより、このようなポリシーの運用が可能となる。なお、上述した特定の条件が満たされているか否かを判定するタイミングは、人物グループ４０において会話が行われていることを検出する前と後のいずれであってもよい。

例えば記録部２０２０は、人物グループ４０について会話の開始を検出する際に、上述した特定の条件が満たされている間は、会話が開始されていないものとして扱う。言い換えれば、記録部２０２０は、所定距離以内で、なおかつ、特定の条件が満たされていない状態で会話をしている人物グループ４０を、所定距離以内で会話をしている人物グループ４０として検出する。

ただし、記録部２０２０は、特定の条件が満たされている場合と満たされていない場合とを区別して、人物グループ４０について会話時間を算出するようにしてもよい。この場合、会話情報６０には、特定の条件を満たしている状態と満たしていない状態のどちらで行われた会話なのかを表すフラグがさらに設けられる。こうすることで、特定の条件を満たしている状態で行われた会話の時間と、特定の条件を満たしていない状態で行われた会話の時間の双方について、記録することができる。

このように、特定の条件を満たしている状態で行われた会話の時間と、特定の条件を満たしていない状態で行われた会話の時間の双方が記憶装置５０に格納されている場合、例えば判定部２０４０は、特定の条件を満たしていない状態で行われた会話についてのみ合計時間を算出し、当該合計時間を閾値と比較する。その他にも例えば、判定部２０４０は、特定の条件を満たしている状態で行われた会話については、会話時間を実際の時間よりも小さい値に補正してもよい。具体的には、判定部２０４０は、特定の条件を満たしていない状態で所定期間内に行われた会話の合計時間 T1 と、特定の条件を満たしている状態で所定期間内に行われた会話の合計時間 T2 の双方を算出し、後者に対して１未満の所定の係数 a をかけた上で、これらの合計値 T1+a*T2 を算出する。そして会話監視装置２０００は、この合計値が閾値以上であるか否かを判定する。

＜対処処理の実行：Ｓ２０６＞
人物グループ４０について、会話の合計時間が閾値以上であると判定された場合（Ｓ２０４：ＹＥＳ）、会話監視装置２０００は、所定の対処処理を実行する（Ｓ２０６）。対処処理には、任意の処理を採用できる。例えば対処処理は、会話の合計時間が閾値以上であると判定された人物グループ４０に対して、警告を発する処理（以下、警告処理）である。例えば警告処理は、移動型ロボット２０を利用して行われる。具体的には、警告処理は、移動型ロボット２０に設けられているディスプレイ装置に警告を表す画面を表示させたり、移動型ロボット２０に設けられているプロジェクタに警告を表す画像を照射させたりする処理である。その他にも例えば、警告処理は、移動型ロボット２０に設けられているスピーカーから、警告を表す音声を出力する処理である。

ここで、移動型ロボット２０は、人物グループ４０に対してある程度近づいた上で警告を行うようにしてもよい。例えば会話監視装置２０００は、人物グループ４０からの距離が所定の閾値以下である位置まで移動型ロボット２０を移動させ、その後に前述した種々の警告が移動型ロボット２０から出力されるようにしてもよい。なお、移動型ロボット２０を所望の位置まで移動させる技術には、既存の技術を利用することができる。

その他にも例えば、会話監視装置２０００は、人物グループ４０に含まれる各人物１０に対して、警告を表す通知を送信してもよい。この場合、グループ識別情報６２に利用する各人物１０の識別情報（画像上の特徴量や声の音声特徴量など）と、当該人物１０に対する通知の送信先（例えば、メールアドレスなど）とを対応づけた情報を、会話監視装置２０００からアクセス可能な記憶装置（記憶装置５０など）に予め格納しておく。会話監視装置２０００は、警告対象の人物グループ４０に含まれる各人物１０の識別情報を特定し、当該識別情報に対応する送信先へ、前述した通知を送信する。

また、会話監視装置２０００は、会話の合計時間が閾値以上であると判定された人物グループ４０のみに対象を絞らず、その他の人々に対しても注意を促すような警告を行ってもよい。例えば、会話監視装置２０００は、放送を行う装置を制御して、近距離での長時間の会話を避けることを促す放送（室内放送、館内放送、屋外放送など）を行わせたり、所定の警告音を流させたりする。

対処処理は、警告処理に限定されない。例えば会話監視装置２０００は、会話の合計時間が閾値以上であると判定された人物グループ４０についての情報（識別情報や、人物グループ４０が撮像されたビデオデータ）を、記憶装置に格納してもよい。こうすることで、例えば、人物グループ４０の中の一人が感染症にかかったことが判明した場合に、人物グループ４０に含まれる他の人物１０を、感染症の疑いがある人物として特定することができる。

また、会話監視装置２０００は、会話の合計時間の長さに応じて、多段階に対処処理を行ってもよい。この場合、複数の警告レベルそれぞれに対し、それぞれ異なる警告処理を対応づけた情報を、予め会話監視装置２０００からアクセス可能な記憶装置（記憶装置５０など）に格納しておく。例えば、より高い警告レベルには、より目立つ（警告の効果が大きい）警告が対応づけられる。

このケースでは、会話監視装置２０００は、現在の会話の継続時間をカウントして、現在と過去の会話の合計時間を算出し、算出した合計値を、多段階に設けられた閾値と繰り返し比較する。例えば閾値として、P1、P2、及び P3（P1<P2<P3）の３つが設けられているとする。会話監視装置２０００は、現在と過去の会話の合計時間が P1 以上となった場合に、「人物グループ４０から所定の距離以内の位置まで移動する」という第１レベルの警告処理を行う。次に、会話監視装置２０００は、現在と過去の会話の合計時間が P2 以上となった場合に、「警告画面をディスプレイ装置に表示する、又は警告画像を地面に投射する」という第２レベルの警告処理を行う。そして、会話監視装置２０００は、現在と過去の会話の合計時間が P3 以上となった場合に、「警告の音声をスピーカーから出力する」という第３レベルの警告処理を行う。

このように会話の合計時間に応じた多段階の警告を行うことで、会話の合計時間が短いうちは控えめな警告を行い、会話の合計時間が長くなるにつれてより目立つ警告を行う、といった運用が可能となる。これにより、警告の効果の大きさと、警告が人の活動の妨げになる度合いとのバランスを取ることができる。すなわち、会話の合計時間が短いうちは、会話を止めさせる効果が小さくてもよいから、できる限り会話の妨げにならないように配慮した警告を行い、会話の合計時間が長くなったら、ある程度会話の妨げになってもよいから、会話を止めさせる効果が大きい警告を行う、といった運用が可能となる。

＜移動型ロボット２０の制御について＞
前述したように、会話時間の特定には、移動型ロボット２０に設けられているカメラ２２やマイクロフォン２４が利用されてもよい。ここで、カメラ３０が固定カメラである場合においてカメラ２２やマイクロフォン２４を利用して会話時間の特定を行うことは、例えば、カメラ３０から得られたビデオデータ３２を利用しても、会話時間を特定することが難しい場合に好適である。例えば、人物グループ４０に含まれる各人物１０がカメラ３０に背を向けているために、ビデオデータ３２を利用しても、各人物１０の顔の状態を判別できないケースなどである。

この場合、会話監視装置２０００は、移動型ロボット２０を制御して、人物グループ４０が会話を行っているか否かを判別可能なビデオデータ２３や音声データ２５が得られる場所へ移動型ロボット２０を移動させることが好適である。以下、その方法を例示する。

＜＜ビデオデータ２３を利用するケース＞＞
ビデオデータ２３を利用するケースでは、会話監視装置２０００は、人物グループ４０に含まれる各人物１０について、口の動き、顔の向き、又は視線の向きを特定するために必要な情報が得られる位置に向けて、移動型ロボット２０を移動させる。口の動き、顔の向き、及び視線の向きを特定するために必要な情報はそれぞれ、口を含む画像領域、顔を含む画像領域、及び目を含む画像領域である。

例えば会話監視装置２０００は、移動型ロボット２０を、人物グループ４０へ近づくように移動させる。その他にも例えば、会話監視装置２０００は、人物グループ４０に含まれる人物１０と移動型ロボット２０との間に障害物が無くなる位置へ、移動型ロボット２０を移動させる。なお、移動型ロボットに搭載されているカメラから得られるビデオデータに含まれる特定の物体へ近づくように当該移動型ロボットを移動させたり、当該特定の物体との間に障害物がなくなる位置へ当該移動型ロボットを移動させる技術自体には、既存の技術を利用することができる。

なお、人物１０の口や目がビデオデータ２３に含まれるようにするためには、人物１０の顔の正面へ移動型ロボット２０を移動させることが好ましい。そこで例えば、会話監視装置２０００は、人物グループ４０に含まれる複数の人物１０の顔の向きをそれぞれ算出し、複数の人物１０の顔の正面へ順次移動型ロボット２０を移動させる。こうすることで、会話監視装置２０００は、各人物１０について順次口の動きや視線の向きを特定していく。

その他にも例えば、会話監視装置２０００は、一カ所から複数の人物１０の口や目を撮像できるように、移動型ロボット２０を移動させてもよい。例えば会話監視装置２０００は、ビデオデータ３２やビデオデータ２３から、各人物１０の顔の向きの平均方向を算出し、その方向上の位置へ移動型ロボット２０を移動させる。

なお、このように移動型ロボット２０を人物１０の顔の正面へ移動させた場合において、ビデオデータ２３から人物１０の顔の向きを特定できなかったとする。この場合、会話監視装置２０００は、移動型ロボット２０を人物グループ４０に近づけたり、人物グループ４０の周囲を廻るようにして移動型ロボット２０を移動させたりしながら、ビデオデータ２３から人物１０の顔の向きの特定を試みる。そして、人物１０の顔の向きが特定できたら、会話監視装置２０００は、人物１０の顔の正面へ移動型ロボット２０を移動させる。

＜＜音声データ２５を利用するケース＞＞
人物グループ４０で会話が行われていたとしても、移動型ロボット２０の位置が人物グループ４０から遠いと、マイクロフォン２４で人物グループ４０の会話の音声を検出することが難しい。そこで会話監視装置２０００は、移動型ロボット２０を、人物グループ４０からの距離が所定距離 L2 以下の位置まで移動させる。この所定距離 L2 は、人物グループ４０で会話が行われていた場合に、マイクロフォン２４でその会話の音声を検出することが可能な距離として、予め設定される。

＜＜移動経路の算出について＞＞
移動型ロボット２０を特定の目的地へ移動させるためには、移動型ロボット２０が参照可能な地図データを用いて、当該目的地までの移動経路を設定する。ここで、地図データを用いて目的地への移動経路を算出し、算出した移動経路を移動型ロボット２０に設定する処理を行う装置を、経路設定装置と呼ぶ。経路設定装置は、移動型ロボット２０であってもよいし、会話監視装置２０００であってもよいし、これら以外の装置であってもよい。

経路設定装置は、監視領域の地図データを取得し、当該地図データと、前述した種々の方法で決定した目的地（移動型ロボット２０を移動させるべき位置）とに基づいて、移動型ロボット２０の移動経路を算出する。そして、経路設定装置は、算出した移動経路を移動型ロボット２０に設定する。移動型ロボット２０は、設定された移動経路に従って移動する。なお、経路設定装置が会話監視装置２０００以外の装置である場合、会話監視装置２０００は、経路設定装置に対し、移動型ロボット２０に設定すべき目的地を示す情報を提供する。

なお、地図データと目的地の情報とに基づいて移動経路を算出する技術には、既存の技術を利用することができる。

＜＜移動の制御に関するその他の事項＞＞
移動型ロボット２０は、監視領域にいる人の行動の妨げとならないように移動することが好ましい。例えば移動型ロボット２０は、ビデオデータ３２やビデオデータ２３を用いて、監視領域にいる各人物の動きを把握し、各人物と接触しないように移動する。なお、人との接触を避けて移動型ロボット２０を移動させる技術には、既存の技術（例えば、自動運転車を他の自動車や通行人などとぶつからないように移動させる技術など）を採用することができる。

その他にも例えば、移動型ロボット２０は、人物グループ４０に含まれない人物の視界に移動型ロボット２０が入らないように移動することが好適である。そこで例えば、経路設定装置は、ビデオデータ２３から人物グループ４０に含まれない人物１０が検出されたら、その人物１０の顔の方向又は視線方向を特定する。そして、経路設定装置は、特定した顔の方向又は視線方向と、移動型ロボット２０の目的地とに基づいて、人物１０の視界に入らずに当該目的地へ移動型ロボット２０が到達するための移動経路を算出し、当該移動経路を移動型ロボット２０に設定する。

ただし、人物１０の顔の方向や視線方向が繰り返し大きく変化する場合などには、人物１０の視界に入らないように移動型ロボット２０を移動させることが難しいこともありうる。そこで例えば、経路設定装置は、顔の方向や視線方向が大きく変化する蓋然性が低い人物（例えば、立ち止まっている人物や椅子に座っている人物）のみをビデオデータから検出し、検出された人物の視界に入らないように移動型ロボット２０の移動経路を設定してもよい。

移動型ロボット２０は、会話監視装置２０００による制御を受け付けるまでの間、停止していてもよいし、移動していてもよい。後者の場合、例えば移動型ロボット２０に対し、監視領域内の一部又は全部を巡回するように移動経路を設定しておく。特に、カメラ３０としてカメラ２２が利用される場合、監視領域内を移動型ロボット２０に巡回させることで、監視領域内の様々な場所で人物グループ４０を検出できるようにすることが好適である。以下、巡回用に移動型ロボット２０に設定されている移動経路のことを、巡回経路とも表記する。

巡回経路には、監視領域のうち、人の分布の密度が高い（すなわち、人が多い）領域が含まれることが好ましい。例えば、巡回経路には、監視領域のうち、人の分布の密度が高い領域のみが含まれるようにする。その他にも例えば、巡回経路は、人の分布の密度が高い領域を巡回する頻度が、人の密度が低い領域を巡回する頻度よりも高くなるように設定される。

また、カメラ３０が、監視カメラなど、移動型ロボット２０以外の場所に固定で設定されているカメラである場合、移動型ロボット２０の巡回経路には、カメラ３０の撮像範囲に含まれない領域（以下、撮像範囲外領域）が含まれることが好ましい。このようにすることで、固定カメラで撮像することが難しい領域を移動型ロボット２０に撮像させることができるため、監視領域内を幅広く監視することができるようになる。

巡回経路は、人手で設定されてもよいし、経路設定装置によって自動的に設定されてもよい。後者の場合、例えば経路設置装置は、ビデオデータ３２を解析することで、カメラ３０について撮像範囲外領域を特定し、当該撮像範囲外領域を含む巡回経路を生成する。より具体的には、経路設定装置は、監視領域の地図データとビデオデータ３２とを用いて、カメラ３０の撮像範囲内の領域を特定し、当該特定した領域以外の領域を、撮像範囲外領域として特定する。

例えば、撮像範囲外領域が、１つの閉じた領域であるとする。この場合、経路設定装置は、撮像範囲外領域の中を巡回するように、巡回経路を生成する。一方、撮像範囲外領域が、互いに繋がっていない複数の領域であるとする。この場合、例えば経路設定装置は、これら複数の撮像範囲外領域を順次巡回するように、巡回経路を生成する。なお、監視領域に移動型ロボット２０が複数設けられている場合、各移動型ロボット２０に対して、それぞれ異なる巡回経路が設定されてもよい。この場合、各巡回経路には、互いに異なる撮像範囲外領域が含まれるようにすることが好ましい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録部と、
前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定部と、を有する会話監視装置。
（付記２）
前記記録部は、前記監視領域内のそれぞれ異なる場所を撮像する複数のカメラそれぞれから、前記ビデオデータを取得する、付記１に記載の会話監視装置。
（付記３）
前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているカメラから、前記ビデオデータを取得する、付記１に記載の会話監視装置。
（付記４）
前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているカメラによって生成されたビデオデータを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの顔の画像上の特徴量を用いて定められる、付記１から３いずれか一項に記載の会話監視装置。
（付記５）
前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、付記１から３いずれか一項に記載の会話監視装置。
（付記６）
前記判定部は、前記記憶装置から、前記複数の人物の識別情報に対応づけられている複数の前記会話時間を取得し、前記取得した会話時間の合計値が前記閾値以上であるか否かを判定する、付記１から５いずれか一項に記載の会話監視装置。
（付記７）
前記判定部は、前記複数の人物が現在行っている会話についての会話時間と、前記複数の人物の識別情報に対応づけて前記記憶装置に格納されている１つ以上の会話時間との合計時間を算出し、前記算出した合計時間が前記閾値以上であるか否かを判定する、付記１から５いずれか一項に記載の会話監視装置。
（付記８）
前記記録部は、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
前記判定部は、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、付記１から７いずれか一項に記載の会話監視装置。
（付記９）
コンピュータによって実行される制御方法であって、
監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、を有する制御方法。
（付記１０）
前記記録ステップにおいて、前記監視領域内のそれぞれ異なる場所を撮像する複数のカメラそれぞれから、前記ビデオデータを取得する、付記９に記載の制御方法。
（付記１１）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているカメラから、前記ビデオデータを取得する、付記９に記載の制御方法。
（付記１２）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているカメラによって生成されたビデオデータを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの顔の画像上の特徴量を用いて定められる、付記９から１１いずれか一項に記載の制御方法。
（付記１３）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、付記９から１１いずれか一項に記載の制御方法。
（付記１４）
前記判定ステップにおいて、前記記憶装置から、前記複数の人物の識別情報に対応づけられている複数の前記会話時間を取得し、前記取得した会話時間の合計値が前記閾値以上であるか否かを判定する、付記９から１３いずれか一項に記載の制御方法。
（付記１５）
前記判定ステップにおいて、前記複数の人物が現在行っている会話についての会話時間と、前記複数の人物の識別情報に対応づけて前記記憶装置に格納されている１つ以上の会話時間との合計時間を算出し、前記算出した合計時間が前記閾値以上であるか否かを判定する、付記９から１３いずれか一項に記載の制御方法。
（付記１６）
前記記録ステップにおいて、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
前記判定ステップにおいて、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、付記９から１５いずれか一項に記載の制御方法。
（付記１７）
プログラムを格納しているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、を実行させるコンピュータ可読媒体。
（付記１８）
前記記録ステップにおいて、前記監視領域内のそれぞれ異なる場所を撮像する複数のカメラそれぞれから、前記ビデオデータを取得する、付記１７に記載のコンピュータ可読媒体。
（付記１９）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているカメラから、前記ビデオデータを取得する、付記１７に記載のコンピュータ可読媒体。
（付記２０）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているカメラによって生成されたビデオデータを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの顔の画像上の特徴量を用いて定められる、付記１７から１９いずれか一項に記載のコンピュータ可読媒体。
（付記２１）
前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、付記１７から１９いずれか一項に記載のコンピュータ可読媒体。
（付記２２）
前記判定ステップにおいて、前記記憶装置から、前記複数の人物の識別情報に対応づけられている複数の前記会話時間を取得し、前記取得した会話時間の合計値が前記閾値以上であるか否かを判定する、付記１７から２１いずれか一項に記載のコンピュータ可読媒体。
（付記２３）
前記判定ステップにおいて、前記複数の人物が現在行っている会話についての会話時間と、前記複数の人物の識別情報に対応づけて前記記憶装置に格納されている１つ以上の会話時間との合計時間を算出し、前記算出した合計時間が前記閾値以上であるか否かを判定する、付記１７から２１いずれか一項に記載のコンピュータ可読媒体。
（付記２４）
前記記録ステップにおいて、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
前記判定ステップにおいて、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、付記１７から２３いずれか一項に記載のコンピュータ可読媒体。

１０ 人物
２０ 移動型ロボット
２２ カメラ
２３ ビデオデータ
２４ マイクロフォン
２５ 音声データ
２６ アクチュエータ
２７ 移動手段
３０ カメラ
３２ ビデオデータ
４０ 人物グループ
５０ 記憶装置
６０ 会話情報
６２ グループ識別情報
６４ 時間情報
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
６００ コントローラ
６０２ バス
６０４ プロセッサ
６０６ メモリ
６０８ ストレージデバイス
６１０ 入出力インタフェース
６１２ ネットワークインタフェース
２０００ 会話監視装置
２０２０ 記録部
２０４０ 判定部

Claims (10)

1. 監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録部と、
   前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定部と、を有し、
   前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
   前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、会話監視装置。
2. 監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録部と、
   前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定部と、を有し、
   前記記録部は、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
   前記判定部は、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、会話監視装置。
3. 前記記録部は、前記監視領域内のそれぞれ異なる場所を撮像する複数のカメラそれぞれから、前記ビデオデータを取得する、請求項１又は２に記載の会話監視装置。
4. 前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているカメラから、前記ビデオデータを取得する、請求項１又は２に記載の会話監視装置。
5. 前記記録部は、前記監視領域内を移動する移動型ロボットに設けられているカメラによって生成されたビデオデータを用いて、前記複数の人物の会話時間を特定し、
   前記複数の人物の識別情報は、前記複数の人物それぞれの顔の画像上の特徴量を用いて定められる、請求項１から４いずれか一項に記載の会話監視装置。
6. 前記判定部は、前記記憶装置から、前記複数の人物の識別情報に対応づけられている複数の前記会話時間を取得し、前記取得した会話時間の合計値が前記閾値以上であるか否かを判定する、請求項１から５いずれか一項に記載の会話監視装置。
7. コンピュータによって実行される制御方法であって、
   監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
   前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、を有し、
   前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
   前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、制御方法。
8. コンピュータによって実行される制御方法であって、
   監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
   前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、を有し、
   前記記録ステップにおいて、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
   前記判定ステップにおいて、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、制御方法。
9. 監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
   前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、をコンピュータに実行させ、
   前記記録ステップにおいて、前記監視領域内を移動する移動型ロボットに設けられているマイクロフォンによって生成された音声データを用いて、前記複数の人物の会話時間を特定し、
   前記複数の人物の識別情報は、前記複数の人物それぞれの声の音声特徴量を用いて定められる、プログラム。
10. 監視領域内において所定距離以内で会話をしている複数の人物をビデオデータから検出し、前記複数の人物の会話時間を特定し、前記特定した会話時間を前記複数の人物の識別情報に対応づけて記憶装置に格納する記録ステップと、
    前記記憶装置に格納されている情報を用いて、前記複数の人物によって所定期間内に行われた会話の合計時間が閾値以上であるか否かを判定する判定ステップと、をコンピュータに実行させ、
    前記記録ステップにおいて、ビデオデータを用いて、前記複数の人物が感染症を予防するための所定の対策を行っているか否かを判定し、
    前記判定ステップにおいて、前記複数の人物について、前記所定の対策が行われていない状態で行われた会話のみについて前記合計時間を算出する、プログラム。

Images