JP6767664B1 - 情報処理システム、情報処理装置およびプログラム - Google Patents

Abstract

【課題】システム規模の増加を抑えて、効率よく所定の空間内に位置する人物に対して音声通知を行う。【解決手段】情報処理システム１−１は、情報処理装置１、カメラ２およびスピーカ３を備える。カメラ２は、空間内に位置する人物を撮影する。スピーカ３は、カメラ２と非一体型であり、音声の指向性を有し、制御部１ａからの指示にもとづいて回転駆動する。情報処理装置１内の制御部１ａは、カメラ２で撮影された撮影画像から対象人物を特定し、対象人物の頭部位置を検出し、頭部位置に向けて音声を発するためのスピーカ３の回転角度を算出する。そして、制御部１ａは、対象人物に発すべき音声パターンを選択して、回転角度でスピーカ３を回転させ、選択した音声パターンをスピーカ３から出力させる。【選択図】図１

Description

本発明は、情報処理システム、情報処理装置およびプログラムに関する。

情報処理技術の進展および監視カメラの高解像度化に伴い、監視カメラによって撮影された画像から人物を検出してスピーカから音声を発するシステムが開発されている。このようなシステムを例えば、店内に構築することにより、店内に侵入した不審者に対する防犯や、店員への事務連絡等を行うことができる。

特開２０１７−２１５８０６号公報

上記のようなシステムでは、従来、監視カメラとスピーカが一体型になっており、監視カメラの向きとスピーカの向きが同じになっている。しかし、このようなシステムで空間内に位置する人物に向けて音声を通知するためには、一体型の監視カメラ／スピーカを複数配置することになり、システム規模が増加し非効率であるという問題がある。

１つの側面では、本発明は、システム規模の増加を抑えて、効率よく所定の空間内に位置する人物に対して音声通知を行うことが可能な情報処理システム、情報処理装置およびプログラムを提供することを目的とする。

上記課題を解決するために、情報処理システムが提供される。情報処理システムは、カメラと、カメラと非一体型であり指向性を有して回転駆動するスピーカと、カメラで撮影された撮影画像から対象人物を特定し、対象人物の頭部位置を検出し、頭部位置に向けて音声を発するためのスピーカの回転角度を算出し、対象人物に発すべき音声パターンを選択して、回転角度でスピーカを回転させ音声パターンをスピーカから出力させる制御部と、を備え、制御部は、撮影画像の２次元画像を３次元空間に対応付け、２次元画像から対象人物の足元の座標および頭上の座標を検出して、足元の座標および頭上の座標を３次元空間にマッピングし、３次元空間にマッピングした頭上の座標にもとづく対象人物の頭上高さから所定値減算して耳の位置を検出し、耳の位置を対象人物の頭部位置とし、２次元画像から一定の時間間隔で対象人物の足元の座標を複数検出して時系列の座標データを取得し、座標データから所定時間の経過後の対象人物の移動量を算出し、移動量にもとづいて頭部位置の更新を行い、対象人物の検出からスピーカから音声パターンが出力されるまでの遅延時間を保持しておき、所定時間に遅延時間を含めて移動量を算出する。また、制御部は、検出した頭部位置にスピーカを向ける第１の回転角度を算出し、対象人物の移動先の予測を行わない場合、スピーカを第１の回転角度で回転させ音声パターンをスピーカから出力させ、対象人物の移動先の予測を行う場合、更新後の頭部位置にスピーカを向ける第２の回転角度を算出し、スピーカを第１の回転角度で回転させ、第１の回転角度の回転の終了後に、スピーカから音声パターンを出力させながら、スピーカを第２の回転角度で回転させる。

また、上記課題を解決するために、上記情報処理システムと同様の制御を実行する情報処理装置が提供される。
さらに、コンピュータに上記情報処理システムと同様の制御を実行させるプログラムが提供される。

１側面によれば、システム規模の増加を抑えて、効率よく所定の空間内に位置する人物に対して音声通知を行うことができる。

第１の実施の形態の情報処理システムの一例を説明するための図である。 第２の実施の形態の情報処理システムの構成の一例を示す図である。 スピーカの構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。 人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。 人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。 音声パターンテーブルの一例を示す図である。 ３Ｄ空間におけるカメラと人物の位置を説明するための図である。 ３Ｄ空間におけるカメラと人物の位置を説明するための図である。 人物を検出してから声掛けを行うまでの全体動作の一例を示すフローチャートである。 頭部位置の検出処理の一例を示すフローチャートである。 対象人物の移動速度の推定および頭部位置の更新の一例を示すフローチャートである。 スピーカの回転角度の算出処理の一例を示すフローチャートである。 対象人物の移動に伴う回転角度の算出処理の一例を示すフローチャートである。 スピーカの回転駆動および声掛けの動作の一例を示すフローチャートである。 スピーカの回転駆動および声掛けの動作の一例を示すフローチャートである。

以下、本実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は第１の実施の形態の情報処理システムの一例を説明するための図である。情報処理システム１−１は、情報処理装置１、カメラ２およびスピーカ３を備える。情報処理装置１は、制御部１ａおよび記憶部１ｂを含む。

カメラ２は、所定の空間内に位置する人物を監視し撮影する。スピーカ３は、カメラ２と非一体型であり、音声の指向性を有しており、制御部１ａからの指示にもとづいて回転駆動して音声を出力する。

制御部１ａは、カメラ２で撮影された撮影画像に対して、ＡＩ（Artificial Intelligence）処理にもとづく画像解析を行う。また、制御部１ａは、画像解析結果にもとづいて、スピーカ３に対する駆動制御および音声出力制御を行う。記憶部１ｂは、制御部１ａによる処理に要する各種データを格納する。
制御部１ａおよび記憶部１ｂの各処理は、例えば、情報処理装置１が備える図示しないプロセッサが、所定のプログラムを実行することによって実現される。

制御部１ａの動作の流れについて説明する。
〔ステップＳ１〕制御部１ａは、カメラ２で撮影された撮影画像から対象人物を特定する。
〔ステップＳ２〕制御部１ａは、対象人物の頭部位置を検出する。

〔ステップＳ３〕制御部１ａは、頭部位置に向けて音声を発するためのスピーカ３の回転角度を算出する。
〔ステップＳ４〕制御部１ａは、対象人物に適した音声パターンを選択する。
〔ステップＳ５〕制御部１ａは、算出した回転角度でスピーカ３を回転させて、選択した音声パターンをスピーカ３から出力させる。

このように、情報処理システム１−１では、カメラ２と非一体型であり指向性を有して回転駆動するスピーカ３を用いて、カメラ２で撮影された撮影画像から算出した対象人物の頭部位置に向けてスピーカ３を回転させて、スピーカ３から対象人物に音声を出力させる構成とした。これにより、スピーカ設置数を減少させることができるので、システム規模の増加を抑えて、効率よく所定の空間内に位置する人物に対して音声通知を行うことが可能になる。

［第２の実施の形態］
次に第２の実施の形態について説明する。なお、以降の説明では、対象人物に音声通知を行うことを声掛けと呼ぶ場合がある。

図２は第２の実施の形態の情報処理システムの構成の一例を示す図である。情報処理システム１−２は、情報処理装置１０、カメラ２０−１、・・・、２０−ｎ（総称する場合はカメラ２０と呼ぶ）、スピーカ３０、端末４１（保守管理用）、端末４２（通知用）、ＡＰ（アクセスポイント）５０、ハブ（Hub）６１およびＰｏＥ（Power over Ethernet）ハブ６２を備える（Ethernetは登録商標）。

情報処理装置１０は、制御部１１および記憶部１２を含む。制御部１１は、図１の制御部１ａの機能を有し、記憶部１２は図１の記憶部１ｂの機能を有する。スピーカ３０は、図１のスピーカ３の機能を有する。

ハブ６１は、ポートｐ１、・・・、ｐ４を有し、ＰｏＥハブ６２は、ポートｐ１１、ｐ１２−１・・・、ｐ１２−ｎを有している。ポートｐ１、・・・、ｐ４およびポートｐ１１は、例えば、１Ｇｂｉｔ／ｓの通信回線が接続可能なポートである。ポートｐ１２−１・・・、ｐ１２−ｎは、例えば、１００Ｍｂｉｔ／ｓの通信回線が接続可能なポートである。

ハブ６１のポートｐ１と、ＰｏＥハブ６２のポートｐ１１とは、ＬＡＮ（Local Area Network）ケーブルＬ１で接続されている。なお、ＰｏＥハブ６２は、Ethernet通信で利用するカテゴリ５ｅ以上のＬＡＮケーブルＬ１を通じて電力を供給する。

よって、ＰｏＥハブ６２にカメラ２０を接続することで、ＡＣ（Alternating Current）アダプタ等の外部電力が不要になり、データ通信を行うＬＡＮケーブルＬ１のみで電力供給ができる。このため、屋外や天井等の電力供給が困難な場所でもカメラ２０を設置できる。

一方、ハブ６１には、ポートｐ２に端末４１が接続され、ポートｐ３に情報処理装置１０が接続され、ポートｐ４にＡＰ５０が接続されている。また、ＰｏＥハブ６２には、ポートｐ１２−１・・・、ｐ１２−ｎそれぞれにカメラ２０−１、・・・、２０−ｎが接続されている。ＡＰ５０には、端末４２およびスピーカ３０が無線で接続されている。

＜スピーカの構成＞
図３はスピーカの構成の一例を示す図である。スピーカ３０は、音声出力部３１と、回転機構部３２を備える。音声出力部３１は、超音波を利用した音声伝播機能を有し、音声の指向性出力を行う。

回転機構部３２は、水平方向と垂直方向の２軸回転機構を有する。回転機構部３２の水平方向のモータ回転機構により、水平軸ｈの０度を基準にして、プラス方向（矢印ｈ１）およびマイナス方向（矢印ｈ２）に音声出力部３１を水平方向に回転させる。

また、回転機構部３２の垂直方向のモータ回転機構により、垂直軸ｖの０度を基準にして、プラス方向（矢印ｖ１）およびマイナス方向（矢印ｖ２）に音声出力部３１を垂直方向に回転させる。なお、回転機構部３２の上面には、壁面等にスピーカ３０を取り付けるための取付用部品３３が設けられており、また、スピーカ３０には、図示しない無線ＬＡＮ通信機能が設けられている。

＜ハードウェア構成＞
図４は情報処理装置のハードウェア構成の一例を示す図である。情報処理装置１０は、プロセッサ（コンピュータ）１００によって全体制御されている。プロセッサ１００は、制御部１１の機能を実現する。

プロセッサ１００には、バス１０３を介して、メモリ１０１、入出力インタフェース１０２およびネットワークインタフェース１０４が接続されている。プロセッサ１００は、マルチプロセッサであってもよい。プロセッサ１００は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ１００は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

メモリ１０１は、記憶部１２の機能を含み、情報処理装置１０の主記憶装置として使用される。メモリ１０１には、プロセッサ１００に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０１には、プロセッサ１００による処理に要する各種データが格納される。

また、メモリ１０１は、情報処理装置１０の補助記憶装置としても使用され、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。メモリ１０１は、補助記憶装置として、フラッシュメモリやＳＳＤ（Solid State Drive）等の半導体記憶装置やＨＤＤ（Hard Disk Drive）等の磁気記録媒体を含んでもよい。

バス１０３に接続されている周辺機器としては、入出力インタフェース１０２およびネットワークインタフェース１０４がある。入出力インタフェース１０２は、プロセッサ１００からの命令にしたがって情報処理装置１０の状態を表示する表示装置として機能するモニタ（例えば、ＬＥＤ（Light Emitting Diode）やＬＣＤ（Liquid Crystal Display）等）が接続できる。

さらに、入出力インタフェース１０２は、キーボードやマウス等の情報入力装置を接続可能であって、情報入力装置から送られてくる信号をプロセッサ１００に送信する。
さらにまた、入出力インタフェース１０２は、周辺機器を接続するための通信インタフェースとしても機能する。例えば、入出力インタフェース１０２は、レーザ光等を利用して、光ディスクに記録されたデータの読み取りを行う光学ドライブ装置を接続することができる。光ディスクには、ＤＶＤ（Digital Versatile Disc）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）等がある。

また、入出力インタフェース１０２は、メモリ装置やメモリリーダライタを接続することができる。メモリ装置は、入出力インタフェース１０２との通信機能を搭載した記録媒体である。メモリリーダライタは、メモリカードへのデータの書き込み、またはメモリカードからのデータの読み出しを行う装置である。メモリカードは、カード型の記録媒体である。

ネットワークインタフェース１０４は、ネットワークに接続してネットワークインタフェース制御を行う。例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮカード等を使用することもできる。ネットワークインタフェース１０４で受信されたデータは、メモリ１０１やプロセッサ１００に出力される。

以上のようなハードウェア構成によって、情報処理装置１０の処理機能を実現することができる。例えば、情報処理装置１０は、プロセッサ１００がそれぞれ所定のプログラムを実行することで本発明の処理を行うことができる。

情報処理装置１０は、例えば、コンピュータで読み取り可能な記録媒体に記録されたプログラムを実行することにより、本発明の処理機能を実現する。情報処理装置１０に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。

例えば、情報処理装置１０に実行させるプログラムを補助記憶装置に格納しておくことができる。プロセッサ１００は、補助記憶装置内のプログラムの少なくとも一部を主記憶装置にロードし、プログラムを実行する。

また、光ディスク、メモリ装置、メモリカード等の可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１００からの制御により、補助記憶装置にインストールされた後、実行可能となる。またプロセッサ１００が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

＜声掛け動作シーケンス＞
図５は人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。
不審者に声掛けを行う場合の動作シーケンスを示している。
〔ステップＳ１１〕人物が入店する。
〔ステップＳ１１ａ〕カメラ２０は、入店した人物を撮影する。
〔ステップＳ１１ｂ〕カメラ２０は、人物の撮影画像を制御部１１に送信する。
〔ステップＳ１１ｃ〕制御部１１は、ＡＩ処理によって撮影画像を解析して、人物の検出および追跡を行う。

〔ステップＳ１２〕人物が何らかの不審行動を行う。
〔ステップＳ１２ａ〕カメラ２０は、人物の不審行動を撮影する。
〔ステップＳ１２ｂ〕カメラ２０は、不審行動の撮影画像を制御部１１に送信する。
〔ステップＳ１２ｃ〕制御部１１は、人物の行動パターンとして正常行動（または不審行動）のパターンをあらかじめ認識しており、受信した撮影画像にもとづき、行動パターンの判定を行う。そして、正常行動から外れる行動パターン（または不審行動パターン）を検出すると、不審者であると判定する。

〔ステップＳ１３〕制御部１１は、通知用の端末４２に不審者を発見したことを通知する。
〔ステップＳ１４〕端末４２は、不審者が入店したことを画面上に表示する。
〔ステップＳ１５〕制御部１１は、スピーカ３０から不審者に声掛けを行うために、３Ｄ（Dimension）空間マッピング、頭部位置検出、回転角度算出および音声パターン選択の各処理を行う。

３Ｄ空間マッピング処理は、人物の位置を３Ｄ空間内にマッピングする。頭部位置検出処理は、３Ｄ空間内で人物の頭部位置の座標を検出する。回転角度算出処理は、検出した人物の頭部位置にスピーカ３０が向くように、スピーカ３０の回転角度を算出する。音声パターン選択処理は、声掛け時の音声パターンを複数の音源のうちから選択する（音声パターンの具体例については図８で後述する）。

〔ステップＳ１６〕制御部１１は、声掛け命令（算出した回転角度および選択した音声パターン）をスピーカ３０に送信する。
〔ステップＳ１７〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された回転角度に駆動する。

〔ステップＳ１８〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された音声パターンの音声を発して、不審者に向けて声掛けを行う。不審者は、声掛けに気づくことになる。

図６は人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。特定人物に声掛けを行う場合の動作シーケンスを示している。なお、特定人物とは、不審者以外の人物であり、例えば、来店した一般の客等が該当する。

〔ステップＳ２１〕人物が入店する。
〔ステップＳ２１ａ〕カメラ２０は、入店した人物を撮影する。
〔ステップＳ２１ｂ〕カメラ２０は、人物の撮影画像を制御部１１に送信する。
〔ステップＳ２１ｃ〕制御部１１は、ＡＩ処理によって撮影画像を解析して、特定人物の検出および追跡を行う。なお、制御部１１は、人物の行動パターンをあらかじめ認識しており、受信した撮影画像にもとづき、行動パターンの判定を行う。例えば、正常行動の行動パターンを検出すると、特定人物であると判定する。

〔ステップＳ２２〕制御部１１は、通知用の端末４２に特定人物を発見したことを通知する。
〔ステップＳ２３〕端末４２は、特定人物が入店したことを画面上に表示する。
〔ステップＳ２４〕制御部１１は、スピーカ３０から特定人物に声掛けを行うために、３Ｄ空間マッピング、頭部位置検出、回転角度算出および音声パターン選択の各処理を行う。

〔ステップＳ２５〕制御部１１は、声掛け命令（算出した回転角度および選択した音声パターン）をスピーカ３０に送信する。
〔ステップＳ２６〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された回転角度に駆動する。

〔ステップＳ２７〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された音声パターンの音声を発して、特定人物に向けて声掛けを行う。特定人物は、声掛けに気づくことになる。

図７は人物を撮影してから声掛けを行うまでの動作シーケンスの一例を示す図である。特定エリア内にいる特定人物に声掛けを行う場合の動作シーケンスを示している。特定エリア内にいる特定人物とは、例えば、店内の売り場にいる店員等が該当する。

〔ステップＳ３１〕人物が入店する。
〔ステップＳ３１ａ〕カメラ２０は、入店した人物を撮影する。
〔ステップＳ３１ｂ〕カメラ２０は、人物の撮影画像を制御部１１に送信する。
〔ステップＳ３１ｃ〕制御部１１は、ＡＩ処理によって撮影画像を解析して、特定人物を検出して３Ｄ空間にマッピングする。また、３Ｄ空間内で特定人物の追跡を行う。

〔ステップＳ３２〕人物が特定エリアに入る。
〔ステップＳ３２ａ〕カメラ２０は、特定エリアにいる人物を撮影する。
〔ステップＳ３２ｂ〕カメラ２０は、人物の撮影画像を制御部１１に送信する。
〔ステップＳ３２ｃ〕制御部１１は、特定エリアに特定人物がいることを判定する。

〔ステップＳ３３〕制御部１１は、通知用の端末４２に特定エリア内の特定人物を発見したことを通知する。
〔ステップＳ３４〕端末４２は、特定エリア内に特定人物がいることを画面上に表示する。

〔ステップＳ３５〕制御部１１は、スピーカ３０から特定人物に声掛けを行うために、頭部位置検出、回転角度算出および音声パターン選択の各処理を行う。
〔ステップＳ３６〕制御部１１は、声掛け命令（算出した回転角度および選択した音声パターン）をスピーカ３０に送信する。
〔ステップＳ３７〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された回転角度に駆動する。

〔ステップＳ３８〕スピーカ３０は、受信した声掛け命令にもとづいて、指示された音声パターンの音声を発して、特定エリア内の特定人物に向けて声掛けを行う。特定エリア内の特定人物は、声掛けに気づくことになる。

＜音声パターン＞
図８は音声パターンテーブルの一例を示す図である。音声パターンテーブル１２ａは、人物、音声ファイルおよび音声パターン（音声の内容）の項目を有し、該テーブルのデータ構造は、記憶部１２に格納されている。

テーブル内容として例えば、人物が不審者である場合、音声ファイルには、音声ファイル１．ｗａｖ、音声ファイル２．ｗａｖ、音声ファイル３．ｗａｖが登録されている。音声ファイル１．ｗａｖの音声パターンは“いらっしゃいませ”、音声ファイル２．ｗａｖの音声パターンは“ｘｘエリアにお客様がお待ちです”、音声ファイル３．ｗａｖの音声パターンは“お買い上げありがとうございます”という音声が登録されている。

また、人物が特定人物（例えば、３０歳代男性）である場合、音声ファイルには、音声ファイル４．ｗａｖが登録されている。音声ファイル４．ｗａｖの音声パターンは“○○の商品がおすすめです”という音声が登録されている。

さらに、人物が特定エリア内の特定人物（例えば、店員）である場合、音声ファイルには、音声ファイル５．ｗａｖが登録されている。音声ファイル５．ｗａｖの音声パターンは“ｘｘに来てください”という音声が登録されている。
このように、音声パターンテーブル１２ａには、対象人物に声掛けを行う際に適した音声が登録されている。

＜３Ｄ空間におけるカメラと人物の位置＞
図９、図１０は３Ｄ空間におけるカメラと人物の位置を説明するための図である。なお、図１０は、図９のイメージをｘｚ平面で表現したものである。図９において、３Ｄのｘｙｚ空間に対象人物の足元が座標Ａ（ｘ１、ｙ１、ｚ１＝０）に位置している。また、カメラ２０が座標（ｘ２、ｙ２、ｚ２）に位置している。

図１０においては、対象人物は座標（ｘ１、ｚ１）に位置し、カメラ２０は（ｘ２、ｚ２）に位置している。また、対象人物の頭上の座標は（ｘ１、Ｈ）であり、カメラ２０から対象人物の頭上に引いた線分がｘ軸に交わる点が座標Ｂ（ｘ３、ｚ３＝０）である。

＜フローチャート＞
次に図１１から図１７のフローチャートを用いて詳細動作について説明する。図１１は人物を検出してから声掛けを行うまでの全体動作の一例を示すフローチャートである。
〔ステップＳ４１〕制御部１１は、ＡＩ処理による画像解析処理を起動する。
〔ステップＳ４２〕制御部１１は、カメラ２０の撮影画像から人物検出を行い、検出した人物が声掛けの対象人物か否かを判定する。声掛けの対象人物の場合はステップＳ４３に処理が進み、対象人物でない場合は人物検出および当該判定処理を繰り返す。

〔ステップＳ４３〕制御部１１は、３Ｄ空間における対象人物の頭部位置を検出する。
〔ステップＳ４４〕制御部１１は、対象人物の移動先の予測を行うか否かを判定する。移動先の予測を行う場合はステップＳ４５に処理が進み、移動先の予測を行わない場合はステップＳ４６に処理が進む。

〔ステップＳ４５〕制御部１１は、対象人物の移動速度の推定と、頭部位置の更新を行う。
〔ステップＳ４６〕制御部１１は、スピーカ３０の回転角度を算出する。
〔ステップＳ４７〕制御部１１は、音声パターンテーブル１２ａを用いて、対象人物に適した音声パターンを選択する。

〔ステップＳ４８〕制御部１１は、対象人物を追跡しながら声掛けを行うか否かを判定する。追跡しながら声掛けを行う場合はステップＳ４９に処理が進み、追跡せずに声掛けを行う場合はステップＳ５０ａに処理が進む。
〔ステップＳ４９〕制御部１１は、対象人物の移動に伴うスピーカ３０の回転角度を算出する。ステップＳ５０ｂに処理が進む。

〔ステップＳ５０ａ〕スピーカ３０は、制御部１１から指示された回転角度に駆動し、また制御部１１から指示された音声パターンで対象人物に声掛けを行う。
〔ステップＳ５０ｂ〕スピーカ３０は、制御部１１から指示された、対象人物の移動に合わせた回転角度に駆動し、また制御部１１から指示された音声パターンで対象人物に声掛けを行う。

図１２は頭部位置の検出処理の一例を示すフローチャートである。図１１のステップＳ４３の詳細フローを示している。
〔ステップＳ４３ａ〕制御部１１は、カメラ２０のキャリブレーションによる補正後のカメラ画面と、３Ｄ空間との対応付けを行う。

〔ステップＳ４３ｂ〕制御部１１は、カメラ２０で撮影された撮影画像から対象人物を検出し、対象人物の撮影画像内の座標を取得する。なお、人物検出が行われた場合、例えば、その人物の位置は矩形（矩形情報）で示される。

〔ステップＳ４３ｃ〕制御部１１は、対象人物の矩形情報から足元の座標を検出する。例えば、人物位置を示す矩形の下底の中間点を算出し、その中間点を足元の座標とする。
〔ステップＳ４３ｄ〕制御部１１は、検出した足元座標を３Ｄ空間の座標上にマッピングする（図９の座標Ａに相当）。

〔ステップＳ４３ｅ〕制御部１１は、対象人物の矩形情報から頭上の座標を算出する。例えば、人物位置を示す矩形の上底の中間点を算出し、その中間点を頭上の座標とする。
〔ステップＳ４３ｆ〕制御部１１は、２Ｄ画像（撮影画像）の頭上の座標を３Ｄ画像での床上とみなして、３Ｄ空間上に頭上座標をマッピングする（図１０の座標Ｂに相当）。

〔ステップＳ４３ｇ〕制御部１１は、座標Ｂとカメラ２０の座標とを結んだ線分における座標Ａのｘ成分に等しいｚ成分を抽出する（ｘ成分ではなくｙ成分を使ってもよい）。
〔ステップＳ４３ｈ〕制御部１１は、抽出したｚ成分に対して、所定長低い（例えば、２０ｃｍ低い）位置を対象人物の耳の高さＨとする。
〔ステップＳ４３ｉ〕制御部１１は、座標Ａにおけるｚ成分を耳の高さにした座標値を頭部位置とし、この頭部位置を、スピーカ３０を向ける座標として確定する（座標Ｃとする）。

このように、制御部１１は、撮影画像を３Ｄ空間にマッピングして、３Ｄ空間上で対象人物の頭上の位置を求め、頭上の位置から耳の位置を求めて、耳の位置を頭部位置とする。これにより、頭部位置に向けてスピーカ３０を回転させるので、スピーカ３０からの音声を対象人物に明確に聞かせることができる。

図１３は対象人物の移動速度の推定および頭部位置の更新の一例を示すフローチャートである。図１１のステップＳ４５の詳細フローを示している。
〔ステップＳ４５ａ〕制御部１１は、対象人物の過去数秒分の２Ｄ画像内の足元の座標を複数検出する。

〔ステップＳ４５ｂ〕制御部１１は、検出した過去の足元の座標を３Ｄ空間上の座標に変換する。これにより座標Ａを含む時系列の座標データを得る。
〔ステップＳ４５ｃ〕制御部１１は、時系列の座標データをもとに、ｔ秒後の対象人物の３Ｄ空間上の移動量を推定する。例えば、時系列の座標データから得られる座標間の移動速度をｘｙｚの３方向のベクトルとして求めた上でそれぞれの成分ごとに平均値を求める（移動速度Ｖａ）。そして、移動速度Ｖａに対して時間ｔを乗算することで、ｔ秒後の移動量ｄＬが推定できる。

ただし、ｔ秒は対象人物を検出した時間から音声を出力するまでの遅延時間に相当するものである。ｔ秒は事前のシステムテスト等で求めておいて、設定値としてあらかじめ保持しておくものとする。

〔ステップＳ４５ｄ〕制御部１１は、座標Ａに対してｘｙｚ方向のｔ秒後の移動量ｄＬを加算する。これにより、座標（Ａ＋ｄＬ）を得られる。座標（Ａ＋ｄＬ）は、声掛けをすべき対象人物の足元の座標になる（座標Ａ２とする）。また、座標Ａ２のｚ成分を耳の高さＨとすることで、これが移動後の頭部位置となり、スピーカ３０を向ける対象の座標となる（頭部位置の座標Ｃの更新）。

ここで、人物に声掛けを行う場合、人物検出からスピーカ３０から音声を出力させるまでに遅延時間が発生する。仮にこの遅延時間を考慮しないと、人物に向けて声掛けを行っても、その人物が移動している場合は、すでにその人物がいないことが起こりうる。

上記のように、制御部１１は、２次元画像から一定の時間間隔で対象人物の足元の座標を複数検出して時系列の座標データを取得し、座標データから算出した移動量にもとづいて頭部位置の更新を行う。これにより、対象人物の移動後の位置を精度よく検出することができる。

また、制御部１１は、対象人物の検出からスピーカ３０から音声パターンが出力されるまでの遅延時間を含めて移動量を算出する。これにより、人物が移動していても移動後の人物の頭部に向けてスピーカ３０から音声を出力させることができ、声掛け精度を向上させることができる。

図１４はスピーカの回転角度の算出処理の一例を示すフローチャートである。図１１のステップＳ４６の詳細フローを示している。
〔ステップＳ４６ａ〕制御部１１は、３Ｄ空間における、座標Ｃ（頭部位置）からスピーカ３０の設置座標を減算する。この減算処理はスピーカ３０を中心とした座標Ｃのベクトル化を行うものであり、減算結果をベクトルＳと呼ぶ。

〔ステップＳ４６ｂ〕制御部１１は、ベクトルＳの水平方向成分（ｘ成分とｙ成分）から水平方向の回転角（水平回転角）を算出する。水平回転角の算出式は、以下の式（１）になる。

〔ステップＳ４６ｃ〕制御部１１は、式（１）で求めた水平回転角で回転したときの回転方向成分を新たにｒ成分として、ｒ成分をｘ成分とｙ成分から算出する。ｒ成分の算出式は、以下の式（２）になる。

〔ステップＳ４６ｄ〕制御部１１は、上記のｒ成分と、ベクトルＳの垂直方向成分であるｚ成分とから垂直方向の回転角（垂直回転角）を算出する。垂直回転角の算出式は、以下の式（３）になる。

制御部１１は、上記のような算出式を用いて、水平回転角および垂直回転角を求めることにより、スピーカ３０の回転角度を容易に精度よく算出することができる。

図１５は対象人物の移動に伴う回転角度の算出処理の一例を示すフローチャートである。図１１のステップＳ４９の詳細フローを示している。
〔ステップＳ４９ａ〕制御部１１は、声掛けを行う際に選択した音声パターンの再生時間ｔ２を決定する。

〔ステップＳ４９ｂ〕制御部１１は、移動速度Ｖａに時間ｔ２を乗算し、乗算結果を移動量として算出する。
〔ステップＳ４９ｃ〕制御部１１は、算出した移動量を座標Ａ２（移動後の足元座標）に加算すると共に、ｚ成分を耳の高さＨとして頭部位置を求める（座標Ｃａとする）。この頭部位置は、声掛け終了時の対象人物の頭部の座標になる。

〔ステップＳ４９ｄ〕制御部１１は、座標Ｃａからスピーカ３０の設置座標を減算する。これはスピーカ３０を中心とした座標Ｃａのベクトル化に相当するものであり、減算結果をベクトルＳａとする。

〔ステップＳ４９ｅ〕制御部１１は、ベクトルＳａのｘ成分とｙ成分から、式（１）を用いて水平方向の回転角（水平回転角）を算出する。
〔ステップＳ４９ｆ〕制御部１１は、式（２）を用いて、水平方向の回転角方向を新たにｒ成分とし、ｘ成分とｙ成分からｒ成分を算出する。
〔ステップＳ４９ｇ〕制御部１１は、ベクトルＳａのｒ成分とｚ成分から垂直方向の回転角（垂直回転角）を算出する。

図１６はスピーカの回転駆動および声掛けの動作の一例を示すフローチャートである。図１１のステップＳ５０ａの詳細フローを示している。なお、図１４で上述した、座標Ｃ（最初の頭部位置）にもとづいて算出したスピーカ３０の水平回転角を水平回転角ａ１とし、座標Ｃにもとづいて算出したスピーカ３０の垂直回転角を垂直回転角ｂ１とする。

〔ステップＳ５０ａ１〕制御部１１は、スピーカ３０に対して、算出した水平回転角ａ１および垂直回転角ｂ１（第１の回転角度）と、選択した音声パターンとをスピーカ３０に送信する。
〔ステップＳ５０ａ２〕スピーカ３０は、水平回転角ａ１および垂直回転角ｂ１で回転駆動する。
〔ステップＳ５０ａ３〕スピーカ３０は、回転駆動が終了すると、指示された音声パターンで対象人物に向けて声掛けを行う。

図１７はスピーカの回転駆動および声掛けの動作の一例を示すフローチャートである。図１１のステップＳ５０ｂの詳細フローを示している。なお、図１５で上述した、座標Ｃａ（移動後の頭部位置）にもとづいて算出したスピーカ３０の水平回転角を水平回転角ａ２とし、座標Ｃａにもとづいて算出したスピーカ３０の垂直回転角を垂直回転角ｂ２とする。

〔ステップＳ５０ｂ１〕制御部１１は、スピーカ３０に対して、算出した水平回転角ａ１および垂直回転角ｂ１（第１の回転角度）と、選択した音声パターンとをスピーカ３０に送信する。
〔ステップＳ５０ｂ２〕制御部１１は、スピーカ３０に対して、算出した水平回転角ａ２および垂直回転角ｂ２（第２の回転角度）と、時間ｔ２の情報とをスピーカ３０に送信する。なお、時間ｔ２は、上述のように遅延が考慮された音声パターンの再生時間である。

〔ステップＳ５０ｂ３〕スピーカ３０は、水平回転角ａ１および垂直回転角ｂ１（第１の回転角度）で回転駆動する。
〔ステップＳ５０ｂ４〕スピーカ３０は、水平回転角ａ１および垂直回転角ｂ１の回転駆動の終了後、指示された音声パターンで、かつ送信された音声パターンの再生時間（時間ｔ２）で声掛けを行う。さらに、スピーカ３０は、声掛けを行いながら、水平回転角ａ２および垂直回転角ｂ２（第２の回転角度）で回転駆動する。

〔ステップＳ５０ｂ５〕スピーカ３０は声掛けを行う。また、スピーカ３０が声掛けを終了すると同時または終了した後に回転駆動が停止する。
このように、制御部１１は、頭部位置の座標から３Ｄ空間上のスピーカ３０の設置位置の座標を減算してスピーカ３０を中心とする頭部位置の座標のベクトルを算出し、ベクトルの水平方向成分にもとづいてスピーカ３０の水平回転角を算出する。
そして、スピーカ３０が水平回転角で回転したときの回転方向成分と、ベクトルの垂直方向成分とにもとづいてスピーカ３０の垂直回転角を算出し、水平回転角および垂直回転角を、スピーカ３０の回転角度とする。これにより、水平方向と垂直方向の２軸回転機構を有するスピーカ３０の回転角度を精度よく求めることができる。

さらに、制御部１１は、検出した頭部位置にスピーカ３０を向ける第１の回転角度（水平回転角ａ１および垂直回転角ｂ１）を算出し、対象人物の移動先の予測を行わない場合、スピーカ３０を第１の回転角度で回転させ音声パターンをスピーカ３０から出力させる。
また、対象人物の移動先の予測を行う場合、更新後の頭部位置にスピーカ３０を向ける第２の回転角度（水平回転角ａ２および垂直回転角ｂ２）を算出し、スピーカ３０を第１の回転角度で回転させ、第１の回転角度の回転の終了後に、スピーカ３０から音声パターンを出力させながら、スピーカ３０を第２の回転角度で回転させる。
これにより、対象人物の移動に追随するようにスピーカ３０が制御されるので、対象人物が移動することによって、スピーカ３０からの音声が対象人物に到達せずに、対象人物が声掛けを聞き逃してしまうといったことを防止することができる。

このように、第２の実施の形態の情報処理システム１−２では、カメラ２０と非一体型であり指向性を有して回転駆動するスピーカ３０を用いて、カメラ２０で撮影された撮影画像から算出した対象人物の頭部位置に向けてスピーカ３０を回転させて、スピーカ３０から対象人物に音声を出力させる構成とした。これにより、スピーカ設置数を減少させることができるので、システム規模の増加を抑えて、効率よく所定の空間内に位置する人物に対して音声通知を行うことが可能になる。

上記で説明した本発明の情報処理システム１−１、１−２の処理機能は、コンピュータによって実現することができる。この場合、情報処理システム１−１、１−２が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶部、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記憶部には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープ等がある。光ディスクには、ＣＤ−ＲＯＭ／ＲＷ等がある。光磁気記録媒体には、ＭＯ（Magneto Optical disk）等がある。

プログラムを流通させる場合、例えば、そのプログラムが記録されたＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶部に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部に格納する。そして、コンピュータは、自己の記憶部からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。

また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。また、上記の処理機能の少なくとも一部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ等の電子回路で実現することもできる。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

１−１ 情報処理システム
１ 情報処理装置
１ａ 制御部
１ｂ 記憶部
２ カメラ
３ スピーカ

Claims (4)

1. カメラと、
   前記カメラと非一体型であり指向性を有して回転駆動するスピーカと、
   前記カメラで撮影された撮影画像から対象人物を特定し、前記対象人物の頭部位置を検出し、前記頭部位置に向けて音声を発するための前記スピーカの回転角度を算出し、前記対象人物に発すべき音声パターンを選択して、前記回転角度で前記スピーカを回転させ前記音声パターンを前記スピーカから出力させる制御部と、
   を備え、
   前記制御部は、
   前記撮影画像の２次元画像を３次元空間に対応付け、前記２次元画像から前記対象人物の足元の座標および頭上の座標を検出して、前記足元の座標および前記頭上の座標を前記３次元空間にマッピングし、前記３次元空間にマッピングした前記頭上の座標にもとづく前記対象人物の頭上高さから所定値減算して耳の位置を検出し、前記耳の位置を前記対象人物の前記頭部位置とし、
   前記２次元画像から一定の時間間隔で前記対象人物の前記足元の座標を複数検出して時系列の座標データを取得し、前記座標データから所定時間の経過後の前記対象人物の移動量を算出し、前記移動量にもとづいて前記頭部位置の更新を行い、
   前記対象人物の検出から前記スピーカから前記音声パターンが出力されるまでの遅延時間を保持しておき、前記所定時間に前記遅延時間を含めて前記移動量を算出し、
   前記制御部は、
   検出した前記頭部位置に前記スピーカを向ける第１の回転角度を算出し、
   前記対象人物の移動先の予測を行わない場合、前記スピーカを前記第１の回転角度で回転させ前記音声パターンを前記スピーカから出力させ、
   前記対象人物の移動先の予測を行う場合、更新後の前記頭部位置に前記スピーカを向ける第２の回転角度を算出し、前記スピーカを前記第１の回転角度で回転させ、前記第１の回転角度の回転の終了後に、前記スピーカから前記音声パターンを出力させながら、前記スピーカを前記第２の回転角度で回転させる、
   情報処理システム。
2. 前記制御部は、
   前記頭部位置の座標から前記３次元空間上の前記スピーカの設置位置の座標を減算して前記スピーカを中心とする前記頭部位置の座標のベクトルを算出し、
   前記ベクトルの水平方向成分にもとづいて前記スピーカの水平回転角を算出し、
   前記スピーカが前記水平回転角で回転したときの回転方向成分と、前記ベクトルの垂直方向成分とにもとづいて前記スピーカの垂直回転角を算出し、
   前記水平回転角および前記垂直回転角を、前記スピーカの前記回転角度とする請求項１記載の情報処理システム。
3. カメラで撮影された撮影画像から対象人物を特定し、前記対象人物の頭部位置を検出し、前記カメラと非一体型であり指向性を有して回転駆動するスピーカに対して前記頭部位置に向けて音声を発するための前記スピーカの回転角度を算出し、前記対象人物に発すべき音声パターンを選択して、前記回転角度で前記スピーカを回転させ前記音声パターンを前記スピーカから出力させる制御部と、
   前記音声パターンを格納する記憶部と、
   を備え、
   前記制御部は、
   前記撮影画像の２次元画像を３次元空間に対応付け、前記２次元画像から前記対象人物の足元の座標および頭上の座標を検出して、前記足元の座標および前記頭上の座標を前記３次元空間にマッピングし、前記３次元空間にマッピングした前記頭上の座標にもとづく前記対象人物の頭上高さから所定値減算して耳の位置を検出し、前記耳の位置を前記対象人物の前記頭部位置とし、
   前記２次元画像から一定の時間間隔で前記対象人物の前記足元の座標を複数検出して時系列の座標データを取得し、前記座標データから所定時間の経過後の前記対象人物の移動量を算出し、前記移動量にもとづいて前記頭部位置の更新を行い、
   前記対象人物の検出から前記スピーカから前記音声パターンが出力されるまでの遅延時間を保持しておき、前記所定時間に前記遅延時間を含めて前記移動量を算出し、
   前記制御部は、
   検出した前記頭部位置に前記スピーカを向ける第１の回転角度を算出し、
   前記対象人物の移動先の予測を行わない場合、前記スピーカを前記第１の回転角度で回転させ前記音声パターンを前記スピーカから出力させ、
   前記対象人物の移動先の予測を行う場合、更新後の前記頭部位置に前記スピーカを向ける第２の回転角度を算出し、前記スピーカを前記第１の回転角度で回転させ、前記第１の回転角度の回転の終了後に、前記スピーカから前記音声パターンを出力させながら、前記スピーカを前記第２の回転角度で回転させる、
   情報処理装置。
4. コンピュータに、
   カメラで撮影された撮影画像から対象人物を特定し、
   前記対象人物の頭部位置を検出し、
   前記カメラと非一体型であり指向性を有して回転駆動するスピーカに対して前記頭部位置に向けて音声を発するための前記スピーカの回転角度を算出し、
   前記対象人物に発すべき音声パターンを選択し、
   前記回転角度で前記スピーカを回転させ前記音声パターンを前記スピーカから出力させ、
   前記撮影画像の２次元画像を３次元空間に対応付け、前記２次元画像から前記対象人物の足元の座標および頭上の座標を検出して、前記足元の座標および前記頭上の座標を前記３次元空間にマッピングし、前記３次元空間にマッピングした前記頭上の座標にもとづく前記対象人物の頭上高さから所定値減算して耳の位置を検出し、前記耳の位置を前記対象人物の前記頭部位置とし、
   前記２次元画像から一定の時間間隔で前記対象人物の前記足元の座標を複数検出して時系列の座標データを取得し、前記座標データから所定時間の経過後の前記対象人物の移動量を算出し、前記移動量にもとづいて前記頭部位置の更新を行い、
   前記対象人物の検出から前記スピーカから前記音声パターンが出力されるまでの遅延時間を保持しておき、前記所定時間に前記遅延時間を含めて前記移動量を算出し、
   検出した前記頭部位置に前記スピーカを向ける第１の回転角度を算出し、
   前記対象人物の移動先の予測を行わない場合、前記スピーカを前記第１の回転角度で回転させ前記音声パターンを前記スピーカから出力させ、
   前記対象人物の移動先の予測を行う場合、更新後の前記頭部位置に前記スピーカを向ける第２の回転角度を算出し、前記スピーカを前記第１の回転角度で回転させ、前記第１の回転角度の回転の終了後に、前記スピーカから前記音声パターンを出力させながら、前記スピーカを前記第２の回転角度で回転させる、
   処理を実行させるプログラム。

Images