JP6669064B2 - 情報提示装置、情報提示システム、情報提示方法、および、プログラム - Google Patents

Description

本発明は、撮影画像と共に関連情報を提示する技術に関する。

離れて暮らす家族や異なる支社にいる同僚など、離れた場所にいる人に、自分のいる場所の雰囲気を伝えたいことがある。このような場合、自分の周囲を撮影して相手に見せることで、自分の居る空間の雰囲気の一部を伝えることができる。しかし、撮影画像だけでは、空間の雰囲気を完全に伝えることができない。

例えば、撮影画像では、環境音を伝えることができない。この問題を解決する技術の一例として、特許文献１に記載された文字挿入装置がある。この文字挿入装置は、音声付画像から得られる音声データを文字情報に変換し、変換した文字情報を撮影画像の背景領域等に挿入することで、文字付画像を生成する。このようにして、この文字挿入装置は、撮影画像に付随していた発話内容や環境音などを、撮影画像と共に伝えることを可能としている。

また、撮影画像だけでは、被写体の状態や時間変化を一目で理解できない場合がある。例えば、人間は、雑踏の映像を見ると「ゴチャゴチャ」していると感じ、人が大勢いても誰も動いていないオフィス映像を見ると「シーン」としていると感じる。しかし、１枚の撮影画像だけでは、このような状態や時間変化を理解するのは難しい。

この問題を解決する技術の一例として、特許文献２に記載された感性表現語処理装置がある。この感性表現語処理装置は、あらかじめ、感性表現語データベースに、感性情報と感性表現語との対応関係を記憶しておく。感性情報は、撮影画像に表されている場の状況や物体の状態、場の時間的変化や物体の動きを示す情報である。また、感性表現語は、撮影画像を見た人がイメージする場の雰囲気や物体に対する印象を表現する語である。そして、この感性表現語処理装置は、撮影画像を分析して感性情報を算出し、算出した感性情報に対応付けられた感性表現語を選択し、選択した感性表現語を撮影画像に重畳する。このようにして、この感性表現語処理装置は、撮影画像に映されている場や物体の雰囲気および印象を、撮影画像と共に伝えることを可能としている。

特開２００３−１８４６２号公報 国際公開第２０１２／０７０４３０号

しかしながら、上述した関連技術には、以下の課題がある。

特許文献１に記載された文字挿入装置は、撮影された映像信号（音声付画像）に含まれる聴覚的情報を文字情報に変換して挿入するため、撮影範囲を含む場における撮影範囲外の状況を十分に伝えることができない。

また、特許文献２に記載された感性表現語処理装置は、撮影された映像信号に含まれる視覚的情報に基づく感性表現語を、映像信号中の画像に重畳するため、撮影範囲を含む場における撮影範囲外の状況を十分に伝えることができない。

本発明は、上述の課題を解決するためになされたもので、撮影画像を提示する際に、撮影範囲外の状況をより十分に伝えることができる技術を提供することを目的とする。

上記目的を達成するため、本発明の情報提示装置は、カメラの画像信号およびセンサからの信号を入力する信号入力手段と、前記センサからの信号に基づいて、信号源の位置を推定する信号源位置推定手段と、
前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報（状況表現）を抽出する状況表現抽出手段と、前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上における前記状況表現の表示方法を決定する表示方法決定手段と、前記表示方法に基づき前記状況表現を前記撮影画像に重畳して出力する提示手段と、を備える。

また、本発明の情報提示システムは、カメラと、センサと、上述の情報提示装置と、を備える。

また、本発明の情報提示方法は、カメラの画像信号およびセンサからの信号を入力し、前記センサからの信号に基づいて、信号源の位置を推定し、前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報（状況表現）を抽出し、前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上での前記状況表現の表示方法を決定し、前記表示方法に基づき前記状況表現を前記撮影画像に重畳して出力する。

また、本発明の記憶媒体は、カメラの画像信号およびセンサからの信号を入力する信号入力ステップと、前記センサからの信号に基づいて、信号源の位置を推定する信号源位置推定ステップと、前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報（状況表現）を抽出する状況表現抽出ステップと、前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上での前記状況表現の表示方法を決定する表示方法決定ステップと、前記表示方法に基づき前記状況表現を前記撮影画像に重畳して出力する提示ステップと、をコンピュータ装置に実行させる情報提示プログラムを記憶している。

本発明は、撮影画像を提示する際に、撮影範囲外の状況をより十分に伝えることができる技術を提供することができる。

本発明の第１の実施の形態としての情報提示システムの構成を示すブロック図である。 本発明の第１の実施の形態としての情報提示システムのハードウェア構成図である。 本発明の第１の実施の形態としての情報提示システムの動作を説明するフローチャートである。 本発明の第２の実施の形態としての情報提示システムの構成を示すブロック図である。 本発明の第２の実施の形態におけるカメラおよびセンサの配置の一例を示す図である。 本発明の第２の実施の形態における撮影範囲外センサＤＢに格納される情報の一例を示す図である。 本発明の第２の実施の形態におけるカメラとセンサとの位置関係を説明する模式図である。 本発明の第２の実施の形態におけるセンサ位置関係ＤＢに格納される情報の一例を示す図である。 本発明の第２の実施の形態における表示方法の決定手法の一例を説明する模式図である。 本発明の第２の実施の形態における表示方法の決定手法の他の一例を説明する模式図である。 本発明の第２の実施の形態における表示方法の決定手法の他の一例を説明する模式図である。 本発明の第２の実施の形態における表示方法の決定手法の他の一例を説明する模式図である。 本発明の第２の実施の形態における表示方法の決定手法の他の一例を説明する模式図である。 本発明の第２の実施の形態における表示方法の決定手法の他の一例を説明する模式図である。 本発明の第２の実施の形態における状況表現の重畳手法の一例を説明する模式図である。 本発明の第２の実施の形態における状況表現の重畳手法の他の一例を説明する模式図である。 本発明の第２の実施の形態としての情報提示システムの動作を示すフローチャートである。 本発明の第２の実施の形態における状況表現ＤＢに格納される情報の一例を示す図である。 本発明の第２の実施の形態においてセンサにより検出される人物領域の一例を説明する模式図である。 本発明の第２の実施の形態において決定される表示方法の一例を説明する模式図である。 本発明の第２の実施の形態において状況表現が重畳されて提示される撮影画像の一例を模式的に示す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態としての情報提示システム１の構成を図１に示す。

図１において、情報提示システム１は、情報提示装置１０と、カメラ８０と、センサ９０とを備える。情報提示装置１０は、カメラ８０およびセンサ９０とそれぞれ通信可能に接続される。

カメラ８０は、空間を撮影して動画像または静止画像等の画像信号を生成する装置である。カメラ８０は、情報提示システム１が観測対象とする空間の少なくとも一部を撮影可能な場所に設置される。

なお、図１には、１つのカメラ８０を示しているが、本発明の情報提示システムが備えるカメラの数を限定するものではない。

センサ９０は、空間の状況を観測する装置である。空間の状況とは、具体的には、空間自体の状況（例えば、明るさ、温度、湿度等）であってもよい。また、空間の状況とは、空間に存在する対象物（例えば、人、動物、物など）の状態であってもよい。このような空間の状況を観測するセンサ９０の具体例としては、例えば、カメラ（カメラ８０とは異なるカメラ）、マイク、デプスセンサ、振動センサ、照度計、湿度計、温度計などが挙げられる。また、センサ９０は、パンチルトカメラのように、その観測方向が変化するよう構成されていてもよい。また、センサ９０は、車、航空機またはロボットに搭載されるセンサのように、その位置が変化するよう構成されていてもよい。

また、センサ９０は、観測した信号を、情報提示装置１０に対して出力する。例えば、センサ９０は、カメラであれば画像信号を出力する。また、例えば、センサ９０は、マイク、デプスセンサ、振動センサ、照度計、湿度計、または、温度計であれば、音声信号、深度信号、振動信号、照度信号、湿度信号、または、温度信号を出力する。

また、センサ９０は、情報提示システム１が観測対象とする空間の状況を観測可能な場所に設置される。ここで、少なくとも１つのセンサ９０は、情報提示システム１が観測対象とする空間のうち、カメラ８０の撮影範囲外の状況を観測可能に設置されることが望ましい。以下、カメラ８０の撮影範囲外の状況を観測可能に設置されたセンサ９０を、撮影範囲外のセンサ９０とも記載する。

なお、図１には、１つのセンサ９０を示しているが、本発明の情報提示システムが備えるセンサの数や種類数を限定するものではない。

情報提示装置１０は、信号入力部１１と、信号源位置推定部１２と、状況表現抽出部１３と、表示方法決定部１４と、提示部１５とを備える。ここで、情報提示装置１０のハードウェア構成の一例を図２に示す。情報提示装置１０は、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、記憶装置１００４と、周辺機器接続インタフェース１００５と、表示装置１００６とによって構成される。

この場合、信号入力部１１は、周辺機器接続インタフェース１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、信号源位置推定部１２、状況表現抽出部１３、および、表示方法決定部１４は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。また、提示部１５は、表示装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、情報提示装置１０およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

信号入力部１１は、カメラ８０の画像信号およびセンサ９０からの信号を入力情報として取得する。例えば、センサ９０が全てカメラである場合、信号入力部１１は、カメラ８０からの画像信号と、各センサ９０からの画像信号とを取得する。また、センサ９０が、カメラ、マイク、デプスセンサ、振動センサ、照度計、湿度計、および、温度計の組み合わせであるとする。この場合、信号入力部１１は、カメラ８０からの画像信号と、各センサ９０からの画像信号、音声信号、深度信号、振動信号、照度信号、湿度信号、温度信号とを取得する。そして、信号入力部１１は、センサ９０から取得した信号を、信号源位置推定部１２および状況表現抽出部１３に供給する。また、信号入力部１１は、カメラ８０から取得した画像信号を、表示方法決定部１４および提示部１５に供給してもよい。あるいは、信号入力部１１は、カメラ８０から取得した画像信号を、一旦、記憶装置１００４に格納し、記憶装置１００４を経由して表示方法決定部１４および提示部１５に供給してもよい。

信号源位置推定部１２は、センサ９０からの信号に基づいて、信号源の位置を推定する。ここで、信号源とは、空間の状況や雰囲気についてその源（要因）となる信号の発生元あるいはセンサ９０の観測対象であり、例えば、空間内の音、振動、光、熱、湿気の発生元や、空間の中に存在する静止物体や移動物体である。例えば、信号源位置推定部１２は、信号源の位置を、センサ９０からの信号の解析によって推定してもよい。また、例えば、信号源位置推定部１２は、信号源の位置として、その信号を出力したセンサ９０の位置を適用してもよい。

状況表現抽出部１３は、センサ９０からの信号に基づいて、カメラ８０の撮影範囲外の状況を表現する情報（状況表現）を抽出する。例えば、状況表現抽出部１３は、カメラ８０の撮影範囲外のセンサ９０から得られる信号に基づいて、撮影範囲外の状況表現を抽出すればよい。以降、センサ９０から得られる信号に基づいて抽出された状況表現を、センサ９０の状況表現、（センサ９０の）信号源に関する状況表現、または、信号源の状況表現等とも記載する。

ここで、「抽出」とは、センサ９０から得られる信号に適合する状況表現を決定し、出力することを言う。また、状況表現は、空間の雰囲気や状況を視覚的に表す情報である。状況表現は、空間の雰囲気や状況が観測者にとって瞬時に理解できるような視覚的情報であることが望ましい。このような状況表現としては、例えば、文字が表現された画像である文字画像、記号が表現された画像である記号画像、アイコン画像、スタンプ画像等を適用してもよい。

例えば、状況表現抽出部１３は、センサ９０からの信号が照明の点灯を示す場合、状況表現として、照明が点灯したことを示す感性語「ぴかっ」という文字画像を抽出してもよい。その他、状況表現は、空調による温度上昇を示す「ほかほか」、水をこぼしたときの湿度上昇を示す「びしゃ」、人が歩いている様子を示す「スタスタ」、人が話している様子を示す「ペラペラ」等の感性語の文字画像であっても良い。また、状況表現は、悲鳴を表す「キャー」、挨拶を表わす「こんにちは」等の代表的な発言や、「消灯」、「火災」、「悲鳴」、「異常事態」等のように、状況や雰囲気に関する呼称を表す文字画像であってもよい。また、状況表現は、異常事態の発生を示す「！」等の記号画像や、異常事態を表す赤いランプ等の誘目度の高いアイコンであってもよい。その他、状況表現としては、空間の雰囲気や状況を視覚的に表す任意の情報を適用可能である。

表示方法決定部１４は、信号源の位置とカメラ８０の撮影範囲との位置関係に基づいて、カメラ８０の撮影画像上での状況表現の表示方法を決定する。ここで、カメラ８０の撮影画像とは、信号入力部１１に入力されたカメラ８０からの画像信号の表す画像である。例えば、カメラ８０から入力される画像信号が静止画像であれば、入力された静止画像が撮影画像として適用される。また、例えば、カメラ８０から入力される画像信号が動画像であれば、入力された動画像を構成する１つ以上のフレーム画像が、撮影画像として適用される。

例えば、表示方法決定部１４は、状況表現の表示方法として、撮影画像上での表示位置を決定してもよい。具体的には、表示方法決定部１４は、カメラ８０の撮影範囲に対する信号源の位置の相対的な方向に応じて、その信号源に関する状況表現の表示位置を決定してもよい。その他、表示方法決定部１４は、撮影範囲から信号源の位置までの距離に応じて、その信号源に関する状況表現の表示位置を決定してもよい。

提示部１５は、表示方法決定部１４によって決定された表示方法に基づいて、状況表現を撮影画像に重畳して出力する。例えば、提示部１５は、表示方法決定部１４によって決定された表示位置に、状況表現を重畳する。そして、提示部１５は、状況表現を重畳した撮影画像を、表示装置１００６に出力してもよい。また、例えば、提示部１５は、状況表現を重畳した撮影画像を、記憶装置１００４に出力してもよい。また、例えば、提示部１５は、状況表現を重畳した撮影画像を、ネットワークインタフェース（図示せず）等を介して接続された他の装置に対して出力してもよい。

以上のように構成された情報提示システム１の動作について、図３を参照して説明する。

まず、信号入力部１１は、カメラ８０からの画像信号およびセンサ９０からの信号を入力として取得する（ステップＡ１）。

次に、信号源位置推定部１２は、センサ９０からの信号に基づいて、信号源の位置を推定する（ステップＡ２）。例えば、前述のように、信号源位置推定部１２は、センサ９０の位置を信号源の位置として適用してもよいし、信号を解析することにより信号源の位置を推定してもよい。

次に、状況表現抽出部１３は、センサ９０からの信号に基づいて、カメラ８０の撮影範囲外の状況表現を抽出する（ステップＡ３）。例えば、前述のように、状況表現抽出部１３は、カメラ８０の撮影範囲外のセンサ９０から得られる信号に基づいて、撮影範囲外の状況表現を抽出すればよい。

次に、表示方法決定部１４は、ステップＡ３で抽出された状況表現について、カメラ８０の撮影画像上での表示方法を決定する（ステップＡ４）。例えば、前述のように、表示方法決定部１４は、カメラ８０の撮影範囲に対する信号源の位置の相対的な方向や距離に応じて、撮影画像上での状況表現の表示位置を決定してもよい。

次に、提示部１５は、ステップＡ１で入力されたカメラ８０の画像信号が示す撮影画像上に、ステップＡ３で抽出された各状況表現を、ステップＡ４で決定された表示方法に基づいて重畳し出力する（ステップＡ５）。

以上で、情報提示システム１は、動作を終了する。

次に、本発明の第１の実施の形態の効果について述べる。

本発明の第１の実施の形態としての情報提示システムは、撮影画像を提示する際に、撮影範囲外の状況をより十分に伝えることができる。

その理由は、信号入力部が、カメラの画像信号およびセンサからの信号を入力として取得し、信号源位置推定部が、センサからの信号に基づいて信号源の位置を推定し、状況表現抽出部が、センサからの信号に基づいて撮影範囲外の状況表現を抽出するからである。そして、表示方法決定部が、信号源の位置と撮影範囲との位置関係に基づいて、撮影画像上での表示方法を決定し、提示部が、決定された表示方法にしたがって、状況表現を撮影画像に重畳して出力するからである。

このように、本実施の形態は、撮影画像上に、撮影範囲と信号源の位置との位置関係に基づく表示方法で、撮影範囲外の状況表現を重畳するので、撮影範囲外で発生した状況およびその概略の発生位置を、撮影画像とともに伝えることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。

本発明の第２の実施の形態としての情報提示システム２の構成を図４に示す。

図４において、情報提示システム２は、本発明の第１の実施の形態としての情報提示システム１に対して、情報提示装置１０に替えて情報提示装置２０を備える点が異なる。情報提示装置２０は、カメラ８０およびセンサ９０とそれぞれ通信可能に接続される。なお、図４には、カメラ８０およびセンサ９０を１つずつ示しているが、本発明の情報提示システムが備えるカメラの数、センサの数およびセンサの種類数を限定するものではない。

情報提示装置２０は、本発明の第１の実施の形態としての情報提示装置１０に対して、信号源位置推定部１２に替えて信号源位置推定部２２と、状況表現抽出部１３に替えて状況表現抽出部２３とを備える点が異なる。また、情報提示装置２０は、さらに、情報提示装置１０に対して、表示方法決定部１４に替えて表示方法決定部２４と、提示部１５に替えて提示部２５とを備える点が異なる。

信号源位置推定部２２は、本発明の第１の実施の形態における信号源位置推定部１２と略同様に、センサ９０からの信号に基づいて信号源の位置を推定する。特に、本実施の形態では、信号源位置推定部２２は、信号源が音、移動物体、人物である場合についてそれぞれ次のようにして信号源の位置を推定する。

信号源が音である場合、信号源位置推定部２２は、次のようにして信号源の位置を推定可能である。ここでは、センサ９０として、複数のマイクが設置されているとする。この場合、信号源位置推定部２２は、複数のマイクからそれぞれ取得された音信号について、その周波数成分およびエネルギーを比較する。そして、信号源位置推定部２２は、同種の周波数成分から成る音について最もエネルギーが大きい音信号を捉えたマイク（センサ９０）の位置を、音の信号源の位置としてもよい。

また、信号源が移動物体である場合、信号源位置推定部２２は、次のようにして信号源の位置を推定可能である。ここでは、センサ９０として、カメラおよびデプスセンサが、略同一の位置に略同一の観測方向で設置されているとする。この場合、信号源位置推定部２２は、カメラおよびデプスセンサから得られる画像信号および深度信号に基づいて、３次元空間における点群データを一定時間観測する。そして、信号源位置推定部２２は、色やエッジ等の画像特徴をもとに区切られた画像領域上の点群（点群グループ）について位置移動を検知する。そして、信号源位置推定部２２は、カメラおよびデプスセンサを基準にした座標系において、位置移動を検知した点群グループの中心座標を、移動物体の位置として推定してもよい。

また、信号源が人物である場合、信号源位置推定部２２は、次のようにして信号源の位置を推定可能である。ここでは、センサ９０として、カメラが設置されているとする。この場合、信号源位置推定部２２は、センサ９０としてのカメラからの画像信号に基づいて人物領域の検出を行う。そして、信号源位置推定部２２は、センサ９０としてのカメラから得られる画像上での位置と空間上での位置とを予め対応づけたテーブルもしくは変換関数を用いて、信号源である人物の位置を推定してもよい。また、この場合、信号源位置推定部２２は、人物領域の検出手法として、予め作成しておいた空間画像と異なる領域を人物領域として検出する背景差分法を用いてもよい。あるいは、信号源位置推定部２２は、人物領域の検出手法として、予め作成した人物領域のテンプレート画像で入力画像を走査して、類似する画像特性を持った領域を人物領域として検出するテンプレートマッチングを用いてもよい。なお、人物領域の検出処理には、これらに限らず、その他の公知の技術を採用してもよい。

このように、信号源が音、移動物体、人物である場合についてそれぞれ信号源の位置の推定手法の一例を挙げたが、信号源位置推定部２２は、これらの各種類の信号源について、他の技術を用いて信号源の位置を推定してもよい。また、信号源位置推定部２２は、上述した種類以外の信号源についても、各種公知の技術を用いて信号源の位置を推定すればよい。

また、信号源位置推定部２２は、センサ９０の観測方向または位置が変化する場合、観測方向や位置の変化を考慮して、信号源の位置を推定する。この場合、センサ９０には、予め位置検出センサまたは方向検出センサが搭載されていてもよい。位置検出センサは、ＧＰＳ（Global Positioning System）であってもよいし、位置を検出可能な他のセンサであってもよい。また、方向検出センサは、ジャイロセンサであってもよいし、方向を検出可能な他のセンサであってもよい。そして、信号源位置推定部２２は、位置検出センサまたは方向検出センサから得られる情報に基づいて、世界座標系におけるセンサの位置や観測方向を特定し、特定した位置や観測方向の情報を用いて、信号源の位置を推定してもよい。

状況表現抽出部２３は、センサ９０からの信号について、状況表現ＤＢ（database）と撮影範囲外センサＤＢとを用いて、カメラ８０の撮影範囲外の状況表現を抽出する。さらに、状況表現抽出部２３は、カメラ８０の撮影範囲内の状況表現を抽出してもよい。

ここで、状況表現ＤＢは、センサ９０から得られうる信号に関する情報に、状況表現を対応付けた情報を格納している。状況表現ＤＢは、あらかじめ用意され、記憶装置１００４等に記憶されている。センサ９０から得られうる信号に関する情報とは、センサ９０から得られうる信号の特徴量に関する条件であってもよい。また、センサ９０から得られうる信号に関する情報とは、センサ９０から得られうる信号またはその特徴量の時間変化に関する条件であってもよい。

また、状況表現ＤＢは、複数のセンサ９０からの信号を組み合わせた条件に対応させて、状況表現を格納していてもよい。この場合、状況表現抽出部２３は、複数のセンサ９０からそれぞれ入力される信号の組み合わせが満たす条件について対応付けられた状況表現を抽出すればよい。例えば、状況表現抽出部２３は、温度計からの温度信号および照度計からの照度信号の組み合わせが、温度および照度が共に上昇したことを示す条件に合致する場合に、火災を示す状況表現を抽出可能となる。また、状況表現抽出部２３は、マイクからの音声信号およびセンサ９０としてのカメラからの画像信号の組み合わせが、一定の音量以上の声かつ一定数以上の人物の移動を示す条件に合致する場合に、事件発生を示す状況表現を抽出可能となる。

撮影範囲外センサＤＢは、カメラ８０にとって、センサ９０がその撮影範囲外のセンサ９０であるか否かを表す情報を格納する。なお、撮影範囲外のセンサ９０としては、その観測領域内にカメラ８０の撮影範囲に含まれない領域があるセンサ９０を定義してもよい。この場合、センサ９０の設置位置がカメラ８０の撮影範囲内であるか撮影範囲外であるかに関わらず、撮影範囲外のセンサ９０が定義される。

例えば、情報提示システム２が複数のカメラ８０および複数のセンサ９０を備える場合、撮影範囲外センサＤＢは、各カメラ８０について、各センサ９０が撮影範囲外のセンサ９０であるか否かを表す情報を格納してもよい。また、情報提示システム２が複数のカメラ８０を備える場合、各カメラ８０を本実施の形態のカメラ８０として適用し、各カメラ８０について他のカメラ８０を、本実施の形態のセンサ９０として適用可能である。そして、この場合、撮影範囲外センサＤＢは、各カメラ８０について他のカメラ８０が撮影範囲外のセンサ９０であるか否かを表す情報を格納しておけばよい。

例えば、情報提示システム２が、図５に示すように、その観測空間に、３台のカメラ１〜３、３個のマイク１〜３、および、２個の温度計１〜２を備えているとする。なお、図５は、オフィス内の机の配置図を表している。図５において、各矩形は机を表し、矩形の間の空間は人が通ることのできる通路を表している。

この場合、撮影範囲外センサＤＢは、図６のような情報を格納してもよい。図６において、例えば、１行目は、カメラ２〜３、マイク１〜３、温度計２は、カメラ１の撮影範囲外のセンサ９０であり、温度計１は、カメラ１の撮影範囲外のセンサ９０ではない（撮影範囲内のセンサ９０である）ことを示している。このように、撮影範囲外センサＤＢは、各カメラ８０について、撮影範囲外のセンサ９０に「○」を表す情報を格納し、撮影範囲内のセンサ９０に「×」を表す情報を格納する形式であってもよい。このような撮影範囲外センサＤＢを参照することにより、状況表現抽出部２３は、あるカメラ８０にとっての撮影範囲外のセンサ９０を特定し、特定したセンサ９０からの信号を用いて、そのカメラ８０にとっての撮影範囲外の状況表現を抽出すればよい。なお、撮影範囲外センサＤＢは、図６のような形式に限らず、他の形式で情報を格納してもよい。

また、センサ９０の位置または観測方向が変化する場合、状況表現抽出部２３は、撮影範囲外センサＤＢを適宜更新すればよい。例えば、センサ９０に上述のように位置検出センサや方向検出センサが搭載される場合、状況表現抽出部２３は、センサ９０からの信号とともに位置検出センサや方向検出センサの情報を取得する。そして、状況表現抽出部２３は、位置検出センサや方向検出センサの情報に基づき算出されるセンサ９０の観測領域に、カメラ８０の撮影範囲内に含まれない領域があるか否かに基づいて、撮影範囲外センサＤＢを更新すればよい。

また、状況表現抽出部２３は、前述のように、カメラ８０の撮影範囲外の状況表現を抽出することに加えて、さらに、カメラ８０の撮影範囲内の状況表現を抽出してもよい。この場合、状況表現抽出部２３は、カメラ８０にとって撮影範囲内としてあらかじめ定められたセンサ９０から信号入力部１１に入力された信号について、状況表現ＤＢから対応する状況表現を抽出し、カメラ８０の撮影範囲内の状況表現としてもよい。なお、状況表現抽出部２３は、カメラ８０にとって撮影範囲内のセンサ９０を、撮影範囲外センサＤＢを参照することにより特定可能である。

表示方法決定部２４は、信号源の位置とカメラ８０の撮影範囲との位置関係に基づいて、カメラ８０の撮影画像上での状況表現の表示方法を決定する。このとき、表示方法決定部２４は、本発明の第１の実施の形態における表示方法決定部１４と同様に、撮影画像上での状況表現の表示位置を決定することに加えて、以下のように詳細な表示方法を決定する。

例えば、表示方法決定部２４は、撮影画像上での状況表現の形状またはサイズを決定してもよい。ここで、形状とは、例えば、状況表現としての文字画像の囲み枠の形状や、文字画像そのものを変形させる形状等であってもよい。また、表示方法決定部２４は、表示方法として、撮影画像上に状況表現を重畳する際の透過率を決定してもよい。また、表示方法決定部２４は、表示方法として、撮影画像上での状況表現の動きを決定してもよい。ここで、状況表現の動きとは、状況表現の表示方法の時間的な変化(点滅、移動、その変化の速度等)をいうものとする。なお、状況表現の動きは、点滅、移動、その変化の速度に限らず、撮影画像上で表現可能なその他の動きであってもよい。また、表示方法決定部２４は、表示方法として、カメラ８０の位置を起点とした信号源の方向を示すための吹き出しや効果線を、状況表現に付随させて重畳するか否かを決定してもよい。

また、表示方法決定部２４は、信号源の移動速度や移動方向、または、信号源の重要度（観測者にとっての興味度や緊急度）を考慮して、状況表現の表示方法を決定してもよい。また、表示方法決定部２４は、ある状況表現の表示領域の少なくとも一部が他の状況表現の表示領域に重なる場合には、それらの状況表現の撮影画像上での重なり順（前景／背景の順序）を決定してもよい。例えば、表示方法決定部２４は、各状況表現が抽出される元となったセンサ９０とカメラ８０との距離に応じて、重なり順を決定してもよい。あるいは、表示方法決定部２４は、各状況表現にあらかじめ設定された重要度、または、各状況表現の抽出の元となったセンサ９０にあらかじめ設定された重要度に基づいて、それらの状況表現の重なり順を決定してもよい。

このように、表示方法決定部２４は、撮影範囲外での信号源の位置およびその信号源に起因する空間の状況や雰囲気を、観測者に伝えることが可能な表示方法を決定すればよい。

また、表示方法決定部２４は、センサ位置関係ＤＢを用いて、上述のような表示方法を決定してもよい。センサ位置関係ＤＢは、カメラ８０の撮影範囲およびセンサ９０の位置との位置関係を表す情報を格納する。このようなセンサ位置関係ＤＢは、あらかじめ用意され、記憶装置１００４等に記憶される。なお、センサ位置関係ＤＢに格納される位置関係は、予め算出もしくは計測されているものとする。

例えば、センサ位置関係ＤＢは、カメラ８０を基準とする座標系におけるセンサ９０の位置座標を格納していてもよい。あるいは、センサ位置関係ＤＢは、カメラ８０を基準とする座標系における、センサ９０の観測領域に含まれる任意の点の位置座標を格納していてもよい。例えば、センサ９０がカメラである場合、センサ位置関係ＤＢは、カメラ８０を基準とする座標系における、センサ９０であるカメラの光軸上の任意の点の位置座標を格納していてもよい。なお、カメラ８０を基準とする座標系は、カメラ８０の撮影画像上での位置を表す二次元座標であってもよい。以下では、カメラの撮影画像上での位置を表す二次元座標を、カメラ画像座標とも記載する。

例えば、図５に示したカメラ２について、そのカメラ画像座標系において他のセンサ９０の位置座標が、図７のように表されるとする。この場合、センサ位置関係ＤＢは、図８のような情報を格納する。

もし、信号源の位置としてセンサ９０の位置が適用されている場合、表示方法決定部２４は、センサ位置関係ＤＢを参照し、カメラ８０を基準とする座標系におけるそのセンサ９０の位置座標を用いて、表示方法を決定すればよい。また、もし、信号源の位置として、センサ９０の位置を基準とする信号源の位置が推定されている場合、表示方法決定部２４は、次のようにして信号源の位置と撮影範囲との位置関係を求める。具体的には、表示方法決定部２４は、センサ位置関係ＤＢを参照し、カメラ８０を基準とする座標系におけるセンサ９０の位置座標を求める。そして、表示方法決定部２４は、カメラ８０を基準とする座標系におけるセンサ９０の位置座標と、そのセンサ９０の位置を基準とする信号源の位置とに基づいて、カメラ８０を基準とする座標系における信号源の位置座標を求めればよい。

このように、表示方法決定部２４は、信号源位置推定部２２によって推定された信号源の位置に基づいて、カメラ８０のカメラ画像座標系における信号源の位置座標を求め、求めた位置座標に応じて、撮影画像上での状況表現の表示方法を決定すればよい。

その他、センサ位置関係ＤＢは、３次元空間(例えば、世界座標系)において、カメラ８０に対するセンサ９０の相対的な３次元位置座標を格納していてもよい。また、センサ位置関係ＤＢは、カメラ８０に対するセンサ９０の相対方向を表す情報を格納してもよい。相対方向を表す情報とは、例えば、左、右、上、下等であってもよい。

また、カメラ８０またはセンサ９０の位置や観測方向が変化する場合に、表示方法決定部２４は、位置や観測方向の変化に応じて、カメラ８０およびセンサ９０の位置関係を算出し、センサ位置関係ＤＢを更新してもよい。例えば、カメラ８０やセンサ９０に位置検出センサや方向検出センサが搭載される場合、表示方法決定部２４は、位置検出センサや方向検出センサからの信号に基づいて、センサ位置関係ＤＢを更新可能である。

また、表示方法決定部２４については、表示方法の決定処理の具体例として、例えば以下に挙げる手法を採用可能である。

（１０３−Ａ）センサ９０の位置座標に基づく表示方法決定手法
ここでは、信号源位置推定部２２によって、信号源の位置としてセンサ９０の位置そのものが適用される場合を想定する。また、センサ位置関係ＤＢは、カメラ８０のカメラ画像座標系におけるセンサ９０の位置座標を格納しているものとする。この場合、表示方法決定部２４は、表示方法を以下のように決定してもよい。

まず、表示方法決定部２４は、図９に示すように、カメラ８０のカメラ画像座標系において、カメラ８０の撮影画像の中心（Ｃｘ，Ｃｙ）およびセンサ９０の座標（−Ｓｘ，Ｓｙ）を結んだ直線と、カメラ８０の撮影画像の境界との交点を、状況表現の表示基準点とする。そして、表示方法決定部２４は、撮影画像においてあらかじめ設定された表示可能領域において、表示基準点を基準とする所定範囲の領域を、仮の表示位置として決定する。ここで、表示可能領域とは、状況表現を重畳することが可能な領域としてあらかじめ定められる。例えば、表示可能領域としては、カメラ８０の画角内で予め定められた角度の範囲に対応する撮影画像上での領域が定められてもよい。例えば、このような表示可能領域としては、図９に示すように、撮影画像の境界から内側に向かってｘ方向に長さＡｘまで、ｙ方向に長さＡｙまでの領域（図９の網掛け領域）が定められていてもよい。そして、表示方法決定部２４は、他の信号源について決定された表示位置と重複しない場合には、この信号源に関する状況表現について、仮の表示位置を採用して決定する。また、表示方法決定部２４は、カメラ８０の画像中心と信号源の座標との距離に応じて、各信号源の状況表現について、サイズ、透過率、表示基準点からの距離等を調整してもよい。例えば、図１０に示すように、カメラ８０の画像中心（Ｃｘ，Ｃｙ）からセンサ１の座標（−Ｓｘ，Ｓｙ）までの距離が、センサ２の座標（−Ｓ’ｘ，Ｓ’ｙ）までの距離より短いとする。この場合、表示方法決定部２４は、センサ１の状況表現の表示基準点からの距離を、センサ２の状況表現の表示基準点からの距離より短くなるよう、それぞれの表示位置を決定している。また、この場合、表示方法決定部２４は、センサ１の状況表現がセンサ２の状況表現より大きくなるよう、それぞれのサイズを決定している。なお、状況表現が文字を表す場合、表示方法決定部２４は、状況表現のサイズとして、観測者にとって文字を判読可能な最小のサイズを予め設定しておき、そのサイズ以上を決定するようにしてもよい。

（１０３−Ｂ）信号源の位置座標に基づく表示方法決定手法
ここでは、信号源位置推定部２２によって、信号源の位置として、センサ９０の位置を基準とする信号源の位置が推定される場合を想定する。また、センサ位置関係ＤＢは、カメラ８０のカメラ画像座標系におけるセンサ９０の位置座標を格納しているものとする。また、例として、図５におけるカメラ２をカメラ８０とし、カメラ１をセンサ９０とする場合を考える。この場合、表示方法決定部２４は、表示方法を以下のように決定してもよい。

ここでは、図１１に示すように、センサ９０としてのカメラ１の撮影画像において人物領域が検出され、カメラ１の撮影画像の中心（Ｃ１ｘ，Ｃ１ｙ）に対して、人物領域の中心座標（Ｐ１ｘ，Ｐ１ｙ）が推定されている。そこで、表示方法決定部２４は、カメラ８０としてのカメラ２のカメラ画像座標系における、センサ９０としてのカメラ１の位置座標（−ｃ２１ｘ，ｃ２１ｙ）を、図８のセンサ位置関係ＤＢから求める。そして、表示方法決定部２４は、図１２に示すように、カメラ２のカメラ画像座標系における人物領域の中心座標（−ｐ２１ｘ，ｐ２１ｙ）を求める。カメラ２のカメラ画像座標系における人物領域の中心座標（−ｐ２１ｘ，ｐ２１ｙ）は、カメラ２のカメラ画像座標系におけるカメラ１の位置座標（−ｃ２１ｘ，ｃ２１ｙ）と、カメラ１の画像中心に対する人物領域の中心座標（Ｐ１ｘ，Ｐ１ｙ）とから算出できる。そして、表示方法決定部２４は、カメラ２の撮影画像中心（Ｃ２ｘ，Ｃ２ｙ）、および、人物領域の中心座標（−ｐ２１ｘ，ｐ２１ｙ）を結んだ直線と、カメラ２の撮影画像の枠との交点を表示基準点とする。そして、表示方法決定部２４は、表示基準点から所定範囲の領域を、人物に関する状況表現の表示位置として決定する。

なお、センサ９０であるカメラ１からの画像信号において人物領域の動きが検出される場合、表示方法決定部２４は、人物領域の動きに応じて状況表現の動きを決定してもよい。例えば、人物領域に映されている人物がカメラ８０であるカメラ２の方向に向かって移動していることが検出された場合、表示方法決定部２４は、カメラ２に人物が近づくにつれて、状況表現の透過率を下げるよう、透過率の時間変化を決定してもよい。また、この場合、表示方法決定部２４は、状況表現の透過率を、１フレーム前の撮影画像に重畳する際の透過率よりも下げることを表すフラグを設定してもよい。

（１０３−Ｃ）相対方向（「上」「下」「左」「右」等）に基づく表示方法決定手法
ここでは、センサ位置関係ＤＢは、カメラ８０に対するセンサ９０の相対的方向を表す情報として、「上」、「下」、「右」、「左」を格納しているものとする。なお、信号源の位置としては、センサ９０の位置そのもの、あるいは、センサ９０の位置に対する信号源の相対的な位置を利用する場合のいずれが適用されていてもよい。この場合、表示方法決定部２４は、表示方法を以下のように決定してもよい。

ここでは、表示方法決定部２４は、カメラ８０に対する相対位置が「左」と記憶されたセンサ９０の状況表現について、図１３に示すように、点ａを表示基準点とするようあらかじめ定めておく。そして、表示方法決定部２４は、この状況表現の表示位置として、表示基準点から所定範囲の領域（例えば矩形領域Ａ）を決定する。同様に、カメラ８０に対する相対位置がそれぞれ「上」、「右」、「下」と記憶されたセンサ９０の状況表現については、それぞれ点ｂ，ｃ，ｄを表示基準点とするようあらかじめ定めておく。そして、表示方法決定部２４は、これらの状況表現の表示位置として、それぞれ表示基準点から所定範囲の領域（例えば、矩形領域Ｂ，Ｃ，Ｄ）を決定する。

（１０３−Ｄ）３次元位置座標に基づく表示方法決定手法
ここでは、センサ位置関係ＤＢは、３次元座標系におけるカメラ８０の位置に対するセンサ９０の相対的な位置座標を格納しているものとする。なお、信号源の位置としては、センサ９０の位置そのもの、あるいは、センサ９０の位置に対する信号源の相対的な位置を利用する場合のいずれが適用されていてもよい。ただし、信号源の位置は、３次元位置座標として推定されているものとする。この場合、表示方法決定部２４は、以下のように表示方法を決定してもよい。

この場合、表示方法決定部２４は、図１４に示すように、世界座標系におけるカメラ８０の画像中心（Ｃｘ，Ｃｙ，Ｃｚ）と、信号源の位置座標（−Ｓｘ，−Ｓｙ，Ｓｚ）とを結ぶ直線をカメラ８０の投影面（撮影画像）に投影する。そして、表示方法決定部２４は、投影線とカメラ８０の投影面の枠との交点を、表示基準点に設定する。そして、表示方法決定部２４は、この表示基準点から所定範囲の領域を、この信号源に関する状況表現の表示位置として決定する。

また、上述した（１０３−Ａ）から（１０３−Ｄ）の表示方法決定手法のいずれかを採用する際に、さらに、表示方法決定部２４は、センサ９０について定められた重要度に基づいて、そのサイズを決定してもよい。具体的には、表示方法決定部２４は、センサ９０の重要度が高いものほど状況表現が大きくなるようにそのサイズを決定してもよい。例えば、温度計や湿度計等のセンサ９０に他のセンサ９０より高い重要度が設定される場合を想定する。この場合、表示方法決定部２４は、これらのセンサ９０（温度計や湿度計）に関する状況表現（例えば、火災の発生、水をこぼしたなど、空間の異常な状況を表す表現）について、より大きいサイズで状況表現を重畳するよう決定することができる。これにより、観測者は、重要度のより高い状況に容易に気づくことが可能となる。

あるいは、表示方法決定部２４は、抽出された状況表現そのものについて定められた重要度に基づいて、重要度の高いものほど表示領域が大きくなるようにそのサイズを決定してもよい。例えば、特定の状況表現（例えば、「火災」、「悲鳴」などの非常事態を表す状況表現）について、他の状況表現より高い重要度が設定される場合を想定する。この場合、表示方法決定部２４は、このような非常事態に関する状況表現についてより大きいサイズで重畳するよう決定することができる。これにより、観測者は、非常事態の発生に容易に気づくことが可能となる。

また、表示方法決定部２４は、信号源の方向を明示する吹き出しや効果線を表示するか否かを示すフラグを表示方法として保持してもよい。

提示部２５は、本発明の第１の実施の形態における表示方法決定部１４と略同様に、表示方法決定部２４によって決定された表示方法に基づいて、状況表現を撮影画像に重畳して出力する。また、本実施の形態では、提示部２５は、状況表現の提示処理として、例えば以下に挙げる手法を採用可能である。

（１０４−Ａ）状況表現を一定時間だけ重畳する手法
この場合、提示部２５は、状況表現を、カメラ８０の撮影画像上の同一位置に所定時間重畳する。例えば、カメラ８０の画像信号が３０フレーム／秒で入力され、状況表現が１０秒に１回抽出されることを想定する。この場合、提示部２５は、時刻ｔで抽出された状況表現を、時刻ｔから１０秒間で入力された３００フレームの画像上に、同一の表示方法で重畳提示する。

（１０４−Ｂ）吹き出しや効果線とともに重畳する手法
表示方法決定部２４によって決定された表示方法において、効果線や吹き出しを表示するフラグがオンであることを想定する。この場合、提示部２５は、状況表現を吹き出しや効果線とともに撮影画像に重畳する。例えば、図１５に示すように、提示部２５は、表示基準点を始点とした吹き出しや効果線を表示してもよい。これにより、観測者は、観測空間の雰囲気や状況の発生源の位置を表す表示基準点を、直観的に理解可能となる。

また、提示部２５は、複数の状況表現についてその重なり順が表示方法決定部２４によって決定されている場合、その重なり順にしたがって、それらの状況表現を表示してもよい。例えば、図１６に示すように、提示部２５は、センサ９０およびカメラ８０の距離に応じて決定された重なり順で、状況表現を表示してもよい。具体的には、提示部２５は、カメラ８０により近いセンサ９０の状況表現が、より遠いセンサ９０の状況表現より前景となるよう重畳してもよい。これにより、撮影範囲外における複数の信号源の位置関係を、観測者が直観的に理解できる。

（１０４−Ｃ）所定範囲のセンサ９０から抽出した状況表現のみ重畳する手法
この場合、提示部２５は、情報提示システム２が備えるセンサ９０のうち、所定の観測範囲を観測するセンサ９０から抽出された状況表現を重畳してもよい。例えば、所定の観測範囲を観測するセンサ９０は、カメラ８０からの距離が所定範囲にあるものであってもよい。これにより、観測者は、撮影範囲外のうち特に確認したい特定箇所の雰囲気や状況を効率的に確認できる。

（１０４−Ｄ）雰囲気や状況の変化に基づいて重畳する手法
この場合、提示部２５は、状況表現のサイズ、透過率、位置等を変化させながら一定時間重畳してもよい。例えば、センサ９０からの信号の解析により信号源としての人物が移動していることが検出されている場合、提示部２５は、表示方法決定部２４によって決定された表示位置に収まる範囲で、状況表現のサイズや位置を変化させながら一定時間重畳してもよい。また、センサ９０からの信号の解析により信号源としての人物がカメラ８０に向かって移動していることが検出されている場合、提示部２５は、状況表現の透過率を下げながら一定時間重畳してもよい。また、センサ９０からの信号の解析により温度や湿度が急激に上昇している等の緊急事態が検出されている場合、提示部２５は、状況表現を重畳する／しないを一定間隔で切り替え、点滅させてもよい。また、提示部２５は、状況表現のサイズや位置の変化速度、透過率の変化速度、重畳する／しないの切り替え速度等を、人物の移動速度、温度や湿度の上昇速度等センサ９０からの信号の時間変化に応じて変化させて（例えば比例させて）もよい。これにより、提示部２５は、発生源の位置だけでなくその変化の度合いを、観測者に伝えることができる。また、これにより、提示部２５は、撮影範囲外（または範囲内）の事象が撮影範囲内（または範囲外）の状況にどのように伝搬したかを、観測者に容易に伝えることができる。事象や状況の伝播とは、例えば、人物がカメラ８０の撮影範囲に入ってくる様子、出ていく様子、撮影範囲外のざわめきに呼応して撮影画像内でもざわめきが発生する様子などをいう。

（１０４−Ｅ）撮影範囲外の状況表現と共に撮影範囲内の状況表現を重畳する手法
この場合、提示部２５は、カメラ８０の撮影範囲外の状況表現に加えて、撮影範囲内の状況表現を、表示方法決定部２４によって決定された表示方法を用いて撮影画像に重畳してもよい。これにより、提示部２５は、撮影範囲内および撮影範囲外の雰囲気や状況が似ているか否かを、観測者に伝えることができる。

（１０４−Ｆ）撮影範囲内の状況とは異なる撮影範囲外の状況を重畳する手法
この場合、提示部２５は、カメラ８０の撮影範囲外の状況表現のうち、撮影範囲内の状況表現とは異なる状況表現を重畳してもよい。これにより、提示部２５は、カメラ８０を介して視聴可能な状況とは異なる状況が撮影範囲外のどの辺りで生じたかを、観測者に伝えることができる。

（１０４−Ｇ）カメラ８０の位置や向きの変化に基づいて重畳する手法
この場合、提示部２５は、カメラ８０の位置や観測方向の変化に応じて逐次抽出される状況表現および決定される表示方法に基づいて、状況表現を重畳表示してもよい。例えば、カメラ８０の画像信号が３０フレーム／秒で入力され、カメラ８０の位置・観測方向の変化に応じた状況表現およびその表示方法が３秒に１回抽出・決定される場合を想定する。この場合、提示部２５は、時刻ｔに抽出された状況表現を、時刻ｔに決定した表示方法に従って、時刻ｔから３秒間に入力された９０フレームの画像上に重畳提示する。これにより、提示部２５は、カメラ８０の位置や観測方向が変化した場合でも、その位置や観測方向に応じた撮影範囲外の状況を、観測者に伝えることができる。

以上のように構成された情報提示システム２の動作について、図１７を参照して説明する。

まず、信号入力部１１は、本発明の第１の実施の形態と同様にステップＡ１を実行し、カメラ８０からの画像信号およびセンサ９０からの信号を入力として取得する。

次に、信号源位置推定部２２は、センサ９０からの信号に基づいて、信号源の位置として、センサ９０そのものの位置またはセンサ９０からの信号を解析して得られる位置を推定する（ステップＢ２）。

例えば、信号源位置推定部２２は、音声信号、照度信号、温度信号については、その信号を出力したセンサ９０の位置を信号源の位置として推定する。また、信号源位置推定部２２は、画像信号については、その信号から検出される人物領域の位置を解析して推定する。

次に、状況表現抽出部２３は、撮影範囲外センサＤＢおよび状況表現ＤＢを参照することにより、カメラ８０の撮影範囲外の状況表現を抽出する。さらに、状況表現抽出部２３は、カメラ８０の撮影範囲内の状況表現を抽出してもよい（ステップＢ３）。

具体的には、状況表現抽出部２３は、撮影範囲外ＤＢで定義されたカメラ８０の撮影範囲外のセンサ９０からの信号を解析し、その特徴量を算出する。そして、状況表現抽出部２３は、状況表現ＤＢにおいて、算出した特徴量が合致する条件に対応付けられた状況表現を、カメラ８０の撮影範囲外の状況表現として抽出すればよい。さらに、撮影範囲内の状況表現も抽出する場合、状況表現抽出部２３は、撮影範囲外ＤＢで定義されたカメラ８０の撮影範囲内のセンサ９０からの信号を解析し、その特徴量を算出する。そして、状況表現抽出部２３は、状況表現ＤＢにおいて、算出した特徴量が合致する条件に対応付けられた状況表現を、カメラ８０の撮影範囲内の状況表現として抽出すればよい。

次に、表示方法決定部２４は、ステップＢ３で抽出された状況表現について、センサ位置関係ＤＢを参照することにより、カメラ８０の撮影画像上での表示方法（位置、形状、サイズ、透過率、動き、重なり順等）を決定する（ステップＢ４）。

次に、提示部２５は、ステップＡ１で入力されたカメラ８０の画像信号が示す撮影画像上に、ステップＢ３で抽出された各状況表現を、ステップＢ４で決定された表示方法に基づいて重畳して出力する（ステップＢ５）。

なお、ステップＢ３において、撮影範囲内のセンサ９０に基づく状況表現がさらに抽出されている場合、ステップＢ５において、提示部２５は、撮影範囲外の状況表現に加えて、さらに撮影範囲内の状況表現を重畳してもよい。あるいは、提示部２５は、撮影範囲外の状況表現のうち、撮影範囲内の状況表現と異なるものを重畳してもよい。

以上で、情報提示システム２は動作を終了する。

次に、情報提示システム２の動作を具体例で示す。

ここでは、情報提示システム２は、図５に示したように、オフィス空間を観測空間とし、カメラ８０およびセンサ９０として、３台のカメラ１〜３、３個のマイク１〜３、および、２個の温度計１〜２を有するものとする。また、カメラ２を本実施の形態におけるカメラ８０に適用し、カメラ１、３、マイク１〜３、および、温度計１〜２を、センサ９０として適用することを想定する。また、情報提示システム２は、図６の撮影範囲外センサＤＢ、図８のセンサ位置関係ＤＢ、および、図１８の状況表現ＤＢを保持しているものとする。また、カメラ１、３による撮影画像上の各点について、カメラ２のカメラ画像座標系における位置座標が予め変換テーブルとして記憶されているものとする。また、情報提示システム２は、温度計１〜２について、他のセンサ９０より高い重要度を予め設定しているものとする。

この場合、まず、信号入力部１１は、カメラ１〜３からの３種の画像信号、マイク１〜３からの３種の音声信号、および、温度計１〜２からの２種の温度信号を取得する。そして、カメラ２からの画像信号を本実施の形態におけるカメラ８０からの画像信号として適用し、他の２種の画像信号、３種の音声信号、および、２種の温度信号を、本実施の形態におけるセンサ９０からの信号として適用する（ステップＢ１）。

次に、信号源位置推定部２２は、カメラ１、３、マイク１〜３、および、温度計１〜２からの各信号に基づいて、信号源の位置を推定する（ステップＢ２）。

ここでは、信号源位置推定部２２は、マイク１〜３からの音声信号、および、温度計１〜２からの温度信号の各信号源については、それぞれセンサ９０（マイク１〜３、温度計１〜２）の位置そのものを適用する。

また、信号源位置推定部２２は、センサ９０としてのカメラ１およびカメラ３の画像信号において、人物領域の検出処理を行う。ここでは、カメラ３の画像信号では人物領域が検出されず、カメラ１の画像信号において人物領域が検出されたとする。具体的には、信号源位置推定部２２は、カメラ１からの画像信号について、図１９に示すように、時刻ｔ１に座標（Ｐ１ｘ，Ｐ１ｙ）を中心とする人物領域を検出し、Δｔ後にこの人物領域の中心が座標（Ｐ１ｘ’，Ｐ１ｙ’）に移動したことを検出する。なお、これらの人物領域の中心座標は、カメラ１の撮影画像の中心（Ｃ１ｘ，Ｃ１ｙ）に対する相対的な位置を示している。

次に、状況表現抽出部２３は、図６の撮影範囲外センサＤＢを参照し、カメラ８０（カメラ２）の撮影範囲外のセンサ９０として、カメラ１、３、マイク１、３、温度計１，２を特定する。また、状況表現抽出部２３は、カメラ８０（カメラ２）の撮影範囲内のセンサ９０として、マイク２を特定する。そして、状況表現抽出部２３は、特定した各センサ９０からの信号を解析して特徴量を算出する。そして、状況表現抽出部２３は、図１８の状況表現ＤＢを参照し、特徴量が合致する条件に対応付けられた状況表現を抽出する（ステップＢ３）。

詳細には、状況表現抽出部２３は、撮影範囲外のセンサ９０としてのカメラ１からの画像信号において図１９のように検出された人物領域について、その移動速度｜Ｐ１ｘ―Ｐ１ｘ’，Ｐ１ｙ―Ｐ１ｙ’｜／Δｔを算出する。ここで、｜Ｐ１ｘ―Ｐ１ｘ’，Ｐ１ｙ―Ｐ１ｙ’｜は、座標（Ｐ１ｘ，Ｐ１ｙ）および（Ｐ１ｘ’，Ｐ１ｙ’）間の距離を表す。また、“／”は、除算を表す。そして、算出された移動速度がＴＨｗ２よりも大きいとする。そこで、状況表現抽出部２３は、図１８の状況表現ＤＢをもとに、カメラ１からの信号が合致する条件「ＴＨｗ２≦人物領域の移動量」に対応付けられた状況表現として、歩行を表す「スタスタ」の文字画像を選択する。なお、撮影範囲外のセンサ９０としてのカメラ３の信号からは、人物領域が検出されていないので、図１８の状況表現ＤＢに定められた特徴量の条件に合致する特徴量は検出されない。

また、状況表現抽出部２３は、撮影範囲外のセンサ９０としての温度計１からの温度信号について時間変化を算出する。その結果、Δｔ内にＴＨｈ以上の温度変化が観測されたとする。そこで、状況表現抽出部２３は、図１８の状況表現ＤＢをもとに、温度計１からの温度信号が合致する条件「ＴＨｈ＜温度変化量」に対応付けられた状況表現として、「火災発生」の文字画像を選択する。なお、撮影範囲外のセンサ９０としての温度計２の信号からは、図１８の状況表現ＤＢに定められた特徴量の条件に合致する特徴量は検出されなかったものとする。

また、状況表現抽出部２３は、撮影範囲外のセンサ９０としてのマイク１、３および撮影範囲内のセンサ９０としてのマイク２からの各音声信号について、周波数分析および音量計測を行う。その結果、マイク１からの音声信号において、音量がＴＨｓ１より大きい人声がΔｔ内で観測されたとする。また、マイク３からの音声信号において、音量がＴＨｓ１より小さい人声がΔｔ内で観測されたとする。そこで、状況表現抽出部２３は、図１８の状況表現ＤＢをもとに、マイク１からの音声信号が合致する条件「声 かつ ＴＨｓ１≦音量」に対応付けられた状況表現として、「ザワザワ」の文字画像を選択する。また、状況表現抽出部２３は、マイク３からの音声信号が合致する条件「声 かつ ０＜音量＜ＴＨｓ１」に対応付けられた状況表現として、「ヒソヒソ」の文字画像を選択する。なお、撮影範囲内のセンサ９０であるマイク２の信号からは、図１８の状況表現ＤＢに定められた特徴量の条件に合致する特徴量は検出されなかったものとする。

次に、表示方法決定部２４は、状況表現が選択された各センサ９０（カメラ１、温度センサ１、マイク１、３）について、図８のセンサ位置関係ＤＢを参照して、信号源の位置とカメラ８０との位置関係を取得する。そして、表示方法決定部２４は、この位置関係をもとに、各状況表現の表示方法を決定する（ステップＢ４）。

詳細には、まず、表示方法決定部２４は、図１９に示したカメラ１の人物領域の中心座標について、上述の変換テーブルを参照することにより、カメラ２のカメラ画像座標系における位置座標を求める。その結果、図２０に示すように、カメラ２のカメラ画像座標系において、人物領域は、Δｔの間に、位置座標ｐ（−ｐ２１ｘ，ｐ２１ｙ）から点ｐ’（−ｐ２１ｘ’，ｐ２１ｙ’）に遷移している。そこで、表示方法決定部２４は、カメラ２の撮影画像の中心座標（Ｃ２ｘ，Ｃ２ｙ）および点ｐを結ぶ直線と、カメラ２の撮影画像の境界との交点を、１つ目の表示基準点ｅ１とする。また、表示方法決定部２４は、カメラ２の撮影画像の中心座標（Ｃ２ｘ，Ｃ２ｙ）および点ｐ’を結ぶ直線と、カメラ２の撮影画像の境界との交点を、２つ目の表示基準点ｅ２とする。そして、表示方法決定部２４は、各表示基準点ｅ１、ｅ２からそれぞれ所定範囲の領域（たとえば、矩形領域Ｅ１およびＥ２）を、仮の表示位置に設定する。さらに、表示方法決定部２４は、仮の表示位置Ｅ１、Ｅ２を包含する領域を、カメラ１の状況表現の表示位置として決定する。そして、表示方法決定部２４は、カメラ１の状況表現の動きとして、矩形領域Ｅ１およびＥ２に交互に表示することを決定する。

また、図２０において、温度計１の信号源の位置（ここでは温度計１の位置）は、カメラ２のカメラ画像座標系における座標（−ｈ２１ｘ，ｈ２１ｙ）である。そこで、表示方法決定部２４は、カメラ２の撮影画像の中心座標および温度計１の位置座標を結ぶ直線と、カメラ２の撮影画像の境界との交点を、温度計１に関する状況表現の表示基準点ｆとする。そして、表示方法決定部２４は、表示基準点ｆから所定範囲の領域（たとえば、矩形領域Ｆ）を、温度計１の状況表現の表示位置として決定する。

また、図２０において、マイク１、３の信号源の位置（ここではマイク１、３の位置）は、カメラ２のカメラ画像座標系における座標（−ｍ２１ｘ，ｍ２１ｙ）および座標（ｍ２３ｘ，ｍ２３ｙ）である。そこで、表示方法決定部２４は、カメラ２の撮影画像の中心座標およびマイク１の位置座標を結ぶ直線と、カメラ２の撮影画像の境界との交点を、マイク１に関する状況表現の表示基準点ｇとする。また、表示方法決定部２４は、カメラ２の撮影画像の中心座標およびマイク３の位置座標を結ぶ直線と、カメラ２の撮影画像の境界との交点を、マイク３に関する状況表現の表示基準点ｈとする。そして、表示方法決定部２４は、表示基準点ｇ、ｈから所定範囲の領域（たとえば、矩形領域Ｇ、Ｈ）を、マイク１およびマイク３の状況表現の各表示位置として決定する。

また、図２０において、表示方法決定部２４は、センサ９０（カメラ１、温度計１、マイク１、３）に関する各状況表現について、予め設定された重要度に基づいて、そのサイズを決定する。ここでは、より高い重要度が定められた温度計１の状況表現のサイズが、カメラ１、マイク１、３の各状況表現のサイズより大きくなるよう決定される。

また、図２０において、表示方法決定部２４は、センサ９０（カメラ１、温度計１、マイク１、３）に関する状況表現についてそれぞれ決定した表示位置について、カメラ２の撮影画像中心から各信号源の位置までの距離に基づいて、その位置を調整する。具体的には、カメラ２の撮影画像中心との距離がより近いセンサ９０の状況表現ほど、カメラ２の撮影画像の枠により近い位置となるように調整する。

また、ここでは、表示方法決定部２４は、信号源の方向を明示するために、吹き出し画像を表示するフラグをオンにしたものとする。

次に、提示部２５は、カメラ８０としてのカメラ２の画像信号が示す撮影画像上に、カメラ１、温度計１、マイク１、３の各状況表現を、図２０のように決定された表示方法に基づいて、重畳して出力する（ステップＢ５）。なお、ここでは、撮影範囲内のセンサ９０としてのマイク２からは状況表現が抽出されていないため、提示部２５は、撮影範囲外の状況表現を重畳し、撮影範囲内の状況表現を重畳していない。出力された撮影画像の一例を図２１に示す。なお、図２１では、カメラ２による撮影画像を模式的に示している。

例えば、図２１において、提示部２５は、カメラ１の状況表現「スタスタ」の文字画像を、決定された矩形領域Ｅ１およびＥ２に、交互に一定時間重畳する。また、提示部２５は、温度計１の状況表現「火災発生」の文字画像を、決定された矩形領域Ｆに、他の状況表現より大きいサイズで重畳する。また、提示部２５は、マイク１およびマイク３の各状況表現である「ザワザワ」および「ヒソヒソ」の文字画像を、決定された矩形領域ＧおよびＨに、それぞれ重畳する。また、ステップＢ４において、表示方法として吹き出し画像を表示するフラグがオンに設定されているため、提示部２５は、各状況表現を吹き出し画像と共に表示し、吹き出しの始点を表示基準点に設定している。

以上で、具体例の説明を終了する。

次に、本発明の第２の実施の形態の効果について述べる。

本発明の第２の実施の形態としての情報提示システムは、カメラによる撮影画像を提示する際に、撮影範囲を含む空間における撮影範囲外の状況をさらに十分に伝えることができる。

その理由について述べる。本実施の形態では、信号入力部が、カメラからの画像信号およびセンサからの信号を入力として取得し、信号源位置推定部が、センサからの信号に基づき信号源の位置を推定する。そして、状況表現抽出部が、撮影範囲外センサＤＢおよび状況表現ＤＢを用いて、撮影範囲外のセンサからの信号の特徴量が合致する条件に対応する撮影範囲外の状況表現を抽出する。そして、表示方法決定部が、センサ位置関係ＤＢを参照することにより、撮影範囲と信号源の位置との位置関係を求め、求めた位置関係に基づいて、撮影画像上における状況表現の表示方法として、位置、形状、サイズ、透過率、動き、重なり順等を決定する。そして、提示部が、決定された表示方法にしたがって、撮影画像上に状況表現を重畳して出力するからである。

また、本実施の形態は、状況表現ＤＢに、複数の信号に関する情報の組み合わせに対応付けて状況表現を記憶しておき、状況表現抽出部によって、複数の信号に関する情報の組み合わせに応じて状況表現を抽出する場合もある。これにより、本実施の形態は、観測者に対して、撮影範囲外に関する状況をより精度よく表した状況表現を伝えることができる。

また、本実施の形態は、表示方法決定部によって、センサまたは状況表現の重要度に応じて、状況表現のサイズ等の表示方法を決定する場合もある。これにより、本実施の形態は、観測者に対して、撮影範囲外における重要度の高い状況をよりわかりやすく伝えることができる。

また、本実施の形態は、表示方法決定部によって、撮影範囲からの信号源までの距離関係に応じて、各状況表現の位置や重なり順等の表示方法を決定する場合もある。これにより、本実施の形態は、観測者に対して、複数の信号源の位置関係をさらに直感的に伝えることができる。

また、本実施の形態は、表示方法決定部によって、所定範囲のセンサから抽出した状況表現のみ重畳するよう決定した場合、観測者にとって確認したい特定箇所の雰囲気や状況を効率的に伝えることができる。

また、本実施の形態は、表示方法決定部によって、信号源の位置や特徴量の時間的変化に応じて、各状況表現の表示方法を決定する場合もある。これにより、本実施の形態は、観測者に対して、撮影範囲外の状況の変化の度合いや、撮影範囲外（または範囲内）の事象が撮影範囲内（または範囲外）の状況にどのように伝搬したかを、観測者に容易に伝えることができる。

また、本実施の形態は、提示部によって、撮影範囲外の状況表現に加えて撮影範囲内の状況表現を撮影画像に重畳する場合もある。これにより、本実施の形態は、撮影範囲内および撮影範囲外の雰囲気や状況が似ているか否かを、観測者に伝えることができる。

また、本実施の形態は、提示部によって、撮影範囲外の状況表現のうち、撮影範囲内の状況表現と異なる状況表現を重畳する場合もある。これにより、本実施の形態は、観測者に対して、視聴可能な状況とは異なる状況が撮影範囲外のどの辺りで生じたかを、観測者に伝えることができる。

また、本実施の形態は、カメラまたはセンサの位置や観測方向が変化する場合でも、その変化に応じて状況表現の表示方法を決定するので、観測者に対して、撮影範囲外の状況をより正確に伝えることができる。

なお、上述した本発明の第２の実施の形態において、例えば図５に示したような屋内のオフィス空間を観測する例を中心に説明した。この場合、本実施の形態の情報提示システムは、観測対象のオフィス空間の雰囲気や状況を（例えば物理的に離れた拠点にいる）観測者に伝えて共有する用途に適用できる。その他、本実施の形態において、情報提示システムの観測対象とする空間は、屋内に限らず、例えば、屋外であってもよい。

また、本発明の第２の実施の形態としての情報提示システムは、空間における異常事態を監視する監視システムとしても適用可能である。この場合、情報提示システムは、警報ベル、「ドロボー」等の叫び声、「銃声」、特定の時間帯での人物領域検知等といった、空間の異常事態を示すセンサからの信号を検出してもよい。そして、この場合、情報提示システムは、検出した情報に基づいて、「警報ベル」「ドロボー」「バーン」等の異常事態を示す状況表現を抽出し、撮影画像に重畳表示してもよい。この場合、本実施の形態は、監視対象となる野外または屋内の監視映像を提示する際に、監視したい空間における撮影範囲外における異常事態の発生状況を、監視者に伝えることを可能とする。

また、本発明の第２の実施の形態において、状況表現ＤＢ、センサ位置関係ＤＢ、および、撮影範囲外センサＤＢは、記憶装置にあらかじめ記憶される例を中心に説明した。この他、本実施の形態の情報提示システムは、このような各種データベースと同等の情報を記憶した外部の装置に問い合わせるよう構成されてもよい。

また、上述した本発明の各実施の形態において、情報提示装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。

また、上述した本発明の各実施の形態において、情報提示装置の機能ブロックは、複数の装置に分散されて実現されてもよい。

また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した情報提示装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータの記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。

また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年６月１９日に出願された日本出願特願２０１４−１２５８６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１、２ 情報提示システム
１０、２０ 情報提示装置
１１ 信号入力部
１２、２２ 信号源位置推定部
１３、２３ 状況表現抽出部
１４、２４ 表示方法決定部
１５、２５ 提示部
８０ カメラ
９０ センサ
１００１ ＣＰＵ
１００２ ＲＡＭ
１００３ ＲＯＭ
１００４ 記憶装置
１００５ 周辺機器接続インタフェース
１００６ 表示装置

Claims (9)

1. カメラの画像信号およびセンサからの信号を入力する信号入力手段と、
   前記センサからの信号に基づいて、信号源の位置を推定する信号源位置推定手段と、
   前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報を示す状況表現を抽出する状況表現抽出手段と、
   前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上における前記状況表現の表示位置を決定し、また、互いに異なる複数のセンサからの信号のそれぞれに基づいた複数の前記状況表現を表示する場合であって当該複数の前記状況表現の表示位置が重なる場合には、前記カメラと前記センサとの距離に応じて複数の状況表現の重なり順を決定する表示方法決定手段と、
   決定された前記表示位置や重なり順に基づき前記状況表現を前記撮影画像に重畳して出力する提示手段と
   を備えた情報提示装置。
2. 前記状況表現抽出手段は、前記センサから得られうる信号に関する情報にあらかじめ対応づけられた状況表現を参照することにより、前記信号入力手段に入力された信号に対応する状況表現を抽出することを特徴とする請求項１に記載の情報提示装置。
3. 前記状況表現抽出手段は、前記センサから得られうる信号の特徴量に関する条件にあらかじめ対応付けられた状況表現を参照することにより、前記信号入力手段に入力された信号を解析して得られる特徴量が合致する条件に対応する状況表現を抽出することを特徴とする請求項２に記載の情報提示装置。
4. 前記状況表現抽出手段は、前記カメラの撮影範囲外のセンサとしてあらかじめ定められたセンサから前記信号入力手段に入力された信号に基づいて、前記カメラの撮影範囲外の状況表現を抽出することを特徴とする請求項１から請求項３のいずれか１項に記載の情報提示装置。
5. 前記状況表現抽出手段は、前記カメラの撮影範囲外の状況表現に加えて、前記カメラの撮影範囲内のセンサとしてあらかじめ定められたセンサから前記信号入力手段に入力された信号に基づいて、前記カメラの撮影範囲内の状況表現を抽出することを特徴とする請求項１から請求項４のいずれか１項に記載の情報提示装置。
6. 前記表示方法決定手段は、前記カメラの撮影画像の座標系における前記撮影画像の中心座標および前記信号源の位置座標に基づいて、前記撮影画像上での前記状況表現の表示位置を決定することを特徴とする請求項１から請求項５のいずれか１項に記載の情報提示装置。
7. 前記表示方法決定手段は、さらに、前記撮影画像上での前記状況表現の形状を決定することを特徴とする請求項１から請求項６のいずれか１項に記載の情報提示装置。
8. カメラの画像信号およびセンサからの信号を入力し、
   前記センサからの信号に基づいて、信号源の位置を推定し、
   前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報を示す状況表現を抽出し、
   前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上での前記状況表現の表示位置を決定し、また、互いに異なる複数のセンサからの信号のそれぞれに基づいた複数の前記状況表現を表示する場合であって当該複数の前記状況表現の表示位置が重なる場合には、前記カメラと前記センサとの距離に応じて複数の状況表現の重なり順を決定し、
   決定された前記表示位置や重なり順に基づき前記状況表現を前記撮影画像に重畳して出力する、情報提示方法。
9. カメラの画像信号およびセンサからの信号を入力する信号入力ステップと、
   前記センサからの信号に基づいて、信号源の位置を推定する信号源位置推定ステップと、
   前記センサからの信号に基づいて、前記カメラの撮影範囲外の状況を表現する情報を示す状況表現を抽出する状況表現抽出ステップと、
   前記信号源の位置と前記カメラの撮影範囲との位置関係に基づいて、前記画像信号の表す撮影画像上での前記状況表現の表示位置を決定し、また、互いに異なる複数のセンサからの信号のそれぞれに基づいた複数の前記状況表現を表示する場合であって当該複数の前記状況表現の表示位置が重なる場合には、前記カメラと前記センサとの距離に応じて複数の状況表現の重なり順を決定する表示位置決定ステップと、
   決定された前記表示位置や重なり順に基づき前記状況表現を前記撮影画像に重畳して出力する提示ステップと、
   をコンピュータ装置に実行させる情報提示プログラム。

Images