JP7119809B2 - 情報表示制御プログラム、情報表示制御方法および情報表示制御装置 - Google Patents

Description

本発明は、情報表示制御プログラム、情報表示制御方法および情報表示制御装置に関する。

聴覚障碍者向けに、玄関のチャイムや電話の着信音等の重要な音を検知して、光や振動等で報知するシステムが知られている。当該システムでは、例えば、室内にマイクを設置することで、電話の着信音等を取得し、ユーザが装着する腕時計型の端末や、リビングに設置した端末等に音が鳴っている旨の情報を送信する。端末は、音が鳴っている旨の情報を受信すると、光や振動でユーザに報知する。また、工事現場等の騒音環境において、現場の監督者等に各種情報を表示して報知するシステムが知られている。

特表２０１３－５２２９３８号公報 特表２０１５－５１４２３９号公報

しかしながら、例えば、光や振動等で報知するシステムでは、予め決められた重要な音以外の音についてはシステムが認識できず、ユーザに報知することが難しい。一方、室内で重要な音以外の音が鳴った場合に、システムが誤検知によってユーザに報知してしまう場合がある。このため、ユーザは、報知された音が何の音であるかわからず、また、音源の位置もわからないために、音源を探し回ることになる場合がある。

一つの側面では、精度の高い位置同定を行うことができる情報表示制御プログラム、情報表示制御方法および情報表示制御装置を提供することにある。

一つの態様では、情報表示制御プログラムは、複数個の対象物の設置位置を表示画面上に表示する処理をコンピュータに実行させる。情報表示制御プログラムは、前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定する処理をコンピュータに実行させる。情報表示制御プログラムは、前記属性が判定された特定位置と、前記対象物の設置位置との位置関係に差が有る場合、前記属性が判定された特定位置を前記対象物の設置位置に対応付ける処理をコンピュータに実行させる。情報表示制御プログラムは、前記対象物の動作状態を、対応付け後の前記表示画面上で報知する処理をコンピュータに実行させる。

精度の高い位置同定を行うことができる。

図１は、実施例１の情報表示制御の一例を示す図である。 図２は、実施例１の情報表示制御システムの構成の一例を示すブロック図である。 図３は、実施例１の情報表示制御装置の構成の一例を示すブロック図である。 図４は、実施例１の対応付け情報記憶部の一例を示す図である。 図５は、実施例１の設定処理の一例を示すフローチャートである。 図６は、実施例１の報知処理の一例を示すフローチャートである。 図７は、実施例２の情報表示制御装置の構成の一例を示すブロック図である。 図８は、実施例２の対応付け情報記憶部の一例を示す図である。 図９は、実施例２の情報表示制御の一例を示す図である。 図１０は、実施例２の設定処理の一例を示すフローチャートである。 図１１は、実施例２の報知処理の一例を示すフローチャートである。 図１２は、実施例３の情報表示制御装置の構成の一例を示すブロック図である。 図１３は、実施例３の設定処理の一例を示すフローチャートである。 図１４は、実施例４の情報表示制御装置の構成の一例を示すブロック図である。 図１５は、実施例４の補正情報記憶部の一例を示す図である。 図１６は、実施例４の情報表示制御の一例を示す図である。 図１７は、実施例４の情報表示制御の他の一例を示す図である。 図１８は、実施例４の設定処理の一例を示すフローチャートである。 図１９は、実施例４の報知処理の一例を示すフローチャートである。 図２０は、報知時の重要度に応じたアイコン表示の一例を示す図である。 図２１は、報知時の重要度に応じたアイコン表示の他の一例を示す図である。 図２２は、情報表示制御プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する情報表示制御プログラム、情報表示制御方法および情報表示制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例１の情報表示制御の一例を示す図である。図１に示すように、後述する実施例１の情報表示制御装置１００は、複数個の対象物の設置位置を示し、対象物の配置位置と音源位置との対応付けを行う設定時の表示画面２０を表示する。表示画面２０は、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。また、表示画面２０は、未配置や屋外に対応するアイコンの表示領域２２を有する。寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂに対応するアイコンが配置されている。

情報表示制御装置１００は、例えば、マイク１０ａ，１０ｂから音の取得を開始すると、対象物の動作により発生する音源の位置を特定する。情報表示制御装置１００は、例えば、音源位置２３，２４を特定し、表示画面２０に表示する。なお、以下の説明では、特定した音源位置を特定位置ともいう。また、情報表示制御装置１００は、取得した音について、学習済モデルを用いて音源の属性を判定する。つまり、情報表示制御装置１００は、音源位置２３の音源が属性「電子レンジ」であることを判定し、音源位置２４の音源が属性「冷蔵庫」であることを判定する。

情報表示制御装置１００は、音源位置２３，２４と、対象物である電子レンジおよび冷蔵庫の設置位置２５，２６との位置関係に差が有る場合、例えば、音源位置２３，２４に対するドラッグアンドドロップ（以下、単にドラッグともいう。）操作を受け付ける。情報表示制御装置１００は、ドラッグ操作２７，２８により設置位置２５，２６に音源位置２３，２４が重ね合わされることで、設置位置２５と音源位置２３、および、設置位置２６と音源位置２４を、それぞれ対応付ける。

情報表示制御装置１００は、設定が完了すると、対象物の設置位置と音源位置との対応付け後に用いる、報知を行うための表示画面３０を表示する。表示画面３０は、表示画面２０と同様に間取り図に対応する表示領域を有する。情報表示制御装置１００は、例えば、マイク１０ｂから取得した音から音源位置２３ａ，２４ａを特定する。情報表示制御装置１００は、音源位置２３ａの音源が属性「電子レンジ」であると判定すると、表示画面３０において、電子レンジの設置位置２５上に、電子レンジが音を発していることを示すアイコン３１を表示して報知する。また、情報表示制御装置１００は、音源位置２４ａの音源が属性「冷蔵庫」であると判定すると、表示画面３０において、冷蔵庫の設置位置２６上に、冷蔵庫が音を発していることを示すアイコン３２を表示して報知する。これにより、情報表示制御装置１００は、精度の高い位置同定を行うことができる。

図２は、実施例１の情報表示制御システムの構成の一例を示すブロック図である。図２に示すように、情報表示制御システム１は、マイク１０ａ，１０ｂ，１０ｃと、情報表示制御装置１００とを有する。情報表示制御システム１は、マイク１０ａ，１０ｂ，１０ｃで取得した音に基づいて、音源の位置や種類（属性）を特定して表示するシステムである。なお、以下の説明では、マイク１０ａ，１０ｂ，１０ｃを区別しない場合には、マイク１０として説明する。また、情報表示制御システム１では、マイク１０の数は限定されず、任意の数のマイク１０を有するようにしてもよい。

マイク１０と情報表示制御装置１００との間は、ネットワークＮを介して、相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。また、ネットワークＮを介する通信は、例えば、ＴＬＳ（Transport Layer Security）／ＳＳＬ（Secure Sockets Layer）等によって暗号化されるようにしてもよい。

マイク１０は、例えば無指向性のマイクロフォンと、情報表示制御装置１００との間で通信を行う通信部とを有する。マイク１０は、情報表示制御装置１００から音の取得の開始を指示する取得開始指示を受信すると、取得した音のデータの送信を開始する。

情報表示制御装置１００は、まず、対象物の設置位置と音源位置とを対応付ける設定処理を実行する。情報表示制御装置１００は、複数個の対象物の設置位置を表示画面上に表示する。情報表示制御装置１００は、対象物の動作により発生する音源の位置を特定するとともに、音源の属性を判定する。情報表示制御装置１００は、属性が判定された特定位置と、対象物の設置位置との位置関係に差が有る場合、属性が判定された特定位置を対象物の設置位置に対応付ける。情報表示制御装置１００は、次に、対象物の設置位置と音源位置とが対応付けられた情報に基づいて、マイク１０が取得した音を報知する報知処理を実行する。情報表示制御装置１００は、マイク１０で取得した音のデータに基づいて、対象物の動作状態を、対応付け後の表示画面上で報知する。

続いて、情報表示制御装置１００の構成について説明する。図３は、実施例１の情報表示制御装置の構成の一例を示すブロック図である。図３に示すように、情報表示制御装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、情報表示制御装置１００は、図３に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワークＮを介してマイク１０と有線または無線で接続され、マイク１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、マイク１０から音のデータを受信する。通信部１１０は、受信した音のデータを制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された取得開始指示をマイク１０に送信する。

表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。

操作部１１２は、情報表示制御装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、レイアウト記憶部１２１と、学習済モデル記憶部１２２と、対応付け情報記憶部１２３とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

レイアウト記憶部１２１は、情報表示制御装置１００のユーザに対する情報表示の対象となる建物（居室）の間取り図と、室内に配置されている対象物のＩＤ（IDentifier）、配置位置および属性とを記憶する。ここで、対象物の属性とは、例えば、電子レンジ、冷蔵庫といった対象物の名称を用いることができる。

学習済モデル記憶部１２２は、対象物が発する音と対象物の属性とを機械学習で学習させた学習済モデルを記憶する。学習済モデルは、音源である対象物の属性の判定に用いるものであり、例えば、入力された音のデータに対して対象物の属性を出力する。学習済モデルは、例えば、音のデータのパワースペクトルに基づくメル周波数スペクトログラムを特徴量として、ニューラルネットワークを用いて学習したものである。ニューラルネットワークとしては、例えば、ＣＮＮ（Convolutional Neural Network）を用いることができる。また、学習済モデルは、例えば、ニューラルネットワークの各種パラメータ（重み係数）等を記憶する。

対応付け情報記憶部１２３は、対象物の設置位置と音源位置とを対応付けて記憶する。図４は、実施例１の対応付け情報記憶部の一例を示す図である。図４に示すように、対応付け情報記憶部１２３は、「対象物ＩＤ」、「設置位置」、「対象物属性」、「音源ＩＤ」、「音源位置」、「音源属性」といった項目を有する。

「対象物ＩＤ」は、対象物を識別する識別子である。「設置位置」は、対象物の建物内の設置位置を示す情報である。「設置位置」は、例えば、間取り図（俯瞰図）における座標情報を用いることができる。「対象物属性」は、対象物の属性を示す情報である。「対象物属性」は、例えば、電子レンジ、冷蔵庫、ドア、目覚まし時計といった対象物の名称を用いることができる。「音源ＩＤ」は、音源を識別する識別子である。「音源位置」は、音源の建物内の位置を示す情報である。「音源位置」は、例えば、複数のマイク１０から取得した音の大きさや位相差等を用いて特定したものである。なお、「音源位置」は、１つのマイク１０における音量を用いて、マイク１０からどれくらい離れているかを示す情報としてもよい。「音源属性」は、音源の属性を示す情報である。「音源属性」は、対象物属性と同様に、例えば、電子レンジ、冷蔵庫、ドア、目覚まし時計といった対象物の名称を用いることができる。

図３の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、表示制御部１３１と、特定部１３２と、判定部１３３と、対応付け部１３４と、報知部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

表示制御部１３１は、対象物の配置位置と音源位置との対応付けを行う設定時において、レイアウト記憶部１２１を参照し、表示画面に複数個の対象物の設置位置を表示する。表示制御部１３１は、表示画面に対象物の設置位置を表示すると、設定開始指示を特定部１３２に出力する。

また、表示制御部１３１は、マイク１０で取得した音の報知を行う報知時において、レイアウト記憶部１２１を参照し、表示画面に複数個の対象物の設置位置を表示する。表示制御部１３１は、表示画面に対象物の設置位置を表示すると、報知開始指示を特定部１３２に出力する。

特定部１３２は、表示制御部１３１から設定開始指示または報知開始指示が入力されると、通信部１１０およびネットワークＮを介して、マイク１０に取得開始指示を送信する。特定部１３２は、マイク１０から取得開始指示に応じて送信が開始された音のデータの取得を開始する。つまり、特定部１３２は、音の取得を開始する。

特定部１３２は、取得した音のデータに基づいて、音源の位置を特定する。特定部１３２は、例えば、マイク１０の数が３つ以上である場合、それぞれのマイク１０における音量を表す円が交わる点（位相差に基づく点）を音源の位置と特定する。また、特定部１３２は、例えば、マイク１０の数が２つである場合、それぞれのマイク１０における音量を表す円が交わる２点（位相差に基づく２点）を結ぶ曲線上のいずれかの位置を音源の位置と特定する。また、特定部１３２は、例えば、マイク１０の数が１つである場合、マイク１０における音量を表す円上のいずれかの位置を音源の位置と特定する。この場合、特定部１３２は、音源の位置に代えて音量値に対応する同心円を特定するようにしてもよい。すなわち、特定部１３２は、対象物の動作により発生する音源の位置を特定する。

特定部１３２は、表示制御部１３１から設定開始指示が入力された場合には、特定した音源位置の音源に音源ＩＤを付与し、音のデータ、音源ＩＤおよび音源位置を対応付けて判定部１３３に出力する。特定部１３２は、表示制御部１３１から報知開始指示が入力された場合には、音のデータ、および、特定した音源位置を対応付けて判定部１３３に出力する。

判定部１３３は、特定部１３２から対応付けられた音のデータ、音源ＩＤおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する。判定部１３３は、判定した音の属性である音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部１３４に出力する。また、判定部１３３は、音源位置に対応するアイコンを表示画面に表示する。

また、判定部１３３は、特定部１３２から対応付けられた音のデータおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する。判定部１３３は、対応付け情報記憶部１２３を参照し、判定した音の属性である音源属性および音源位置と一致する音源ＩＤを取得する。判定部１３３は、取得した音源ＩＤと、音源属性および音源位置とを対応付けて報知部１３５に出力する。

対応付け部１３４は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、音源位置のアイコンに対するドラッグ操作を受け付ける。対応付け部１３４は、ドラッグ操作により対象物の設置位置に音源位置のアイコンが重ね合わされると、対象物の設置位置と音源位置とを対応付ける。対応付け部１３４は、対応付けた結果である対象物ＩＤ、設置位置、対象物属性、音源ＩＤ、音源位置および音源属性を対応付け情報記憶部１２３に記憶する。

言い換えると、対応付け部１３４は、属性が判定された特定位置（音源位置）と、対象物の設置位置との位置関係に差が有る場合、属性が判定された特定位置を対象物の設置位置に対応付ける。また、対応付け部１３４は、表示画面上に表示された特定位置を対象物の設置位置に対応付ける操作を受け付けることで、属性が判定された特定位置を対象物の設置位置に対応付ける。

報知部１３５は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、対応付け情報記憶部１２３を参照し、音源ＩＤに対応付けられた対象物ＩＤの設置位置および対象物属性を取得する。報知部１３５は、表示画面の取得した設置位置に対象物属性に対応するアイコンを表示することで、対象物の動作により発生する音をユーザに報知する。このとき、報知部１３５は、音源位置に対応するアイコンは表示しない。また、報知部１３５は、マイク１０で取得した音の大きさに応じて、報知するアイコンの大きさを決定することができる。さらに、マイク１０を表すアイコンは、音量値を表すとともに、音量が大きいほど大きくなるように、音量に応じて大きさを変更する。

言い換えると、報知部１３５は、対象物の動作状態を、対応付け後の表示画面上で報知する。また、報知部１３５は、対象物の動作状態を検知した際に、特定位置を表示画面上に表示せず、対応付け後の対象物の設置位置を表示画面上に表示することで報知する。

次に、実施例１の情報表示制御装置１００の動作について説明する。まず、図５を用いて、情報表示制御処理のうち設定処理について説明する。図５は、実施例１の設定処理の一例を示すフローチャートである。

情報表示制御装置１００の表示制御部１３１は、レイアウト記憶部１２１を参照し、表示画面に複数個の対象物の設置位置を表示する（ステップＳ１）。表示制御部１３１は、表示画面に対象物の設置位置を表示すると、設定開始指示を特定部１３２に出力する。

特定部１３２は、表示制御部１３１から設定開始指示が入力されると、マイク１０に取得開始指示を送信する。特定部１３２は、マイク１０から取得開始指示に応じて送信が開始された音のデータの取得を開始する（ステップＳ２）。特定部１３２は、取得した音のデータに基づいて、音源の位置を特定する（ステップＳ３）。特定部１３２は、特定した音源位置の音源に音源ＩＤを付与し、音のデータ、音源ＩＤおよび音源位置を対応付けて判定部１３３に出力する。

判定部１３３は、特定部１３２から対応付けられた音のデータ、音源ＩＤおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する（ステップＳ４）。判定部１３３は、音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部１３４に出力する。また、判定部１３３は、音源位置に対応するアイコンを表示画面に表示する（ステップＳ５）。

対応付け部１３４は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、音源位置のアイコンに対するドラッグ操作を受け付ける（ステップＳ６）。対応付け部１３４は、ドラッグ操作により対象物の設置位置に音源位置のアイコンが重ね合わされると、対象物の設置位置と音源位置とを対応付けて、対応付け情報記憶部１２３に記憶する（ステップＳ７）。これにより、情報表示制御装置１００は、対象物の設置位置と、対象物の動作により発生する音の音源位置とを対応付けることができる。

続いて、図６を用いて、情報表示制御処理のうち報知処理について説明する。図６は、実施例１の報知処理の一例を示すフローチャートである。

情報表示制御装置１００の表示制御部１３１は、レイアウト記憶部１２１を参照し、表示画面に複数個の対象物の設置位置を表示する（ステップＳ１１）。表示制御部１３１は、表示画面に対象物の設置位置を表示すると、報知開始指示を特定部１３２に出力する。

特定部１３２は、表示制御部１３１から報知開始指示が入力されると、マイク１０に取得開始指示を送信する。特定部１３２は、マイク１０から取得開始指示に応じて送信が開始された音のデータの取得を開始する（ステップＳ１２）。特定部１３２は、取得した音のデータに基づいて、音源の位置を特定する（ステップＳ１３）。特定部１３２は、音のデータ、および、特定した音源位置を対応付けて判定部１３３に出力する。

判定部１３３は、特定部１３２から対応付けられた音のデータおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する（ステップＳ１４）。判定部１３３は、対応付け情報記憶部１２３を参照し、判定した音源属性および音源位置と一致する音源ＩＤを取得する。判定部１３３は、取得した音源ＩＤと、音源属性および音源位置とを対応付けて報知部１３５に出力する。

報知部１３５は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、対応付け情報記憶部１２３を参照し、音源ＩＤに対応付けられた対象物ＩＤの設置位置および対象物属性を取得する。報知部１３５は、取得した設置位置に対象物属性に対応するアイコンを表示画面に表示する（ステップＳ１５）。これにより、情報表示制御装置１００は、対象物について、精度の高い位置同定を行うことができる。

このように、情報表示制御装置１００は、複数個の対象物の設置位置を表示画面上に表示する。また、情報表示制御装置１００は、対象物の動作により発生する音源の位置を特定するとともに、音源の属性を判定する。また、情報表示制御装置１００は、属性が判定された特定位置（音源位置）と、対象物の設置位置との位置関係に差が有る場合、属性が判定された特定位置を対象物の設置位置に対応付ける。また、情報表示制御装置１００は、対象物の動作状態を、対応付け後の表示画面上で報知する。その結果、情報表示制御装置１００は、対象物について、精度の高い位置同定を行うことができる。

また、情報表示制御装置１００は、対象物の動作状態を検知した際に、特定位置を表示画面上に表示せず、対応付け後の対象物の設置位置を表示画面上に表示することで報知する。その結果、情報表示制御装置１００は、対象物が発生する音から求めた音源位置が設置位置からずれていたとしても、表示画面上の対象物の設置位置において報知することができる。

また、情報表示制御装置１００は、特定位置を表示画面上に表示する。また、情報表示制御装置１００は、表示画面上に表示された特定位置を対象物の設置位置に対応付ける操作を受け付けることで、属性が判定された特定位置を対象物の設置位置に対応付ける。その結果、情報表示制御装置１００は、音源の位置を対象物の設置位置に容易に対応付けることができる。

上記実施例１では、特定した音源の位置について、対象物の設置位置までのドラッグ操作を受け付けたが、対象物の属性を表すマーカを対象物の設置位置までドラッグする操作を受け付けてもよく、この場合の実施の形態につき、実施例２として説明する。なお、実施例１の情報表示制御装置１００と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。

図７は、実施例２の情報表示制御装置の構成の一例を示すブロック図である。図７に示す情報表示制御装置２００は、実施例１の情報表示制御装置１００と比較して、記憶部１２０および制御部１３０に代えて記憶部２２０および制御部２３０を有する。また、記憶部２２０は、記憶部１２０と比較して、対応付け情報記憶部１２３に代えて対応付け情報記憶部２２３を有する。また、制御部２３０は、制御部１３０と比較して、対応付け部１３４および報知部１３５に代えて対応付け部２３４および報知部２３５を有する。

対応付け情報記憶部２２３は、対応付け情報記憶部１２３と比較して、さらにマーカに関する情報を対応付けて記憶する。図８は、実施例２の対応付け情報記憶部の一例を示す図である。図８に示すように、対応付け情報記憶部２２３は、「対象物ＩＤ」、「設置位置」、「対象物属性」、「音源ＩＤ」、「音源位置」、「音源属性」、「マーカＩＤ」、「マーカ位置」、「マーカ属性」といった項目を有する。

「対象物ＩＤ」～「音源属性」は、実施例１の対応付け情報記憶部１２３と同様であるので、その説明を省略する。「マーカＩＤ」は、マーカを識別する識別子である。「マーカ位置」は、ドラッグ操作を受け付けた後のマーカ位置を示す情報である。「マーカ位置」は、例えば、間取り図（俯瞰図）における座標情報を用いることができる。「マーカ属性」は、例えば、電子レンジ、冷蔵庫、ドア、目覚まし時計といった対象物の名称、つまり対象物の属性を用いることができる。

図７の説明に戻って、対応付け部２３４は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、マーカに対するドラッグ操作を受け付ける。なお、マーカは、ドラッグ操作を受け付ける前の初期状態では、例えば、表示画面上の間取り図の外側等に表示される。対応付け部２３４は、ドラッグ操作により対象物の設置位置にマーカが重ね合わされると、対象物の設置位置とマーカ位置とを対応付ける。対応付け部２３４は、対応付けた結果である対象物ＩＤ、設置位置、対象物属性、マーカＩＤ、マーカ位置およびマーカ属性を対応付け情報記憶部２２３に記憶する。また、対応付け部２３４は、マーカと対象物の設置位置との対応付けが終了した時点で、例えば、間取り図上に配置されたマーカに最も近い音源位置をマーカおよび対象物と対応付けて対応付け情報記憶部２２３に記憶する。

言い換えると、対応付け部２３４は、表示画面上に表示された対象物の属性を表すマーカを、当該マーカと同じ属性である対象物の設置位置に対応付ける操作を受け付けることで、マーカを対象物の設置位置に対応付ける。

報知部２３５は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、対応付け情報記憶部２２３を参照し、音源ＩＤに対応付けられたマーカＩＤのマーカ位置およびマーカ属性を取得する。報知部２３５は、取得したマーカ位置にマーカ属性に対応するアイコンを表示画面に表示することで、対象物の動作により発生する音をユーザに報知する。このとき、報知部２３５は、音源位置に対応するアイコンは表示しない。

ここで、図９を用いて実施例２の情報表示制御について説明する。図９は、実施例２の情報表示制御の一例を示す図である。図９に示すように、情報表示制御装置２００は、複数個の対象物の設置位置を示し、対象物の配置位置とマーカ位置との対応付けを行う設定時の表示画面４０を表示する。表示画面４０は、実施例１の表示画面２０と同様に、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。また、表示画面４０は、未配置や屋外に対応するアイコンの表示領域２２を有する。表示画面４０では、例えば、表示領域２２に未配置の電子レンジのマーカ４１と、冷蔵庫のマーカ４２が配置される。また、寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂに対応するアイコンが配置されている。

情報表示制御装置２００は、例えば、マイク１０ａ，１０ｂから音の取得を開始すると、対象物の動作により発生する音源の位置を特定する。情報表示制御装置２００は、情報表示制御装置１００と異なり、特定した音源位置は表示しない。情報表示制御装置２００は、取得した音について、学習済モデルを用いて音源の属性を判定する。

情報表示制御装置２００は、マーカ４１について、対象物である電子レンジの設置位置２５へのドラッグ操作４３を受け付ける。また、情報表示制御装置２００は、マーカ４２について、対象物である冷蔵庫の設置位置２６へのドラッグ操作４４を受け付ける。情報表示制御装置２００は、ドラッグ操作４３，４４により設置位置２５，２６にマーカ４１，４２が重ね合わされることで、設置位置２５とマーカ４１のマーカ位置、および、設置位置２６とマーカ４２のマーカ位置を、それぞれ対応付ける。

情報表示制御装置２００は、設定が完了すると、対象物の設置位置とマーカ位置との対応付け後に用いる、報知を行うための表示画面４５を表示する。表示画面４５は、表示画面４０と同様に間取り図に対応する表示領域を有する。情報表示制御装置２００は、例えば、マイク１０ｂから取得した音から音源位置２３ａ，２４ａを特定する。情報表示制御装置２００は、音源位置２３ａの音源が属性「電子レンジ」であると判定すると、表示画面４５において、電子レンジの設置位置２５に対応付けられたマーカ位置上に、マーカ属性に対応するアイコン３１を表示して報知する。なお、アイコン３１は、電子レンジが音を発していることを示すアイコンである。

また、情報表示制御装置２００は、音源位置２４ａの音源が属性「冷蔵庫」であると判定すると、表示画面４５において、冷蔵庫の設置位置２６に対応付けられたマーカ位置上に、マーカ属性に対応するアイコン３２を表示して報知する。なお、アイコン３２は、冷蔵庫が音を発していることを示すアイコンである。これにより、情報表示制御装置２００は、対象物の設置位置に対応するマーカ位置に基づいて、精度の高い位置同定を行うことができる。

次に、実施例２の情報表示制御装置２００の動作について説明する。まず、図１０を用いて、情報表示制御処理のうち設定処理について説明する。図１０は、実施例２の設定処理の一例を示すフローチャートである。以下の説明では、設定処理のステップＳ１～Ｓ４の処理は、実施例１と同様であるので、その説明を省略する。

情報表示制御装置２００の対応付け部２３４は、ステップＳ４の処理に続いて以下の処理を実行する。対応付け部２３４は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、マーカに対するドラッグ操作を受け付ける（ステップＳ２１）。対応付け部２３４は、ドラッグ操作により対象物の設置位置にマーカが重ね合わされると、対象物の設置位置とマーカ位置とを対応付けて、対応付け情報記憶部２２３に記憶する（ステップＳ２２）。また、対応付け部２３４は、マーカと対象物の設置位置との対応付けが終了した時点で、マーカに最も近い音源位置をマーカおよび対象物と対応付けて対応付け情報記憶部２２３に記憶する。これにより、情報表示制御装置２００は、対象物の設置位置と、対象物の属性を表すマーカのマーカ位置とを対応付けることができる。

続いて、図１１を用いて、情報表示制御処理のうち報知処理について説明する。図１１は、実施例２の報知処理の一例を示すフローチャートである。以下の説明では、報知処理のステップＳ１１～Ｓ１４の処理は、実施例１と同様であるので、その説明を省略する。

情報表示制御装置２００の報知部２３５は、ステップＳ１４の処理に続いて以下の処理を実行する。報知部２３５は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、対応付け情報記憶部２２３を参照し、音源ＩＤに対応付けられたマーカＩＤのマーカ位置およびマーカ属性を取得する。報知部２３５は、取得したマーカ位置にマーカ属性に対応するアイコンを表示画面に表示する（ステップＳ２３）。これにより、情報表示制御装置２００は、対象物に対応するマーカ位置に基づいて、精度の高い位置同定を行うことができる。

このように、情報表示制御装置２００は、表示画面上に表示された対象物の属性を表すマーカを、当該マーカと同じ属性である対象物の設置位置に対応付ける操作を受け付けることで、マーカを対象物の設置位置に対応付ける。その結果、情報表示制御装置２００は、対象物に対応するマーカ位置に基づいて、精度の高い位置同定を行うことができる。

なお、情報表示制御装置２００では、設定時に音源位置の特定および音源属性の判定を行わなくてもよい。この場合、設定処理のステップＳ２～Ｓ４は省略することになる。この場合の報知処理では、報知部２３５は、対応付け情報記憶部２２３を参照し、入力された音源属性と同じ属性であるマーカのうち、例えば、入力された音源位置に最も近いマーカ位置に対応するマーカＩＤのマーカ位置およびマーカ属性を取得する。報知部２３５は、取得したマーカ位置にマーカ属性に対応するアイコンを表示画面に表示する。

このように、情報表示制御装置２００は、複数個の対象物の設置位置を表示画面上に表示する。また、情報表示制御装置２００は、表示画面上に表示された対象物の属性を表すマーカを、該マーカと同じ属性である対象物の設置位置に対応付ける操作を受け付けることで、マーカを対象物の設置位置に対応付ける。また、情報表示制御装置２００は、対象物の動作により発生する音源の位置を特定するとともに、音源の属性を判定する。また、情報表示制御装置２００は、判定された属性と同じ属性である対象物の動作状態を、対応付け後の表示画面上で報知する。その結果、対象物に対応するマーカ位置に基づいて、精度の高い位置同定を行うことができる。

上記実施例２では、マーカと対象物の設置位置との対応付けが終了した時点で、マーカに最も近い音源位置をマーカおよび対象物と対応付けて記憶したが、マーカと対象物の設置位置との対応付けをトリガとして音源位置を対象物の設置位置と対応付けてもよい。この場合の実施の形態につき、実施例３として説明する。なお、実施例１，２の情報表示制御装置１００，２００と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。また、実施例３の情報表示制御の表示画面は、実施例２と同様であるので、その説明を省略する。

図１２は、実施例３の情報表示制御装置の構成の一例を示すブロック図である。図１２に示す情報表示制御装置３００は、実施例２の情報表示制御装置２００と比較して、制御部２３０に代えて制御部３３０を有する。また、制御部３３０は、制御部２３０と比較して、対応付け部２３４に代えて対応付け部３３４を有する。

対応付け部３３４は、判定部１３３から音源ＩＤ、音源属性および音源位置が入力されると、マーカに対するドラッグ操作を受け付ける。なお、マーカは、ドラッグ操作を受け付ける前の初期状態では、例えば、表示画面上の間取り図の外側等に表示される。対応付け部３３４は、ドラッグ操作により対象物の設置位置にマーカが重ね合わされると、対象物の設置位置と音源位置とマーカ位置とを対応付ける。対応付け部３３４は、対応付けた結果である対象物ＩＤ、設置位置、対象物属性、音源ＩＤ、音源位置、音源属性、マーカＩＤ、マーカ位置およびマーカ属性を対応付け情報記憶部２２３に記憶する。

言い換えると、対応付け部３３４は、マーカの対象物の設置位置への対応付けをトリガとして、特定位置（音源位置）を対象物の設置位置に対応付ける。

次に、実施例３の情報表示制御装置３００の動作について説明する。図１３は、実施例３の設定処理の一例を示すフローチャートである。以下の説明では、設定処理のステップＳ１～Ｓ４，Ｓ２１の処理は、実施例２と同様であるので、その説明を省略する。また、実施例３では、報知処理は実施例２と同様であるので、その説明を省略する。

情報表示制御装置３００の対応付け部３３４は、ステップＳ２１の処理に続いて以下の処理を実行する。対応付け部３３４は、ドラッグ操作により対象物の設置位置にマーカが重ね合わされると、対象物の設置位置と音源位置とマーカ位置とを対応付けて、対応付け情報記憶部２２３に記憶する（ステップＳ３１）。これにより、情報表示制御装置３００は、対象物の設置位置と、音源位置と、対象物の属性を表すマーカのマーカ位置とを対応付けることができる。

このように、情報表示制御装置３００は、マーカの対象物の設置位置への対応付けをトリガとして、特定位置（音源位置）を対象物の設置位置に対応付ける。その結果、情報表示制御装置３００は、対象物に対応するマーカ位置に基づいて、精度の高い位置同定を行うことができる。

上記実施例１では、音源の属性を判定した音源位置を対象物の設置位置に対応付けたが、音源の属性の判定対象ではない他の音源の位置を特定し、音源位置と設置位置との対応付けに基づく補正情報を用いて、他の音源の位置を補正してもよい。この場合の実施の形態につき、実施例４として説明する。なお、実施例１の情報表示制御装置１００と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。

図１４は、実施例４の情報表示制御装置の構成の一例を示すブロック図である。図１４に示す情報表示制御装置４００は、実施例１の情報表示制御装置１００と比較して、記憶部１２０および制御部１３０に代えて記憶部４２０および制御部４３０を有する。また、記憶部４２０は、記憶部１２０と比較して、さらに、補正情報記憶部４２４を有する。また、制御部４３０は、制御部１３０と比較して、特定部１３２、判定部１３３、対応付け部１３４および報知部１３５に代えて、特定部４３２、判定部４３３、対応付け部４３４および報知部４３５を有する。

補正情報記憶部４２４は、音源の属性の判定対象ではない他の音源の位置を補正する補正情報を記憶する。図１５は、実施例４の補正情報記憶部の一例を示す図である。図１５に示すように、補正情報記憶部４２４は、「その他の音源」、「対応付ける音源」、「補正情報」といった項目を有する。ここで、「対応付ける音源」は、属性を判定した音源であり、例えば、その他の音源を、属性を判定した音源とグループ化した場合における、同じグループに属する属性を判定した音源を示す。また、「その他の音源」および「対応付ける音源」は、「音源ＩＤ」、「音源位置」、「音源属性」といった項目を有する。さらに、「補正情報」は、「補正値」、「補正後の音源位置」といった項目を有する。

「音源ＩＤ」は、音源を識別する識別子である。「音源位置」は、例えば、複数のマイク１０から取得した音の大きさや位相差等を用いて特定したものである。「音源属性」は、音源の属性を示す情報である。「音源属性」は、その他の音源の場合、例えば、その他Ａやその他Ｂといった名称を用いることができる。「音源属性」は、対応付ける音源の場合、例えば、電子レンジ、冷蔵庫、ドア、目覚まし時計といった対象物の名称を用いることができる。「補正値」は、対応付ける音源のドラッグ操作で受け付けた移動量に基づく、その他の音源の位置を補正するための値である。「補正後の音源位置」は、補正値を用いて補正した後のその他の音源の位置を示す情報である。

図１４の説明に戻って、特定部４３２は、表示制御部１３１から設定開始指示または報知開始指示が入力されると、特定部１３２と同様に、音のデータの取得を開始する。特定部４３２は、取得した音のデータに基づいて、その他の音源を含む音源の位置を特定する。すなわち、特定部４３２は、対象物の動作により発生する音源の位置と、音源の属性の判定対象ではない他の音源の位置とを特定する。

特定部４３２は、表示制御部１３１から設定開始指示が入力された場合には、特定した音源位置の音源に音源ＩＤを付与し、音のデータ、音源ＩＤおよび音源位置を対応付けて判定部４３３に出力する。特定部４３２は、表示制御部１３１から報知開始指示が入力された場合には、音のデータ、および、特定した音源位置を対応付けて判定部４３３に出力する。

判定部４３３は、特定部４３２から対応付けられた音のデータ、音源ＩＤおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する。判定部４３３は、判定した音の属性である音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部４３４に出力する。また、判定部４３３は、音の属性を判定できなかった音源（その他の音源）について、音源属性を例えば「その他Ａ」として、同様に音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部４３４に出力する。

また、判定部４３３は、音源のグループ化を行う。判定部４３３は、例えば、居室内にマイク１０が３つある場合、マイク１０ごとに３つのグループに分けるグループ化を行う。つまり、居室内をマイク１０の数に応じてエリアに分割する。判定部４３３は、分割したエリア内に存在する属性が判定できた音源の音源位置と、その他の音源の音源位置とをグループ化する。判定部４３３は、グループ化したその他の音源の音源位置と、属性が判定できた音源の音源位置とを対応付けて補正情報記憶部４２４に記憶する。なお、判定部４３３は、その他の音源の音源位置が２つのエリアの境界近傍にある場合、境界の両側のグループに、それぞれ属性が判定できた音源の音源位置と対応付けて記憶する。判定部４３３は、その他の音源を含む音源位置に対応するアイコンを表示画面に表示する。このとき、判定部４３３は、グループ化したエリアを表示画面に表示するようにしてもよい。

また、判定部４３３は、特定部４３２から対応付けられた音のデータおよび音源位置が入力されると、学習済モデル記憶部１２２を参照し、音の属性を学習済モデルを用いて判定する。判定部４３３は、対応付け情報記憶部１２３を参照し、判定した音の属性である音源属性および音源位置と一致する音源ＩＤを取得する。なお、ここでの音源属性には、その他の音源の音源属性を含む。判定部４３３は、取得した音源ＩＤと、音源属性および音源位置とを対応付けて報知部４３５に出力する。

対応付け部４３４は、判定部４３３から音源ＩＤ、音源属性および音源位置が入力されると、属性が判定できた音源の音源位置のアイコンに対するドラッグ操作を受け付ける。対応付け部４３４は、ドラッグ操作により対象物の設置位置に属性が判定できた音源の音源位置のアイコンが重ね合わされると、対象物の設置位置と当該音源位置とを対応付ける。対応付け部４３４は、対応付けた結果である対象物ＩＤ、設置位置、対象物属性、音源ＩＤ、音源位置および音源属性を対応付け情報記憶部１２３に記憶する。

また、対応付け部４３４は、属性が判定できた音源の音源位置について対応付けが完了すると、当該音源位置についてドラッグ操作の前後における位置の差分を算出する。対応付け部４３４は、算出した差分に基づいて、属性が判定できた音源の音源位置と同じグループに属するその他の音源の音源位置の補正後の音源位置を算出する。つまり、対応付け部４３４は、その他の音源の音源位置の補正情報を算出する。対応付け部４３４は、算出した補正情報を補正情報記憶部４２４に記憶する。なお、対応付け部４３４は、同じグループ内に属性が判定できた音源の音源位置が複数ある場合、１つの属性が判定できた音源の音源位置に基づいて補正情報を算出し、他の属性が判定できた音源の音源位置を補正するようにしてもよい。この場合、対応付け部４３４は、ユーザの音源位置と対象物の設置位置との対応付けの負担を軽減することができる。

報知部４３５は、判定部４３３から音源ＩＤ、音源属性および音源位置が入力されると、対応付け情報記憶部１２３を参照し、属性が判定できた音源の音源ＩＤに対応付けられた対象物ＩＤの設置位置および対象物属性を取得する。報知部４３５は、表示画面の取得した設置位置に対象物属性に対応するアイコンを表示することで、対象物の動作により発生する音をユーザに報知する。このとき、報知部４３５は、音源位置に対応するアイコンは表示しない。

また、報知部４３５は、入力された音源ＩＤが対応付け情報記憶部１２３に記憶されていない場合、補正情報記憶部４２４を参照し、入力された音源ＩＤに対応付けられた補正情報を取得する。報知部４３５は、取得した補正情報に基づいて、表示画面のその他の音源の音源位置にその他の音源に対応するアイコンを表示することで、その他の音源の音をユーザに報知する。このとき、報知部４３５は、属性が判定できた音源の場合と同様に、音源位置に対応するアイコンは表示しない。なお、報知部４３５は、その他の音源の位置が２つの対応付ける音源を有する場合、それぞれの補正情報に基づいて、その他の音源の位置を補正してアイコンを表示する。

言い換えると、報知部４３５は、特定位置（音源位置）を対象物の設置位置に対応付けた場合の補正情報に基づいて、特定した他の音源の位置を補正する。また、判定部４３３は、対象物の設置位置を含むエリアを複数に分割する。報知部４３５は、分割したエリアごとに、該エリア内の特定位置の補正情報に基づいて、同一エリア内の他の音源の位置を補正する。また、報知部４３５は、２つのエリアの境界近傍に他の音源の位置がある場合、境界の両側のエリア内の特定位置の補正情報に基づいて、他の音源の位置を補正する。

ここで、図１６および図１７を用いて実施例４の情報表示制御について説明する。図１６は、実施例４の情報表示制御の一例を示す図である。図１６に示すように、情報表示制御装置４００は、複数個の対象物の設置位置を示し、対象物の配置位置とマーカ位置との対応付けを行う設定時の表示画面５０を表示する。表示画面５０は、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。また、表示画面５０は、未配置や屋外に対応するアイコンの表示領域２２を有する。寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂ，１０ｃに対応するアイコンが配置されている。また、居室内は、マイク１０ａ，１０ｂ，１０ｃにそれぞれ対応するグループ５１，５２，５３に分割されている。

情報表示制御装置４００は、例えば、マイク１０ａ～１０ｃから音の取得を開始すると、対象物の動作により発生する音源の位置を特定する。情報表示制御装置４００は、例えば、グループ５２の音源位置５４，５５と、グループ５３の音源位置５６，５７とを特定し、表示画面５０に表示する。また、情報表示制御装置４００は、取得した音について、学習済モデルを用いて音源の属性を判定する。つまり、情報表示制御装置４００は、音源位置５４の音源が属性「冷蔵庫」であることを判定し、音源位置５５の音源が属性「蛇口」であることを判定する。また、情報表示制御装置４００は、音源位置５６の音源が属性「エアコン」であることを判定する。さらに、情報表示制御装置４００は、音源位置５７の音源について、音の属性を判定できなかったため、その他の音源として例えば属性「その他Ａ」とする。

情報表示制御装置４００は、グループ５２について、音源位置５４，５５と、対象物である冷蔵庫および蛇口の設置位置２６，５８との位置関係に差が有る場合、例えば、音源位置５４，５５に対するドラッグアンドドロップ操作を受け付ける。情報表示制御装置４００は、ドラッグ操作５９，６０により設置位置２６，５８に音源位置５４，５５が重ね合わされることで、設置位置２６と音源位置５４、および、設置位置５８と音源位置５５を、それぞれ対応付ける。

情報表示制御装置４００は、グループ５３について、音源位置５６と、対象物であるエアコンの設置位置６１との位置関係に差が有る場合、例えば、音源位置５６に対するドラッグアンドドロップ操作を受け付ける。情報表示制御装置４００は、ドラッグ操作６２により設置位置６１に音源位置５６が重ね合わされることで、設置位置６１と音源位置５６とを対応付ける。情報表示制御装置４００は、音源位置５６についてドラッグ操作の前後における位置の差分を算出する。情報表示制御装置４００は、算出した差分に基づいて、音源位置５６と同じグループ５３に属するその他の音源の音源位置５７の補正後の音源位置６３を算出する。つまり、情報表示制御装置４００は、音源位置５７の補正情報６４を算出する。なお、音源位置６３の人物は、属性の判定対象ではない音の一例として喋り声が想定される場合の表示例であり、音源位置５７や補正後の音源位置６３は、他の物の絵、例えば疑問符等であってもよい。

情報表示制御装置４００は、設定が完了すると、対象物の設置位置と音源位置との対応付け後に用いる、報知を行うための表示画面７０を表示する。表示画面７０は、表示画面５０と同様に間取り図に対応する表示領域を有する。情報表示制御装置４００は、例えば、マイク１０ｂから取得した音から音源位置５４ａ，５５ａを特定する。情報表示制御装置４００は、音源位置５４ａの音源が属性「冷蔵庫」であると判定すると、表示画面７０において、冷蔵庫の設置位置２６上に、冷蔵庫が音を発していることを示すアイコン７１を表示して報知する。また、情報表示制御装置４００は、音源位置５５ａの音源が属性「蛇口」であると判定すると、表示画面７０において、蛇口の設置位置５８上に、蛇口が音を発していることを示すアイコン７２を表示して報知する。

また、情報表示制御装置４００は、例えば、マイク１０ｃから取得した音から音源位置５６ａ，５７ａを特定する。情報表示制御装置４００は、音源位置５６ａの音源が属性「エアコン」であると判定すると、表示画面７０において、エアコンの設置位置６１上に、エアコンが音を発していることを示すアイコン７３を表示して報知する。また、情報表示制御装置４００は、音源位置５７ａの音源が属性「その他Ａ」であると判定すると、補正情報を参照し、表示画面７０において、補正後の音源位置６３上に属性の判定対象ではない音、例えば喋り声に対応するアイコン７４を表示して報知する。これにより、情報表示制御装置４００は、属性の判定対象ではない音についても、精度の高い位置同定を行うことができる。

図１７は、実施例４の情報表示制御の他の一例を示す図である。図１７に示すように、情報表示制御装置４００は、複数個の対象物の設置位置を示し、対象物の配置位置とマーカ位置との対応付けを行う設定時の表示画面８０を表示する。表示画面８０は、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。また、表示画面８０は、未配置や屋外に対応するアイコンの表示領域２２を有する。寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂ，１０ｃに対応するアイコンが配置されている。また、居室内は、マイク１０ａ，１０ｂ，１０ｃにそれぞれ対応するグループ５１，５２，５３に分割されている。

情報表示制御装置４００は、例えば、マイク１０ａ～１０ｃから音の取得を開始すると、対象物の動作により発生する音源の位置を特定する。情報表示制御装置４００は、例えば、グループ５２の音源位置５４と、グループ５３の音源位置５６，５７とを特定し、表示画面８０に表示する。また、情報表示制御装置４００は、取得した音について、学習済モデルを用いて音源の属性を判定する。つまり、情報表示制御装置４００は、音源位置５４の音源が属性「冷蔵庫」であることを判定する。また、情報表示制御装置４００は、音源位置５６の音源が属性「エアコン」であることを判定する。さらに、情報表示制御装置４００は、音源位置５７の音源について、音の属性を判定できなかったため、その他の音源として例えば属性「その他Ａ」とする。

情報表示制御装置４００は、グループ５２について、音源位置５４と、対象物である冷蔵庫の設置位置２６との位置関係に差が有る場合、例えば、音源位置５４に対するドラッグアンドドロップ操作を受け付ける。情報表示制御装置４００は、ドラッグ操作５９により設置位置２６に音源位置５４が重ね合わされることで、設置位置２６と音源位置５４とを対応付ける。また、情報表示制御装置４００は、グループ５２とグループ５３との境界付近にある音源位置５７の補正情報を算出するために、音源位置５４についてドラッグ操作の前後における位置の差分を算出する。情報表示制御装置４００は、算出した差分に基づいて、その他の音源の音源位置５７の補正後の音源位置Ｘを算出する。

情報表示制御装置４００は、グループ５３について、音源位置５６と、対象物であるエアコンの設置位置６１との位置関係に差が有る場合、例えば、音源位置５６に対するドラッグアンドドロップ操作を受け付ける。情報表示制御装置４００は、ドラッグ操作６２により設置位置６１に音源位置５６が重ね合わされることで、設置位置６１と音源位置５６とを対応付ける。情報表示制御装置４００は、音源位置５６についてドラッグ操作の前後における位置の差分を算出する。情報表示制御装置４００は、算出した差分に基づいて、音源位置５６と同じグループ５３に属するその他の音源の音源位置５７の補正後の音源位置Ｙを算出する。

情報表示制御装置４００は、音源位置５４に基づく差分および補正後の音源位置Ｘと、音源位置５６に基づく差分および補正後の音源位置Ｙとに基づいて、音源位置５７の補正情報８１を算出する。図１７では、補正情報８１による補正後の音源位置を音源位置８２として示す。すなわち、図１７の例では、情報表示制御装置４００は、ドラッグ操作５９，６２を受け付けることで、その他の音源である音源位置５７の補正後の音源位置８２を決定する。なお、音源位置８２の人物は、図１６の場合と同様に、属性の判定対象ではない音の一例として喋り声が想定される場合の表示例であり、音源位置５７や補正後の音源位置８２は、他の物の絵、例えば疑問符等であってもよい。

情報表示制御装置４００は、設定が完了すると、対象物の設置位置と音源位置との対応付け後に用いる、報知を行うための表示画面８５を表示する。表示画面８５は、表示画面８０と同様に間取り図に対応する表示領域を有する。情報表示制御装置４００は、例えば、マイク１０ｂから取得した音から音源位置５４ａ，５７ａを特定する。情報表示制御装置４００は、音源位置５４ａの音源が属性「冷蔵庫」であると判定すると、表示画面８５において、冷蔵庫の設置位置２６上に、冷蔵庫が音を発していることを示すアイコン７１を表示して報知する。

また、情報表示制御装置４００は、例えば、マイク１０ｃから取得した音から音源位置５６ａ，５７ａを特定する。情報表示制御装置４００は、音源位置５６ａの音源が属性「エアコン」であると判定すると、表示画面８５において、エアコンの設置位置６１上に、エアコンが音を発していることを示すアイコン７３を表示して報知する。また、情報表示制御装置４００は、音源位置５７ａの音源が属性「その他Ａ」であると判定すると、補正情報を参照し、表示画面８５において、補正後の音源位置８２上に属性の判定対象ではない音、例えば喋り声に対応するアイコン８６を表示して報知する。これにより、情報表示制御装置４００は、グループの境界付近に音源位置がある場合でも、精度の高い位置同定を行うことができる。

次に、実施例４の情報表示制御装置４００の動作について説明する。まず、図１８を用いて、情報表示制御処理のうち設定処理について説明する。図１８は、実施例４の設定処理の一例を示すフローチャートである。以下の説明では、設定処理のステップＳ１，Ｓ２，Ｓ４，Ｓ６，Ｓ７の処理は、実施例１と同様であるので、その説明を省略する。

情報表示制御装置４００の特定部４３２は、ステップＳ２の処理に続いて以下の処理を実行する。特定部４３２は、取得した音のデータに基づいて、その他の音源を含む音源の位置を特定する（ステップＳ４１）。特定部４３２は、特定した音源位置の音源に音源ＩＤを付与し、音のデータ、音源ＩＤおよび音源位置を対応付けて判定部４３３に出力し、ステップＳ４に進む。

判定部４３３は、ステップＳ４の処理に続いて以下の処理を実行する。判定部４３３は、判定した音の属性である音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部１３４に出力する。また、判定部４３３は、その他の音源について、その他の音源である旨の音源属性と、音源ＩＤおよび音源位置とを対応付けて対応付け部１３４に出力する。また、判定部４３３は、マイク１０に対応するエリアに基づいて、その他の音源を属性が判定できた音源とグループ化する（ステップＳ４２）。判定部４３３は、グループ化したその他の音源の音源位置と、属性が判定できた音源の音源位置とを対応付けて補正情報記憶部４２４に記憶する（ステップＳ４３）。判定部４３３は、その他の音源を含む音源位置に対応するアイコンを表示画面に表示し（ステップＳ４４）、ステップＳ６に進む。

対応付け部４３４は、ステップＳ７の処理に続いて以下の処理を実行する。対応付け部４３４は、属性が判定できた音源の音源位置について対応付けが完了すると、当該音源位置についてドラッグ操作の前後における位置の差分に基づいて、その他の音源の音源位置の補正情報を算出する（ステップＳ４５）。対応付け部４３４は、算出した補正情報を補正情報記憶部４２４に記憶する（ステップＳ４６）。これにより、情報表示制御装置４００は、属性の判定対象ではない音についても、補正後の音源位置を対応付けることができる。

続いて、図１９を用いて、情報表示制御処理のうち報知処理について説明する。図１９は、実施例４の報知処理の一例を示すフローチャートである。以下の説明では、報知処理のステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１５の処理は、実施例１と同様であるので、その説明を省略する。

情報表示制御装置４００の特定部４３２は、ステップＳ１２の処理に続いて以下の処理を実行する。特定部４３２は、取得した音のデータに基づいて、その他の音源を含む音源の位置を特定する（ステップＳ４７）。特定部４３２は、音のデータ、および、特定した音源位置を対応付けて判定部４３３に出力し、ステップＳ１４に進む。

報知部４３５は、ステップＳ１５の処理に続いて以下の処理を実行する。報知部４３５は、入力された音源ＩＤが対応付け情報記憶部１２３に記憶されていない場合、補正情報記憶部４２４を参照し、入力された音源ＩＤに対応付けられた補正情報を取得する。報知部４３５は、取得した補正情報に基づいて、表示画面のその他の音源の音源位置にその他の音源に対応するアイコンを表示する（ステップＳ４８）。これにより、情報表示制御装置４００は、属性の判定対象ではない音についても、精度の高い位置同定を行うことができる。

このように、情報表示制御装置４００は、音源の属性の判定対象ではない他の音源の位置を特定する。また、情報表示制御装置４００は、特定位置を対象物の設置位置に対応付けた場合の補正情報に基づいて、特定した他の音源の位置を補正する。その結果、情報表示制御装置４００は、音源の属性の判定対象ではない他の音源の音についても、精度の高い位置同定を行うことができる。

また、情報表示制御装置４００は、対象物の設置位置を含むエリアを複数に分割し、分割したエリアごとに、該エリア内の特定位置の補正情報に基づいて、同一エリア内の他の音源の位置を補正する。その結果、情報表示制御装置４００は、マイク１０が複数ある場合に、より精度の高い位置同定を行うことができる。

また、情報表示制御装置４００は、２つのエリアの境界近傍に他の音源の位置がある場合、境界の両側のエリア内の特定位置の補正情報に基づいて、他の音源の位置を補正する。その結果、情報表示制御装置４００は、エリアの境界近傍に位置する他の音源の音についても、より精度の高い位置同定を行うことができる。

なお、上記各実施例では、マイク１０で取得した音の大きさに応じて、報知するアイコンの大きさを決定したが、これに限定されない。例えば、重要度に応じてアイコンの大きさを変更するようにしてもよく、この場合のアイコン表示について図２０および図２１を用いて説明する。なお、図２０および図２１では、各実施例の情報表示制御装置の一例として、実施例１の情報表示制御装置１００を用いて説明する。

図２０は、報知時の重要度に応じたアイコン表示の一例を示す図である。図２０に示すように、情報表示制御装置１００は、報知を行うための表示画面９０を表示する。表示画面９０は、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂに対応するアイコンが配置されている。

情報表示制御装置１００は、例えば、マイク１０ｂから取得した音の音源が属性「蛇口」である場合、蛇口が開栓状態のまま放置されている状態であり重要度が高いとする。この場合、情報表示制御装置１００は、例えば、蛇口の設置位置上に、例えば、蛇口だけでなく他の対象物も覆うような大きさのアイコン９１を表示して報知する。

図２１は、報知時の重要度に応じたアイコン表示の他の一例を示す図である。図２１に示すように、情報表示制御装置１００は、報知を行うための表示画面９２を表示する。表示画面９２は、例えば、建物の間取り図に対応するように、寝室２１ａ、居間２１ｂおよび玄関２１ｃといった表示領域を有する。寝室２１ａおよび居間２１ｂには、音を取得するためのマイク１０ａ，１０ｂに対応するアイコンが配置されている。

情報表示制御装置１００は、例えば、マイク１０ｂから取得した音の音源が属性「ノック音」である場合、玄関に来訪者が訪れている状態であり重要度が中程度であるとする。この場合、情報表示制御装置１００は、例えば、玄関２１ｃに、他のアイコンの表示を妨げない大きさのノック音を表すアイコン９３を表示して報知する。これにより、情報表示制御装置１００は、取得した音の音源の重要度に応じて、表示するアイコンの大きさを変更するので、音の重要度が容易に判別することができる。

また、上記各実施例では、間取り図を用いて設定および報知の表示を行ったが、これに限定されない。例えば、部屋の写真上に音源の音源位置や対象物の設置位置等を表示して設定を行ったり、報知を行うようにしてもよい。

また、上記各実施例において、報知を行った履歴を保存しておき、例えば、履歴一覧として表示できるようにしてもよい。

また、上記各実施例では、対象物の設置位置を１箇所として説明したが、これに限定されない。例えば、同じ対象物（例えば、携帯電話やスマートフォン。）が２箇所以上の設置位置（例えば、寝室と居間。）にある場合、設定時にそれぞれ登録すれば、報知時には、音源位置に基づいて、登録したいずれかの設置位置にアイコンを表示して報知できる。

また、上記各実施例では、音の属性の判定について、学習済モデルを用いて判定したが、これに限定されない。例えば、電子レンジの音に埋め込みコードを付加し、マイク１０で取得した音に含まれる埋め込みコードに基づいて、音の属性を判定してもよい。また、例えば、電子レンジに通信モジュールを設置し、電子レンジが音を鳴らすタイミングで通信を介して属性を取得するようにしてもよい。

また、上記実施例４では、居室内を複数のエリアに分割してグループ化したが、これに限定されない。例えば、音の周波数帯域によってグループ化するようにしてもよい。この場合、音源の周波数による反射、吸収、回折といった環境条件によって異なるパラメータの違いを利用してグループ化することができる。

なお、上記各実施例では、ニューラルネットワークとして、ＣＮＮを一例として挙げたが、これに限定されない。例えば、ＲＮＮ（再帰型ニューラルネットワーク：Recurrent Neural Network）など様々なニューラルネットワークを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、ＳＶＭ（Support Vector Machine）等の各種手法を用いてもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、情報表示制御装置１００の特定部１３２と判定部１３３とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２２は、情報表示制御プログラムを実行するコンピュータの一例を示す図である。

図２２に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、データ入力を受け付ける入力装置５０２と、モニタ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る媒体読取装置５０４と、各種装置と接続するためのインタフェース装置５０５と、他の情報処理装置等と有線または無線により接続するための通信装置５０６とを有する。また、コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０７と、ハードディスク装置５０８とを有する。また、各装置５０１～５０８は、バス５０９に接続される。

ハードディスク装置５０８には、図３に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部１３４および報知部１３５の各処理部と同様の機能を有する情報表示制御プログラムが記憶される。また、ハードディスク装置５０８には、レイアウト記憶部１２１、学習済モデル記憶部１２２、対応付け情報記憶部１２３、および、情報表示制御プログラムを実現するための各種データが記憶される。また、ハードディスク装置５０８には、図７に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部２３４および報知部２３５の各処理部と同様の機能を有する情報表示制御プログラムが記憶されるようにしてもよい。また、ハードディスク装置５０８には、レイアウト記憶部１２１、学習済モデル記憶部１２２、対応付け情報記憶部２２３、および、情報表示制御プログラムを実現するための各種データが記憶されるようにしてもよい。

また、ハードディスク装置５０８には、図１２に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部３３４および報知部２３５の各処理部と同様の機能を有する情報表示制御プログラムが記憶されるようにしてもよい。また、ハードディスク装置５０８には、レイアウト記憶部１２１、学習済モデル記憶部１２２、対応付け情報記憶部２２３、および、情報表示制御プログラムを実現するための各種データが記憶されるようにしてもよい。また、ハードディスク装置５０８には、図１４に示した表示制御部１３１、特定部４３２、判定部４３３、対応付け部４３４および報知部４３５の各処理部と同様の機能を有する情報表示制御プログラムが記憶されるようにしてもよい。また、ハードディスク装置５０８には、レイアウト記憶部１２１、学習済モデル記憶部１２２、対応付け情報記憶部１２３、補正情報記憶部４２４、および、情報表示制御プログラムを実現するための各種データが記憶されるようにしてもよい。

入力装置５０２は、例えば、コンピュータ５００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ５０３は、例えば、コンピュータ５００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置５０５は、例えば印刷装置等が接続される。通信装置５０６は、例えば、図３，７，１２，１４に示した通信部１１０と同様の機能を有しネットワークＮと接続され、マイク１０および他の情報処理装置と各種情報をやりとりする。

ＣＰＵ５０１は、ハードディスク装置５０８に記憶された各プログラムを読み出して、ＲＡＭ５０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ５００を図３に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部１３４および報知部１３５として機能させることができる。また、これらのプログラムは、コンピュータ５００を図７に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部２３４および報知部２３５として機能させるようにしてもよい。また、これらのプログラムは、コンピュータ５００を図１２に示した表示制御部１３１、特定部１３２、判定部１３３、対応付け部３３４および報知部２３５として機能させるようにしてもよい。また、これらのプログラムは、コンピュータ５００を図１４に示した表示制御部１３１、特定部４３２、判定部４３３、対応付け部４３４および報知部４３５として機能させるようにしてもよい。

なお、上記の情報表示制御プログラムは、必ずしもハードディスク装置５０８に記憶されている必要はない。例えば、コンピュータ５００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ５００が読み出して実行するようにしてもよい。コンピュータ５００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの情報表示制御プログラムを記憶させておき、コンピュータ５００がこれらから情報表示制御プログラムを読み出して実行するようにしてもよい。

１ 情報表示制御システム
１０，１０ａ，１０ｂ，１０ｃ マイク
１００，２００，３００，４００ 情報表示制御装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０，２２０，４２０ 記憶部
１２１ レイアウト記憶部
１２２ 学習済モデル記憶部
１２３，２２３ 対応付け情報記憶部
１３０，２３０，３３０，４３０ 制御部
１３１ 表示制御部
１３２，４３２ 特定部
１３３，４３３ 判定部
１３４，２３４，３３４，４３４ 対応付け部
１３５，２３５，４３５ 報知部
４２４ 補正情報記憶部
Ｎ ネットワーク

Claims (13)

1. 複数個の対象物の設置位置を表示画面上に表示し、
   前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定し、
   前記属性が判定された特定位置と、前記属性と同じ属性である前記対象物の設置位置との位置関係に差が有る場合、前記属性が判定された特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付け、
   前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における前記属性と同じ属性である前記対象物の設置位置に表示して報知する、
   処理をコンピュータに実行させることを特徴とする情報表示制御プログラム。
2. 前記報知する処理は、前記属性と同じ属性である前記対象物の動作状態を検知した際に、前記特定位置を前記表示画面上に表示せず、対応付け後の前記属性と同じ属性である前記対象物の設置位置を前記表示画面上に表示することで報知する、
   ことを特徴とする請求項１に記載の情報表示制御プログラム。
3. 前記判定する処理は、前記特定位置を前記表示画面上に表示し、
   前記対応付ける処理は、前記表示画面上に表示された前記特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付ける操作を受け付けることで、前記属性が判定された特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付ける、
   ことを特徴とする請求項１または２に記載の情報表示制御プログラム。
4. 前記対応付ける処理は、前記表示画面上に表示された前記対象物の属性を表すマーカを、該マーカと同じ属性である前記対象物の設置位置に対応付ける操作を受け付けることで、前記マーカを前記対象物の設置位置に対応付ける、
   ことを特徴とする請求項１または２に記載の情報表示制御プログラム。
5. 前記対応付ける処理は、前記マーカの前記対象物の設置位置への対応付けをトリガとして、前記特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付ける、
   ことを特徴とする請求項４に記載の情報表示制御プログラム。
6. 前記音源の属性の判定対象ではない他の音源の位置を特定し、
   前記特定位置を、判定した前記属性と同じ属性である前記対象物の設置位置に対応付けた場合の補正情報に基づいて、特定した前記他の音源の位置を補正する、
   処理をコンピュータに実行させることを特徴とする請求項１～３のいずれか１つに記載の情報表示制御プログラム。
7. 前記補正する処理は、判定した前記属性と同じ属性である前記対象物の設置位置を含むエリアを複数に分割し、分割した前記エリアごとに、該エリア内の前記特定位置の補正情報に基づいて、同一エリア内の前記他の音源の位置を補正する、
   ことを特徴とする請求項６に記載の情報表示制御プログラム。
8. 前記補正する処理は、２つの前記エリアの境界近傍に前記他の音源の位置がある場合、前記境界の両側の前記エリア内の前記特定位置の補正情報に基づいて、前記他の音源の位置を補正する、
   ことを特徴とする請求項７に記載の情報表示制御プログラム。
9. 複数個の対象物の設置位置を表示画面上に表示し、
   前記表示画面上に表示された前記対象物の属性を表すマーカを、該マーカと同じ属性である前記対象物の設置位置に対応付ける操作を受け付けることで、前記マーカを該マーカと同じ属性である前記対象物の設置位置に対応付け、
   該マーカと同じ属性である前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定し、
   判定された前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における該マーカと同じ属性である前記対象物の設置位置に表示して報知する、
   処理をコンピュータに実行させることを特徴とする情報表示制御プログラム。
10. 複数個の対象物の設置位置を表示画面上に表示し、
    前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定し、
    前記属性が判定された特定位置と、前記属性と同じ属性である前記対象物の設置位置との位置関係に差が有る場合、前記属性が判定された特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付け、
    前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における前記属性と同じ属性である前記対象物の設置位置に表示して報知する、
    処理をコンピュータが実行することを特徴とする情報表示制御方法。
11. 複数個の対象物の設置位置を表示画面上に表示し、
    前記表示画面上に表示された前記対象物の属性を表すマーカを、該マーカと同じ属性である前記対象物の設置位置に対応付ける操作を受け付けることで、前記マーカを該マーカと同じ属性である前記対象物の設置位置に対応付け、
    該マーカと同じ属性である前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定し、
    判定された前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における該マーカと同じ属性である前記対象物の設置位置に表示して報知する、
    処理をコンピュータが実行することを特徴とする情報表示制御方法。
12. 複数個の対象物の設置位置を表示画面上に表示する表示制御部と、
    前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定する判定部と、
    前記属性が判定された特定位置と、前記属性と同じ属性である前記対象物の設置位置との位置関係に差が有る場合、前記属性が判定された特定位置を前記属性と同じ属性である前記対象物の設置位置に対応付ける対応付け部と、
    前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における前記属性と同じ属性である前記対象物の設置位置に表示して報知する報知部と、
    を有することを特徴とする情報表示制御装置。
13. 複数個の対象物の設置位置を表示画面上に表示する表示制御部と、
    前記表示画面上に表示された前記対象物の属性を表すマーカを、該マーカと同じ属性である前記対象物の設置位置に対応付ける操作を受け付けることで、前記マーカを該マーカと同じ属性である前記対象物の設置位置に対応付ける対応付け部と、
    該マーカと同じ属性である前記対象物の動作により発生する音源の位置を特定するとともに、前記音源の属性を判定する判定部と、
    判定された前記属性と同じ属性である前記対象物のアイコンを、対応付け後の前記表示画面における該マーカと同じ属性である前記対象物の設置位置に表示して報知する報知部と、
    を有することを特徴とする情報表示制御装置。

Images