JPWO2008139717A1

JPWO2008139717A1 - 表示装置、表示方法、表示プログラム

Info

Publication number: JPWO2008139717A1
Application number: JP2009514008A
Authority: JP
Inventors: 圭司銀杏; 正之三崎; 河村　岳; 岳河村; 邦昭磯貝; 堀井　則彰; 則彰堀井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-05-09
Filing date: 2008-04-30
Publication date: 2010-07-29
Anticipated expiration: 2028-04-30
Also published as: US20100134626A1; WO2008139717A1; US8144196B2; CN101681244A; JP5236631B2; CN101681244B

Abstract

複数のユーザ間の関係を視認し易く表示することができる表示装置を提供することを目的とする。本発明は、データセンシング部１及び位置検出部２により検出された複数ユーザ間の位置関係に関する情報に基づき、前記複数ユーザを複数のグループにグルーピングするユーザグルーピング部３と、前記ユーザグルーピング部３により抽出された複数のグループに関する情報に基づき、画面上に、グループ間の位置関係を反映して、各グループを配置して表示するユーザ関係表示部４とを備えるシステムである。

Description

本発明は、複数のユーザ同士の関係をより視認しやすい形態で表示するためのインタフェースを構築する技術に関する。

近年、位置表示技術分野において、室内もしくは地図上での人物や走行車の位置を表示する技術がある。例えば、無人走行車の車体に上方を撮影可能な赤外線撮影装置を取り付け、無人走行車が走行する領域の天井面の所定の箇所に絶対位置表示を設け、無人走行車の現走行位置を絶対位置で取得する技術がある（特許文献１参照）。また、配送に関する情報を記憶すると共に、配送情報を送信する応答回路を備える電子荷札を用いた宅配ナビゲーションシステムであって、配達先の位置を、表示装置に表示された地図上に表示する技術がある（特許文献２参照）。更に、複数のカメラのうち少なくとも１つによる撮影画像に基づき、撮影画像中に含まれる複数の人物を検出し、各カメラの撮影範囲を変更する監視システムが開示されている（特許文献３参照）。
特開平６−６７７２６号公報特開平６−１１１１９７号公報特開２００５−１１７５４２号公報

上記の技術は、室内もしくは地図上にユーザや走行車の絶対位置をマッピングする技術にすぎない。画面の広さには限りがあるので、複数のユーザが、離れた領域に偏在している場合、すべてのユーザの位置関係を表示しようとすると、ユーザ間の詳細な位置関係を視認し難くなる。

また、ユーザが偏在している１つの領域のみを表示すると、その領域に存在するユーザの位置関係は視認し易くなるが、他の領域に存在するユーザの位置関係は、表示できないため、全ユーザの位置関係を把握することができなくなるという問題がある。

本発明は、この問題を解決するもので、複数のユーザ間の関係を視認し易く表示することができる表示装置、表示方法、表示プログラムを提供することを目的とする。

上記の課題を解決するために、本発明は、複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、各対象物の位置を示す位置情報を取得する取得手段と、取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類手段と、前記位置情報を用いて１のグループと他のグループとのグループ間の位置関係を算出する算出手段と、前記表示画面を規定する基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定手段と、決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示手段とを備えることを特徴とする。

また、本発明は、上記の表示装置において用いられる表示方法又は表示プログラムでもある。

ここで、上記の表示装置は、例えば、図３６及び図３７に示すような機器が該当する。また、上記の「対象物」は、下記の実施の形態及び変形例にて説明する「ユーザ」、つまり人間であってもよいし、自動車や自転車などの移動機器でもよいし、家畜又は野生動物などであってもよい。「取得手段」は、下記の実施の形態１におけるデータセンシング部１及び位置関係検出部２がその機能を担う。また、「分類手段」は、ユーザグルーピング部３がその機能を担う。「算出手段」は、基準軸設定部４０１、グループ情報解析部４０２及びグループ間関係解析部４０３がその機能を担う。また、「決定手段」は、画面割当比率算定部４０４、画面配置位置算定部４０５及び画面仕切算定部４０６がその機能を担う。「表示手段」は、割当表示算定部４０７及び画面表示部４０８がその機能を担う。

この構成によると、算出手段は、１のグループと他のグループとのグループ間の位置関係を算出し、決定手段は算出されたグループ間の位置関係に応じた傾きを有するしきり線を決定し、表示手段は、決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する。そのため、各グループに属する対象物間の位置関係を容易に視認することができる。さらに、各領域間の仕切り線は、グループ間の位置関係に応じた傾きを有するため、グループ間の位置関係も同時に視認することができるという優れた効果を奏する。

前記表示装置において、前記算出手段は、少なくとも２つのグループの位置を示すグループ位置を求め、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを算出し、前記決定手段は、前記基準軸に対して、算出された傾きを有する前記仕切り線を決定するとしてもよい。

この構成によると、前記しきり線は、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを有しているので、グループ間の位置関係を、より正確に視認することができる。

また、前記決定手段は、グループの大きさに応じた面積を、そのグループに対応する領域が有するように、前記しきり線を決定するとしてもよい。

この構成によると、各グループに割り当てられた面積から、容易に各グループの大きさを視認できる。ここで、「グループの大きさ」とは、グループに属する対象物の数であってもよいし、グループに属する対象物が現実に存在する領域の面積（例えばそのグループに属する全ての対象物を包含する最小円や最小円の半径）であってもよい。

また、前記算出手段は、１のグループと他のグループとのグループ間の距離を含む前記位置関係を算出し、前記決定手段は、算出された距離に応じた幅を有する前記しきり線を決定するとしてもよい。

この構成によると、表示されたしきり線の幅からグループ間の距離を容易に視認できる。

また、前記表示手段は、グループに属する対象物の位置関係を、グループ毎に異なる縮小率で表示し、前記表示手段は、さらに、各表示領域に、各グループの縮小率を示す情報を表示するとしてもよい。

この構成によると、表示画面上に表示された各グループの縮尺が異なる場合にも、各グループのサイズの違いを容易に視認できるという優れた効果を奏する。

また、前記分類手段は、前記位置情報から対象物間の距離を求め、求めた距離が閾値未満である２つ以上の対象物を同一のグループに分類するとしてもよい。

この構成によると、互いに近い位置に存在する複数対象物をひとつのグループに分類することができるので、離れた位置に複数の対象物が偏在する場合に、各グループを構成する対象物の位置関係を明確に表示できるという優れた効果を奏する。

また、前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満であって、前記向き情報の示す向きの延長線が交差する２つの対象物を同一のグループに分類するとしてもよい。

この構成によると、対象物間の距離のみならず、向き情報も用いて分類を行うので、相互に向き合っている会話集団などを抽出することができる。

また、前記表示装置は、さらに、各対象物の発する音声を取得する音声取得手段と、取得した音声を時間領域及び周波数領域において解析する音声情報解析手段とを備え、前記表示手段は、さらに、前記音声情報解析手段による解析結果を基に生成した画像を、前記表示画面上において、各グループに属する対象物の位置関係を表示している位置に表示するとしても良い。

この構成によると、前記表示手段は、前記音声情報解析手段による解析結果を基に生成した画像を、前記表示画面上において、各グループに属する対象物の位置関係を表示している位置に表示するので、複数のユーザによる形成されるグループの位置関係のみならず各グループの対象物の発する音声に関する情報も一目で視認することができる。

また、前記音声解析手段は、取得した音声から、各対象物の発する音声の特徴を抽出し、抽出した音声の特徴を前記解析結果として生成し、前記表示手段は、各対象物の発する音声の特徴を示す画像を、対応する対象物の前記表示画面上における位置に表示する。

この構成によると、各対象物がどのような特徴を持った音声を発声しているかを、容易に視認できる。

また、前記音声解析手段は、前記音声を用いて、各グループに属する対象物間の会話の活発さを示す会話活性度を、前記解析結果として生成し、前記表示手段は、前記会話活性度を示す画像を、対応するグループの前記表示画面上における位置に表示するとしてもよい。

この構成によると、各グループ内においてどの程度活発に会話が交わされているかを容易に視認できる。

また、前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、前記表示装置は、さらに、前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、前記方向情報の示す方向と、前記位置情報の示す位置から前記算出対象位置までの距離を基に、前記注目度を算出する注目度算定手段を備え、前記表示手段は、さらに、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示することを特徴とする。

この構成によると、前記複数のユーザがどの位置にどの程度注目しているのかを合わせて視認することができる。

また、前記複数の対象物は、カメラを有しており、前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど大きな値となるように前記注目度を決定するとしてもよい。

対象物は、近くに存在し、視野の中心線上に存在するものにより注目していると考えられる。従って、上記の構成によると、カメラの画角の中心線を視野の中心線であると仮定すると、より正確に注目度を算出し、算出した注目度を画面上に表示することで、多くの対象物が注目している位置を容易に視認することができる。

また、前記算出対象位置取得手段は、前記複数の対象物のうち、１の対象物の位置を前記算出対象位置として取得するとしてもよい。

この構成によると、他の対象物から注目を集めている対象物を容易に視認できる。

また、前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示するとしてもよい。

この構成によると、前記複数の対象物から大きな注目を集めている位置を明確に表示することができる。

また、前記表示手段は、さらに、位置情報の取得、前記複数の対象物の分類、仕切り線の決定、しきり線及び各グループの位置関係の表示を、それぞれ、前記取得手段、前記分類手段、前記算出手段、前記決定手段及び前記表示手段に、繰り返させる繰返制御手段を備えるとしてもよい。

この構成によると、各グループ間の位置関係の変化、及び、グループ内での各対象物の位置関係の変化を時系列で視認することができる。

また、本発明は、複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、各対象物の位置を示す位置情報及び向きを示す向き情報を取得する前記取得手段と、前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、前記位置情報の示す位置と前記方向情報の示す方向とを基に、前記算出対象位置における前記注目度を算出する注目度算定手段と、前記複数の対象物間の位置関係を表示し、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示する前記表示手段とを備えることを特徴とする。

この構成によると、前記複数の対象物が、どの位置にどの程度注目しているかを、容易に視認することができる。

対象物は、近くに存在し、視野の中心線上に存在するものにより注目していると考えられる。従って、上記の構成によると、カメラの画角の中心線を視野の中心線であると仮定すると、より正確に注目度を決定することができる。

この構成によると、複数の対象物のうち何れの対象物が他の対象物から注目を集めているかを容易に視認できるという優れた効果を奏する。

本発明の実施の形態１におけるセンシングデータから複数ユーザ同士の位置関係を検出し、検出した位置関係に応じて位置関係を表示するシステム構成を示す機能ブロック図位置関係検出部２により検出された複数ユーザ（ａ〜ｉ）同士の位置関係の例を示す図ユーザグルーピング部３により複数ユーザ同士の位置関係に関する情報を入力として算出されたグルーピング結果の例を示す図位置関係表示部４の内部構成を示す機能ブロック図位置関係表示部４にて為される処理の例を示す図位置関係表示部４により画面に表示される表示形態の例を示す図図６に説明のための補足線等を付け足した図位置関係表示部４により画面に表示される、グループ間の実際のサイズに対する縮尺比率関係を把握可能にした表示形態の例を示す図システムの動作を示すフローチャートシステムの動作を示すフローチャートであって、図９から続く。位置関係表示部４にて為される処理の例を示す図位置関係表示部４により画面に表示される表示形態の例を示す（実際には表示されないが、説明のための補足線等も明示している）図位置関係表示部４にて為される処理の例を示す図位置関係表示部４により画面に表示される表示形態の例を示す（実際には表示されないが、説明のための補足線等も明示している）図位置関係検出部２により検出された複数ユーザ（ａ〜ｉ）同士の位置関係および向き関係の例を示す図ユーザグルーピング部３により複数ユーザ同士の位置関係や向き関係等に関する情報を入力として算出されたグルーピング結果の例を示す図位置関係表示部４により画面に表示される表示形態の例を示す図本発明の実施の形態２において、センシングデータから複数ユーザ同士の位置関係を検出し、検出した位置関係に応じて位置関係を表示するとともに、ユーザの会話状況を視覚的に表示するシステム構成を示す機能ブロック図音声情報解析部５の内部構成を示す機能ブロック図本発明の実施の形態２における位置関係表示部４の内部構成を示す機能ブロック図位置関係表示部４により画面に表示される、ユーザグルーピング部３により複数ユーザ同士の位置関係や向き関係を表示した例を示す図位置関係表示部４により画面に表示される、音声情報解析部５によって得られた各ユーザの会話状況を視覚化して表示した例を示す図位置関係表示部４により画面に表示される、音声情報解析部５によって得られたグループの会話活性度情報を視覚化して表示した例を示す全体俯瞰図声の大きさを視覚的に表現する例を示す図声の大きさを視覚的に表現する別の例を示す図声の高さを視覚的に表現する例を示す図各ユーザの発話状況の解析動作を示すフローチャートグループの会話活性度の解析動作を示すフローチャート本発明の実施の形態３におけるシステムを示す機能ブロック図（ａ）注目度の算出対象位置３０６と算出対象位置３０６を撮影しているユーザの位置関係を示す図（ｂ）１ユーザｕと算出対象位置３０６の位置関係、及び、注目度算出に関するデータを示す図注目度算定部６による算定結果を反映して表示される画面の一例注目度算定部６の動作を示すフローチャートユーザｉ及びｊの動作を示す図その他の変形例（１）において、表示される画面の一例その他の変形例（２）において、表示される画面の一例本発明のシステムを搭載した機器の一例本発明のシステムを搭載した機器の一例

符号の説明

１データセンシング部
２位置関係検出部
３ユーザグルーピング部
４位置関係表示部
５音声情報解析部
６注目度算定部
７位置関係表示部
４０１基準軸設定部
４０２グループ情報解析部
４０３グループ間関係解析部
４０４画面割当比率算定部
４０５画面配置位置算定部
４０６画面仕切算定部
４０７割当表示算定部
４０８画面表示部
５０１時間領域情報解析部
５０２周波数領域情報解析部
５０３会話表示情報算定部
５０４グループ会話活性度算定部
１０００端末装置
２００１ＳＴＢデバイス
２００２ＴＶデバイス

以下本発明の実施の形態について、図面を参照しながら説明する。
１．実施の形態１
図１は、本発明の実施の形態１において、センシングデータから複数ユーザ同士の位置関係を検出し、検出した位置関係に応じて位置関係を表示するシステム構成を示す図である。図１に示すようにこのシステムは、データセンシング部１、位置関係検出部２、ユーザグルーピング部３及び位置関係表示部４から構成される。

データセンシング部１は、ユーザが装着・搭載したセンサ（例えば、カメラ、マイクなど）もしくは環境インフラに設置されたセンサ等により、位置関係を検出するためのデータをセンシングする。位置関係検出部２は、データセンシング部１によりセンシングされたデータに基づき、複数ユーザ同士の位置関係を検出する。ユーザグルーピング部３は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき、前記複数ユーザをグループにグルーピングする。位置関係表示部４は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部３により抽出されたグループに関する情報に基づき、画面上に各グループを配置して表示する。

以下に各構成について詳細に説明する。
１．１位置関係検出部２
データセンシング部１によりセンシングされたデータに基づき、複数ユーザ同士の位置関係を検出し、検出した複数ユーザ同士の位置関係に関する情報を、ユーザグルーピング部３及び位置関係表示部４へ出力する。

ここで、複数ユーザ同士の位置関係に関する情報とは、複数ユーザ同士の相対的な位置に関する情報、もしくは、一人のユーザの位置を基準とした他ユーザの相対的な位置に関する情報のことである。

図２は、位置関係検出部２により検出された複数ユーザ（ａ〜ｉ）同士の位置関係に関する情報に基づいて、複数ユーザ（ａ〜ｉ）同士の位置関係の例を図示したものである。

具体的には、例えば、位置関係検出部２は、図２の例におけるユーザ同士の相対的な位置（ユーザａから見たユーザｂの方向と距離、ユーザｂから見たユーザｃの方向と距離など）を複数ユーザ同士の位置関係に関する情報として抽出してもよい。

また、別の例としては、位置関係検出部２は、図２に示されたユーザのうち１人のユーザ（例えばユーザａ）の位置を原点とし、ユーザａの向いている方向をｘ軸、ｘ軸を９０度回転させた方向をｙ軸とするｘ−ｙ座標平面を仮定し、ｘ−ｙ座標平面上の各ユーザの座標（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）・・・・（ｘｉ，ｙｉ）を算出し、各ユーザを示す識別情報と算出したこれらの座標と、仮定したｘ軸及びｙ軸に関する情報とを、複数ユーザ同士の位置関係に関する情報として出力してもよい。

また、センサの何れかが、室内の決められた位置に設置されている場合、そのセンサを基準とした、各ユーザの位置（例えばセンサからの距離と方向）を算出し、各ユーザを示す識別情報と算出した位置とを、複数ユーザ同士の位置関係に関する情報として出力してもよい。

また、各ユーザの装着しているセンサが、ＧＰＳ信号受信機能を搭載していれば、各ユーザの存在する位置の緯度経度を算出し、算出した緯度経度を前記複数ユーザ同士の位置関係に関する情報として出力してもよい。
１．２ユーザグルーピング部３
図３は、位置関係検出部２により図２に示すような複数ユーザ同士の位置関係に関する情報が検出された場合に、ユーザグルーピング部３がその情報を入力として算出したグルーピング結果の例を示す図である。点線で囲われたユーザ郡が１つのグループＧ（ＧαとＧβ）を表している。ここで、前記複数ユーザのグルーピングは、前記位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき、前記ユーザのクラスタリング等の処理をすることで算出される。例えば、対象ｘ１とｘ２の間の距離をＤ［ｘ１，ｘ２］（例えば、ユーザｕ１とユーザｕ２の間の距離はＤ［ｘ１，ｘ２］、クラスタＣ１とクラスタＣ２の間の距離はＤ［Ｃ１，Ｃ２］）として、以下（１）〜（３）のような階層的クラスタリングによる処理により、各グループを抽出する。

（１）まず、１人のユーザだけを含むＮ個（図３の例では、９個）のクラスタＣがある初期状態を作る。

（２）この状態から始めて、クラスタ間の距離Ｄ［Ｃ１，Ｃ２］を計算し、最もこの距離の近い２つのクラスタを逐次的に併合する。

（３）クラスタ間の距離Ｄ［Ｃ１，Ｃ２］が所定値（もしくは、対象となる複数ユーザ間の距離Ｄ［ｕ１，ｕ２］の平均等に対応して設定される値、もしくは、対象となる複数ユーザ全員で占める総サイズに対応して設定される値、等々）以上になった時点で、上記（２）の処理を終了し、その時点での最終的なクラスタＣをグループＧ（図３の例では、ＧαとＧβ）とする。

ここで、クラスタ間の距離Ｄ［Ｃ１，Ｃ２］の算出には、下記の式１を用いる。

（ｎ１はクラスタＣ１に属するユーザ数、ｎ２はクラスタＣ２に属するユーザ数）
尚、グルーピング手法は、この方法に限らない。

続いて、ユーザグルーピング部３は、抽出したグループに関する情報、具体例としては、各グループに対応する識別情報、各グループに属するユーザの識別情報（例えば、Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ}、Ｇβ＝{ｆ，ｇ，ｈ，ｉ}といったデータ）を位置関係表示部４へ出力する。
１．３位置関係表示部４
図４は、位置関係表示部４の内部構成を示す図である。位置関係表示部４は、基準軸設定部４０１、グループ情報解析部４０２、グループ間関係解析部４０３、画面割当比率算定部４０４、画面配置位置算定部４０５、画面仕切算定部４０６、割当表示算定部４０７、画面表示部４０８から構成される。以下に、位置関係表示部４内の各構成にて為される処理について、図４及び図５を用いて説明する。

（１）基準軸設定部４０１
基準軸設定部４０１は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき、位置付けを規定するための軸を設定する。例えば図５に示すように、平面上における位置付けを規定するためのＸ軸Ｙ軸を設定する。

例えば、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報が、緯度経度と対応付けられている状態等、地図上にマッピングされた状態であった場合、東方向をＸ軸、北方向をＹ軸等といったように軸を設定してもよい。この場合、各ユーザの緯度経度をＸ−Ｙ座標平面上の座標に変換する変換行列、又は、変換式生成する。

また、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報が、室内にマッピングされた状態（例えば室内の既知の位置を基準とした各ユーザの位置）であった場合、基準軸設定部４０１は、Ｘ軸Ｙ軸をその室内における位置を規定する軸に適合する形で設定してもよい（例えば、直交する２面の壁の交点を原点とし、２面の壁及び床面に並行な２軸をＸ軸、Ｙ軸とする。）。この場合、基準軸設定部４０１は、位置関係検出部２により検出された各ユーザの位置を、Ｘ−Ｙ座標系に変換する変換行列、又は、変換式を生成する。

また、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報が、以上のように地図情報や室内位置情報といった位置測位の基準となる情報とマッピングされておらず、複数ユーザ同士の位置関係だけが検出されている場合は、平面上における位置付けを規定するためのＸ軸Ｙ軸を任意に設定するとしてもよい。例えば、上記の１．１において例示したように、１ユーザを原点とするｘ−ｙ座標平面を仮定し、各ユーザの位置をｘ−ｙ座標系で表した場合、仮定したｘ軸及びｙ軸をそのままＸ軸及びＹ軸としてもよいし、ｘ軸及びｙ軸に並行にＸ軸及びＹ軸を設定しても良い。この場合も、各ユーザの位置を新たに設定したＸ−Ｙ座標系に変換する変換行列、又は、変換式を生成する。

続いて、基準軸設定部４０１は、以上のようにして生成した変換行列又は変換式を出力する。

（２）グループ情報解析部４０２
グループ情報解析部４０２は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報と、ユーザグルーピング部３により抽出されたグループに関する情報と、基準軸設定部４０１により生成された変換行列又は変換式に基づき、各グループに関する情報を解析する。

以下、複数ユーザ同士の位置関係に関する情報は、一例として、１ユーザを原点として仮定されたｘ−ｙ座標系における各ユーザの座標と各ユーザを示す識別情報とする（具体的には、ａ（ｘａ，ｙａ）、ｂ（ｘｂ，ｙｂ）・・・）。また、グループに関する情報は、一例として、各グループの識別子とそのグループに属するユーザの識別情報であるとする（具体的にはＧα＝{ａ，ｂ，ｃ，ｄ，ｅ}、Ｇβ＝{ｆ，ｇ，ｈ，ｉ}であるとする）。

上記の解析の一例として、先ず、グループ情報解析部４０２は、各ユーザの位置を示す座標を、基準軸設定部４０１により生成された変換行列（又は変換式）を用いて、Ｘ−Ｙ座標系の座標に変換する。次に、グループ情報解析部４０２は、基準軸設定部４０１により設定されたＸ−Ｙ座標系において、各グループＧ（図５の例では、ＧαとＧβ）に属するユーザｕの位置座標から各グループＧの重心ｃ（図５の例では、ｃαとｃβ）の座標を算出する。更に、各グループにおいて、重心ｃを中心としてグループに属する全てのユーザｕの座標位置を包含する最小円Ｃ（図５の例では、ＣαとＣβ）の半径ｒ（図５の例では、ｒαとｒβ）を、下記の式２を用いて算出する。

また、グループ情報解析部４０２は、各グループＧに属するユーザｕの数を計数する。

（３）グループ間関係解析部４０３
グループ間関係解析部４０３は、グループ情報解析部４０２により解析された各グループに関する情報（図５の例では、ｃαとｃβ、ｒαとｒβ、各グループのユーザ数など）に基づき、グループ間の関係に関する情報を解析する。

例えば、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２（図５の例では、Ｌαβ）の傾きΘ１２（図５の例では、Θαβ）と線Ｌ１２の垂線Ｐ１２（図５の例では、Ｐαβ）の傾きΦ１２（図５の例では、Φαβ）を算出する。

また、上記に限らず、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２の長さなどその他のデータを解析しても良い。

（４）画面割当比率算定部４０４
画面割当比率算定部４０４は、グループ情報解析部４０２により解析された各グループに関する情報（図５の例では、ｃαとｃβ、ｒαとｒβ、各グループのユーザ数など）に基づき、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループに割り当てる画面領域の面積比率を算定する。例えば、画面に表示する際の各グループＧに割り当てる領域の面積比率が、各グループＧでの重心ｃを中心として属するユーザｕの座標位置を包含する最小円Ｃ（図５の例では、ＣαとＣβ）の半径ｒ（図５の例では、ｒαとｒβ）の比率（図５の例では、ｒα：ｒβ）、または面積の比率となるように設定する。もしくは、各グループＧに属するユーザｕの数の比率（図５の例では、５：４）となるように設定しても良い。

（５）画面配置位置算定部４０５
画面配置位置算定部４０５は、グループ間関係解析部４０３により解析されたグループ間の関係に関する情報に基づき、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループの画面配置位置を算定する。例えば、画面に表示する際のグループＧ１とＧ２の配置位置関係が、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２（図５の例では、Ｌαβ）の傾きΘ１２（図５の例では、Θαβ）が−４５°〜４５°または１３５°〜２２５°の場合は左右に並ぶように設定し、−１３５°〜−４５°または４５°〜１３５°の場合は上下に並ぶように設定する。図５の例では、０＜Θαβ＜４５°であるので、画面配置位置算定部４０５は、画面上においてＧαが左でＧβが右に並ぶように設定する。

（６）画面仕切算定部４０６
画面仕切算定部４０６は、グループ間関係解析部４０３により解析されたグループ間の関係に関する情報と画面割当比率算定部４０４により算定された各グループに割り当てる画面領域の面積比率と画面配置位置算定部４０５により算定された各グループの画面配置位置に基づき、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループ間を仕切る仕切り線（以下、画面仕切と呼称）の表示位置や太さなどを決定する。

例えば、画面仕切算定部４０６は、画面に表示する際のグループＧ１とＧ２間の画面仕切の傾きを、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２（図５の例では、Ｌαβ）の垂線Ｐ１２（図５の例では、Ｐαβ）の傾きΦ１２（図５の例では、Φαβ）とする。また、画面に表示する際の、画面仕切により区分けされる領域が、各グループに割り当てる画面領域の面積比率が画面割当比率算定部４０４により算定された面積比率一致し、かつ、各グループの画面配置位置が画面配置位置算定部４０５により算定された配置位置となるように画面仕切の表示位置を算出する。

また、画面仕切算定部４０６は、グループ間の距離に関する情報（図５の例では、グループＧαとＧβの中心ｃαとｃβの間を結ぶ線分Ｌαβの長さ）を画面仕切の太さ等に反映してもよい。

（７）割当表示算定部４０７
割当表示算定部４０７は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報と基準軸設定部４０１により設定されたＸ軸Ｙ軸と画面割当比率算定部４０４により算定された各グループに割り当てる画面領域の面積比率と画面配置位置算定部４０５により算定された各グループの画面配置位置と画面仕切算定部４０６により算定された画面仕切に関する情報を取得する。

これらの情報を取得すると割当表示算定部４０７は、ユーザ同士の位置関係を画面に表示する際、各グループに割り当てられた画面領域内に収まるように各グループの表示サイズを算定する。

例えば、各グループＧの重心ｃを中心として属するユーザｕの座標位置を包含する最小円Ｃ（図５の例では、ＣαとＣβ）がある程度のゆとりを持って、各グループに割り当てられた画面領域内に収まるように、画面上における各グループのユーザの表示位置及び表示サイズを算出する。このとき、同一グループに属するユーザの相対的位置関係が保持されるように、各ユーザの表示位置を算出する。

（８）画面表示部４０８
画面表示部４０８は、液晶画面などの表示機構と、スピーカとを含んで構成される。

画面表示部４０８は、割当表示算定部４０７により算定された画面表示方法に基づき、各グループに属するユーザ及びグループ間の画面仕切を表示する。また、図示していないが、位置関係表示部４は、タッチパネル、各種の入力キーなど操作者の操作を受け付ける入力部を備えている。画面表示部４０８は、各ユーザが装着・搭載したセンサがセンシングしたデータ（画像、音声等）をリンケージしておき、画面表示部４０８に、グループごとに、そのグループに属するユーザの位置が表示されている状態で、入力部を介して、表示された各ユーザ位置がポイントされると各センシングデータを再生したりポップアップしたりするような視聴ＵＩを構築する。

図６は、ユーザグルーピング部３と位置関係表示部４により図５に示すような処理が為された場合に、画面表示部４０８が表示する画面の一例を示す図である。例えば、各ユーザがカメラやマイク等のセンサを装着・搭載していた場合、表示された位置関係上の各ユーザ位置をポイントすれば、ポイントしたユーザが装着・搭載したセンサがセンシングしたデータ（カメラが撮影した写真や動画、マイクが収音した音声等）がメインビューやポップアップ画面等に表示されたり再生されたりする。

図７は、図６に説明のための補足線等を付け足した図である。ここで、図７に示す画面上における位置付けを規定するためのｘ軸ｙ軸は、それぞれ図５に示す平面上における位置付けを規定するためのＸ軸Ｙ軸と同方向としている。図７に示すように、ｘ軸ｙ軸に基づく画面仕切ｐαβは、２つの画面領域ＲαとＲβの面積比率が、画面割当比率算定部４０４により算定された面積比率に等しくなり、かつ、２つの画面領域ＲαとＲβの位置が、画面配置位置算定部４０５により算定された各グループの画面配置位置になるように表示されている。また、画面仕切ｐαβのｘ軸ｙ軸に基づく傾きφαβは、画面仕切算定部４０６により、図５に示す線ＰαβのＸ軸Ｙ軸に基づく傾きΦαβと同値である。更に、画面領域Ｒα、Ｒβに、それぞれ対応するグループＧα、Ｇβに属するユーザを含む最小円（Ｃα、Ｃβ）が、ある程度のゆとりを持って収まるようサイズで表示されている。

尚、画面割当比率算定部４０４により算定される各グループに割り当てる画面領域の面積比率が、各グループＧに属するユーザｕ数の比率に基づき算定された場合等に、各グループで、画面上にユーザ同士の位置関係を表示する際の実際のサイズに対する縮尺がグループ毎に異なっていてもよい。その場合には、画面表示部４０８は、図８の点線で示すように、各画面領域の背景にメッシュ等を表示し、グループ間の縮尺に際する比率関係が把握できるようにしてもよい。ここで、各グループにおけるメッシュにより構成される１ブロックは、実際のユーザ同士の位置関係のサイズにおいて同サイズとなるようにしている。また、図８に示すように、各ユーザの位置を示す形状のサイズにより、グループ間の縮尺に際する比率関係が把握できるようにしてもよい。ここで、各グループにおける１ユーザの位置を示す形状のサイズは、実際のユーザ同士の位置関係のサイズにおいて同サイズとなるようにしている。

グループ毎の縮尺の違いを視認できる表示であれば、図８に示すようなメッシュ状の点線に限らない。例えば、画面上に、縮尺を示すメモリを表示しても良いし、各領域内に実際のグループサイズに対する縮小率を数値で表示しても良い。
１．４システムの動作
以下に、図１１及び図１２に示すフローチャートを用いて、本実施の形態のシステム全体の一連の動作について説明する。なお、ここでは、一例として、既知の位置に設置されているセンサはなく、各ユーザが装着しているセンサの検出したデータを基に画面表示を行う場合について説明する。

先ず、データセンシング部１は、各ユーザの装着しているセンサからデータを収集する（ステップＳ１０１）。収集したデータを位置関係検出部２へ出力する。

位置関係検出部２は、受け取ったデータを基に各ユーザの相対位置を検出する（ステップＳ１０２）。検出した相対位置と、各ユーザを示す識別情報とを、対応付けて、ユーザグルーピング部３と位置関係表示部４へ出力する。ここでは、一例として、ユーザａの位置を原点とした座標平面上における各ユーザの位置、ａ（ｘａ，ｙａ）、ｂ（ｘｂ，ｙｂ）、ｃ（ｘｃ，ｙｃ）・・・を出力する。

ユーザグルーピング部３は、位置関係検出部２から受け取った各ユーザの相対位置を基に、ユーザをグルーピングする。続いて、各グループを示す識別子と、そのグループに属するユーザを示す識別情報とを位置関係表示部４へ出力する（ステップＳ１０３）。一例として、各ユーザが図３に示す位置に存在しており、ユーザグルーピング部３は、これらのユーザをグループαとグループβにグルーピングし、グループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を出力する。

位置関係表示部４内の基準軸設定部４０１は、位置関係検出部２によって検出された各ユーザの相対位置を受け取る。これを受け取ると、基準軸設定部４０１は、任意にＸ軸及びＹ軸を決定し、受け取った相対位置を決定したＸＹ座標軸により形成されるＸ−Ｙ平面状の座標に変換するための変換行列（又は変換式）を算出する（ステップＳ１０４）。次に、基準軸設定部４０１は、算出した変換行列をグループ情報解析部４０２と割当表示算定部４０７へ出力する。

グループ情報解析部４０２は、位置関係検出部２から、各ユーザの相対位置ａ（ｘａ，ｙａ）、ｂ（ｘｂ，ｙｂ）、ｃ（ｘｃ，ｙｃ）・・・を受け取り、ユーザグルーピング部３からグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を受け取り、基準軸設定部４０１から変換行列を受け取る。

これらを受け取ると、グループ情報解析部４０２は、先ず、変換行列を用いて、各ユーザの相対位置を、Ｘ−Ｙ座標系の座標に変換する（ステップＳ１０６）。次に、グループ情報解析部４０２は、変換後の各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・と、受け取ったグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}とを基に、ＸＹ座標系における、各グループの重心ｃαとｃβとを算出する（ステップＳ１０７）。また、グループ情報解析部４０２は、各グループについて、重心を中心とし、そのグループに属するユーザ全てを含む最小円の半径（ｒα及びｒβ）を算出する（ステップＳ１０９）。また、グループ情報解析部４０２は、各グループに属するユーザ数を計数する（ステップＳ１１１）。続いて、グループ情報解析部４０２は、各ユーザの識別情報と変換後の各ユーザの座標（具体的には、ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・）、算出した重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、及び受け取ったグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を、グループ間関係解析部４０３及び画面割当比率算定部４０４へ出力する。

グループ間関係解析部４０３は、グループ情報解析部４０２から受け取った各グループの重心ｃα、ｃβの座標を基に、２つの重心を結んだ線分Ｌαβの傾き、線分Ｌαβの垂線の傾き及び線分Ｌαβの長さを算出する（ステップＳ１１２）。

続いて、グループ間関係解析部４０３は、算出した線分Ｌαβの傾き、線分Ｌαβの垂線の傾きを画面配置位置算定部４０５へ、線分Ｌαβの長さを画面仕切算定部４０６及び出力する。

画面割当比率算定部４０４は、グループ情報解析部４０２から、各ユーザの識別情報と各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・、重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、及びグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を受け取る。

これらを受け取ると、画面割当比率算定部４０４は、画面上において各グループに割り当てられる表示領域の面積比率（Ｇα：Ｇβ）を決定し（ステップＳ１１６）、決定した面積比率を画面仕切算定部４０６へ出力する。また、受け取った各ユーザの識別情報と各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・、重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、グループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}と、算出した面積比率Ｇα：Ｇβを割当表示算定部４０７へ出力する。

画面配置位置算定部４０５は、グループ間関係解析部４０３から、線分Ｌαβの傾き、線分Ｌαβの垂線の傾きを取得する。取得した傾きから、画面上における２つのグループの配置を算定する（ステップＳ１１７）。算定した配置を示す情報として、例えば、１ビット長のフラグを、画面仕切算定部４０６及び割当表示算定部４０７へ出力する。例えば、フラグ「０」は、２つのグループを横並びに表示することを示し、フラグ「１」は、２つのグループを上下に表示することを示す。

画面仕切算定部４０６は、グループ間関係解析部４０３から、線分Ｌαβの長さ及び直線Ｐαβの傾きを受け取り、画面割当比率算定部４０４から面積比率Ｇα：Ｇβを受け取り、画面配置位置算定部４０５から配置を示す情報を受け取る。これらを受け取ると、画面仕切算定部４０６は、受け取った情報を基に、画面上における画面仕切の表示位置、太さ、傾きを決定する（ステップＳ１１８）。決定した画面仕切の表示位置、太さ、傾きを割当表示算定部４０７へ出力する。

割当表示算定部４０７は、画面割当比率算定部４０４から、各ユーザの識別情報と各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・、重心ｃαとｃβの座標、半径ｒα、ｒβ、グループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}と、各グループのユーザ数を受け取り、画面仕切算定部４０６から、画面上における画面仕切の表示位置、太さ傾きを受け取り、画面配置位置算定部４０５から、各グループの配置を示すフラグを受け取る。なお、ここでは、画面割当比率算定部４０４を介して、グループ情報解析部４０２により算出されたＸＹ座標系における各ユーザの座標及び各グループに属するユーザ数を取得しているが、位置関係検出部２から各ユーザの相対位置を取得し、基準軸設定部４０１から変換行列を取得し、割当表示算定部４０７自身がこれらのデータを算出しても良い。

これらのデータを受け取ると、割当表示算定部４０７は、画面上において画面仕切により仕切られる２つの領域それぞれに、充分収まるように、各グループの表示サイズと表示位置（具体的には、各グループを構成するユーザの画面上における表示位置）を算出する。また、画面仕切の表示位置、太さ、傾きを基に画面上における場面仕切の表示領域を算出する。続いて、算出した各ユーザの画面上における表示位置と画面仕切の表示領域を画面表示部４０８へ出力する（ステップＳ１１９）。

画面表示部４０８は、割当表示算定部４０７から各ユーザの画面上における表示位置と画面仕切の表示領域を受け取る。受け取ったデータを基に、画面仕切により仕切られた２つの領域にそれぞれグループＧαを構成するユーザ群とグループβを構成するユーザ群とを表示する画面を生成し、生成した画面をディスプレイに表示する（ステップＳ１２１）。
１．５実施の形態１の補足及び変形例
（１）上記（図２〜３、図５〜８で示す例）においては、画面配置位置算定部４０５により算定された各グループの画面配置位置関係が左右（Θαβが−４５°〜４５°または１３５°〜２２５°）になるような例にて説明したが、例えば図１１に示すように、画面配置位置算定部４０５により算定された各グループの画面配置位置関係が上下（Θαβが−１３５°〜−４５°または４５°〜１３５°）となるような場合には、位置関係表示部４により表示される表示形態の例は図１２に示すようになる（実際には表示されないが、説明のための補足線等も明示している）。ここで、図１２に示す画面上における位置付けを規定するためのｘ軸ｙ軸は、それぞれ図１１に示す平面上における位置付けを規定するためのＸ軸Ｙ軸と同方向としている。図１２に示す画面領域ＲαとＲβは、ｘ軸ｙ軸に基づいて、画面仕切ｐαβにより、画面割当比率算定部４０４により算定された各グループに割り当てる画面領域サイズの比率と画面配置位置算定部４０５により算定された各グループの画面配置位置になるように設定される。また、画面仕切ｐαβのｘ軸ｙ軸に基づく傾きφαβは、画面仕切算定部４０６により、図１１に示す線ＰαβのＸ軸Ｙ軸に基づく傾きΦαβと同値となるように設定される。更に、画面領域Ｒα、Ｒβに、それぞれ対応するグループＧα、Ｇβに属するユーザ同士の位置関係に関する情報（Ｃα、Ｃβ）が、ある程度のゆとりを持って収まるようなサイズで表示される。

（２）上記においては、ユーザグルーピング部３により抽出されたグループが２つの場合の例を用いて説明したが、ユーザグルーピング部３により抽出されたグループが３つ以上の場合においても上記処理は適応できる。例えば図１３に示すような、画面配置位置算定部４０５により算定された各グループの画面配置位置関係が、グループＧαとＧβについてはＧαが下でＧβが上、グループＧβとＧγについてはＧβが右でＧγが左、グループＧγとＧαについてはＧγが上でＧαが下となるような場合には、位置関係表示部４により表示される表示形態の例は図１４に示すようになる（実際には表示されないが、説明のための補足線等も明示している）。ここで、図１４に示す画面上における位置付けを規定するためのｘ軸ｙ軸は、それぞれ１１に示す平面上における位置付けを規定するためのＸ軸Ｙ軸と同方向としている。図１４に示す画面領域ＲαとＲβとＲγは、ｘ軸ｙ軸に基づいて、画面仕切ｐαβとｐβγとｐγαにより、画面割当比率算定部４０４により算定された各グループに割り当てる画面領域サイズの比率と画面配置位置算定部４０５により算定された各グループの画面配置位置になるように設定される。また、画面仕切ｐαβ、ｐβγ、ｐγαのｘ軸ｙ軸に基づく傾きφαβ、φβγ、φγαはそれぞれ、画面仕切算定部４０６により、図１３に示す線Ｐαβ、Ｐβγ、ＰγαのＸ軸Ｙ軸に基づく傾きΦαβ、Φβγ、Φγαと同値となるように設定される。更に、画面領域Ｒα、Ｒβ、Ｒγに、それぞれ対応するグループＧα、Ｇβ、Ｇγに属するユーザ同士の位置関係に関する情報（Ｃα、Ｃβ、Ｃγ）が、ある程度のゆとりを持って収まるようサイズで表示される。

（３）上記においては、ユーザグルーピング部３により為される複数ユーザのグルーピングは、複数ユーザ同士の位置関係だけを活用した例を用いて説明したが、複数ユーザ同士の向き関係や会話情報（会話のタイミング、会話相手の認識）等も活用して複数ユーザのグルーピングをしてもよい。

例えば、図１５は、ユーザａ〜ｉの位置関係と、それぞれのユーザの体の向きを示している。図中の矢印が、各ユーザの向きを示す。このような例では、複数ユーザ同士の向き関係や会話情報（会話のタイミング、会話相手の認識）等も活用すれば、複数ユーザ同士の位置関係だけからでは抽出できないグループを抽出できる。図１６は、図１５に示す複数のユーザを、位置関係のみならず各ユーザの向きなどを基に抽出された、コミュニケーション等のグループＧαとＧβを示している。グルーピングの後、図１６に示すように、位置関係表示部４により上記と同様の処理を施すことで、図１７に示すような表示形態で複数ユーザ同士の位置関係が画面に表示される（実際には表示されないが、説明のための補足線等も明示している）。

この場合、位置関係検出部２は、各ユーザの位置関係に関する情報に加えて、各ユーザの向きを示す情報をユーザグルーピング部３へ出力する。

ユーザグルーピング部３は、受け取った各ユーザ位置関係の情報の向きに関する情報を基に、グルーピングを行う。具体的には、上記のクラスタリングの条件として、距離が所定値以下であることに加えて、ユーザの位置を起点としユーザの向きの方向へ引いた線分が所定の閾値未満の長さで他のユーザの線分と交差することを加える。

（４）上記においては、ユーザグルーピング部３で活用された情報を位置関係表示部４により表示する例を説明したが、必ずしもユーザグルーピング部３で活用される情報全てを表示する必要はなく、また、グルーピングには用いられていない情報、例えばユーザの向き関係や発話情報等を可視化して表示するとしてもよい。

（５）上記においては、一時的な複数ユーザ同士の位置関係を表示する例を用いて説明したが、データセンシング部１により位置関係を検出するためのデータを連続的にセンシングし、位置関係検出部２により、データセンシング部１により連続的にセンシングされたデータに基づき複数ユーザ同士の位置関係を連続的に検出し、ユーザグルーピング部３により、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき前記複数ユーザをグループに逐次的にグルーピングし、位置関係表示部４により、位置関係検出部２により連続的に検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部３により逐次的に抽出されたグループに関する情報に基づき画面上に各グループを配置して表示する、といったように、連続的な複数ユーザ同士の位置関係を動的に表示するとしてもよい。

（６）上記においては、複数ユーザ同士の位置関係を表示する例を用いて説明したが、位置関係以外の複数ユーザ同士の関係を表示するとしてもよい。例えば、複数ユーザ同士の親密関係として、ユーザ間のメールの交換数や頻度、会議の同席数や頻度、出会った回数や頻度等をＸ軸Ｙ軸として用い、その数や頻度が多い程ユーザ間の距離が近くなるようにマッピングする等により、その関係を図５のような複数ユーザ同士の位置関係と同様に表すことができる。以下、同様の処理を施すことで、図６に示すような表示形態で複数ユーザ同士の親密関係を表示することが可能となる。他の複数ユーザ同士の関係についても同様である。
２．実施の形態２
図１８は、本発明の実施の形態２のシステム構成を示す。実施の形態２に係るシステムは、実施の形態１において説明した各構成要素に加えて音声情報解析部を含む。また、各ユーザの装着しているセンサには、マイクが含まれる。装着者の音声のみをできるだけ確実に検出するため、各ユーザは、例えば指向性マイクロホンを口元に向けて装着している。また、装着者の音声以外の雑音を抑制するなどの信号処理機能を備えていても良い。

本実施の形態では、実施の形態１と同様にして、センシングデータから複数ユーザ同士の位置関係を検出し、検出した位置関係に応じて位置関係を表示するとともに、ユーザの発話状況を視覚的に表示する。位置関係検出部２及びユーザグルーピング部３は、図１に示した本発明の実施の形態１と同様の構成であるので説明を省略する。データセンシング部１は、ユーザが装着・搭載したセンサもしくは環境インフラに設置されたセンサ等により、位置関係を検出するためのデータおよび装着者の発声する音声情報をセンシングする。音声情報解析部５は、各ユーザの発声する音声情報を解析し、さらにユーザグルーピング部３により抽出された各グループの会話状況の活性度を算出する。

位置関係表示部４０は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部３により抽出されたグループに関する情報に基づき、画面上に各グループを配置して表示すると同時に、音声情報解析部５により算出されたユーザの発話状況やグループの会話状況を視覚的に表示する。

以下、実施の形態２の特徴部分である音声情報解析部５を中心に、詳細に説明する。
２．１音声情報解析部５
図１９は、音声情報解析部５の内部構成を示す図である。図１９に示すように、音声情報解析部５は、時間領域情報解析部５０１、周波数領域情報解析部５０２、会話表示情報算定部５０３、グループ会話活性度算定部５０４で構成される。以下に各構成要素について説明する。

データセンシング部１から得た各ユーザ音声情報は、時間領域情報解析部５０１と周波数領域情報解析部５０２で、ユーザの音声の物理的特徴量を求める。一般的に音の三要素としては、大きさ、高さ、音色がよく知られている。

（１）時間領域情報解析部５０１
時間領域情報解析部５０１は、各ユーザについて、そのユーザが発声する音声の大きさを表現するパワー情報を逐次算出すると共に、パワー情報の時系列的な変化から、発話の始端および終端の検知も同時に行う。算出したパワー情報と、発話の始端及び終端を示す情報を会話表示情報算定部５０３へ出力する。

また、時間領域情報解析部５０１は、定期的に、各ユーザの単位時間における発声数である発話頻度Ｎｃと、単位時間あたりの発話時間率Ｒｓを求め、さらに各ユーザの発話時間率の標準偏差Ｓｒｓを算出する。算出した発話頻度Ｎｃ、発話時間率Ｒｓ、発話時間率の標準偏差Ｓｒｓをグループ会話活性度算定部５０４へ出力する。

（２）周波数領域情報解析部５０２
周波数領域情報解析部５０２は、ユーザ毎に発話音声の声の高さを表現するピッチ周波数と、発話音声の音色と相関のあるスペクトル重心とを定期的に算出する。

ピッチ周波数は時間と共に変化して、単語のアクセントや句や節に抑揚を付与する。また性別や年齢により値の平均値が異なるため、韻律的な情報を表現していると考えられる。ピッチ周波数を算出する方法としては、周波数の調波性から推定するケプストラムを用いて算出する方法が考えられる。また、ピッチ周波数を算出する別の方法としては、自己相関関数を用いて波形の周期性から推定するアルゴリズムを使用する方法も考えられる。

一方、スペクトル重心は、音声スペクトルを分析しその調波性周波数成分の中心なる高調波の周波数成分を算出することにより求められる。

次に、周波数領域情報解析部５０２は、算出したピッチ周波数とスペクトル重心とを会話表示情報算定部５０３へ出力する。

また、周波数領域情報解析部５０２は、逐次的に、各ユーザの音声情報を分析することで、音声／歓声・笑い声／無音の判別を行い、単位時間あたりの歓声・笑い声区間の頻度Ｎａを算出する。各ユーザについて算出した歓声・笑い声区間の頻度Ｎａをグループ会話活性度算定部５０４へ出力する。

（３）会話表示情報算定部５０３
会話表示情報算定部５０３は、先に時間領域情報解析部５０１と周波数領域情報解析部５０２で求めた各ユーザの音声の物理的特徴量（パワー情報、発話の始端及び終端を示す情報、ピッチ周波数及びスペクトル重心）をもとに、各ユーザの発話の状態画を面上に視覚的に表示する情報を算定する。

例えば、会話表示情報算定部５０３は、時間領域情報解析部５０１で算出されたパワー情報を用いて、各ユーザの発する音声の大きさと向きを視覚的に示す情報（例えば、ユーザを示す識別情報と、以下に例示する図形を形成する画像データ）を生成する。

図２４は、声の大きさを視覚的に表現する一例を示すもので、図２４（ｉ）の矢印は、ユーザａの向きを示すものであり、図２４（ｉｉ）、（ｉｉｉ）、（ｉｖ）の扇形の図形部分は、ユーザａが発声する声の方向と大きさを表現するものである。図２４において、（ｉ）は無音状態を示している。図２４の（ｉｉ）、（ｉｉｉ）、（ｉｖ）は、発声する音声の大きさを扇形図形のサイズにより示しており、扇形図形が大きいほど、音声が大きい。

図２４の場合、会話表示情報算定部５０３は、時間領域情報解析部５０１で算出されたパワー情報と発話の始端及び終端の検知情報を元に表示する図形を決定する。まず、会話表示情報算定部５０３は、無音区間では図２４（ｉ）のように、扇形図形を表示せずに向きを示す矢印のみの表示するように設定する。そして音声区間の始端から終端迄の間は、会話表示情報算定部５０３は、パワー情報の示す音声の大きさを半径の長さに比例させた扇形図形（図２４の（ｉｉ）、（ｉｉｉ）、（ｉｖ）に示す）を表示するように設定する。その際、会話表示情報算定部５０３は、扇形図形の半径の長さに、最小値と最大値を設定しておき、その間にパワー情報が写像されるようにしておき、むやみに画面表示が大きくなることを防ぐ。

図２５は、声の大きさを視覚的に表現する別の例を示すもので、図２５（ｉ）の矢印は、ユーザａの向きを示す。図２５（ｉｉ）、（ｉｉｉ）、（ｉｖ）の扇形の図形部分は、ユーザが発声する声の方向と大きさを表現するものである。図において（ｉ）は無音状態、（ｉｉ）、（ｉｉｉ）、（ｉｖ）は、発声する音声の大きさを扇形図形の表示色の彩度により示している。表示色の彩度が高いほど、音声が大きいことを示す。

図２５の場合、会話表示情報算定部５０３は、時間領域情報解析部５０１で算出されたパワー情報をの示す音声の大きさと彩度とが比例するように、扇形図形の表示色を設定する。この場合、図２４のように扇形図形のサイズが変化しないため、ユーザが多数存在する様子を表示する際には、省スペース化という点で有利であると考えられる。

なお、ここでは、音声の大きさをパワー情報により示しているが、それ以外に例えば平均振幅値を利用してもよい。

また、別の例として、会話表示情報算定部５０３は、周波数領域情報解析部５０２で算出されたピッチ周波数を用いて、発話音声の高さを表現する情報を生成する。

図２６は、声の高さを視覚的に表現した例を示す。図２６の（ｉ）、（ｉｉ）、（ｉｉｉ）はそれぞれ、ユーザａ、ｂ、ｃの発した音声のピッチ周波数を扇形図形の縞模様の間隔により表現している。ここでは、一例として、縞模様の間隔が狭いほど、ピッチ周波数が大きいことを示している。つまり、３人のユーザのうち、図２６（ｉ）に示すユーザａの音声のピッチ周波数が最も小さく、図２６（ｉｉｉ）に示すユーザｃの音声のピッチ周波数が最も大きい。

音声の音色の情報は、周波数領域情報解析部５０２で算出されたスペクトル重心の情報を用いて表現される。音色情報は、所定の時間長で平均化したスペクトル重心の情報を色相（赤・橙・黄・緑・青・藍・青紫）に写像することで表現する。

以上のようにして、会話表示情報算定部５０３は、各ユーザの発する音声の大きさ、高さ、音色といった物理的特徴量を図形および色に写像して、画面上に視覚的に表示するための画像データに変換する。

会話表示情報算定部５０３は、上記の変換により生成された画像データとその画像データに対応するユーザの識別情報とを位置関係表示部４へ出力する。

また、会話表示情報算定部５０３は、このような変換及び出力を逐次的に行うので、位置関係表示部４は、各ユーザの発話音声の時間的変化を、動的に表示することができる。

（４）グループ会話活性度算定部５０４
グループ会話活性度算定部５０４は、グループに属する各ユーザの音声の物理的特徴量とその時間的変化を鑑みて、会話への参与状況を算出し、グループとしての会話の活性度合いを推定する。

具体的には、グループ会話活性度算定部５０４は、グルーピング部３から各グループの構成情報（例えば、Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ}など）を取得し、時間領域情報解析部５０１により算出された各ユーザの発話頻度Ｎｃと発話時間率Ｒｓ及び標準偏差Ｓｒｓ、周波数領域情報解析部５０２により算出された歓声・笑い声区間の頻度Ｎａを取得する。これらの情報を基に、グループ会話活性度算定部５０４は、グループｍのグループ会話活性度Ａｇ（ｍ）を例えば以下のような評価式で算出する。ｋ０、ｋ１、ｋ２は正の定数とする。また、以下の式において、ＡＶＥ［Ｘ］は、グループｍに属するユーザにおける物理量Ｘを平均化することを示す。

Ａｇ（ｍ）＝ｋ０＊ＡＶＥ［Ｎｃ］＋ｋ１＊（ＡＶＥ［Ｒｓ］−Ｓｒｓ）＋ｋ２＊ＡＶＥ［Ｎａ］
グループ会話活性度算定部５０４は、このように、各ユーザの音声情報を解析して推定した会話活性度Ａｇを、グループの会話の活性度を示す数値として算出することができる。

続いて、グループ会話活性度算定部５０４は、算出したグループ会話活性度Ａｇの値に応じて、グループの会話の活性度合いを可視化して表現するためのデータ、例えば、会話活性度を色、彩度、色の濃度などに写像して生成した色情報と、Ａｇの算出対象となったグループを示す識別子とを対応付けて、位置関係表示部４へ出力する。
２．２位置関係表示部４０
図２０は、位置関係表示部４０の内部構成を示しており、参照符号４０１、４０２、４０３、４０４、４０５、４０６の機能部は、図４に示す各機能部と同様の機能を備えるので、同一の参照符号を付し説明を省略する。

図４に示す位置関係表示部４と図２０に示す位置関係表示部４０の相違点は、割当表示算定部４１７、画面表示部４１８の処理内容である。本実施の形態では、割当表示算定部４１７は、音声情報解析部５の出力である発話状況の情報（各ユーザの発話の物理的情報と、グループの会話活性度情報）が与えられる。具体的には、割当表示算定部４１７は、上述した各ユーザの音声の物理的情報を写像した画像データと、各グループの会話の活性度合いを写像した色情報とそのグループを示す識別子とを受け取る。

割当表示算定部４１７は、実施の形態１の割当表示算定部４０７と同様にして、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報と基準軸設定部４０１により設定されたＸ軸Ｙ軸と画面割当比率算定部４０４により算定された各グループに割り当てる画面領域サイズの比率と画面配置位置算定部４０５により算定された各グループの画面配置位置と画面仕切算定部４０６により算定された画面仕切に関する情報を取得し、これらの情報を基に、各グループに割り当てられた画面領域内おける、各グループに属するユーザ同士の位置関係を表示するサイズを算定する。

例えば、具体的には、各グループＧの重心ｃを中心として属するユーザｕの座標位置を包含する最小円Ｃ（図５の例では、ＣαとＣβ）がある程度のゆとりを持ってそのグループに割り当てられた領域に収まるように、各グループに属するユーザの表示位置と表示サイズ、各ユーザの発話状況示す画像データの表示位置及び方向（ユーザの表示位置を基点とし、体の向きと同じ方向）を算定する。

画面表示部４０８は、割当表示算定部４０７により算定された画面表示方法に基づき、複数ユーザ同士の位置関係に関する情報と、各ユーザの発話状況を視覚化する画像とを表示する。また、表示された複数ユーザ同士の位置関係において、各ユーザが装着・搭載したセンサがセンシングしたデータ（画像、音声等）をリンケージしておき、表示された位置関係上の各ユーザ位置をポイントした場合に各センシングデータを再生したりポップアップしたりするような視聴ＵＩを構築する。

図２１は、ユーザグルーピング部３と位置関係表示部４により図５に示すような処理が為された場合に、画面に表示される表示形態の例を示す図であり、ユーザａ〜ｌには各々の向かっている向き情報を矢印で付加している。この段階では各ユーザの発話状況の視覚化した情報を反映していない。

図２２は、図２５に示した声の大きさを表現する様式で扇形図形を付加した例である。この扇形図形に、各ユーザの発話状況を示す物理的情報である声の大きさ、高さ、音色情報が付与される。この例において、グループＧαでは、ユーザｂが自分の属するグループのユーザ以外に発声し、ユーザｃとユーザｄが対面して会話し、ユーザａ、ｅは自分の属するグループ以外の方向を見てしばらく発話していない状況を視覚的に表現している。一方、グループＧβでは、４人のユーザｆ、ｇ、ｈ、Ｉがお互いに対面して会話している状況を表現している。また、グループＧγは、３人のユーザがそれぞれ、自分の属するグループ以外の方向を向いて発話していない状況である。図２２の表示では、３グループの各ユーザの発話状況と向き合う状況は視覚的に把握できる。

図２３は、各グループの位置関係を俯瞰する形態で表示を行う例である。この場合、割当表示算定部４１７は、位置関係検出部、基準軸設定部及びユーザグルーピング部から出力される情報に従って、画面上に各ユーザの表示位置を算出し、画面割当比率算定部、画面仕切算定部及び画面配置位置算定部から出力される情報は加味しない。

この図では、３つのグループの相対的な位置関係は、把握できるが、各ユーザの表示サイズが小さいため、これに各ユーザの発話状況の物理的情報を視覚化する図形を入れると、図形が小さすぎるか重なり合うかになって、十分な視覚化が実現できない。そのため、この表示形態の場合には、割当表示算定部４１７は、各ユーザの発話状況示す画像の表示位置及び方向に代えて、各グループの会話の活性度合いを写像した色情報を出力する。

画面表示部４１８は、各グループに対応する色情報を基に各グループの会話活性度を比較表示する。図２３では、画面表示部４１８は、グループ毎に最小円Ｃの範囲に、色情報の示す色を表示することで、各グループの会話活性度を彩度あるいは色相などにより視覚化している。

また、画面表示部４１８は、操作者の操作により、図２２に示す画面と図２３に示す画面とを切り替えて表示しても良い。
２．３音声情報解析部５の動作
図２７及び図２８は、音声情報解析部５の動作を示すフローチャートである。以下に図２７及び図２８を用いて、音声情報解析部５の動作について説明する。
なお、説明の便宜上、図２７に示す動作と図２８に示す動作とを個別の図面に記載したが、これらの２つ動作は、順次実行されても良いし、同時並行的に実行されるとしてもよい。また、操作者による選択操作を契機として、何れか一方の動作を行ってもよい。

（１）各ユーザの発話状況の解析
図２７は、音声情報解析部５による各ユーザの発話状況の解析の動作を示している。ここでは、１ユーザの発話状況の解析について図示しているが、音声情報解析部５は、同様の動作を、全てのユーザについて逐次的に繰返し実行する。もしくは、全てのユーザについて、同時並行に動作する。

時間領域情報解析部５０１は、データセンシング部１から取得した音声信号からパワー情報を算出する（ステップＳ２０１）。次に、時間領域情報解析部５０１はパワー情報の時系列での変化度合いに基づき、ユーザによる発話の始端及び終端を検出する（ステップＳ２０２）。

会話表示情報算定部５０３は、発話の始端から終端時刻までにおけるパワー値を、音声の大きさを示す尺度（例えば、扇形図形の半径の長さ、彩度）に写像変換する（ステップＳ２０４）。

一方、周波数領域情報解析部５０２は、データセンシング部１から取得した音声信号をＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）により分析し（ステップＳ２１１）、さらに、ケプストラム分析する（ステップＳ２１２）。次に、分析結果から、ピッチ周波数を算出し（ステップＳ２１３）、スペクトル重心を算出する（ステップＳ２１４）。

会話表示情報算定部５０３は、ピッチ周波数を、始端から終端時刻までにおける声の高さを示す尺度（例えば、縞模様の間隔）に写像変換する（ステップＳ２１６）。また、スペクトル重心を、始端から終端時刻までにおける音声の音色を示す尺度（例えば色相など）に写像変換する。

続いて、会話表示情報算定部５０３は、写像変換後の音量、声の高さ、音色を示すデータを位置関係表示部４０へ出力する（ステップＳ２１８）。

（２）グループｍの会話活性度の解析
図２８は、音声情報解析部５による、グループｍの会話活性度の解析に係る動作を示している。ここでは、１個のグループに関する動作のみを図示しているが、音声情報解析部５は、同様の動作を、全てのグループについて、定期的に実行する。

ステップＳ２２０〜ステップＳ２３３の間、時間領域情報解析部５０１及び周波数領域情報解析部５０２は、グループｍに属する全てのユーザについて、ステップＳ２２１〜ステップＳ２３２の処理を繰り返す。ここでは、説明の便宜上、各ユーザについて繰り返すように記載しているが、全てのユーザについて、並行してステップＳ２２１〜ステップＳ２３２の処理を行うとしてもよい。

先ず、時間領域情報解析部５０１は、データセンシング部１から取得した音声データからパワー情報を逐次的に算出する（ステップＳ２２１）。続いてパワー情報の時系列的な変化度合いに基づき、ユーザによる発話の開始及び終端を検出する（ステップＳ２２２）。

次に、時間領域情報解析部５０１は、単位時間当たりの発声数に基づき発話頻度Ｎｃを算出する（ステップＳ２２３）。また、単位時間当たりの発声時間に基づき、発話時間率Ｒｓ及び標準偏差Ｓｒｓを算出する（ステップＳ２２４）。

周波数領域情報解析部５０２は、音声信号をＦＦＴにより解析し（ステップＳ２２６）、スケプトラム分析する（ステップＳ２２７）。次に、周波数領域情報解析部５０２は、解析結果を基に、ピッチ周波数を算出し（ステップＳ２２８）、スペクトル重心を算出する（ステップＳ２２９）。

次に、周波数領域情報解析部５０２は、時間領域情報解析部５０１により検出された始端から終端時刻の間のスペクトル分析に基づき、音声の種別（音声／歓声及び笑い声／無音）を判定する（ステップＳ２３１）。判定結果を基に、周波数領域情報解析部５０２は、単位時間当たりの歓声及び笑い声区間の頻度Ｎａを算出する（ステップＳ２３２）。

繰返しが終了すると（ステップＳ２３３）、時間領域情報解析部５０１は、各ユーザの発話頻度Ｎｃ及び発話時間率Ｒｓと、Ｒｓの標準偏差Ｓｒｓとを出力する。

また、周波数領域情報解析部５０２は、各ユーザの単位時間当たりの歓声及び笑い声区間の頻度Ｎａを出力する。

グループ会話活性度算定部５０４は、時間領域情報解析部５０１及び周波数領域情報解析部５０２から出力されたデータを基に、グループｍの会話活性度Ａｇ（ｍ）を算出する（ステップＳ２３６）。続いて、単位時間当たりのグループｍの会話活性度Ａｇ（ｍ）を彩度又は色相に写像変換する（ステップＳ２３７）。次に、グループ会話活性度算定部５０４は、変換により生成された彩度又は色相を示すデータを位置関係表示部４０へ出力する（ステップＳ２３８）。
３．実施の形態３
図２９は、実施の形態１と同様に各ユーザの位置、向きを基に所定の空間内に存在するグループをピックアップして表示し、さらに、ユーザ達の注目を集めている人（又は位置）、及び、注目の度合いを可視化して表示するシステムを示すブロック図である。

実施の形態３のシステムによると、ある領域（例えば１つの室内）に存在する複数のユーザをグループ化して表示すると共に、ユーザ達の注目がどこに集中しているかを一目で知ることができる。

このシステムを構成するデータセンシング部１、位置関係検出部２、ユーザグルーピング部３の構成及び動作は実施の形態１と同様であるので説明を省略し、本実施の形態の特徴部分を中心に説明する。
３．１注目度算定部６
注目度算定部６は、予め、各ユーザが装着しているセンサ（ここでは、カメラ）の左右の画角を記憶している。

注目度算定部６は、位置関係検出部２から、定期的に、各ユーザの位置および向きを取得し、取得した各ユーザの位置及び向きを基に所定の位置にユーザ達がどの程度注目しているかを数値化した注目度を算出する。注目度算定部６が位置関係検出部２から取得する各ユーザの位置及び向きは、実施の形態１において説明した各ユーザ間の相対位置又は既知の位置に設置されているセンサに対する相対位置である。ここでは、一例として、１人のユーザの位置を原点として仮定されたｘ−ｙ座標系の座標により、各ユーザの位置及び向きが表現されているものとする。また、注目度算出の対象となる位置もｘ−ｙ座標系の座標により表現されているとする。

次に、算出した注目度に応じて各位置をレベル分けする。注目度算定部６は、各ユーザの位置及び方向を取得するたびに、注目度算出及びレベル分けを随時実行する。

以下に注目度算定部６による注目度算出の手順及びレベル分けの手順について説明する。

＜注目度算出について＞
注目度算定部６は、取得した各ユーザの位置、向き及びカメラの画角から、注目度算出の対象となる所定の位置（以下、算出対象位置）を画角内に捉えているカメラを装着しているユーザを特定する。

図３０（ａ）は、所定の算出対象位置３０６と、算出対象位置３０６を画角内に捉えているカメラを装着している全てのユーザ（ユーザａ、ｂ、ｃ）の位置関係を示している。図中の破線は各ユーザの装着しているカメラの撮影可能範囲を示している。破線３０８及び３０９の為す角３１６が、ユーザａの装着しているカメラの画角であり、破線３１１及び３１２の為す角３１７が、ユーザｂの装着しているカメラの画角であり、破線３１３及び３１４の為す角３１８が、ユーザｃの装着しているカメラの画角である。

図３０（ｂ）は、算出対象位置（ｘ，ｙ）３０６と、算出対象位置（ｘ，ｙ）３０６を画角内に捉えているカメラを装着している１人のユーザｕ３０４（ｕ＝ａ，ｂ，ｃ）との位置関係を示している。破線３０１及び３０２は、ユーザｕ３０４の装着しているカメラの撮影可能範囲を示しており、破線３０１及び３０２のなす角３０７カメラの画角である。破線３０３が画角３０７の中心線である。

ユーザｕ３０４からの距離が短く、ユーザｕ３０４の向きを示す破線３０３に近いほど、算出対象位置３０６は、ユーザｕ３０４から注目されていると推測される。従って、ユーザｕ３０４の算出対象位置３０６に対する注目度Ｐｕは、算出対象位置３０６とユーザｕ３０４とを結ぶ線分３０５の長さと、線分３０５と破線３０３のなす角θｕに依存する。

一例として、注目度Ｐｕは、下記の式３により求められる。

上記の式３で、（ｘｕ，ｙｕ）は、時刻ｔにおけるユーザｕ３０４の位置座標、ａ，ｂ，ｃは、正の定数であり、−π＜θｕ＜πである。

ユーザａ、ｂ、ｃそれぞれについて、同様の演算を行い、Ｐａ（ｘ，ｙ）、Ｐｂ（ｘ，ｙ）、Ｐｃ（ｘ，ｙ）の和Ｐ（ｘ，ｙ）を、算出対象位置（ｘ，ｙ）３０６に対する注目度とする。

以下の式４は、注目度Ｐ（ｘ，ｙ）を算出する式の一例をである。

式４において、ｎは、算出対象位置３０６を画角内に捉えているカメラを装着しているユーザの総数（図３０（ａ）の例では３）、ｕは、算出対象位置３０６を画角内に捉えているカメラを装着しているユーザ付す番号（例えばｕ＝１はユーザａを指す）、ωｎは、ｎに応じて変動する変数である。

なお、算出対象位置（ｘ，ｙ）を撮影しているカメラが一台も存在しなければ（つまり、ｎ＝０であれば）、Ｐ（ｘ，ｙ）＝０となる。

ここで、瞬間的なよそ見などユーザの視線の揺らぎによる画面のちらつきを緩和するために、式４に代えて、以下の式５により算出される積分値を注目度としても良い。

上述した式３、式４及び式５は、一例であって、線分３０５の長さ及び角度θｕの絶対値が小さいほど、注目度が増加するような式であれば、他の演算式を用いても良い。

以上において説明した手順でｘ−ｙ平面上の各算出対象位置について、注目度Ｐ（ｘ，ｙ）を算出する。注目度算出対象となる位置、算出対象位置の総数及びその間隔は、予め定められている。例えば、原点及びｘ軸方向に０．２メートルおき、ｙ軸方向に０．２メートルおきに格子状に配置される各点を、算出対象位置とする。又は、ユーザが存在する領域（例えば室内）の広さや、ユーザ総数に応じて、随時、注目度の算出対象位置、間隔、算出対象位置の総数を算出しても良い。又は、当該システムの操作者により、算出対象位置の入力を受け付けるとしても良い。
＜レベル分けについて＞
注目度算定部６は、予め閾値ｔｈ１、ｔｈ２、ｔｈ３・・・（ｔｈ１＞ｔｈ２＞ｔｈ３・・・＞ｔｈｍｍは自然数）を記憶している。

注目度算定部６は、算出された注目度Ａ（ｘ，ｙ）の値と、閾値ｔｈ１、ｔｈ２、ｔｈ３・・・を比較し、Ａ≧ｔｈ１を満たす算出対象位置を第１レベル、ｔｈ１＞Ａ≧ｔｈ２を満たす算出対象位置を第２レベル、ｔｈ２＞Ａ≧ｔｈ３を満たす算出対象位置を第３レベル・・・というように、注目度により各算出対象位置をレベル分けする。続いて、各レベルを示すレベル情報とそのレベルに属する算出対象位置の座標とを対応付けて位置関係表示部７へ出力する。なお、ｔｈｍ＞Ａを満たす算出対象位置の座標は、位置関係表示部７へ出力しない。
３．２位置関係表示部７
位置関係表示部７は、実施の形態１において図４に示す構成とほぼ同様であるので、同様である部分の説明は割愛し、図４と異なる割当表示算定部について説明する。

割当表示算定部は、実施の形態１と同様に、位置関係検出部２及び、位置関係表示部７内の各機能部から受け取った情報を基に、各グループに割り当てる画面上の領域及び各グループの表示サイズ、表示位置を算定する。

さらに、割当表示算定部は、注目度算定部６から、各レベルにつき、レベル情報とそのレベル情報の示すレベルに属する位置を示す座標とを受け取る。

これらを受け取ると、割当表示算定部は、基準軸設定部により生成された変換行列を用いて、受け取った全ての座標を、ｘｙ座標系からＸＹ座標系に変換する。

次に、割当表示算定部は、各位置の画面上における表示位置を算出する。また、同一レベルに属する位置に対応する表示位置に同一の色を配色する。

画面表示部は、割当表示算定部が算定した表示位置に各グループのユーザ及び画面仕切を表示し、さらに、算出された表示位置に配色された色を表示する。

図３１は、画面表示部により表示される画面の一例である。図３１に示される画面５１１は、画面仕切り５２１、５２２及び５２３により、領域５１２、５１４及び５１５に仕切られている。領域５１５には、ユーザａ、ｂ、ｃ、ｄ、ｅにより形成されるグループが表示されている。領域５１２には、ユーザｆ、ｇ、ｈ及びｉにより形成されるグループが表示されている。領域５１４には、ユーザｊ、ｋ、ｌにより形成されるグループが表示されている。図面上の矢印は、各ユーザの視線の方向を示している。

現在、ユーザＡの近傍がユーザの注目を集めており、ユーザａを含む領域５２６は、最も注目度の高い第１レベルの領域であり最も濃い色が表示されている。領域５２７は、２番目に注目度の高い第２レベルの領域であり領域５２６よりもやや薄い色が表示される。領域５２８は、３番目に注目度の高い第３レベルの領域であり、領域５２７よりもさらに薄い色が表示されている。
３．４注目度算定部６の動作
図３２は、注目度算定部６の動作を示すフローチャートである。注目度算定部６は、図３２に示す一連の動作を定期的又は逐次的に繰り返す。以下、図３２に従って、注目度算定部６の動作について説明する。

先ず、注目度算定部６は、位置関係検出部２から各ユーザの位置及び向きを示す情報を取得する（ステップＳ２５１）。

次に、ステップＳ２５２〜ステップＳ２５６の間、注目度算定部６は、全ての算出対象位置について、ステップＳ２５３〜ステップＳ２５４の処理を繰り返す。

注目度算定部６は、算出対象位置（ｘ，ｙ）を画角内に捉えているカメラを装着しているユーザを検出する（ステップＳ２５３）。検出した各ユーザの位置、向き、などを基に、注目度Ａ（ｘ，ｙ）を算出する（ステップＳ２５４）。

全ての算出対象位置についての繰返しが終了すると（ステップＳ２５６）、注目度算定部６は、算出した注目度の値により、各算出対象位置をレベル分けする（ステップＳ２５７）。次に、注目度算定部６は、レベル毎に、レベルを示す情報と、そのレベルに属する算出対象位置の座標とを対応付けて位置関係表示部７へ出力する（ステップＳ２５８）。
３．５実施の形態３の補足及び変形例
（１）上記の実施の形態では、所定の範囲内（例えば室内）の全面に対して、均一に注目度を算出する位置を配置しているが、これに限定されるものではない。

例えば、ユーザグルーピング部により検出されたグループの近傍を注目度算出の対象範囲としてもよい。この場合、例えば、注目度算定部６は、各グループについて、重心ｃ’を算出し、ｃ’を中心とし、グループに属するユーザ全てを含む最小円の半径ｒ’を算出する。

注目度算定部６は、グループの中心ｃ’から半径（ｒ＋ｎ）の範囲を注目度算出の対象範囲とする（ｎは、任意の定数であってもよいし、半径ｒやそのグループに属するユーザ数に応じて増減する変数であってもよい）。

注目度算定部６は、注目度算出の対象範囲内の任意の位置を注目度の算出対象位置とする。

（２）上記の実施の形態３では、注目度算定部６は、各算出対象位置を、算出された注目度により、複数のレベルにレベル分けし、その結果画面に表示される画像は、同レベルの算出対象位置に該当する部分が同一の色で表示されている。しかし、このように、離散的にレベル分けせずに、算出された注目度の値に比例して、表示される色の濃度や色彩が変化する構成であっても良い。

（３）上記の実施の形態３では、算出対象位置を撮影しているカメラの位置と算出対象位置の位置関係のみに従って、注目度を算出した。しかし、ユーザの存在する位置に注目が集まりやすいと仮定して、以下のような手順で注目度を算出しても良い。

実施の形態３において説明したＰ（ｘ，ｙ）に、算出対象位置（ｘ，ｙ）の近傍に存在するユーザによる影響を示す項Ｑ（ｘ，ｙ）を加えた値を注目度Ｅ（とする。

この場合、注目度算定部６は、１の算出対象位置（ｘ，ｙ）を、画角内に捉えているカメラを特定する。特定したカメラにより、前記算出対象位置と共に撮影されているユーザを特定する。

特定したユーザのうちの１人（ユーザｕ）が、算出対象位置（ｘ，ｙ）に与える影響Ｑｕは、例えば下記の式６により算出される。

ここで、（ｘｕ，ｙｕ）は、ユーザｕの位置を示す座標、φｕは、ユーザｕの向きと、ユーザｕの位置から位置（ｘ，ｙ）への向きとの間の角度である（−π＜φｕ＜π）。また、ｄ、ｅ、ｆは正の定数である。

次に、注目度算定部６は、特定した全てのユーザが、算出対象位置（ｘ，ｙ）に与える影響Ｑ（ｘ，ｙ）を、下記の式７により算出する。

ここで、式７において、ｍは、前記算出対象位置（ｘ，ｙ）と共に撮影されたユーザの総数、ｕは、前記算出対象位置と共に撮影されているユーザを計数する変数、ωｍは、ｍによって変動する変数である。

なおｍ＝０の場合はＱ（ｘ，ｙ）＝０である。

次に、注目度算出部６は、上記の式により求めたＰ及びＱから算出対象位置（ｘ，ｙ）における注目度Ｅ（ｘ，ｙ）を算出する。

Ｅ（ｘ，ｙ)＝Ｐ（ｘ，ｙ）＋Ｑ（ｘ，ｙ）
また、瞬間的なよそ見などユーザの視線の揺らぎに起因する画像のちらつきを緩和するために、上記の式７に代えて、下記の式８により求められる積分値を、注目度Ｅ（ｘ，ｙ)としてもよい用いても良い。

（４）上記の実施の形態３では、注目度算定部６は、座標平面状の各位置について注目度を算出したが、室内に存在する各ユーザが、他のユーザからどの程度注目されているかを示す値として注目度を算出しても良い。

この場合、算出対象位置は、各ユーザの位置となる。

従って、１のユーザｊ（算出対象ユーザ）に対する注目度Ｅ（ｘｊ，ｙｊ）は、上記の式４に算出対象ユーザｊの位置座標（ｘｊ，ｙｊ）を代入すればよい。

続いて、注目度算定部６は、算出した注目度Ｅｊと所定の閾値Ｔｈとを比較し、Ｅｕ≧Ｔｈを満たす場合、算出対象ユーザｊを示すユーザ識別情報を位置関係表示部７へ出力する。

位置関係表示部７内の割当表示算定部は、注目度算定部６からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとは形状や大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。

（５）上記の実施の形態３及び変形例では、算出対象ユーザは所定の位置に止まっているとして、注目度を算出した。しかし、注目度は時間的に蓄積されるものと仮定して、移動する算出対象ユーザｊの注目度を算出しても良い。

例えば、図３３に示すように、算出対象ユーザｊは、位置５３２から位置５３３を通過し、位置５３４へ移動している。

位置５３１にいるユーザｉは、算出対象ユーザｊに注目しており、算出対象ユーザｊの移動に合わせて体の向きを方向５３６、方向５３７、方向５３８へと変えている。直線５３９及び５４０は、ユーザｊが位置５３４に存在する時刻において、ユーザｉの装着しているカメラの撮影可能範囲を示している。

このように、算出対象ユーザｊが移動している場合、算出対象ユーザｊに対するの他のユーザの注目度Ｅｊは、一例として、下記の式９により算出される。

式９において、変数ｎは算出対象ユーザｊに注目している、より正確には画角内に算出対象ユーザｊを捉えているカメラを装着しているユーザの総数であり、ｔｉｊは撮影側のユーザｉのカメラの画角内に算出対象ユーザｊが入った時刻である。ωｎは、変数ｎによって定まる任意の定数である。

このようにすることで、注目度算定部６は、算出対象ユーザｊが移動していてもその算出対象ユーザｊに対する他のユーザの注目度を算出することができる。

続いて、注目度算定部６は、算出した注目度Ｅ（ｊ）と所定の閾値Ｔｈとを比較し、Ｅ（ｊ）≧Ｔｈを満たす場合、被写体ユーザｊを示すユーザ識別情報を位置関係表示部７へ出力する。

位置関係表示部７内の割当表示算定部は、注目度算定部６からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとはや大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。
４．その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の実施の形態１−３及びその変形例において、位置関係表示部は、以下のような機能を備えていても良い。

タッチパネル、マウス、キーボードなどの入力部を含んでおり、操作者による操作を受け付ける。例えば、画面表示部に、各グループが表示されている状態で、何れかのユーザを選択する操作がなされると、割当表示算定部は、データセンシング部から、選択されたユーザの装着しているカメラの撮影した画像を取得し、画面表示部へ出力する。画面表示部は、取得した画像を現在表示中の画面上にポップアップ表示する。

図３４は、ここで表示される画面の一例を示す。画面５４１上には、領域５４６、５４７、５４８それぞれに、グループを構成するユーザが表示されている。図中の矢印は、各ユーザの向きを示している。操作者は入力部を操作して、ポインタ５４２を移動させ、ユーザａを選択している。ユーザａが選択されると、ユーザａの装着しているカメラの撮影した画像５４３が、ユーザａの近傍にポップアップ表示される。破線５４４及び５４５は、ユーザａの装着しているカメラの撮影可能範囲を示している。

（２）また、上記の変形例（１）に加えて、他のユーザの装着しているカメラにより撮影された画像のうち、操作者により選択されたユーザを捉えている画像を表示してもよい。

具体的には、割当表示算定部は、各ユーザの位置、向き、カメラの画角から、選択されたユーザを画角内に捉えているカメラを装着しているユーザを特定する。次に、割当表示算定部は、データセンシング部から特定したユーザの装着しているカメラにより撮影された画像を取得し、画面表示部へ取得した画像を出力する。画面表示部は表示中の画面上に、取得した画像をポップアップ表示する。

図３５は、ここで表示される画面５５１の一例を示す。図中の破線５６１〜５９９は、ユーザｂ、ｅ、ｇ及びｊの装着しているカメラの撮影可能範囲を示している。破線５６１及び５６２は、ユーザｂの装着しているカメラの撮影可能範囲を示しており、破線５６１及び５６２のなす角は、カメラの画角である。破線５６３及び５６４は、ユーザｅの装着しているカメラの撮影可能範囲を示しており、破線５６６及び５６７は、ユーザｇの装着しているカメラの撮影可能範囲を示しており、破線５６８及び５６９は、ユーザｊの装着しているカメラの撮影可能範囲を示している。これにより、ユーザａが、ユーザｂ、ｅ、ｇ及びｊの装着しているカメラの画角内に位置していることが分かる。

操作者は、入力部を操作してポインタ５５２を移動させ、ユーザａを選択している。ユーザａが選択されると、ユーザａの装着しているカメラの撮影した画像５５８がポップアップ表示される。続いて、ユーザｂ、ｅ、ｇ及びｊの装着しているカメラの撮影した画像５５３、５５４、５５６及び５５７がポップアップ表示される。画像５５３、５５４、５５６及び５５７のいずれにも、ユーザａが表示されている。

（３）上記の変形例（１）、（２）において、選択されたユーザに関する画像をポップアップ画面に表示するとしたが、この方法に限定されるものではない。

例えば、画面表示部が、複数の表示デバイスを備えている場合や、１画面内で、分割表示が可能な場合、１つの表示デバイス（又は１つの表示領域）にグルーピングされた各ユーザの位置を表示し、他の表示デバイス（又は他の表示領域）に選択されたユーザに関する画像を表示しても良い。

（４）図３６は、実施の形態１〜３及び変形例において説明したシステムを搭載した装置の一例である端末装置１０００の外観を示している。

端末装置１０００は、具体的には、マイクロプロセッサ、ＲＡＭ、ＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ、ＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、端末装置１０００は、その機能の一部を達成する。

端末装置１０００は、ディスプレイ１００１、入力部１００２及び通信部１００３を備えている。

ディスプレイ１００１は、画面表示部を構成する表示デバイスであり、各種の画面を表示する。

入力部１００２は、操作者により操作される各種のボタンを含んで構成される。

通信部１００３は、無線通信機構を備え、各ユーザの装着しているセンサからデータを収集する。通信部１００３は、上記のデータセンシング部の機能を担う。

また、内部に搭載されたマイクロプロセッサ及びコンピュータプログラムにより、上記の位置関係検出部、ユーザグルーピング部、音声情報解析部、注目度算定部、位置関係表示部の機能が実現される。

なお、端末装置１０００は、システムの一部の機能のみを搭載していてもよい。例えば、データセンシング部及び位置関係検出部は、別途、検出機器に搭載されており、端末装置１０００は、通信部１００３を介して、検出機器から、各ユーザの位置情報など、各種の情報を取得し、解析及び画面表示を行う機器であっても良い。

また、端末装置１０００は、このシステムの専用機器である必要はなく、例えば、携帯電話、携帯ゲーム機、ＰＤＡなどであってもよい。

（５）また、図３７は、上記の実施の形態及び変形例において説明したシステムを実現する機器構成の別の例を示している。

この例では、システムは、ＳＴＢ（ＳｅｔＴｏｐＢｏｘ）デバイス２００１と、ＴＶデバイス２００２と、図示しないコントローラ、データセンシング装置から構成される。

図示していないデータセンシング装置は、データセンシング部の機能を備え、各ユーザの装着しているセンサから画像データ、音声データなどを取得する。取得したデータを有線又は無線通信により、ＳＴＢデバイス２００１へ出力する。

ＳＴＢデバイス２００１は、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、コンポ等である。ＳＴＢデバイス２００１は、具体的には、マイクロプロセッサ、ＲＡＭ、ＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ、ＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、ＳＴＢデバイス２００１は、その機能の一部を達成する。

ＳＴＢデバイス２００１は、上記の実施の形態において説明したシステム内の位置関係検出部、ユーザグルーピング部、音声情報解析部、注目度算定部、及び、位置関係表示部内の大部分の機能を備える。

ＴＶデバイス２００２は、ＰＤＰ、ＬＣＤ等であり、前記ＳＴＢと接続ている。位置関係表示部内の画面表示部の機能を担っており、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等を表示する。

（６）上記の実施の形態及び変形例では、室内など所定の領域に存在するユーザ、つまり人間を対象としてグルーピング及び、位置関係の表示をする技術について説明してきたが、人間に限らず、自動車や自転車といった移動機器、放牧されている家畜、野生の動物などを対象としても良い。

（７）また、本発明は、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピング手段と、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示手段とを備えることを特徴とするユーザ関係表示装置である。

（８）上記の変形例（７）のユーザ関係表示装置は、更に、複数ユーザの位置関係を検出する位置関係検出手段とを備え、前記ユーザグルーピング手段は、前記位置関係検出手段により検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係を表示するとしてもよい。

（９）上記の変形例（８）ユーザ関係表示装置を構成するユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの関係が把握できる形態で、画面上に各グループを配置して表示するとしてもよい。

（１０）上記の変形例（７）又は（８）のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの関係が把握できる形態で、画面上においてグループ同士を区分けする仕切りを表示するとしてもよい。

（１１）上記の変形例（７）又は（８）の前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に応じて、画面上において各グループに割り当てる領域サイズを設定することを特徴とするとしてもよい。

（１２）上記の変形例（７）又は（８）のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの各グループ同士の実サイズ比較が把握できる情報を表示するとしてもよい。

（１３）上記の変形例（７）の前記ユーザ関係表示装置は、更に、複数ユーザの位置関係を検出する位置関係検出手段と、複数ユーザが発声する音声情報を解析する音声情報解析手段とを備え、前記ユーザグルーピング手段は、前記位置関係検出手段により検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係と、各グループにおける会話状況を視覚的に表示するとしてもよい。

（１４）上記の変形例（１３)のユーザ関係表示装置を構成する前記音声情報解析手段は、複数ユーザが発声する音声情報に対して、各発声の時間領域情報、周波数領域情報を分析し、さらに、これらの情報を元に各グループ毎の会話活性度を算出するとしてもよい。

（１５）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出されたグループに属する各ユーザの会話の物理的特徴とその時間的変化状況を視覚的に把握できる形態で、画面上に表示するとしてもよい。

（１６）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの大局的な会話活性度が視覚的に比較できる形態で画面上に表示するとしてもよい。

（１７）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に応じて、画面上において各グループに割り当てる領域サイズを設定し、画面上の会話状況の表示形態を選択するとしてもよい。

（１８）また、本発明は、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピングステップと、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示ステップとを有するユーザ関係表示方法であってもよい。

（１９）また、本発明は、ユーザ関係表示装置に、ユーザ関係表示処理を行わせるためのコンピュータプログラムであって、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピングステップと、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示ステップとを有する。

（２０）また、本発明は、ユーザ関係表示装置に搭載される集積回路であって、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピング手段と、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示手段とを備える。

（２１）上記の変形例（１８）のユーザ関係表示方法は、更に、複数ユーザの位置関係を検出する位置関係検出ステップを有し、前記ユーザグルーピングステップにおいて、前記位置関係検出ステップにより検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示ステップにおいて、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係を表示するとしてもよい。

（２２）上記の変形例（１９）の前記コンピュータプログラムは、更に、複数ユーザの位置関係を検出する位置関係検出ステップを有し、前記ユーザグルーピングステップにおいて、前記位置関係検出ステップにより検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示ステップにおいては、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係を表示するとしてもよい。

（２３）上記の変形例（２０）の集積回路は、更に、複数ユーザの位置関係を検出する位置関係検出手段を備え、前記ユーザグルーピング手段は、前記位置関係検出手段により検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係を表示するとしてもよい。

（２４）上記の変形例（１８）のユーザ関係表示方法は、更に、複数ユーザの位置関係を検出する位置関係検出ステップと、複数ユーザが発声する音声情報を解析する音声情報解析ステップとを有し、前記ユーザグルーピングステップにおいて、前記位置関係検出ステップにより検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示ステップにおいては、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係と、各グループにおける会話状況を視覚的に表示するとしてもよい。

（２５）上記の変形例（１９）に記載のコンピュータプログラムは、更に、複数ユーザの位置関係を検出する位置関係検出ステップと、複数ユーザが発声する音声情報を解析する音声情報解析ステップとを有し、前記ユーザグルーピングステップにおいて、前記位置関係検出ステップにより検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示ステップにおいて、前記ユーザグルーピングステップにより抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係と、各グループにおける会話状況を視覚的に表示するとしてもよい。

（２６）上記の変形例（２０）に記載の集積回路は、更に、複数ユーザの位置関係を検出する位置関係検出手段と、複数ユーザが発声する音声情報を解析する音声情報解析手段とを備え、前記ユーザグルーピング手段は、前記位置関係検出手段により検出された複数ユーザの位置関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングし、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して、各グループに属するユーザの位置関係と、各グループにおける会話状況を視覚的に表示することを特徴とするとしてもよい。

（２７）上記のシステムは、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ、ＲＯＭ、前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、前記システムは、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２８）上記のシステムを構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性として有り得る。

（２９）上記のシステムを構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（３０）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（３１）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかるユーザ関係表示装置は、複数のユーザ同士の関係を適切に表示するためのインタフェースを構築するための技術として有用である。

近年、位置表示技術分野において、室内もしくは地図上での人物や走行車の位置を表示する技術がある。例えば、無人走行車の車体に上方を撮影可能な赤外線撮影装置を取り付け、無人走行車が走行する領域の天井面の所定の箇所に絶対位置表示を設け、無人走行車の現走行位置を絶対位置で取得する技術がある（特許文献１参照）。また、配送に関する情報を記憶すると共に、配送情報を送信する応答回路を備える電子荷札を用いた宅配ナビゲーションシステムであって、配達先の位置を、表示装置に表示された地図上に表示する技術がある（特許文献２参照）。更に、複数のカメラのうち少なくとも１つによる撮影画像に基づき、撮影画像中に含まれる複数の人物を検出し、各カメラの撮影範囲を変更する監視システムが開示されている（特許文献３参照）。

特開平６−６７７２６号公報特開平６−１１１１９７号公報特開２００５−１１７５４２号公報

上記の技術は、室内もしくは地図上にユーザや走行車の絶対位置をマッピングする技術にすぎない。画面の広さには限りがあるので、複数のユーザが、離れた領域に偏在している場合、すべてのユーザの位置関係を表示しようとすると、ユーザ間の詳細な位置関係を視認し難くなる。
また、ユーザが偏在している１つの領域のみを表示すると、その領域に存在するユーザの位置関係は視認し易くなるが、他の領域に存在するユーザの位置関係は、表示できないため、全ユーザの位置関係を把握することができなくなるという問題がある。

また、本発明は、上記の表示装置において用いられる表示方法又は表示プログラムでもある。
ここで、上記の表示装置は、例えば、図３６及び図３７に示すような機器が該当する。また、上記の「対象物」は、下記の実施の形態及び変形例にて説明する「ユーザ」、つまり人間であってもよいし、自動車や自転車などの移動機器でもよいし、家畜又は野生動物などであってもよい。「取得手段」は、下記の実施の形態１におけるデータセンシング部１及び位置関係検出部２がその機能を担う。また、「分類手段」は、ユーザグルーピング部３がその機能を担う。「算出手段」は、基準軸設定部４０１、グループ情報解析部４０２及びグループ間関係解析部４０３がその機能を担う。また、「決定手段」は、画面割当比率算定部４０４、画面配置位置算定部４０５及び画面仕切算定部４０６がその機能を担う。「表示手段」は、割当表示算定部４０７及び画面表示部４０８がその機能を担う。

前記表示装置において、前記算出手段は、少なくとも２つのグループの位置を示すグループ位置を求め、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを算出し、前記決定手段は、前記基準軸に対して、算出された傾きを有する前記仕切り線を決定するとしてもよい。
この構成によると、前記しきり線は、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを有しているので、グループ間の位置関係を、より正確に視認することができる。

また、前記決定手段は、グループの大きさに応じた面積を、そのグループに対応する領域が有するように、前記しきり線を決定するとしてもよい。
この構成によると、各グループに割り当てられた面積から、容易に各グループの大きさを視認できる。ここで、「グループの大きさ」とは、グループに属する対象物の数であってもよいし、グループに属する対象物が現実に存在する領域の面積（例えばそのグループに属する全ての対象物を包含する最小円や最小円の半径）であってもよい。

また、前記算出手段は、１のグループと他のグループとのグループ間の距離を含む前記位置関係を算出し、前記決定手段は、算出された距離に応じた幅を有する前記しきり線を決定するとしてもよい。
この構成によると、表示されたしきり線の幅からグループ間の距離を容易に視認できる。

また、前記表示手段は、グループに属する対象物の位置関係を、グループ毎に異なる縮小率で表示し、前記表示手段は、さらに、各表示領域に、各グループの縮小率を示す情報を表示するとしてもよい。
この構成によると、表示画面上に表示された各グループの縮尺が異なる場合にも、各グループのサイズの違いを容易に視認できるという優れた効果を奏する。

また、前記分類手段は、前記位置情報から対象物間の距離を求め、求めた距離が閾値未満である２つ以上の対象物を同一のグループに分類するとしてもよい。
この構成によると、互いに近い位置に存在する複数対象物をひとつのグループに分類することができるので、離れた位置に複数の対象物が偏在する場合に、各グループを構成する対象物の位置関係を明確に表示できるという優れた効果を奏する。

また、前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満であって、前記向き情報の示す向きの延長線が交差する２つの対象物を同一のグループに分類するとしてもよい。
この構成によると、対象物間の距離のみならず、向き情報も用いて分類を行うので、相互に向き合っている会話集団などを抽出することができる。

この構成によると、前記表示手段は、前記音声情報解析手段による解析結果を基に生成した画像を、前記表示画面上において、各グループに属する対象物の位置関係を表示している位置に表示するので、複数のユーザによる形成されるグループの位置関係のみならず各グループの対象物の発する音声に関する情報も一目で視認することができる。
また、前記音声解析手段は、取得した音声から、各対象物の発する音声の特徴を抽出し、抽出した音声の特徴を前記解析結果として生成し、前記表示手段は、各対象物の発する音声の特徴を示す画像を、対応する対象物の前記表示画面上における位置に表示する。

この構成によると、各対象物がどのような特徴を持った音声を発声しているかを、容易に視認できる。
また、前記音声解析手段は、前記音声を用いて、各グループに属する対象物間の会話の活発さを示す会話活性度を、前記解析結果として生成し、前記表示手段は、前記会話活性度を示す画像を、対応するグループの前記表示画面上における位置に表示するとしてもよい。

この構成によると、各グループ内においてどの程度活発に会話が交わされているかを容易に視認できる。
また、前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、前記表示装置は、さらに、前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、前記方向情報の示す方向と、前記位置情報の示す位置から前記算出対象位置までの距離を基に、前記注目度を算出する注目度算定手段を備え、前記表示手段は、さらに、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示することを特徴とする。

この構成によると、前記複数のユーザがどの位置にどの程度注目しているのかを合わせて視認することができる。
また、前記複数の対象物は、カメラを有しており、前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど大きな値となるように前記注目度を決定するとしてもよい。

対象物は、近くに存在し、視野の中心線上に存在するものにより注目していると考えられる。従って、上記の構成によると、カメラの画角の中心線を視野の中心線であると仮定すると、より正確に注目度を算出し、算出した注目度を画面上に表示することで、多くの対象物が注目している位置を容易に視認することができる。
また、前記算出対象位置取得手段は、前記複数の対象物のうち、１の対象物の位置を前記算出対象位置として取得するとしてもよい。

この構成によると、他の対象物から注目を集めている対象物を容易に視認できる。
また、前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示するとしてもよい。
この構成によると、前記複数の対象物から大きな注目を集めている位置を明確に表示することができる。

また、前記表示手段は、さらに、位置情報の取得、前記複数の対象物の分類、仕切り線の決定、しきり線及び各グループの位置関係の表示を、それぞれ、前記取得手段、前記分類手段、前記算出手段、前記決定手段及び前記表示手段に、繰り返させる繰返制御手段を備えるとしてもよい。
この構成によると、各グループ間の位置関係の変化、及び、グループ内での各対象物の位置関係の変化を時系列で視認することができる。

この構成によると、前記複数の対象物が、どの位置にどの程度注目しているかを、容易に視認することができる。
また、前記複数の対象物は、カメラを有しており、前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど大きな値となるように前記注目度を決定するとしてもよい。

対象物は、近くに存在し、視野の中心線上に存在するものにより注目していると考えられる。従って、上記の構成によると、カメラの画角の中心線を視野の中心線であると仮定すると、より正確に注目度を決定することができる。
また、前記算出対象位置取得手段は、前記複数の対象物のうち、１の対象物の位置を前記算出対象位置として取得するとしてもよい。

この構成によると、複数の対象物のうち何れの対象物が他の対象物から注目を集めているかを容易に視認できるという優れた効果を奏する。
また、前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示するとしてもよい。
この構成によると、前記複数の対象物から大きな注目を集めている位置を明確に表示することができる。

ここで、複数ユーザ同士の位置関係に関する情報とは、複数ユーザ同士の相対的な位置に関する情報、もしくは、一人のユーザの位置を基準とした他ユーザの相対的な位置に関する情報のことである。
図２は、位置関係検出部２により検出された複数ユーザ（ａ〜ｉ）同士の位置関係に関する情報に基づいて、複数ユーザ（ａ〜ｉ）同士の位置関係の例を図示したものである。

具体的には、例えば、位置関係検出部２は、図２の例におけるユーザ同士の相対的な位置（ユーザａから見たユーザｂの方向と距離、ユーザｂから見たユーザｃの方向と距離など）を複数ユーザ同士の位置関係に関する情報として抽出してもよい。
また、別の例としては、位置関係検出部２は、図２に示されたユーザのうち１人のユーザ（例えばユーザａ）の位置を原点とし、ユーザａの向いている方向をｘ軸、ｘ軸を９０度回転させた方向をｙ軸とするｘ−ｙ座標平面を仮定し、ｘ−ｙ座標平面上の各ユーザの座標（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）・・・・（ｘｉ，ｙｉ）を算出し、各ユーザを示す識別情報と算出したこれらの座標と、仮定したｘ軸及びｙ軸に関する情報とを、複数ユーザ同士の位置関係に関する情報として出力してもよい。

また、センサの何れかが、室内の決められた位置に設置されている場合、そのセンサを基準とした、各ユーザの位置（例えばセンサからの距離と方向）を算出し、各ユーザを示す識別情報と算出した位置とを、複数ユーザ同士の位置関係に関する情報として出力してもよい。
また、各ユーザの装着しているセンサが、ＧＰＳ信号受信機能を搭載していれば、各ユーザの存在する位置の緯度経度を算出し、算出した緯度経度を前記複数ユーザ同士の位置関係に関する情報として出力してもよい。
１．２ユーザグルーピング部３
図３は、位置関係検出部２により図２に示すような複数ユーザ同士の位置関係に関する情報が検出された場合に、ユーザグルーピング部３がその情報を入力として算出したグルーピング結果の例を示す図である。点線で囲われたユーザ郡が１つのグループＧ（ＧαとＧβ）を表している。ここで、前記複数ユーザのグルーピングは、前記位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき、前記ユーザのクラスタリング等の処理をすることで算出される。例えば、対象ｘ１とｘ２の間の距離をＤ［ｘ１，ｘ２］（例えば、ユーザｕ１とユーザｕ２の間の距離はＤ［ｘ１，ｘ２］、クラスタＣ１とクラスタＣ２の間の距離はＤ［Ｃ１，Ｃ２］）として、以下（１）〜（３）のような階層的クラスタリングによる処理により、各グループを抽出する。

（１）まず、１人のユーザだけを含むＮ個（図３の例では、９個）のクラスタＣがある初期状態を作る。
（２）この状態から始めて、クラスタ間の距離Ｄ［Ｃ１，Ｃ２］を計算し、最もこの距離の近い２つのクラスタを逐次的に併合する。
（３）クラスタ間の距離Ｄ［Ｃ１，Ｃ２］が所定値（もしくは、対象となる複数ユーザ間の距離Ｄ［ｕ１，ｕ２］の平均等に対応して設定される値、もしくは、対象となる複数ユーザ全員で占める総サイズに対応して設定される値、等々）以上になった時点で、上記（２）の処理を終了し、その時点での最終的なクラスタＣをグループＧ（図３の例では、ＧαとＧβ）とする。

（ｎ１はクラスタＣ１に属するユーザ数、ｎ２はクラスタＣ２に属するユーザ数）
尚、グルーピング手法は、この方法に限らない。
続いて、ユーザグルーピング部３は、抽出したグループに関する情報、具体例としては、各グループに対応する識別情報、各グループに属するユーザの識別情報（例えば、Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ}、Ｇβ＝{ｆ，ｇ，ｈ，ｉ}といったデータ）を位置関係表示部４へ出力する。
１．３位置関係表示部４
図４は、位置関係表示部４の内部構成を示す図である。位置関係表示部４は、基準軸設定部４０１、グループ情報解析部４０２、グループ間関係解析部４０３、画面割当比率算定部４０４、画面配置位置算定部４０５、画面仕切算定部４０６、割当表示算定部４０７、画面表示部４０８から構成される。以下に、位置関係表示部４内の各構成にて為される処理について、図４及び図５を用いて説明する。

（１）基準軸設定部４０１
基準軸設定部４０１は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき、位置付けを規定するための軸を設定する。例えば図５に示すように、平面上における位置付けを規定するためのＸ軸Ｙ軸を設定する。
例えば、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報が、緯度経度と対応付けられている状態等、地図上にマッピングされた状態であった場合、東方向をＸ軸、北方向をＹ軸等といったように軸を設定してもよい。この場合、各ユーザの緯度経度をＸ−Ｙ座標平面上の座標に変換する変換行列、又は、変換式生成する。

続いて、基準軸設定部４０１は、以上のようにして生成した変換行列又は変換式を出力する。
（２）グループ情報解析部４０２
グループ情報解析部４０２は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報と、ユーザグルーピング部３により抽出されたグループに関する情報と、基準軸設定部４０１により生成された変換行列又は変換式に基づき、各グループに関する情報を解析する。

また、グループ情報解析部４０２は、各グループＧに属するユーザｕの数を計数する。
（３）グループ間関係解析部４０３
グループ間関係解析部４０３は、グループ情報解析部４０２により解析された各グループに関する情報（図５の例では、ｃαとｃβ、ｒαとｒβ、各グループのユーザ数など）に基づき、グループ間の関係に関する情報を解析する。

例えば、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２（図５の例では、Ｌαβ）の傾きΘ１２（図５の例では、Θαβ）と線Ｌ１２の垂線Ｐ１２（図５の例では、Ｐαβ）の傾きΦ１２（図５の例では、Φαβ）を算出する。
また、上記に限らず、グループＧ１とＧ２（図５の例では、ＧαとＧβ）の中心ｃ１とｃ２（図５の例では、ｃαとｃβ）間を結ぶ線Ｌ１２の長さなどその他のデータを解析しても良い。

また、画面仕切算定部４０６は、グループ間の距離に関する情報（図５の例では、グループＧαとＧβの中心ｃαとｃβの間を結ぶ線分Ｌαβの長さ）を画面仕切の太さ等に反映してもよい。
（７）割当表示算定部４０７
割当表示算定部４０７は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報と基準軸設定部４０１により設定されたＸ軸Ｙ軸と画面割当比率算定部４０４により算定された各グループに割り当てる画面領域の面積比率と画面配置位置算定部４０５により算定された各グループの画面配置位置と画面仕切算定部４０６により算定された画面仕切に関する情報を取得する。

これらの情報を取得すると割当表示算定部４０７は、ユーザ同士の位置関係を画面に表示する際、各グループに割り当てられた画面領域内に収まるように各グループの表示サイズを算定する。
例えば、各グループＧの重心ｃを中心として属するユーザｕの座標位置を包含する最小円Ｃ（図５の例では、ＣαとＣβ）がある程度のゆとりを持って、各グループに割り当てられた画面領域内に収まるように、画面上における各グループのユーザの表示位置及び表示サイズを算出する。このとき、同一グループに属するユーザの相対的位置関係が保持されるように、各ユーザの表示位置を算出する。

（８）画面表示部４０８
画面表示部４０８は、液晶画面などの表示機構と、スピーカとを含んで構成される。
画面表示部４０８は、割当表示算定部４０７により算定された画面表示方法に基づき、各グループに属するユーザ及びグループ間の画面仕切を表示する。また、図示していないが、位置関係表示部４は、タッチパネル、各種の入力キーなど操作者の操作を受け付ける入力部を備えている。画面表示部４０８は、各ユーザが装着・搭載したセンサがセンシングしたデータ（画像、音声等）をリンケージしておき、画面表示部４０８に、グループごとに、そのグループに属するユーザの位置が表示されている状態で、入力部を介して、表示された各ユーザ位置がポイントされると各センシングデータを再生したりポップアップしたりするような視聴ＵＩを構築する。

先ず、データセンシング部１は、各ユーザの装着しているセンサからデータを収集する（ステップＳ１０１）。収集したデータを位置関係検出部２へ出力する。
位置関係検出部２は、受け取ったデータを基に各ユーザの相対位置を検出する（ステップＳ１０２）。検出した相対位置と、各ユーザを示す識別情報とを、対応付けて、ユーザグルーピング部３と位置関係表示部４へ出力する。ここでは、一例として、ユーザａの位置を原点とした座標平面上における各ユーザの位置、ａ（ｘａ，ｙａ）、ｂ（ｘｂ，ｙｂ）、ｃ（ｘｃ，ｙｃ）・・・を出力する。

グループ情報解析部４０２は、位置関係検出部２から、各ユーザの相対位置ａ（ｘａ，ｙａ）、ｂ（ｘｂ，ｙｂ）、ｃ（ｘｃ，ｙｃ）・・・を受け取り、ユーザグルーピング部３からグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を受け取り、基準軸設定部４０１から変換行列を受け取る。
これらを受け取ると、グループ情報解析部４０２は、先ず、変換行列を用いて、各ユーザの相対位置を、Ｘ−Ｙ座標系の座標に変換する（ステップＳ１０６）。次に、グループ情報解析部４０２は、変換後の各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・と、受け取ったグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}とを基に、ＸＹ座標系における、各グループの重心ｃαとｃβとを算出する（ステップＳ１０７）。また、グループ情報解析部４０２は、各グループについて、重心を中心とし、そのグループに属するユーザ全てを含む最小円の半径（ｒα及びｒβ）を算出する（ステップＳ１０９）。また、グループ情報解析部４０２は、各グループに属するユーザ数を計数する（ステップＳ１１１）。続いて、グループ情報解析部４０２は、各ユーザの識別情報と変換後の各ユーザの座標（具体的には、ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・）、算出した重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、及び受け取ったグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を、グループ間関係解析部４０３及び画面割当比率算定部４０４へ出力する。

グループ間関係解析部４０３は、グループ情報解析部４０２から受け取った各グループの重心ｃα、ｃβの座標を基に、２つの重心を結んだ線分Ｌαβの傾き、線分Ｌαβの垂線の傾き及び線分Ｌαβの長さを算出する（ステップＳ１１２）。
続いて、グループ間関係解析部４０３は、算出した線分Ｌαβの傾き、線分Ｌαβの垂線の傾きを画面配置位置算定部４０５へ、線分Ｌαβの長さを画面仕切算定部４０６及び出力する。

画面割当比率算定部４０４は、グループ情報解析部４０２から、各ユーザの識別情報と各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・、重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、及びグループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}を受け取る。
これらを受け取ると、画面割当比率算定部４０４は、画面上において各グループに割り当てられる表示領域の面積比率（Ｇα：Ｇβ）を決定し（ステップＳ１１６）、決定した面積比率を画面仕切算定部４０６へ出力する。また、受け取った各ユーザの識別情報と各ユーザの座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）・・・、重心ｃαとｃβの座標、半径ｒα、ｒβ、各グループのユーザ数、グループ構成情報Ｇα＝{ａ，ｂ，ｃ，ｄ，ｅ，}及びＧβ＝{ｆ，ｇ，ｈ，ｉ，ｊ}と、算出した面積比率Ｇα：Ｇβを割当表示算定部４０７へ出力する。

（３）上記においては、ユーザグルーピング部３により為される複数ユーザのグルーピングは、複数ユーザ同士の位置関係だけを活用した例を用いて説明したが、複数ユーザ同士の向き関係や会話情報（会話のタイミング、会話相手の認識）等も活用して複数ユーザのグルーピングをしてもよい。
例えば、図１５は、ユーザａ〜ｉの位置関係と、それぞれのユーザの体の向きを示している。図中の矢印が、各ユーザの向きを示す。このような例では、複数ユーザ同士の向き関係や会話情報（会話のタイミング、会話相手の認識）等も活用すれば、複数ユーザ同士の位置関係だけからでは抽出できないグループを抽出できる。図１６は、図１５に示す複数のユーザを、位置関係のみならず各ユーザの向きなどを基に抽出された、コミュニケーション等のグループＧαとＧβを示している。グルーピングの後、図１６に示すように、位置関係表示部４により上記と同様の処理を施すことで、図１７に示すような表示形態で複数ユーザ同士の位置関係が画面に表示される（実際には表示されないが、説明のための補足線等も明示している）。

この場合、位置関係検出部２は、各ユーザの位置関係に関する情報に加えて、各ユーザの向きを示す情報をユーザグルーピング部３へ出力する。
ユーザグルーピング部３は、受け取った各ユーザ位置関係の情報の向きに関する情報を基に、グルーピングを行う。具体的には、上記のクラスタリングの条件として、距離が所定値以下であることに加えて、ユーザの位置を起点としユーザの向きの方向へ引いた線分が所定の閾値未満の長さで他のユーザの線分と交差することを加える。

（４）上記においては、ユーザグルーピング部３で活用された情報を位置関係表示部４により表示する例を説明したが、必ずしもユーザグルーピング部３で活用される情報全てを表示する必要はなく、また、グルーピングには用いられていない情報、例えばユーザの向き関係や発話情報等を可視化して表示するとしてもよい。
（５）上記においては、一時的な複数ユーザ同士の位置関係を表示する例を用いて説明したが、データセンシング部１により位置関係を検出するためのデータを連続的にセンシングし、位置関係検出部２により、データセンシング部１により連続的にセンシングされたデータに基づき複数ユーザ同士の位置関係を連続的に検出し、ユーザグルーピング部３により、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報に基づき前記複数ユーザをグループに逐次的にグルーピングし、位置関係表示部４により、位置関係検出部２により連続的に検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部３により逐次的に抽出されたグループに関する情報に基づき画面上に各グループを配置して表示する、といったように、連続的な複数ユーザ同士の位置関係を動的に表示するとしてもよい。

位置関係表示部４０は、位置関係検出部２により検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部３により抽出されたグループに関する情報に基づき、画面上に各グループを配置して表示すると同時に、音声情報解析部５により算出されたユーザの発話状況やグループの会話状況を視覚的に表示する。
以下、実施の形態２の特徴部分である音声情報解析部５を中心に、詳細に説明する。
２．１音声情報解析部５
図１９は、音声情報解析部５の内部構成を示す図である。図１９に示すように、音声情報解析部５は、時間領域情報解析部５０１、周波数領域情報解析部５０２、会話表示情報算定部５０３、グループ会話活性度算定部５０４で構成される。以下に各構成要素について説明する。

データセンシング部１から得た各ユーザ音声情報は、時間領域情報解析部５０１と周波数領域情報解析部５０２で、ユーザの音声の物理的特徴量を求める。一般的に音の三要素としては、大きさ、高さ、音色がよく知られている。
（１）時間領域情報解析部５０１
時間領域情報解析部５０１は、各ユーザについて、そのユーザが発声する音声の大きさを表現するパワー情報を逐次算出すると共に、パワー情報の時系列的な変化から、発話の始端および終端の検知も同時に行う。算出したパワー情報と、発話の始端及び終端を示す情報を会話表示情報算定部５０３へ出力する。

また、時間領域情報解析部５０１は、定期的に、各ユーザの単位時間における発声数である発話頻度Ｎｃと、単位時間あたりの発話時間率Ｒｓを求め、さらに各ユーザの発話時間率の標準偏差Ｓｒｓを算出する。算出した発話頻度Ｎｃ、発話時間率Ｒｓ、発話時間率の標準偏差Ｓｒｓをグループ会話活性度算定部５０４へ出力する。
（２）周波数領域情報解析部５０２
周波数領域情報解析部５０２は、ユーザ毎に発話音声の声の高さを表現するピッチ周波数と、発話音声の音色と相関のあるスペクトル重心とを定期的に算出する。

一方、スペクトル重心は、音声スペクトルを分析しその調波性周波数成分の中心なる高調波の周波数成分を算出することにより求められる。
次に、周波数領域情報解析部５０２は、算出したピッチ周波数とスペクトル重心とを会話表示情報算定部５０３へ出力する。
また、周波数領域情報解析部５０２は、逐次的に、各ユーザの音声情報を分析することで、音声／歓声・笑い声／無音の判別を行い、単位時間あたりの歓声・笑い声区間の頻度Ｎａを算出する。各ユーザについて算出した歓声・笑い声区間の頻度Ｎａをグループ会話活性度算定部５０４へ出力する。

例えば、会話表示情報算定部５０３は、時間領域情報解析部５０１で算出されたパワー情報を用いて、各ユーザの発する音声の大きさと向きを視覚的に示す情報（例えば、ユーザを示す識別情報と、以下に例示する図形を形成する画像データ）を生成する。
図２４は、声の大きさを視覚的に表現する一例を示すもので、図２４（ｉ）の矢印は、ユーザａの向きを示すものであり、図２４（ｉｉ）、（ｉｉｉ）、（ｉｖ）の扇形の図形部分は、ユーザａが発声する声の方向と大きさを表現するものである。図２４において、（ｉ）は無音状態を示している。図２４の（ｉｉ）、（ｉｉｉ）、（ｉｖ）は、発声する音声の大きさを扇形図形のサイズにより示しており、扇形図形が大きいほど、音声が大きい。

図２５の場合、会話表示情報算定部５０３は、時間領域情報解析部５０１で算出されたパワー情報をの示す音声の大きさと彩度とが比例するように、扇形図形の表示色を設定する。この場合、図２４のように扇形図形のサイズが変化しないため、ユーザが多数存在する様子を表示する際には、省スペース化という点で有利であると考えられる。
なお、ここでは、音声の大きさをパワー情報により示しているが、それ以外に例えば平均振幅値を利用してもよい。

また、別の例として、会話表示情報算定部５０３は、周波数領域情報解析部５０２で算出されたピッチ周波数を用いて、発話音声の高さを表現する情報を生成する。
図２６は、声の高さを視覚的に表現した例を示す。図２６の（ｉ）、（ｉｉ）、（ｉｉｉ）はそれぞれ、ユーザａ、ｂ、ｃの発した音声のピッチ周波数を扇形図形の縞模様の間隔により表現している。ここでは、一例として、縞模様の間隔が狭いほど、ピッチ周波数が大きいことを示している。つまり、３人のユーザのうち、図２６（ｉ）に示すユーザａの音声のピッチ周波数が最も小さく、図２６（ｉｉｉ）に示すユーザｃの音声のピッチ周波数が最も大きい。

音声の音色の情報は、周波数領域情報解析部５０２で算出されたスペクトル重心の情報を用いて表現される。音色情報は、所定の時間長で平均化したスペクトル重心の情報を色相（赤・橙・黄・緑・青・藍・青紫）に写像することで表現する。
以上のようにして、会話表示情報算定部５０３は、各ユーザの発する音声の大きさ、高さ、音色といった物理的特徴量を図形および色に写像して、画面上に視覚的に表示するための画像データに変換する。

会話表示情報算定部５０３は、上記の変換により生成された画像データとその画像データに対応するユーザの識別情報とを位置関係表示部４へ出力する。
また、会話表示情報算定部５０３は、このような変換及び出力を逐次的に行うので、位置関係表示部４は、各ユーザの発話音声の時間的変化を、動的に表示することができる。
（４）グループ会話活性度算定部５０４
グループ会話活性度算定部５０４は、グループに属する各ユーザの音声の物理的特徴量とその時間的変化を鑑みて、会話への参与状況を算出し、グループとしての会話の活性度合いを推定する。

図２１は、ユーザグルーピング部３と位置関係表示部４により図５に示すような処理が為された場合に、画面に表示される表示形態の例を示す図であり、ユーザａ〜ｌには各々の向かっている向き情報を矢印で付加している。この段階では各ユーザの発話状況の視覚化した情報を反映していない。
図２２は、図２５に示した声の大きさを表現する様式で扇形図形を付加した例である。この扇形図形に、各ユーザの発話状況を示す物理的情報である声の大きさ、高さ、音色情報が付与される。この例において、グループＧαでは、ユーザｂが自分の属するグループのユーザ以外に発声し、ユーザｃとユーザｄが対面して会話し、ユーザａ、ｅは自分の属するグループ以外の方向を見てしばらく発話していない状況を視覚的に表現している。一方、グループＧβでは、４人のユーザｆ、ｇ、ｈ、Ｉがお互いに対面して会話している状況を表現している。また、グループＧγは、３人のユーザがそれぞれ、自分の属するグループ以外の方向を向いて発話していない状況である。図２２の表示では、３グループの各ユーザの発話状況と向き合う状況は視覚的に把握できる。

図２３は、各グループの位置関係を俯瞰する形態で表示を行う例である。この場合、割当表示算定部４１７は、位置関係検出部、基準軸設定部及びユーザグルーピング部から出力される情報に従って、画面上に各ユーザの表示位置を算出し、画面割当比率算定部、画面仕切算定部及び画面配置位置算定部から出力される情報は加味しない。
この図では、３つのグループの相対的な位置関係は、把握できるが、各ユーザの表示サイズが小さいため、これに各ユーザの発話状況の物理的情報を視覚化する図形を入れると、図形が小さすぎるか重なり合うかになって、十分な視覚化が実現できない。そのため、この表示形態の場合には、割当表示算定部４１７は、各ユーザの発話状況示す画像の表示位置及び方向に代えて、各グループの会話の活性度合いを写像した色情報を出力する。

画面表示部４１８は、各グループに対応する色情報を基に各グループの会話活性度を比較表示する。図２３では、画面表示部４１８は、グループ毎に最小円Ｃの範囲に、色情報の示す色を表示することで、各グループの会話活性度を彩度あるいは色相などにより視覚化している。
また、画面表示部４１８は、操作者の操作により、図２２に示す画面と図２３に示す画面とを切り替えて表示しても良い。
２．３音声情報解析部５の動作
図２７及び図２８は、音声情報解析部５の動作を示すフローチャートである。以下に図２７及び図２８を用いて、音声情報解析部５の動作について説明する。
なお、説明の便宜上、図２７に示す動作と図２８に示す動作とを個別の図面に記載したが、これらの２つ動作は、順次実行されても良いし、同時並行的に実行されるとしてもよい。また、操作者による選択操作を契機として、何れか一方の動作を行ってもよい。

時間領域情報解析部５０１は、データセンシング部１から取得した音声信号からパワー情報を算出する（ステップＳ２０１）。次に、時間領域情報解析部５０１はパワー情報の時系列での変化度合いに基づき、ユーザによる発話の始端及び終端を検出する（ステップＳ２０２）。
会話表示情報算定部５０３は、発話の始端から終端時刻までにおけるパワー値を、音声の大きさを示す尺度（例えば、扇形図形の半径の長さ、彩度）に写像変換する（ステップＳ２０４）。

会話表示情報算定部５０３は、ピッチ周波数を、始端から終端時刻までにおける声の高さを示す尺度（例えば、縞模様の間隔）に写像変換する（ステップＳ２１６）。また、スペクトル重心を、始端から終端時刻までにおける音声の音色を示す尺度（例えば色相など）に写像変換する。
続いて、会話表示情報算定部５０３は、写像変換後の音量、声の高さ、音色を示すデータを位置関係表示部４０へ出力する（ステップＳ２１８）。

（２）グループｍの会話活性度の解析
図２８は、音声情報解析部５による、グループｍの会話活性度の解析に係る動作を示している。ここでは、１個のグループに関する動作のみを図示しているが、音声情報解析部５は、同様の動作を、全てのグループについて、定期的に実行する。
ステップＳ２２０〜ステップＳ２３３の間、時間領域情報解析部５０１及び周波数領域情報解析部５０２は、グループｍに属する全てのユーザについて、ステップＳ２２１〜ステップＳ２３２の処理を繰り返す。ここでは、説明の便宜上、各ユーザについて繰り返すように記載しているが、全てのユーザについて、並行してステップＳ２２１〜ステップＳ２３２の処理を行うとしてもよい。

先ず、時間領域情報解析部５０１は、データセンシング部１から取得した音声データからパワー情報を逐次的に算出する（ステップＳ２２１）。続いてパワー情報の時系列的な変化度合いに基づき、ユーザによる発話の開始及び終端を検出する（ステップＳ２２２）。
次に、時間領域情報解析部５０１は、単位時間当たりの発声数に基づき発話頻度Ｎｃを算出する（ステップＳ２２３）。また、単位時間当たりの発声時間に基づき、発話時間率Ｒｓ及び標準偏差Ｓｒｓを算出する（ステップＳ２２４）。

周波数領域情報解析部５０２は、音声信号をＦＦＴにより解析し（ステップＳ２２６）、スケプトラム分析する（ステップＳ２２７）。次に、周波数領域情報解析部５０２は、解析結果を基に、ピッチ周波数を算出し（ステップＳ２２８）、スペクトル重心を算出する（ステップＳ２２９）。
次に、周波数領域情報解析部５０２は、時間領域情報解析部５０１により検出された始端から終端時刻の間のスペクトル分析に基づき、音声の種別（音声／歓声及び笑い声／無音）を判定する（ステップＳ２３１）。判定結果を基に、周波数領域情報解析部５０２は、単位時間当たりの歓声及び笑い声区間の頻度Ｎａを算出する（ステップＳ２３２）。

繰返しが終了すると（ステップＳ２３３）、時間領域情報解析部５０１は、各ユーザの発話頻度Ｎｃ及び発話時間率Ｒｓと、Ｒｓの標準偏差Ｓｒｓとを出力する。
また、周波数領域情報解析部５０２は、各ユーザの単位時間当たりの歓声及び笑い声区間の頻度Ｎａを出力する。
グループ会話活性度算定部５０４は、時間領域情報解析部５０１及び周波数領域情報解析部５０２から出力されたデータを基に、グループｍの会話活性度Ａｇ（ｍ）を算出する（ステップＳ２３６）。続いて、単位時間当たりのグループｍの会話活性度Ａｇ（ｍ）を彩度又は色相に写像変換する（ステップＳ２３７）。次に、グループ会話活性度算定部５０４は、変換により生成された彩度又は色相を示すデータを位置関係表示部４０へ出力する（ステップＳ２３８）。
３．実施の形態３
図２９は、実施の形態１と同様に各ユーザの位置、向きを基に所定の空間内に存在するグループをピックアップして表示し、さらに、ユーザ達の注目を集めている人（又は位置）、及び、注目の度合いを可視化して表示するシステムを示すブロック図である。

実施の形態３のシステムによると、ある領域（例えば１つの室内）に存在する複数のユーザをグループ化して表示すると共に、ユーザ達の注目がどこに集中しているかを一目で知ることができる。
このシステムを構成するデータセンシング部１、位置関係検出部２、ユーザグルーピング部３の構成及び動作は実施の形態１と同様であるので説明を省略し、本実施の形態の特徴部分を中心に説明する。
３．１注目度算定部６
注目度算定部６は、予め、各ユーザが装着しているセンサ（ここでは、カメラ）の左右の画角を記憶している。

次に、算出した注目度に応じて各位置をレベル分けする。注目度算定部６は、各ユーザの位置及び方向を取得するたびに、注目度算出及びレベル分けを随時実行する。
以下に注目度算定部６による注目度算出の手順及びレベル分けの手順について説明する。
＜注目度算出について＞
注目度算定部６は、取得した各ユーザの位置、向き及びカメラの画角から、注目度算出の対象となる所定の位置（以下、算出対象位置）を画角内に捉えているカメラを装着しているユーザを特定する。

上記の式３で、（ｘｕ，ｙｕ）は、時刻ｔにおけるユーザｕ３０４の位置座標、ａ，ｂ，ｃは、正の定数であり、−π＜θｕ＜πである。
ユーザａ、ｂ、ｃそれぞれについて、同様の演算を行い、Ｐａ（ｘ，ｙ）、Ｐｂ（ｘ，ｙ）、Ｐｃ（ｘ，ｙ）の和Ｐ（ｘ，ｙ）を、算出対象位置（ｘ，ｙ）３０６に対する注目度とする。

式４において、ｎは、算出対象位置３０６を画角内に捉えているカメラを装着しているユーザの総数（図３０（ａ）の例では３）、ｕは、算出対象位置３０６を画角内に捉えているカメラを装着しているユーザ付す番号（例えばｕ＝１はユーザａを指す）、ωｎは、ｎに応じて変動する変数である。
なお、算出対象位置（ｘ，ｙ）を撮影しているカメラが一台も存在しなければ（つまり、ｎ＝０であれば）、Ｐ（ｘ，ｙ）＝０となる。

上述した式３、式４及び式５は、一例であって、線分３０５の長さ及び角度θｕの絶対値が小さいほど、注目度が増加するような式であれば、他の演算式を用いても良い。
以上において説明した手順でｘ−ｙ平面上の各算出対象位置について、注目度Ｐ（ｘ，ｙ）を算出する。注目度算出対象となる位置、算出対象位置の総数及びその間隔は、予め定められている。例えば、原点及びｘ軸方向に０．２メートルおき、ｙ軸方向に０．２メートルおきに格子状に配置される各点を、算出対象位置とする。又は、ユーザが存在する領域（例えば室内）の広さや、ユーザ総数に応じて、随時、注目度の算出対象位置、間隔、算出対象位置の総数を算出しても良い。又は、当該システムの操作者により、算出対象位置の入力を受け付けるとしても良い。
＜レベル分けについて＞
注目度算定部６は、予め閾値ｔｈ１、ｔｈ２、ｔｈ３・・・（ｔｈ１＞ｔｈ２＞ｔｈ３・・・＞ｔｈｍｍは自然数）を記憶している。

割当表示算定部は、実施の形態１と同様に、位置関係検出部２及び、位置関係表示部７内の各機能部から受け取った情報を基に、各グループに割り当てる画面上の領域及び各グループの表示サイズ、表示位置を算定する。
さらに、割当表示算定部は、注目度算定部６から、各レベルにつき、レベル情報とそのレベル情報の示すレベルに属する位置を示す座標とを受け取る。

これらを受け取ると、割当表示算定部は、基準軸設定部により生成された変換行列を用いて、受け取った全ての座標を、ｘｙ座標系からＸＹ座標系に変換する。
次に、割当表示算定部は、各位置の画面上における表示位置を算出する。また、同一レベルに属する位置に対応する表示位置に同一の色を配色する。
画面表示部は、割当表示算定部が算定した表示位置に各グループのユーザ及び画面仕切を表示し、さらに、算出された表示位置に配色された色を表示する。

先ず、注目度算定部６は、位置関係検出部２から各ユーザの位置及び向きを示す情報を取得する（ステップＳ２５１）。
次に、ステップＳ２５２〜ステップＳ２５６の間、注目度算定部６は、全ての算出対象位置について、ステップＳ２５３〜ステップＳ２５４の処理を繰り返す。
注目度算定部６は、算出対象位置（ｘ，ｙ）を画角内に捉えているカメラを装着しているユーザを検出する（ステップＳ２５３）。検出した各ユーザの位置、向き、などを基に、注目度Ａ（ｘ，ｙ）を算出する（ステップＳ２５４）。

例えば、ユーザグルーピング部により検出されたグループの近傍を注目度算出の対象範囲としてもよい。この場合、例えば、注目度算定部６は、各グループについて、重心ｃ’を算出し、ｃ’を中心とし、グループに属するユーザ全てを含む最小円の半径ｒ’を算出する。
注目度算定部６は、グループの中心ｃ’から半径（ｒ＋ｎ）の範囲を注目度算出の対象範囲とする（ｎは、任意の定数であってもよいし、半径ｒやそのグループに属するユーザ数に応じて増減する変数であってもよい）。

注目度算定部６は、注目度算出の対象範囲内の任意の位置を注目度の算出対象位置とする。
（２）上記の実施の形態３では、注目度算定部６は、各算出対象位置を、算出された注目度により、複数のレベルにレベル分けし、その結果画面に表示される画像は、同レベルの算出対象位置に該当する部分が同一の色で表示されている。しかし、このように、離散的にレベル分けせずに、算出された注目度の値に比例して、表示される色の濃度や色彩が変化する構成であっても良い。

（３）上記の実施の形態３では、算出対象位置を撮影しているカメラの位置と算出対象位置の位置関係のみに従って、注目度を算出した。しかし、ユーザの存在する位置に注目が集まりやすいと仮定して、以下のような手順で注目度を算出しても良い。
実施の形態３において説明したＰ（ｘ，ｙ）に、算出対象位置（ｘ，ｙ）の近傍に存在するユーザによる影響を示す項Ｑ（ｘ，ｙ）を加えた値を注目度Ｅ（とする。

この場合、注目度算定部６は、１の算出対象位置（ｘ，ｙ）を、画角内に捉えているカメラを特定する。特定したカメラにより、前記算出対象位置と共に撮影されているユーザを特定する。
特定したユーザのうちの１人（ユーザｕ）が、算出対象位置（ｘ，ｙ）に与える影響Ｑｕは、例えば下記の式６により算出される。

ここで、（ｘｕ，ｙｕ）は、ユーザｕの位置を示す座標、φｕは、ユーザｕの向きと、ユーザｕの位置から位置（ｘ，ｙ）への向きとの間の角度である（−π＜φｕ＜π）。また、ｄ、ｅ、ｆは正の定数である。
次に、注目度算定部６は、特定した全てのユーザが、算出対象位置（ｘ，ｙ）に与える影響Ｑ（ｘ，ｙ）を、下記の式７により算出する。

ここで、式７において、ｍは、前記算出対象位置（ｘ，ｙ）と共に撮影されたユーザの総数、ｕは、前記算出対象位置と共に撮影されているユーザを計数する変数、ωｍは、ｍによって変動する変数である。
なおｍ＝０の場合はＱ（ｘ，ｙ）＝０である。
次に、注目度算出部６は、上記の式により求めたＰ及びＱから算出対象位置（ｘ，ｙ）における注目度Ｅ（ｘ，ｙ）を算出する。

（４）上記の実施の形態３では、注目度算定部６は、座標平面状の各位置について注目度を算出したが、室内に存在する各ユーザが、他のユーザからどの程度注目されているかを示す値として注目度を算出しても良い。
この場合、算出対象位置は、各ユーザの位置となる。
従って、１のユーザｊ（算出対象ユーザ）に対する注目度Ｅ（ｘｊ，ｙｊ）は、上記の式４に算出対象ユーザｊの位置座標（ｘｊ，ｙｊ）を代入すればよい。

続いて、注目度算定部６は、算出した注目度Ｅｊと所定の閾値Ｔｈとを比較し、Ｅｕ≧Ｔｈを満たす場合、算出対象ユーザｊを示すユーザ識別情報を位置関係表示部７へ出力する。
位置関係表示部７内の割当表示算定部は、注目度算定部６からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとは形状や大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。

（５）上記の実施の形態３及び変形例では、算出対象ユーザは所定の位置に止まっているとして、注目度を算出した。しかし、注目度は時間的に蓄積されるものと仮定して、移動する算出対象ユーザｊの注目度を算出しても良い。
例えば、図３３に示すように、算出対象ユーザｊは、位置５３２から位置５３３を通過し、位置５３４へ移動している。

位置５３１にいるユーザｉは、算出対象ユーザｊに注目しており、算出対象ユーザｊの移動に合わせて体の向きを方向５３６、方向５３７、方向５３８へと変えている。直線５３９及び５４０は、ユーザｊが位置５３４に存在する時刻において、ユーザｉの装着しているカメラの撮影可能範囲を示している。
このように、算出対象ユーザｊが移動している場合、算出対象ユーザｊに対するの他のユーザの注目度Ｅｊは、一例として、下記の式９により算出される。

式９において、変数ｎは算出対象ユーザｊに注目している、より正確には画角内に算出対象ユーザｊを捉えているカメラを装着しているユーザの総数であり、ｔｉｊは撮影側のユーザｉのカメラの画角内に算出対象ユーザｊが入った時刻である。ωｎは、変数ｎによって定まる任意の定数である。
このようにすることで、注目度算定部６は、算出対象ユーザｊが移動していてもその算出対象ユーザｊに対する他のユーザの注目度を算出することができる。

続いて、注目度算定部６は、算出した注目度Ｅ（ｊ）と所定の閾値Ｔｈとを比較し、Ｅ（ｊ）≧Ｔｈを満たす場合、被写体ユーザｊを示すユーザ識別情報を位置関係表示部７へ出力する。
位置関係表示部７内の割当表示算定部は、注目度算定部６からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとはや大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。
４．その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の実施の形態１−３及びその変形例において、位置関係表示部は、以下のような機能を備えていても良い。
タッチパネル、マウス、キーボードなどの入力部を含んでおり、操作者による操作を受け付ける。例えば、画面表示部に、各グループが表示されている状態で、何れかのユーザを選択する操作がなされると、割当表示算定部は、データセンシング部から、選択されたユーザの装着しているカメラの撮影した画像を取得し、画面表示部へ出力する。画面表示部は、取得した画像を現在表示中の画面上にポップアップ表示する。

（２）また、上記の変形例（１）に加えて、他のユーザの装着しているカメラにより撮影された画像のうち、操作者により選択されたユーザを捉えている画像を表示してもよい。
具体的には、割当表示算定部は、各ユーザの位置、向き、カメラの画角から、選択されたユーザを画角内に捉えているカメラを装着しているユーザを特定する。次に、割当表示算定部は、データセンシング部から特定したユーザの装着しているカメラにより撮影された画像を取得し、画面表示部へ取得した画像を出力する。画面表示部は表示中の画面上に、取得した画像をポップアップ表示する。

（３）上記の変形例（１）、（２）において、選択されたユーザに関する画像をポップアップ画面に表示するとしたが、この方法に限定されるものではない。
例えば、画面表示部が、複数の表示デバイスを備えている場合や、１画面内で、分割表示が可能な場合、１つの表示デバイス（又は１つの表示領域）にグルーピングされた各ユーザの位置を表示し、他の表示デバイス（又は他の表示領域）に選択されたユーザに関する画像を表示しても良い。

（４）図３６は、実施の形態１〜３及び変形例において説明したシステムを搭載した装置の一例である端末装置１０００の外観を示している。
端末装置１０００は、具体的には、マイクロプロセッサ、ＲＡＭ、ＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ、ＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、端末装置１０００は、その機能の一部を達成する。

端末装置１０００は、ディスプレイ１００１、入力部１００２及び通信部１００３を備えている。
ディスプレイ１００１は、画面表示部を構成する表示デバイスであり、各種の画面を表示する。
入力部１００２は、操作者により操作される各種のボタンを含んで構成される。

通信部１００３は、無線通信機構を備え、各ユーザの装着しているセンサからデータを収集する。通信部１００３は、上記のデータセンシング部の機能を担う。
また、内部に搭載されたマイクロプロセッサ及びコンピュータプログラムにより、上記の位置関係検出部、ユーザグルーピング部、音声情報解析部、注目度算定部、位置関係表示部の機能が実現される。

なお、端末装置１０００は、システムの一部の機能のみを搭載していてもよい。例えば、データセンシング部及び位置関係検出部は、別途、検出機器に搭載されており、端末装置１０００は、通信部１００３を介して、検出機器から、各ユーザの位置情報など、各種の情報を取得し、解析及び画面表示を行う機器であっても良い。
また、端末装置１０００は、このシステムの専用機器である必要はなく、例えば、携帯電話、携帯ゲーム機、ＰＤＡなどであってもよい。

（５）また、図３７は、上記の実施の形態及び変形例において説明したシステムを実現する機器構成の別の例を示している。
この例では、システムは、ＳＴＢ（ＳｅｔＴｏｐＢｏｘ）デバイス２００１と、ＴＶデバイス２００２と、図示しないコントローラ、データセンシング装置から構成される。

図示していないデータセンシング装置は、データセンシング部の機能を備え、各ユーザの装着しているセンサから画像データ、音声データなどを取得する。取得したデータを有線又は無線通信により、ＳＴＢデバイス２００１へ出力する。
ＳＴＢデバイス２００１は、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、コンポ等である。ＳＴＢデバイス２００１は、具体的には、マイクロプロセッサ、ＲＡＭ、ＲＯＭを含んで構成されるコンピュータシステムであって、ＲＡＭ、ＲＯＭにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、ＳＴＢデバイス２００１は、その機能の一部を達成する。

ＳＴＢデバイス２００１は、上記の実施の形態において説明したシステム内の位置関係検出部、ユーザグルーピング部、音声情報解析部、注目度算定部、及び、位置関係表示部内の大部分の機能を備える。
ＴＶデバイス２００２は、ＰＤＰ、ＬＣＤ等であり、前記ＳＴＢと接続ている。位置関係表示部内の画面表示部の機能を担っており、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等を表示する。

（６）上記の実施の形態及び変形例では、室内など所定の領域に存在するユーザ、つまり人間を対象としてグルーピング及び、位置関係の表示をする技術について説明してきたが、人間に限らず、自動車や自転車といった移動機器、放牧されている家畜、野生の動物などを対象としても良い。
（７）また、本発明は、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピング手段と、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示手段とを備えることを特徴とするユーザ関係表示装置である。

（９）上記の変形例（８）ユーザ関係表示装置を構成するユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの関係が把握できる形態で、画面上に各グループを配置して表示するとしてもよい。
（１０）上記の変形例（７）又は（８）のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの関係が把握できる形態で、画面上においてグループ同士を区分けする仕切りを表示するとしてもよい。

（１１）上記の変形例（７）又は（８）の前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に応じて、画面上において各グループに割り当てる領域サイズを設定することを特徴とするとしてもよい。
（１２）上記の変形例（７）又は（８）のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの各グループ同士の実サイズ比較が把握できる情報を表示するとしてもよい。

（１４）上記の変形例（１３)のユーザ関係表示装置を構成する前記音声情報解析手段は、複数ユーザが発声する音声情報に対して、各発声の時間領域情報、周波数領域情報を分析し、さらに、これらの情報を元に各グループ毎の会話活性度を算出するとしてもよい。
（１５）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出されたグループに属する各ユーザの会話の物理的特徴とその時間的変化状況を視覚的に把握できる形態で、画面上に表示するとしてもよい。

（１６）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの大局的な会話活性度が視覚的に比較できる形態で画面上に表示するとしてもよい。
（１７）上記の変形例（１３)又は（１４）に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に応じて、画面上において各グループに割り当てる領域サイズを設定し、画面上の会話状況の表示形態を選択するとしてもよい。

これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性として有り得る。
（２９）上記のシステムを構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（３０）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（３１）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

Claims

複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、
各対象物の位置を示す位置情報を取得する取得手段と、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類手段と、
前記位置情報を用いて１のグループと他のグループとのグループ間の位置関係を算出する算出手段と、
前記表示画面を規定する基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定手段と、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示手段と
を備えることを特徴とする表示装置。
前記算出手段は、少なくとも２つのグループの位置を示すグループ位置を求め、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを算出し、
前記決定手段は、前記基準軸に対して、算出された傾きを有する前記仕切り線を決定する
ことを特徴とする請求項１に記載の表示装置。
前記決定手段は、グループの大きさに応じた面積を、そのグループに対応する領域が有するように、前記しきり線を決定する
ことを特徴とする請求項１に記載の表示装置。
前記算出手段は、１のグループと他のグループとのグループ間の距離を含む前記位置関係を算出し、
前記決定手段は、算出された距離に応じた幅を有する前記しきり線を決定する
ことを特徴とする請求項３に記載の表示装置。
前記表示手段は、グループに属する対象物の位置関係を、グループ毎に異なる縮小率で表示し、
前記表示手段は、さらに、各表示領域に、各グループの縮小率を示す情報を表示する
ことを特徴とする請求項３に記載の表示装置。
前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満である２つ以上の対象物を同一のグループに分類する
ことを特徴とする請求項１に記載の表示装置。
前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、
前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満であって、前記向き情報の示す向きの延長線が交差する２つの対象物を同一のグループに分類する
ことを特徴とする請求項１に記載の表示装置。
前記表示装置は、さらに、
各対象物の発する音声を取得する音声取得手段と、
取得した音声を時間領域及び周波数領域において解析する音声情報解析手段とを備え、
前記表示手段は、さらに、前記音声情報解析手段による解析結果を基に生成した画像を、前記表示画面上において、各グループに属する対象物の位置関係を表示している位置に表示する
ことを特徴とする請求項１に記載の表示装置。
前記音声解析手段は、取得した音声から、各対象物の発する音声の特徴を抽出し、抽出した音声の特徴を前記解析結果として生成し、
前記表示手段は、各対象物の発する音声の特徴を示す画像を、対応する対象物の前記表示画面上における位置に表示する
ことを特徴とする請求項８に記載の表示装置。
前記音声解析手段は、前記音声を用いて、各グループに属する対象物間の会話の活発さを示す会話活性度を、前記解析結果として生成し、
前記表示手段は、前記会話活性度を示す画像を、対応するグループの前記表示画面上における位置に表示する
ことを特徴とする請求項８に記載の表示装置。
前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、
前記表示装置は、さらに、
前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、
前記方向情報の示す向きと、前記位置情報の示す位置から前記算出対象位置までの距離を基に、前記注目度を算出する注目度算定手段を備え、
前記表示手段は、さらに、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示する
ことを特徴とする請求項１に記載の表示装置。
前記複数の対象物は、カメラを有しており、
前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、
特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど
大きな値となるように前記注目度を決定する
ことを特徴とする請求項１１に記載の表示装置。
前記算出対象位置取得手段は、前記複数の対象物のうち、１の対象物の位置を前記算出対象位置として取得する
ことを特徴とする請求項１１に記載の表示装置。
前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する画面上の位置を強調表示する
ことを特徴とする請求項１１に記載の表示装置。
前記表示手段は、さらに、
位置情報の取得、前記複数の対象物の分類、仕切り線の決定、しきり線及び各グループの位置関係の表示を、それぞれ、前記取得手段、前記分類手段、前記算出手段、前記決定手段及び前記表示手段に、繰り返させる繰返制御手段を備える
ことを特徴とする請求項１に記載の表示装置。
複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置において用いられる表示方法であって、
各対象物の位置を示す位置情報を取得する取得ステップと、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類ステップと、
前記位置情報を用いて１のグループと他のグループとのグループ間の位置関係を算出する算出ステップと、
前記表示画面の一辺に平行な基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定ステップと、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示ステップと
を含むことを特徴とする表示方法。
複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置において用いられる表示プログラムであって、
各対象物の位置を示す位置情報を取得する取得ステップと、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類ステップと、
前記位置情報を用いて１のグループと他のグループとのグループ間の位置関係を算出する算出ステップと、
前記表示画面の一辺に平行な基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定ステップと、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示ステップと
を含むことを特徴とする表示プログラム。
複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、
各対象物の位置を示す位置情報及び向きを示す向き情報を取得する前記取得手段と、
前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、
前記位置情報の示す位置と前記方向情報の示す向きとを基に、前記算出対象位置における前記注目度を算出する注目度算定手段と、
前記複数の対象物間の位置関係を表示し、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示する前記表示手段と
を備えることを特徴とする表示装置。
前記複数の対象物は、カメラを有しており、
前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、
特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど
大きな値となるように前記注目度を決定する
ことを特徴とする請求項１８に記載の表示装置。
前記算出対象位置取得手段は、前記複数の対象物のうち、１の対象物の位置を前記算出対象位置として取得する
ことを特徴とする請求項１８に記載の表示装置。
前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示する
ことを特徴とする請求項１８に記載の表示装置。