JP5236631B2 - 表示装置、表示方法、表示プログラム - Google Patents
表示装置、表示方法、表示プログラム Download PDFInfo
- Publication number
- JP5236631B2 JP5236631B2 JP2009514008A JP2009514008A JP5236631B2 JP 5236631 B2 JP5236631 B2 JP 5236631B2 JP 2009514008 A JP2009514008 A JP 2009514008A JP 2009514008 A JP2009514008 A JP 2009514008A JP 5236631 B2 JP5236631 B2 JP 5236631B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- group
- positional relationship
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000004364 calculation method Methods 0.000 claims description 284
- 238000004458 analytical method Methods 0.000 claims description 121
- 238000005192 partition Methods 0.000 claims description 50
- 230000000694 effects Effects 0.000 claims description 42
- 230000009467 reduction Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 62
- 230000004048 modification Effects 0.000 description 28
- 238000012986 modification Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0202—Addressing of scan or signal lines
- G09G2310/0221—Addressing of scan or signal lines with use of split matrices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Biophysics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Digital Computer Display Output (AREA)
Description
また、ユーザが偏在している1つの領域のみを表示すると、その領域に存在するユーザの位置関係は視認し易くなるが、他の領域に存在するユーザの位置関係は、表示できないため、全ユーザの位置関係を把握することができなくなるという問題がある。
ここで、上記の表示装置は、例えば、図36及び図37に示すような機器が該当する。また、上記の「対象物」は、下記の実施の形態及び変形例にて説明する「ユーザ」、つまり人間であってもよいし、自動車や自転車などの移動機器でもよいし、家畜又は野生動物などであってもよい。「取得手段」は、下記の実施の形態1におけるデータセンシング部1及び位置関係検出部2がその機能を担う。また、「分類手段」は、ユーザグルーピング部3がその機能を担う。「算出手段」は、基準軸設定部401、グループ情報解析部402及びグループ間関係解析部403がその機能を担う。また、「決定手段」は、画面割当比率算定部404、画面配置位置算定部405及び画面仕切算定部406がその機能を担う。「表示手段」は、割当表示算定部407及び画面表示部408がその機能を担う。
この構成によると、前記しきり線は、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを有しているので、グループ間の位置関係を、より正確に視認することができる。
この構成によると、各グループに割り当てられた面積から、容易に各グループの大きさを視認できる。ここで、「グループの大きさ」とは、グループに属する対象物の数であってもよいし、グループに属する対象物が現実に存在する領域の面積(例えばそのグループに属する全ての対象物を包含する最小円や最小円の半径)であってもよい。
この構成によると、表示されたしきり線の幅からグループ間の距離を容易に視認できる。
この構成によると、表示画面上に表示された各グループの縮尺が異なる場合にも、各グループのサイズの違いを容易に視認できるという優れた効果を奏する。
この構成によると、互いに近い位置に存在する複数対象物をひとつのグループに分類することができるので、離れた位置に複数の対象物が偏在する場合に、各グループを構成する対象物の位置関係を明確に表示できるという優れた効果を奏する。
この構成によると、対象物間の距離のみならず、向き情報も用いて分類を行うので、相互に向き合っている会話集団などを抽出することができる。
また、前記音声解析手段は、取得した音声から、各対象物の発する音声の特徴を抽出し、抽出した音声の特徴を前記解析結果として生成し、前記表示手段は、各対象物の発する音声の特徴を示す画像を、対応する対象物の前記表示画面上における位置に表示する。
また、前記音声解析手段は、前記音声を用いて、各グループに属する対象物間の会話の活発さを示す会話活性度を、前記解析結果として生成し、前記表示手段は、前記会話活性度を示す画像を、対応するグループの前記表示画面上における位置に表示するとしてもよい。
また、前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、前記表示装置は、さらに、前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、前記方向情報の示す方向と、前記位置情報の示す位置から前記算出対象位置までの距離を基に、前記注目度を算出する注目度算定手段を備え、前記表示手段は、さらに、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示することを特徴とする。
また、前記複数の対象物は、カメラを有しており、前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど大きな値となるように前記注目度を決定するとしてもよい。
また、前記算出対象位置取得手段は、前記複数の対象物のうち、1の対象物の位置を前記算出対象位置として取得するとしてもよい。
また、前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示するとしてもよい。
この構成によると、前記複数の対象物から大きな注目を集めている位置を明確に表示することができる。
この構成によると、各グループ間の位置関係の変化、及び、グループ内での各対象物の位置関係の変化を時系列で視認することができる。
また、前記複数の対象物は、カメラを有しており、前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど大きな値となるように前記注目度を決定するとしてもよい。
また、前記算出対象位置取得手段は、前記複数の対象物のうち、1の対象物の位置を前記算出対象位置として取得するとしてもよい。
また、前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示するとしてもよい。
この構成によると、前記複数の対象物から大きな注目を集めている位置を明確に表示することができる。
1.実施の形態1
図1は、本発明の実施の形態1において、センシングデータから複数ユーザ同士の位置関係を検出し、検出した位置関係に応じて位置関係を表示するシステム構成を示す図である。図1に示すようにこのシステムは、データセンシング部1、位置関係検出部2、ユーザグルーピング部3及び位置関係表示部4から構成される。
1.1 位置関係検出部2
データセンシング部1によりセンシングされたデータに基づき、複数ユーザ同士の位置関係を検出し、検出した複数ユーザ同士の位置関係に関する情報を、ユーザグルーピング部3及び位置関係表示部4へ出力する。
図2は、位置関係検出部2により検出された複数ユーザ(a〜i)同士の位置関係に関する情報に基づいて、複数ユーザ(a〜i)同士の位置関係の例を図示したものである。
また、別の例としては、位置関係検出部2は、図2に示されたユーザのうち1人のユーザ(例えばユーザa)の位置を原点とし、ユーザaの向いている方向をx軸、x軸を90度回転させた方向をy軸とするx−y座標平面を仮定し、x−y座標平面上の各ユーザの座標(xa,ya)、(xb,yb)、(xc,yc)・・・・(xi,yi)を算出し、各ユーザを示す識別情報と算出したこれらの座標と、仮定したx軸及びy軸に関する情報とを、複数ユーザ同士の位置関係に関する情報として出力してもよい。
また、各ユーザの装着しているセンサが、GPS信号受信機能を搭載していれば、各ユーザの存在する位置の緯度経度を算出し、算出した緯度経度を前記複数ユーザ同士の位置関係に関する情報として出力してもよい。
1.2 ユーザグルーピング部3
図3は、位置関係検出部2により図2に示すような複数ユーザ同士の位置関係に関する情報が検出された場合に、ユーザグルーピング部3がその情報を入力として算出したグルーピング結果の例を示す図である。点線で囲われたユーザ郡が1つのグループG(GαとGβ)を表している。ここで、前記複数ユーザのグルーピングは、前記位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報に基づき、前記ユーザのクラスタリング等の処理をすることで算出される。例えば、対象x1とx2の間の距離をD[x1,x2](例えば、ユーザu1とユーザu2の間の距離はD[x1,x2]、クラスタC1とクラスタC2の間の距離はD[C1,C2])として、以下(1)〜(3)のような階層的クラスタリングによる処理により、各グループを抽出する。
(2)この状態から始めて、クラスタ間の距離D[C1,C2]を計算し、最もこの距離の近い2つのクラスタを逐次的に併合する。
(3)クラスタ間の距離D[C1,C2]が所定値(もしくは、対象となる複数ユーザ間の距離D[u1,u2]の平均等に対応して設定される値、もしくは、対象となる複数ユーザ全員で占める総サイズに対応して設定される値、等々)以上になった時点で、上記(2)の処理を終了し、その時点での最終的なクラスタCをグループG(図3の例では、GαとGβ)とする。
尚、グルーピング手法は、この方法に限らない。
続いて、ユーザグルーピング部3は、抽出したグループに関する情報、具体例としては、各グループに対応する識別情報、各グループに属するユーザの識別情報(例えば、Gα={a,b,c,d,e}、Gβ={f,g,h,i}といったデータ)を位置関係表示部4へ出力する。
1.3 位置関係表示部4
図4は、位置関係表示部4の内部構成を示す図である。位置関係表示部4は、基準軸設定部401、グループ情報解析部402、グループ間関係解析部403、画面割当比率算定部404、画面配置位置算定部405、画面仕切算定部406、割当表示算定部407、画面表示部408から構成される。以下に、位置関係表示部4内の各構成にて為される処理について、図4及び図5を用いて説明する。
基準軸設定部401は、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報に基づき、位置付けを規定するための軸を設定する。例えば図5に示すように、平面上における位置付けを規定するためのX軸Y軸を設定する。
例えば、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報が、緯度経度と対応付けられている状態等、地図上にマッピングされた状態であった場合、東方向をX軸、北方向をY軸等といったように軸を設定してもよい。この場合、各ユーザの緯度経度をX−Y座標平面上の座標に変換する変換行列、又は、変換式生成する。
(2)グループ情報解析部402
グループ情報解析部402は、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報と、ユーザグルーピング部3により抽出されたグループに関する情報と、基準軸設定部401により生成された変換行列又は変換式に基づき、各グループに関する情報を解析する。
(3)グループ間関係解析部403
グループ間関係解析部403は、グループ情報解析部402により解析された各グループに関する情報(図5の例では、cαとcβ、rαとrβ、各グループのユーザ数など)に基づき、グループ間の関係に関する情報を解析する。
また、上記に限らず、グループG1とG2(図5の例では、GαとGβ)の中心c1とc2(図5の例では、cαとcβ)間を結ぶ線L12の長さなどその他のデータを解析しても良い。
画面割当比率算定部404は、グループ情報解析部402により解析された各グループに関する情報(図5の例では、cαとcβ、rαとrβ、各グループのユーザ数など)に基づき、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループに割り当てる画面領域の面積比率を算定する。例えば、画面に表示する際の各グループGに割り当てる領域の面積比率が、各グループGでの重心cを中心として属するユーザuの座標位置を包含する最小円C(図5の例では、CαとCβ)の半径r(図5の例では、rαとrβ)の比率(図5の例では、rα:rβ)、または面積の比率となるように設定する。もしくは、各グループGに属するユーザuの数の比率(図5の例では、5:4)となるように設定しても良い。
画面配置位置算定部405は、グループ間関係解析部403により解析されたグループ間の関係に関する情報に基づき、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループの画面配置位置を算定する。例えば、画面に表示する際のグループG1とG2の配置位置関係が、グループG1とG2(図5の例では、GαとGβ)の中心c1とc2(図5の例では、cαとcβ)間を結ぶ線L12(図5の例では、Lαβ)の傾きΘ12(図5の例では、Θαβ)が−45°〜45°または135°〜225°の場合は左右に並ぶように設定し、−135°〜−45°または45°〜135°の場合は上下に並ぶように設定する。図5の例では、0<Θαβ<45°であるので、画面配置位置算定部405は、画面上においてGαが左でGβが右に並ぶように設定する。
画面仕切算定部406は、グループ間関係解析部403により解析されたグループ間の関係に関する情報と画面割当比率算定部404により算定された各グループに割り当てる画面領域の面積比率と画面配置位置算定部405により算定された各グループの画面配置位置に基づき、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報を画面に表示する際の、各グループ間を仕切る仕切り線(以下、画面仕切と呼称)の表示位置や太さなどを決定する。
(7)割当表示算定部407
割当表示算定部407は、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報と基準軸設定部401により設定されたX軸Y軸と画面割当比率算定部404により算定された各グループに割り当てる画面領域の面積比率と画面配置位置算定部405により算定された各グループの画面配置位置と画面仕切算定部406により算定された画面仕切に関する情報を取得する。
例えば、各グループGの重心cを中心として属するユーザuの座標位置を包含する最小円C(図5の例では、CαとCβ)がある程度のゆとりを持って、各グループに割り当てられた画面領域内に収まるように、画面上における各グループのユーザの表示位置及び表示サイズを算出する。このとき、同一グループに属するユーザの相対的位置関係が保持されるように、各ユーザの表示位置を算出する。
画面表示部408は、液晶画面などの表示機構と、スピーカとを含んで構成される。
画面表示部408は、割当表示算定部407により算定された画面表示方法に基づき、各グループに属するユーザ及びグループ間の画面仕切を表示する。また、図示していないが、位置関係表示部4は、タッチパネル、各種の入力キーなど操作者の操作を受け付ける入力部を備えている。画面表示部408は、各ユーザが装着・搭載したセンサがセンシングしたデータ(画像、音声等)をリンケージしておき、画面表示部408に、グループごとに、そのグループに属するユーザの位置が表示されている状態で、入力部を介して、表示された各ユーザ位置がポイントされると各センシングデータを再生したりポップアップしたりするような視聴UIを構築する。
1.4 システムの動作
以下に、図11及び図12に示すフローチャートを用いて、本実施の形態のシステム全体の一連の動作について説明する。なお、ここでは、一例として、既知の位置に設置されているセンサはなく、各ユーザが装着しているセンサの検出したデータを基に画面表示を行う場合について説明する。
位置関係検出部2は、受け取ったデータを基に各ユーザの相対位置を検出する(ステップS102)。検出した相対位置と、各ユーザを示す識別情報とを、対応付けて、ユーザグルーピング部3と位置関係表示部4へ出力する。ここでは、一例として、ユーザaの位置を原点とした座標平面上における各ユーザの位置、a(xa,ya)、b(xb,yb)、c(xc,yc)・・・を出力する。
これらを受け取ると、グループ情報解析部402は、先ず、変換行列を用いて、各ユーザの相対位置を、X−Y座標系の座標に変換する(ステップS106)。次に、グループ情報解析部402は、変換後の各ユーザの座標a(Xa,Ya)、b(Xb,Yb)、c(Xc,Yc)・・・と、受け取ったグループ構成情報Gα={a,b,c,d,e,}及びGβ={f,g,h,i,j}とを基に、XY座標系における、各グループの重心cαとcβとを算出する(ステップS107)。また、グループ情報解析部402は、各グループについて、重心を中心とし、そのグループに属するユーザ全てを含む最小円の半径(rα及びrβ)を算出する(ステップS109)。また、グループ情報解析部402は、各グループに属するユーザ数を計数する(ステップS111)。続いて、グループ情報解析部402は、各ユーザの識別情報と変換後の各ユーザの座標(具体的には、a(Xa,Ya)、b(Xb,Yb)、c(Xc,Yc)・・・)、算出した重心cαとcβの座標、半径rα、rβ、各グループのユーザ数、及び受け取ったグループ構成情報Gα={a,b,c,d,e,}及びGβ={f,g,h,i,j}を、グループ間関係解析部403及び画面割当比率算定部404へ出力する。
続いて、グループ間関係解析部403は、算出した線分Lαβの傾き、線分Lαβの垂線の傾きを画面配置位置算定部405へ、線分Lαβの長さを画面仕切算定部406及び出力する。
これらを受け取ると、画面割当比率算定部404は、画面上において各グループに割り当てられる表示領域の面積比率(Gα:Gβ)を決定し(ステップS116)、決定した面積比率を画面仕切算定部406へ出力する。また、受け取った各ユーザの識別情報と各ユーザの座標a(Xa,Ya)、b(Xb,Yb)、c(Xc,Yc)・・・、重心cαとcβの座標、半径rα、rβ、各グループのユーザ数、グループ構成情報Gα={a,b,c,d,e,}及びGβ={f,g,h,i,j}と、算出した面積比率Gα:Gβを割当表示算定部407へ出力する。
1.5 実施の形態1の補足及び変形例
(1)上記(図2〜3、図5〜8で示す例)においては、画面配置位置算定部405により算定された各グループの画面配置位置関係が左右(Θαβが−45°〜45°または135°〜225°)になるような例にて説明したが、例えば図11に示すように、画面配置位置算定部405により算定された各グループの画面配置位置関係が上下(Θαβが−135°〜−45°または45°〜135°)となるような場合には、位置関係表示部4により表示される表示形態の例は図12に示すようになる(実際には表示されないが、説明のための補足線等も明示している)。ここで、図12に示す画面上における位置付けを規定するためのx軸y軸は、それぞれ図11に示す平面上における位置付けを規定するためのX軸Y軸と同方向としている。図12に示す画面領域RαとRβは、x軸y軸に基づいて、画面仕切pαβにより、画面割当比率算定部404により算定された各グループに割り当てる画面領域サイズの比率と画面配置位置算定部405により算定された各グループの画面配置位置になるように設定される。また、画面仕切pαβのx軸y軸に基づく傾きφαβは、画面仕切算定部406により、図11に示す線PαβのX軸Y軸に基づく傾きΦαβと同値となるように設定される。更に、画面領域Rα、Rβに、それぞれ対応するグループGα、Gβに属するユーザ同士の位置関係に関する情報(Cα、Cβ)が、ある程度のゆとりを持って収まるようなサイズで表示される。
例えば、図15は、ユーザa〜iの位置関係と、それぞれのユーザの体の向きを示している。図中の矢印が、各ユーザの向きを示す。このような例では、複数ユーザ同士の向き関係や会話情報(会話のタイミング、会話相手の認識)等も活用すれば、複数ユーザ同士の位置関係だけからでは抽出できないグループを抽出できる。図16は、図15に示す複数のユーザを、位置関係のみならず各ユーザの向きなどを基に抽出された、コミュニケーション等のグループGαとGβを示している。グルーピングの後、図16に示すように、位置関係表示部4により上記と同様の処理を施すことで、図17に示すような表示形態で複数ユーザ同士の位置関係が画面に表示される(実際には表示されないが、説明のための補足線等も明示している)。
ユーザグルーピング部3は、受け取った各ユーザ位置関係の情報の向きに関する情報を基に、グルーピングを行う。具体的には、上記のクラスタリングの条件として、距離が所定値以下であることに加えて、ユーザの位置を起点としユーザの向きの方向へ引いた線分が所定の閾値未満の長さで他のユーザの線分と交差することを加える。
(5)上記においては、一時的な複数ユーザ同士の位置関係を表示する例を用いて説明したが、データセンシング部1により位置関係を検出するためのデータを連続的にセンシングし、位置関係検出部2により、データセンシング部1により連続的にセンシングされたデータに基づき複数ユーザ同士の位置関係を連続的に検出し、ユーザグルーピング部3により、位置関係検出部2により検出された複数ユーザ同士の位置関係に関する情報に基づき前記複数ユーザをグループに逐次的にグルーピングし、位置関係表示部4により、位置関係検出部2により連続的に検出された複数ユーザ同士の位置関係に関する情報とユーザグルーピング部3により逐次的に抽出されたグループに関する情報に基づき画面上に各グループを配置して表示する、といったように、連続的な複数ユーザ同士の位置関係を動的に表示するとしてもよい。
2. 実施の形態2
図18は、本発明の実施の形態2のシステム構成を示す。実施の形態2に係るシステムは、実施の形態1において説明した各構成要素に加えて音声情報解析部を含む。また、各ユーザの装着しているセンサには、マイクが含まれる。装着者の音声のみをできるだけ確実に検出するため、各ユーザは、例えば指向性マイクロホンを口元に向けて装着している。また、装着者の音声以外の雑音を抑制するなどの信号処理機能を備えていても良い。
以下、実施の形態2の特徴部分である音声情報解析部5を中心に、詳細に説明する。
2.1 音声情報解析部5
図19は、音声情報解析部5の内部構成を示す図である。図19に示すように、音声情報解析部5は、時間領域情報解析部501、周波数領域情報解析部502、会話表示情報算定部503、グループ会話活性度算定部504で構成される。以下に各構成要素について説明する。
(1)時間領域情報解析部501
時間領域情報解析部501は、各ユーザについて、そのユーザが発声する音声の大きさを表現するパワー情報を逐次算出すると共に、パワー情報の時系列的な変化から、発話の始端および終端の検知も同時に行う。算出したパワー情報と、発話の始端及び終端を示す情報を会話表示情報算定部503へ出力する。
(2)周波数領域情報解析部502
周波数領域情報解析部502は、ユーザ毎に発話音声の声の高さを表現するピッチ周波数と、発話音声の音色と相関のあるスペクトル重心とを定期的に算出する。
次に、周波数領域情報解析部502は、算出したピッチ周波数とスペクトル重心とを会話表示情報算定部503へ出力する。
また、周波数領域情報解析部502は、逐次的に、各ユーザの音声情報を分析することで、音声/歓声・笑い声/無音の判別を行い、単位時間あたりの歓声・笑い声区間の頻度Naを算出する。各ユーザについて算出した歓声・笑い声区間の頻度Naをグループ会話活性度算定部504へ出力する。
会話表示情報算定部503は、先に時間領域情報解析部501と周波数領域情報解析部502で求めた各ユーザの音声の物理的特徴量(パワー情報、発話の始端及び終端を示す情報、ピッチ周波数及びスペクトル重心)をもとに、各ユーザの発話の状態画を面上に視覚的に表示する情報を算定する。
図24は、声の大きさを視覚的に表現する一例を示すもので、図24(i)の矢印は、ユーザaの向きを示すものであり、図24(ii)、(iii)、(iv)の扇形の図形部分は、ユーザaが発声する声の方向と大きさを表現するものである。図24において、(i)は無音状態を示している。図24の(ii)、(iii)、(iv)は、発声する音声の大きさを扇形図形のサイズにより示しており、扇形図形が大きいほど、音声が大きい。
なお、ここでは、音声の大きさをパワー情報により示しているが、それ以外に例えば平均振幅値を利用してもよい。
図26は、声の高さを視覚的に表現した例を示す。図26の(i)、(ii)、(iii)はそれぞれ、ユーザa、b、cの発した音声のピッチ周波数を扇形図形の縞模様の間隔により表現している。ここでは、一例として、縞模様の間隔が狭いほど、ピッチ周波数が大きいことを示している。つまり、3人のユーザのうち、図26(i)に示すユーザaの音声のピッチ周波数が最も小さく、図26(iii)に示すユーザcの音声のピッチ周波数が最も大きい。
以上のようにして、会話表示情報算定部503は、各ユーザの発する音声の大きさ、高さ、音色といった物理的特徴量を図形および色に写像して、画面上に視覚的に表示するための画像データに変換する。
また、会話表示情報算定部503は、このような変換及び出力を逐次的に行うので、位置関係表示部4は、各ユーザの発話音声の時間的変化を、動的に表示することができる。
(4)グループ会話活性度算定部504
グループ会話活性度算定部504は、グループに属する各ユーザの音声の物理的特徴量とその時間的変化を鑑みて、会話への参与状況を算出し、グループとしての会話の活性度合いを推定する。
グループ会話活性度算定部504は、このように、各ユーザの音声情報を解析して推定した会話活性度Agを、グループの会話の活性度を示す数値として算出することができる。
2.2 位置関係表示部40
図20は、位置関係表示部40の内部構成を示しており、参照符号401、402、403、404、405、406の機能部は、図4に示す各機能部と同様の機能を備えるので、同一の参照符号を付し説明を省略する。
図22は、図25に示した声の大きさを表現する様式で扇形図形を付加した例である。この扇形図形に、各ユーザの発話状況を示す物理的情報である声の大きさ、高さ、音色情報が付与される。この例において、グループGαでは、ユーザbが自分の属するグループのユーザ以外に発声し、ユーザcとユーザdが対面して会話し、ユーザa、eは自分の属するグループ以外の方向を見てしばらく発話していない状況を視覚的に表現している。一方、グループGβでは、4人のユーザf、g、h、Iがお互いに対面して会話している状況を表現している。また、グループGγは、3人のユーザがそれぞれ、自分の属するグループ以外の方向を向いて発話していない状況である。図22の表示では、3グループの各ユーザの発話状況と向き合う状況は視覚的に把握できる。
この図では、3つのグループの相対的な位置関係は、把握できるが、各ユーザの表示サイズが小さいため、これに各ユーザの発話状況の物理的情報を視覚化する図形を入れると、図形が小さすぎるか重なり合うかになって、十分な視覚化が実現できない。そのため、この表示形態の場合には、割当表示算定部417は、各ユーザの発話状況示す画像の表示位置及び方向に代えて、各グループの会話の活性度合いを写像した色情報を出力する。
また、画面表示部418は、操作者の操作により、図22に示す画面と図23に示す画面とを切り替えて表示しても良い。
2.3 音声情報解析部5の動作
図27及び図28は、音声情報解析部5の動作を示すフローチャートである。以下に図27及び図28を用いて、音声情報解析部5の動作について説明する。
なお、説明の便宜上、図27に示す動作と図28に示す動作とを個別の図面に記載したが、これらの2つ動作は、順次実行されても良いし、同時並行的に実行されるとしてもよい。また、操作者による選択操作を契機として、何れか一方の動作を行ってもよい。
図27は、音声情報解析部5による各ユーザの発話状況の解析の動作を示している。ここでは、1ユーザの発話状況の解析について図示しているが、音声情報解析部5は、同様の動作を、全てのユーザについて逐次的に繰返し実行する。もしくは、全てのユーザについて、同時並行に動作する。
会話表示情報算定部503は、発話の始端から終端時刻までにおけるパワー値を、音声の大きさを示す尺度(例えば、扇形図形の半径の長さ、彩度)に写像変換する(ステップS204)。
続いて、会話表示情報算定部503は、写像変換後の音量、声の高さ、音色を示すデータを位置関係表示部40へ出力する(ステップS218)。
図28は、音声情報解析部5による、グループmの会話活性度の解析に係る動作を示している。ここでは、1個のグループに関する動作のみを図示しているが、音声情報解析部5は、同様の動作を、全てのグループについて、定期的に実行する。
ステップS220〜ステップS233の間、時間領域情報解析部501及び周波数領域情報解析部502は、グループmに属する全てのユーザについて、ステップS221〜ステップS232の処理を繰り返す。ここでは、説明の便宜上、各ユーザについて繰り返すように記載しているが、全てのユーザについて、並行してステップS221〜ステップS232の処理を行うとしてもよい。
次に、時間領域情報解析部501は、単位時間当たりの発声数に基づき発話頻度Ncを算出する(ステップS223)。また、単位時間当たりの発声時間に基づき、発話時間率Rs及び標準偏差Srsを算出する(ステップS224)。
次に、周波数領域情報解析部502は、時間領域情報解析部501により検出された始端から終端時刻の間のスペクトル分析に基づき、音声の種別(音声/歓声及び笑い声/無音)を判定する(ステップS231)。判定結果を基に、周波数領域情報解析部502は、単位時間当たりの歓声及び笑い声区間の頻度Naを算出する(ステップS232)。
また、周波数領域情報解析部502は、各ユーザの単位時間当たりの歓声及び笑い声区間の頻度Naを出力する。
グループ会話活性度算定部504は、時間領域情報解析部501及び周波数領域情報解析部502から出力されたデータを基に、グループmの会話活性度Ag(m)を算出する(ステップS236)。続いて、単位時間当たりのグループmの会話活性度Ag(m)を彩度又は色相に写像変換する(ステップS237)。次に、グループ会話活性度算定部504は、変換により生成された彩度又は色相を示すデータを位置関係表示部40へ出力する(ステップS238)。
3.実施の形態3
図29は、実施の形態1と同様に各ユーザの位置、向きを基に所定の空間内に存在するグループをピックアップして表示し、さらに、ユーザ達の注目を集めている人(又は位置)、及び、注目の度合いを可視化して表示するシステムを示すブロック図である。
このシステムを構成するデータセンシング部1、位置関係検出部2、ユーザグルーピング部3の構成及び動作は実施の形態1と同様であるので説明を省略し、本実施の形態の特徴部分を中心に説明する。
3.1 注目度算定部6
注目度算定部6は、予め、各ユーザが装着しているセンサ(ここでは、カメラ)の左右の画角を記憶している。
以下に注目度算定部6による注目度算出の手順及びレベル分けの手順について説明する。
<注目度算出について>
注目度算定部6は、取得した各ユーザの位置、向き及びカメラの画角から、注目度算出の対象となる所定の位置(以下、算出対象位置)を画角内に捉えているカメラを装着しているユーザを特定する。
ユーザa、b、cそれぞれについて、同様の演算を行い、Pa(x,y)、Pb(x,y)、Pc(x,y)の和P(x,y)を、算出対象位置(x,y) 306に対する注目度とする。
なお、算出対象位置(x,y)を撮影しているカメラが一台も存在しなければ(つまり、n=0であれば)、P(x,y)=0となる。
以上において説明した手順でx−y平面上の各算出対象位置について、注目度P(x,y)を算出する。注目度算出対象となる位置、算出対象位置の総数及びその間隔は、予め定められている。例えば、原点及びx軸方向に0.2メートルおき、y軸方向に0.2メートルおきに格子状に配置される各点を、算出対象位置とする。又は、ユーザが存在する領域(例えば室内)の広さや、ユーザ総数に応じて、随時、注目度の算出対象位置、間隔、算出対象位置の総数を算出しても良い。又は、当該システムの操作者により、算出対象位置の入力を受け付けるとしても良い。
<レベル分けについて>
注目度算定部6は、予め閾値th1、th2、th3・・・(th1>th2>th3・・・>thm mは自然数)を記憶している。
3.2 位置関係表示部7
位置関係表示部7は、実施の形態1において図4に示す構成とほぼ同様であるので、同様である部分の説明は割愛し、図4と異なる割当表示算定部について説明する。
さらに、割当表示算定部は、注目度算定部6から、各レベルにつき、レベル情報とそのレベル情報の示すレベルに属する位置を示す座標とを受け取る。
次に、割当表示算定部は、各位置の画面上における表示位置を算出する。また、同一レベルに属する位置に対応する表示位置に同一の色を配色する。
画面表示部は、割当表示算定部が算定した表示位置に各グループのユーザ及び画面仕切を表示し、さらに、算出された表示位置に配色された色を表示する。
3.4 注目度算定部6の動作
図32は、注目度算定部6の動作を示すフローチャートである。注目度算定部6は、図32に示す一連の動作を定期的又は逐次的に繰り返す。以下、図32に従って、注目度算定部6の動作について説明する。
次に、ステップS252〜ステップS256の間、注目度算定部6は、全ての算出対象位置について、ステップS253〜ステップS254の処理を繰り返す。
注目度算定部6は、算出対象位置(x,y)を画角内に捉えているカメラを装着しているユーザを検出する(ステップS253)。検出した各ユーザの位置、向き、などを基に、注目度A(x,y)を算出する(ステップS254)。
3.5 実施の形態3の補足及び変形例
(1)上記の実施の形態では、所定の範囲内(例えば室内)の全面に対して、均一に注目度を算出する位置を配置しているが、これに限定されるものではない。
注目度算定部6は、グループの中心c’から半径(r+n)の範囲を注目度算出の対象範囲とする(nは、任意の定数であってもよいし、半径rやそのグループに属するユーザ数に応じて増減する変数であってもよい)。
(2)上記の実施の形態3では、注目度算定部6は、各算出対象位置を、算出された注目度により、複数のレベルにレベル分けし、その結果画面に表示される画像は、同レベルの算出対象位置に該当する部分が同一の色で表示されている。しかし、このように、離散的にレベル分けせずに、算出された注目度の値に比例して、表示される色の濃度や色彩が変化する構成であっても良い。
実施の形態3において説明したP(x,y)に、算出対象位置(x,y)の近傍に存在するユーザによる影響を示す項Q(x,y)を加えた値を注目度E(とする。
特定したユーザのうちの1人(ユーザu)が、算出対象位置(x,y)に与える影響Quは、例えば下記の式6により算出される。
次に、注目度算定部6は、特定した全てのユーザが、算出対象位置(x,y)に与える影響Q(x,y)を、下記の式7により算出する。
なおm=0の場合はQ(x,y)=0である。
次に、注目度算出部6は、上記の式により求めたP及びQから算出対象位置(x,y)における注目度E(x,y)を算出する。
また、瞬間的なよそ見などユーザの視線の揺らぎに起因する画像のちらつきを緩和するために、上記の式7に代えて、下記の式8により求められる積分値を、注目度E(x,y)としてもよい用いても良い。
この場合、算出対象位置は、各ユーザの位置となる。
従って、1のユーザj(算出対象ユーザ)に対する注目度E(xj,yj)は、上記の式4に算出対象ユーザjの位置座標(xj,yj)を代入すればよい。
位置関係表示部7内の割当表示算定部は、注目度算定部6からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとは形状や大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。
例えば、図33に示すように、算出対象ユーザjは、位置532から位置533を通過し、位置534へ移動している。
このように、算出対象ユーザjが移動している場合、算出対象ユーザjに対するの他のユーザの注目度Ejは、一例として、下記の式9により算出される。
このようにすることで、注目度算定部6は、算出対象ユーザjが移動していてもその算出対象ユーザjに対する他のユーザの注目度を算出することができる。
位置関係表示部7内の割当表示算定部は、注目度算定部6からユーザ識別情報を受け取る。ユーザ識別情報を受け取ると、画面上において、受け取った識別情報の示すユーザに、他のユーザとは異なる形態を割り当てる。例えば、他のユーザとはや大きさの異なるアイコン、他のユーザとは異なる色が割り当てられる場合などが考えられる。
4.その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
タッチパネル、マウス、キーボードなどの入力部を含んでおり、操作者による操作を受け付ける。例えば、画面表示部に、各グループが表示されている状態で、何れかのユーザを選択する操作がなされると、割当表示算定部は、データセンシング部から、選択されたユーザの装着しているカメラの撮影した画像を取得し、画面表示部へ出力する。画面表示部は、取得した画像を現在表示中の画面上にポップアップ表示する。
具体的には、割当表示算定部は、各ユーザの位置、向き、カメラの画角から、選択されたユーザを画角内に捉えているカメラを装着しているユーザを特定する。次に、割当表示算定部は、データセンシング部から特定したユーザの装着しているカメラにより撮影された画像を取得し、画面表示部へ取得した画像を出力する。 画面表示部は表示中の画面上に、取得した画像をポップアップ表示する。
例えば、画面表示部が、複数の表示デバイスを備えている場合や、1画面内で、分割表示が可能な場合、1つの表示デバイス(又は1つの表示領域)にグルーピングされた各ユーザの位置を表示し、他の表示デバイス(又は他の表示領域)に選択されたユーザに関する画像を表示しても良い。
端末装置1000は、具体的には、マイクロプロセッサ、RAM、ROMを含んで構成されるコンピュータシステムであって、RAM、ROMにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、端末装置1000は、その機能の一部を達成する。
ディスプレイ1001は、画面表示部を構成する表示デバイスであり、各種の画面を表示する。
入力部1002は、操作者により操作される各種のボタンを含んで構成される。
また、内部に搭載されたマイクロプロセッサ及びコンピュータプログラムにより、上記の位置関係検出部、ユーザグルーピング部、音声情報解析部、注目度算定部、位置関係表示部の機能が実現される。
また、端末装置1000は、このシステムの専用機器である必要はなく、例えば、携帯電話、携帯ゲーム機、PDAなどであってもよい。
この例では、システムは、STB(Set Top Box)デバイス2001と、TVデバイス2002と、図示しないコントローラ、データセンシング装置から構成される。
STBデバイス2001は、例えば、HDDレコーダ、DVDレコーダ、コンポ等である。STBデバイス2001は、具体的には、マイクロプロセッサ、RAM、ROMを含んで構成されるコンピュータシステムであって、RAM、ROMにはコンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、STBデバイス2001は、その機能の一部を達成する。
TVデバイス2002は、PDP、LCD等であり、前記STBと接続ている。位置関係表示部内の画面表示部の機能を担っており、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等を表示する。
(7)また、本発明は、複数ユーザ間の関係に関する情報に基づき、前記複数ユーザを複数グループにグルーピングするユーザグルーピング手段と、前記ユーザグルーピング手段により抽出された複数グループに関する情報に基づき、画面上に各グループを配置して表示するユーザ関係表示手段とを備えることを特徴とするユーザ関係表示装置である。
(10)上記の変形例(7)又は(8)のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの関係が把握できる形態で、画面上においてグループ同士を区分けする仕切りを表示するとしてもよい。
(12)上記の変形例(7)又は(8)のユーザ関係表示装置において、前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループの各グループ同士の実サイズ比較が把握できる情報を表示するとしてもよい。
(15)上記の変形例(13)又は(14)に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出されたグループに属する各ユーザの会話の物理的特徴とその時間的変化状況を視覚的に把握できる形態で、画面上に表示するとしてもよい。
(17)上記の変形例(13)又は(14)に記載のユーザ関係表示装置を構成する前記ユーザ関係表示手段は、前記ユーザグルーピング手段により抽出された複数グループに関する情報に応じて、画面上において各グループに割り当てる領域サイズを設定し、画面上の会話状況の表示形態を選択するとしてもよい。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(FieldProgrammable Gate Array)やLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
(29)上記のシステムを構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM、などから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
(31)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
2 位置関係検出部
3 ユーザグルーピング部
4 位置関係表示部
5 音声情報解析部
6 注目度算定部
7 位置関係表示部
401 基準軸設定部
402 グループ情報解析部
403 グループ間関係解析部
404 画面割当比率算定部
405 画面配置位置算定部
406 画面仕切算定部
407 割当表示算定部
408 画面表示部
501 時間領域情報解析部
502 周波数領域情報解析部
503 会話表示情報算定部
504 グループ会話活性度算定部
1000 端末装置
2001 STBデバイス
2002 TVデバイス
Claims (21)
- 複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、
各対象物の位置を示す位置情報を取得する取得手段と、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類手段と、
前記位置情報を用いて1のグループと他のグループとのグループ間の位置関係を算出する算出手段と、
前記表示画面を規定する基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定手段と、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示手段と
を備えることを特徴とする表示装置。 - 前記算出手段は、少なくとも2つのグループの位置を示すグループ位置を求め、グループ位置を結んだ直線と直交する直線と、前記基準軸とのなす前記傾きを算出し、
前記決定手段は、前記基準軸に対して、算出された傾きを有する前記仕切り線を決定する
ことを特徴とする請求項1に記載の表示装置。 - 前記決定手段は、グループの大きさに応じた面積を、そのグループに対応する領域が有するように、前記しきり線を決定する
ことを特徴とする請求項1に記載の表示装置。 - 前記算出手段は、1のグループと他のグループとのグループ間の距離を含む前記位置関係を算出し、
前記決定手段は、算出された距離に応じた幅を有する前記しきり線を決定する
ことを特徴とする請求項3に記載の表示装置。 - 前記表示手段は、グループに属する対象物の位置関係を、グループ毎に異なる縮小率で表示し、
前記表示手段は、さらに、各表示領域に、各グループの縮小率を示す情報を表示する
ことを特徴とする請求項3に記載の表示装置。 - 前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満である2つ以上の対象物を同一のグループに分類する
ことを特徴とする請求項1に記載の表示装置。 - 前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、
前記分類手段は、前記位置情報を用いて対象物間の距離を求め、求めた距離が閾値未満であって、前記向き情報の示す向きの延長線が交差する2つの対象物を同一のグループに分類する
ことを特徴とする請求項1に記載の表示装置。 - 前記表示装置は、さらに、
各対象物の発する音声を取得する音声取得手段と、
取得した音声を時間領域及び周波数領域において解析する音声情報解析手段とを備え、
前記表示手段は、さらに、前記音声情報解析手段による解析結果を基に生成した画像を、前記表示画面上において、各グループに属する対象物の位置関係を表示している位置に表示する
ことを特徴とする請求項1に記載の表示装置。 - 前記音声解析手段は、取得した音声から、各対象物の発する音声の特徴を抽出し、抽出した音声の特徴を前記解析結果として生成し、
前記表示手段は、各対象物の発する音声の特徴を示す画像を、対応する対象物の前記表示画面上における位置に表示する
ことを特徴とする請求項8に記載の表示装置。 - 前記音声解析手段は、前記音声を用いて、各グループに属する対象物間の会話の活発さを示す会話活性度を、前記解析結果として生成し、
前記表示手段は、前記会話活性度を示す画像を、対応するグループの前記表示画面上における位置に表示する
ことを特徴とする請求項8に記載の表示装置。 - 前記取得手段は、さらに、各対象物の向きを示す向き情報を取得し、
前記表示装置は、さらに、
前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、
前記方向情報の示す向きと、前記位置情報の示す位置から前記算出対象位置までの距離を基に、前記注目度を算出する注目度算定手段を備え、
前記表示手段は、さらに、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示する
ことを特徴とする請求項1に記載の表示装置。 - 前記複数の対象物は、カメラを有しており、
前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、
特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど
大きな値となるように前記注目度を決定する
ことを特徴とする請求項11に記載の表示装置。 - 前記算出対象位置取得手段は、前記複数の対象物のうち、1の対象物の位置を前記算出対象位置として取得する
ことを特徴とする請求項11に記載の表示装置。 - 前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する画面上の位置を強調表示する
ことを特徴とする請求項11に記載の表示装置。 - 前記表示手段は、さらに、
位置情報の取得、前記複数の対象物の分類、仕切り線の決定、しきり線及び各グループの位置関係の表示を、それぞれ、前記取得手段、前記分類手段、前記算出手段、前記決定手段及び前記表示手段に、繰り返させる繰返制御手段を備える
ことを特徴とする請求項1に記載の表示装置。 - 複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置において用いられる表示方法であって、
各対象物の位置を示す位置情報を取得する取得ステップと、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類ステップと、
前記位置情報を用いて1のグループと他のグループとのグループ間の位置関係を算出する算出ステップと、
前記表示画面の一辺に平行な基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定ステップと、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示ステップと
を含むことを特徴とする表示方法。 - 複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置において用いられる表示プログラムであって、
各対象物の位置を示す位置情報を取得する取得ステップと、
取得した前記位置情報に基づいて、前記複数の対象物を複数のグループに分類する分類ステップと、
前記位置情報を用いて1のグループと他のグループとのグループ間の位置関係を算出する算出ステップと、
前記表示画面の一辺に平行な基準軸に対して、算出されたグループ間の位置関係に応じた傾きを有し、前記表示画面を複数の領域に区切るしきり線を決定する決定ステップと、
決定したしきり線を前記表示画面に表示し、前記しきり線により区切られた各表示領域に、各グループに属する対象物の位置関係を表示する表示ステップと
を含むことを特徴とする表示プログラム。 - 複数の対象物間の位置関係を視覚的に表示画面に表示する表示装置であって、
各対象物の位置を示す位置情報及び向きを示す向き情報を取得する前記取得手段と、
前記複数の対象物から、どの程度注目されているかを示す注目度の算出対象となる算出対象位置を取得する算出対象位置取得手段と、
前記位置情報の示す位置と前記方向情報の示す向きとを基に、前記算出対象位置における前記注目度を算出する注目度算定手段と、
前記複数の対象物間の位置関係を表示し、前記算出対象位置に対応する前記表示画面上の位置を注目度に応じて強調表示する前記表示手段と
を備えることを特徴とする表示装置。 - 前記複数の対象物は、カメラを有しており、
前記注目度算定手段は、各算出対象位置について、その算出対象位置を画角内に捉えているカメラを有している対象物を特定し、特定した各対象物と前記算出対象位置との距離が小さく、かつ、
特定した対象物の有するカメラの画角の中心線と、特定した対象物と前記算出対象位置とを結んだ線分のなす角の絶対値が小さいほど
大きな値となるように前記注目度を決定する
ことを特徴とする請求項18に記載の表示装置。 - 前記算出対象位置取得手段は、前記複数の対象物のうち、1の対象物の位置を前記算出対象位置として取得する
ことを特徴とする請求項18に記載の表示装置。 - 前記表示手段は、算出された注目度が閾値以上である場合、前記算出対象位置に対応する表示画面上の位置を強調表示する
ことを特徴とする請求項18に記載の表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009514008A JP5236631B2 (ja) | 2007-05-09 | 2008-04-30 | 表示装置、表示方法、表示プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007124219 | 2007-05-09 | ||
JP2007124219 | 2007-05-09 | ||
PCT/JP2008/001120 WO2008139717A1 (ja) | 2007-05-09 | 2008-04-30 | 表示装置、表示方法、表示プログラム |
JP2009514008A JP5236631B2 (ja) | 2007-05-09 | 2008-04-30 | 表示装置、表示方法、表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008139717A1 JPWO2008139717A1 (ja) | 2010-07-29 |
JP5236631B2 true JP5236631B2 (ja) | 2013-07-17 |
Family
ID=40001942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009514008A Active JP5236631B2 (ja) | 2007-05-09 | 2008-04-30 | 表示装置、表示方法、表示プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8144196B2 (ja) |
JP (1) | JP5236631B2 (ja) |
CN (1) | CN101681244B (ja) |
WO (1) | WO2008139717A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120254142A1 (en) * | 2011-03-31 | 2012-10-04 | Smart Technologies Ulc | Information display method and system employing same |
US9013579B2 (en) * | 2011-06-16 | 2015-04-21 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding-area monitoring apparatus |
JP5865735B2 (ja) * | 2012-03-01 | 2016-02-17 | 三菱電機株式会社 | 表示データ生成装置及び表示データ生成方法 |
JP6227165B2 (ja) * | 2014-12-10 | 2017-11-08 | 三菱電機株式会社 | 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム |
US10653112B2 (en) | 2016-01-29 | 2020-05-19 | Sony Corporation | Information processing system and method for managing groups of individuals |
JP7080590B2 (ja) * | 2016-07-19 | 2022-06-06 | キヤノンメディカルシステムズ株式会社 | 医用処理装置、超音波診断装置、および医用処理プログラム |
US10401862B2 (en) * | 2017-10-31 | 2019-09-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US10713940B2 (en) | 2017-10-31 | 2020-07-14 | Waymo Llc | Detecting and responding to traffic redirection for autonomous vehicles |
CN111542876A (zh) * | 2018-01-12 | 2020-08-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
TWI658449B (zh) * | 2018-05-11 | 2019-05-01 | 友達光電股份有限公司 | 顯示裝置及其驅動方法 |
JP7389070B2 (ja) * | 2021-01-25 | 2023-11-29 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11881904B2 (en) * | 2022-03-31 | 2024-01-23 | Dell Products, L.P. | Power detection in the time domain on a periodic basis with statistical counters |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH096432A (ja) * | 1995-06-14 | 1997-01-10 | Mitsubishi Electric Corp | 制御システムの異常検知装置 |
JP2001184493A (ja) * | 1999-12-27 | 2001-07-06 | Nitto Seiko Co Ltd | 画像処理装置 |
JP2003150639A (ja) * | 2001-11-14 | 2003-05-23 | Canon Inc | メディア検索装置及び記憶媒体 |
JP2006065447A (ja) * | 2004-08-25 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム |
WO2006028154A1 (ja) * | 2004-09-09 | 2006-03-16 | Kyoto University | 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体 |
JP2006085558A (ja) * | 2004-09-17 | 2006-03-30 | Toyota Motor Corp | 商品属性マップ表示装置と表示方法とそのためのプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU662901B2 (en) | 1991-05-07 | 1995-09-21 | Nippondenso Co. Ltd. | Electronic tag |
JPH0667726A (ja) | 1992-08-13 | 1994-03-11 | Nippon Yusoki Co Ltd | 無人走行車の絶対位置取得方法 |
AU667944B2 (en) | 1992-09-07 | 1996-04-18 | Nippondenso Co. Ltd. | Communication system |
JP3067419B2 (ja) | 1992-09-28 | 2000-07-17 | 株式会社デンソー | 宅配ナビゲーションシステム |
WO1995035139A1 (fr) * | 1994-06-17 | 1995-12-28 | Namco Ltd. | Simulateur 3d et procede de generation d'image |
JP3989339B2 (ja) * | 2002-09-05 | 2007-10-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報表示システム、情報表示方法、該情報表示方法を実行させるためのプログラム、該プログラムを記録したコンピュータ可読な記憶媒体、サーバ制御方法、該サーバ制御方法を実行させるためのプログラム、該プログラムを記録したコンピュータ可読な記憶媒体および情報表示のためのグラフィカル・ユーザ・インタフェイス・システム |
JP3800217B2 (ja) | 2003-10-10 | 2006-07-26 | コニカミノルタホールディングス株式会社 | 監視システム |
US7451407B2 (en) * | 2005-11-30 | 2008-11-11 | Microsoft Corporation | Presentation of groups of items |
JP4633043B2 (ja) * | 2005-12-27 | 2011-02-16 | パナソニック株式会社 | 画像処理装置 |
JP4458158B2 (ja) * | 2007-12-07 | 2010-04-28 | ソニー株式会社 | 表示装置、表示方法、及びプログラム |
-
2008
- 2008-04-30 JP JP2009514008A patent/JP5236631B2/ja active Active
- 2008-04-30 US US12/596,918 patent/US8144196B2/en active Active
- 2008-04-30 CN CN2008800153476A patent/CN101681244B/zh active Active
- 2008-04-30 WO PCT/JP2008/001120 patent/WO2008139717A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH096432A (ja) * | 1995-06-14 | 1997-01-10 | Mitsubishi Electric Corp | 制御システムの異常検知装置 |
JP2001184493A (ja) * | 1999-12-27 | 2001-07-06 | Nitto Seiko Co Ltd | 画像処理装置 |
JP2003150639A (ja) * | 2001-11-14 | 2003-05-23 | Canon Inc | メディア検索装置及び記憶媒体 |
JP2006065447A (ja) * | 2004-08-25 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム |
WO2006028154A1 (ja) * | 2004-09-09 | 2006-03-16 | Kyoto University | 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体 |
JP2006085558A (ja) * | 2004-09-17 | 2006-03-30 | Toyota Motor Corp | 商品属性マップ表示装置と表示方法とそのためのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2008139717A1 (ja) | 2010-07-29 |
US8144196B2 (en) | 2012-03-27 |
US20100134626A1 (en) | 2010-06-03 |
CN101681244B (zh) | 2012-02-29 |
CN101681244A (zh) | 2010-03-24 |
WO2008139717A1 (ja) | 2008-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5236631B2 (ja) | 表示装置、表示方法、表示プログラム | |
US10453443B2 (en) | Providing an indication of the suitability of speech recognition | |
US11763580B2 (en) | Information processing apparatus, information processing method, and program | |
US10455134B2 (en) | Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective | |
Kern et al. | Context-aware notification for wearable computing | |
CN111722186B (zh) | 基于声源定位的拍摄方法、装置、电子设备及存储介质 | |
CN110288987A (zh) | 用于处理声音数据的系统和控制该系统的方法 | |
JP2019516080A (ja) | 物理的位置の自律的な意味的ラベル付け | |
US10614693B2 (en) | Dangerous situation notification apparatus and method | |
CN104737523A (zh) | 通过指派用于数据群集的情境标签来管理移动装置中的情境模型 | |
JP2009116510A (ja) | 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置 | |
CN111126697B (zh) | 人员情况预测方法、装置、设备及存储介质 | |
JP5557610B2 (ja) | 行動内容可視化装置および行動内容解析装置 | |
JPWO2011122521A1 (ja) | 情報表示システム、情報表示方法及びプログラム | |
US12087090B2 (en) | Information processing system and information processing method | |
US9602589B1 (en) | Systems and methods for determining room types for regions of a map | |
CN117334207A (zh) | 一种声音处理方法及电子设备 | |
CN109117765A (zh) | 视频侦查装置和方法 | |
US10726270B2 (en) | Selecting media from mass social monitoring devices | |
JP6876926B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2023210052A1 (ja) | 音声分析装置、音声分析方法及び音声分析プログラム | |
Feng | Recognition of activities of daily living |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5236631 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |