JP7374413B2 - 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム - Google Patents

現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム Download PDF

Info

Publication number
JP7374413B2
JP7374413B2 JP2020046574A JP2020046574A JP7374413B2 JP 7374413 B2 JP7374413 B2 JP 7374413B2 JP 2020046574 A JP2020046574 A JP 2020046574A JP 2020046574 A JP2020046574 A JP 2020046574A JP 7374413 B2 JP7374413 B2 JP 7374413B2
Authority
JP
Japan
Prior art keywords
image data
image
physical object
clustering
projection plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020046574A
Other languages
English (en)
Other versions
JP2021149296A (ja
Inventor
和洋 中原
和之 藤田
太一 土田
喜文 北村
和毅 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biprogy Inc
Original Assignee
Biprogy Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biprogy Inc filed Critical Biprogy Inc
Priority to JP2020046574A priority Critical patent/JP7374413B2/ja
Publication of JP2021149296A publication Critical patent/JP2021149296A/ja
Application granted granted Critical
Publication of JP7374413B2 publication Critical patent/JP7374413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 (1)https://www.interaction-ipsj.org/proceedings/2020/ 掲載日 令和2年3月2日(2)https://www.interaction-ipsj.org/2020/catalogue/ 掲載日 令和2年3月2日(3)(i)https://www.youtube.com/watch?v=UUuo3YHOaH4 掲載日 令和2年3月11日(ii)https://www.youtube.com/watch?v=q1njuPeeysE 掲載日 令和2年3月11日
本発明は、現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラムに関し、特に、3次元空間上に存在する複数の現実物体に対して行ったクラスタリングの結果を可視化して表示するシステムに用いて好適なものである。
従来、情報・知識・アイデアなど(以下、これらを総称して「情報等」という)を付箋紙に記述し、記述した内容を分類・整理するプロセスは、創造的な活動で広く用いられている。この場合における情報等の分類・整理は、同一または類似の内容、あるいは関連性のある内容が記述された付箋紙どうしが互いに近くの位置に配置されるように、付箋紙を適宜移動させることによって行われる。物理的な付箋紙に代えて、ディスプレイに表示される電子的な付箋を用いるようにしたシステムも知られている(例えば、特許文献1参照)。
特許文献1に記載の情報処理システムでは、物理的な付箋紙と、当該付箋紙が貼られている投影面に付箋画像を投影することにより表示される電子的な付箋(以下、電子付箋という)とを混在させて利用可能な仕組みを提供している。この特許文献1に記載の情報処理システムでは、投影面に付箋画像を投影する際に、付箋紙が電子付箋の上に重なる位置に配置される場合は、付箋紙と電子付箋とが重なる領域を付箋画像から削除して投影する。逆に、電子付箋が付箋紙の上に重なる位置に配置される場合は、電子付箋が付箋紙の上に重ねられていることを示す指標情報を付箋画像に含めて投影する。
付箋紙および/または電子付箋(以下、これらを総称して「付箋」という)を用いた情報等の分類・整理プロセスには試行錯誤を要するため、付箋の移動(貼り替え)が頻繁に発生する。この付箋の移動作業を支援することで、情報等の分類・整理プロセスを効率化させたり、分類・整理の質を向上させたりすることが期待できる。
電子付箋を用いる場合は、当該電子付箋の移動をコンピュータ処理によって実現するため、電子付箋の移動を簡単に行えるようにするための処理を工夫することが行いやすい。例えば、移動させたい電子付箋をマウスクリックで指定した後、移動先として希望する位置をマウスクリックで指定することにより、指定した電子付箋を指定した位置に瞬時に移動させるといった工夫が考えられる。これに対し、物理的な付箋紙の場合は、付箋紙を物理的に移動させることが必要であるため、上述のような電子付箋と同様の工夫は適用することができない。
なお、ここでは付箋紙を例に課題を説明したが、付箋紙以外の物理的な物体(以下、物理物体という)を用いて情報等の分類・整理を行う場合にも同様の課題が存在する。
特開2015-64793号公報
本発明は、このような問題を解決するために成されたものであり、物理物体を用いた情報等の分類・整理を効率的に行うことができるようにすることを目的とする。
上記した課題を解決するために、本発明では、投影面に存在する物理物体に対するユーザの操作を検出し、当該検出したユーザの操作に基づいて、投影面に存在する物理物体に対するクラスタリングの結果を識別可能に表した空間像を形成するための識別画像データを生成して画像投影装置に供給し、画像投影装置が識別画像データに基づいて投影面に画像を投影することにより、クラスタリングの結果を識別可能に表した空間像を物理物体に付随する態様で表示させるようにしている。
上記のように構成した本発明によれば、ユーザが投影面に存在する物理物体に対する操作を行うと、物理物体に対するクラスタリングの結果を識別可能に表した空間像が物理物体に付随する態様で表示されることにより、どの物理物体がどのようにクラスタリングされたのかが可視化される。これにより、情報等が記述された物理物体を用いて当該情報等について試行錯誤を伴う分類・整理を行う際に、物理物体に記述された情報等の分類・整理を、物理物体を実際に移動させることなく効率的に行うことができる。
第1の実施形態による現実物体に対するクラスタリングの可視化システムのハードウェア構成例を示す図である。 第1の実施形態による情報処理装置の機能構成例を示すブロック図である。 第1の実施形態における画像データ生成部の処理内容を説明するための図である。 第1の実施形態において、付箋紙に影画像を表示させた状態の一例を示す図である。 第1の実施形態による可視化システムの動作例を示すフローチャートである。 第2の実施形態による情報処理装置の機能構成例を示すブロック図である。 第2の実施形態において、付箋紙に影画像を表示させた状態の一例を示す図である。
(第1の実施形態)
以下、本発明の第1の実施形態を図面に基づいて説明する。図1は、第1の実施形態による現実物体に対するクラスタリングの可視化システム1(以下、単に可視化システム1という)のハードウェア構成例を示す図である。図1に示すように、第1の実施形態による可視化システム1は、情報処理装置10(特許請求の範囲の可視化制御装置に相当)、プロジェクタ20、カメラ30および動きセンサ40を備えて構成される。
プロジェクタ20は、投影面100に画像を投影して空間像を表示させる画像投影装置である。投影面100には、1つ以上の付箋紙200(現実物体の一例)が貼り付けられる。ユーザは、情報等を分類・整理する際に、当該情報等が記述された1つ以上の付箋紙200を投影面100の任意の位置に貼り付けたり剥がしたりすることが可能である。本実施形態において、プロジェクタ20が投影面100に画像を投影して表示させる空間像は、付箋紙200の疑似的な影の像であり、付箋紙200に付随する態様で表示される。
カメラ30は、付箋紙200が貼られた投影面100を一定間隔で繰り返し撮影し、得られた撮影画像データを情報処理装置10に逐次供給する撮影装置である。このカメラ30の撮影領域内の位置と、プロジェクタ20の表示領域内の位置とがあらかじめ1:1に対応するようにマッチングされて座標変換マップ情報が生成されており、この座標変換マップ情報を用いることにより、撮影領域内の投影面100の位置情報を、それに対応する表示領域内の位置情報に変換できるようになっている。
動きセンサ40は、投影面100の付近に設定した検出対象領域内における物体の動きを検出する動き検出装置である。例えば、動きセンサ40は、投影面100に向けてレーザを照射し、投影面100またはその周囲にある物体から反射するレーザを受信して、受信状態の変化を感知することにより、検出対象領域内に存在する物体の形状および動きを検出する。なお、レーザに代えて赤外線を用いてもよい。ユーザが手を使って投影面100に貼られた付箋紙200を操作すると、その手の動きが動きセンサ40により検出される。動きセンサ40は、検出対象領域内における物体の動きを一定間隔で繰り返し検出し、検出した物体の形状および動きを示す動きデータを情報処理装置10に逐次供給する。
この動きセンサ40が物体の動きを検出する検出対象領域内の位置と、カメラ30の撮影領域内の位置とがあらかじめ1:1に対応するようにマッチングされて座標変換マップ情報が生成されており、この座標変換マップ情報を用いることにより、動きセンサ40により検出対象領域内で検出される物体の位置情報を、それに対応する撮影領域内の位置情報に変換できるようになっている。動きセンサ40により動きが検出される物体は、カメラ30により撮影される画像内にも写っている。上述の座標変換マップ情報を用いることにより、撮影画像内に写っている物体の動きを検出することが可能である。
情報処理装置10は、例えばパーソナルコンピュータにより構成され、カメラ30から供給される撮影画像データと、動きセンサ40から供給される動きデータとに基づいて、以下に説明する処理を実行することにより、投影面100に貼られた付箋紙200に付随する態様で表示させる空間像(付箋紙200の疑似的な影の像。以下、影画像という)を形成するための画像データを生成し、当該画像データをプロジェクタ20に供給する。
図2は、第1の実施形態による情報処理装置10の機能構成例を示すブロック図である。図2に示すように、第1の実施形態による情報処理装置10は、機能構成として、撮影画像データ入力部11、動きデータ入力部12、存在位置検出部13、操作検出部14、クラスタリング部15および画像データ生成部16を備えている。
上記各機能ブロック11~16は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック11~16は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶された可視化制御用プログラムが動作することによって実現される。
撮影画像データ入力部11は、カメラ30から一定間隔ごとに供給される撮影画像データを逐次入力する。動きデータ入力部12は、動きセンサ40から一定間隔ごとに供給される動きデータを逐次入力する。以下に説明する存在位置検出部13、操作検出部14、クラスタリング部15および画像データ生成部16の各処理も、一定間隔ごとに繰り返し実行する。
存在位置検出部13は、撮影画像データ入力部11により入力されたカメラ30からの撮影画像データに基づいて、投影面100に存在する付箋紙200の位置を検出する。ここで、存在位置検出部13は、付箋紙200の撮影領域内での位置(カメラ座標上の位置)を検出する。例えば、存在位置検出部13は、撮影画像を2値化した後、公知の輪郭抽出処理を行い、矩形形状をした領域を付箋紙200の領域(以下、付箋領域という)として検出する。また、存在位置検出部13は、撮影領域内における付箋領域の座標を付箋紙200の存在位置として検出する。なお、付箋領域として検出する矩形形状は、その大きさや形状をあらかじめ登録しておいてもよい。この場合、存在位置検出部13は、登録内容に合致する矩形形状のみを付箋領域として検出する。存在位置検出部13は、存在位置を検出した付箋紙200に対して付箋IDを付与して管理し、その付箋IDに対応づけて位置情報をメモリに記憶する。
このような存在位置検出部13の処理が一定間隔ごとに繰り返し実行されるため、投影面100に対して新たな付箋紙200が貼られると、その貼られた位置において付箋紙200が検出され、その付箋紙200に対して付与された付箋IDに対応付けて存在位置の位置情報がメモリに記憶される。また、投影面100から付箋紙200が剥がされると、そのことが検出され、その付箋紙200に対応する付箋IDとそれに対応付けて記憶されている位置情報とがメモリから消去される。
また、投影面100に存在する付箋紙200の位置が移動されると、移動された付箋紙200が検出され、その付箋IDに対応付けて記憶されている位置情報が、移動前の位置情報から移動後の位置情報に更新される。この場合、存在位置検出部13は、移動中の付箋紙200をトラッキングし、移動がなくなったことを検出した時点で、そのときの位置情報を記憶する。なお、存在位置検出部13は、移動中の付箋紙200をトラッキングすることは行わず、移動前の付箋紙200に付与されていた付箋IDとそれに対応する位置情報とをメモリから消去し、移動後の付箋紙200に対して別の付箋IDを付与して位置情報を記憶するようにしてもよい。
操作検出部14は、存在位置検出部13により検出された付箋紙200の存在位置と、動きデータ入力部12により入力された動きセンサ40からの動きデータとに基づいて、投影面100に存在する付箋紙200に対するユーザのタッチ操作を検出する。例えば、操作検出部14は、動きデータに基づいて、動きセンサ40により検出された物体が人間の手か否かを判定する。さらに、操作検出部14は、検出された物体が人間の手である場合に、その人間の手の動きが付箋紙200に対するタッチ操作か否かを判定する。そして、操作検出部14は、これらの判定結果に基づいて、投影面100に存在する複数の付箋紙200のうち、どの付箋紙200をユーザが何回タッチ操作したかを検出する。
ここで、操作検出部14は、人間の手の指の位置が付箋紙200の位置と重なっていて(人間の手の指の位置が付箋領域内に含まれていて)、指が投影面100に対して略垂直な方向に動く動作を検出し、かつ、その動作の過程で付箋紙200が動いたり変形したりしていないことを検出した場合に、そのときの手の動きをユーザによる付箋紙200に対するタッチ操作として検出する。また、操作検出部14は、手の指が付箋紙200に対して遠い位置から近い位置へとn回(n≧1)移動したときに、タッチ操作がn回行われたことを検出する。操作検出部14は、検出対象領域内で検出された物体が人間の手であると判定した場合であっても、人間の手の指の位置が付箋紙200の位置と重なっていない場合、指が投影面100に対して略水平な方向に動く動作である場合、または、手の動きに伴って付箋紙200が動いたり変形したりしている場合には、付箋紙200に対するタッチ操作としては検出しない。
クラスタリング部15は、操作検出部14により検出されたユーザのタッチ操作に基づいて、投影面100に存在する付箋紙200に対するクラスタリングを行う。第1の実施形態では、クラスタリング部15は、付箋紙200がユーザによりタッチ操作された回数に応じて、付箋紙200のクラスタリングを行う。具体的には、ある付箋紙200に対してタッチ操作が1回行われた場合、クラスタリング部15はその付箋紙200を第1分類にクラスタリングする。また、ある付箋紙200に対してタッチ操作が2回行われた場合、クラスタリング部15はその付箋紙200を第2分類にクラスタリングする。タッチ操作が1回も行われていない付箋紙200については、クラスタリング部15はそれを第0分類にクラスタリングする。
ここで、分類の数はあらかじめ決められている。その分類の上限を超える回数のタッチ操作が行われた場合、クラスタリング部15はサイクリックにクラスタリングを行う。すなわち、例えば分類の数が5つ(第0分類~第4分類)である場合において、ある付箋紙200に対してタッチ操作が1~4回行われた場合、クラスタリング部15はその付箋紙200を第1分類~第4分類にクラスタリングする。また、ある付箋紙200に対してタッチ操作が5回行われた場合、クラスタリング部15はその付箋紙200を第0分類にクラスタリングする。
また、1つの付箋紙200に対するタッチ操作の回数は、通算の回数とする。例えば、ある付箋紙200に対して初めてのタッチ操作が1回行われた場合、クラスタリング部15はその付箋紙200を第1分類にクラスタリングする。このとき、クラスタリング部15は、その付箋紙200に対して1回のタッチ操作が行われ、第1分類にクラスタリングしたことを示す情報を付箋IDに対応付けて記憶しておく。その後、同じ付箋紙200に対してタッチ操作が2回行われた場合、クラスタリング部15はその付箋紙200を第3分類(第1分類から開始して2つ先に進んだ第3分類)にクラスタリングする。
画像データ生成部16は、クラスタリング部15によるクラスタリングの結果を識別可能に表した識別画像データを生成し、生成した識別画像データをプロジェクタ20に供給する。第1の実施形態では、画像データ生成部16は、付箋紙200がユーザによりタッチ操作された回数に応じた態様から成る空間像をユーザによりタッチ操作された付箋紙200に付随して表示させるための識別画像データを生成する。具体的には、画像データ生成部16は、ユーザによりタッチ操作された回数に応じて大きさが異なる影画像をユーザによりタッチ操作された付箋紙200に付随して表示させるための識別画像データを生成する。
すなわち、画像データ生成部16は、ユーザにより1回のタッチ操作が行われて第1分類にクラスタリングされた付箋紙200に対して、第1分類に応じた大きさの影画像を付箋紙200に付随して表示させるための識別画像データを生成する。また、画像データ生成部16は、ユーザにより2回のタッチ操作が行われて第2分類にクラスタリングされた付箋紙200に対して、第2分類に応じた大きさの影画像を付箋紙200に付随して表示させるための識別画像データを生成する。なお、第0分類にクラスタリングされた付箋紙200に対しては影画像を付随して表示させない。
ここで、影画像を付箋紙200に付随して表示させるとは、付箋紙200が投影面100の表面から手前方向に浮いていると仮定し、その付箋紙200に一の方向から光を当てると仮定した場合に投影面100にできる付箋紙200の影を模写した画像を生成して表示させることを意味する。このような態様で影画像を付箋紙200に付随して表示させることにより、投影面100に貼られている付箋紙200に対して奥行き感を与えることができる。また、影画像の大きさを変えることにより、奥行き感の程度を変えることができる。すなわち、影画像を大きくするほど奥行き感を強くし、影画像を小さくするほど奥行き感を弱くすることができる。
画像データ生成部16は、投影面100に貼られている付箋紙200(第0分類にクラスタリングされたものを除く)のそれぞれに対してタッチ回数に応じた大きさの影画像を付随して表示させるように形成した識別画像データを生成して、それをプロジェクタ20に供給する。プロジェクタ20は、画像データ生成部16から供給された識別画像データに基づいて投影面100に識別画像を投影することにより、投影面100に存在する付箋紙200に対するクラスタリングの結果を識別可能に表した空間像(クラスタリングの結果を影の大きさにより識別可能に表した影画像)を付箋紙200に付随する態様で投影面100に表示させる。
図3は、画像データ生成部16の処理内容を説明するための図である。図3は、5つの付箋紙200-0~200-4が投影面100に貼られた状態を示している。この5つの付箋紙200-0~200-4には、説明の便宜上、クラスタリングされた結果(第0分類~第4分類の何れか)を示す数値を表記している。5つの付箋紙200-0~200-4のうち、第1分類から第4分類にクラスタリングされた4つの付箋紙200-1~200-4には、クラスタリングの結果を影の大きさにより識別可能に表した影画像201~204がプロジェクタ20により表示されている。
図3の例では、投影面100から手前方向に所定距離の位置かつ投影面100の斜め左上方向の位置に光源があると仮定した場合において、付箋紙200が投影面100から手前方向に浮いた位置にあると仮定した場合にできる影を模写した影画像を表示している。これにより、影画像が大きくなるほど、付箋紙200があたかも投影面100から大きく浮いたように見え、奥行き感が強い印象をユーザに与えることができる。一方、影画像が小さくなるほど、付箋紙200が投影面100から浮いている量が小さくなるように見え、奥行き感が弱い印象をユーザに与えることができる。
図4は、第1の実施形態による可視化システム1をユーザが実際に使用する場合における投影面100の状態の一例を示す図である。図4は、複数の付箋紙200-11~200-15が投影面100に貼られた状態を示している。それぞれの付箋紙200-11~200-15には、様々な情報等が記述されている。ユーザは、これらの付箋紙200-11~200-15に記述されている情報等を読み、その内容を把握し、分類する。このときユーザは、同じ分類にクラスタリングさせたいと考える複数の付箋紙200を同じ回数ずつタッチ操作する。
図4の例では、ユーザは、2つの付箋紙200-11,200-15をそれぞれ1回ずつタッチ操作している。これにより、これら2つの付箋紙200-11,200-15には、これに付随する態様で第1分類に応じた大きさの影画像201が表示されている。また、ユーザは、別の2つの付箋紙200-12,200-13をそれぞれ2回ずつタッチ操作している。これにより、これら2つの付箋紙200-12,200-13には、これに付随する態様で第2分類に応じた大きさの影画像202が表示されている。もう1つの付箋紙200-14にはタッチ操作が行われていないため、影画像は表示されていない。
このように、ユーザは、投影面100に貼られた付箋紙200を実際に移動させて同じ分類に属する付箋紙200どうしを近くに集めるような操作を行わなくても、タッチ操作の回数を変えるだけで、所望の付箋紙200を所望の分類にクラスタリングすることができる。また、そのクラスタリングの結果をユーザが容易に識別可能な態様で可視化することができる。この影画像による可視化処理は、投影面100に対して垂直な奥行き方向へ付箋紙200を疑似的に移動させる処理ということもできる。つまり、第1の実施形態による可視化システム1は、付箋紙200の奥行き方向への疑似的な移動操作を行うためのユーザインタフェースを提供するものであるともいえる。
図5は、上記のように構成した第1の実施形態による可視化システム1の動作例を示すフローチャートである。図5に示すフローチャートは、一定間隔ごとに繰り返し実行される。
まず、情報処理装置10の存在位置検出部13は、撮影画像データ入力部11により入力されたカメラ30からの撮影画像データに基づいて、投影面100に存在する付箋紙200の位置を検出する(ステップS1)。次に、操作検出部14は、動きデータ入力部12により入力された動きセンサ40からの動きデータに基づいて、存在位置検出部13により投影面100での存在位置が検出された付箋紙200に対してユーザのタッチ操作が行われたか否かを判定する(ステップS2)。
ここで、ある付箋紙200に対してユーザのタッチ操作が行われたと判定された場合、クラスタリング部15は、操作検出部14により検出されたユーザのタッチ操作の回数に基づいて、タッチ操作された付箋紙200に対するクラスタリングを行う(ステップS3)。そして、画像データ生成部16は、クラスタリング部15によるクラスタリングの結果を識別可能に表した空間像(影画像)を付箋紙200に付随する態様で投影面100に表示させるための識別画像データを生成してプロジェクタ20に供給する(ステップS4)。
プロジェクタ20は、情報処理装置10の画像データ生成部16から供給された識別画像データに基づいて投影面100に画像を投影することにより、付箋紙200に付随する態様で投影面100に影画像を表示させる(ステップS5)。この場合、タッチ操作された付箋紙200に対する影画像の表示状態だけが変わり、他の付箋紙200に対する影画像については表示状態が変わらない。これにより、一定間隔ごとに行われる1回の処理が終了する。
上記ステップS2において、付箋紙200に対するユーザのタッチ操作が検出されなかった場合、操作検出部14は、動きデータ入力部12により入力された動きセンサ40からの動きデータに基づいて、存在位置検出部13により投影面100での存在位置が検出されていた付箋紙200を剥がす操作、貼付位置を移動させる操作、または新たに付箋紙200を投影面100に貼り付ける操作の何れかが行われたか否かを判定する(ステップS6)。これらの何れかの操作が行われたと判定された場合、それらに対応する位置情報の処理が存在位置検出部13により実行される(ステップS7)。これにより、一定間隔ごとに行われる1回の処理が終了する。
以上詳しく説明したように、第1の実施形態では、投影面100に存在する付箋紙200に対するユーザのタッチ操作を検出し、当該検出したユーザのタッチ操作の回数に基づいて、タッチ操作した付箋紙200のクラスタリングを行う。そして、そのクラスタリングの結果を識別可能に表した影画像をプロジェクタ20から投影面100に投影することにより、影画像を付箋紙200に付随する態様で表示させるようにしている。
上記のように構成した第1の実施形態によれば、ユーザが付箋紙200に対するタッチ操作を行うと、その付箋紙200に対するクラスタリングの結果を識別可能に表した影画像が付箋紙200に付随する態様で表示されることにより、どの付箋紙200がどのようにクラスタリングされたのかが可視化される。これにより、情報等が記述された付箋紙200を用いて当該情報等について試行錯誤を伴う分類・整理を行う際に、付箋紙200に記述された情報等の分類・整理を、付箋紙200を実際に移動させることなく効率的に行うことができる。
(第2の実施形態)
次に、本発明の第2の実施形態を図面に基づいて説明する。第2の実施形態による可視化システム1’のハードウェア構成は、図1と同様である。ただし、情報処理装置10に代えて情報処理装置10’を用いる。図6は、第2の実施形態による情報処理装置10’の機能構成例を示すブロック図である。なお、この図6において、図2に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
図6に示すように、第2の実施形態による情報処理装置10’は、機能構成として、操作検出部14、クラスタリング部15および画像データ生成部16に代えて、操作検出部14’、クラスタリング部15’および画像データ生成部16’を備えている。クラスタリング部15’は、機能構成として、類似度検出部15Aを備えている。
操作検出部14’は、存在位置検出部13により検出された付箋紙200の存在位置と、動きデータ入力部12により入力された動きセンサ40からの動きデータとに基づいて、投影面100に存在する複数の付箋紙200のうち、どの付箋紙200をユーザがタッチ操作したかを検出する。第2の実施形態では、操作検出部14’は、ユーザが付箋紙200を何回タッチ操作したかは検出しない。
クラスタリング部15’の類似度検出部15Aは、撮影画像データ入力部11により入力されたカメラ30からの撮影画像データに基づいて、投影面100に存在する複数の付箋紙200に記述されている内容を分析し、ユーザによりタッチ操作された付箋紙200に記述されている内容と、他の付箋紙200に記述されている内容との類似度を検出する。この類似度の検出は、公知の技術を用いて行うことが可能である。
例えば、類似度検出部15Aは、撮影画像に写っている付箋紙200に記述されている情報等の文字列をテキストデータに変換し、形態素解析、構文解析、文脈解析、意味解析などの自然言語処理を行うことにより、各付箋紙200の情報等をベクトルに変換する。そして、そのベクトルの近さ(コサイン類似度等)の計算により、各付箋紙200に記述された情報等間の類似度(以下、便宜的に付箋間の類似度ともいう)を算出する。なお、類似度の算出法はこれに限らず、他の方法を用いてもよい。
クラスタリング部15’は、類似度検出部15Aにより検出された類似度に応じて、複数の付箋紙200のクラスタリングを行う。例えば、クラスタリング部15’は、タッチ操作された付箋紙200以外の他の付箋紙200を、タッチ操作された付箋紙200との類似度の大きさに応じて、第0分類から第4分類の何れかにクラスタリングする。すなわち、類似度をその値に応じて5つのランクに分けて、類似度が最も大きいランクに属する付箋紙200を第4分類にクラスタリングし、類似度のランクが小さくなるにつれて付箋紙200を第3分類~第1分類にクラスタリングし、類似度が最も小さいランクに属する付箋紙200を第0分類にクラスタリングする。
画像データ生成部16’は、類似度検出部15Aにより検出された類似度に応じた態様から成る空間像を投影面100に存在する複数の付箋紙200のそれぞれに付随して表示させるための識別画像データを生成する。第2の実施形態においても、空間像として影画像を用いる。すなわち、画像データ生成部16’は、類似度検出部15Aにより検出された類似度に応じて大きさが異なる影画像を投影面100に存在する複数の付箋紙200のそれぞれに付随して表示させるための識別画像データを生成する。
具体的には、画像データ生成部16’は、タッチ操作された付箋紙200以外の他の付箋紙200のうち、類似度検出部15Aにより検出された類似度の大きさに応じて第1分類にクラスタリングされた付箋紙200に対して、第1分類に応じた大きさの影画像を付箋紙200に付随して表示させるための識別画像データを生成する。同様に、画像データ生成部16’は、第2分類~第4分類にクラスタリングされた付箋紙200に対して、第2分類~第4分類に応じた大きさの影画像を付箋紙200に付随して表示させるための識別画像データを生成する。第0分類にクラスタリングされた付箋紙200に対しては影画像を付随して表示させない。ここで、第4分類に応じた大きさの影画像が最も大きく、第1分類に応じた大きさの影画像が最も小さい。
タッチ操作された付箋紙200については、例えば、第4分類に応じた大きさの影画像を付箋紙200に付随して表示させる。あるいは、投影面100に存在する他の付箋紙200に対して表示される影画像のうち、最も大きい影画像と同じ大きさの影画像を、タッチ操作された付箋紙200に付随して表示させるようにしてもよい。例えば、他の付箋紙200が第0分類~第3分類の何れかにクラスタリングされ、第4分類にクラスタリングされた他の付箋紙200がなかった場合、タッチ操作された付箋紙200については、第3分類に応じた大きさの影画像を付箋紙200に付随して表示させる。
画像データ生成部16’は、投影面100に貼られている複数の付箋紙200(第0分類にクラスタリングされたものを除く)のそれぞれに対して類似度に応じた大きさの影画像を付随して表示させるように形成した識別画像データを生成して、それをプロジェクタ20に供給する。プロジェクタ20は、画像データ生成部16’から供給された識別画像データに基づいて投影面100に識別画像を投影することにより、投影面100に存在する付箋紙200に対するクラスタリングの結果を識別可能に表した空間像(クラスタリングの結果を影の大きさにより識別可能に表した影画像)を付箋紙200に付随する態様で投影面100に表示させる。
図7は、複数の付箋紙200に対して影画像が付随する態様で表示された状態の一例を示す図である。図7は、5つの付箋紙200-21~200-25が投影面100に貼られた状態を示している。図7(a)は、ユーザが第1の付箋紙200-21をタッチ操作した場合に表示される影画像の例を示している。この場合、タッチ操作された第1の付箋紙200-21と他の付箋紙200-22~200-25との類似度の大きさに応じてクラスタリングされた結果に基づいて、第0分類~第4分類の何れかに応じた大きさの影画像が各付箋紙200-21~200-25に付随する態様で表示される。
また、図7(b)は、ユーザが第5の付箋紙200-25をタッチ操作した場合に表示される影画像の例を示している。この場合、タッチ操作された第5の付箋紙200-25と他の付箋紙200-21~200-24との類似度の大きさに応じてクラスタリングされた結果に基づいて、第0分類~第4分類の何れかに応じた大きさの影画像が各付箋紙200-21~200-25に付随する態様で表示される。このように、ユーザがどの付箋紙200をタッチ操作するかによって、各付箋紙200-21~200-25に付随して表示される影画像の大きさが変わる。
以上のように、第2の実施形態では、ユーザがタッチ操作した付箋紙200に記述されている情報等と他の付箋紙200に記述されている情報等との類似度を自動解析し、その類似度に基づいて、投影面100に貼られている複数の付箋紙200のクラスタリングを行う。そして、クラスタリングされた結果に応じた影画像を各付箋紙200に付随する態様で表示させるようにしている。これにより、ユーザが所望の付箋紙200に対するタッチ操作を行うと、付箋間の類似度に応じてクラスタリングされた結果を識別可能に表した影画像が各付箋紙200に付随する態様で表示されることにより、どの付箋紙200がどのようにクラスタリングされたのかが可視化される。これにより、付箋紙200に記述された情報等の分類・整理を、付箋紙200を実際に移動させることなく効率的に行うことができる。
なお、上述した第1の実施形態と第2の実施形態とを組み合わせて適用するようにしてもよい。例えば、ユーザは、第2の実施形態による方法によって付箋間の類似度に基づき自動的にクラスタリングされた結果を可視化された影画像で確認し、そのようなコンピュータ処理によるクラスタリングの結果を参考にしながら、第1の実施形態による方法によってユーザが自分の判断を加えて情報等のクラスタリングを行うことが可能である。この場合においてもユーザは、付箋紙200を実際に移動させることなく、所望の付箋紙200をタッチ操作するだけで、付箋紙200に記述された情報等の分類・整理を効率的に行うことができる。
なお、第1の実施形態と第2の実施形態とを組み合わせて適用する場合、何れか一の付箋紙200に対するタッチ操作によって第1の実施形態の処理を実行するのか、第2の実施形態の処理を実行するのかを区別する必要がある。例えば、付箋紙200を所定時間未満の短い時間タッチ操作した場合に第1の実施形態の処理を実行し、所定時間以上連続してタッチ操作(長押し)した場合に第2の実施形態の処理を実行するようにすることが考えられる。あるいは、どの指でタッチ操作するかに応じて、第1の実施形態の処理または第2の実施形態の処理を実行するようにしてもよい。
また、第1の実施形態の処理によって表示する影画像と、第2の実施形態の処理によって表示する影画像とを区別できるようにしてもよい。例えば、第2の実施形態の処理によって表示する影画像は薄い影画像とし、第1の実施形態の処理によって表示する影画像は濃い影画像とする。あるいは、第1の実施形態の処理によって表示する影画像と、第2の実施形態の処理によって表示する影画像とを別の色で表示するようにしてもよい。このようにすれば、付箋間の類似度に応じてクラスタリングされた結果を影画像により参考にしながら、ユーザが自分の判断を加えて情報等のクラスタリングを行うことをやりやすくすることができる。
以上、第1および第2の実施形態について説明したが、本発明はこれらに限定されない。例えば、上記実施形態では、カメラ30、プロジェクタ20および動きセンサ40がそれぞれ個別に存在する例について説明したが、これに限定されない。例えば、プロジェクタ20がカメラ30および/または動きセンサ40を備える構成としてもよい。また、情報処理装置10がカメラ30、プロジェクタ20、動きセンサ40の何れか1つまたは複数を備える構成としてもよい。
また、上記第1および第2の実施形態では、カメラ30の他に動きセンサ40を備える構成について説明したが、これに限定されない。例えば、動きセンサ40を省略し、カメラ30により撮影された画像データを解析することにより、投影面100の周囲に存在する物体の動きを検出するようにしてもよい。
また、上記第1および第2の実施形態では、付箋紙200に付随する態様で表示させる空間像の一例として影画像を用いる例について説明したが、これに限定されない。例えば、付箋紙200の周りを囲む矩形枠の画像を空間像として用い、クラスタリングの結果に応じて矩形枠の太さや色、数などを変えるようにしてもよい。あるいは、クラスタリングされた分類を表す数値や所定のマークなどを付箋紙200に付随する態様で表示させるようにしてもよい。あるいは、白い付箋紙200の面に対して、クラスタリングの結果に応じて異なる色の画像を投影させるようにしてもよい。
また、上記第1および第2の実施形態では、第0分類にクラスタリングされた付箋紙200については影画像を表示させない例について説明したが、これに限定されない。例えば、第1分類にクラスタリングされた付箋紙200に対して表示される影画像よりも小さい影画像を表示させるようにしてもよい。
また、上記第1および第2の実施形態では、物理物体の一例として付箋紙200を例に挙げたが、これに限定されない。情報等を記述または貼付可能な物体であれば何れも用いることが可能である。例えば、所定サイズのメモ用紙を机上に置いて分類・整理する際にも、上記第1および第2の実施形態を適用することが可能である。
また、上記第1の実施形態では、1つの付箋紙200に対するタッチ操作の回数を通算の回数とする例について説明したが、これに限定されない。例えば、ユーザがタッチ操作を行う都度、タッチ操作の回数を1回からカウントするようにしてもよい。
また、上記第2の実施形態において、複数の付箋紙200に付随して付箋間の類似度に応じた影画像を表示させる際に、付箋紙200に対するタッチ操作が行われてから所定時間、影画像を振動させるようなアニメーション表示を行うようにしてもよい。この場合、影画像の大きさに応じて振動の大きさも変えるようにしてもよい。
また、上記第2の実施形態では、投影面100に貼られている複数の付箋紙200に対して付箋間の類似度に応じたクラスタリングを行い、第0分類にクラスタリングされた付箋紙200以外は全て影画像を表示させる例について説明したが、これに限定されない。例えば、所定の閾値より大きい類似度とされた付箋紙200についてのみ影画像を表示させるようにしてもよい。
また、上記第2の実施形態では、付箋紙200に記述されている情報等が文字列である例について説明したが、これに限定されない。例えば、図形または画像であってもよい。これは第1の実施形態についても同様である。
また、上記第1および第2の実施形態では、箋紙200へのタッチ操作に応じて影画像を表示させる例について説明したが、付箋紙200に対する操作はタッチ操作に限定されない。例えば、投影面100にカーソル画像を投影して表示させ、マウスやコントローラなどのデバイスの操作によってカーソル画像を付箋紙200の位置に合わせる操作またはクリック操作としてもよい。あるいは、カメラ30により撮影した投影面100の画像を図示しないディスプレイにカーソルと共に表示させ、マウスやコントローラなどのデバイスの操作によって、ディスプレイ上に表示された付箋紙200に対応する電子付箋の位置にカーソルを合わせる操作またはクリック操作としてもよい。別の例として、ユーザが所望の付箋紙200の位置を指定するように行った発話音声を音声認識して該当の付箋紙200を指定する操作、視線検出デバイスによりユーザの視線を検出してその視線が向いている付箋紙200を指定する操作、ユーザの指・手・体などのジェスチャーを認識して付箋紙200を指定する操作などとしても良い。
また、上記第1および第2の実施形態では、分類の数を第0分類~第4分類の5つとする例について説明したが、分類の数はこれに限定されない。また、クラスタリングの分類(影画像の大きさ)は、第0分類~第4分類のように離散的でなく連続的であってもよい。例えば、第1の実施形態において、付箋紙200を所定時間以上連続してタッチ操作(長押し)している間は影画像の大きさを連続的に変化させ、タッチ操作が解除されたときに影画像の大きさの変化を停止することにより、任意の連続的な大きさに影画像を変更できるようにしてもよい。また、第2の実施形態において、連続値として得られる類似度の大きさを、連続的な影画像の大きさとしてそのまま表示するようにしてもよい。
その他、上記第1および第2の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
1,1’ 現実物体に対するクラスタリングの可視化システム
10 情報処理装置(可視化制御装置)
11 撮影画像データ入力部
12 動きデータ入力部
13 存在位置検出部
14,14’ 操作検出部
15,15’ クラスタリング部
15A 類似度検出部
16,16’ 画像データ生成部
20 プロジェクタ(画像投影装置)
30 カメラ(撮影装置)
40 動きセンサ
100 投影面
200 付箋紙(物理物体)

Claims (10)

  1. 投影面に画像を投影して空間像を表示させる画像投影装置と、
    上記空間像を形成するための画像データを生成して上記画像投影装置に供給する情報処理装置と、
    上記投影面を撮影し、得られた撮影画像データを上記情報処理装置に供給する撮影装置とを備え、
    上記情報処理装置は、
    上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
    上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
    上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備え、
    上記画像投影装置は、上記画像データ生成部から供給された上記識別画像データに基づいて投影面に識別画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させ
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが何回操作したかを検出し、
    上記クラスタリング部は、上記物理物体が操作された回数に応じて当該物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記物理物体が上記ユーザにより操作された回数に応じた態様から成る空間像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化システム。
  2. 上記物理物体に付随して表示させる空間像は、上記物理物体の疑似的な影の像であり、
    上記画像データ生成部は、上記ユーザにより操作された回数に応じて大きさが異なる影の像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
    ことを特徴とする請求項に記載の現実物体に対するクラスタリングの可視化システム。
  3. 投影面に画像を投影して空間像を表示させる画像投影装置と、
    上記空間像を形成するための画像データを生成して上記画像投影装置に供給する情報処理装置と、
    上記投影面を撮影し、得られた撮影画像データを上記情報処理装置に供給する撮影装置とを備え、
    上記情報処理装置は、
    上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
    上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
    上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備え、
    上記画像投影装置は、上記画像データ生成部から供給された上記識別画像データに基づいて投影面に識別画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させ、
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが操作したかを検出し、
    上記クラスタリング部は、上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する複数の上記物理物体に記述されている内容を分析し、上記ユーザにより操作された物理物体に記述されている内容と、他の物理物体に記述されている内容との類似度を検出する類似度検出部を備え、上記類似度検出部により検出された類似度に応じて上記複数の物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記類似度検出部により検出された類似度に応じた態様から成る空間像を上記投影面に存在する上記複数の物理物体のそれぞれに付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化システム。
  4. 上記物理物体に付随して表示させる空間像は、上記物理物体の疑似的な影の像であり、
    上記画像データ生成部は、上記類似度検出部により検出された類似度に応じて大きさが異なる影の像を上記投影面に存在する複数の上記物理物体のそれぞれに付随して表示させるための識別画像データを生成する
    ことを特徴とする請求項3に記載の現実物体に対するクラスタリングの可視化システム。
  5. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
    上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
    上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備え
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが何回操作したかを検出し、
    上記クラスタリング部は、上記物理物体が操作された回数に応じて当該物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記物理物体が上記ユーザにより操作された回数に応じた態様から成る空間像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化制御装置。
  6. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
    上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
    上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備え、
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが操作したかを検出し、
    上記クラスタリング部は、上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する複数の上記物理物体に記述されている内容を分析し、上記ユーザにより操作された物理物体に記述されている内容と、他の物理物体に記述されている内容との類似度を検出する類似度検出部を備え、上記類似度検出部により検出された類似度に応じて上記複数の物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記類似度検出部により検出された類似度に応じた態様から成る空間像を上記投影面に存在する上記複数の物理物体のそれぞれに付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化制御装置
  7. 情報処理装置の存在位置検出部が、撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する第1のステップと、
    上記情報処理装置の操作検出部が、上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する第2のステップと、
    上記情報処理装置のクラスタリング部が、上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行う第3のステップと、
    上記情報処理装置の画像データ生成部が、上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して画像投影装置に供給する第4のステップと、
    上記画像投影装置が、上記画像データ生成部から供給された上記識別画像データに基づいて上記投影面に画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させる第5のステップとを有し、
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが何回操作したかを検出し、
    上記クラスタリング部は、上記物理物体が操作された回数に応じて当該物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記物理物体が上記ユーザにより操作された回数に応じた態様から成る空間像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化方法。
  8. 情報処理装置の存在位置検出部が、撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する第1のステップと、
    上記情報処理装置の操作検出部が、上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する第2のステップと、
    上記情報処理装置のクラスタリング部が、上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行う第3のステップと、
    上記情報処理装置の画像データ生成部が、上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して画像投影装置に供給する第4のステップと、
    上記画像投影装置が、上記画像データ生成部から供給された上記識別画像データに基づいて上記投影面に画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させる第5のステップとを有し、
    上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが操作したかを検出し、
    上記クラスタリング部は、上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する複数の上記物理物体に記述されている内容を分析し、上記ユーザにより操作された物理物体に記述されている内容と、他の物理物体に記述されている内容との類似度を検出する類似度検出部を備え、上記類似度検出部により検出された類似度に応じて上記複数の物理物体のクラスタリングを行い、
    上記画像データ生成部は、上記類似度検出部により検出された類似度に応じた態様から成る空間像を上記投影面に存在する上記複数の物理物体のそれぞれに付随して表示させるための識別画像データを生成する
    ことを特徴とする現実物体に対するクラスタリングの可視化方法
  9. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出手段、
    上記存在位置検出手段により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出手段、
    上記操作検出手段により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング手段、および
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成手段、
    としてコンピュータを機能させ
    上記操作検出手段は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが何回操作したかを検出し、
    上記クラスタリング手段は、上記物理物体が操作された回数に応じて当該物理物体のクラスタリングを行い、
    上記画像データ生成手段は、上記物理物体が上記ユーザにより操作された回数に応じた態様から成る空間像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
    現実物体に対するクラスタリングの可視化制御用プログラム。
  10. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出手段、
    上記存在位置検出手段により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出手段、
    上記操作検出手段により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング手段、および
    上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成手段、
    としてコンピュータを機能させ、
    上記操作検出手段は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが操作したかを検出し、
    上記クラスタリング手段は、上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する複数の上記物理物体に記述されている内容を分析し、上記ユーザにより操作された物理物体に記述されている内容と、他の物理物体に記述されている内容との類似度を検出する類似度検出手段を備え、上記類似度検出手段により検出された類似度に応じて上記複数の物理物体のクラスタリングを行い、
    上記画像データ生成手段は、上記類似度検出手段により検出された類似度に応じた態様から成る空間像を上記投影面に存在する上記複数の物理物体のそれぞれに付随して表示させるための識別画像データを生成する
    現実物体に対するクラスタリングの可視化制御用プログラム
JP2020046574A 2020-03-17 2020-03-17 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム Active JP7374413B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020046574A JP7374413B2 (ja) 2020-03-17 2020-03-17 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020046574A JP7374413B2 (ja) 2020-03-17 2020-03-17 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム

Publications (2)

Publication Number Publication Date
JP2021149296A JP2021149296A (ja) 2021-09-27
JP7374413B2 true JP7374413B2 (ja) 2023-11-07

Family

ID=77849025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020046574A Active JP7374413B2 (ja) 2020-03-17 2020-03-17 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム

Country Status (1)

Country Link
JP (1) JP7374413B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126002A (ja) 2004-10-28 2006-05-18 Denso Corp 操作装置
JP2008269085A (ja) 2007-04-17 2008-11-06 Fuji Xerox Co Ltd 情報推薦装置及び情報推薦システム
JP2009086952A (ja) 2007-09-28 2009-04-23 Fuji Xerox Co Ltd 情報処理システム及び情報処理プログラム
JP2014512050A (ja) 2011-04-08 2014-05-19 クアルコム,インコーポレイテッド リソース利用率マップを使用した最適化された実行のための方法および装置
WO2014155730A1 (ja) 2013-03-29 2014-10-02 株式会社東芝 表示処理装置、及び表示処理方法
JP2016148968A (ja) 2015-02-12 2016-08-18 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126002A (ja) 2004-10-28 2006-05-18 Denso Corp 操作装置
JP2008269085A (ja) 2007-04-17 2008-11-06 Fuji Xerox Co Ltd 情報推薦装置及び情報推薦システム
JP2009086952A (ja) 2007-09-28 2009-04-23 Fuji Xerox Co Ltd 情報処理システム及び情報処理プログラム
JP2014512050A (ja) 2011-04-08 2014-05-19 クアルコム,インコーポレイテッド リソース利用率マップを使用した最適化された実行のための方法および装置
WO2014155730A1 (ja) 2013-03-29 2014-10-02 株式会社東芝 表示処理装置、及び表示処理方法
JP2016148968A (ja) 2015-02-12 2016-08-18 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Also Published As

Publication number Publication date
JP2021149296A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
JP6007497B2 (ja) 画像投影装置ならびに画像投影制御装置およびプログラム
US10394334B2 (en) Gesture-based control system
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
US20130125069A1 (en) System and Method for Interactive Labeling of a Collection of Images
US10108270B2 (en) Real-time 3D gesture recognition and tracking system for mobile devices
US20120326995A1 (en) Virtual touch panel system and interactive mode auto-switching method
US20130343601A1 (en) Gesture based human interfaces
JP2017524186A (ja) デジタルインクの選択の検知
US20150370472A1 (en) 3-d motion control for document discovery and retrieval
Geer Will gesture recognition technology point the way?
JP2022548494A (ja) グラフィックオブジェクトを選択するための方法及び対応するデバイス
JP2024520943A (ja) キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム
Saoji et al. Air canvas application using Opencv and numpy in python
SK et al. Gestop: Customizable gesture control of computer systems
EP2618237B1 (en) Gesture-based human-computer interaction method and system, and computer storage media
Riemann et al. Flowput: Environment-aware interactivity for tangible 3d objects
US11854308B1 (en) Hand initialization for machine learning based gesture recognition
JP7374413B2 (ja) 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム
Mallik et al. Virtual Keyboard: A Real-Time Hand Gesture Recognition-Based Character Input System Using LSTM and Mediapipe Holistic.
US20220137712A1 (en) Information processing apparatus, information processing method, and program
Habibi Detecting surface interactions via a wearable microphone to improve augmented reality text entry
Sen et al. HGR-FYOLO: a robust hand gesture recognition system for the normal and physically impaired person using frozen YOLOv5
US9477879B2 (en) Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents
WO2021075103A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231013

R150 Certificate of patent or registration of utility model

Ref document number: 7374413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150