JP7019967B2 - 表示制御プログラム、表示制御方法及び表示制御装置 - Google Patents

Description

本発明は、表示制御プログラム、表示制御方法及び表示制御装置に関する。

近年、電子ペン、各種センサ、プロジェクタ等から構成されるヒューマンコンピュータインタラクションシステム、いわゆるインタラクティブホワイトボードが提案されている（例えば、特許文献１を参照。）。

電子ペンを使ったインタラクティブホワイトボードでは、電子ペンのボード平面内での移動軌跡がセンサにより検出され、描画された図形や文字がボード平面上に表示される。また、電子ペンのボード平面内での動線からコンピュータへのコマンドが認識され、コンピュータの動作が制御される。

特開２０１６－１９４８９４号公報 特開２０１０－１２２９８７号公報 特開２０１３－５４４０５号公報 特開２００７－２３３５１１号公報

しかしながら、インタラクティブホワイトボードでは、机や壁面に表示された複数の付箋や画像等のオブジェクトを複数のユーザで共有する。したがって、オブジェクトが机や壁面のインタラクティブホワイトボード上に次々に配置され、かなりの数になる場合がある。そうすると、多数のオブジェクトが重なり合い、目的のオブジェクトが他のオブジェクトの下に隠れてしまい、机上等に表示されているオブジェクトから目的となるオブジェクトを見つけ難くなる場合があり、作業の効率を悪くする。

これに対して、インタラクティブホワイトボード上に複数のオブジェクトを重ねずに広範囲に表示すると、他のユーザの作業領域が不足してしまう。そこで、複数のユーザの作業領域を確保するために、インタラクティブホワイトボードを広範囲に設定すると、特定のオブジェクトを選択するときに、あるユーザからは手が届かない場合がある。

１つの側面では、本発明は、対象のオブジェクトを簡単に探索することを目的とする。

１つの実施態様では、特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定し、複数のオブジェクトと複数のオブジェクトの識別情報と複数のオブジェクトの位置情報とを含むオブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクトの表示位置を示す位置情報と、を取得し、取得した前記複数のオブジェクトの位置情報に基づき、取得した前記複数の識別情報間の相対位置関係を決定し、取得した前記複数の識別情報を、決定した前記相対位置関係で前記表示エリアに表示する、処理をコンピュータに実行させ、前記複数の識別情報間の相対位置関係は、前記複数のオブジェクトの表示位置の相対的な関係に対応する、ことを特徴とする表示制御プログラムが提供される。

１つの側面では、本発明は、対象のオブジェクトを簡単に探索することができる。

一実施形態に係る表示制御システムの全体構成の一例を示す図。 一実施形態に係る表示制御装置の機能構成の一例を示す図。 一実施形態に係る特定操作登録テーブルの一例を示す図。 一実施形態に係るオブジェクト情報テーブルの一例を示す図。 一実施形態に係るサムネイル表示順テーブルの一例を示す図。 一実施形態に係る隣接オブジェクトテーブルの一例を示す図。 一実施形態に係るクラスタ情報テーブルの一例を示す図。 一実施形態に係る表示制御処理の一例を示すフローチャート。 一実施形態に係る隣接オブジェクト判定処理の一例を示すフローチャート。 一実施形態に係るサムネイル表示順序決定処理の一例を示すフローチャート。 一実施形態に係る表示制御処理を説明するための図。 一実施形態に係る隣接オブジェクトのサムネイル表示を説明するための図。 一実施形態の変形例に係る表示制御処理の一例を示すフローチャート。 一実施形態の変形例に係る表示制御処理を説明するための図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［表示制御システムの全体構成］
まず、本発明の一実施形態に係る表示制御システムの構成の一例について、図１を参照しながら説明する。図１は、一実施形態に係る表示制御システムの全体構成の一例を示す。本実施形態に係る表示制御システムでは、会議室６０の壁６５及び机７０がオブジェクトを表示するスクリーン、すなわち、インタラクティブホワイトボードの一例として示されている。

ただし、会議室６０の天井部や床等、会議室６０の全体がインタラクティブホワイトボードになり得る。また、表示制御システムによりオブジェクトが表示される領域は、会議室６０に限られず、学校、会社、病院等の建物の壁面、道、駅の壁面、家具等あらゆる場所や物であり得る。

会議室６０には、プロジェクタ４０及びカメラ２０を組み合わせた装置が複数設置され、会議室６０全体の空間を一つのウィンドウシステムとして機能させる。これにより、複数のユーザＡ～Ｅは、インタラクティブホワイトボードに表示された画像や付箋等のオブジェクト情報を共有することができる。カメラ２０は、ペンデバイスから出力される赤外線を認識可能なセンサの一例である。

例えば、ユーザＡが、ペンデバイス５０ａを使ってインタラクティブホワイトボード（以下、「ボード」という。）の表示エリアに所定の軌跡を入力する操作を行うと、天井に設置されたカメラ２０が、ペンデバイス５０ａから出力される赤外線の移動軌跡Ｋ１を検出する。表示制御装置１０は、カメラ２０が映した画像を解析し、ペンデバイス５０ａから出力された赤外線の移動軌跡Ｋ１を抽出し、プロジェクタ４０を用いてボードの表示エリアに表示する軌跡の座標情報を生成する。生成した座標情報はプロジェクタ４０に送られる。これにより、プロジェクタ４０を用いて赤外線の移動軌跡Ｋ１がボード平面上の表示エリアＡ１に投影される。机や壁を用いたボードの表示エリアＡ１、Ａ２・・・を総称して表示エリアともいう。図１では、ボード内に複数の表示エリアＡ１、Ａ２・・・が設けられている。ただし、表示エリアは、ボード内の投影可能な領域であれば、複数の表示エリアに分けられている必要はない。

カメラ２０が検出する特定の動作は、ペンデバイス５０ａ、５０ｄにより入力操作に限られず、例えば、ユーザＢのジェスチャ５０ｂ、ユーザＣの指５０ｃによる入力操作であってもよい。カメラ２０は、これらの入力操作を撮影した画像を表示制御装置１０に送る。表示制御装置１０は、受信したカメラ２０の画像を解析し、各操作に応じた処理を実行する。検出する特定の動作には、ペン、指、ジェスチャの他、音声操作等が含まれる。音声検知には、カメラ２０に替えてマイク等の音声入力装置が使用され得る。また、プロジェクタ４０が投影する情報は、アプリケーションの画像、写真、電子付箋、テキスト等が挙げられる。

カメラ２０と表示制御装置１０との間及びプロジェクタ４０と表示制御装置１０との間は、無線又は有線にて接続され、データ通信が可能である。これらの装置間は、直接接続されてもよいし、ネットワークを介して接続されてもよい。例えば会議室６０から離れた遠隔地に会議を共有するためのプロジェクタや表示制御装置があって、それらの機器と連携してオブジェクトを所定空間のボードに表示することもできる。

表示制御装置１０は、サーバ、パーソナルコンピュータ、タブレット型端末、スマートフォン、ＰＤＡ（Personal Digital Assistants）等の情報処理装置であり得る。表示制御装置１０は、通信Ｉ／Ｆ１０１を介して、カメラ２０、プロジェクタ４０及び会議室６０に存在する複数のユーザＡ～Ｅの端末３０ａ～３０ｅとデータ通信が可能である。

表示制御装置１０は、通信Ｉ／Ｆ１０１の他、ＣＰＵ１０２、メモリ１０３、入力装置１０４、表示装置１０５及び外部Ｉ／Ｆ１０６を有する。

メモリ１０３は、表示制御装置１０の全体を制御するためのプログラム、表示制御装置１０に搭載された機能を実現するプログラム及び各種のデータを記憶する。メモリ１０３は、例えば、ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等により実現される。ＲＯＭは、電源を切っても内部データを保持する不揮発性の半導体メモリである。ＲＡＭは、プログラムやデータを一時保持する揮発性の半導体メモリである。ＨＤＤは、プログラムやデータを格納する不揮発性の記憶装置である。

ＣＰＵ１０２は、表示制御装置１０の全体を制御する。また、ＣＰＵ１０２は、カメラ２０からの画像を取得し、該画像に基づきユーザが操作した入力軌跡を解析する。ＣＰＵ１０２は、メモリ１０３に記憶されている特定操作とコマンドとを対応付けたテーブル（図２の特定操作登録テーブル２１）を参照して、入力軌跡に対応する特定操作によって実行されるコマンドを特定する。

また、ＣＰＵ１０２は、ＨＤＤやＲＯＭに記憶された表示制御プログラムや所定のデータをＲＡＭ上に読み出し、特定したコマンドに従った処理を実行する。特定したコマンドに従った処理がサムネイル表示処理の場合、特定のオブジェクトの識別情報の表示位置を示す配置情報は、通信Ｉ／Ｆ１０１を介してプロジェクタ４０に送信される。プロジェクタ４０は、配信された特定のオブジェクトの識別情報に従い、複数のオブジェクトの識別情報をボードの表示エリアのうち、ユーザにより指定されたサムネイル表示領域に表示する。

なお、ＣＰＵ１０２は、複数のユーザＡ～Ｅの位置と各ユーザが所有する端末３０ａ～３０ｅの端末ＩＤとを紐付けて認識し、複数のユーザＡ～Ｅの動作を追跡してもよい。また、ＣＰＵ１０２は、端末３０ａ～３０ｅのそれぞれから所定のアプリケーションの画面やその他の情報を受信してもよい。ＣＰＵ１０２は、端末ＩＤに紐付けられた各ユーザの位置に応じて、アプリケーションの画面やその他の情報をボード上の所定の位置に表示することができる。なお、端末３０ａ～３０ｅは、持ち込み機器の一例であり、持ち込み機器はなくてもよい。

入力装置１０４は、キーボードやマウスなどを含み、表示制御装置１０に各操作信号を入力するために用いられる。表示装置１０５は、ＬＣＤ（Liquid crystal Display）モニタ等のディスプレイ、ＣＲＴ（Cathode Ray Tube）などを含み、各種の処理結果を出力する。

外部Ｉ／Ｆ１０６は、外部装置とのインターフェースである。外部装置には、記録媒体１０６ａなどがある。これにより、表示制御装置１０は、外部Ｉ／Ｆ１０６を介して記録媒体１０６ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０６ａには、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

［機能構成］
次に、第１実施形態に係る表示制御装置１０の機能構成の一例について、図２を参照しながら説明する。図２は、一実施形態に係る表示制御装置１０の機能構成の一例を示す。表示制御装置１０は、記憶部１１、取得部１２、特定部１３、表示制御部１４、通信部１５、制御部１６及び選択部１７を有する。

記憶部１１は、特定操作登録テーブル２１、オブジェクト情報テーブル２２、サムネイル表示順テーブル２３、隣接オブジェクトテーブル２４及びクラスタ情報テーブル２５の各テーブルを記憶する。また、記憶部１１は、表示制御プログラム２６を記憶する。

図３は、一実施形態に係る特定操作登録テーブル２１の一例を示す。特定操作登録テーブル２１は、入力操作を識別する操作ＩＤ毎に、軌跡及び特定の操作の各情報を対応付けて登録する。例えば、ペンデバイス５０ａが出力する赤外線の軌跡が「軌跡１」の形状であるとき、その入力操作により特定される操作は「サムネイル表示」となる。よって、ユーザがペンデバイスを用いて「軌跡１」を描くと、カメラが撮影した軌跡１を描く画像が表示制御装置１０に送信される。表示制御装置１０は、取得した画像を解析し、解析結果を特定操作登録テーブル２１に照らし合わせて、軌跡１に対応する特定の操作「サムネイル表示」を選択する。選択した特定の操作「サムネイル表示」は、プロジェクタ４０に送信される。これにより、プロジェクタ４０から特定の複数のオブジェクトの識別情報が表示される。

図４は、一実施形態に係るオブジェクト情報テーブル２２の一例を示す。オブジェクト情報テーブル２２は、オブジェクトＩＤ毎に、オブジェクトの名前、オブジェクトが存在するレイヤ情報、オブジェクトが表示される座標、幅、種類、内容、所有者、所属画面及び拠点の各情報を対応付けて記憶する。所属画面は、ボード上の表示エリアＡ１、Ａ２・・・を特定する情報である。

図５は、一実施形態に係るサムネイル表示順テーブル２３の一例を示す。サムネイル表示順テーブル２３は、サムネイルＩＤ毎に、オブジェクトＩＤ及びサムネイルの画像の各情報を対応付けて記憶する。

図６は、一実施形態に係る隣接オブジェクトテーブル２４の一例を示す。隣接オブジェクトテーブル２４は、隣接オブジェクトＩＤ毎に、基準オブジェクトと、基準オブジェクトに対する右側隣接オブジェクトまたは下側隣接オブジェクトの各情報を対応付けて記憶する。

図７は、一実施形態に係るクラスタ情報テーブル２５の一例を示す。クラスタ情報テーブル２５は、クラスタＩＤ毎に、クラスタの重心の座標及びオブジェクトリストの各情報を対応付けて記憶する。

表示制御プログラム２６は、特定の動作を検出すると会議室６０の所定の表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを所定の位置関係で、指示された表示位置に応じた位置に表示するための処理をＣＰＵ１０２に実行させる。

取得部１２は、カメラ２０が撮影した画像を取得する。特定部１３は、取得した画像を解析し、撮影された赤外線の軌跡やジェスチャを抽出し、特定操作登録テーブル２１を参照して、軌跡やジェスチャに対応する操作を特定する。特定部１３は、特定した操作が「サムネイル表示」の動作であることを検出したとき、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定する。

取得部１２は、オブジェクト情報テーブル２２を参照して、特定した複数のオブジェクトに対応する複数のオブジェクトの識別情報と、特定した複数のオブジェクト間の位置関係を示す座標とを取得する。本実施形態では、特定した複数のオブジェクトに対応する複数のオブジェクトの識別情報として、特定した複数のオブジェクトのそれぞれに対応するサムネイル画像を例に挙げて説明する。しかしながら、特定したオブジェクトに対応する識別情報は、これに限らず、他の例としては、特定したオブジェクトに対応するオブジェクトの名前、オブジェクトの内容、オブジェクトの種類、拠点及び所有者であってもよく、これらの情報を任意に組み合わせてもよい。オブジェクトの識別情報は、オブジェクトの画像そのものであってもよいし、オブジェクトの縮小画像であってもよいし、オブジェクトの一部の画像であってもよい。また、オブジェクトの識別情報は、付箋であってもよいし、付箋に書かれたテキストであってもよいし、付箋に書かれたテキストの一部（例えば、先頭文字列等）であってもよい。オブジェクトの識別情報は、ファイルが保存されている保存場所のパスであってもよい。

特定した複数のオブジェクト間の位置関係を示す座標は、特定した複数のオブジェクト間の位置関係を示す位置関係情報の一例であり、図４のオブジェクト情報テーブル２２の座標から算出できる。

表示制御部１４は、特定した複数のオブジェクトのサムネイル画像を、取得した特定した複数のオブジェクト間の位置関係を示す座標に応じた位置関係で表示エリアに表示する。

通信部１５は、カメラ２０、端末３０ａ～３０ｅ、プロジェクタ４０及びその他の機器とデータ通信する。

制御部１６は、表示制御装置１０の全体を制御する。選択部１７は、タッチや特定の操作を検出すると、サムネイル画像の一つを選択する。これにより、サムネイル表示中の選択されたサムネイル画像を閲覧したり編集したりすることができる。

なお、複数のサムネイル画像の表示は、それぞれのサムネイル画像に対応するオブジェクトの移動又は編集のために操作される操作部品である。サムネイル表示された画像（サムネイル画像）の一つがユーザにより選択されると、編集モードに移る。編集モードでは、簡略化されたサムネイル画像から移行してオブジェクトの実際の画像が表示されたり、部分画像から移行して全画像が表示されたり、縮小画像から移行して拡大画像が表示されたりする。編集後の画像は、サムネイル表示の状態に戻ってもよい。

例えば、操作部品が付箋のオブジェクトの場合、編集モードに移ると、選択された付箋のオブジェクトが拡大して表示され、編集可能な状態になるようにしてもよい。

なお、図２は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部のソフトウエアを実行するプロセッサはハードウェアである。

例えば、記憶部１１の機能は、例えば、メモリ１０３により実現され得る。取得部１２の機能は、例えば、入力装置１０４により実現され得る。特定部１３、表示制御部１４、制御部１６及び選択部１７の各機能は、例えば、表示制御装置１０にインストールされた表示制御プログラム２６が、ＣＰＵ１０２に実行させる処理により実現され得る。

通信部１５の機能は、例えば、通信Ｉ／Ｆ１０１により実現され得る。特定操作登録テーブル２１、オブジェクト情報テーブル２２、サムネイル表示順テーブル２３、隣接オブジェクトテーブル２４及びクラスタ情報テーブル２５の各テーブルに記憶された情報は、メモリ１０３又はネットワークを介して表示制御装置１０に接続されるクラウド上のサーバ等に格納され得る。

［表示制御処理］
次に、本実施形態に係る表示制御処理の一例について図８を参照して説明する。図８は、一実施形態に係る表示制御処理の一例を示すフローチャートである。図９は、一実施形態に係る隣接オブジェクト判定処理の一例を示すフローチャートである。図１０は、一実施形態に係るサムネイル表示順序決定処理の一例を示すフローチャートである。図１１は、一実施形態に係る表示制御処理を説明するための図である。

図８の表示制御処理が開始されると、取得部１２は、カメラ２０が撮影した画像データを取得し、画像解析して入力軌跡を取得する（ステップＳ１０）。次に、特定部１３は、特定操作登録テーブル２１を参照して、取得した入力軌跡に対する操作を特定する（ステップＳ１２）。例えば、図１１（ａ）に示すよう机上の領域をペンデバイスで囲む入力軌跡Ｋ１が、図３の特定操作登録テーブル２１の例では、軌跡１である場合、特定部１３は、その入力操作を「サムネイル表示」という特定の動作であると特定する。

次に、特定部１３は、サムネイル表示の操作か否かを判定する（ステップＳ１４）。特定部１３は、サムネイル表示の操作でないと判定すると、本処理を終了する。一方、特定部１３は、サムネイル表示の操作であると判定すると、入力軌跡の座標より、サムネイル表示領域の座標と幅を決定し、記憶部１１に記憶する（ステップＳ１６）。

次に、特定部１３は、サムネイル表示領域の幅から、一度に表示するサムネイルの行数と列数を決定し、記憶部１１に記憶する（ステップＳ１８）。次に、特定部１３は、オブジェクト情報テーブル２２から各オブジェクトの座標に基づきクラスタリングを行い、クラスタ情報テーブル２５を作成する（ステップＳ２０）。これにより、各オブジェクトの位置情報に応じてオブジェクトがいくつかのクラスタに分類される。次に、以下に示す、隣接オブジェクト判定処理が実行される（ステップＳ２２）。

［隣接オブジェクト判定処理］
図９の隣接オブジェクト判定処理では、まず、表示制御部１４は、空の隣接オブジェクトテーブル２４を作成する（ステップＳ３０）。次に、表示制御部１４は、以下の（１）式を満たすオブジェクトＯｂがあれば、そのうちの一つをオブジェクトＯａの右側に隣接するオブジェクトとして、隣接オブジェクトテーブル２４にデータを追加する（ステップＳ３２）。

｜（Ｏａの右側のｘ座標－Ｏｂの左側のｘ座標）｜＜閾値１、かつ、
｜（Ｏａのｙ座標－Ｏｂのｙ座標）｜＜閾値２ ・・・（１）
なお、閾値１及び閾値２は、予め定められ、記憶部１１に記憶されている。

ステップＳ３２を実行することで、図６の隣接オブジェクトテーブル２４には、隣接オブジェクトＩＤに対応して基準オブジェクト及び右側隣接オブジェクトの情報が記憶される。

図９に戻り、次に、表示制御部１４は、以下の（２）式を満たすオブジェクトＯｂがあれば、そのうちの一つをＯａの下側に隣接するオブジェクトとして、隣接オブジェクトテーブル２４にデータを追加及び更新する（ステップＳ３４）。

｜（Ｏａの下側のｙ座標－Ｏｂの上側のｙ座標）｜＜閾値３、かつ、
｜（Ｏａのｘ座標－Ｏｂのｘ座標）｜＜閾値４ ・・・（２）
なお、閾値３及び閾値４は、予め定められ、記憶部１１に記憶されている。

ステップＳ３４を実行することで、図６の隣接オブジェクトテーブル２４には、隣接オブジェクトＩＤに対応して基準オブジェクト及び下側隣接オブジェクトの情報が記憶される。

図９に戻り、次に、表示制御部１４は、クラスタ情報テーブル２５に記憶されたクラスタ内のすべての異なるオブジェクトの組み合わせ{Ｏａ，Ｏｂ}についてステップＳ３２及びＳ３４を繰り返し実行したかを判定する（ステップＳ３６）。クラスタ内のすべての異なるオブジェクトの組み合わせ{Ｏａ，Ｏｂ}についてしていないと判定された場合、ステップＳ３２に戻り、表示制御部１４は、実行していないオブジェクトの組み合わせ{Ｏａ，Ｏｂ}についてステップＳ３２及びＳ３４を実行する。

一方、ステップＳ３６において、クラスタ内のすべての異なるオブジェクトの組み合わせ{Ｏａ，Ｏｂ}についてしたと判定された場合、表示制御部１４は、全てのクラスタについてステップＳ３２及びＳ３４を繰り返し実行したかを判定する（ステップＳ３８）。全てのクラスタについてステップＳ３２及びＳ３４を実行していないと判定された場合、表示制御部１４は、実行していないクラスタについて、オブジェクトの組み合わせ{Ｏａ，Ｏｂ}毎にステップＳ３２及びＳ３４を繰り返し実行する。全てのクラスタについてステップＳ３２及びＳ３４を実行したと判定された場合、本処理を終了する。

図９の処理が終了し、図８に戻ると、次に、サムネイル表示順序の決定処理が実行される（ステップＳ２４）。

［サムネイル表示順序の決定処理］
図１０のサムネイル表示順序の決定処理では、まず、表示制御部１４は、クラスタ情報テーブル２５のデータを、原点（０，０）と重心の座標間の距離について昇順にソートする（ステップＳ４０）。

次に、表示制御部１４は、クラスタ内のすべてのオブジェクトを、原点（０，０）とオブジェクトの座標間の距離について昇順にソートし、クラスタ情報テーブル２５のオブジェクトリストをソート後のオブジェクトリストに更新する（ステップＳ４２）。

次に、表示制御部１４は、クラスタ情報テーブル２５のオブジェクトリストに格納されているオブジェクトの順番で、サムネイル表示順テーブル２３にデータを追加する（ステップＳ４４）。ただし、表示制御部１４は、隣接オブジェクトテーブル２４を参照して、隣接するオブジェクトがある場合には、指示されたサムネイル表示領域内にて右左又は上下に隣接してオブジェクトのサムネイル画像が表示されるように挿入位置を定める（ステップＳ４４）。

次に、表示制御部１４は、クラスタ情報テーブル２５のデータの順に、ステップＳ４２及びＳ４４の処理をすべてのクラスタについて繰り返し実行したかを判定する（ステップＳ４６）。表示制御部１４は、ステップＳ４２及びＳ４４の処理をすべてのクラスタについて繰り返し実行していない場合、すべてのクラスタについてステップＳ４２及びＳ４４の処理が実行されるまでステップＳ４２及びＳ４４の処理を繰り返す。

一方、ステップＳ４６において、ステップＳ４２及びＳ４４の処理をすべてのクラスタについて繰り返し実行した場合、本処理を終了する。

図１０の処理が終了し、図８に戻ると、次に、表示制御部１４は、各オブジェクトのサムネイル画像を作成し、サムネイル表示順テーブル２３に記憶する（ステップＳ２６）。次に、表示制御部１４は、指示されたサムネイル表示領域を表示し、サムネイル表示順テーブル２３の順番でオブジェクトのサムネイル画像を表示し（ステップＳ２８）、本処理を終了する。

この結果、例えば、図１１（ａ）及び（ｂ）に示すように、ユーザがペンデバイス５０ａの入力操作により、入力軌跡Ｋ１に対応するサムネイル表示領域Ｋ２が確定し、サムネイル表示領域Ｋ２内の特定の位置に昇順に特定された複数のオブジェクトのサムネイル画像が表示される。図１１（ｂ）では、指定されたサムネイル表示領域Ｋ２内に昇順に、オブジェクトＯ２のサムネイル画像Ｏ２ｖ、オブジェクトＯ３のサムネイル画像Ｏ３ｖ、オブジェクトＯ５のサムネイル画像Ｏ５ｖ、オブジェクトＯ１のサムネイル画像Ｏ１ｖが表示される。

例えば、サムネイル表示でアプリ、写真、電子付箋等をプロジェクタ４０にてスクリーンに映すときに、対象のオブジェクトが増えると、多数のオブジェクトが重なり合い、特に下側のオブジェクトが見え難くなり、作業がし難くなる。例えば、図１１（ａ）に示すオブジェクトＯ５は、オブジェクトＯ４の下に表示され、見えない。

これに対して、本実施形態では、図１１（ａ）に示すように、机上の領域をペンで囲む等を行うと、ペンデバイス５０ａにより赤外線の移動軌跡Ｋ１が検知され、サムネイル画像を表示する、図１１（ｂ）に示すサムネイル表示領域Ｋ２が定義される。

そして、図１１（ｂ）に示す指定されたサムネイル表示領域Ｋ２内に１つ以上のオブジェクトのサムネイル画像を表示する（サムネイル表示）。これにより、重なり合った多数のオブジェクトから対象のオブジェクトを簡単に探索することができる。

図１１（ｂ）に示す例では、ボード上の表示エリアに表示された複数のオブジェクトＯ１～Ｏ５の表示を維持しつつ、サムネイル表示領域Ｋ２に、取得した複数の識別情報の一例として、複数のオブジェクトＯ１～Ｏ３、Ｏ５に対する複数のサムネイル画像Ｏ１ｖ～Ｏ３ｖ、Ｏ５ｖが表示される。サムネイル画像Ｏ１ｖ～Ｏ３ｖ、Ｏ５ｖの表示は、それぞれの識別情報に対応するオブジェクトの移動又は編集のために操作される操作部品の一例である。これにより、重なり合った多数のオブジェクトから対象のオブジェクトを簡単に探索し、対応するオブジェクトを編集等することができる。

また、サムネイル表示領域は、ユーザにより定義される。このため、ユーザは、ペン操作等により他のユーザの作業を妨害しない領域をサムネイル表示領域に定めることができる。また、サムネイル表示領域は、ユーザの手が届く範囲で定められるため、サムネイル表示されたオブジェクトを編集する際にも、当然、編集対象のオブジェクトに手が届くため、さらに作業を効率的に行うことができる。

サムネイル表示領域内にサムネイル表示するオブジェクトは、特定部１３により特定される。特定方法としては、例えば、図４のオブジェクト情報テーブル２２のレイヤ情報を使用して、最も下のレイヤのオブジェクトから先に表示する。これによれば、図１１（ｂ）に示す例のように、重なり合った下側のオブジェクトのサムネイル画像を優先的にサムネイル表示するため、重なり合った多数のオブジェクトから対象のオブジェクトを簡単に探索することができ、作業がし易くなる。

レイヤ情報を使用する方法以外であっても、例えば、表示した時間が最も古いオブジェクトから順に表示してもよい。これによっても、重なっているオブジェクトの最も下側から（古いものから）順に表示することができ、対象のオブジェクトを簡単に探索することができる。

その他の方法としては、ペンデバイス５０ａにより囲まれたエリアに表示されているオブジェクトのサムネイル画像を優先してサムネイル表示してもよいし、オブジェクトをランダムに表示してもよい。なお、一度にサムネイル表示可能なオブジェクトの数は、サムネイル表示領域が大きい程多くしてもよいし、オブジェクトの総数が多い程多くしてもよい。

本実施形態では、特定の動作（例えば図１１（ｂ）に示すスワイプ操作）が検出されると、選択部１７は、サムネイル表示領域に表示された複数のオブジェクトのうち、いずれかのオブジェクトを選択する。

そうすると、取得部１２が、オブジェクト情報テーブル２２を参照して、選択したオブジェクトに対応する第１の識別情報（サムネイル画像等）と、複数のオブジェクト間の位置関係を示す位置関係情報とを取得する。

次に、表示制御部１４が、取得した第１の識別情報をサムネイル表示領域に表示する。また、特定部１３は、特定の動作により方向の指定を受け付けると、選択したオブジェクトと、取得した位置関係情報と、指定された方向とに基づき、複数のオブジェクトのうち、他のオブジェクトを特定する。取得部１２は、特定した他のオブジェクトに対応する第２の識別情報（サムネイル画像等）を取得する。表示制御部１４は、取得した第２の識別情報を前記表示エリアに表示する。なお、複数のオブジェクトのうち、選択したオブジェクトに対して、指定された方向に位置するオブジェクトを他のオブジェクトとしてもよい。

これにより、サムネイル表示する特定のオブジェクトの識別情報を、図１１（ｂ）に示すように、サムネイル表示領域Ｋ２内におけるペンデバイス５０ａや指でのスワイプ操作に応じて、スワイプした方向に対応する他のオブジェクトの識別情報に切り替えることができる。

本実施形態に係る表示制御処理では、図１０のステップＳ４４の但し書きにあるように、隣接オブジェクトテーブル２４を参照して、隣接するオブジェクトがある場合、サムネイル表示領域内でも隣接オブジェクト同士が左右又は上下に隣接して表示されるように各オブジェクトの識別情報の表示位置が定められる。

このように、隣接オブジェクト同士が隣接して表示されるようにサムネイル表示領域内での各オブジェクトの識別情報の配置を工夫することが好ましい。これにより、より効率的に対象のオブジェクトを探索することができる。例えば、ボード上に表示されている多数のオブジェクトのうち、表示距離が近いオブジェクトは、関連性が高いと考えられる。このため、表示制御部１４は、表示距離が近いオブジェクトを隣接オブジェクトテーブル２４に記憶しておく。そして、表示制御部１４は、サムネイル表示を行うとき、隣接オブジェクトテーブル２４に記憶された左右又は上下に隣接するオブジェクトを、同じページ又は近いページに表示する。このとき、隣接オブジェクトの左右又は上下の配置も制御される。

例えば、サムネイル表示領域Ｋ２上の特定の動作の検出位置（例えばタッチ位置）の指定を受け付けると、指定された位置に応じた位置に第１の識別情報を表示してもよい。図６の隣接オブジェクトテーブル２４の例では、図１２に示すように基準オブジェクトＯ２のサムネイル画像Ｏ２ｖの右側に右側隣接オブジェクトＯ３のサムネイル画像Ｏ３ｖが表示される。このように特定のオブジェクトを識別する第１の識別情報の表示位置に応じた位置に、他の特定のオブジェクトを識別する第２の識別情報を表示することで、オブジェクト同士の関連性を考慮したサムネイル表示が行われるため、ユーザは、目的とするオブジェクトをより容易に探し出すことができる。

また、これによれば、目的とする対象のオブジェクトを探し出した後の編集、閲覧時に関連性が高い複数のオブジェクトを容易に知ることができるため、作業の効率をより高めることができる。

なお、第１の識別情報は、選択したオブジェクトに対応するサムネイル画像であってもよく、第２の識別情報は、特定したオブジェクトに対応するサムネイル画像であってもよい。ただし、第１の識別情報は、サムネイル画像に限らず、選択したオブジェクトに対応するテキストやその他のオブジェクトを識別可能な情報であってもよい。第２の識別情報は、サムネイル画像に限らず、特定したオブジェクトに対応するテキストやその他のオブジェクトを識別可能な情報であってもよい。

ただし、図９の隣接オブジェクトの判定処理及び図１０のステップＳ４４の上記但し書きの処理は、本実施形態に係る表示制御処理から省くことできる。

［変形例］
最後に、一実施形態の変形例に係る表示制御処理の一例について、図１３を参照しながら説明する。図１３は、一実施形態の変形例に係る表示制御処理の一例を示すフローチャートである。

本実施形態の変形例に係る表示制御処理が開始されると、ステップＳ１０～Ｓ２８の処理が実行される。ここで、ステップＳ１０～Ｓ２８の処理は、図８のステップＳ１０～Ｓ２８と同一の処理であるため、説明を省略する。

ステップＳ１０～Ｓ２８の処理を実行すると、例えば図１４のサムネイル表示領域Ｋ２には特定のオブジェクトのサムネイル画像Ｏ１ｖ～Ｏ３ｖ、Ｏ５ｖがサムネイル表示される。例えば、この時点のサムネイル表示領域Ｋ２内のサムネイル表示をデフォルト表示として、本変形例に係る表示制御処理では、図１４のメニュー８０から、表示するオブジェクトの属性を選択し、フィルタリングにより選択した属性のサムネイル画像を抽出し、サムネイル表示領域Ｋ２に表示する。

図１３に戻り、上位処理の具体的な流れについて説明する。図１３のステップＳ５０において、選択部１７は、メニューからいずれかの属性が選択されたかを判定する（ステップＳ５０）。選択部１７は、メニューのいずれの属性も選択されていないと判定した場合、本処理を終了する。この場合、サムネイル表示領域Ｋ２内のサムネイル表示はデフォルト表示のままとなる。

一方、選択部１７は、メニューのいずれかの属性が選択されたと判定した場合、特定部１３は、オブジェクト情報テーブル２２を参照して、選択された属性のオブジェクトを抽出する（ステップＳ５２）。例えば、図１４に示すように、メニュー８０から種類８１として付箋と画像のオブジェクトが選択された場合、特定部１３は、図４に示すオブジェクト情報テーブル２２から、種類が付箋と画像のオブジェクトを抽出する。

次に、特定部１３は、オブジェクト情報テーブル２２から、ステップＳ５２にて抽出した各オブジェクトの座標に基づきクラスタリングを行い、クラスタ情報テーブル２５を作成する（ステップＳ５４）。

次に、ステップＳ２２に戻り、ステップＳ２２～Ｓ２８の処理が実行される。これにより、本変形例では、抽出後のオブジェクト、つまり、メニューにて選択した種類のオブジェクトのサムネイル画像のみがサムネイル表示される。

ステップＳ５０にて、選択部１７がメニューのいずれの属性も選択されていないと判定されるまでステップＳ５０～Ｓ５４、Ｓ２２～Ｓ２８の処理が繰り返される。メニューのいずれの属性も選択されていないと判定されたとき、本処理を終了する。

以上に説明したように、本実施形態の変形例に係る表示制御方法によれば、サムネイル表示の対象とするオブジェクトの定義方法を設け、ユーザに編集及び閲覧したいオブジェクトの属性を選択させることにより、更に効率的に目的のオブジェクトを探すことができる。

なお、オブジェクトの属性としては、オブジェクト所有者、オブジェクト種類（付箋、画像など）、机又は壁面、拠点（遠隔地がある場合）等が挙げられる。

以上、表示制御プログラム、表示制御方法及び表示制御装置を上記実施形態により説明したが、本発明に係る表示制御プログラム、表示制御方法及び表示制御装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、上記実施形態では、オブジェクトの距離として、表示されている距離を一例に挙げてオブジェクトの識別情報のサムネイル表示方法を説明した。しかしながら、オブジェクトの距離として、表示されている距離に限らず、内容の距離であってもよい。内容の距離とは、オブジェクトの内容の関連度合い、つまり、オブジェクト同士の類似性を示す。例えば、オブジェクト情報テーブル２２に記憶したオブジェクト毎にグループＩＤを有するようにすれば、同じグループＩＤが付いているオブジェクトは内容の関連度合いが高い、つまり、類似する内容のオブジェクトであると判定してもよい。そして、内容が類似しているオブジェクトの識別情報は、近くにサムネイル表示してもよい。また、例えば、会議室Ａで使用される資料１，２，３の各オブジェクトに同じグループＩＤを付与することで、これらの内容的に類似する資料のサムネイル画像を近くにサムネイル表示することができる。

また、ユーザにより定められたオブジェクトの分類情報（例えば、種類やグループＩＤを含む）があれば、分類情報を使用してもよい。オブジェクトの種類等の分類情報に基づき、類似する内容のオブジェクトを判定してもよい。そして、内容が類似しているオブジェクトの識別情報は、近くにサムネイル表示してもよい。ユーザによるオブジェクトの分類に替えて、所定のシステムによって自動的に分類する学習モデルがあれば、その学習モデルを用いてオブジェクトを分類してもよい。この場合にも、内容が類似しているオブジェクトの識別情報を近くにサムネイル表示することで、対象となるオブジェクトをさらに簡単に探索することができる。

例えば、上記実施形態に係る表示制御システムの構成は一例であり、本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば、拠点毎に表示制御装置が備えられ、各拠点の表示制御装置がネットワークを介してサーバに接続され、サーバが上記各処理を実行してもよいし、各拠点の表示制御装置が上記各処理を分散処理してもよい。

以上の説明に関し、更に以下の項を開示する。
（付記１）
特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定し、
オブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクト間の位置関係を示す位置関係情報と、を取得し、
取得した前記複数の識別情報を、取得した前記位置関係情報に応じた位置関係で前記表示エリアに表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記２）
前記表示エリアに表示された前記複数のオブジェクトの表示を維持しつつ、取得した前記複数の識別情報を表示する、
ことを特徴とする付記１に記載の表示制御プログラム。
（付記３）
前記複数の識別情報の表示は、それぞれの識別情報に対応するオブジェクトの移動又は編集のために操作される操作部品である、
ことを特徴とする付記１に記載の表示制御プログラム。
（付記４）
前記表示エリア上の位置の指定を受け付けると、指定された前記位置に応じた位置に前記複数の識別情報を表示する、
ことを特徴とする付記１に記載の表示制御プログラム。
（付記５）
前記複数の識別情報は、特定した前記複数のオブジェクトに対応する複数のサムネイル画像である、
ことを特徴とする付記１乃至４のいずれかに記載の表示制御プログラム。
（付記６）
特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、いずれかのオブジェクトを選択し、
オブジェクトに関する情報を記憶する記憶部を参照して、選択した前記オブジェクトに対応する第１の識別情報と、前記複数のオブジェクト間の位置関係を示す位置関係情報と、を取得し、
取得した前記第１の識別情報を前記表示エリアに表示し、
方向の指定を受け付けると、選択した前記オブジェクトと、取得した前記位置関係情報と、指定された前記方向とに基づき、前記複数のオブジェクトのうち、他のオブジェクトを特定し、
特定した前記他のオブジェクトに対応する第２の識別情報を取得し、
取得した前記第２の識別情報を前記表示エリアに表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記７）
前記複数のオブジェクトのうち、選択した前記オブジェクトに対して、指定された前記方向に位置するオブジェクトを、前記他のオブジェクトとする、
ことを特徴とする付記６に記載された表示制御プログラム。
（付記８）
前記第１の識別情報の表示位置に応じた位置に、前記第２の識別情報を表示する、
ことを特徴とする付記６に記載の表示制御プログラム。
（付記９）
前記表示エリア上の位置の指定を受け付けると、指定された前記位置に応じた位置に前記第１の識別情報を表示する、
ことを特徴とする付記６乃至８のいずれかに記載の表示制御プログラム。
（付記１０）
前記第１の識別情報は、選択した前記オブジェクトに対応するサムネイル画像であり、前記第２の識別情報は、特定した前記オブジェクトに対応するサムネイル画像である、
ことを特徴とする付記６乃至９のいずれかに記載の表示制御プログラム。
（付記１１）
オブジェクトに関するレイヤ情報を記憶する記憶部を参照して、表示エリアに表示された複数のオブジェクトのうち、レイヤが下のオブジェクトから順に複数のオブジェクトを特定する、
ことを特徴とする付記１乃至１０のいずれかに記載の表示制御プログラム。
（付記１２）
特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定し、
オブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクト間の位置関係を示す位置関係情報と、を取得し、
取得した前記複数の識別情報を、取得した前記位置関係情報に応じた位置関係で前記表示エリアに表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記１３）
前記表示エリアに表示された前記複数のオブジェクトの表示を維持しつつ、取得した前記複数の識別情報を表示する、
ことを特徴とする付記１２に記載の表示制御方法。
（付記１４）
前記複数の識別情報の表示は、それぞれの識別情報に対応するオブジェクトの移動又は編集のために操作される操作部品である、
ことを特徴とする付記１２に記載の表示制御方法。
（付記１５）
前記表示エリア上の位置の指定を受け付けると、指定された前記位置に応じた位置に前記複数の識別情報を表示する、
ことを特徴とする付記１２に記載の表示制御方法。
（付記１６）
前記複数の識別情報は、特定した前記複数のオブジェクトに対応する複数のサムネイル画像である、
ことを特徴とする付記１２乃至１５のいずれかに記載の表示制御方法。
（付記１７）
特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定する特定部と、
オブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクト間の位置関係を示す位置関係情報と、を取得する取得部と、
取得した前記複数の識別情報を、取得した前記位置関係情報に応じた位置関係で前記表示エリアに表示する表示制御部と、
を有する表示制御装置。
（付記１８）
前記表示制御部は、前記表示エリアに表示された前記複数のオブジェクトの表示を維持しつつ、取得した前記複数の識別情報を表示する、
ことを特徴とする付記１７に記載の表示制御装置。
（付記１９）
前記複数の識別情報の表示は、それぞれの識別情報に対応するオブジェクトの移動又は編集のために操作される操作部品である、
ことを特徴とする付記１７に記載の表示制御装置。
（付記２０）
前記表示制御部は、前記表示エリア上の位置の指定を受け付けると、指定された前記位置に応じた位置に前記複数の識別情報を表示する、
ことを特徴とする付記１７に記載の表示制御装置。
（付記２１）
前記複数の識別情報は、特定した前記複数のオブジェクトに対応する複数のサムネイル画像である、
ことを特徴とする付記１７乃至２０のいずれかに記載の表示制御装置。

１０ 表示制御装置
１１ 記憶部
１２ 取得部
１３ 特定部
１４ 表示制御部
１５ 通信部
１６ 制御部
１７ 選択部
２０ カメラ
２１ 特定操作登録テーブル
２２ オブジェクト情報テーブル
２３ サムネイル表示順テーブル
２４ 隣接オブジェクトテーブル
２５ クラスタ情報テーブル
３０ａ～３０ｅ 端末
４０ プロジェクタ
５０ａ、５０ｄ ペンデバイス
６０ 会議室
１０１ 通信Ｉ／Ｆ
１０２ ＣＰＵ
１０３ メモリ
１０４ 入力装置
１０５ 表示装置
１０６ 外部Ｉ／Ｆ

Claims (8)

1. 特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定し、
   複数のオブジェクトと複数のオブジェクトの識別情報と複数のオブジェクトの位置情報とを含むオブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクトの表示位置を示す位置情報と、を取得し、
   取得した前記複数のオブジェクトの位置情報に基づき、取得した前記複数の識別情報間の相対位置関係を決定し、
   取得した前記複数の識別情報を、決定した前記相対位置関係で前記表示エリアに表示する、
   処理をコンピュータに実行させ、
   前記複数の識別情報間の相対位置関係は、前記複数のオブジェクトの表示位置の相対的な関係に対応する、ことを特徴とする表示制御プログラム。
2. 前記表示エリアに表示された前記複数のオブジェクトの表示を維持しつつ、取得した前記複数の識別情報を表示する、
   ことを特徴とする請求項１に記載の表示制御プログラム。
3. 前記複数の識別情報の表示は、それぞれの識別情報に対応するオブジェクトの移動又は編集のために操作される操作部品である、
   ことを特徴とする請求項１に記載の表示制御プログラム。
4. 前記表示エリア上の位置の指定を受け付けると、指定された前記位置に応じた位置に前記複数の識別情報を表示する、
   ことを特徴とする請求項１に記載の表示制御プログラム。
5. 前記複数の識別情報は、特定した前記複数のオブジェクトに対応する複数のサムネイル画像である、
   ことを特徴とする請求項１乃至４のいずれかに記載の表示制御プログラム。
6. 前記表示エリアは物体の表面であって、前記表示エリアに表示された前記複数のオブジェクトは、前記物体の外部に設けられたプロジェクタによって前記物体の表面に投影された投影像である、
   請求項１に記載の表示制御プログラム。
7. 特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定し、
   複数のオブジェクトと複数のオブジェクトの識別情報と複数のオブジェクトの位置情報とを含むオブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクトの表示位置を示す位置情報と、を取得し、
   取得した前記複数のオブジェクトの位置情報に基づき、取得した前記複数の識別情報間の相対位置関係を決定し、
   取得した前記複数の識別情報を、決定した前記相対位置関係で前記表示エリアに表示する、
   処理をコンピュータに実行させ、
   前記複数の識別情報間の相対位置関係は、前記複数のオブジェクトの表示位置の相対的な関係に対応する、ことを特徴とする表示制御方法。
8. 特定の動作を検出すると、表示エリアに表示された複数のオブジェクトのうち、条件を満たす複数のオブジェクトを特定する特定部と、
   複数のオブジェクトと複数のオブジェクトの識別情報と複数のオブジェクトの位置情報とを含むオブジェクトに関する情報を記憶する記憶部を参照して、特定した前記複数のオブジェクトに対応する複数の識別情報と、特定した前記複数のオブジェクトの表示位置を示す位置情報と、を取得する取得部と、
   取得した前記複数のオブジェクトの位置情報に基づき、取得した前記複数の識別情報間の相対位置関係を決定し、
   取得した前記複数の識別情報を、決定した前記相対位置関係で前記表示エリアに表示する表示制御部と、を有し、
   前記複数の識別情報間の相対位置関係は、前記複数のオブジェクトの表示位置の相対的な関係に対応する、表示制御装置。

Images