JP4724507B2 - 情報処理装置、方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、情報を所望の観点で分類する技術に関するものである。

従来、画像データに付加された日付などの属性情報に基づいて、画像を検索し、表示する検索処理が行われていた（例えば、特許文献１参照）。
特開２０００−１４８７９４号公報

近年、会議システムなどに用いられる表示装置の表示画面が大型化されつつある。一方、表示画面上で会議の進行を行うためのメモを表示したまま、情報の検索処理を行うことにより、迅速な議事の進行を行いたいという要望がある。

本願発明は、このような要望に応えるため、ユーザが希望する任意の位置に検索結果を表示することシステムを提供することを目的とする。

上述の目的を達成するために、本願発明によれば、複数の情報を表示装置の表示画面内に表示する情報処理装置の情報処理方法であって、前記表示画面内の任意の位置に情報の選択条件を入力する選択条件入力ステップと、記憶装置に格納された複数の情報の中から前記選択条件入力ステップにおいて入力された選択条件に対応する情報を選択する情報選択ステップと、前記選択条件入力ステップにおいて入力された選択条件の近傍に前記情報選択手段によって選択された情報を表示させ、前記選択条件入力手段によって任意の位置に絞り込み条件が入力された場合、前記選択条件の近傍に表示された情報のうち前記絞込条件に対応する情報を前記絞込条件の近傍に異動させる制御ステップと、を有することを特徴とする情報処理装置の情報処理方法を提供する。

本願発明のよれば、メモ書きされていない余白の領域に検索結果を入力して検索結果を表示することができる。そのため、会議の議事の進行を妨げることなく、情報の検索処理を行うことができる。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

図１は本発明に係る情報処理装置のハードウェア構成を示すブロック図である。図１において、入力部１は、情報（データ）を入力するためのであり、デジタイザ，マウス，キーボードなどによって構成される。ＣＰＵ２は、各種処理のための演算、論理判断等を行い、バス６に接続された各構成要素を制御する。出力部３は、ＬＣＤやＣＲＴ等のディスプレイ（表示装置）などによって構成される。

本実施形態においては、ディスプレイの表示画面上に入力部１としてのデジタイザ（座標入力装置）が組み込まれており、ペンを用いて手書き入力を可能としている。プログラムメモリ４は、後述するフローチャートの処理手順を含むＣＰＵ２による制御のためのプログラムを格納するメモリである。プログラムメモリ４は、ＲＯＭであってもよいし、外部記憶装置等からプログラムがロードされるＲＡＭであってもよい。

データメモリ５は、各種処理で生じたデータを格納する。データメモリ５は、例えば、ＲＡＭとするが、不揮発性の外部記憶媒体から、処理に先立ってロードしておく、あるいは必要があるごとに参照するものとする。バス６はＣＰＵ２の制御の対象とする各構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成要素間で相互にやりとりされるデータの転送を行うためのものである。２次記憶装置７は、ハードディスクドライブなどによって構成され、コンテンツデータおよびそれらに対応するサムネイル画像を記憶する。

（第１の実施形態）
本実施形態では図２〜１７を用いて、表示中のデータの近傍で入力された手書き検索コマンドを解釈して検索キーを特定し、画像データとしてのサムネイル画像の検索を行い、検索結果を分類・表示する情報処理装置の実施形態について説明する。

図２は本実施形態の出力部３の表示画面の一例である。

図２（ａ）は、出力部３の表示画面２１上に、検索キー２２として「レストラン」が入力され、検索キー２２の周囲に、検索結果としてサムネイル画像２３、２４などが複数表示されている状態を示している。

図２（ｂ）は、図２（ａ）の状態から絞込条件２５として「天ぷら」が新たに入力され、さらに手書き絞込コマンド２６が入力された状態を示している。手書き絞込コマンド２６が入力されると、ＣＰＵ２によって手書き絞込コマンドが認識される。そして、ＣＰＵ２によって検索キー２２「レストラン」の検索結果に対する絞込処理が行われる。

ここで、「レストラン」，「天ぷら」は、手書き入力によって入力されてもよい。

図２（ｃ）は、絞込条件２５「天ぷら」の周りに絞り込まれた検索結果（以降、検索結果と区別するために、絞込結果と呼ぶ）の表示例を示している。絞込条件２５「天ぷら」の周りに表示されるサムネイル画像２２などは、検索キー「レストラン」の周りに表示されていたサムネイル画像が移動したものである。例えば、図２（ｂ）において表示画面２１上に表示されるサムネイル画像２８は、図２（ｃ）に示されるように、絞込条件「天ぷら」の周囲に移動する。図２（ｂ）において表示画面２１上に表示されていたサムネイル画像２８の位置には、図２（ｃ）の状態では、領域２７に示されるように何も表示されなくなる。

上述したサムネイル画像の移動処理では、絞込によって検索結果が表示画面２１上のどの領域から移動してきたかが操作者に認識できるように表示処理が行われる。具体的には、サムネイル画像の移動開始位置と移動すべき位置の座標を結ぶ直線に沿って、少しずつ移動させては表示を繰り返す処理が行われる。

また、絞込結果として表示されるサムネイル画像と近接、もしくは、重なった絞込結果以外のサムネイル画像は、絞込結果として表示されるサムネイル画像と区別する表示処理が行われる。具体的には、サムネイル画像２９に示されるように、絞込結果のサムネイル画像から離れるように移動させる処理を行う。さらに、この移動したサムネイル画像２９と重なるサムネイル画像が発生する場合は、サムネイル画像２ａに示されるように、重ならないように連鎖的に移動する処理が行われる。このように最終的に、全てのサムネイル画像が重ならないように表示処理を繰り返す。この際の移動に関しても移動過程が認識できるように表示される。

なお、絞込結果が表示される図２（ｃ）の状態では、手書き絞込コマンド２６のストロークの表示は、消去される。

図３は本実施形態における情報処理装置の手書き入力解釈処理のフローチャートを示す図である。

図３のステップＳ３０１において、の手書き入力処理により操作者によるストローク入力を検出する。そして、ステップＳ３０２において、検出された入力ストロークを手書きコマンドか否か解釈する。

ステップＳ３０３において、手書きコマンドとして解釈されなかった場合、ステップＳ３０４の手書き文字認識処理により入力ストロークを文字として認識して処理を終了する。ステップＳ３０３において手書きコマンドとして判断された場合は、ステップＳ３０５に進む。ステップＳ３０５において、解釈されたコマンドが手書き検索コマンドと判断された場合はステップＳ３０６へ進み、手書き絞込コマンドと判断された場合はステップＳ３０９へ進む。

ステップＳ３０６において、検索処理が開始される。具体的には、まず、検索キー特定処理により該手書き検索コマンドに対応する検索キーが特定される。続くステップＳ３０７において、検索キーに基づく検索処理により検索が行われる。ステップＳ３０８において、検索キーが入力表示された領域の近傍に検索結果を表示する。

ステップＳ３０９において、絞込処理が行われる。具体的には、まず、絞込条件特定処理により該手書き絞込コマンドに対応する絞込条件が特定される。続くステップＳ３１０において、絞込処理によりＳ３０７で検索された検索結果に対する絞込が絞込条件に基づいて行われる。そして、ステップＳ３１１において絞込処理を行った結果の表示を絞込条件が入力表示されている領域の近傍に行う。

図４は本実施形態における表示画面２１に表示されている各描画オブジェクトの表示領域情報に関する描画オブジェクトリストを示す図である。このリストは、データメモリ５に格納される。なお、描画オブジェクトとは、検索キー２２あるいは絞込条件２５として手書き入力されたオブジェクトを指す。

図４において、各描画オブジェクトはオブジェクトＩＤとオブジェクトの外接矩形の左上頂点座標（Ｘ１，Ｙ１）と右下頂点座標（Ｘ２，Ｙ２）を有している。

例えば図２（ａ）の描画オブジェクト「レストラン」２２に対しては、オブジェクトＩＤとして「００１」、文字列データとして「レストラン」、左上頂点座標（９００，５００）、右下頂点座標点（１０００，５２０）が関連付けられている。また、図２（ｂ），（ｃ）の文字列オブジェクト「天ぷら」２５に対しては、オブジェクトＩＤとして「００２」、文字列データとして「天ぷら」、左上頂点座標（１６００，７００）、右下頂点座標点（１７００，７５０）が関連付けられている。

これらの情報が描画オブジェクトリストに格納されるタイミングはステップＳ３０４である。ステップＳ３０４の手書き文字認識処理によって、描画オブジェクトリストへ文字列オブジェクトとして、文字認識の結果「レストラン」と文字列オブジェクトの外接矩形の左上と右下の頂点座標が格納される。

図５は本実施形態における手書き検索コマンドの一例を示す図である。図５では、検索キーとしての描画オブジェクト「レストラン」２２の近傍で、手書き検索コマンド５１が手書き入力されている様子が示されている。ステップＳ３０１でこの手書き検索コマンド５１が入力されると、ステップＳ３０６〜ステップＳ３０８の検索処理が行われる。具体的には、ステップＳ３０６において検索キーとして、「レストラン」２２が特定され、ステップＳ３０７の検索処理において、検索キー「レストラン」を用いてコンテンツ・データベースが検索される。そしてステップＳ３０８の検索結果表示処理によって、図２（ａ）に示されるように、検索結果のサムネイル画像が検索キー２２の周囲に表示される。

なお、ステップＳ３０６における検索キー特定処理では、例えば、手書き検索コマンドの外接矩形領域と最も重なりの面積が大きい描画オブジェクトを検索キーとしてオブジェクトリストの中から選択する。また、手書き検索コマンドと描画オブジェクトとの重なりがない場合は、手書き検索コマンドの外接矩形の左上頂点座標（重心位置の座標でもよい）と最も近い描画オブジェクトを検索キーとしてオブジェクトリストから選択することによって特定する。

図６は、図３のステップＳ３０２において手書きコマンド解釈処理で参照される手書きコマンドの一覧情報を格納した手書きコマンドデータベースの一例を示す図である。各手書きコマンドは入力ストロークとの一致を判断するだめのストロークデータと対応させて、コマンドの種類が格納されている。例えば手書きコマンド６１には、ストロークデータと対応させて「削除」コマンドが関連付けられている。また、手書きコマンド６２には、ストロークデータと対応させて「検索」コマンドが関連付けられている。また、手書きコマンド６３にはストロークデータと対応させて「絞込」コマンドが関連付けられている。

図７は、図３のステップＳ３０２において実行される手書きコマンド解釈処理のフローチャートを示す図である。

まず、Ｓ７０１において、処理対象コマンドを手書きコマンド一覧の先頭（図６では「削除」）として初期化する。ステップＳ７０２において、現在のタイミングにおいて対象コマンドの実行が有効と判断された場合、ステップＳ７０３に進む。ステップＳ７０３において、ストローク一致判定処理により操作者により入力された手書きストロークと、対象コマンドのストロークデータの一致の判定処理が行われる。

ステップＳ７０４において、ストローク一致判定処理により操作者により入力された手書きストロークと、対象コマンドのストロークデータとが一致していると判断された場合、該コマンドを戻り値として処理を終了する。ステップＳ７０４で一致していると判断されなかった場合、ステップＳ７０５で処理対象コマンドを変更し、ステップＳ７０２に戻って処理を繰り返す。

ステップＳ７０２で対象コマンドが存在しなくなった場合、入力ストロークに対応する手書きコマンドが無いものとして処理を終了する。

図８は本実施形態における検索処理の対象となるコンテンツが格納されている２次記憶装置７内のコンテンツ・データベースの一例を示す図である。コンテンツ・データベースに格納される各コンテンツに対して、以下の情報が関連付けられる。すなわち、コンテンツを特定するためのコンテンツＩＤ，コンテンツの実体が格納されているファイルシステム上のパスを指し示すコンテンツ・パス，コンテンツのサムネイル画像が格納されているファイルシステム上のパスを指し示すサムネイル・パス，検索で使用される検索キー（キーワード）のリストが関連付けられている。例えば、コンテンツＩＤ「００００１」に対して、コンテンツ・パス「Ｃ：￥Ｃｏｎ￥００００１．ｊｐｇ」と、サムネイル画像・パス「Ｃ：￥Ｔｈｕ￥００００１．ｊｐｇ」と、キーワード・リスト「レストラン、すし、・・・」とが関連付けられて格納される。

図８のコンテンツ・パスの例に示されるように、コンテンツ・データベースには、ＪＰＥＧ圧縮された静止画あるいはワープロなどの文書などのコンテンツ以外にも、動画や音声などの多様な種類のコンテンツが格納される。ステップＳ３０７の検索処理では、ステップＳ３０６において特定された検索キーと同じキーワードを含むコンテンツを、コンテンツ・データベースの中から、検索結果として抽出する。例えば、図８に示されるコンテンツが格納されている場合、ステップＳ３０６で検索キーとして「レストラン」が特定された場合は、コンテンツ・データベースを検索することによって、コンテンツＩＤの「００００１」と「００００３」が検索結果として取り出される。表示画面２１上では、抽出されたコンテンツＩＤに対応するサムネイル画像が表示されることになる。

図９は本実施形態における検索処理の検索結果を示す検索結果リストの一例を示す図である。この検索結果リストは、データメモリ５に保持されることになる。図９に示されるように、検索結果の対象となったコンテンツは、コンテンツＩＤと検索処理のスコアと関連付けられて格納される。ここで、本実施の形態におけるスコアは、検索処理によって求められる得点であり、０から１００までの値で表現されるものとする。そして、検索キーの条件を完全に満たすコンテンツには、スコア１００が与えられ、検索キーの条件を全く満たさないコンテンツに対しては、スコア０が与えられる。そしてこのスコアが所定の閾値よりも高いコンテンツのみが検索結果の対象となる。例えば、検索キーが文字列であり、該文字列と一致するキーワードを持つコンテンツには、スコア１００が与えられる。検索結果リストには、スコアの値で降順にソートされて格納される。

図１０は図３のステップＳ３０８において実行される検索結果表示処理のフローチャートを示す図である。

ステップＳ１００１において、検索結果リストに格納されている検索結果の個々のコンテンツに対応するサムネイル画像の表示位置を決定する。表示位置を決定する方法に関しては、図１１を用いて後述する。結果表示位置決定処理によって決定された個々の検索結果は、図１２に例示される検索結果表示リストに格納される。この検索結果表示リストは、データメモリ５に保持されることになる。図１２に示す検索結果表示リストには、個々の検索結果の対象となったコンテンツのコンテンツＩＤに対して、サムネイル画像の矩形の表示領域の左上頂点の座標が関連付けられて格納される。例えば、図１２において、コンテンツＩＤ「００００１」に対して、サムネイル画像の表示領域の左上頂点座標（８９５，４４０）が関連付けられている。

そして、ステップＳ１００２の結果表示処理において、検索結果表示リストに格納されている全ての検索結果参照して、検索結果表示リストに格納されている左上頂点座標の位置に、コンテンツＩＤに対応するサムネイル画像を所定サイズで表示する。

図１１は本実施形態における結果表示位置決定処理において、結果のコンテンツのサムネイル画像を表示する位置を決定する方法を説明するための図である。図１１では、サムネイル画像１１２などに対して、表示位置を示す番号が付与されている。例えば、サムネイル画像１１２は１番目であり、サムネイル画像１１５は１１番目である。すなわち、検索結果の表示は、キーとなる文字列オブジェクト１１１の「レストラン」の周りに、後述の渦巻き中心矩形１１５の左上付近を始点として、時計回りで広がる方向に渦巻状に表示位置が決定される。

なお、本実施の形態においては、サムネイル画像表示領域は固定サイズの正方形とし、各サムネイル画像表示領域の左右、上下のギャップ１１４を固定長とする。これによって、描画オブジェクトの外接矩形１１１に所定マージンを持たせた矩形１１３よりも大きい渦巻きの中心矩形１１５のサイズと位置を容易に求めることができる。

例えば、渦巻きの中心矩形１１５の横幅ｗｗは、サムネイル画像表示領域の辺の長さをｓ、サムネイル画像表示領域の左右のギャップをｇ、渦巻きの中心矩形の横方向に配置可能なサムネイル画像表示領域の個数をｎとする。この場合、ｗｗ＝（ｓ＋ｇ）＊ｎ＋ｇで表すことができる。よって、文字列オブジェクトの外接矩形の横幅をｓｗ、文字列オブジェクトが移設矩形のマージンをｍとする。この場合、ｓｗ＋２ｍ≦（ｓ＋ｇ）＊ｎ＋ｇを満たす最小の整数ｎを求めれば、渦巻きの中心矩形１１５の横幅ｗｗを求めることができる。また、渦巻きの中心矩形１１５の高さも同様にして求めることができる。

渦巻きの中心矩形１１５のサイズと位置が求まれば、渦巻きの中心矩形１１５のギャップを考慮した左上を始点として、時計回りで広がる方向に渦巻状に表示位置を決定する。すなわち、検索結果リストの先頭のスコアの高いコンテンツから順番に、図１１に示される番号に沿って対応するサムネイル画像を割り当て、表示する。

続いて、ステップＳ３０９〜ステップＳ３１１の処理を図２を用いて具体的に説明する。図２（ｃ）では、描画オブジェクト「天ぷら」２５の近傍で、手書き絞込コマンド２６が入力されている様子が示されている。ステップＳ３０５において、入力された手書き絞込コマンド２６が絞込コマンドであることが判別されると、ステップＳ３０９において、絞込条件として、「天ぷら」２５が特定される。そして、ステップＳ３１０の絞込処理において、検索結果表示リスト等に表示されているコンテンツに対して、絞込条件「天ぷら」を用いてコンテンツ・データベースを検索することにより検索結果の絞込処理が行われる。そして、ステップＳ３１１の絞込結果表示処理によって、図２（ｃ）に示されるように、絞込結果の対象となったコンテンツに対応するサムネイル画像が絞込条件「天ぷら」２５の周囲に表示される。また、上述したとおり、絞込結果表示処理によって、２７、２９、２ａに示されるように、絞込結果の対象以外のサムネイル画像の表示も影響を受ける。

ステップＳ３０９の絞込条件特定処理では、例えば、手書き絞込コマンドの外接矩形領域と最も重なりの面積が大きい描画オブジェクトを、オブジェクトリストの中から選択して絞込条件として設定する。また、手書き絞込コマンドの外接矩形領域と描画オブジェクトとの重なりがない場合は、手書き絞込コマンドの外接矩形の左上頂点座標（重心位置の座標でもよい）と最も近い描画オブジェクトを絞込条件として選択する。

図１３は、図２（ｃ）の状態から、更なる絞込処理を行った絞込結果の表示例である。図１３では、新たな絞込条件として、手書き入力「すし」１３１が行われた後、描画オブジェクト「すし」の右下に手書き絞込コマンド２６が入力された状態が示されている。

すなわち、絞込条件として「すし」で絞込処理が行われ、「レストラン」の周辺に表示されているサムネイル画像の中から、絞込条件「すし」を満たすコンテンツのサムネイル画像が、絞込条件「すし」の周辺に移動して表示される。さらに、前回処理の対象であった絞込条件「天ぷら」２５の周辺に表示されているサムネイル画像の中から、絞込条件「すし」を満たすコンテンツのサムネイル画像が、絞込条件「天ぷら」の周辺から消えることなく、絞込条件「すし」の周辺にコピーされて表示される。

さらに、新たな絞込条件の周辺に表示された絞込結果のサムネイル画像群（以降、絞込グループと呼ぶ）の外接矩形１３２にマージンを持たせた領域を絞込グループ表示領域１３３とする。この絞込グループ表示領域１３３内に新たに絞込条件の入力が検出された場合は、この領域１３３内のサムネイル画像のみを対象として絞込処理を行ってもよい。

この絞込グループ表示領域１３３と、絞込条件「天ぷら」の絞込グループの外接矩形１３４が重なる場合、絞込条件「天ぷら」の絞込グループは、絞込条件「すし」の絞込グループ表示領域１３３と重ならない位置に移動する。さらに、絞込条件「天ぷら」の絞込グループの表示位置が移動したことにより、検索キーレストランの一部の検索結果のサムネイル画像（１３６など）が、絞込条件「天ぷら」の絞込グループ表示領域１３５と重なってしまう場合、サムネイル画像１３６なども移動させる。これは上述した図２（ｃ）の連鎖的な移動処理と同様である。

図１４は、ステップＳ３１１の絞込結果表示処理によって、個々の絞込条件に対する絞込結果の対象となったコンテンツのサムネイル画像群、すなわち絞込グループを複数格納する絞込グループ・リストの一例を示す図である。絞込グループ・リストには、検索結果を分類／整理するために、複数回絞込みを行った個々の絞込みの結果を格納する。絞込グループ・リストはデータメモリ５に格納される。

個々の絞込グループの情報として、絞込処理の順番を示す絞込番号、絞込条件である描画オブジェクトを示すオブジェクトＩＤ、絞込グループの外接矩形の左上頂点と右下頂点の座標が関連付けられて格納される。

例えば、図１４では、絞込番号「１」に対して、絞込条件となるオブジェクトＩＤとして「００２」、絞込グループの外接矩形の左上頂点座標（１５４５，６４５）、右下頂点座標（１７５５，８０５）が関連付けられる。

さらに、絞込条件「天ぷら」，「すし」の絞込み結果としていたれた個々の絞込グループに対して、図１５に例示される絞込グループ表示リストが対応付けられて作成される。絞込グループ表示リストには、絞込結果として得られる各コンテンツを指し示すコンテンツＩＤ，当該コンテンツのサムネイル画像の表示位置情報として左上頂点座標が格納される。この左上頂点座標は、絞込グループの外接矩形の左上頂点座標からの相対座標で示される。例えば、図１５では、コンテンツＩＤ「００００１」に対して、左上頂点座標（−５，−５５）が格納されている。

図１６は、図３のステップＳ３１０の絞込処理のフローチャートを示す図である。

ステップＳ１６０１において、ステップＳ３０９で特定された絞込条件に基づいて、図１５に示すような新規の絞込グループ表示リストの作成処理を開始する。例えば、図１３では、絞込条件「すし」の絞込グループ表示リストの作成処理を開始することになる。

ステップＳ１６０２において、図１２に示すような検索結果表示リストに格納されているコンテンツＩＤから、ステップＳ１６０１の絞込条件の対象であるコンテンツＩＤを検索する。例えば、図１３では、「レストラン」の検索結果表示リストに格納されているコンテンツＩＤが検索対象となる。

ステップＳ１６０３において、検索結果表示リストに格納されているコンテンツＩＤから、絞込条件の対象であるコンテンツＩＤが検索された場合、ステップＳ１６０４に進む。一方、コンテンツＩＤが検索されなかった場合、ステップＳ１６０７へスキップする。

ステップＳ１６０４において、検索結果表示リストからステップＳ１６０２で検索されたコンテンツを削除する。この処理は、「レストラン」の検索結果として表示されたサムネイル画像が絞込条件「すし」の絞込結果に移動することを示している。

ステップＳ１６０５において、絞込条件「すし」に対応する新規の絞込グループ表示リストに、ステップＳ１６０２で検索されたコンテンツのコンテンツＩＤを登録する。

ステップＳ１６０６において、絞込グループ・リストに格納された全てのオブジェクトＩＤに対応する絞込グループ表示リスト内のコンテンツＩＤから、絞込条件「すし」の対象であるコンテンツのコンテンツＩＤを検索する。図１３では、「天ぷら」に対応する絞込グループ表示リスト内のコンテンツＩＤから、対象となるコンテンツＩＤが検索される。

ステップＳ１６０７において、全ての絞込グループ表示リスト内に格納されているコンテンツＩＤから、絞込条件の対象であるコンテンツＩＤが検索された場合、ステップＳ１６０８に進む。一方、コンテンツＩＤが検索されなかった場合、ステップＳ１６０９へスキップする。

ステップＳ１６０８において、絞込条件「すし」に対応する新規の絞込グループ表示リストに、ステップＳ１６０６で検索されたコンテンツのコンテンツＩＤを登録する。このとき、ステップＳ１６０４における検索結果表示リストに対する処理とは異なり、「天ぷら」に対応する絞込グループ表示リストから絞込結果のコンテンツを削除しない。そのため、絞込条件「すし」に対応する新規の絞込グループ表示リストにコピーして登録されることになる。

ステップＳ１６０９において、絞込グループ・リストに、絞込条件「すし」に対応する新規の描画オブジェクトのオブジェクトＩＤおよびその座標位置に関する情報を登録して、処理を終了する。

図１７は、図３のステップＳ３１１の絞込結果表示処理のフローチャートを示す図である。

ステップＳ１７０１において、ステップＳ３１０の絞込処理によって得られた絞込結果の個々のサムネイル画像の表示位置を決定する。すなわち、絞込グループ表示リストに格納されているコンテンツＩＤに対応したサムネイル画像の表示位置を決定し、コンテンツＩＤに対応させて、絞込グループ表示リストに左上頂点座標を格納する。また、絞込グループ・リストに、絞込グループの外接矩形の左上頂点と右下頂点の座標を格納する。絞込結果の個々のサムネイル画像の表示位置を決定する方法に関しては、ステップＳ１００１と同様の方法で決定するので、詳細は割愛する。

ステップＳ１７０２において、絞込グループ・リストに格納されている絞込グループの絞込グループ表示領域に対して、他の絞込グループの外接矩形がオーバーラップしていないかどうかをチェックする。オーバーラップしている場合はステップＳ１７０３へ進み、オーバーラップが無ければ、ステップＳ１７０４へ進む。このオーバーラップのチェックの方法としては、絞込グループ・リストの下位（新しく登録された）のほうから順番に一つずつ絞込グループを取り出す。そして各絞込みグループに対して、リストの上にある絞込グループを一つずつ順番（登録された順番に）に取り出すことにより、全ての組の絞込グループの組み合わせに対してオーバーラップが無いかどうかを確認する。

ステップＳ１７０３において、オーバーラップを避けるため、ステップＳ１７０２でオーバーラップされている判定とされた２つの絞込グループのうち、絞込グループ・リストの上位に格納されている、より古く登録された絞込グループの外接矩形の左上頂点と右下頂点の座標を変更する。処理を終えるとステップＳ１７０２へ戻る。これにより、新規の絞込グループに対してオーバーラップする古い絞込グループが連鎖的に移動することになる。

ステップＳ１７０４において、検索結果表示リストに格納されている検索結果のコンテンツのサムネイル画像が、絞込グループ・リストに格納されている絞込グループの絞込グループ表示領域とオーバーラップしているかどうかチェックする。

ステップＳ１７０４では以下の処理を実行する。はじめに、検索結果表示リストの先頭から順番に１つずつコンテンツを選ぶ。そして、選ばれた各コンテンツに対して絞込グループ・リストに格納されている絞込グループを一つずつ順番に選択し、絞込グループ表示領域とオーバーラップしているかどうかを確認する。

また、検索結果表示リストの先頭から順番（登録された順番）に一つずつコンテンツを取り出し、各コンテンツに対して、リストの下にあるコンテンツを一つずつ順番に取り出す。この処理によって全ての組のコンテンツの組み合わせに対してオーバーラップが無いかどうかを確認する。

オーバーラップしている場合はステップＳ１７０５へ進み、オーバーラップしていない場合はステップＳ１７０６へ進む。

ステップＳ１７０５において、検索結果のコンテンツが絞込グループとオーバーラップしている場合は、絞込グループ表示領域とオーバーラップしないように、コンテンツのサムネイル画像の左上頂点座標を変更する。検索結果コンテンツ同士がオーバーラップしている場合は、検索結果表示リストに格納されているコンテンツのほうの左上頂点座標を変更する。処理を終えるとステップＳ１７０４へ戻る。これにより、検索結果リストに格納されているコンテンツの全てがオーバーラップしないように、連鎖的に移動することになる。

ステップＳ１７０６において、ステップＳ３１０で絞り込まれた結果をステップＳ１７０１で決定された位置に表示する。そして、ステップＳ１７０３によって表示位置を変更された絞込グループを移動して表示する。さらに、ステップＳ１７０５で表示位置を変更された検索結果のサムネイル画像を移動して表示する。

（その他の実施形態）
上記実施形態では、入力部１として、デジタイザを用いたペン入力の例を示したが、マウスで入力位置を指定し、キーボードから文字列オブジェクトを入力するようにしても良い。

また、上記実施形態では、検索処理として、検索キーと完全に一致するキーワードを持つコンテンツのみを検索結果として求めていた。関連する形態として、検索キーを類語後辞書やシソーラス辞書を用いて展開することにより、展開された検索キーと部分一致するキーワードを持つコンテンツを検索結果として求めるようにしても良い。この場合、展開方法や、部分一致の程度によって、スコアの値が１００よりも下がることになる。

また、上記実施形態では、検索処理として、キーワード検索の例を示しているが、検索キーとして静止画や動画や音声の特徴量に基づいて、類似データの検索を行うようにしても良い。この場合、検索結果として類似度に応じたスコアの値が求められる。

また、上記実施形態では、検索キーを指定して検索を行った検索結果に対して絞込を行う例を示しているが、ファイルシステムの同一ディレクトリのコンテンツを表示した後に、絞込みを行うようにしても良い。あるいは、コンテンツ・データベースの全ての情報に対して、全てのコンテンツの表示を行った後に、絞込みを行うようにしても良い。あるいは、全てのコンテンツの表示を行わないで、何も表示されていない状態で、全てのコンテンツに対して絞込みを行い、自由な発想で、絞込みを繰り返すことによって、コンテンツ・データベースに格納されている情報を分類／整理するようにしても良い。

また、上記実施形態では、検索結果や絞込結果を二次元平面状にマッピングして表示を行っていた。関連する形態として、三次元空間上にマッピングを行い、絞込みを繰り返すことによって分類／整理した状態を、好みの角度、距離からブラウズするようにしても良い。

また、上記実施形態では、絞込結果のサムネイル画像が重ならないように表示位置と絞り込みグループの矩形の表示領域を決定していた。関連する形態として、サムネイル画像の重なりを許し、絞込グループの表示領域の形状を矩形以外の円や楕円などとして、絞込みの結果の個数に基づき、絞込グループの表示領域の面積を求めて領域の大きさを決定してもよい。その後、ランダムに表示領域内に表示するサムネイル画像の中心位置の候補を選び、中心位置が他のサムネイル画像と重ならないようにサムネイル画像の表示位置を決定する処理が行われる。

尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることはいうまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図に示すフローチャートに対応するプログラムコードが格納されることになる。

情報処理装置のハードウェア構成を示す図 表示画面の一例を示す図 情報処理装置の手書き入力解釈処理フローチャートを示す図。 オブジェクトリストの一例を示す図 手書き検索コマンドの描画例を示す図 手書きコマンドの一覧を示す図。 情報処理装置の手書きコマンド解釈処理フローチャートを示す図。 コンテンツ・データベースの一例を示す図。 検索結果リストの一例を示す図。 情報処理装置の検索結果表示処理の一例を示す図。 結果表示位置決定処理を説明するための図。 検索結果表示リストの一例を示す図。 絞込結果表示の一例を示す図。 絞込グループ・リストの一例を示す図。 絞込グループ表示リストの一例を示す図。 情報処理装置の絞込処理フローチャートを示す図。 情報処理装置の絞込結果表示処理フローチャートを示す図。

Claims (6)

1. 複数の情報を表示画面内に表示するための情報表示手段と、
   前記表示画面内の任意の位置に情報の選択条件を入力する選択条件入力手段と、
   記憶装置に格納された複数の情報の中から前記選択条件入力手段によって入力された選択条件に対応する情報を選択する情報選択手段と、
   前記選択条件入力手段によって入力された選択条件の近傍に前記情報選択手段によって選択された情報を表示させ、前記選択条件入力手段によって任意の位置に絞込条件が入力された場合、前記選択条件の近傍に表示された情報のうち前記絞込条件に対応する情報を前記絞込条件の近傍に移動させる制御手段と
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記絞込条件の近傍に移動した情報と前記選択条件の近傍に表示された情報がオーバーラップする場合、前記オーバーラップを避けるために前記前記選択条件の近傍に表示された情報を移動させることを特徴とする請求項１に記載の情報処理装置。
3. 複数の情報を表示装置の表示画面内に表示する情報処理装置の情報処理方法であって、前記表示画面内の任意の位置に情報の選択条件を選択条件入力手段が入力する選択条件入力ステップと、
   記憶装置に格納された複数の情報の中から前記選択条件入力ステップにおいて入力された選択条件に対応する情報を情報選択手段が選択する情報選
   択ステップと、
   前記選択条件入力ステップにおいて入力された選択条件の近傍に前記情報選択手段によって選択された情報を制御手段が表示させ、前記選択条件入力ステップにおいて任意の位置に絞込条件が入力された場合、前記選択条件の近傍に表示された情報のうち前記絞込条件に対応する情報を前記絞込条件の近傍に移動手段が移動させる制御ステップと
   を有することを特徴とする情報処理装置の情報処理方法。
4. 前記絞込条件の近傍に移動した情報と前記選択条件の近傍に表示された情報がオーバーラップする場合、前記オーバーラップを避けるために前記前記選択条件の近傍に表示された情報を移動手段が移動させる移動ステップとをさらに有することを特徴とする請求項３に記載の情報処理装置の情報処理方法。
5. コンピュータに、請求項３ないし請求項４のいずれか１項に記載の情報処理装置の情報処理方法を実行させるプログラム。
6. コンピュータに、請求項５に記載の情報処理方法を実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images