JP4713428B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、物体の形状を読取り、読取られた物体の形状に関連付けられた情報を表示させる情報処理装置、情報処理方法およびプログラムに関する。

パーソナルコンピュータなどの情報処理装置の利用者は、記憶部に記憶されている特定のファイルにアクセスするとき、階層構造のフォルダを順次開いて、特定のファイルを検索している。また、特定のファイルを閲覧したり、編集および書き換えをするために、対応するコマンドやアプリケーションを選択したり、予め関連付けたりしている。

従来の技術の情報処理装置として、特許文献１の指紋照合装置は、指紋とコマンドを対応づけておき、指紋認証と共にコマンド実行を行うように構成される。また特許文献２の電子ボードは、入力装置（物）とコマンドを対応付けておき、道具（物）の位置、動きを検出して、予め登録されている機能を実行するように構成される。

特開平１１−２５０２５１号公報 特開平５−２２４８５３号公報

前述の特許文献１，２では、操作に慣れていない利用者にとっては、特定のファイルを検索して、そのファイルへアクセスすることが困難であるという問題がある。また特許文献１，２では、利用者が実際に装置を操作してみなければ、いずれの指紋または物体が、いずれのコマンドに対応しているかを確認することができず、指紋または物体とコマンドとの対応関係を容易かつ即座に把握することができないという問題がある。

本発明の目的は、簡単に所望の情報にアクセスすることができ、かつ所望の情報に関連付けされた物体を容易に確認することができる情報処理装置、情報処理方法およびプログラムを提供することである。

本発明は、表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置である。

また本発明は、表示画面上に載置される物体を指定する物体指定手段をさらに備え、
前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする。

また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
表示画面上に載置される物体の形状を読取る読取工程と、
読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
表示工程で表示されたデータを指定するデータ指定工程と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
表示画面上における物体の位置を検出する位置検出工程と、
読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法である。

また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラムである。

本発明によれば、読取手段によって、表示画面上に載置される物体の形状を読取る。読取手段によって読取られた物体の形状を表す形状情報とデータとは、それぞれ関連付けられて記憶手段に記憶される。記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータ、具体的には書類および写真などの電子ファイルは、表示手段によって表示される。

表示手段に表示されたデータは、データ指定手段によって指定される。取得手段は、データ指定手段によって指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する。表示画面上における物体の位置は、位置検出手段によって検出される。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、表示手段は、表示画面のうち、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。

このように、読取手段によって、表示画面上に載置される物体の形状を読取るだけで、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶手段に記憶されるデータを表示手段に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。

また表示手段に表示されるデータの近くに物体があるので、利用者は、物体とデータとを参照し易い。たとえば予め定める情報にアクセスするために用いられ、かつ前記データに関連する形状情報の物体を容易に確認することができる。

また表示画面のうち、前記データに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される物体のうち、予め定める情報にアクセスするために用いられ、かつ前記データに関連する物体がいずれであるかを忘れてしまったときでも、前記データに関連する形状情報の物体を容易かつ即座に確認することができる。

また本発明によれば、表示画面上に載置される物体は、物体指定手段によって指定される。記憶手段には、複数の物体の形状情報が関連付けられて記憶される。取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得する。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、表示手段は、位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。

このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。

また本発明によれば、読取工程では、表示画面上に載置される物体の形状を読取る。表示工程では、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータ、具体的には書類および写真などの電子ファイルが表示される。

データ指定工程では、表示工程で表示されたデータを指定する。取得工程では、データ指定工程で指定されたデータに関連付けて記憶部に記憶される形状情報を取得する。位置検出工程では、表示画面上における物体の位置を検出する。制御工程では、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する。

このように、読取工程で、表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。

また本発明によれば、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに、表示画面上に載置される物体の形状を読取る読取手段と、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、表示手段に表示されたデータを指定するデータ指定手段と、指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、表示画面上における物体の位置を検出する位置検出手段と、読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段としての機能を実行させることができる。

これによって、操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。

以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。以下の説明においては、各形態で先行する形態で説明している事項に対応している部分には同一の参照符を付し、重複する説明を略する場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。

図１は、本発明の実施の一形態である情報処理装置１の電気的構成を示すブロック図である。情報処理装置１は、入力・表示系２と制御系３とを有する。入力・表示系２は、液晶ディスプレイ（Liquid Crystal Display；略称：ＬＣＤ）５、センサ６、内蔵カメラ７および光源であるバックライト８を有する。制御系３は、制御手段である中央演算処理装置（Central Processing Unit；略称：ＣＰＵ）１０、センサ入力部１１、周辺機器入力部１２、表示制御部１３、主記憶部１４、補助記憶部１５、通信部１６およびバス１７を有する。制御系３のうちＣＰＵ１０、主記憶部１４、補助記憶部１５およびバス１７は、たとえばマイクロコンピュータによって実現される。

ＬＣＤ５は、その表示部に、電子ファイルなどの情報を画像として表示する。センサ６は、ＬＣＤ５の表示画面上に載置される物体、文字およびダグの少なくともいずれか一つのパターンを検出する。センサ６は、薄膜トランジスタ（Thin Film Transistor；略称：ＴＦＴ）アレイを用いたイメージセンサ、赤外線センサ、デジタイザ、タブレットなどによって実現される。センサ６は、低解像度のセンサと高解像度のセンサとを個別に構成してもよいし、一体形で構成してもよい。

内蔵カメラ７は、表示画面上に載置される物体、文字およびタグの少なくともいずれか一つのパターンを検出する。内蔵カメラ７は、センサ６と一体形で構成してもよい。バックライト８は、液晶表示を行うための光源となる。光源としては、バックライト８に限らず、ＬＣＤ５が反射形で構成される場合は、フロントライト方式であってもよい。

制御系のうちＣＰＵ１０は、バス１７を介して、センサ入力部１１、周辺機器入力部１２、表示制御部１３、主記憶部１４、補助記憶部１５および通信部１６と電気的に接続されている。ＣＰＵ１０は、その内部に記憶される制御プログラムに基づいて、センサ入力部１１、周辺機器入力部１２、表示制御部１３、主記憶部１４、補助記憶部１５および通信部１６を含むハードウェア資源を統括的に制御する。センサ入力部１１には、センサ６および内蔵カメラ７が電気的に接続されている。センサ入力部１１は、センサ６および内蔵カメラ７からの出力を電気信号に変換してデータ化する。

周辺機器入力部１２には、キーボード、ポインティングデバイス、外部カメラ、マイクロフォンなどの周辺機器がそれぞれ電気的に接続可能に構成されている。周辺機器入力部１２は、周辺機器からの出力を電気信号に変換してデータ化する。表示制御部１３には、ＬＣＤ５およびバックライト８が電気的に接続されている。表示制御部１３は、ＣＰＵ１０からの指令に従って、ＬＣＤ５およびバックライト８を制御する。

主記憶部１４には、情報処理装置１における複数の処理動作を実現させるために必要な動作プログラムが記憶されている。補助記憶部１５には、補助的に動作に必要な情報、本実施の形態では電子ファイルが記憶されている。通信部１６は、外部の機器と通信を行う。

本実施の形態において、読取手段は、センサ６および内蔵カメラ７に相当する。記憶手段は、補助記憶部１５に相当する。表示手段は、ＬＣＤ５に相当する。データ指定手段および物体指定手段は、周辺機器入力部１２に相当する。取得手段は、ＣＰＵ１０において、補助記憶部１５に記憶された形状情報を取得する処理に相当する。位置検出手段は、センサ６に相当する。制御手段は、ＣＰＵ１０および表示制御部１３に相当する。

図２は、主記憶部１４に記憶される動作プログラム２０の構成を示す図である。本実施の形態の動作プログラム２０は、位置認識処理プログラム２１、タグ認識処理プログラム２２、形状認識処理プログラム２３、情報検索処理プログラム２４およびリンク生成処理プログラム２５を含む。

ＣＰＵ１０が位置認識処理プログラム２１を実行することによって、センサ６または内蔵カメラ７によって検出された画像情報の位置を認識する位置認識処理が実現される。ＣＰＵ１０がタグ認識処理プログラム２２を実行することによって、センサ６または内蔵カメラ７によって検出されたタグ情報を認識する。ＣＰＵ１０が形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像の形状を認識する。ＣＰＵ１０が情報検索処理プログラム２４を実行することによって、主記憶部１４、補助記憶部１５、または図示外の外部記録装置内の情報を検索する。ＣＰＵ１０がリンク生成処理プログラム２５を実行することによって、センサ６または内蔵カメラ７によって検出された画像情報と、内部もしくは外部のファイルデータとを関連付ける。

図３は、本発明の第１の実施の形態に係る関連付け処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図４は、第１の実施の形態に係る第１登録処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図５は、所望の物体を、電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。図３および図４に示す各処理は、ＣＰＵ１０によって実行される。図３および図４に示す各処理は、情報処理装置１の動作中に繰返し実行される。たとえば情報処理装置１の図示外の主電源をオフからオンにする条件、図示外のタイマーによる一定時間間隔、図示外の人感センサなどによる利用者の接近もしくは動きを検知した条件において、図３に示す処理が開始される。

ステップａ１では、次のステップａ２で物体があるか否かを判断すべく、情報処理装置１の表示手段であるＬＣＤ５の表示画面上の状態をセンサ６でセンシングして、ステップａ２に進む。

ステップａ２では、前記センシングの結果、ＬＣＤ５の表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップａ３に進み、表示画面上に物体がないと判断されると本処理を終了する。

ステップａ３では、前述の位置認識処理プログラム２１を実行することによって、物体の位置を認識して、ステップａ４に進む。ステップａ４では、ＬＣＤ５の表示画面に表示される電子ファイルの位置または近傍領域に、前記物体があるか否かを判断し、物体があると判断されるとステップａ５に進み、物体がないと判断されると本処理を終了する。

ステップａ５では、表示画面上に載置される物体、本実施の形態では鉛筆３０、消しゴム３１およびはさみ３２の近傍に、登録選択メニュー画面３５を表示（図５参照）して、ステップａ６に進む。ここで、登録選択メニュー画面３５は、図５に示すように、ＬＣＤ５の表示画面上に載置される物体の形状を表す形状情報、および表示画面に表示されるデータである電子ファイルを関連付けて補助記憶部１５に記憶させる設定項目「登録」と、前記形状情報と電子ファイルとの関連付けの設定を解除する設定項目「キャンセル」とを有する。以下の説明では、物体の形状を表す形状情報に関連付けて記憶されるデータを、「予め定める情報」という場合がある。

登録選択メニュー画面３５の設定項目「登録」を選択することによって、前記形状情報と電子ファイルとを関連付けて補助記憶部１５に記憶させることができる。登録選択メニュー画面３５の設定項目「キャンセル」を選択することによって、前記形状情報と電子ファイルとの関連付けの設定を解除することができる。

ステップａ６では、登録選択メニュー画面３５で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップａ７に進み、選択されなかった場合は本処理を終了する。

ステップａ７では、後述する第１登録処理のサブルーチンに進み、次にステップａ８に進む。ステップａ８では、登録をしたい全ての電子ファイルに対して登録作業を終えたか否かを判断し、登録をしたい全ての電子ファイルに対して登録作業を終えた場合は、本処理を終了し、登録を希望するいずれかの電子ファイルの登録作業が終えていない場合は、ステップａ５に戻る。

前記ステップａ７に移行する条件で、図４に示す第１登録処理が開始される。ステップｂ１では、登録対象の物体を選択して、ステップｂ２に進む。本実施の形態では、図５に示すように、登録対象の物体として、鉛筆３０および消しゴム３１が選択されたとき、ＬＣＤ５の表示画面のうち、表示画面上に載置される鉛筆３０および消しゴム３１の近傍領域の表示状態を変化させる。たとえば、ＬＣＤ５の表示画面において、鉛筆３０および消しゴム３１の近傍領域を枠で囲ったり、表示色を変化させる。当該近傍領域をフラッシング（明滅）表示させるようにしてもよい。

したがって利用者は、ＬＣＤ５の表示画面を見るだけで、利用者自身が選択した登録対象の物体が、情報処理装置１に入力されているか否かを即座に認識することができる。これによって登録対象の物体が誤入力された場合でも、利用者は物体を選択入力する作業を迅速に行うことができる。

ステップｂ２では、ＬＣＤ５の表示画面に表示される電子ファイルの中から、ステップｂ１で選択された物体、本実施の形態では鉛筆３０および消しゴム３１と関連付けする電子ファイル、本実施の形態では「Ｆｉｌｅ Ｅ」を選択して、ステップｂ３に進む。

ステップｂ３では、形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像に基づいて、物体の形状を認識して、ステップｂ４に進む。ステップｂ４では、リンク生成処理プログラム２５を実行することによって、物体の形状を表す形状情報と予め定める情報である電子ファイルとを関連付けて補助記憶部１５に記憶させる。その後、本処理を終了する。このようにして本実施の形態では、鉛筆３０および消しゴム３１と、電子ファイルである「Ｆｉｌｅ Ｅ」とが関連付けられて、補助記憶部１５に記憶される。図４に示すフローチャートのステップｂ３は、読取工程に相当する。

前述のように本実施の形態では、登録選択メニュー画面３５の「登録」を選択することによって、選択された物体と電子ファイルとを関連付けて補助記憶部１５に記憶させることができる。さらに本実施の形態では、予め物体と電子ファイルとが関連付けられている状態で、登録選択メニュー画面３５の「キャンセル」を選択することによって、物体と電子ファイルとの関連付けを解除し、新たに登録をし直すことが可能となる。

図６は、本発明の第２の実施の形態に係る関連付け処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図７は、第２の実施の形態に係る第２登録処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図８は、所望の物体を予め定める登録領域４０に載置して、所望の物体を電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。図６および図７に示す各処理は、ＣＰＵ１０によって実行される。図６および図７に示す各処理は、情報処理装置１の動作中に繰返し実行される。たとえば情報処理装置１の主電源をオフからオンにする条件で、図６に示す処理が開始される。

ステップｃ１では、周辺機器入力部１２を操作することによって、ＬＣＤ５の表示画面上に、登録選択メニュー画面３５を表示して、ステップｃ２に進む。ステップｃ２では、登録選択メニュー画面３５で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップｃ３に進み、選択されなかった場合は本処理を終了する。

ステップｃ３では、ＬＣＤ５の表示画面上の状態をセンサ６でセンシングして、ステップｃ４に進む。ステップｃ４では、前述の位置認識処理プログラム２１を実行することによって、物体の位置を認識して、ステップｃ５に進む。

ステップｃ５では、物体が所定の場所にあるか否かを判断する。本実施の形態では、図８に示すように、物体が予め定める登録領域（以下、単に「登録領域」という）４０にあるか否かを判断し、物体が登録領域４０にあると判断されるとステップｃ６に進み、物体が登録領域４０にないと判断されると本処理を終了する。

ステップｃ６では、後述する第２登録処理のサブルーチンに進み、次にステップｃ７に進む。ステップｃ７では、登録が終了したか否かを判断し、登録が終了したと判断した場合は本処理を終了し、登録が終了していないと判断した場合はステップｃ１に戻る。

前記ステップｃ６に移行する条件で、図７に示す第２登録処理が開始される。ステップｄ１では、形状認識処理によって、所定の場所、本実施の形態では予め定める登録領域４０に載置される物体の形状を認識して、ステップｄ２に進む。

ステップｄ２では、表示画面上に載置される物体の位置と、ステップｄ１で認識した物体の形状とから、物体を認識して、ステップｄ３に進む。ステップｄ３では、リンク生成処理プログラム２５を実行することによって、物体の形状と電子ファイルとを関連付けて補助記憶部１５に記憶させる。その後、本処理を終了する。図７に示すフローチャートのステップｄ１は、読取工程に相当する。

前述のように本実施の形態では、図８に示すように、表示画面上に、電子ファイルである「Ｆｉｌｅ Ｅ」が表示されているとき、この電子ファイルに関連付けたい所望の物体、たとえば鉛筆３０および消しゴム３１を予め定める登録領域４０に載置し、表示画面上に表示される登録選択メニュー画面３５で「登録」を選択することによって、物体である鉛筆３０および消しゴム３１と、電子ファイルである「Ｆｉｌｅ Ｅ」とが関連付けられて、補助記憶部１５に記憶される。

前述のように予め定める登録領域４０を設けることによって、一つの電子ファイルに複数の物体を関連付けるとき、ＬＣＤ５の表示画面上の任意の位置に載置された複数の物体に対して個別に前記関連付けの作業をする必要がある図５に示す形態に比べて、前記関連付けの作業の手間を軽減することができ、前記関連付けの作業に要する時間を短縮することができる。

図９は、所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける場合、ＣＰＵ１０は、図６のステップｃ５の処理以外は、図６および図７と同様の処理手順で動作する。したがって図８に示す形態と処理が異なる部分についてのみ説明し、図８に示す形態と同様の部分の説明は省略する。

所望の物体、本実施の形態では鉛筆３０および消しゴム３１を、電子ファイルである「Ｆｉｌｅ Ｅ」の表示部分に載置して、前記所望の物体を電子ファイルに関連付ける場合、図６のステップｃ５では、図９に示すように、物体が電子ファイルの表示部部分にあるか否かを判断し、物体が前記表示部分にあると判断されると、ステップｃ６に進み、物体が前記表示部分にないと判断されると、本処理を終了する。

前述のように本実施の形態では、図９に示すように、電子ファイルである「Ｆｉｌｅ
Ｅ」の表示部分に、鉛筆３０および消しゴム３１などの所望の物体を載置し、表示画面上に表示される登録選択メニュー画面３５で「登録」を選択することによって、物体である鉛筆３０および消しゴム３１と、電子ファイル、たとえば「Ｆｉｌｅ Ｅ」とを関連付けて、補助記憶部１５に記憶することができる。

前述のように利用者は、ＬＣＤ５の表示画面に表示される電子ファイルの表示部分に、所望の物体、換言すれば前記電子ファイルに関連付けをしたい物体を載置するだけで、前記電子ファイルに前記物体を比較的容易に関連付けることができる。これによって利用者による電子ファイルと物体との関連付けの作業に対する利便性を、図８に示す形態に比べてさらに向上することができる。

図１０は、本発明の第３の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するＣＰＵ１０の処理手順を示すフローチャートである。本処理は、ＣＰＵ１０によって実行される。本処理は、情報処理装置１の動作中に繰返し実行される。たとえば情報処理装置１の主電源をオフからオンにする条件で、図１０に示す処理が開始される。

ステップｅ１では、次のステップで物体があるか否かを判断すべく、ＬＣＤ５の表示画面上の状態をセンサ６でセンシングして、ステップｅ２に進む。ステップｅ２では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップｅ３に進み、表示画面上に物体がないと判断されると本処理を終了する。

ステップｅ３では、前述の位置認識処理プログラム２１を実行することによって、物体の位置を認識して、ステップｅ４に進む。ステップｅ４では、形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像に基づいて、物体の形状を認識して、ステップｅ５に進む。

ステップｅ５では、前述の情報検索処理プログラム２４を実行することによって、物体の形状を表す形状情報と関連付けされた電子ファイルを検索して、ステップｅ６に進む。ステップｅ６では、前記物体の形状を表す形状情報と関連付けられた電子ファイルがあるか否かを判断し、前記電子ファイルがあると判断されると、ステップｅ７に進み、前記電子ファイルがないと判断されると、本処理を終了する。

ステップｅ７では、物体の形状を表す形状情報と関連付けられた電子ファイルを、ＬＣＤ５の表示画面に表示させる。その後本処理を終了する。図１０に示すフローチャートのステップｅ４は、読取工程に相当し、ステップｅ７は、表示工程に相当する。

図１１は、本発明の第４の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図１２は、一つの電子ファイルと複数の物体との関係を表すＬＣＤ５の平面図である。図１３は、ＬＣＤ５の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すＬＣＤ５の平面図である。図１１に示す処理は、ＣＰＵ１０によって実行される。図１１に示す処理は、情報処理装置１の動作中に繰返し実行される。たとえば情報処理装置１の図示外の主電源をオフからオンにする条件で、図１１に示す処理が開始される。

ステップｆ１では、ＬＣＤ５の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシング（明滅）をするか否かを設定するためのフラッシングメニュー画面５０を表示（図１２および図１３参照）して、ステップｆ２に進む。ここで、フラッシングメニュー画面５０は、図１２および図１３に示すように、画像をフラッシング（明滅）４５によって表示させる設定項目「フラッシング」と、フラッシングの設定を解除する設定項目「キャンセル」とを有する。フラッシングメニュー画面５０の設定項目「フラッシング」を選択することによって、画像を明滅によって表示することができる。フラッシングメニュー画面５０の設定項目「キャンセル」を選択することによって、フラッシングの設定を解除することができる。

ステップｆ２では、関連する物体を検索したい電子ファイルを選択したか否かを判断し、前記検索したい電子ファイルが選択されると、ステップｆ３に進み、前記検索したい電子ファイルが選択されないと、本処理を終了する。

ステップｆ３では、次のステップｆ４で物体があるか否かを判断すべく、ＬＣＤ５の表示画面上の状態をセンサ６でセンシングして、ステップｆ４に進む。ステップｆ４では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップｆ５に進み、表示画面上に物体がないと判断されると本処理を終了する。

ステップｆ５では、前述の位置認識処理プログラム２１を実行することによって、物体の位置を認識して、ステップｆ６に進む。読取工程に相当するステップｆ６では、形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像に基づいて、物体の形状を認識して、ステップｆ７に進む。

ステップｆ７では、前述の情報検索処理プログラム２４を実行することによって、電子ファイルと関連付けされた物体を検索して、ステップｆ８に進む。ステップｆ８では、電子ファイルと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップｆ９に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。

ステップｆ９では、選択された電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング（明滅）４５によって表示させる。その後、本処理を終了する。

前述のように本実施の形態では、図１２に示すように、ＬＣＤ５の表示画面に表示される電子ファイルである「Ｆｉｌｅ Ｄ」を選択し、表示画面上に表示されるフラッシングメニュー画面５０で「フラッシング」を選択すると、図１３に示すように、表示画面上に載置される物体のうち、電子ファイルである「Ｆｉｌｅ Ｄ」に関連付けられている物体、本実施の形態では、はさみ３２の近傍領域が、フラッシング（明滅）４５によって表示される。

前述のように、ＬＣＤ５の表示画面のうち、利用者が選択した電子ファイルに関連付けられている物体の位置または近傍領域をフラッシング（明滅）４５によって表示するので、利用者は、ＬＣＤ５の表示画面上に載置されている物体が複数あり、利用者自身が選択した電子ファイルに関連付けられている物体がいずれであるかを忘れてしまったときでも、利用者は、前記電子ファイルに関連付けられている物体を容易かつ即座に把握することができる。

図１４は、本発明の第５の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するＣＰＵ１０の処理手順を示すフローチャートである。図１５は、特定の物体が選択された状態を表すＬＣＤ５の平面図である。図１６は、ＬＣＤ５の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すＬＣＤ５の平面図である。図１７は、ＬＣＤ５の表示画面上に載置された物体に関連付けられた電子ファイルを表示するＬＣＤ５の平面図である。図１８は、ＬＣＤ５の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すＬＣＤ５の平面図である。

図１４に示す処理は、ＣＰＵ１０によって実行される。図１４に示す処理は、情報処理装置１の動作中に繰返し実行される。たとえば情報処理装置１の図示外の主電源をオフからオンにする条件で、図１４に示す処理が開始される。

ステップｇ１では、ＬＣＤ５の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシングをするか否かを設定するためのフラッシングメニュー画面５０を表示（図１５〜１８参照）して、ステップｇ２に進む。

ステップｇ２では、関連する他の物体を検索したい特定の物体を選択したか否かを判断し、前記検索したい特定の物体が選択されると、ステップｇ３に進み、前記検索したい特定の物体が選択されないと、本処理を終了する。

ステップｇ３では、次のステップｇ４で物体があるか否かを判断すべく、ＬＣＤ５の表示画面上の状態をセンサ６でセンシングして、ステップｇ４に進む。ステップｇ４では、前記センシングの結果、表示画面上に他の物体があるか否かを判断し、表示画面上に他の物体があると判断されるとステップｇ５に進み、表示画面上に他の物体がないと判断されると本処理を終了する。

ステップｇ５では、前述の位置認識処理プログラム２１を実行することによって、前記他の物体の位置を認識して、ステップｇ６に進む。読取工程に相当するステップｇ６では、形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像に基づいて、前記他の物体の形状を認識して、ステップｇ７に進む。ステップｇ７では、前述の情報検索処理プログラム２４を実行することによって、特定の物体と関連付けされた前記他の物体を検索して、ステップｇ８に進む。

ステップｇ８では、特定の物体と関連付けされた電子ファイルが表示されているか否かを判断し、前記電子ファイルが表示されている場合は、ステップｇ９に進み、前記電子ファイルが表示されていない場合は、ステップｇ１０に進む。

ステップｇ９では、特定の物体と関連付けされている電子ファイル、本実施の形態では「Ｆｉｌｅ Ｅ」の近傍領域の表示状態を変更、具体的には前記部分をフラッシング（明滅）４５によって表示させて、ステップｇ１０に進む。

ステップｇ１０では、電子ファイルＥと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップｇ１１に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。

ステップｇ１１では、選択された特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング（明滅）４５によって表示させる。その後、本処理を終了する。

前述のように本実施の形態では、図１５に示すように、ＬＣＤ５の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆３０を選択し、表示画面上に表示されるフラッシングメニュー画面５０で「フラッシング」を選択すると、図１６に示すように、表示画面上に載置される特定の物体である鉛筆３０とは異なる他の物体のうち、鉛筆３０に関連付けられている物体、本実施の形態では、消しゴム３１の近傍領域が、フラッシング（明滅）４５によって表示される。

したがって利用者は、ＬＣＤ５の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるかを忘れてしまったときでも、表示画面のうち、前記他の物体の近傍領域がフラッシング（明滅）４５によって表示されるので、前記他の物体を容易かつ即座に把握することができる。

また本実施の形態では、図１７に示すように、２つの電子ファイル、具体的には「Ｆｉｌｅ Ｄ」および「Ｆｉｌｅ Ｅ」が表示画面上に表示された状態で、ＬＣＤ５の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆３０を選択し、表示画面上に表示されるフラッシングメニュー画面５０で「フラッシング」を選択すると、図１８に示すように、表示画面上に載置される特定の物体である鉛筆３０とは異なる他の物体および電子ファイルのうち、鉛筆３０に関連付けられている物体、本実施の形態では、消しゴム３１の近傍領域と、鉛筆３０に関連付けられている電子ファイルである「Ｆｉｌｅ Ｅ」の近傍領域とが、フラッシング（明滅）４５によって表示される。

したがって利用者は、ＬＣＤ５の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるか、および前記特定の物体に関連付けられ、前記表示画面に表示されている電子ファイルがいずれであるかを忘れてしまったときでも、前記表示画面のうち、前記特定の物体に関連付けられている前記他の物体の位置または近傍領域と、前記特定の物体に関連付けられている前記電子ファイルの近傍領域とがフラッシング（明滅）４５によって表示されるので、利用者は前記特定の物体に関連付けられている前記他の物体および前記電子ファイルを容易かつ即座に把握することができる。

図１９は、関連付けテーブルが保持される例を示す図である。鉛筆３０には、ファイル「Ｆｉｌｅ Ａ」、ファイル「Ｆｉｌｅ Ｂ」、ファイル「Ｆｉｌｅ Ｃ」が関連付けられている。はさみ３２には、ファイル「Ｆｉｌｅ Ｄ」が関連付けられている。鉛筆３０および消しゴム３１には、ファイル「Ｆｉｌｅ Ｅ」が関連付けられている。鉛筆３０、はさみ３２および消しゴム３１をＬＣＤ５の表示画面上に載置したタイミングで、ファイル「Ｆｉｌｅ Ａ」、ファイル「Ｆｉｌｅ Ｂ」、ファイル「Ｆｉｌｅ Ｃ」、ファイル「Ｆｉｌｅ Ｄ」およびファイル「Ｆｉｌｅ Ｅ」を、前記表示画面上に表示してもよい。

本発明の情報処理装置１によれば、センサ６および内蔵カメラ７によって、ＬＣＤ５の表示画面上に載置される物体の形状を読取る。センサ６および内蔵カメラ７によって読取られた物体の形状を表す形状情報および予め定める情報は、それぞれ関連付けられて補助記憶部１５に記憶される。

補助記憶部１５に記憶される形状情報のうち、センサ６および内蔵カメラ７によって読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルは、ＬＣＤ５によって、画像として表示される。

このように、センサ６および内蔵カメラ７によって物体の形状を読取るだけで、読取られた物体の形状を表す形状情報に関連付けられて補助記憶部１５に記憶される予め定める情報を、画像としてＬＣＤ５に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。

また本発明の情報処理装置１によれば、センサ６および内蔵カメラ７によって、ＬＣＤ５の表示画面上に載置される物体の形状が読取られ、補助記憶部１５に記憶される形状情報のうち、前記読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルが画像としてＬＣＤ５に表示される。

したがってＬＣＤ５に表示される電子ファイルを表す画像の近くに物体があるので、利用者は、物体と電子ファイルを表す画像とを参照し易い。これによって利用者は、たとえば電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する形状情報の物体を容易に確認することができ、利便性を向上することができる。

また本発明の情報処理装置１によれば、補助記憶部１５に記憶される予め定める情報、具体的には電子ファイルを、画像としてＬＣＤ５に表示しているとき、前記画像を指定する指定情報が、周辺機器入力部１２によって入力される。ＣＰＵ１０は、前記指定情報が指定する画像を表す電子ファイルに関連付けて補助記憶部１５に記憶される形状情報を取得する。ＬＣＤ５の表示画面上における物体の位置は、センサ６によって検出される。センサ６および内蔵カメラ７によって読取られた物体の形状を表す形状情報と、ＣＰＵ１０によって取得された形状情報とが一致したとき、ＬＣＤ５は、表示画面のうち、センサ６によって検出された物体の位置または近傍領域をフラッシング（明滅）４５によって表示させるなどして、表示状態を変更するように、ＣＰＵ１０および表示制御部１３によって制御される。

このように、ＬＣＤ５の表示画面のうち、前記予め定める情報である電子ファイルに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、ＬＣＤ５の表示画面上に載置される物体のうち、電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する物体がいずれであるかを忘れてしまったときでも、前記電子ファイルに関連する形状情報の物体を容易かつ即座に確認することができる。

また本発明の情報処理装置１によれば、センサ６および内蔵カメラ７によって読取られた物体の形状を表す形状情報と、ＣＰＵ１０によって取得された形状情報とが一致したとき、ＬＣＤ５は、センサ６および内蔵カメラ７によって読取られた物体の形状を表す形状情報に関連付けられて補助記憶部１５に記憶され、ＬＣＤ５の表示画面に表示される前記予め定める情報、具体的には電子ファイルを表す画像の近傍領域をフラッシング（明滅）４５によって表示させるなどして、センサ６によって検出された物体の位置または近傍領域の表示状態を変更するように、表示制御部１３によって制御される。

このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、ＬＣＤ５の表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。

また本発明の情報処理方法によれば、表示画面上に載置される物体の形状を読取る読取工程と、読取工程で読取られた物体の形状を表す形状情報に関連付けられて補助記憶部１５に記憶されるデータ、具体的には書類および写真などの電子ファイルを表示する表示工程と、表示工程で表示されたデータを指定するデータ指定工程と、データ指定工程で指定されたデータに関連付けて補助記憶部１５に記憶される形状情報を取得する取得工程と、表示画面上における物体の位置を検出する位置検出工程と、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを有する。

このように、読取工程で、ＬＣＤ５の表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶される電子ファイルを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する電子ファイルに簡単にアクセスすることができ、電子ファイルの検索時間および労力を前記従来の技術に比べて低減することができる。

また本発明のプログラムによれば、コンピュータに情報処理装置１の機能を実行させることができる。これによって、操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。

前述の各実施の形態は、本発明の例示に過ぎず、発明の範囲内において構成を変更することができる。前述の各実施の形態では、ＣＰＵ１０が、主記憶部１４に記憶されている形状認識処理プログラム２３を実行することによって、センサ６または内蔵カメラ７で読取られた画像の形状を認識するように構成されているけれども、複数の物体の形状が全く同一であるときには、これらを識別することができない。したがってこのことを考慮して、複数の物体の形状が全く同一であるときには、物体に、タグ情報、具体的には１次元バーコード、ＱＲコードおよびＱＲコード以外の２次元バーコードなどを設ければよい。これによって、センサ６または内蔵カメラ７によって検出された前記タグ情報に基づいて、複数の同一形状の物体を識別することができる。

また前述の各実施の形態では、選択された電子ファイルに関連付けられた物体の位置または近傍領域の表示状態の変更に際し、フラッシング（明滅）４５を行う構成を示したが、必ずしもフラッシング（明滅）４５を行う構成に限定されない。たとえば、前記物体の位置または近傍領域における表示色を変化させる構成にしてもよい。このように前記物体の位置または近傍領域における表示色を変化させる構成にした場合でも、前述の各実施の形態と同様の効果を得ることができる。

本発明の実施の一形態である情報処理装置１の電気的構成を示すブロック図である。 主記憶部１４に記憶される動作プログラム２０の構成を示す図である。 本発明の第１の実施の形態に係る関連付け処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 第１の実施の形態に係る第１登録処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 所望の物体を、電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。 本発明の第２の実施の形態に係る関連付け処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 第２の実施の形態に係る第２登録処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 所望の物体を予め定める登録領域４０に載置して、所望の物体を電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。 所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すＬＣＤ５の平面図である。 本発明の第３の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 本発明の第４の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 一つの電子ファイルと複数の物体との関係を表すＬＣＤ５の平面図である。 ＬＣＤ５の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すＬＣＤ５の平面図である。 本発明の第５の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するＣＰＵ１０の処理手順を示すフローチャートである。 特定の物体が選択された状態を表すＬＣＤ５の平面図である。 ＬＣＤ５の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すＬＣＤ５の平面図である。 ＬＣＤ５の表示画面上に載置された物体に関連付けられた電子ファイルを表示するＬＣＤ５の平面図である。 ＬＣＤ５の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すＬＣＤ５の平面図である。 関連付けテーブルが保持される例を示す図である。

符号の説明

１ 情報処理装置
２ 入力・表示系
３ 制御系
５ 液晶ディスプレイ（ＬＣＤ）
６ センサ
７ 内蔵カメラ
８ バックライト
１０ 中央演算処理装置（ＣＰＵ）
１１ センサ入力部
１２ 周辺機器入力部
１３ 表示制御部
１４ 主記憶部
１５ 補助記憶部
１６ 通信部
１７ バス

Claims (4)

1. 表示画面上に載置される物体の形状を読取る読取手段と、
   読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
   記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
   表示手段に表示されたデータを指定するデータ指定手段と、
   指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
   表示画面上における物体の位置を検出する位置検出手段と、
   読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置。
2. 表示画面上に載置される物体を指定する物体指定手段をさらに備え、
   前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
   前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
   前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする請求項１記載の情報処理装置。
3. 物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
   表示画面上に載置される物体の形状を読取る読取工程と、
   読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
   表示工程で表示されたデータを指定するデータ指定工程と、
   指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
   表示画面上における物体の位置を検出する位置検出工程と、
   読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法。
4. 物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
   表示画面上に載置される物体の形状を読取る読取手段と、
   読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
   表示手段に表示されたデータを指定するデータ指定手段と、
   指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
   表示画面上における物体の位置を検出する位置検出手段と、
   読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラム。

Images