JP5867553B2 - 情報処理装置、プログラム、記録媒体および情報処理システム - Google Patents

Description

本発明は、情報処理装置、プログラム、記録媒体および情報処理システムに関する。

情報処理装置への入力手段として、電子ペンが知られている。電子ペンは、例えば電磁誘導方式や、抵抗膜方式、赤外線・超音波方式、アノト（登録商標）方式などにより、ユーザの筆記を情報処理装置に入力する手段である。手書きにより直感的な入力が可能であることや、レシーバ（不要な場合もある）を含めても軽量で、持ち運びが容易であることが利点である。

上記のような電子ペンによって情報処理装置に入力されるユーザの筆記データは、一般には筆記が行われた位置を示す座標情報である。この座標情報に対して、例えばＯＣＲ（Optical Character Reader）の処理を行うことによって、情報処理装置において処理可能な文字列に変換することができる。

ユーザは、このように変換された文字列に対して、情報処理装置を用いて様々な操作を行うことができる。例えば、文書としてファイルを作成したり、メモした言葉の意味を調べるために検索のキーワードとして用いたりといった操作が考えられる。

そのため、電子ペンを含む情報処理システムにおいて、ユーザの筆記データを情報処理装置に入力するだけでなく、入力後の情報処理装置における操作をも容易にするための技術が開発されている。例えば特許文献１には、電子ペンを、ジョイスティックやマウスといった補助入力装置の機能としても使用する技術が開示されている。

特開２００７−１２２６５９号公報

しかし、上述したように、電子ペンは、持ち運びが容易であることが利点の一つである。そのため、ユーザが、電子ペンとレシーバのみを持ち歩いて筆記を行ってデータを蓄積し、時間が経過した後でデータを情報処理装置に取り込む場合も多いと考えられる。このような場合、例えば、筆記データを情報処理装置に取り込んだ際にどのような処理をしようと考えていたかが、時間の経過によってわからなくなってしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子ペンの筆記データに対して、半自動的にユーザが所望する処理を行うことが可能な、新規かつ改良された情報処理装置、プログラム、記録媒体および情報処理システムを提供することにある。

上記課題を解決するために、本発明の第１の観点によれば、軌跡データと、ユーザ操作によって選択された属性情報とを取得する取得部と、上記軌跡データから認識された文字列をキーワードとして、前記文字列に対応する軌跡データに対応付けられた上記属性情報に基づいて画像検索を実行する検索部と、上記画像検索の結果を一覧表示するウインドウを表示部に表示させる表示制御部とを備える情報処理装置が提供される。
また、上記課題を解決するために、本発明の第２の観点によれば、軌跡データと、ユーザ操作によって選択された属性情報とを取得し、上記軌跡データおよび上記属性情報を送信するレシーバと、上記軌跡データおよび上記属性情報を受信する受信部、上記軌跡データから認識された文字列をキーワードとして、上記文字列に対応する軌跡データに対応付けられた上記属性情報に基づいて画像検索を実行する検索部、および上記画像検索の結果を一覧表示するウインドウを表示部に表示させる表示制御部を備える情報処理装置とを含む情報処理システムが提供される。
また、上記課題を解決するために、本発明の第３の観点によれば、軌跡データと、ユーザ操作によって選択された属性情報とを取得するステップと、上記軌跡データから認識された文字列をキーワードとして、上記文字列に対応する軌跡データに対応付けられた上記属性情報に基づいて画像検索を実行するステップと、上記画像検索の結果を一覧表示するウインドウを表示部に表示させるステップとをコンピュータに実行させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の第４の観点によれば、軌跡データと、ユーザ操作によって選択された属性情報とを取得するステップと、上記軌跡データから認識された文字列をキーワードとして、上記文字列に対応する軌跡データに対応付けられた上記属性情報に基づいて画像検索を実行するステップと、上記画像検索の結果を一覧表示するウインドウを表示部に表示させるステップとをコンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体が提供される。
また、上記課題を解決するために、本発明の第５の観点によれば、軌跡データと、ユーザ操作によって選択された属性情報とを取得する取得部と、上記取得部により取得された上記属性情報が、上記軌跡データをそのまま利用することを表す場合に、上記軌跡データをそのまま表示部に表示させる表示制御部とを備える情報処理装置が提供される。

以上説明したように本発明によれば、電子ペンの筆記データに対して、容易にユーザが所望する処理を行うことができる。

本発明の実施形態に係る情報処理システムの概要を示す図である。 本発明の実施形態に係る電子ペンの機能構成の一例を示す図である。 本発明の実施形態に係る電子ペンにおける、切替スイッチの実装例を示す図である。 本発明の実施形態に係る電子ペンにおける、切替スイッチの別の実装例を示す図である。 本発明の実施形態に係るレシーバの機能構成の一例を示す図である。 本発明の実施形態に係る電子ペンからレシーバに送られる信号の例を示す図である。 本発明の実施形態に係るレシーバにおける、切替スイッチの実装例を示す図である。 本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。 本発明の第１の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。 本発明の第２の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。 本発明の第３の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。 本発明の第４の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。 本発明の第５の実施形態に係る情報処理装置の処理を示すフローチャートである。 同実施形態に係る情報処理装置の処理のうち、画像検索処理を示すフローチャートである。 同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。 同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態の共通構成
１−１．情報処理システム
１−２．電子ペンおよびレシーバ
１−２−１．電子ペンによって属性情報を付加する場合
１−２−２．レシーバによって属性情報を付加する場合
１−３．情報処理装置
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．補足

＜１．実施形態の共通構成＞
［１−１．情報処理システム］
図１は、本発明の実施形態に係る情報処理システム１０の概要を示す図である。情報処理システム１０は、電子ペン１００、レシーバ２００、および情報処理装置３００からなる。

電子ペン１００は、筆記を行うユーザによって保持される。ユーザが筆記を行っている間、電子ペン１００は、ペン先に備えられた超音波発信素子１１０および赤外線発信素子１２０により、超音波信号および赤外線信号を発信する。

レシーバ２００は、電子ペン１００から発信される超音波信号および赤外線信号を受信し、電子ペン１００の座標を特定して筆記データを生成する。ここで、筆記データとは、ユーザが電子ペン１００で筆記した筆跡のデータである。

また、レシーバ２００は、筆記データに属性情報を付加する。ここで、属性情報とは、筆記データを情報処理装置３００に取り込んで利用する際に、ユーザが筆記データに対して行いたい処理を示す付加的な情報である。属性情報を伴う筆記データはレシーバ２００に蓄積されてもよい。

上記の属性情報としては、例えば、「検索キーワードとして利用」、「類似した図形を検索」、「図として整形」、「文字または図形としてそのまま利用」などが考えられる。このような属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。

情報処理装置３００は、レシーバ２００と接続されて、属性情報を伴う筆記データを取り込む、例えばＰＣ（Personal Computer）である。ユーザが電子ペン１００を用いて筆記を行っている間、レシーバ２００と情報処理装置３００とは接続されていなくてもよい。この場合、属性情報を伴う筆記データはレシーバ２００に蓄積され、ユーザが一連の筆記を終えた後、レシーバ２００が情報処理装置３００に接続された際に一括して情報処理装置３００に取り込まれる。

さらに、情報処理装置３００は、属性情報を伴う筆記データに対して、様々な処理を行う。例えば、情報処理装置３００は、座標情報として取り込まれた筆記データから、ＯＣＲ等の処理により文字列や図形を認識する。情報処理装置３００はさらに、属性情報に基づいて、識別された文字列をキーワードとした情報の検索や、識別された図形の編集を行う。

なお、上記で説明した情報処理システム１０においては、電子ペン１００は赤外線・超音波方式を用い、レシーバ２００は情報処理装置３００と分離している。しかし、電子ペン１００には、電磁誘導方式、抵抗膜方式、アノト（登録商標）方式などの他の方式が用いられてもよい。また、レシーバ２００は、電子ペン１００の方式に応じて異なった構成となり、また情報処理装置３００と一体となったものでもよい。

［１−２．電子ペンおよびレシーバ］
（１−２−１．電子ペンによって属性情報を付加する場合）
本発明の実施形態においては、属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。ここではまず、属性情報を付加するためのユーザの操作が、電子ペン１００によって受け付けられる場合について説明する。

図２は、本発明の実施形態に係る電子ペン１００の機能構成の一例を示す図である。電子ペン１００は、例えば赤外線・超音波方式の場合、超音波発信素子１１０、赤外線発信素子１２０、属性切替部１３０、属性記憶部１４０、属性送信部１５０、およびインク１６０を備える。

超音波発信素子１１０は、超音波信号を発信する、例えばスピーカである。赤外線発信素子１２０は、赤外線信号を発信する、例えばＬＥＤ（Light Emitting Diode）である。超音波信号および赤外線信号は、ユーザが電子ペン１００を用いて筆記を行っている間のみ発信されるようにしてもよい。

属性切替部１３０は、属性情報を切り替えるためのユーザの操作を受け付ける。この属性切替部１３０は、例えば電子ペン１００に設けられたスイッチとして実装することができる。以下で、図３および図４を参照してその例について説明する。

図３は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をボタン式の切替スイッチ１３０Ａとして実装した電子ペン１００Ａを示す図である。切替スイッチ１３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ１３０Ａのボタンを押下して筆記を行う。

図４は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をスライド式の切替スイッチ１３０Ｂとして実装した電子ペン１００Ｂを示す図である。切替スイッチ１３０Ｂには、それぞれが属性に対応するポジションが設けられ、ユーザは、所望の属性に対応するポジションに切替スイッチ１３０Ｂをスライドさせて筆記を行う。

なお、属性切替部１３０は、上記の例の他にも、例えば回転式のスイッチや、単一のボタンの押下回数に応じて切り替えるスイッチなど、既知の様々な形のスイッチとして実装することができる。また、属性切替部１３０は、電子ペン１００の傾きや振動などを検知するセンサとして実装することもできる。

また、以下の実施形態の説明では特に言及しないが、ユーザが筆記データを「文字または図形としてそのまま利用」したい場合、すなわち属性を指定しない場合も、上記の属性切替部１３０による切替の対象となる。つまり、例えば上記で説明した切替スイッチ１３０Ａ，１３０Ｂには、以下の実施形態の説明で言及される属性に対応するボタンまたはポジションに加えて、「属性を指定しない」ことに対応するボタンまたはポジションが設けられてもよい。

再び図２を参照して、属性記憶部１４０は、属性切替部１３０が受け付けたユーザの操作によって切り替えられた属性情報を記憶する。属性記憶部１４０は、例えばフラッシュメモリ等の小型の記憶装置によって実装されてもよい。また、例えば属性切替部１３０が機械的な仕組みによりその位置を保持することが可能なスイッチである場合には、その位置が保持されることをもって属性記憶部１４０に代えてもよい。

属性送信部１５０は、選択されている属性情報を、筆記データに付加して送信する。属性送信部１５０は、超音波発信素子１１０および赤外線発信素子１２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、属性送信部１５０は、超音波発信素子１１０または赤外線発信素子１２０が発信する信号に、属性情報を示す所定の変化を与えるためのデバイスであってもよい。

インク１６０は、電子ペン１００による紙への筆記を行う。インク１６０は、属性切替部１３０等の要素とは関係なく実装できるが、筆記の色を変えるための既知の方法により、属性切替部１３０によって切り替えられた属性に応じて異なった色となるようにすることもできる。

図５は、本発明の実施形態に係るレシーバ２００の機能構成の一例を示す図である。レシーバ２００は、例えば赤外線・超音波方式の場合、超音波受信素子２１０Ａ，２１０Ｂ、赤外線受信素子２２０、属性受信部２３０、位置検出部２４０、記憶部２５０、登録処理部２６０、送信部２７０を備える。

超音波受信素子２１０Ａ，２１０Ｂは、電子ペン１００が発信した超音波信号を受信する、例えばマイクである。赤外線受信素子２２０は、電子ペン１００が発信した赤外線信号を受信する、例えばフォトダイオードである。

属性受信部２３０は、電子ペン１００からの属性情報を受信する。この属性受信部２３０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０と組み合わせて実装されてもよい。

位置検出部２４０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０が受信した超音波信号および赤外線信号から、電子ペン１００の座標を特定し、筆記データを生成する。以下で、図６を参照して、属性受信部２３０および位置検出部２４０が行う処理の例について説明する。

図６は、本発明の実施形態に係る電子ペン１００からレシーバ２００に送られる、属性情報を含む信号の例を示す図である。レシーバ２００は、電子ペン１００の超音波発信素子１１０から発信される超音波信号を、超音波受信素子２１０Ａ，２１１Ｂで受信し、また、電子ペン１００の赤外線発信素子１２０から発信された赤外線信号を、赤外線受信素子２２０で受信する。

図示されている赤外線・超音波方式においては、赤外線受信素子２２０が電子ペン１００からの赤外線信号を受信する時刻と、超音波受信素子２１０Ａ，２１０Ｂが電子ペン１００からの超音波信号を受信する時刻には、電子ペン１００の位置に応じて、時間差ｔ１およびｔ２が生じる。レシーバ２００の位置検出部２４０は、この時間差ｔ１およびｔ２と、超音波受信素子２１０Ａ，２１０Ｂの既知の間隔Ｒ０とによって、超音波受信素子２１０Ａ，２１０Ｂのそれぞれから電子ペン１００までの距離Ｒ１，Ｒ２を算出し、これにより電子ペン１００の位置を特定する。

ここで、電子ペン１００の属性送信部１５０は、例えば、本来のパルス信号ｐ１に、特定の属性情報が付加されていることを示すパルス信号ｐ２を付加したパターンの赤外線信号を、赤外線発信素子１２０に発信させることができる。この場合、レシーバ２００の属性受信部２３０は、赤外線受信素子２２０が受信した赤外線信号のパターンが、パルス信号ｐ２を含む場合に、筆記データに付加された属性情報を受信したと判断する。

上記と同様に属性情報を送受信する処理を、電子ペン１００の超音波発信素子１１０が発信する超音波信号において行うことも可能である。また、電子ペン１００に、アノト（登録商標）方式などの、信号に変化を加えることが可能な他の方式が用いられる場合、その方式において送受信される信号において、同様の処理を行うことも可能である。

再び図５を参照して、記憶部２５０は、属性情報を伴う筆記データ、および必要に応じて、レシーバ２００の機能を実現するためのプログラムを格納する、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置である。

登録処理部２６０は、位置検出部２４０が生成した筆記データに、属性受信部２３０が受信した属性情報を対応させ、記憶部２５０に格納する。

送信部２７０は、記憶部２５０に格納された、属性情報を伴う筆記データを、情報処理装置３００に向けて送信する、例えばＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local Area Network）等の有線または無線の通信インタフェースである。

ここで、位置検出部２４０、登録処理部２６０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵ（Central Processing Unit）が、記憶部２５０に格納されたプログラムを実行することによって各部の機能が実現される。

（１−２−２．レシーバによって属性情報を付加する場合）
次に、属性情報を付加するためのユーザの操作が、レシーバ２００によって受け付けられる場合について説明する。この場合、電子ペン１００は、属性切替部１３０、属性記憶部１４０、属性送信部１５０を備える必要がなく、通常用いられる電子ペンと同様の構成とすることができる。一方、レシーバ２００の属性受信部２３０は、属性情報を付加するためのユーザの操作を受け付けるインタフェースとして実装される。

図７は、本発明の実施形態に係るレシーバ２００において、属性受信部２３０をボタン式の切替スイッチ２３０Ａとして実装したレシーバ２００Ａを示す図である。切替スイッチ２３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ２３０Ａのボタンを押して筆記を行う。

なお、上記の場合の属性受信部２３０は、電子ペン１００の属性切替部１３０と同様に、既知の様々な形のスイッチとして実装することができる。また、レシーバ２００Ａは、表示画面２３５を備え、そこに選択された属性情報が表示されるようにしてもよい。

［１−３．情報処理装置］
本発明の実施形態においては、属性情報を伴う筆記データが、レシーバ２００から情報処理装置３００に送信される。情報処理装置３００は、属性情報に基づいて、筆記データに対して様々な処理を行う。

図８は、本発明の実施形態に係る情報処理装置３００の機能構成の一例を示す図である。情報処理装置３００は、例えば、受信部３１０、記憶部３２０、ネットワーク通信部３３０、入力部３４０、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０を備える。

受信部３１０は、レシーバ２００から送信された筆記データおよび属性情報を受信する、例えばＵＳＢ、ＬＡＮ等の有線または無線の通信インタフェースである。

記憶部３２０は、情報処理装置３００における一連の処理に用いられるデータや、情報処理装置３００の機能を実現するためのプログラムを格納する、例えばＲＯＭ、ＲＡＭなどの記憶装置、ＨＤＤ（Hard Disk Drive）などの二次記憶装置、または光ディスクや半導体メモリ等のリムーバブル記憶媒体を適宜組み合わせたものである。

ネットワーク通信部３３０は、ネットワークと情報の送受信を行う、例えばインターネットに接続されたＬＡＮ等の有線または無線の通信インタフェースであって、必要に応じて備えられる。入力部３４０は、ユーザによる情報処理装置３００への操作を受け付ける、例えばマウス、キーボード等のデバイスである。

認識部３５０は、受信部３１０が受信した筆記データから文字列や図形を認識する。また、認識部３５０は、筆記データに伴う属性情報を、認識された文字列や図形に対応付ける。

検索部３６０は、認識部３５０が認識した文字列や図形と、文字列および図形に対応付けられた属性情報に基づいて、ユーザが所望する情報の検索処理を行う。検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。

加工部３７０は、検索部３６０が検索した情報を、表示用のデータに加工する。表示部３８０は、加工部３７０が加工したデータを表示する、情報処理装置３００自体に備えられたモニタなどの表示装置、または情報処理装置３００に接続された外部の表示装置に表示をさせるためのデバイスである。

制御部３９０は、認識部３５０、検索部３６０、加工部３７０および表示部３８０を制御する。この制御部３９０は、受信部３１０によって属性情報を伴う筆記データが受信された場合、自動的に、認識部３５０に認識および対応付けの処理を行わせてもよい。また、制御部３９０は、認識部３５０によって認識された文字列や図形に、属性情報が対応付けられている場合、自動的に、検索部３６０に検索処理を行わせてもよい。

ここで、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵが、記憶部３２０に格納されたプログラム、またはネットワーク通信部３３０を介してネットワークから取得したプログラムを実行することによって各部の機能が実現される。

＜２．第１の実施形態＞
本発明の第１の実施形態においては、筆記データに「検索キーワード」という属性情報が付加される。この「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。すなわち、属性「検索キーワード」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された部分の単語で検索処理を行うことを所望していると考えられる。

図９は、本発明の第１の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分４０１において、ユーザは属性を指定せずに筆記を行っている。

ここで、例えば筆記した「Ａｉｒ Ｍａｓｓ」という言葉の意味を知りたいと考えた場合、ユーザは、属性「検索キーワード」を指定し、属性筆記部分４０３のアンダーラインを筆記する。その後、次に意味を知りたい言葉が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。

この後、情報処理装置３００に筆記データが取り込まれた場合、認識部３５０により、属性「検索キーワード」でアンダーラインを引かれた「Ａｉｒ Ｍａｓｓ」が、検索キーワード４０５として認識される。

なお、検索キーワード４０５を必ずしも属性「検索キーワード」のアンダーラインによって指定する必要はない。言葉そのものを属性「検索キーワード」で筆記してもよいし、アンダーラインの代わりに囲み線等を筆記してもよい。

図１０は、本発明の第１の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ４０７は、履歴領域４０９、筆記データ表示領域４１１などにより構成される。

この場合、情報処理装置３００の認識部３５０は、例えばＯＣＲの処理によって認識された文字列が、属性「検索キーワード」を伴う筆記データによるものである場合に、この文字列を検索キーワードとして抽出する。

次に、検索部３６０は、認識部３５０が抽出した検索キーワードに基づいて、キーワード検索処理を行う。キーワード検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。

また、加工部３７０は、認識部３５０が抽出した検索キーワードの情報を加工して、キーワードリスト４１３の表示用データを生成する。制御部３９０は、表示部３８０に、加工部３７０が生成したキーワードリスト４１３と、検索キーワードが抽出され、キーワード検索処理が行われたことをユーザに通知するダイアログ４１５とをさらに表示させる。

図１１は、上記の場合で、さらに、ダイアログ４１５の「結果の表示」ボタンが押下され、検索結果ウインドウ４１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ４１７は、筆記データ表示領域４１１の該当するキーワード表示部分や、キーワードリスト４１３の該当するキーワード表示部分４１９が、ポインタでクリックされた場合に表示されるようにしてもよい。

ここで、検索結果ウインドウ４１７は、例えば検索部３６０によりインターネット検索が行われた場合であれば、検索結果のページを表示したブラウザウインドウである。また、検索部３６０によりローカル検索が行われた場合であれば、検索されたファイル等を表示したアプリケーションウインドウである。

さらに、他の日付にユーザが筆記した検索キーワードに対する検索結果は、履歴領域４０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。

＜３．第２の実施形態＞
本発明の第２の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形に類似する画像を検索することを所望していると考えられる。

図１２は、本発明の第２の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分５０１において、ユーザは属性を指定せずに筆記を行っている。

ここで、例えば太陽のイラストを配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分５０３として、ユーザがイメージする太陽のイラストに近い図形を筆記する。その後、次に図を配置したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。

この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた太陽のイラストに近い図形が、検索対象図形５０５として認識される。

なお、検索対象図形５０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。

図１３は、本発明の第２の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ５０７は、履歴領域５０９、筆記データ表示領域５１１などにより構成される。

この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、検索対象図形として抽出する。

次に、検索部３６０は、認識部３５０が抽出した検索対象図形に基づいて、類似画像の検索処理を行う。類似画像の検索処理は、例えばネットワーク通信部３３０を介して行うインターネット類似画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル類似画像検索でもよい。

また、加工部３７０は、検索部３６０が検索した類似画像の情報を加工して、検索画像リスト５１３の表示用データを生成する。加工部３７０は例えば、検索された類似画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト５１３と、検索対象図形が抽出され、類似画像の検索処理が行われたことをユーザに通知するダイアログ５１５とをさらに表示させる。

図１４は、上記の場合で、さらに、ダイアログ５１５の「結果の表示」ボタンが押下され、検索結果ウインドウ５１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ５１７は、筆記データ表示領域５１１の該当する図形表示部分５１９や、検索画像リスト５１３の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。

ここで、検索結果ウインドウ５１７は、例えば検索部３６０によりインターネット類似画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル類似画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。

さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域５０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。

＜４．第３の実施形態＞
本発明の第３の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、整形を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形を整形することを所望していると考えられる。

図１５は、本発明の第３の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。例えば回路図を描きたいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分６０３として、ユーザがイメージする回路図を筆記する。

この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた回路図が、整形対象図形６０５として認識される。

なお、整形対象図形６０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。

図１６は、本発明の第３の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ６０７は、履歴領域６０９、筆記データ表示領域６１１などにより構成される。

この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、整形対象図形として抽出する。

次に、検索部３６０は、認識部３５０が抽出した整形対象図形を適宜切り分け、切り分けた各部分を置き換えるための図形要素を検索する。ここで、図形要素とは、直線、円弧、二次曲線等の、図形を構成する所定の種類の要素である。検索部３６０は、整形対象図形を図形要素の集合として精度よく近似できるように、整形対象図形を適切な要素に切り分け、切り分けた各部分を検索された図形要素に置き換える。

また、加工部３７０は、検索部３６０が検索した図形要素を再度結合して、整形済図形６１３の表示用データを生成する。さらに、制御部３９０は、表示部３８０に表示されている筆記データ表示領域６１１のうち、整形対象図形の部分を、加工部３７０が生成した整形済図形６１３に置き換えて表示させる。

ここで、整形済図形６１３がポインタによってクリックされた場合、制御部３９０は、表示部３８０に、整形済図形を編集するための画像編集アプリケーションウインドウ６１５をさらに表示させる。

さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域６０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。

＜５．第４の実施形態＞
本発明の第４の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「指定した領域に筆記された文字列をキーワードとして、画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で指定した領域に筆記された文字列をキーワードとして画像を検索することを所望していると考えられる。

図１７は、本発明の第４の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分７０１において、ユーザは属性を指定せずに筆記を行っている。

ここで、例えば、検索した太陽の画像を配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分７０３として、画像を配置したい領域を筆記する。さらにユーザは、領域内に「太陽」という文字列を筆記する。この文字列部分については、属性「図記入」で筆記してもよいし、その他の属性または属性なしで筆記してもよい。その後、次に画像を検索したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。

この後、情報処理装置３００に筆記データが取り込まれた場合、「太陽」という文字列を含む属性「図記入」で描かれた領域が、検索対象領域７０５として認識される。

図１８は、本発明の第４の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ７０７は、履歴領域７０９、筆記データ表示領域７１１などにより構成される。

この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を検索対象領域とし、検索対象領域の外周を取り除いた部分に対してＯＣＲ等の処理を行って文字列を認識する。

次に、検索部３６０は、認識部３５０が認識した、検索対象領域に含まれる文字列をキーワードとして、画像検索処理を行う。画像検索処理は、例えばネットワーク通信部３３０を介して行うインターネット画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル画像検索でもよい。

また、加工部３７０は、検索部３６０が検索した画像の情報を加工して、検索画像リスト７１３の表示用データを生成する。加工部３７０は例えば、検索された画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト７１３と、検索対象領域が抽出され、画像検索処理が行われたことをユーザに通知するダイアログ７１７とをさらに表示させる。また、加工部３７０はさらに、検索キーワードリスト７１５の表示用データを生成し、制御部３９０は、表示部３８０に検索キーワードリスト７１５を表示させてもよい。

図１９は、上記の場合で、さらに、ダイアログ７１７の「結果の表示」ボタンが押下され、検索結果ウインドウ７１９が表示された状態の画面の一例を示す図である。この検索結果ウインドウ７１９は、筆記データ表示領域７１１の該当する画像表示部分７２１や、検索画像リスト７１３または検索キーワードリスト７１５の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。

ここで、検索結果ウインドウ７１９は、例えば検索部３６０によりインターネット画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。

さらに、他の日付にユーザが筆記した検索対象領域に含まれる文字列に対する検索結果は、履歴領域７０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。

＜６．第５の実施形態＞
本発明の第５の実施形態においては、筆記データに「検索キーワード」または「図記入」という属性情報が付加される。ここで、「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。また、「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」または「筆記した図形について、整形を行う」のいずれかを意味する。筆記を行うユーザは、上記の２つの属性情報のうち、所望のものを適宜選択して指定する。

図２０は、本発明の第５の実施形態に係る情報処理装置３００の処理を示すフローチャートである。まず、受信部３１０が、レシーバ２００から、属性情報を伴う筆記データを受信する（ステップＳ１０１）。次に、認識部３５０が、筆記データから文字列または図形を認識し、筆記データに伴う属性情報をこの文字列または図形に対応付ける（ステップＳ１０３）。

ここで、認識部３５０によって認識された文字列が、属性「検索キーワード」に対応付けられた場合（ステップＳ１０５）、制御部３９０は、検索部３６０に、認識された文字列を検索キーワードとして、検索処理を行わせる（ステップＳ１０７）。

一方、認識部３５０によって認識された図形が、属性「図記入」に対応付けられた場合（ステップＳ１０９）、認識された一連の図形について、検索部３６０などにより画像検索処理が行われる（ステップＳ１１１）。画像検索処理については後述する。

上記のように、検索部３６０は、文字列または図形に対応付けられた属性情報の種類に対応する種類の情報を検索する。

上記で、検索部３６０によっていずれかの検索処理が行われた場合（ステップＳ１０７、ステップＳ１１１）、制御部３９０は、検索部３６０が検索した結果を記憶部３２０に格納する（ステップＳ１１３）。

ここで、認識部３５０が認識すべき次の筆記データがある場合（ステップＳ１１５）、再度認識部３５０によって属性情報を伴う筆記データの認識が行われる（ステップＳ１０３）。

上記のステップＳ１１５において、次の処理対象がない場合、制御部３９０は、加工部３７０に、検索に用いた文字列および図形の一覧の表示用データを作成させ（ステップＳ１１７）、表示部３８０に、検索に用いた文字列および図形の一覧と、検索が行われたことを示すダイアログとを表示させる（ステップＳ１１９）。

図２１は、本発明の第５の実施形態に係る情報処理装置３００の処理のうち、画像検索処理を示すフローチャートである。まず、制御部３９０が、表示部３８０に、図形検索処理の対象が認識されたことを示す確認ダイアログを表示させる（ステップＳ２０１）。

ここで、入力部３４０によって、ユーザが処理を続行する旨の指示が取得された場合（ステップＳ２０３）、制御部３９０は、検索部３６０に、認識部３５０によって認識された図形の類似画像検索と、認識部３５０によって認識された図形を置き換える図形要素検索の両方を行わせる（ステップＳ２０５）。制御部３９０はさらに、表示部３８０に、検索部３６０の検索結果の一部をサンプルとして含む選択ダイアログを表示させる（ステップＳ２０７）。

さらにここで、入力部３４０によって、ユーザが類似画像の検索処理を行うことを所望する旨の指示が取得された場合（ステップＳ２０９）、制御部３９０は、検索部３６０の検索結果のうち、類似画像検索の結果を画像検索の結果に設定する（ステップＳ２１１）。

一方、入力部３４０によって、ユーザが図形の整形処理を行うことを所望する旨の指示が取得された場合（ステップＳ２１３）、制御部３９０は、検索部３６０の検索結果のうち、図形要素検索の結果を画像検索の結果に設定する（ステップＳ２１５）。

また、上記のステップＳ２０１またはステップＳ２０５で表示されるダイアログにおいて、入力部３４０によって、ユーザがダイアログを閉じることを所望する旨の指示が取得された場合、制御部３９０は、検索部３６０に検索処理を行わせることなく、画像検索処理を終了する。

上記の処理により、結果として、検索部３６０は、入力部３４０が受け付けたユーザの操作により指定された種類の情報を検索したことになる。

図２２は、上記のステップＳ２０１において、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ８０７は、履歴領域８０９、筆記データ表示領域８１１などにより構成され、確認ダイアログ８１３が表示される。

図２３は、上記のステップＳ２０５において、表示部３８０により表示される画面の一例を示す図である。選択ダイアログ８１５は、検索部３６０によって検索された、類似画像検索と図形要素のそれぞれのサンプル、および、いずれかの処理を選択するためのラジオボタン等を含む。

＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ユーザが電子ペンまたはレシーバに設けられたスイッチを操作することにより、筆記データの属性を指定することとしたが、本発明はかかる例に限定されない。例えば、属性を指定せずに筆記が行われていても、記号等の特定の形状が認識された場合、それをもって属性が指定されていると判断してもよい。

また、例えば、上記実施形態では、情報処理装置の検索部は単純にインターネット検索またはローカル検索等を行うこととしたが、本発明はかかる例に限定されない。例えば、インターネット検索の場合にはインターネット上の辞書サービスを優先して検索したり、ローカル検索の場合には特定のユーザが作成したファイルを優先して検索したりして、ユーザの求める結果に近い検索結果が優先して表示されるようにしてもよい。

１０ 情報処理システム
１００ 電子ペン
２００ レシーバ
３００ 情報処理装置
３１０ 受信部
３２０ 記憶部
３３０ 通信部
３４０ 入力部
３５０ 認識部
３６０ 検索部
３７０ 加工部
３８０ 表示部
３９０ 制御部
４０５ 検索キーワード
４１３ キーワードリスト
５０５ 検索対象図形
５１３ 検索画像リスト
６０５ 整形対象図形
６１３ 整形済図形
７０５ 検索対象領域
７１３ 検索画像リスト
８１３ 確認ダイアログ
８１５ 選択ダイアログ

Claims (14)

1. 軌跡データと、ユーザ操作によって選択された属性情報とを取得する取得部と、
   前記軌跡データから認識された文字列をキーワードとして、前記軌跡データのうち前記文字列に対応する区間の軌跡データにおいて指定されていた前記属性情報に基づいて画像検索を実行する検索部と、
   前記画像検索の結果を一覧表示するウインドウを表示部に表示させる表示制御部と
   を備える情報処理装置。
2. 前記検索部は、前記認識された文字列によって表象される画像を検索する、請求項１に記載の情報処理装置。
3. ネットワーク通信部をさらに備え、
   前記検索部は、前記認識された文字列をキーワードとして、前記ネットワーク通信部を介してインターネット画像検索を実行する、請求項１または２に記載の情報処理装置。
4. 前記検索部は、前記認識された文字列をキーワードとしてローカル画像検索を実行する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記検索部は、前記属性情報に基づいて特定される前記軌跡データの部分から認識された文字列をキーワードとして画像検索を実行する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記表示制御部は、前記画像検索の結果をサムネイル画像によって一覧表示する前記ウインドウを前記表示部に表示させる、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記表示制御部は、前記ウインドウとともに前記画像検索が実行されたことの通知を前記表示部に表示させる、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記表示制御部は、さらに、過去に前記画像検索が実行された日付を表示し、前記日付を選択することによって前記画像検索の結果の履歴を閲覧することが可能な履歴表示を前記表示部に表示させる、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記軌跡データは、電子ペンによる筆記データを含む、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記検索部は、前記文字列が認識された場合、自動的に前記画像検索を実行する、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記検索部は、前記属性情報に基づいて特定される種類の情報を検索する、請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 軌跡データと、ユーザ操作によって選択された属性情報とを取得し、前記軌跡データおよび前記属性情報を送信するレシーバと、
    前記軌跡データおよび前記属性情報を受信する受信部、
    前記軌跡データから認識された文字列をキーワードとして、前記軌跡データのうち前記文字列に対応する区間の軌跡データにおいて指定されていた前記属性情報に基づいて画像検索を実行する検索部、および
    前記画像検索の結果を一覧表示するウインドウを表示部に表示させる表示制御部
    を備える情報処理装置と
    を含む情報処理システム。
13. 軌跡データと、ユーザ操作によって選択された属性情報とを取得するステップと、
    前記軌跡データから認識された文字列をキーワードとして、前記軌跡データのうち前記文字列に対応する区間の軌跡データにおいて指定されていた前記属性情報に基づいて画像検索を実行するステップと、
    前記画像検索の結果を一覧表示するウインドウを表示部に表示させるステップと
    をコンピュータに実行させるためのプログラム。
14. 軌跡データと、ユーザ操作によって選択された属性情報とを取得するステップと、
    前記軌跡データから認識された文字列をキーワードとして、前記軌跡データのうち前記文字列に対応する区間の軌跡データにおいて指定されていた前記属性情報に基づいて画像検索を実行するステップと、
    前記画像検索の結果を一覧表示するウインドウを表示部に表示させるステップと
    をコンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体。

Images