JP4697819B2 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents
情報処理装置、情報処理方法及び記録媒体 Download PDFInfo
- Publication number
- JP4697819B2 JP4697819B2 JP13501099A JP13501099A JP4697819B2 JP 4697819 B2 JP4697819 B2 JP 4697819B2 JP 13501099 A JP13501099 A JP 13501099A JP 13501099 A JP13501099 A JP 13501099A JP 4697819 B2 JP4697819 B2 JP 4697819B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- image data
- information
- application
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は情報処理装置、情報処理方法及び提供媒体に関し、例えばパーソナルコンピュータに適用して好適なものである。
【０００２】
【従来の技術】
従来、パーソナルコンピュータ（以下、これをコンピュータ装置と呼ぶ）は内部のハードディスクに格納された例えばウィンドウズ９８（商標）等のＯＳ(Operating System)に基づいてシステム全体を管理しており、当該ＯＳを介してアプリケーションソフトウェア（以下、これをアプリケーションと呼ぶ）を起動させることにより所望の処理を実行するようになされている。
【０００３】
このようなコンピュータ装置のＯＳにおいては、ユーザの使い勝手の向上のために種々様々なユーザインターフェースが開発されており、例えば所定の情報やプログラムが格納されているファイルの拡張子（.COMや.DOC等）に対して当該ファイルを参照するために必要なアプリケーションを関連付けることにより、ファイルを単位としたデータ及びアプリケーション間の連携や、データのアプリケーションへの埋め込みが実現されている。
【０００４】
また最近では、文字列抽出システム (特願平09-305351)と呼ばれるプログラムを一部に含んだアプリケ−ションが提案されており、当該アプリケ−ションを用いた場合にはファイル内のテキストデータのうち所望の文字列（例えば英単語）が画面上のカーソルによって指定されると、前後のスペースやピリオド等の終端文字で挟まれた部分を指定された英単語として抽出し、辞書アプリケーションによってその英単語の意味を検索してカーソル近傍に表示することが行われている。
【０００５】
【発明が解決しようとする課題】
ところでかかる構成のコンピュータ装置においては、ファイルを単位としたデータ及びアプリケーション間の連携を行うことはできるが、ファイルを構成しているテキストデータのうち特定の意味をなす文字列（例えば住所、電話番号又は電子メールアドレス等）毎にそれぞれ対応したアプリケ ションを関連付けて連携させることは困難であった。
【０００６】
例えば図１２に示すように、アプリケーション画面上の文字列「Phone:03-5448-○△△×」にカーソルが重ねられたときに、マウスを右クリックしても通常のポップアップメニューＰＭ１が表示されるだけであり、文字列の種類である電話番号に対応して実行し得る関連したアプリケーションと文字列の情報とを連携させるには、煩雑な操作を行わなければならなかった。
【０００７】
すなわちコンピュータ装置において、ＯＳはカーソルが重ねられた部分の電話番号を単なる文字列として認識するだけであり、この電話番号を他のアプリケーションで利用する場合、ＯＳのコピー機能を用いて電話番号のデータを一旦クリップボードに保存した後、電話番号を利用するアプリケーションを起動させて該当する箇所に電話番号のデータを貼り付けるカットアンドペースト操作を実行しなければならず、操作が煩雑で面倒であるという問題があった。
【０００８】
また文字列抽出システムを一部に含んだアプリケ−ションを搭載したコンピュータ装置においては、ファイルを構成しているテキストデータのうち英単語を文字列として抽出し、当該抽出した文字列に対して予め関連付けされた辞書アプリケーションを連携させて英単語の意味を検索することはできるが、文字列が表す情報の種類が例えば住所又は電話番号あるいは電子メールアドレス等であったときに、それぞれに対応したアプリケーション（例えば住所に対応する地図上の場所を表示するためのアプリケーション、電話をかけるためのアプリケーション、電子メールを送信するためのアプリケーション）と文字列の情報とを連携させることは困難であった。
【０００９】
本発明は以上の点を考慮してなされたもので、取り込んだ情報の種類の応じて次の処理を変化させ得る操作性の優れた情報処理装置、情報処理方法及び記録媒体を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明の情報処理装置においては、複数のアプリケーションを記憶する記憶手段と、画像データを撮像する撮像手段と、撮像手段によって撮像された画像データを取り込む画像データ取込手段と、画像データに対するユーザの視線を追尾して検出する視線追尾検知部を有し、当該視線追尾検知部を用いて、画像データ取込手段によって取り込まれた画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出手段と、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出手段によって抽出された文字列に応じた処理を実行させる処理可変手段とを設けることにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１１】
また本発明の情報処理方法においては、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを画像データ取込手段によって取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出手段によって抽出する抽出ステップと、識別情報に対応したアプリケーションを処理可変手段により記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を処理可変手段により実行させる処理ステップとを有するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１２】
さらに本発明の記録媒体においては、コンピュータに、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出ステップと、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を実行させる処理ステップとを実行させるためのプログラムを記録するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１３】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１４】
（１）コンピュータ装置の外観構成
図１において、１は全体として本発明の情報処理装置としての携帯型パーソナルコンピュータ装置（以下、これをコンピュータ装置と呼ぶ）を示し、この場合Ｂ５サイズ以下の持ち運び易いノート型パーソナルコンピュータである。
【００１５】
このコンピュータ装置１は、本体２と当該本体２に対して開閉自在に取り付けられた表示部３とによって構成されている。本体２には、上面に各種文字や記号及び数字等を入力する複数の操作キー４、表示部３に表示されるカーソルを移動するときに操作するスティック式ポインティングデバイス５、内蔵スピーカ６、表示部３に設けられたＣＣＤ(Charge Coupled Device) カメラ２３によって画像を撮像するときに操作するシャッタボタン７が設けられている。
【００１６】
表示部３の正面には、ＬＣＤ(Liquid Crystal Display)でなる液晶ディスプレイ２１が設けられており、正面の中央上端部にＣＣＤカメラ２３を備えた撮像部２２が表示部３に対して回動自在に取り付けられている。
【００１７】
すなわち撮像部２２は、表示部３の正面方向及び背面方向との間の１８０度の角度範囲内で回動して任意の位置に位置決めし得るようになされている。また撮像部２２には、図２に示すようにＣＣＤカメラ２３のフォーカス調整を行う調整リング２５が設けられている。
【００１８】
また表示部３（図１）の正面には、撮像部２２の左隣にマイクロフォン２４が設けられており、当該マイクロフォン２４を介して表示部３の背面側（図５）からも集音し得るようになされている。
【００１９】
また表示部３における正面の中央下端部には、ＬＥＤ(Light Emitting Diode)でなる電源ランプＰＬ、電池ランプＢＬ、メッセージランプＭＬ及びその他の種々の用途に対応したランプが設けられている。
【００２０】
さらに表示部３の正面上端部には、マイクロフォン２４の左隣にツメ１３が設けられると共に、当該ツメ１３と対応する本体２の所定位置に孔部８が設けられており、表示部３を本体２に閉塞した状態でツメ１３が孔部８に嵌合されてロックするようになされている。
【００２１】
本体２の正面には、図２に示すようにスライドレバー９が設けられており、当該スライドレバー９を正面に沿って矢印方向にスライドすることにより、孔部８に嵌合されたツメ１３のロックを解除して表示部３を本体２に対して展開し得るようになされている。
【００２２】
また本体２の正面には、１回のボタン操作で電源オンから所定のアプリケーションソフトウェア（以下、これを単にアプリケーションと呼ぶ）を立ち上げて予め設定しておいた一連の動作を自動的に実行するためのプログラマブルパワーキー（ＰＰＫキー）１０が左端部に設けられると共に、右端部に複数の吸気孔１１が設けられている。
【００２３】
本体２の左側面には、図３に示すようにスライド式の電源スイッチ４０、４ピン対応のＩＥＥＥ(Institute of Electrical and Electronics Engineers) １３９４端子４１、ＵＳＢ(Universal Serial Bus)端子４２、マイクロフォン用入力端子４３、ヘッドフォン端子４４及びＩｒＤＡ(Infrared Data Association) 準拠の赤外線ポート４５が設けられている。
【００２４】
本体２の右側面には、図４に示すように排気孔１２が設けられており、当該排気孔１２の右隣にはＰＣＭＣＩＡ(Personal Computer Memory Card International Association) カード（以下、これをＰＣカードと呼ぶ）を挿入するためのＰＣカードスロット１３が設けられている。
【００２５】
また本体２の下面には、図５に示すように増設メモリを取り付けるための開口部２５を被覆する蓋２６が取り付けられると共に、当該蓋２６のロック用ツメを外すためのピン挿入用孔４８が設けられている。
【００２６】
（２）コンピュータ装置の回路構成
図６に示すように本体２においては、起動シーケンス制御部８３のＰＣＩ(Peripheral Component Interconnect)バス５１に、ＣＰＵ(Central Processing Unit)５２、ＰＣ(Personal Computer)カードスロット５３、ＲＡＭ(Random Access Memory)５４、表示部３の液晶ディスプレイ２１に表示する画像を生成するためのグラフィックス処理回路５５及び他のコンピュータ装置や外部機器と接続してディジタルデータを取り込むためのＩＥＥＥ１３９４端子４１に直結されたＩＥＥＥインターフェース５６が接続されている。
【００２７】
ＣＰＵ５２は、本体２における各種機能を統括的に制御するコントローラであり、ＲＡＭ５４にロードされた各種プログラムを実行することにより各種機能を実行し得るようになされている。
【００２８】
ＰＣＩバス５１は、ＩＳＡ(Industrial Standard Architecture)バス５９に接続されており、当該ＩＳＡバス５９にはハードディスクドライブ６０、Ｉ／Ｏ(In/Out)コントローラ６１、キーボードコントローラ６２、ポインティングデバイスコントローラ６３、サウンドチップ６４、ＬＣＤコントローラ６５、モデム６６及びＵＳＢインターフェース６７が接続されている。
【００２９】
ここでキーボードコントローラ６２は、操作キー４（図１）の押下に応じた制御信号の入力をコントロールし、ポインティングデバイスコントローラ６３はスティック式ポインティングデバイス５（図１）による制御信号の入力をコントロールする。
【００３０】
またサウンドチップ６４は、マイクロフォン２４（図１）からの音声入力を取り込み又は内蔵スピーカ６（図１）に対して音声信号を供給し、モデム６６は公衆電話回線９０、インターネットサービスプロバイダ（以下、これをプロバイダと呼ぶ）９１を介してインターネット９２やメールボックス９３Ａを有したメールサーバ９３に接続する。なおＵＳＢインターフェース６７は、ＵＳＢ端子４２に接続されており、ＵＳＢマウスやフロッピーディスクドライブ等の周辺機器を接続するようになされている。
【００３１】
ハードディスクドライブ６０には、ＣＣＤカメラ２３を介して静止画像を取り込むためのキャプチャーソフトウェア６０Ａ、ディジタル地図ソフトウェア６０Ｂ及びWindows98(商標) でなるＯＳ(Operating System)６０Ｃや各種アプリケーションソフトウェア（図示せず）が格納されており、必要に応じてＣＰＵ５２によって読み出されてＲＡＭ５４にロードされる。
【００３２】
Ｉ／Ｏコントローラ６１は、Ｉ／Ｏインターフェース６９、ＣＰＵ７０、ＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory) でなるＲＯＭ(Read Only Memory)７１及びＲＡＭ７２が相互に接続されて構成されており、ＲＴＣ(Real-Time Clock) ８１によって現在時刻が常時供給されている。
【００３３】
Ｉ／Ｏコントローラ６１のＲＯＭ７１には、ＢＩＯＳ(Basic Input/Output Sustem) ７３、ウェイクアッププログラム７４、キー入力監視プログラム７５及びＬＥＤ制御プログラム７６が格納されると共に、ＲＡＭ７２にはキー入力ステイタスレジスタ７７、設定時刻レジスタ７８、ＬＥＤ制御レジスタ７９及びキー対応アプリケーションレジスタ８０が設けられている。
【００３４】
ＲＡＭ７２に格納されているキー入力ステイタスレジスタ７７は、操作キーフラグを格納し得るようになされており、ＣＰＵ７０はキー入力監視プログラム７５に基づいてワンタッチ操作用のＰＰＫキー１０（図２）が押下されたか否かを監視し、当該ＰＰＫキー１０が押下されるとキー入力ステイタスレジスタ７７に操作キーフラグを格納する。
【００３５】
また設定時刻レジスタ７８は、ユーザが予め任意に設定した開始時刻等の時間情報を格納し得るようになされており、ＣＰＵ７０はウェイクアッププログラム７４に基づいてＲＴＣ８１から与えられる現在時刻が任意に設定した開始時刻になったか否かを検出し、開始時刻になると所定の処理を実行する。
【００３６】
さらにキー対応アプリケーションレジスタ８０は、ＰＰＫキー１０や予め設定された操作キー４の組み合わせに対応して、ＰＰＫキー１０や複数の組み合わせでなる操作キー４と起動すべきアプリケーションとの対応関係を記憶しており、ＣＰＵ７０はＰＰＫキー１０や予め設定された組み合わせの操作キー４が押下されたときに、対応するアプリケーションを立ち上げるための制御データをＩＳＡバス５９及びＰＣＩバス５１を順次介してＣＰＵ５２に送出し、当該ＣＰＵ５２によって制御データに応じたアプリケーションを立ち上げる。
【００３７】
またＬＥＤ制御レジスタ７９は、キー対応アプリケーションレジスタ８０に記憶したアプリケーションが立ち上げられて動作が終了すると終了フラグを格納し、ＣＰＵ７０はＬＥＤ制御プログラム７６に基づいてＬＥＤ制御レジスタ７９に終了フラグが格納されていることを検出すると、メッセージランプＭＬを点灯する。
【００３８】
なおＬＥＤ制御レジスタ７９は、電源スイッチ４０が押下されると電源フラグを格納し、バッテリから供給される電源電圧で本体２が動作するときには電池フラグを格納する。従ってＣＰＵ７０は、ＬＥＤ制御プログラム７６に基づいて電源フラグ又は電池フラグが格納されていることを検出すると、電源ランプＰＬ及び電池ランプＢＬを点灯する。
【００３９】
ここでＩ／Ｏコントローラ６１には、バックアップ用のバッテリ８２が接続されていることにより、本体２の電源スイッチ４０がオフで図示しない電源から電力の供給がなされていない状態でもＲＡＭ７２のキー入力ステイタスレジスタ７７、設定時刻レジスタ７８、ＬＥＤ制御レジスタ７９及びキー対応アプリケーションレジスタ８０の各データを保持するようになされている。
【００４０】
またＩ／Ｏコントローラ６１に接続された反転スイッチ８８は、撮像部２２（図１）が表示部３の液晶ディスプレイ２１の反対側を撮像する方向に１８０度回転されたときオンされ、その状態をＣＰＵ７０に通知する。またＰＰＫキー１０も、反転スイッチ８８が押下されたときと同様に、その状態をＣＰＵ７０に通知する。
【００４１】
さらに半押しスイッチ８６は、本体２の上面に設けられたシャッタボタン７が半押し状態にされたときオンしてその状態をＩ／Ｏコントローラ６１のＣＰＵ７０に通知し、全押しスイッチ８７はシャッタボタン７が全押し状態にされたときオンしてその状態をＩ／Ｏコントローラ６１のＣＰＵ７０に通知するようになされている。
【００４２】
すなわちＩ／Ｏコントローラ６１のＣＰＵ７０は、ハードディスクドライブ６０のキャプチャーソフトウェア６０Ａを立ち上げた状態で、ユーザによってシャッタボタン７が半押し状態にされると静止画像モードに入り、ＣＣＤカメラ２３を制御して静止画像のフリーズを実行し、全押し状態にされるとフリーズされた静止画像データを取り込み、データ処理部８５に送出する。
【００４３】
これに対してＩ／Ｏコントローラ６１のＣＰＵ７０は、キャプチャーソフトウェア６０Ａを立ち上げない状態で動画像モードに入ると、最大６０秒程度までの動画像を取り込み、データ処理部８５に送出する。
【００４４】
またＩ／Ｏコントローラ６１は、ＰＣＩバス５１に接続されているグラフィックス処理回路５５を制御するようになされており、ＣＣＤカメラ２３によって取り込まれた静止画又は動画でなる画像データをデータ処理部８５によって所定のデータ処理を施した後にグラフィックス処理回路５５に入力する。
【００４５】
グラフィックス処理回路５５は、供給された画像データを内蔵のＶＲＡＭ(Video Random Access Memory)５５Ａに格納して適宜読み出した後ＬＣＤコントローラ６５に送出し、必要に応じてハードディスクドライブ６０に格納する。
【００４６】
ＬＣＤコントローラ６５は、表示部３のバックライト８４を制御して液晶ディスプレイ２１の後方から照明すると共に、グラフィックス処理回路５５から供給された画像データを液晶ディスプレイ２１に出力して表示させるようになされている。
【００４７】
一方、ＣＰＵ５２はハードディスクドライブ６０から読み出したディジタル地図ソフトウェア６０ＢをＲＡＭ５４上に立ち上げた場合、当該ディジタル地図ソフトウェア６０Ｂによる地図データをグラフィックス処理回路５５に送出する。
【００４８】
このときグラフィックス処理回路５５は、供給された地図データに基づいて液晶ディスプレイ２１に表示する地図画像データを生成してＶＲＡＭ５５Ａに格納し、適宜読み出してＬＣＤコントローラ６５に送出する。
【００４９】
これによりＬＣＤコントローラ６５は、グラフィックス処理回路５５から供給された地図画像データに基づいて表示部３の液晶ディスプレイ２１に地図画像を表示させるようになされている。
【００５０】
またＰＣＩバス５１に接続されているＰＣカードスロット５３は、オプション機能を追加するときにＰＣカード（図示せず）を介して適宜装着され、当該ＰＣカードを介してＣＰＵ５２とデータを授受するようになされている。例えばＰＣカードスロット５３にＰＣＭＣＩＡ型のＧＰＳ(Global Positioning System)カード５７が装着された場合、当該ＧＰＳカード５７に接続されるＧＰＳアンテナ５８によりＧＰＳ衛星からの電波を受信して現在位置データを得るようになされている。
【００５１】
これによりＧＰＳカード５７は、ＧＰＳアンテナ５８を介して受信した現在位置データ（緯度データ、経度データ及び高度データ）をＰＣＩバス５１を介してＣＰＵ５２へ送出する。
【００５２】
この場合ＣＰＵ５２は、現在位置データをグラフィックス処理回路５５に送出し、当該グラフィックス処理回路５５により現在位置データに基づく現在位置を示す矢印アイコンを生成した後、ＬＣＤコントローラ６５を介して液晶ディスプレイ２１の地図画像に矢印アイコンを重ねた状態で表示するようになされている。
【００５３】
かくして液晶ディスプレイ２１は、ＧＰＳカード５７によって検出した位置データを基に矢印アイコンを地図画像上で移動させながら表示し得るようになされている。
【００５４】
（３）本発明におけるＯＳのシステム構成
ここでハードディスク６０に格納されているＯＳは、主としてソフトウェアによって実現され、各種システム機能を呼び出すためのシステム関数群からなる図示しないＡＰＩ(Application Program Interface) を備えており、ＡＰＩを介してＯＳ上でアプリケーションを起動することにより、液晶ディスプレイ２１にアプリケーション画面を表示するようになされている。
【００５５】
またＯＳは、アプリケーション画面上のカーソルで指定された文字列を抽出し、当該抽出した文字列の種類（例えば、抽出した文字列が住所、電話番号又は電子メールアドレス等のいずれであるか）を判定すると共に、判定した文字列の情報そのもの（住所、電話番号又は電子メールアドレス）を求め、文字列の種類に対応して実行し得る複数種類の関連したアプリケーションのうちユーザによって選択されたアプリケーションに対して文字列の情報を供給して実行させる情報種類対応システムを一部に有している。
【００５６】
図７に示すように情報種類対応システム１００は、コンピュータ装置１における液晶ディスプレイ２１のアプリケーション画面上でユーザのマウス操作によってカーソルがテキスト文書上の文字列に重ねられると、文字列取込部１０１によってカーソルが重ねられている部分の前後数文字分に相当する文字列Ｄ１を取り込み、文字列解析部１０２に送出する。
【００５７】
ここでＯＳは、文字列にカーソルが重ねられると、当該重ねられた部分の前後数文字分がカーソルで見えなくなることを防ぐために再表示を行うが、この再表示を行うときにアプリケーションからＡＰＩに再度供給される文字列を文字列取込部１０１によって取り込むようになされている。
【００５８】
例えば図８に示すように、「Phone:03-5448-○△△×」とアプリケーション画面上に表示された文字列にカーソルが重ねられると、文字列取込部１０１はカーソルが重ねられている部分の前後数文字分に相当する文字列「Phone:03-5448-○△△×」を取り込むようになされている。ここで、文字列取込部１０１が取り込むべき前後数文字分の範囲は予め設定されているが、任意に設定変更可能である。
【００５９】
文字列解析部１０２は、例えば住所データベース、電話番号データベース、郵便番号データベース等を含む解析用データベース１０２Ａを所有しており、文字列取込部１０１から供給された文字列Ｄ１（「Phone:03-5448-○△△×」）を解析用データベース１０２Ａのフォーマットに従って比較参照し、当該フォーマットに合致するか否かを調べる。
【００６０】
これにより文字列解析部１０２は、供給された文字列Ｄ１のフォーマットに従って情報の種類（この場合の文字列Ｄ１の種類は電話番号である）を判定した後、電話番号に該当する部分の文字列データだけ（すなわち「03-5448-○△△×」）を取り出し、文字列の種類（電話番号）を示す種類ＩＤと文字列データＤ２（「03-5448-○△△×」）とをメニュー表示部１０３に送出する。
【００６１】
メニュー表示部１０３は、文字列解析部１０２から供給された種類ＩＤを関連付管理部１０４に送出する。関連付管理部１０４は、文字列の種類に対応して実行し得る複数種類のアプリケーションに関するアプリ情報の一覧からなる関連付データベース１０４Ａを所有しており、メニュー表示部１０３から供給された種類ＩＤに基づいて関連付データベース１０４Ａから対応するアプリ情報Ｄ３を検索して取り出し、これをメニュー表示部１０３へ送り返す。
【００６２】
メニュー表示部１０３は、関連付管理部１０４から供給されたアプリ情報Ｄ３に基づいて、文字列の種類に対応して実行し得る複数種類のアプリケーションのアプリ選択メニューを追加して新たなポップアップメニューを生成し、これを液晶ディスプレイ２１のアプリケーション画面上に表示する。
【００６３】
すなわち、図９に示すようにアプリケーション画面上では、電話番号が表示されている文字列にカーソルが重ねられると、文字列解析部１０２によってその文字列の種類が電話番号であると判定され、メニュー表示部１０３によって電話番号に基づいて実行し得るアプリケーションを示す３種類のアプリ選択メニューＭ１がポップアップメニューＰＭ２に表示される。
【００６４】
そしてメニュー表示部１０３は、アプリ選択メニューＭ１の追加されたポップアップメニューＰＭ２の中からユーザのマウス操作によって所望のアプリケーションが選択されたことを検出すると、選択信号Ｓ１をディスパッチ部１０５に送出する。
【００６５】
ディスパッチ部１０５は、メニュー表示部１０３から供給された選択信号Ｓ１を関連付管理部１０４に送出し、当該関連付管理部１０４から選択信号Ｓ１に対応したアプリケーションのファイル名Ｆ１の供給を受ける。これによりディスパッチ部１０５は、ファイル名Ｆ１に対応するアプリケーションをハードディスク６０から読み出し、当該アプリケーションをＡＰＩを介してＯＳ上で起動させた後に文字列データＤ２をアプリケーションに供給して所望の処理を実行するようになされている。
【００６６】
実際上、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話番号から個人情報を検索」がユーザによって選択されると、ディスパッチ部１０５は「AAAA Phone」と記入されたファイル名に対応する個人情報検索アプリケーションを起動させて、与えられた文字列データＤ２(03-5448-○△△×)に基づいて電話番号から個人情報を検索する処理を実行させる。
【００６７】
または、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話をかける」がユーザによって選択されると、ディスパッチ部１０５は[BBBB Phone]と記入されたファイル名に対応する自動発呼アプリケーションを起動させて、与えられた文字列データＤ２（03-5448-○△△×）に基づく電話番号に対して電話をかける処理を実行させる。
【００６８】
あるいは、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話番号から地図を表示」がユーザによって選択されると、ディスパッチ部１０５は[CCCC Map]と記入されたファイル名に対応する地図アプリケーションを起動させて、与えられた文字列データＤ２（03-5448-○△△×）の電話番号に対応した地図上の位置を検索し、その領域を表した地図を表示する処理を実行させる。
【００６９】
次に、コンピュータ装置１においてＯＳの情報種類対応システム１００によってカーソルで指定されたテキスト文書上の文字列の種類に応じたアプリケーションを自動的に連携させて処理するまでの処理手順を図１０のフローチャートを用いて説明する。
【００７０】
情報種類対応システム１００は、ＲＴ１の開始ステップから入ってステップＳＰ１に移る。ステップＳＰ１において情報種類対応システム１００は、文字列取込部１０１によってアプリケーション画面におけるテキスト文書上の文字列に重ねられたカーソルが所定時間以上停止したことを検出すると、次のステップＳＰ２に移る。
【００７１】
ステップＳＰ２において情報種類対応システム１００は、文字列取込部１０１によってカーソルが重ねられた部分の文字列を抽出し、次のステップＳＰ３に移る。
【００７２】
ステップＳＰ３において情報種類対応システム１００は、文字列取込部１０１によって抽出された文字列Ｄ１が表す情報の種類を文字列解析部１０２によって解析した後に文字列データＤ２を求めて、次のステップＳＰ４に移る。
【００７３】
ステップＳＰ４において情報種類対応システム１００は、文字列解析部１０２によって文字列Ｄ１が表す情報の種類が特定できたか否かを判定する。ここで否定結果が得られると、このことは解析用データベース１０２Ａを検索した結果、文字列Ｄ１が表す情報の種類を特定し得なかったことを表しており、このとき情報種類対応システム１００は、次のステップＳＰ５に移る。
【００７４】
ステップＳＰ５において情報種類対応システム１００は、文字列解析部１０２によって文字列Ｄ１が表す情報の種類を特定し得なかったので、通常のポップアップメニューＰＭ１（図１２）を表示し、ステップＳＰ１２に移って処理を終了する。
【００７５】
これに対してステップＳＰ４において肯定結果が得られると、このことは文字列Ｄ１が表す情報の種類を特定し得たことを表しており、このとき情報種類対応システム１００は、文字列解析部１０２から文字列の種類を表す種類ＩＤをメニュー表示部１０３に送出し、次のステップＳＰ６に移る。
【００７６】
ステップＳＰ６において情報種類対応システム１００は、メニュー表示部１０３が関連付管理部１０４から種類ＩＤに対応したアプリケーションのアプリ情報Ｄ３を取得する処理を実行し、次のステップＳＰ７に移る。
【００７７】
ステップＳＰ７において情報種類対応システム１００は、メニュー表示部１０３によって種類ＩＤに対応したアプリケーションが存在するか否かを判定する。
【００７８】
ここで否定結果が得られると、このことはメニュー表示部１０３が関連付管理部１０４から種類ＩＤに対応したアプリケーションのアプリ情報Ｄ３を取得しておらず、種類ＩＤに対応したアプリケーションが存在していないことを表しており、このとき情報種類対応システム１００はステップＳＰ１２に移って処理を終了する。
【００７９】
これに対してステップＳＰ７において肯定結果が得られると、このことは種類ＩＤに対応したアプリケーションが存在していることを表しており、このとき情報種類対応システム１００は次のステップＳＰ８に移る。
【００８０】
ステップＳＰ８において情報種類対応システム１００は、メニュー表示部１０３が関連付管理部１０４から供給されたアプリ情報Ｄ３に基づいて、文字列の種類に対応して実行し得る複数種類のアプリケーションのアプリ選択メニューＭ１を追加したポップアップメニューＰＭ２を表示し、次のステップＳＰ９に移る。
【００８１】
ステップＳＰ９において情報種類対応システム１００は、ポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれかがユーザによって選択されたか否かをメニュー表示部１０３が判定する。
【００８２】
ここで否定結果が得られると、このことはポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれも選択されなかったことを表しており、このとき情報種類対応システム１００はステップＳＰ１２に移って処理を終了する。
【００８３】
これに対してステップＳＰ９において肯定結果が得られると、このことはポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれかが選択されたことを表しており、このとき情報種類対応システム１００は次のステップＳＰ１０に移る。
【００８４】
ステップＳＰ１０において情報種類対応システム１００は、選択されたアプリケーションのファイル名Ｆ１を関連付管理部１０４から供給され、当該ファイル名に対応するアプリケーションをディスパッチ部１０５がＡＰＩを介してＯＳ上で起動させ、次のステップＳＰ１１に移る。
【００８５】
ステップＳＰ１１において情報種類対応システム１００は、ディスパッチ部１０５によって起動したアプリケーションに対して抽出した文字列データＤ２を供給し、当該アプリケーションによって文字列データＤ２を用いた処理を実行し、次のステップＳＰ１２に移って処理を終了する。
【００８６】
（４）本実施の形態における動作及び効果
以上の構成において、コンピュータ装置１は情報種類対応システム１００によってテキスト文書上のカーソルが重ねられた部分の文字列Ｄ１を抽出して当該文字列Ｄ１の表す情報の種類を解析し、当該解析した種類に対して関連するアプリケーションを連携させ、その連携した状態をアプリ選択メニューＭ１としてポップアップメニューＰＭ２に表示する。
【００８７】
そしてコンピュータ装置１は、ポップアップメニューＰＭ２に表示したアプリ選択メニューＭ１のうちいずれかがユーザによって選択されると、当該選択されたアプリケーションを起動させて文字列データＤ２を供給し、当該文字列データＤ２に基づく所定の処理をアプリケーションを介して実行する。
【００８８】
このようにコンピュータ装置１は、抽出した文字列Ｄ１の表す情報の種類を解析し、当該情報の種類に対して関連するアプリケーションを起動して文字列データＤ２を供給することによりアプリケーションと文字列データＤ２とを連携させることにより、ユーザにとっては文字列をカーソルで指定した後、アプリ選択メニューＭ１の中から所望のアプリケーションを選択するだけで文字列の種類に対応したアプリケーションの処理を迅速に実行させることができ、かくして従来のように煩雑なカットアンドペースト操作を実行する必要がなく、短時間で処理を実行し得ると共にユーザの操作性を一段と向上することができる。
【００８９】
またコンピュータ装置１は、ファイルの中の文字列が表す情報の種類に応じたアプリケーションと文字列データＤ２とを連携させることができるので、従来のようなファイルの種類毎にアプリケーションを連携させる場合に比べて情報の種類毎に対応した一段と細かなアプリケーションの連携を実現して利便性を大幅に向上することができる。
【００９０】
以上の構成によれば、コンピュータ装置１は抽出した文字列Ｄ１の表す情報の種類を解析し、当該解析結果である情報の種類に応じたアプリケーションと文字列データＤ２とを連携させて処理を実行させることにより、ユーザによる文字列Ｄ１のカーソル指定操作とアプリケーションの選択操作だけで文字列Ｄ１とアプリケーションとの連携を行って所望の処理を一段と容易に実行することができる。
【００９１】
（５）他の実施の形態
なお上述の実施の形態においては、情報取込手段としての文字列取込部１０１によって表示手段としての液晶ディスプレイ２１に表示されているテキスト文書上のカーソルが重ねられた部分の文字列を抽出するようにした場合について述べたが、本発明はこれに限らず、画像文字抽出手段としてのＯＣＲ(Optical Character Reader)装置を用いてＣＣＤカメラ２３によって撮像された画像の中から文字列を抽出したり、また所定の音声認識手段によってマイク等から入力した音声を音声認識した後に文字列に変換したり、さらにユーザの視線を追尾する視線追尾装置によって検出されたユーザの注目する文字列を抽出するようにしても良く、要はユーザが注目すべき情報を抽出し得れば他の種々の情報取込手段を用いるようにしても良い。この場合にも、上述の実施の形態と同様の効果を得ることができる。
【００９２】
ここでＯＣＲ装置は、ＣＣＤカメラ２３によって撮像された画像中の文字列を解析し、文字認識エンジンを用いて認識することにより文字列を抽出するようになされている。
【００９３】
また視線追尾装置としては、ヘッドマウントディスプレイの表示部に表示されたアプリケーション画面を注視しているユーザの視線を追尾して検出し、当該視線の停止した注視点位置の文字列を抽出するようになされている。
【００９４】
実際上、図１１に示すようにヘッドマウントディスプレイでは、視線検知部１３０Ｌ及び１３０Ｒを内部に有し、赤外線光を投光する発光ダイオード（ＬＥＤ）等の光源１６１から出射した光束が投光レンズ１６２及びハーフミラー１６３を介して透過した後に眼球３００の角膜３０１で反射すると、当該反射した角膜反射象がハーフミラー１６３及び受光レンズ１６４を介してＣＣＤ(Charge Coupled Device) 等でなる光電変換素子１６５に結像され、当該光電変換素子１６５の結像位置Ｚｄｄを注視点位置処理部１３１Ｌ及び１３１Ｒに送出する。
【００９５】
続いて視線検知部１３０Ｌ及び１３０Ｒは、角膜３０１で反射した赤外線光の一部により生成される虹彩３０３の両端部の反射象ａ及びｂが結像位置Ｚａａ及びＺｂｂに結象され、当該結像位置Ｚａａ及びＺｂｂを注視点位置処理部１３１Ｌ及び１３１Ｒに送出する。これにより注視点位置処理部１３１Ｌ及び１３１Ｒは、角膜反射象の結像位置Ｚｄｄ、反射象ａ及びｂの結像位置Ｚａａ及びＺｂｂの位置関係に基づいて眼球３００の眼球光軸Ｂの回転角θｂ（視線方向）を求めることができ、かくしてユーザの視線が停止した注視点位置を検出し得るようになされている。
【００９６】
また上述の実施の形態においては、情報種類対応システム１００をコンピュータ装置１のＯＳの一部として用いるようにした場合について述べたが、本発明はこれに限らず、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory) 、ＤＶＤ(Digital Video Disc)等のパッケージメディア、プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク、さらにローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体及びこれらの通信媒体を介して提供されるプログラムを転送もしくは受信するルータやモデム等の各種通信インターフェース等の提供媒体によって提供されるアプリケーションとして用いるようにしても良い。
【００９７】
さらに上述の実施の形態においては、情報種類解析手段としての文字列解析部１０２により文字列Ｄ１の種類を電話番号であると解析し、連携手段及び起動手段としてのディスパッチ部１０５によって個人情報検索アプリケーション、自動発呼アプリケーション又は地図アプリケーションを起動して文字列データＤ２との連携を行うようにした場合について述べたが、本発明はこれに限らず、種々のデータベースを追加することにより郵便番号、住所、緯度経度、当該緯度経度を表すマップコード、電子メールアドレス、ＵＲＬ(Uniform Resource Locator)、日時、金額の単位、又はｋｍ、ｋｇ、ｃｍ、ｙａｒｄ……等の汎用的な単位を文字列の種類として解析し、郵便番号が定義されている地図上の位置を検索して示す郵便番号位置検索アプリケーション、住所に対応する地図上の位置を検索して示す住所位置検索アプリケーション、緯度経度に対応する地図上の位置を検索して示す緯度経度検索アプリケーション、マップコードに対応する地図上の位置を検索して示すマップコード検索アプリケーション、電子メールアドレスに対して電子メールを送信する電子メール送信アプリケーション、ＵＲＬに基づいてホームページを開くＨＴＭＬ(Hyper Text Markup Language)ブラウザ、日時に対応したカレンダや予定表を開くスケジューラアプリケーション、所定の金額を他の貨幣の単位に応じた金額に自動換算する貨幣換算アプリケーション、又は単位に応じた数値を用いて種々の計算を行う電子計算機アプリケーション、郵便番号、住所、緯度経度、マップコード、電子メールアドレス又はＵＲＬを基に個人情報を検索する個人情報検索アプリケーションをディスパッチ部１０５によって起動して文字列データＤ２とそれぞれ連携させるようにしても良い。
【００９８】
さらに上述の実施の形態においては、アプリケーション画面に表示されたテキスト文書上でカーソルが重ねられた部分の文字列を抽出するようにした場合について述べたが、本発明はこれに限らず、アプリケーション画面に表示されたＨＴＭＬ(Hyper Text Markup Language)文書、ＸＭＬ(eXtensible Markup Language)文書上でカーソルが重ねられた部分の文字列を抽出するようにしても良い。
【００９９】
【発明の効果】
上述のように本発明によれば、複数のアプリケーションを記憶する記憶手段と、画像データを撮像する撮像手段と、撮像手段によって撮像された画像データを取り込む画像データ取込手段と、画像データに対するユーザの視線を追尾して検出する視線追尾検知部を有し、当該視線追尾検知部を用いて、画像データ取込手段によって取り込まれた画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出手段と、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出手段によって抽出された文字列に応じた処理を実行させる処理可変手段とを設けることにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得る操作性の優れた情報処理装置を実現できる。
【０１００】
また本発明によれば、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを画像データ取込手段によって取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出手段によって抽出する抽出ステップと、識別情報に対応したアプリケーションを処理可変手段により記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を処理可変手段により実行させる処理ステップとを有するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得る操作性の優れた情報処理方法を実現できる。
【０１０１】
さらに本発明によれば、コンピュータに、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出ステップと、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を実行させる処理ステップとを実行させるためのプログラムを記録するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得るプログラムを提供し得る記録媒体を実現できる。
【図面の簡単な説明】
【図１】本発明によるコンピュータ装置の構成を示すブロツク図である。
【図２】本体の正面構成を示す略線図である。
【図３】本体に対して表示部を閉鎖した状態を示す略線図である。
【図４】本体に対して表示部を１８０度開いた状態を示す略線図である。
【図５】本体の下面構成を示す略線図である。
【図６】コンピュータ装置の回路構成を示すブロック図である。
【図７】ＯＳの一部に含まれている情報種類対応システムの構成を示すブロック図である。
【図８】文字列にカーソルが重ねられた状態を示す略線図である。
【図９】カーソルで指定された文字列の種類に対応したアプリ選択メニューを含むポップアップメニュー表示を示す略線図である。
【図１０】情報種類対応システムにおける処理手順を示すフローチャートである。
【図１１】他の実施の形態における視線追尾装置の構成を示す略線図である。
【図１２】従来の通常のポップアップメニュー表示を示す略線図である。
【符号の説明】
１……コンピュータ装置、２……本体、３……表示部、２１……液晶ディスプレイ、５２……ＣＰＵ、５４……ＲＡＭ、６０……ハードディスク、１００……情報種類対応システム、１０１……文字列取込部、１０２……文字列解析部、１０３……メニュー表示部、１０４……関連付管理部、１０５……ディスパッチ部。
【発明の属する技術分野】
本発明は情報処理装置、情報処理方法及び提供媒体に関し、例えばパーソナルコンピュータに適用して好適なものである。
【０００２】
【従来の技術】
従来、パーソナルコンピュータ（以下、これをコンピュータ装置と呼ぶ）は内部のハードディスクに格納された例えばウィンドウズ９８（商標）等のＯＳ(Operating System)に基づいてシステム全体を管理しており、当該ＯＳを介してアプリケーションソフトウェア（以下、これをアプリケーションと呼ぶ）を起動させることにより所望の処理を実行するようになされている。
【０００３】
このようなコンピュータ装置のＯＳにおいては、ユーザの使い勝手の向上のために種々様々なユーザインターフェースが開発されており、例えば所定の情報やプログラムが格納されているファイルの拡張子（.COMや.DOC等）に対して当該ファイルを参照するために必要なアプリケーションを関連付けることにより、ファイルを単位としたデータ及びアプリケーション間の連携や、データのアプリケーションへの埋め込みが実現されている。
【０００４】
また最近では、文字列抽出システム (特願平09-305351)と呼ばれるプログラムを一部に含んだアプリケ−ションが提案されており、当該アプリケ−ションを用いた場合にはファイル内のテキストデータのうち所望の文字列（例えば英単語）が画面上のカーソルによって指定されると、前後のスペースやピリオド等の終端文字で挟まれた部分を指定された英単語として抽出し、辞書アプリケーションによってその英単語の意味を検索してカーソル近傍に表示することが行われている。
【０００５】
【発明が解決しようとする課題】
ところでかかる構成のコンピュータ装置においては、ファイルを単位としたデータ及びアプリケーション間の連携を行うことはできるが、ファイルを構成しているテキストデータのうち特定の意味をなす文字列（例えば住所、電話番号又は電子メールアドレス等）毎にそれぞれ対応したアプリケ ションを関連付けて連携させることは困難であった。
【０００６】
例えば図１２に示すように、アプリケーション画面上の文字列「Phone:03-5448-○△△×」にカーソルが重ねられたときに、マウスを右クリックしても通常のポップアップメニューＰＭ１が表示されるだけであり、文字列の種類である電話番号に対応して実行し得る関連したアプリケーションと文字列の情報とを連携させるには、煩雑な操作を行わなければならなかった。
【０００７】
すなわちコンピュータ装置において、ＯＳはカーソルが重ねられた部分の電話番号を単なる文字列として認識するだけであり、この電話番号を他のアプリケーションで利用する場合、ＯＳのコピー機能を用いて電話番号のデータを一旦クリップボードに保存した後、電話番号を利用するアプリケーションを起動させて該当する箇所に電話番号のデータを貼り付けるカットアンドペースト操作を実行しなければならず、操作が煩雑で面倒であるという問題があった。
【０００８】
また文字列抽出システムを一部に含んだアプリケ−ションを搭載したコンピュータ装置においては、ファイルを構成しているテキストデータのうち英単語を文字列として抽出し、当該抽出した文字列に対して予め関連付けされた辞書アプリケーションを連携させて英単語の意味を検索することはできるが、文字列が表す情報の種類が例えば住所又は電話番号あるいは電子メールアドレス等であったときに、それぞれに対応したアプリケーション（例えば住所に対応する地図上の場所を表示するためのアプリケーション、電話をかけるためのアプリケーション、電子メールを送信するためのアプリケーション）と文字列の情報とを連携させることは困難であった。
【０００９】
本発明は以上の点を考慮してなされたもので、取り込んだ情報の種類の応じて次の処理を変化させ得る操作性の優れた情報処理装置、情報処理方法及び記録媒体を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明の情報処理装置においては、複数のアプリケーションを記憶する記憶手段と、画像データを撮像する撮像手段と、撮像手段によって撮像された画像データを取り込む画像データ取込手段と、画像データに対するユーザの視線を追尾して検出する視線追尾検知部を有し、当該視線追尾検知部を用いて、画像データ取込手段によって取り込まれた画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出手段と、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出手段によって抽出された文字列に応じた処理を実行させる処理可変手段とを設けることにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１１】
また本発明の情報処理方法においては、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを画像データ取込手段によって取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出手段によって抽出する抽出ステップと、識別情報に対応したアプリケーションを処理可変手段により記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を処理可変手段により実行させる処理ステップとを有するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１２】
さらに本発明の記録媒体においては、コンピュータに、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出ステップと、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を実行させる処理ステップとを実行させるためのプログラムを記録するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができる。
【００１３】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１４】
（１）コンピュータ装置の外観構成
図１において、１は全体として本発明の情報処理装置としての携帯型パーソナルコンピュータ装置（以下、これをコンピュータ装置と呼ぶ）を示し、この場合Ｂ５サイズ以下の持ち運び易いノート型パーソナルコンピュータである。
【００１５】
このコンピュータ装置１は、本体２と当該本体２に対して開閉自在に取り付けられた表示部３とによって構成されている。本体２には、上面に各種文字や記号及び数字等を入力する複数の操作キー４、表示部３に表示されるカーソルを移動するときに操作するスティック式ポインティングデバイス５、内蔵スピーカ６、表示部３に設けられたＣＣＤ(Charge Coupled Device) カメラ２３によって画像を撮像するときに操作するシャッタボタン７が設けられている。
【００１６】
表示部３の正面には、ＬＣＤ(Liquid Crystal Display)でなる液晶ディスプレイ２１が設けられており、正面の中央上端部にＣＣＤカメラ２３を備えた撮像部２２が表示部３に対して回動自在に取り付けられている。
【００１７】
すなわち撮像部２２は、表示部３の正面方向及び背面方向との間の１８０度の角度範囲内で回動して任意の位置に位置決めし得るようになされている。また撮像部２２には、図２に示すようにＣＣＤカメラ２３のフォーカス調整を行う調整リング２５が設けられている。
【００１８】
また表示部３（図１）の正面には、撮像部２２の左隣にマイクロフォン２４が設けられており、当該マイクロフォン２４を介して表示部３の背面側（図５）からも集音し得るようになされている。
【００１９】
また表示部３における正面の中央下端部には、ＬＥＤ(Light Emitting Diode)でなる電源ランプＰＬ、電池ランプＢＬ、メッセージランプＭＬ及びその他の種々の用途に対応したランプが設けられている。
【００２０】
さらに表示部３の正面上端部には、マイクロフォン２４の左隣にツメ１３が設けられると共に、当該ツメ１３と対応する本体２の所定位置に孔部８が設けられており、表示部３を本体２に閉塞した状態でツメ１３が孔部８に嵌合されてロックするようになされている。
【００２１】
本体２の正面には、図２に示すようにスライドレバー９が設けられており、当該スライドレバー９を正面に沿って矢印方向にスライドすることにより、孔部８に嵌合されたツメ１３のロックを解除して表示部３を本体２に対して展開し得るようになされている。
【００２２】
また本体２の正面には、１回のボタン操作で電源オンから所定のアプリケーションソフトウェア（以下、これを単にアプリケーションと呼ぶ）を立ち上げて予め設定しておいた一連の動作を自動的に実行するためのプログラマブルパワーキー（ＰＰＫキー）１０が左端部に設けられると共に、右端部に複数の吸気孔１１が設けられている。
【００２３】
本体２の左側面には、図３に示すようにスライド式の電源スイッチ４０、４ピン対応のＩＥＥＥ(Institute of Electrical and Electronics Engineers) １３９４端子４１、ＵＳＢ(Universal Serial Bus)端子４２、マイクロフォン用入力端子４３、ヘッドフォン端子４４及びＩｒＤＡ(Infrared Data Association) 準拠の赤外線ポート４５が設けられている。
【００２４】
本体２の右側面には、図４に示すように排気孔１２が設けられており、当該排気孔１２の右隣にはＰＣＭＣＩＡ(Personal Computer Memory Card International Association) カード（以下、これをＰＣカードと呼ぶ）を挿入するためのＰＣカードスロット１３が設けられている。
【００２５】
また本体２の下面には、図５に示すように増設メモリを取り付けるための開口部２５を被覆する蓋２６が取り付けられると共に、当該蓋２６のロック用ツメを外すためのピン挿入用孔４８が設けられている。
【００２６】
（２）コンピュータ装置の回路構成
図６に示すように本体２においては、起動シーケンス制御部８３のＰＣＩ(Peripheral Component Interconnect)バス５１に、ＣＰＵ(Central Processing Unit)５２、ＰＣ(Personal Computer)カードスロット５３、ＲＡＭ(Random Access Memory)５４、表示部３の液晶ディスプレイ２１に表示する画像を生成するためのグラフィックス処理回路５５及び他のコンピュータ装置や外部機器と接続してディジタルデータを取り込むためのＩＥＥＥ１３９４端子４１に直結されたＩＥＥＥインターフェース５６が接続されている。
【００２７】
ＣＰＵ５２は、本体２における各種機能を統括的に制御するコントローラであり、ＲＡＭ５４にロードされた各種プログラムを実行することにより各種機能を実行し得るようになされている。
【００２８】
ＰＣＩバス５１は、ＩＳＡ(Industrial Standard Architecture)バス５９に接続されており、当該ＩＳＡバス５９にはハードディスクドライブ６０、Ｉ／Ｏ(In/Out)コントローラ６１、キーボードコントローラ６２、ポインティングデバイスコントローラ６３、サウンドチップ６４、ＬＣＤコントローラ６５、モデム６６及びＵＳＢインターフェース６７が接続されている。
【００２９】
ここでキーボードコントローラ６２は、操作キー４（図１）の押下に応じた制御信号の入力をコントロールし、ポインティングデバイスコントローラ６３はスティック式ポインティングデバイス５（図１）による制御信号の入力をコントロールする。
【００３０】
またサウンドチップ６４は、マイクロフォン２４（図１）からの音声入力を取り込み又は内蔵スピーカ６（図１）に対して音声信号を供給し、モデム６６は公衆電話回線９０、インターネットサービスプロバイダ（以下、これをプロバイダと呼ぶ）９１を介してインターネット９２やメールボックス９３Ａを有したメールサーバ９３に接続する。なおＵＳＢインターフェース６７は、ＵＳＢ端子４２に接続されており、ＵＳＢマウスやフロッピーディスクドライブ等の周辺機器を接続するようになされている。
【００３１】
ハードディスクドライブ６０には、ＣＣＤカメラ２３を介して静止画像を取り込むためのキャプチャーソフトウェア６０Ａ、ディジタル地図ソフトウェア６０Ｂ及びWindows98(商標) でなるＯＳ(Operating System)６０Ｃや各種アプリケーションソフトウェア（図示せず）が格納されており、必要に応じてＣＰＵ５２によって読み出されてＲＡＭ５４にロードされる。
【００３２】
Ｉ／Ｏコントローラ６１は、Ｉ／Ｏインターフェース６９、ＣＰＵ７０、ＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory) でなるＲＯＭ(Read Only Memory)７１及びＲＡＭ７２が相互に接続されて構成されており、ＲＴＣ(Real-Time Clock) ８１によって現在時刻が常時供給されている。
【００３３】
Ｉ／Ｏコントローラ６１のＲＯＭ７１には、ＢＩＯＳ(Basic Input/Output Sustem) ７３、ウェイクアッププログラム７４、キー入力監視プログラム７５及びＬＥＤ制御プログラム７６が格納されると共に、ＲＡＭ７２にはキー入力ステイタスレジスタ７７、設定時刻レジスタ７８、ＬＥＤ制御レジスタ７９及びキー対応アプリケーションレジスタ８０が設けられている。
【００３４】
ＲＡＭ７２に格納されているキー入力ステイタスレジスタ７７は、操作キーフラグを格納し得るようになされており、ＣＰＵ７０はキー入力監視プログラム７５に基づいてワンタッチ操作用のＰＰＫキー１０（図２）が押下されたか否かを監視し、当該ＰＰＫキー１０が押下されるとキー入力ステイタスレジスタ７７に操作キーフラグを格納する。
【００３５】
また設定時刻レジスタ７８は、ユーザが予め任意に設定した開始時刻等の時間情報を格納し得るようになされており、ＣＰＵ７０はウェイクアッププログラム７４に基づいてＲＴＣ８１から与えられる現在時刻が任意に設定した開始時刻になったか否かを検出し、開始時刻になると所定の処理を実行する。
【００３６】
さらにキー対応アプリケーションレジスタ８０は、ＰＰＫキー１０や予め設定された操作キー４の組み合わせに対応して、ＰＰＫキー１０や複数の組み合わせでなる操作キー４と起動すべきアプリケーションとの対応関係を記憶しており、ＣＰＵ７０はＰＰＫキー１０や予め設定された組み合わせの操作キー４が押下されたときに、対応するアプリケーションを立ち上げるための制御データをＩＳＡバス５９及びＰＣＩバス５１を順次介してＣＰＵ５２に送出し、当該ＣＰＵ５２によって制御データに応じたアプリケーションを立ち上げる。
【００３７】
またＬＥＤ制御レジスタ７９は、キー対応アプリケーションレジスタ８０に記憶したアプリケーションが立ち上げられて動作が終了すると終了フラグを格納し、ＣＰＵ７０はＬＥＤ制御プログラム７６に基づいてＬＥＤ制御レジスタ７９に終了フラグが格納されていることを検出すると、メッセージランプＭＬを点灯する。
【００３８】
なおＬＥＤ制御レジスタ７９は、電源スイッチ４０が押下されると電源フラグを格納し、バッテリから供給される電源電圧で本体２が動作するときには電池フラグを格納する。従ってＣＰＵ７０は、ＬＥＤ制御プログラム７６に基づいて電源フラグ又は電池フラグが格納されていることを検出すると、電源ランプＰＬ及び電池ランプＢＬを点灯する。
【００３９】
ここでＩ／Ｏコントローラ６１には、バックアップ用のバッテリ８２が接続されていることにより、本体２の電源スイッチ４０がオフで図示しない電源から電力の供給がなされていない状態でもＲＡＭ７２のキー入力ステイタスレジスタ７７、設定時刻レジスタ７８、ＬＥＤ制御レジスタ７９及びキー対応アプリケーションレジスタ８０の各データを保持するようになされている。
【００４０】
またＩ／Ｏコントローラ６１に接続された反転スイッチ８８は、撮像部２２（図１）が表示部３の液晶ディスプレイ２１の反対側を撮像する方向に１８０度回転されたときオンされ、その状態をＣＰＵ７０に通知する。またＰＰＫキー１０も、反転スイッチ８８が押下されたときと同様に、その状態をＣＰＵ７０に通知する。
【００４１】
さらに半押しスイッチ８６は、本体２の上面に設けられたシャッタボタン７が半押し状態にされたときオンしてその状態をＩ／Ｏコントローラ６１のＣＰＵ７０に通知し、全押しスイッチ８７はシャッタボタン７が全押し状態にされたときオンしてその状態をＩ／Ｏコントローラ６１のＣＰＵ７０に通知するようになされている。
【００４２】
すなわちＩ／Ｏコントローラ６１のＣＰＵ７０は、ハードディスクドライブ６０のキャプチャーソフトウェア６０Ａを立ち上げた状態で、ユーザによってシャッタボタン７が半押し状態にされると静止画像モードに入り、ＣＣＤカメラ２３を制御して静止画像のフリーズを実行し、全押し状態にされるとフリーズされた静止画像データを取り込み、データ処理部８５に送出する。
【００４３】
これに対してＩ／Ｏコントローラ６１のＣＰＵ７０は、キャプチャーソフトウェア６０Ａを立ち上げない状態で動画像モードに入ると、最大６０秒程度までの動画像を取り込み、データ処理部８５に送出する。
【００４４】
またＩ／Ｏコントローラ６１は、ＰＣＩバス５１に接続されているグラフィックス処理回路５５を制御するようになされており、ＣＣＤカメラ２３によって取り込まれた静止画又は動画でなる画像データをデータ処理部８５によって所定のデータ処理を施した後にグラフィックス処理回路５５に入力する。
【００４５】
グラフィックス処理回路５５は、供給された画像データを内蔵のＶＲＡＭ(Video Random Access Memory)５５Ａに格納して適宜読み出した後ＬＣＤコントローラ６５に送出し、必要に応じてハードディスクドライブ６０に格納する。
【００４６】
ＬＣＤコントローラ６５は、表示部３のバックライト８４を制御して液晶ディスプレイ２１の後方から照明すると共に、グラフィックス処理回路５５から供給された画像データを液晶ディスプレイ２１に出力して表示させるようになされている。
【００４７】
一方、ＣＰＵ５２はハードディスクドライブ６０から読み出したディジタル地図ソフトウェア６０ＢをＲＡＭ５４上に立ち上げた場合、当該ディジタル地図ソフトウェア６０Ｂによる地図データをグラフィックス処理回路５５に送出する。
【００４８】
このときグラフィックス処理回路５５は、供給された地図データに基づいて液晶ディスプレイ２１に表示する地図画像データを生成してＶＲＡＭ５５Ａに格納し、適宜読み出してＬＣＤコントローラ６５に送出する。
【００４９】
これによりＬＣＤコントローラ６５は、グラフィックス処理回路５５から供給された地図画像データに基づいて表示部３の液晶ディスプレイ２１に地図画像を表示させるようになされている。
【００５０】
またＰＣＩバス５１に接続されているＰＣカードスロット５３は、オプション機能を追加するときにＰＣカード（図示せず）を介して適宜装着され、当該ＰＣカードを介してＣＰＵ５２とデータを授受するようになされている。例えばＰＣカードスロット５３にＰＣＭＣＩＡ型のＧＰＳ(Global Positioning System)カード５７が装着された場合、当該ＧＰＳカード５７に接続されるＧＰＳアンテナ５８によりＧＰＳ衛星からの電波を受信して現在位置データを得るようになされている。
【００５１】
これによりＧＰＳカード５７は、ＧＰＳアンテナ５８を介して受信した現在位置データ（緯度データ、経度データ及び高度データ）をＰＣＩバス５１を介してＣＰＵ５２へ送出する。
【００５２】
この場合ＣＰＵ５２は、現在位置データをグラフィックス処理回路５５に送出し、当該グラフィックス処理回路５５により現在位置データに基づく現在位置を示す矢印アイコンを生成した後、ＬＣＤコントローラ６５を介して液晶ディスプレイ２１の地図画像に矢印アイコンを重ねた状態で表示するようになされている。
【００５３】
かくして液晶ディスプレイ２１は、ＧＰＳカード５７によって検出した位置データを基に矢印アイコンを地図画像上で移動させながら表示し得るようになされている。
【００５４】
（３）本発明におけるＯＳのシステム構成
ここでハードディスク６０に格納されているＯＳは、主としてソフトウェアによって実現され、各種システム機能を呼び出すためのシステム関数群からなる図示しないＡＰＩ(Application Program Interface) を備えており、ＡＰＩを介してＯＳ上でアプリケーションを起動することにより、液晶ディスプレイ２１にアプリケーション画面を表示するようになされている。
【００５５】
またＯＳは、アプリケーション画面上のカーソルで指定された文字列を抽出し、当該抽出した文字列の種類（例えば、抽出した文字列が住所、電話番号又は電子メールアドレス等のいずれであるか）を判定すると共に、判定した文字列の情報そのもの（住所、電話番号又は電子メールアドレス）を求め、文字列の種類に対応して実行し得る複数種類の関連したアプリケーションのうちユーザによって選択されたアプリケーションに対して文字列の情報を供給して実行させる情報種類対応システムを一部に有している。
【００５６】
図７に示すように情報種類対応システム１００は、コンピュータ装置１における液晶ディスプレイ２１のアプリケーション画面上でユーザのマウス操作によってカーソルがテキスト文書上の文字列に重ねられると、文字列取込部１０１によってカーソルが重ねられている部分の前後数文字分に相当する文字列Ｄ１を取り込み、文字列解析部１０２に送出する。
【００５７】
ここでＯＳは、文字列にカーソルが重ねられると、当該重ねられた部分の前後数文字分がカーソルで見えなくなることを防ぐために再表示を行うが、この再表示を行うときにアプリケーションからＡＰＩに再度供給される文字列を文字列取込部１０１によって取り込むようになされている。
【００５８】
例えば図８に示すように、「Phone:03-5448-○△△×」とアプリケーション画面上に表示された文字列にカーソルが重ねられると、文字列取込部１０１はカーソルが重ねられている部分の前後数文字分に相当する文字列「Phone:03-5448-○△△×」を取り込むようになされている。ここで、文字列取込部１０１が取り込むべき前後数文字分の範囲は予め設定されているが、任意に設定変更可能である。
【００５９】
文字列解析部１０２は、例えば住所データベース、電話番号データベース、郵便番号データベース等を含む解析用データベース１０２Ａを所有しており、文字列取込部１０１から供給された文字列Ｄ１（「Phone:03-5448-○△△×」）を解析用データベース１０２Ａのフォーマットに従って比較参照し、当該フォーマットに合致するか否かを調べる。
【００６０】
これにより文字列解析部１０２は、供給された文字列Ｄ１のフォーマットに従って情報の種類（この場合の文字列Ｄ１の種類は電話番号である）を判定した後、電話番号に該当する部分の文字列データだけ（すなわち「03-5448-○△△×」）を取り出し、文字列の種類（電話番号）を示す種類ＩＤと文字列データＤ２（「03-5448-○△△×」）とをメニュー表示部１０３に送出する。
【００６１】
メニュー表示部１０３は、文字列解析部１０２から供給された種類ＩＤを関連付管理部１０４に送出する。関連付管理部１０４は、文字列の種類に対応して実行し得る複数種類のアプリケーションに関するアプリ情報の一覧からなる関連付データベース１０４Ａを所有しており、メニュー表示部１０３から供給された種類ＩＤに基づいて関連付データベース１０４Ａから対応するアプリ情報Ｄ３を検索して取り出し、これをメニュー表示部１０３へ送り返す。
【００６２】
メニュー表示部１０３は、関連付管理部１０４から供給されたアプリ情報Ｄ３に基づいて、文字列の種類に対応して実行し得る複数種類のアプリケーションのアプリ選択メニューを追加して新たなポップアップメニューを生成し、これを液晶ディスプレイ２１のアプリケーション画面上に表示する。
【００６３】
すなわち、図９に示すようにアプリケーション画面上では、電話番号が表示されている文字列にカーソルが重ねられると、文字列解析部１０２によってその文字列の種類が電話番号であると判定され、メニュー表示部１０３によって電話番号に基づいて実行し得るアプリケーションを示す３種類のアプリ選択メニューＭ１がポップアップメニューＰＭ２に表示される。
【００６４】
そしてメニュー表示部１０３は、アプリ選択メニューＭ１の追加されたポップアップメニューＰＭ２の中からユーザのマウス操作によって所望のアプリケーションが選択されたことを検出すると、選択信号Ｓ１をディスパッチ部１０５に送出する。
【００６５】
ディスパッチ部１０５は、メニュー表示部１０３から供給された選択信号Ｓ１を関連付管理部１０４に送出し、当該関連付管理部１０４から選択信号Ｓ１に対応したアプリケーションのファイル名Ｆ１の供給を受ける。これによりディスパッチ部１０５は、ファイル名Ｆ１に対応するアプリケーションをハードディスク６０から読み出し、当該アプリケーションをＡＰＩを介してＯＳ上で起動させた後に文字列データＤ２をアプリケーションに供給して所望の処理を実行するようになされている。
【００６６】
実際上、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話番号から個人情報を検索」がユーザによって選択されると、ディスパッチ部１０５は「AAAA Phone」と記入されたファイル名に対応する個人情報検索アプリケーションを起動させて、与えられた文字列データＤ２(03-5448-○△△×)に基づいて電話番号から個人情報を検索する処理を実行させる。
【００６７】
または、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話をかける」がユーザによって選択されると、ディスパッチ部１０５は[BBBB Phone]と記入されたファイル名に対応する自動発呼アプリケーションを起動させて、与えられた文字列データＤ２（03-5448-○△△×）に基づく電話番号に対して電話をかける処理を実行させる。
【００６８】
あるいは、ポップアップメニューＰＭ２のアプリ選択メニューＭ１の中から「電話番号から地図を表示」がユーザによって選択されると、ディスパッチ部１０５は[CCCC Map]と記入されたファイル名に対応する地図アプリケーションを起動させて、与えられた文字列データＤ２（03-5448-○△△×）の電話番号に対応した地図上の位置を検索し、その領域を表した地図を表示する処理を実行させる。
【００６９】
次に、コンピュータ装置１においてＯＳの情報種類対応システム１００によってカーソルで指定されたテキスト文書上の文字列の種類に応じたアプリケーションを自動的に連携させて処理するまでの処理手順を図１０のフローチャートを用いて説明する。
【００７０】
情報種類対応システム１００は、ＲＴ１の開始ステップから入ってステップＳＰ１に移る。ステップＳＰ１において情報種類対応システム１００は、文字列取込部１０１によってアプリケーション画面におけるテキスト文書上の文字列に重ねられたカーソルが所定時間以上停止したことを検出すると、次のステップＳＰ２に移る。
【００７１】
ステップＳＰ２において情報種類対応システム１００は、文字列取込部１０１によってカーソルが重ねられた部分の文字列を抽出し、次のステップＳＰ３に移る。
【００７２】
ステップＳＰ３において情報種類対応システム１００は、文字列取込部１０１によって抽出された文字列Ｄ１が表す情報の種類を文字列解析部１０２によって解析した後に文字列データＤ２を求めて、次のステップＳＰ４に移る。
【００７３】
ステップＳＰ４において情報種類対応システム１００は、文字列解析部１０２によって文字列Ｄ１が表す情報の種類が特定できたか否かを判定する。ここで否定結果が得られると、このことは解析用データベース１０２Ａを検索した結果、文字列Ｄ１が表す情報の種類を特定し得なかったことを表しており、このとき情報種類対応システム１００は、次のステップＳＰ５に移る。
【００７４】
ステップＳＰ５において情報種類対応システム１００は、文字列解析部１０２によって文字列Ｄ１が表す情報の種類を特定し得なかったので、通常のポップアップメニューＰＭ１（図１２）を表示し、ステップＳＰ１２に移って処理を終了する。
【００７５】
これに対してステップＳＰ４において肯定結果が得られると、このことは文字列Ｄ１が表す情報の種類を特定し得たことを表しており、このとき情報種類対応システム１００は、文字列解析部１０２から文字列の種類を表す種類ＩＤをメニュー表示部１０３に送出し、次のステップＳＰ６に移る。
【００７６】
ステップＳＰ６において情報種類対応システム１００は、メニュー表示部１０３が関連付管理部１０４から種類ＩＤに対応したアプリケーションのアプリ情報Ｄ３を取得する処理を実行し、次のステップＳＰ７に移る。
【００７７】
ステップＳＰ７において情報種類対応システム１００は、メニュー表示部１０３によって種類ＩＤに対応したアプリケーションが存在するか否かを判定する。
【００７８】
ここで否定結果が得られると、このことはメニュー表示部１０３が関連付管理部１０４から種類ＩＤに対応したアプリケーションのアプリ情報Ｄ３を取得しておらず、種類ＩＤに対応したアプリケーションが存在していないことを表しており、このとき情報種類対応システム１００はステップＳＰ１２に移って処理を終了する。
【００７９】
これに対してステップＳＰ７において肯定結果が得られると、このことは種類ＩＤに対応したアプリケーションが存在していることを表しており、このとき情報種類対応システム１００は次のステップＳＰ８に移る。
【００８０】
ステップＳＰ８において情報種類対応システム１００は、メニュー表示部１０３が関連付管理部１０４から供給されたアプリ情報Ｄ３に基づいて、文字列の種類に対応して実行し得る複数種類のアプリケーションのアプリ選択メニューＭ１を追加したポップアップメニューＰＭ２を表示し、次のステップＳＰ９に移る。
【００８１】
ステップＳＰ９において情報種類対応システム１００は、ポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれかがユーザによって選択されたか否かをメニュー表示部１０３が判定する。
【００８２】
ここで否定結果が得られると、このことはポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれも選択されなかったことを表しており、このとき情報種類対応システム１００はステップＳＰ１２に移って処理を終了する。
【００８３】
これに対してステップＳＰ９において肯定結果が得られると、このことはポップアップメニューＰＭ２のうちアプリ選択メニューＭ１のいずれかが選択されたことを表しており、このとき情報種類対応システム１００は次のステップＳＰ１０に移る。
【００８４】
ステップＳＰ１０において情報種類対応システム１００は、選択されたアプリケーションのファイル名Ｆ１を関連付管理部１０４から供給され、当該ファイル名に対応するアプリケーションをディスパッチ部１０５がＡＰＩを介してＯＳ上で起動させ、次のステップＳＰ１１に移る。
【００８５】
ステップＳＰ１１において情報種類対応システム１００は、ディスパッチ部１０５によって起動したアプリケーションに対して抽出した文字列データＤ２を供給し、当該アプリケーションによって文字列データＤ２を用いた処理を実行し、次のステップＳＰ１２に移って処理を終了する。
【００８６】
（４）本実施の形態における動作及び効果
以上の構成において、コンピュータ装置１は情報種類対応システム１００によってテキスト文書上のカーソルが重ねられた部分の文字列Ｄ１を抽出して当該文字列Ｄ１の表す情報の種類を解析し、当該解析した種類に対して関連するアプリケーションを連携させ、その連携した状態をアプリ選択メニューＭ１としてポップアップメニューＰＭ２に表示する。
【００８７】
そしてコンピュータ装置１は、ポップアップメニューＰＭ２に表示したアプリ選択メニューＭ１のうちいずれかがユーザによって選択されると、当該選択されたアプリケーションを起動させて文字列データＤ２を供給し、当該文字列データＤ２に基づく所定の処理をアプリケーションを介して実行する。
【００８８】
このようにコンピュータ装置１は、抽出した文字列Ｄ１の表す情報の種類を解析し、当該情報の種類に対して関連するアプリケーションを起動して文字列データＤ２を供給することによりアプリケーションと文字列データＤ２とを連携させることにより、ユーザにとっては文字列をカーソルで指定した後、アプリ選択メニューＭ１の中から所望のアプリケーションを選択するだけで文字列の種類に対応したアプリケーションの処理を迅速に実行させることができ、かくして従来のように煩雑なカットアンドペースト操作を実行する必要がなく、短時間で処理を実行し得ると共にユーザの操作性を一段と向上することができる。
【００８９】
またコンピュータ装置１は、ファイルの中の文字列が表す情報の種類に応じたアプリケーションと文字列データＤ２とを連携させることができるので、従来のようなファイルの種類毎にアプリケーションを連携させる場合に比べて情報の種類毎に対応した一段と細かなアプリケーションの連携を実現して利便性を大幅に向上することができる。
【００９０】
以上の構成によれば、コンピュータ装置１は抽出した文字列Ｄ１の表す情報の種類を解析し、当該解析結果である情報の種類に応じたアプリケーションと文字列データＤ２とを連携させて処理を実行させることにより、ユーザによる文字列Ｄ１のカーソル指定操作とアプリケーションの選択操作だけで文字列Ｄ１とアプリケーションとの連携を行って所望の処理を一段と容易に実行することができる。
【００９１】
（５）他の実施の形態
なお上述の実施の形態においては、情報取込手段としての文字列取込部１０１によって表示手段としての液晶ディスプレイ２１に表示されているテキスト文書上のカーソルが重ねられた部分の文字列を抽出するようにした場合について述べたが、本発明はこれに限らず、画像文字抽出手段としてのＯＣＲ(Optical Character Reader)装置を用いてＣＣＤカメラ２３によって撮像された画像の中から文字列を抽出したり、また所定の音声認識手段によってマイク等から入力した音声を音声認識した後に文字列に変換したり、さらにユーザの視線を追尾する視線追尾装置によって検出されたユーザの注目する文字列を抽出するようにしても良く、要はユーザが注目すべき情報を抽出し得れば他の種々の情報取込手段を用いるようにしても良い。この場合にも、上述の実施の形態と同様の効果を得ることができる。
【００９２】
ここでＯＣＲ装置は、ＣＣＤカメラ２３によって撮像された画像中の文字列を解析し、文字認識エンジンを用いて認識することにより文字列を抽出するようになされている。
【００９３】
また視線追尾装置としては、ヘッドマウントディスプレイの表示部に表示されたアプリケーション画面を注視しているユーザの視線を追尾して検出し、当該視線の停止した注視点位置の文字列を抽出するようになされている。
【００９４】
実際上、図１１に示すようにヘッドマウントディスプレイでは、視線検知部１３０Ｌ及び１３０Ｒを内部に有し、赤外線光を投光する発光ダイオード（ＬＥＤ）等の光源１６１から出射した光束が投光レンズ１６２及びハーフミラー１６３を介して透過した後に眼球３００の角膜３０１で反射すると、当該反射した角膜反射象がハーフミラー１６３及び受光レンズ１６４を介してＣＣＤ(Charge Coupled Device) 等でなる光電変換素子１６５に結像され、当該光電変換素子１６５の結像位置Ｚｄｄを注視点位置処理部１３１Ｌ及び１３１Ｒに送出する。
【００９５】
続いて視線検知部１３０Ｌ及び１３０Ｒは、角膜３０１で反射した赤外線光の一部により生成される虹彩３０３の両端部の反射象ａ及びｂが結像位置Ｚａａ及びＺｂｂに結象され、当該結像位置Ｚａａ及びＺｂｂを注視点位置処理部１３１Ｌ及び１３１Ｒに送出する。これにより注視点位置処理部１３１Ｌ及び１３１Ｒは、角膜反射象の結像位置Ｚｄｄ、反射象ａ及びｂの結像位置Ｚａａ及びＺｂｂの位置関係に基づいて眼球３００の眼球光軸Ｂの回転角θｂ（視線方向）を求めることができ、かくしてユーザの視線が停止した注視点位置を検出し得るようになされている。
【００９６】
また上述の実施の形態においては、情報種類対応システム１００をコンピュータ装置１のＯＳの一部として用いるようにした場合について述べたが、本発明はこれに限らず、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory) 、ＤＶＤ(Digital Video Disc)等のパッケージメディア、プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク、さらにローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体及びこれらの通信媒体を介して提供されるプログラムを転送もしくは受信するルータやモデム等の各種通信インターフェース等の提供媒体によって提供されるアプリケーションとして用いるようにしても良い。
【００９７】
さらに上述の実施の形態においては、情報種類解析手段としての文字列解析部１０２により文字列Ｄ１の種類を電話番号であると解析し、連携手段及び起動手段としてのディスパッチ部１０５によって個人情報検索アプリケーション、自動発呼アプリケーション又は地図アプリケーションを起動して文字列データＤ２との連携を行うようにした場合について述べたが、本発明はこれに限らず、種々のデータベースを追加することにより郵便番号、住所、緯度経度、当該緯度経度を表すマップコード、電子メールアドレス、ＵＲＬ(Uniform Resource Locator)、日時、金額の単位、又はｋｍ、ｋｇ、ｃｍ、ｙａｒｄ……等の汎用的な単位を文字列の種類として解析し、郵便番号が定義されている地図上の位置を検索して示す郵便番号位置検索アプリケーション、住所に対応する地図上の位置を検索して示す住所位置検索アプリケーション、緯度経度に対応する地図上の位置を検索して示す緯度経度検索アプリケーション、マップコードに対応する地図上の位置を検索して示すマップコード検索アプリケーション、電子メールアドレスに対して電子メールを送信する電子メール送信アプリケーション、ＵＲＬに基づいてホームページを開くＨＴＭＬ(Hyper Text Markup Language)ブラウザ、日時に対応したカレンダや予定表を開くスケジューラアプリケーション、所定の金額を他の貨幣の単位に応じた金額に自動換算する貨幣換算アプリケーション、又は単位に応じた数値を用いて種々の計算を行う電子計算機アプリケーション、郵便番号、住所、緯度経度、マップコード、電子メールアドレス又はＵＲＬを基に個人情報を検索する個人情報検索アプリケーションをディスパッチ部１０５によって起動して文字列データＤ２とそれぞれ連携させるようにしても良い。
【００９８】
さらに上述の実施の形態においては、アプリケーション画面に表示されたテキスト文書上でカーソルが重ねられた部分の文字列を抽出するようにした場合について述べたが、本発明はこれに限らず、アプリケーション画面に表示されたＨＴＭＬ(Hyper Text Markup Language)文書、ＸＭＬ(eXtensible Markup Language)文書上でカーソルが重ねられた部分の文字列を抽出するようにしても良い。
【００９９】
【発明の効果】
上述のように本発明によれば、複数のアプリケーションを記憶する記憶手段と、画像データを撮像する撮像手段と、撮像手段によって撮像された画像データを取り込む画像データ取込手段と、画像データに対するユーザの視線を追尾して検出する視線追尾検知部を有し、当該視線追尾検知部を用いて、画像データ取込手段によって取り込まれた画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出手段と、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出手段によって抽出された文字列に応じた処理を実行させる処理可変手段とを設けることにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得る操作性の優れた情報処理装置を実現できる。
【０１００】
また本発明によれば、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを画像データ取込手段によって取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出手段によって抽出する抽出ステップと、識別情報に対応したアプリケーションを処理可変手段により記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を処理可変手段により実行させる処理ステップとを有するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得る操作性の優れた情報処理方法を実現できる。
【０１０１】
さらに本発明によれば、コンピュータに、複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、画像データを撮像手段により撮像する撮像ステップと、撮像ステップで撮像された画像データを取り込む画像データ取込ステップと、画像データ取込ステップで取り込まれた画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、画像データ上でユーザの視線が停止した注視点位置の文字列を抽出し、さらに文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じてアプリケーションを特定するための識別情報を抽出する抽出ステップと、識別情報に対応したアプリケーションを記憶手段から読み出して起動させ、抽出ステップで抽出された文字列に応じた処理を実行させる処理ステップとを実行させるためのプログラムを記録するようにしたことにより、画像データに対してユーザの視線が停止した注視点位置の文字列に対する情報の種類を判別し、その判別した情報の種類に対応したアプリケーションを起動し、文字列に応じた処理を実行させることができるので、文字列を入力する手間や、複数の中から当該文字列に対応するアプリケーションをユーザに選択させて起動する手間を省略し、画像中の文字列をユーザに対して注視させさえすれば、当該文字列に適した処理を直ちに実行することができ、かくして取り込んだ情報の種類に応じて次の処理を変化させ得るプログラムを提供し得る記録媒体を実現できる。
【図面の簡単な説明】
【図１】本発明によるコンピュータ装置の構成を示すブロツク図である。
【図２】本体の正面構成を示す略線図である。
【図３】本体に対して表示部を閉鎖した状態を示す略線図である。
【図４】本体に対して表示部を１８０度開いた状態を示す略線図である。
【図５】本体の下面構成を示す略線図である。
【図６】コンピュータ装置の回路構成を示すブロック図である。
【図７】ＯＳの一部に含まれている情報種類対応システムの構成を示すブロック図である。
【図８】文字列にカーソルが重ねられた状態を示す略線図である。
【図９】カーソルで指定された文字列の種類に対応したアプリ選択メニューを含むポップアップメニュー表示を示す略線図である。
【図１０】情報種類対応システムにおける処理手順を示すフローチャートである。
【図１１】他の実施の形態における視線追尾装置の構成を示す略線図である。
【図１２】従来の通常のポップアップメニュー表示を示す略線図である。
【符号の説明】
１……コンピュータ装置、２……本体、３……表示部、２１……液晶ディスプレイ、５２……ＣＰＵ、５４……ＲＡＭ、６０……ハードディスク、１００……情報種類対応システム、１０１……文字列取込部、１０２……文字列解析部、１０３……メニュー表示部、１０４……関連付管理部、１０５……ディスパッチ部。
Claims (4)
- 複数のアプリケーションを記憶する記憶手段と、
画像データを撮像する撮像手段と、
上記撮像手段によって撮像された上記画像データを取り込む画像データ取込手段と、
上記画像データに対するユーザの視線を追尾して検出する視線追尾検知部を有し、当該視線追尾検知部を用いて、上記画像データ取込手段によって取り込まれた上記画像データ上で上記ユーザの視線が停止した注視点位置の文字列を抽出し、さらに上記文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じて上記アプリケーションを特定するための識別情報を抽出する抽出手段と、
上記識別情報に対応した上記アプリケーションを上記記憶手段から読み出して起動させ、上記抽出手段によって抽出された上記文字列に応じた処理を実行させる処理可変手段と
を具える情報処理装置。 - 上記視線追尾検知部は、光源から出射した光束が上記ユーザの角膜で反射したときの角膜反射像における結像位置を基に上記注視点位置を検出し、当該注視点位置の文字列を抽出する
請求項１に記載の情報処理装置。 - 複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、
画像データを撮像手段により撮像する撮像ステップと、
上記撮像ステップで撮像された上記画像データを画像データ取込手段によって取り込む画像データ取込ステップと、
上記画像データ取込ステップで取り込まれた上記画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、上記画像データ上で上記ユーザの視線が停止した注視点位置の文字列を抽出し、さらに上記文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じて上記アプリケーションを特定するための識別情報を抽出手段によって抽出する抽出ステップと、
上記識別情報に対応した上記アプリケーションを処理可変手段により上記記憶手段から読み出して起動させ、上記抽出ステップで抽出された上記文字列に応じた処理を上記処理可変手段により実行させる処理ステップと
を有する情報処理方法。 - コンピュータに、
複数のアプリケーションを記憶手段に対して予め記憶しておく記憶ステップと、
画像データを撮像手段により撮像する撮像ステップと、
上記撮像ステップで撮像された上記画像データを取り込む画像データ取込ステップと、
上記画像データ取込ステップで取り込まれた上記画像データに対するユーザの視線を追尾して検出する視線追尾検知部により、上記画像データ上で上記ユーザの視線が停止した注視点位置の文字列を抽出し、さらに上記文字列を解析することにより当該文字列に対応した情報の種類を判別し、当該情報の種類に応じて上記アプリケーションを特定するための識別情報を抽出する抽出ステップと、
上記識別情報に対応した上記アプリケーションを上記記憶手段から読み出して起動させ、上記抽出ステップで抽出された上記文字列に応じた処理を実行させる処理ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13501099A JP4697819B2 (ja) | 1999-05-14 | 1999-05-14 | 情報処理装置、情報処理方法及び記録媒体 |
| US09/569,251 US7428569B1 (en) | 1999-05-14 | 2000-05-11 | Information processing apparatus, information processing method, and provision medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13501099A JP4697819B2 (ja) | 1999-05-14 | 1999-05-14 | 情報処理装置、情報処理方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000330681A JP2000330681A (ja) | 2000-11-30 |
| JP4697819B2 true JP4697819B2 (ja) | 2011-06-08 |
Family
ID=15141831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13501099A Expired - Fee Related JP4697819B2 (ja) | 1999-05-14 | 1999-05-14 | 情報処理装置、情報処理方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4697819B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004015619A1 (ja) * | 2002-08-07 | 2004-02-19 | Matsushita Electric Industrial Co., Ltd. | 文字認識処理装置及び文字認識処理方法、並びに携帯端末装置 |
| ES2365520T3 (es) * | 2004-07-21 | 2011-10-06 | J-Data Co., Ltd. | Teléfono móvil, y terminal de información móvil. |
| CN101523350A (zh) | 2006-09-29 | 2009-09-02 | 株式会社爱可信 | 文档处理装置以及程序 |
| US7962444B2 (en) * | 2008-05-19 | 2011-06-14 | Qualcomm Incorporated | System and method for presenting a contextual action for an indicator |
| JP6398987B2 (ja) * | 2013-11-01 | 2018-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2015043236A (ja) * | 2014-11-17 | 2015-03-05 | 富士通株式会社 | 情報提供装置、情報提供方法及びプログラム |
-
1999
- 1999-05-14 JP JP13501099A patent/JP4697819B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000330681A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100674402B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
| JP3786166B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US20020006222A1 (en) | Information processing apparatus, method of displaying movement recognizable standby state, method of showing recognizable movement, method of displaying movement recognizing process, and program storage medium | |
| JP4674644B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム媒体 | |
| US20030052907A1 (en) | Information processing apparatus and method, and distribution medium | |
| KR20070089919A (ko) | 개선된 상황에 따른 사용자 보조 | |
| WO2010047336A1 (ja) | 画像撮影システム及び画像撮影方法 | |
| US8341522B2 (en) | Enhanced contextual user assistance | |
| WO2020019220A1 (zh) | 在预览界面中显示业务信息的方法及电子设备 | |
| US7451090B2 (en) | Information processing device and information processing method | |
| US20030056175A1 (en) | Information processing method and apparatus | |
| US20130238991A1 (en) | Enhanced Contextual User Assistance | |
| CN111881315A (zh) | 图像信息输入方法、电子设备及计算机可读存储介质 | |
| CN111935516B (zh) | 音频文件的播放方法、装置、终端、服务器及存储介质 | |
| CN112632445A (zh) | 网页播放方法、装置、设备及存储介质 | |
| US8260268B2 (en) | Method for transmitting and receiving data in mobile terminal and mobile terminal using the same | |
| JP4697819B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
| KR101871779B1 (ko) | 사진 촬영 및 관리 어플리케이션을 구비한 단말기 | |
| US7428569B1 (en) | Information processing apparatus, information processing method, and provision medium | |
| JP4352287B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム媒体 | |
| JP4318004B2 (ja) | 情報授受システム、情報授受方法、情報処理装置、情報処理方法及び記録媒体 | |
| JP4314502B2 (ja) | 情報処理装置及び情報処理方法 | |
| US20070284450A1 (en) | Image handling | |
| JP4340938B2 (ja) | 情報処理装置、情報処理方法、およびプログラム格納媒体 | |
| JP2009135715A (ja) | コンテンツ起動携帯端末装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081030 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090226 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110225 |
|
| LAPS | Cancellation because of no payment of annual fees |