JP4574188B2

JP4574188B2 - 情報処理装置

Info

Publication number: JP4574188B2
Application number: JP2004046809A
Authority: JP
Inventors: 勝彦秋山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-02-23
Filing date: 2004-02-23
Publication date: 2010-11-04
Anticipated expiration: 2024-02-23
Also published as: JP2005235116A

Description

本発明は、マウスやタブレット、カメラ、マイク等の入力デバイスを備えた情報処理装置（タブレットＰＣ、ＰＤＡなど）に関し、特に、手書き文字、手書き図形、音声、画像などを認識して入力する際の処理に特徴を有する情報処理装置に関する。

従来、キーボード入力以外に、タブレット上への手書き文字または手書き図形入力、あるいは、マウス等のポインティングデバイスを操作することによる手書き文字または手書き図形入力が可能な情報処理装置が知られている。このような情報処理装置は、キーボードが不要であることから、特に、携帯型の情報処理端末として広く用いられている。

従来の手書き文字（または図形）入力が可能な情報処理装置では、多くの場合、表示画面上に、図６（ａ）に示すような手書き文字入力ウィンドウ８１を表示し、文字記入枠８２に電子ペン８８を用いてユーザが書き込んだ手書き文字を認識し、認識結果として得られるテキストを、認識結果表示欄８３に提示する。認識結果が正しくない場合もあるので、ユーザは、必要に応じて、認識結果表示欄８３に表示されたテキストに対して訂正操作が可能である。ユーザが送出ボタン８４を押すと、図６（ｂ）に示すように、認識結果テキストが、同表示画面上のテキスト表示領域８５内のカーソル８６のあった位置に送出される。なお、テキスト表示領域８５は、ユーザが入力したテキストを表示するための領域であり、ユーザは、この領域に表示されたテキストに対して、削除、挿入、上書きや、書式の設定・変更など、様々な編集作業を行うことができる。なお、このような手書き文字を利用した情報処理装置の一例が、特許文献１に開示されている。

ＰＤＡ(Personal Digital Assistant)のような小型の機器では、上述したような認識結果表示欄や送出ボタンを持たず、テキスト表示領域内のカーソル位置に認識結果を直接表示する場合もある。ただし、送出ボタンを持たない場合でも、送出ボタンの代わりに、ユーザが認識結果の承認または誤認識訂正の完了をシステムに伝えるための確定ボタン等を備えていることが多い。

手書き図形認識や音声認識、画像認識においても、ある程度汎用的な用途では、手書き文字認識の場合と同様、認識結果の表示・修正・送出を行うための専用のウィンドウを開き、ユーザの操作に従い、その時点でアクティブになっているウィンドウのテキスト表示領域へ、認識結果が送られるようになっている場合がある。
特開２００２−２２２３８８号公報

手書き文字認識による文字入力では、上述のように、手書き文字認識・誤認識訂正の後、認識結果をテキスト表示領域内のカーソル位置に送出する。この送出の際によく起こる問題として、ユーザの意図しない位置へ認識結果が送出されてしまうという事象がある。この問題の主な原因は、認識結果の送出先がテキスト表示領域内のカーソルだけで示されていることにある。キーボードによる文字入力では、ユーザの注意は画面上のカーソルに向けられるため、文字入力位置がカーソルのみで示されていたとしても、意図しない位置へ文字が入力される可能性は少ない。しかし、手書き文字認識による文字入力では、ユーザの注意は、基本的に、手書き文字入力ウィンドウに集中しがちであるため、テキスト表示領域内の意図しない位置にカーソルがあったとしても、気づかない可能性が少なからずある。また、カーソルが、認識したテキストを送出できない位置にある場合（例えば、カーソルが非アクティブウィンドウにある場合や、アイコンを指していたりする場合）に、データを送出する操作を行うと、送出したはずのデータの消失を招くこともある。

認識結果をテキスト表示領域内のカーソル位置に直接表示する方式（インライン方式）では、手書き入力に従って、逐次、カーソル位置に認識結果が現れるため、ユーザは自然とカーソル位置に注意を向けるようになり、このような問題は比較的起きにくい。しかし、これは、認識結果がカーソル位置に既に現れている場合であり、最初の一文字目を入力する段階では、意図しない位置にカーソルがあったとしても気づかないことがある。

手書き図形認識や、音声認識、画像認識においても、認識用のウィンドウを開いて任意の入力領域に認識結果を送出するような利用形態の場合において、同様の問題が起こる。

上記問題を解決するため、本発明にかかる情報処理装置は、表示部と、手書き文字、手書き図形、音声、および画像から選ばれる少なくとも一種類の情報を入力する入力部と、前記入力部により入力された情報を認識しテキスト情報に変換する入力情報変換部とを備え、前記入力情報変換部による認識結果を前記表示部の表示画面内の認識結果表示領域に表示し、表示された認識結果に対して操作者による黙示または明示の確定操作があった後に、前記認識結果をテキスト情報として前記表示部の表示画面内のテキスト表示領域に表示する情報処理装置において、前記テキスト表示領域におけるテキスト入力位置を表すカーソル位置情報を取得するカーソル位置取得部と、前記表示画面内での前記認識結果表示領域の表示位置を表す認識結果表示位置情報を取得する認識結果表示位置取得部と、前記カーソル位置情報と前記認識結果表示位置情報とに基づき、前記表示画面内で前記認識結果表示領域から前記テキスト入力位置へ向かう入力位置指示図形の構成点座標を算出する座標計算部と、前記座標計算部により算出された構成点座標に基づいて、前記表示部の表示画面に入力位置指示図形を表示する表示制御部とを備えたことを特徴とする。

この構成により、認識結果表示領域からテキスト表示領域におけるテキスト入力位置（カーソル位置）に向かう入力位置指示図形を表示することができる。これにより、手書き文字や手書き図形、音声、または画像を認識し、認識結果としてのテキストを表示領域へ送出する際、送出先を従来よりもはっきりとユーザに提示できる。従って、望まない入力欄へのデータ送出や送出したデータの消失などを未然に防ぎ、快適なユーザーインタフェースをユーザに提供できる。

本発明にかかる情報処理装置において、前記表示制御部が、前記入力位置指示図形を半透明状態に表示することが好ましい。入力位置指示図形によって必要な情報が見えなくなることを防止できるからである。

本発明にかかる情報処理装置において、前記表示部の表示画面に複数のウィンドウを表示すると共に前記複数のウィンドウのアクティブ／非アクティブを切り替えるウィンドウ制御部をさらに備え、前記表示制御部が、前記テキスト表示領域が表示されているウィンドウが非アクティブである場合は、前記入力位置指示図形を表示しないか、あるいは、前記入力位置指示図形の代わりに前記ウィンドウ内で前記認識結果表示領域から前記テキスト入力位置へのデータ送出が不可能であることを表す図形を表示することが好ましい。このような場合は、データ送出が不可能であることをユーザに明示した方が良いからである。

本発明にかかる情報処理装置において、前記入力部が、タブレット、マウス、カメラ、およびマイクから選ばれる少なくとも一種類の入力装置であることが好ましい。

本発明によると、タブレットやマウス、マイク、カメラのいずれか一つ以上を備えた情報処理装置上で、手書き文字や手書き図形、音声、または画像を認識し、認識結果としてのテキストを表示領域へ送出する際、送出先を従来よりもはっきりとユーザに提示できる。これにより、望まない入力欄へのデータ送出や送出したデータの消失などを未然に防ぎ、快適なユーザーインタフェースをユーザに提供できる。

以下、本発明にかかる情報処理装置の一実施形態について、図面を参照しながら説明する。図１は、本実施形態にかかる情報処理装置の構成を示す図である。図２（ａ）および（ｂ）は、本実施形態にかかる情報処理装置における表示例を示す図である。図３は、本実施形態にかかる情報処理装置の内部構成を概略的に示すブロック図である。

本実施形態では、入力位置指示図形の一例として三角形状の図形を用いるが、入力位置指示図形の表示態様はこの一例にのみ限定されず、三角形状の他に矢印等、入力位置の指示が可能な形状であれば、どのような図形であっても良い。

図１に示すように、本実施形態にかかる情報処理装置は、グラフィックス表示装置およびポインティング装置を兼ねた表示一体型タブレット（以下、タブレットと称する。）１と、電子計算機２とによって構成される。タブレット１上に文字を書いたり図形を描いたりするために、電子ペン３が用いられる。電子計算機２は、汎用プロセッサを搭載したパーソナルコンピュータ等により実現される。また、以下に説明する本実施形態にかかる情報処理装置の動作は、電子計算機２上で実行されるプログラムによって具現化される。電子計算機２のハードウェア構成は、図３に示す機能ブロック図と等価な構成を実現するものであれば、どのようなものであっても良い。

また、本実施形態では、入力部として、手書き文字または手書き図形を入力するためのタブレット（ポインティング装置）を備えた構成を例示する。しかし、入力部としては、タブレット以外に、手書き文字または手書き図形を入力するためのマウス、音声を入力するためのマイク、または、画像を入力するためのカメラなどを用いることもできる。マイクまたはカメラを用いる場合は、音声認識や画像認識のための音声データや画像データを入力し、入力データに対して音声認識や画像認識を行って、認識結果をテキスト表示することとなる。以降では、ポインティング装置と手書き文字認識の場合について具体的な説明を行うが、入力部のハードウェア構成と認識対象（入力される情報の種類）を他のものに置き換えたとしても、本発明においては本質的な違いではない。

本実施形態にかかる情報処理装置は、図２（ａ）に示すように、ユーザがタブレット１を用いて手書き文字または手書き図形を入力する際に、タブレット１の表示画面上に、入力されたテキストを表示するテキスト表示領域３５と共に、手書き文字入力ウィンドウ３１を表示する。手書き文字入力ウィンドウ３１は、認識させたい文字をユーザが手書き入力するための文字記入枠３２と、認識結果表示欄３３と、送出ボタン３４とを有している。なお、手書き文字入力ウィンドウ３１において手書き図形も入力できるようにしても良いし、手書き図形入力ウィンドウを別途設けてもかまわない。手書き図形を入力する場合は、例えば○、△、×、→などの図形を、テキスト文字の○、△、×、→として認識する。画像入力の場合は、特定の画像を特定のテキストに事前に割り当てておいて認識したり、画像中の文字をテキストとして認識したりする。

手書き文字入力ウィンドウ３１の文字記入枠３２に、電子ペン３を用いてユーザが書き込んだ手書き文字は、テキストとして認識され、認識結果が認識結果表示欄３３に表示される。認識結果が正しくない場合もあるので、ユーザは、認識結果表示欄３３に表示されたテキストに対して訂正操作が可能である。ユーザが送出ボタン３４を押すと、図２（ｂ）に示すように、認識結果テキストが、同表示画面上のテキスト表示領域３５内のカーソル３６のあった位置に送出される。なお、手書き文字から認識される文字の候補を、ポップアップメニューまたは認識文字候補表示欄（図示せず）等に表示し、ユーザに適切な文字を選択させ、ユーザが送出ボタン３４を押すと、選択結果をテキスト表示領域３５へ送出するようにしても良い。

なお、図２（ａ）と図６（ａ）とを比較することから明らかなように、本実施形態にかかる情報処理装置では、手書き文字入力ウィンドウ３１の認識結果表示欄３３からテキスト表示領域３５のカーソル３６の位置へ向かって、入力位置指示図形３９が表示されるようになっている。入力位置指示図形３９の先端は、図２（ｂ）に示すように、カーソル３６の移動に伴って移動する。また、入力位置指示図形３９の後端は、認識結果表示欄３３が移動すれば、それに伴って移動する。

このように、手書き文字入力ウィンドウ３１の認識結果表示欄３３からテキスト表示領域３５のカーソル３６の位置へ向かう入力位置指示図形３９を表示することにより、ユーザに、テキスト表示領域３５において認識結果が入力される位置を認識させることができる。これにより、本実施形態にかかる情報処理装置は、ユーザが意図しない位置に認識結果が入力されてしまうことを有効に防止できる。

ここで、図３を参照しながら、上記の処理を実現するための、本実施形態にかかる情報処理装置の機能的な構成について説明する。

図３に示すように、本実施形態にかかる情報処理装置は、タブレット１および電子ペン３により、表示部１１と、入力部１２を実現する。すなわち、タブレット１のグラフィックス表示装置が表示部１１を実現し、タブレット１のポインティング装置と電子ペン３により、入力部１２が実現される。

また、本実施形態にかかる情報処理装置は、電子計算機２により実現される機能ブロックとして、入力情報処理部２１、カーソル位置取得部２２、認識結果表示位置取得部２３、座標計算部２４、および、表示制御部２５を備えている。

入力情報処理部２１は、入力部１２より入力された情報に対して、適切な処理を施す機能を有する。入力情報処理部２１は、入力部１２により文字記入枠３２へ手書き入力された文字や図形を受け取ると、手書き文字または手書き図形を認識してテキスト情報に変換する入力情報変換部として機能する。変換結果としてのテキスト情報は、表示制御部２５を介して表示部１１へ送られ、認識結果表示欄３３へ表示される。この場合、より具体的には、入力情報処理部２１は、タブレット１の入力部１２から、電子ペン３で描かれた点や軌跡の座標値を読み取り、読み取った座標値から文字認識または図形認識を行う。また、認識結果表示欄３３に表示された認識結果に対してユーザが誤認識訂正などを行うと、ユーザが行った訂正に関する情報が入力部１２から入力情報処理部２１へ送られる。この場合は、入力情報処理部２１は、ユーザによる訂正を反映させたテキストを生成し、上記と同様に、表示制御部２５を介して表示部１１へ送り、認識結果表示欄３３に表示させる。また、手書き文字または手書き図形に対する認識候補文字を表示部１１へ表示させ、ユーザに選択させる場合は、入力部１２よりユーザの選択結果が入力情報処理部２１へ送られる。この場合、入力情報処理部２１は、ユーザが選択したテキストを、表示制御部２５を介して表示部１１へ送り、認識結果表示欄３３へ表示させる。

表示制御部２５は、ユーザが黙示または明示の確定操作を行うと、認識結果表示欄３３に表示されている認識結果を、テキスト表示領域３５においてカーソル３６が表示されていた位置へ移動させる。明示の確定操作とは、例えば、ユーザが送出ボタン３４を押すことなどをいう。また、暗示の確定操作とは、例えば、ユーザが文字記入枠３２へ次の文字の入力を開始したこと、文字枠への最後の入力から所定時間文字入力をしないこと、などをいう。

なお、手書き文字または図形の認識処理や誤認識訂正処理は、既にタブレットＰＣやＰＤＡなど様々な製品において実現されているものであり、その原理等についての詳細な説明は省く。また、本発明は、文字認識方法や誤認識訂正方法には依存しない。

制御部２６は、オペレーティングシステムとして、電子計算機２の動作を制御する部分である。タブレット１の表示部１１および入力部１２とのデータのやりとりや、表示部１１におけるマルチウィンドウ制御などの処理を、制御部２６が行う。

カーソル位置取得部２２は、テキスト表示領域３５におけるカーソル３６の現在位置を表す情報を、制御部２６から取得する。取得した座標をここでは（x_csr, y_csr）とする。例えば、Microsoft社のWindows 2000（登録商標）などを含む市販のオペレーティングシステムでは、システムコールによって、カーソルの表示／非表示状態および表示位置を表す情報が取得可能であるものが多い。カーソルの表示／非表示状態は、例えばフラグS_csrとして取得しておき、この値によって、表示制御部２５が、入力位置指示図形３９の表示態様を変更するといったことも有効である。例えば、カーソル３６が非表示状態、すなわち、カーソル３６がアクティブウィンドウ上にはない場合等に、入力位置指示図形３９を表示しないようにしても良い。あるいは、このような場合、入力位置指示図形３９を予め定められた特殊な色で表示したり、入力位置指示図形３９に×印を重ねて表示することにより、カーソル３６の位置への認識結果の送出が不可能であることを表しても良い。

認識結果表示位置取得部２３は、テキスト表示領域３５へ送出する前の認識結果の表示位置を表す情報を取得する。ここで取得した位置の座標を(x_rec, y_rec)とする。認識結果表示位置は、例えば図２（ａ）および（ｂ）における認識結果表示欄３３の表示位置に当たる。なお、認識結果表示欄を用いず、テキスト表示領域に認識結果を直接表示する態様の場合は、認識結果表示欄の代わりに、手書き文字を書き込む位置、すなわち、図２（ａ）および（ｂ）で言えば、文字記入枠３２の表示位置の情報を取得する。なお、認識結果表示欄３３や文字記入枠３２は、ある程度範囲を持って表示されるので、認識結果の表示位置について取得する情報としては、認識結果表示欄３３や文字記入枠３２の代表的な点の座標を用いれば良い。例えば、認識結果表示欄３３または文字記入枠３２の表示範囲の左上隅や上辺中央などの座標を用いることが考えられる。

座標計算部２４は、カーソル位置取得部２２と認識結果表示位置取得部２３からそれぞれ取得した座標（x_csr, y_csr）および（x_rec, y_rec）から、表示すべき入力位置指示図形３９の構成点を計算する。入力位置指示図形３９の表示方法には様々なものが考えられるが、カーソル３６の位置と認識結果表示欄３３の位置に追従して柔軟に向きと大きさを変更可能とするには、入力位置指示図形３９の輪郭をベクトルデータで表現する方式が好ましい。ここでは、入力位置指示図形３９の輪郭を構成する各点の座標を（u_i, v_i），0≦i＜Nとする。

（u_i, v_i）の具体的な算出例を、図４を用いて示す。なお、ここでは、入力位置指示図形３９として矢印図形を用いる場合を例にとり説明する。入力位置指示図形３９の基本となる形は、構成点の座標列（s_i, t_i）で定義されているとする。これは例えば、図４（ａ）のような形状である。この基本形に変換を施して最終的に（u_i, v_i）を得る。基本形は、変換後の（x_rec, y_rec）に当たる位置が原点Oとなるように定義する。基本形の座標系において、変換後に（x_csr, y_csr）に当たる座標を(x_c, y_c)とする。また、基本形の向きはx軸の正の向きとする。以下、（u_i, v_i）の算出手順を示す。

１）点（x_csr, y_csr）と（x_rec, y_rec）との距離Lを求める。

２）基本形に局所的な水平移動を施す。これは図４（ｂ）の変換に当たる。具体的には次のようになる。（s_i, t_i）の中で距離Lに応じて移動すべき点の番号がp_k，0≦k＜Mで与えられているとする。すべてのp_kに対して次式を求める。

３）（x_rec, y_rec）から（x_csr, y_csr）へと向かうベクトルの角度θを求める。θは次式で求めることができる。

４）（s_i, t_i）に角度θの回転変換を行う。これは図４（ｃ）の変換に当たる。変換式は次の通りである。

５）（s_i, t_i）を（x_rec, y_rec）だけ平行移動した座標を（u_i, v_i）に代入する。これは図４（ｄ）の変換である。

表示制御部２５は、座標計算部２４によって求められた座標列（u_i, v_i）に基づいて、テキスト送出先を示す入力位置指示図形３９の表示を行う。入力位置指示図形３９の描画は、（u_i, v_i）を結ぶ輪郭線だけとしても良いし、輪郭線の内部を塗り潰した状態としても良いし、入力位置指示図形３９に重なる表示内容を隠さないように半透明状態とすることも好ましい。また、カーソル表示フラグS_csrがオフになっている場合は、前述のように、入力位置指示図形３９の色を変えたり、入力位置指示図形３９を非表示にしたりすることも有効と考えられる。

ここで、図５を参照し、本実施形態にかかる情報処理装置の動作のうち、入力位置指示図形の表示に関わる処理フローについて説明する。本情報処理装置は、ユーザが手書き文字または手書き図形入力モードを選択すると、表示制御部２５が、タブレット１の表示画面（表示部１１）へ、手書き文字入力ウィンドウ３１を表示する（ステップＳ１）。次に、カーソル位置取得部２２が、テキスト表示領域３５におけるカーソル３６の現在位置を表す情報を取得する（ステップＳ２）。さらに、認識結果表示位置取得部２３が、テキスト表示領域３５における認識結果表示欄３３の位置を表す情報を取得する（ステップＳ３）。次に、座標計算部２４が、ステップＳ２およびステップＳ３でそれぞれ取得されたカーソル位置情報および認識結果表示位置情報に基づいて、入力位置指示図形３９の構成座標を計算する（ステップＳ４）。そして、計算で得られた構成座標に基づいて、表示制御部２５が、表示部１１へ入力位置指示図形３９を表示させる（ステップＳ５）。

以上のステップＳ１〜Ｓ５の処理を、手書き文字または手書き図形入力モードが解除されるまで（ステップＳ６の結果がＹｅｓになるまで）、繰り返す。なお、例えば、認識結果の送出やユーザによるカーソル移動によってカーソル３６の位置が変更された場合は、前述したように、オペレーティングシステムからのイベント発行により、強制的にステップＳ２へ処理が移行する。また、ユーザ操作などによって認識結果表示欄３３の位置が変更された場合も、同様にこれを検知して、強制的にステップＳ３へ処理が移行するようにしても良い。これにより、カーソル３６や認識結果表示欄３３の位置変更に応じて、入力位置指示図形３９が自律的に移動することとなる。

以上のとおり、本実施形態にかかる情報処理装置によれば、手書き文字や手書き図形の認識結果をテキスト表示領域へ送出する際、送出先を従来よりもはっきりとユーザに提示することができる。これにより、意図しない位置へのデータ送出や、送出したデータの消失などを未然に防ぎ、快適なユーザーインタフェースをユーザに提供できる。

なお、本実施形態では、タブレット１と電子計算機２との組み合わせとして構成される情報処理装置を例示したが、タブレットと電子計算機とが一体化されたいわゆるタブレットＰＣ、あるいはＰＤＡとして、本発明の情報処理装置を実施することもできる。

本発明の一実施形態にかかる情報処理装置の構成を示す図である。（ａ）および（ｂ）は、本発明の一実施形態にかかる情報処理装置における表示例を示す図である。本発明の一実施形態にかかる情報処理装置の内部構成を概略的に示すブロック図である。（ａ）〜（ｄ）は、入力位置指示図形の座標計算の方法を示す説明図である。本発明の一実施形態にかかる情報処理装置の動作を示すフローチャートである。（ａ）および（ｂ）は、従来の情報処理装置における表示例を示す図である。

符号の説明

１タブレット
２電子計算機
３電子ペン
１１表示部
１２入力部
２１入力情報処理部
２２カーソル位置取得部
２３認識結果表示位置取得部
２４座標計算部
２５表示制御部
２６制御部
３１手書き文字入力ウィンドウ
３２文字記入枠
３３認識結果表示欄
３４送出ボタン
３５テキスト表示領域
３６カーソル
３９入力位置指示図形

Claims

表示部と、
手書き文字、手書き図形、音声、および画像から選ばれる少なくとも一種類の情報を入力する入力部と、
前記入力部により入力された情報を認識しテキスト情報に変換する入力情報変換部とを備え、
前記入力情報変換部による認識結果を前記表示部の表示画面内の認識結果表示領域に表示し、表示された認識結果に対して操作者による黙示または明示の確定操作があった後に、前記認識結果をテキスト情報として前記表示部の表示画面内のテキスト表示領域に表示する情報処理装置において、
前記テキスト表示領域におけるテキスト入力位置を表すカーソル位置情報を取得するカーソル位置取得部と、
前記表示画面内での前記認識結果表示領域の表示位置を表す認識結果表示位置情報を取得する認識結果表示位置取得部と、
前記カーソル位置情報と前記認識結果表示位置情報とに基づき、前記表示画面内で前記認識結果表示領域から前記テキスト入力位置へ向かう入力位置指示図形の構成点座標を算出する座標計算部と、
前記座標計算部により算出された構成点座標に基づいて、前記表示部の表示画面に入力位置指示図形を表示する表示制御部とを備えたことを特徴とする情報処理装置。
前記表示制御部が、前記入力位置指示図形を半透明状態に表示する、請求項１に記載の情報処理装置。
前記表示部の表示画面に複数のウィンドウを表示すると共に前記複数のウィンドウのアクティブ／非アクティブを切り替えるウィンドウ制御部をさらに備え、
前記表示制御部が、前記テキスト表示領域が表示されているウィンドウが非アクティブである場合は、前記入力位置指示図形を表示しないか、あるいは、前記入力位置指示図形の代わりに前記ウィンドウ内で前記認識結果表示領域から前記テキスト入力位置へのデータ送出が不可能であることを表す図形を表示する、請求項１または２に記載の情報処理装置。
前記入力部が、タブレット、マウス、カメラ、およびマイクから選ばれる少なくとも一種類の入力装置である、請求項１〜３のいずれか一項に記載の情報処理装置。