JP5927090B2 - 情報処理装置、表示方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、表示方法、およびプログラムに関し、特にユーザが手書き入力した情報を表示する情報処理装置、表示方法、およびプログラムに関する。

近年、タッチパネルディスプレイなどの表示デバイスを備える情報処理装置が普及している。タッチパネルを備える表示デバイスの利便性を高めるため、例えば、特開２０１０−２８７０３２号公報（特許文献１）は、ユーザの手がタッチ式入力装置のタッチ面をいずれの方向からタッチするかを判定し、この判定結果に基づいて、画面部品の表示位置を決定する技術を開示している。

また、ユーザは、表示デバイスのタッチパネルに対し、手書きで文字入力することができる。この表示デバイスは、ユーザがスタイラスペンやユーザの指などにより表示デバイスに対して文字などを入力（記述）すると、入力された位置に、これら入力された文字などを表示する。

特開２０１０−２８７０３２号公報

しかし、ユーザが表示デバイスに対し手書きで文字入力をする場合に、手書きによる文字入力が進むにつれて、ユーザの手などが遮蔽物となることがある。そのため、ユーザが手書き入力をしながら既に手書き入力済みの文字を確認することがユーザにとって困難となり、ユーザの利便性が低下するという課題がある。例えば、右利きのユーザが、タッチパネルに対して日本語や中国語など縦書きが使用される言語の文字を縦書きで手書き入力したとする。日本語や中国語などの言語では、縦書き時において、改行して左方向に文字を書きすすめる。そのため、ユーザがタッチパネルに対して右手で縦書きによる手書き入力を続けている途中で改行して文字入力を続けると、スタイラスペンなどを保持するユーザの手が、既に手書き入力済みの文字を覆うこととなる。そのため、ユーザは既に手書き入力した文字を目視することが困難になる。

したがって、ユーザが縦書きによって表示デバイスに対し手書き入力する場合に、手書き入力した文字をユーザが容易に確認できる技術が必要とされている。

本発明のある局面に従う情報処理装置は、画像を表示領域に表示する表示部と、手書きによる入力操作を表示領域内において受け付ける入力受付部と、手書きにより入力された画像を保持するための記憶部と、手書き入力を行なう手が右手または左手のいずれであるかを判別する判別部と、手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出する方向検出部と、表示部の表示内容を制御する表示制御部とを備え、表示部は、表示領域において入力受付部が手書き入力を受け付けた位置に手書き入力された画像を表示し、記憶部は、方向検出部が検出する複数の画像の入力位置の方向が縦書き方向を示す場合に、縦書き方向に入力される各画像を保持し、表示制御部は、判別部により手書き入力を行う手が右手と判別される場合であって方向検出部が検出する複数の画像の入力位置の方向が縦書き入力における改行方向を示す場合に、記憶部に保持される保持画像それぞれを読み出して、読み出した各保持画像を、表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示させる。

好ましくは、表示制御部は、保持画像それぞれを、表示領域の左側に表示させることとしてもよい。

好ましくは、表示制御部は、判別部により右手と判別される場合であって、方向検出部が右方向を検出した場合に、入力受付部が受け付けた入力操作を入力済みの画像の訂正入力として受け付け、訂正入力された画像を表示部に表示させることとしてもよい。

好ましくは、表示制御部は、判別部により右手と判別される場合であって、手書き入力を受け付けた初期位置よりも右側で入力受付部が入力操作を受け付けたときに、所定位置への保持画像の表示を終了させることとしてもよい。

好ましくは、表示制御部は、方向検出部が縦書き逆方向を検出した場合に、入力受付部が受け付けた入力操作を入力済みの画像の訂正入力として受け付け、訂正入力された画像を表示部に表示させることとしてもよい。

好ましくは、表示制御部は、方向検出部が縦書き逆方向を検出した場合であって、手書き入力を受け付けた初期位置よりも縦書き逆方向側で入力受付部が入力操作を受け付けたときに、所定位置への保持画像の表示を終了させることとしてもよい。

好ましくは、判別部は、手書き入力を行う手が右手または左手のいずれであるかの設定をユーザから受け付けることにより判別を行うこととしてもよい。

好ましくは、判別部は、ユーザの手を検知するためのセンサ機構を含み、センサ機構を駆動させることにより、手書き入力を行なう手が右手または左手のいずれであるかを判別することとしてもよい。

好ましくは、表示制御部は、手書き入力を受け付けた複数の画像それぞれの入力位置と、所定位置に表示する保持画像それぞれの配置位置とが相対的に同一になるように、保持画像を所定位置に表示させることとしてもよい。

好ましくは、表示制御部は、手書き入力された画像と、所定位置に表示する保持画像とが重畳しないように、所定位置に表示する保持画像に対し所定の処理を施して表示させることとしてもよい。

好ましくは、所定の処理は、手書き入力された画像の大きさに応じて、所定位置に表示する保持画像を縮小して所定位置に表示する処理を含むこととしてもよい。

好ましくは、所定の処理は、手書き入力された画像のうち、直近に入力操作がなされた一部の画像を抽出し、抽出した画像を所定位置に表示する処理を含むこととしてもよい。

好ましくは、表示制御部は、判別部に左手と判別される場合であって、方向検出部が右方向を検出した場合に、記憶部に保持される保持画像を読み出して、表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に保持画像を表示させることとしてもよい。

本発明の別の局面に従うと、手書きによる入力操作を受け付ける情報処理装置が入力画像を表示するための方法が提供される。この方法は、情報処理装置が、画像を表示領域に表示するステップと、情報処理装置が、手書きによる入力操作を表示領域内において受け付けるステップと、情報処理装置が、手書き入力を行なう手が右手または左手のいずれであるかを判別するステップと、情報処理装置が、手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出するステップと、情報処理装置が、表示領域において手書き入力を受け付けた位置に手書き入力された画像を表示するステップと、情報処理装置が、検出される複数の画像の入力位置の方向が縦書き方向を示す場合に、縦書き方向に入力される各画像を保持するステップと、情報処理装置が、手書き入力を行う手が右手と判別される場合であって検出される複数の画像の入力位置の方向が縦書き入力における改行方向を示す場合に、保持される保持画像それぞれを読み出して、読み出した各保持画像を、表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示するステップとを含む。

本発明の別の局面に従うと、手書きによる入力操作を受け付ける情報処理装置が入力画像を表示する処理を制御するためのプログラムが提供される。情報処理装置は、プロセッサと、メモリとを備える。このプログラムは、プロセッサに、画像を表示領域に表示するステップと、手書きによる入力操作を表示領域内において受け付けるステップと、手書き入力を行なう手が右手または左手のいずれであるかを判別するステップと、手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出するステップと、表示領域において手書き入力を受け付けた位置に手書き入力された画像を表示するステップと、検出される画像の入力位置の方向が縦書き方向を示す場合に、縦書き方向に入力される各画像をメモリに保持させるステップと、手書き入力を行う手が右手と判別される場合であって検出される複数の画像の入力位置の方向が縦書き入力における改行方向を示す場合に、保持される保持画像それぞれをメモリから読み出して、読み出した各保持画像を、表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示するステップと、を実行させる。

ある局面において、ユーザが手書き入力した画像が、ユーザの手などにより覆われたとしても、当ユーザが手書き入力した画像を別の領域に表示できる。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

本実施形態の情報処理装置の概略を示した図である。 情報処理装置１００のハードウェア構成例を示したブロック図である。 実施形態１の機能構成例を示した図である。 座標記憶部１１２に記憶された座標の集合を模式的に示した図である。 手書き検出部１０６の検出手法例を示した図である。 表示制御部１１０がアシスト画像表示領域２１０の表示内容を制御する処理の概要図である。 アシスト表示位置のＹ軸方向の位置の制御を示す図である。 実施形態１の処理フローの一例を示した図である。 実施形態１の処理フローの一例を示した図である。 実施形態２の情報処理装置１００Ｂの機能構成例を示した図である。 実施形態２の操作画面３１２０の一例を示した図である。 実施形態３の情報処理装置１００Ｃの機能構成例である。 ユーザの手２０４の影２０４ａ等を示した図である。 実施形態４の情報処理装置１００Ｄの機能構成例を示した図である。 表示制御部２４０がアシスト表示する条件の一例を示した図である。 実施形態５の情報処理装置の表示画面の一例である。 実施形態５の表示制御部１１０の処理フローの一例を示した図である。 実施形態６の情報処理装置の表示画面の一例である。 実施形態６の表示制御部１１０の処理フローの一例を示した図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してあり、それらの名称および機能も同じである。従って、重複説明を繰り返さない。

＜概略＞
図１は、本実施形態の情報処理装置の概略を示した図である。図１の例では、ユーザは右利きであり、右手２０４でスタイラスペン２０２を把持し、情報処理装置の表示手段に対して、スタイラスペン２０２で、画像を手書き入力している。

ここで、情報処理装置の表示手段は、ユーザから手書き入力を受け付けた位置に、手書き入力された画像を表示させるものであり、例えばタッチパネルディスプレイである。また、画像は、文字、記号、図形などを含む。図１（Ａ）は、ユーザが縦書きでタッチパネルに手書き入力をしている図を示している。図１（Ｂ）は、ユーザが縦書きによる手書き入力を続けて２行目の文字入力をしている図を示している。

図１（Ａ）の例は、ユーザが手書き入力した画像として文字「ま」、文字「う」を示している。また、スタイラスペン２０２の他に、ユーザが表示領域（入力領域）３１２ａに対して画像を手書き入力できれば、他の手段を用いてもよく、例えば、ユーザは、ユーザの指で手書き入力してもよい。

本実施形態では、ユーザが縦書きの１行目の１つ目に手書き入力した画像を第１画像４０１として示している。同様に、ユーザが１行目の２つ目に手書き入力した画像を第２画像４０２として示しており、ユーザが１行目の３つ目に手書き入力した画像を第３画像４０３として示している。図１（Ａ）の例では、第１画像４０１は文字「ま」であり、第２画像４０２は文字「う」であり、第３画像４０３は文字「え」である。

なお、図１（Ａ）および図１（Ｂ）の例では、第１画像４０１や第２画像４０２を明確化するために、右手２０４およびスタイラスペン２０２を透明化して示している。また、第１画像４０１と、第２画像４０２と、第３画像４０３とのそれぞれは、例えば、１つの独立した文字や記号である。また、本実施形態において、図１に示す原点、ｘ軸、ｙ軸、右端、左端、右方向、および左方向は、スタイラスペン２０２を扱う（手書き入力を行なう）ユーザから見た原点（図１に示すように、ｘ軸およびｙ軸からなる２次元座標の原点を、ユーザから見た表示領域３１２ａの左下の角の点とする）、ｘ軸、ｙ軸、右端、左端、右方向、および左方向である。

また、ユーザが手書き入力を続けている間、情報処理装置は、ユーザの入力内容を一時的に保持する縦書き用バッファ領域３０４に、ユーザが手書き入力した画像をバッファ保持画像５１０として記憶する。

また、ユーザがスタイラスペン２０２により、第１画像４０１を手書き入力した位置を第１位置４０１ａとする。同様に、ユーザがスタイラスペン２０２により、第２画像４０２を手書き入力した位置を第２位置４０２ａとし、第３画像４０３を手書き入力した位置を第３位置４０３ａとする。また、第１位置４０１ａから第２位置４０２ａに向かう方向を「第１方向α」とする。つまり、ユーザが第１画像４０１および第２画像４０２を手書き入力する方向が第１方向αである。ユーザが第１方向αに向かって手書き入力をし続けている間、情報処理装置は、ユーザが手書き入力した画像を、縦書き用バッファ領域３０４においてバッファ保持画像５１０として蓄積する。

図１（Ａ）に示すように、ユーザが縦書きによって手書き入力する画像（第１画像４０１等）が日本語であり、かつ、ユーザが右利きの場合には、ユーザは、一般的に、ユーザから見てＹ軸の負方向α（下方向）に第１画像４０１および第２画像４０２を手書き入力する。また、ユーザは、縦書きによる文字入力時に改行する場合、ユーザから見てＸ軸の負方向β（左方向）に手を移動させて文字入力を続ける。

したがって、ユーザは、縦書きによる文字入力時に改行すると、現在手書き入力している文字以前に手書き入力された文字が、ユーザの右手２０４により覆われることにより、ユーザは画像を目視できない。図１（Ｂ）の例では、ユーザが１行目に画像文字「ま」、文字「う」、文字「え」を手書きにより入力し、２行目を書き始める状態を示す。

ユーザが手書き入力した文字を目視できない場合には、手書き入力処理の効率が低下する場合がある。そこで、本実施形態の情報処理装置は、縦書きによる手書き入力を受け付けており、ユーザが改行した場合に、縦書き用バッファ領域３０４に格納されるバッファ保持画像５１０の記憶内容を出力し、表示領域３１２ａの左端にアシスト画像表示領域２１０を表示させる。

ここで、第１アシスト画像６０１は、第１画像４０１に基づくものである。図１の例では、第１アシスト画像６０１は、第１画像４０１の文字「ま」と形状、大きさともに同一の画像である。また、第２アシスト画像６０２は、第２画像４０２に基づくものであり、第２画像４０２の文字「う」と形状、大きさともに同一の画像である。また、第３アシスト画像６０３は、第３画像４０３に基づくものであり、第３画像４０３の文字「え」と形状、大きさともに同一の画像である。また、第１アシスト画像６０１、第２アシスト画像６０２、および第３アシスト画像６０３はアシスト画像表示領域２１０に囲まれて表示される。また、ユーザが２行目を書き始めることにより、ユーザが入力した画像と形状、大きさともに同一の画像が画像表示領域６１１に表示される（図１（Ｂ）では、ユーザが２行目の文字の手書き入力を書き始める状態であるため、画像表示領域６１１は仮想的な大きさを示している）。

これにより、ユーザは、手書き入力された画像（第１画像４０１等）と、表示された画像（第１アシスト画像６０１等）との区別がつきやすくなる。

＜ハードウェア構成＞
図２を参照して、本実施形態の情報処理装置１００のハードウェア構成を説明する。図２は、情報処理装置１００のハードウェア構成例を示したブロック図である。図２の例では、情報処理装置１００は、ＣＰＵ（Central Processing Unit）３０２と、ＲＡＭ（Random Access Memory）３０４と、ＲＯＭ（Read Only Memory）３０６と、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３０８と、通信部３１０と、表示装置３１２と、操作部３１４と、外部メディアＩ／Ｆ(Interface)部３１６と、を含む。

ＣＰＵ３０２は、ＲＯＭ３０６に格納されているプログラムや各種データに基づいて、処理を行なう。ＲＡＭ３０４は、ＲＯＭ３０６から読み出された各種プログラムや各種データを一時保持する。ＲＯＭ３０６は、情報処理装置１００の起動時に実行されるプログラムや各種データを格納する。

通信部３１０は、他の通信機器と通信する。操作部３１４は、ユーザからの操作を受け付ける。表示装置３１２は、例えばタッチパネル機能を備えるディスプレイである。従って、表示装置３１２は、概念的に、操作部３１４の一部を含む。

外部メディアＩ／Ｆ部３１６は、情報処理装置１００と、外部メディア３１８（例えばＳＤ（Secure Digital）メモリーカードなど）とのインタフェースの役割を果たす。

＜実施形態１の機能構成例＞
次に、図３を参照して、実施形態１の機能構成例について説明する。図３は、実施形態１の機能構成例を示した図である。また、以下では、画像を文字という場合もある。

図３の例では、情報処理装置１００Ａは、表示装置３１２と、座標検出部１０８と、表示制御部１１０と、座標記憶部１１２と、方向検出部１１４と、取得部１１６と、認識部１１８と、辞書記憶部１１１と、手書き検出部１０６と、を含む。表示装置３１２は、入力受付部１０２と表示部１０４とを含む。

入力受付部１０２および表示部１０４は例えば、それぞれ薄板形状である。表示装置３１２は、入力受付部１０２と表示部１０４とが積層されることにより構成される。また、表示装置３１２は、表示領域３１２ａ（図１参照）を含む。表示領域３１２ａには、ユーザが手書き入力した第１画像等、様々な情報が表示される。図１の例では、入力受付部１０２の入力領域が表示領域３１２ａである。

入力受付部１０２は、スタイラスペン２０２などによって、ユーザによる第１画像４０１（図１参照）等の手書き入力操作などを受け付ける。入力受付部１０２は、例えば静電容量方式のタッチパネルである。ユーザは、スタイラスペン２０２を入力受付部１０２に接触させることにより、手書き入力操作を行なう。また、入力受付部１０２は、透明である。ユーザは、入力受付部１０２の下層に配置される表示部１０４に表示される画像や情報を目視できる。

座標検出部１０８は、ユーザから入力受付部１０２への手書き入力操作を受けると、表示領域３１２ａ内において、スタイラスペン２０２が接触された位置（点）の座標を所定時間（例えば、０．１秒）毎に検出する。座標検出部１０８は、検出した座標を表示制御部１１０および認識部１１８へ出力する。

認識部１１８は、辞書記憶部１１１に記憶されている文字辞書、および、座標検出部１０８から出力された複数の座標に基づいて、手書き入力された文字を認識する。認識部１１８は、文字の認識手法として、種々の認識手法を用いればよい。例えば、認識部１１８は、複数の座標と文字辞書とを用いて、パターンマッチング処理を行うことにより、手書き入力された文字を認識する。また、辞書記憶部１１１として、例えば、ＲＯＭ３０６を用いればよい。

座標記憶部１１２は、認識部１１８が認識した文字ごとに、座標の集合を記憶する。図４は、座標記憶部１１２に記憶された座標の集合を模式的に示した図である。また、座標記憶部１１２は、縦書き用バッファ領域３０４を含んでおり、認識部１１８が認識した文字を、縦書き用バッファ領域３０４において保持する。図４を参照して、座標記憶部１１２の記憶形態を説明する。

図４の例では、座標記憶部１１２は、第１画像である文字「ま」について、文字「ま」を構成する複数点それぞれの座標（６０８，５８１）（６０９，５８２）・・・を記憶している。また、座標記憶部１１２は、第１画像である文字「う」について、文字「う」を構成する複数点それぞれの座標（６０８，５６６）（６０９，５６５）・・・を記憶している。なお、図１で説明したように、原点、ｘ軸、およびｙ軸は、スタイラスペン２０２を扱うユーザから見た原点、ｘ軸、およびｙ軸である。

再び図３を用いて情報処理装置１００Ａの構成の説明を続ける。表示制御部１１０は、座標検出部１０８により検出された座標に基づいて、スタイラスペン２０２の手書き入力の軌跡を表示部１０４に表示する。ユーザは、表示部１０４に表示された手書き入力の軌跡（第１画像４０１等）を目視することにより、ユーザが手書き入力した画像を認識することができる。表示制御部１１０は、入力受付部１０２が手書き入力を受け付けた位置に応じて、手書き入力された画像を表示部１０４に表示する。

＜方向検出＞
次に、方向検出部１１４による方向検出処理について説明する。方向検出部１１４は、座標記憶部１１２に記憶されている座標の集合に基づいて、第１方向α（図１参照）を検出する。ここで、第１方向αとは、ユーザにより画像が手書き入力される方向である。例えば、図１の例では、第１方向αは、Ｙ軸の負方向（スタイラスペン２０２を扱うユーザから見て下方向）である。以下では、右方向、左方向、上方向、下方向は、全てスタイラスペン２０２を扱うユーザから見た方向であるとする。

また、右方向は、Ｘ軸の正方向であり、左方向は、Ｘ軸の負方向である。また、上方向は、Ｙ軸の正方向であり、下方向はＹ軸の負方向である。

次に、方向検出部１１４による方向検出手法の具体例について説明する。方向検出部１１４は、基準となる文字（図４の例では、文字「ま」）の、Ｘ座標の最大値Ｘｍａｘ１およびＹ座標の最大値Ｙｍａｘ１を取得する。また、方向検出部１１４は、基準となる文字の次に、認識部１１８により認識された文字（図４の例では、文字「う」）の、Ｘ座標の最大値Ｘｍａｘ２およびＹ座標の最大値Ｙｍａｘ２を取得する。

方向検出部１１４は、Ｙｍａｘ１とＹｍａｘ２とを比較する。ここで、方向検出部１１４が、Ｙｍａｘ１≧Ｙｍａｘ２であると判断すると、方向検出部１１４は、第１方向が下方向であると判断する。一方、方向検出部１１４が、Ｙｍａｘ１＜Ｙｍａｘ２であると判断すると、方向検出部１１４は、第１方向が上方向であると判断する。

方向検出部１１４は、Ｘｍａｘ１とＸｍａｘ２とを比較する。ここで、方向検出部１１４が、Ｘｍａｘ１≦Ｘｍａｘ２であると判断すると、方向検出部１１４は、第１方向が右方向であると判断する。一方、方向検出部１１４が、Ｘｍａｘ１＞Ｘｍａｘ２であると判断すると、方向検出部１１４は、第１方向が左方向であると判断する。

方向検出部１１４は、基準となる文字の、Ｘ座標の平均値Ｘａｖｇ１およびＹ座標の平均値Ｙａｖｇ１を取得する。また、方向検出部１１４は、基準となる文字の次に手書き入力された文字の、Ｘ座標の平均値Ｘａｖｇ２およびＹ座標の平均値Ｙａｖｇ２を取得する。

方向検出部１１４は、Ｙａｖｇ１とＹａｖｇ２とを比較する。ここで、方向検出部１１４が、Ｙａｖｇ１≧Ｙａｖｇ２であると判断すると、方向検出部１１４は、第１方向が下方向であると判断する。一方、方向検出部１１４が、Ｙａｖｇ１＜Ｙａｖｇ２であると判断すると、方向検出部１１４は、第１方向が上方向であると判断する。

方向検出部１１４は、Ｘａｖｇ１とＸａｖｇ２とを比較する。ここで、方向検出部１１４が、Ｘａｖｇ１≦Ｘａｖｇ２であると判断すると、方向検出部１１４は、第１方向が右方向であると判断する。一方、方向検出部１１４が、Ｘａｖｇ１＞Ｘａｖｇ２であると判断すると、方向検出部１１４は、第１方向が左方向であると判断する。

この方向検出部１１４の方向検出手法により、第１方向α（図１参照）を検出できる。方向検出部１１４は、第１方向を検出して、第１方向を表す方向情報を生成する。方向検出部１１４は、生成した方向情報を、表示制御部１１０へ出力する。

＜手書き情報＞
次に、手書き情報について説明する。手書き情報は、右手または左手のうち、ユーザがスタイラスペン２０２を保持している手を表す情報である。以下に、手書き情報の生成手法について説明する。また、本明細書において、手書き情報が右手を表す情報である場合には、「ユーザは右利きである」と言及し、手書き情報が左手を表す情報である場合には、「ユーザは左利きである」と言及する場合がある。

本実施形態では、手書き検出部１０６は、表示領域３１２ａ上のユーザの手の位置を検出する。ここで、「表示領域３１２ａ上」は、ユーザの手が表示領域３１２ａに接触している場合もあり、また、ユーザの手が表示領域３１２ａから離れている場合もある。

また、ユーザの手の位置の検出方法として、例えば、赤外線や超音波をプローブに利用する場合であれば、手書き検出部１０６を表示装置３１２の周囲に配置し、赤外線や超音波の反射波の変動を電気信号として検出する。

図５を参照して手書き検出部１０６の検出手法の一例を説明する。図５は、手書き検出部１０６の検出手法例を示した図である。図５の例では、手書き検出部１０６は、表示領域３１２ａの周囲に配置された赤外線センサを含む。また、赤外線センサのセンサ領域を右半分と左半分とに分ける。左半分の領域を領域１０６ａとし、右半分の領域を領域１０６ｂとする。

赤外線センサで赤外線の反射波を検出することにより、ユーザの手が、赤外線センサ上にあることが分かる。手書き検出部１０６は、赤外線センサからの反射波の検出信号が領域１０６ａからのものか、領域１０６ｂからのものかを判定する。手書き検出部１０６が、検出信号が、領域１０６ａからのものである、と判断すると、手書き検出部１０６は、ユーザがスタイラスペン２０２を持つ手が左手である旨を表す手書き情報を生成する。一方、手書き検出部１０６が、検出信号が、領域１０６ｂからのものである、と判断すると、手書き検出部１０６は、ユーザがスタイラスペン２０２を持つ手が右手である旨を表す手書き情報を生成する。

また、別の検出方式として、手書き検出部１０６は撮像装置を含み、撮像装置で撮像した画像に対して画像処理を施す。手書き検出部１０６は画像処理結果に基づいて、ユーザの手の位置を検出する。

また、別の検出方式として、手書き検出部１０６を、光センサ液晶としてもよい。光センサ液晶を簡単に説明すると、表示装置３１２は、各画素内に駆動回路の他に光センサを内蔵する。手書き検出部１０６は、ユーザの手の影を検出することにより、表示領域３１２ａ上のユーザの手の位置を検出する。

また、別の検出方式として、スタイラスペン２０２が傾いている方向を検出する傾き検出部（例えば、傾き検出センサや加速度センサ）をスタイラスペン２０２に含ませるようにしてもよい。手書き検出部１０６は、スタイラスペン２０２の入力動作中に、傾き検出部が検出した傾き方向をスタイラスペン２０２から受信する。手書き検出部１０６は、受信した傾き方向に基づいて、手書き情報を生成する。例えば、手書き検出部１０６は、スタイラスペン２０２がユーザから見て左に傾いていることを検出すると、ユーザは左手でスタイラスペン２０２を保持していることを表す手書き情報を生成する。また、手書き検出部１０６は、スタイラスペン２０２がユーザから見て右に傾いていることを検出すると、ユーザは右手でスタイラスペン２０２を保持していることを表す手書き情報を生成する。

手書き検出部１０６による、手書き情報の生成手法についてはこれらに限られず、他の生成手法を用いてもよい。

再び図３を用いて情報処理装置１００Ａの構成の説明を続ける。取得部１１６は、手書き検出部１０６が生成した手書き情報を取得する。取得部１１６は、手書き情報を取得すると、表示制御部１１０に出力する。

＜表示態様＞
次に、図６を参照して、表示制御部１１０が、アシスト画像表示領域２１０の表示態様を制御する処理について説明する。図６は、表示制御部１１０がアシスト画像表示領域２１０の表示内容を制御する処理の概要図である。上述のように、第１アシスト画像６０１や第２アシスト画像６０２や第３アシスト画像６０３それぞれは、第１画像４０１、第２画像４０２および第３画像４０３に基づく。また、以下では、図１に示すように、第１アシスト画像６０１、第２アシスト画像６０２、第３アシスト画像６０３等をアシスト画像表示領域２１０において表示することを「アシスト表示」という。また、ユーザが手書き入力した画像を入力画像とする。また、アシスト表示された画像をアシスト表示画像とする。つまり、アシスト表示画像は、図６（Ｄ）のアシスト画像表示領域２１０に表示される第１アシスト画像６０１および第２アシスト画像６０２などである。

図６（Ａ）は、ユーザが、スタイラスペン２０２で、表示装置３１２に最初の文字入力をするため、文字「ま」を手書き入力し始めた状態であるとする。この場合には、ユーザが第１画像４０１である文字「ま」を手書き入力した始めたときに、取得部１１６は、手書き情報を取得する。この場合には、取得部１１６は、ユーザは右手でスタイラスペン２０２を保持していることを表す手書き情報を取得する。

座標検出部１０８は、ユーザが手書き入力したことにより、スタイラスペン２０２が接触した座標を検出する。認識部１１８は、文字認識を行なうことにより、文字「ま」が手書き入力されたことを認識する。そして、認識部１１８は、第１画像４０１が認識されたことを示す、第１認識信号を表示制御部１１０へ出力する。

次に、ユーザが縦書きの１行目の手書き入力を続けて、第２画像４０２（１行目の２個目の画像）である文字「う」を手書き入力したとする。この場合には、ユーザは文字「う」を手書き入力している途中に、方向検出部１１４は、ユーザの第１方向αを検出する。図６の例では、文字「う」の手書き入力始めの点のＹ座標は、文字「ま」を構成する複数の点のうち、最大のＹ座標よりも小さい。従って、方向検出部１１４は、第１方向αが下方向であることを表す方向情報を生成し、表示制御部１１０へ送信する。

表示制御部１１０は、方向情報に基づいて、ユーザの入力画像を縦書き用バッファ領域３０４に保持するか、縦書き用バッファ領域３０４の保持内容をアシスト画像表示領域２１０へ出力するかを決定する。表示制御部１１０は、方向情報および手書き情報に応じた表示領域３１２ａの端部を決定する。例えば、表示制御部１１０は、手書き情報においてユーザがスタイラスペン２０２を保持している手が右手（右利き）と示され、方向情報が下方向である場合、アシスト画像表示領域２１０をユーザにとって容易に見える位置に表示するため、表示領域３１２ａにおいて、手書き情報に示されるユーザの手の位置（右または左）と反対側の領域を表示領域３１２ａの端部と決定し、この端部にアシスト画像表示領域２１０を表示する。

図６（Ｂ）を用いて、表示制御部１１０のユーザの手書き入力の方向の決定手法を詳細に説明する。図６（Ｂ）に示すように、第１位置４０１ａ（第１画像４０１の表示位置）の重心を第１重心４０１ｂとする。また、第２位置４０２ａ（第２画像４０２の表示位置）の重心を第２重心４０２ｂとする。

ここで、第１重心４０１ｂから第２重心４０２ｂへの方向が下方向であり、手書き情報が右手を表す手書き情報である場合には、表示制御部１１０は、手書き入力が縦書きと判定し、改行がされるまで（方向βが検出されるまで）、ユーザの入力画像を縦書き用バッファ領域３０４へ保持させる。

次に、図６（Ｃ）に示すように、ユーザが第３画像４０３である文字「え」を手書き入力し、縦書きの１行目の文字入力を終えたとする。表示制御部１１０は、ユーザが縦書きの手書き入力で、方向βを検出すると（改行を検出）、直近に手書き入力された１行分の画像（第１画像４０１、第２画像４０２、第３画像４０３）を、バッファ保持画像５１０から読み出してアシスト画像表示領域２１０へ表示する。また、表示制御部１１０は、ユーザの手書き入力操作から所定時間が経過すると、縦書き用バッファ領域３０４の保持内容をアシスト画像表示領域２１０へ表示する。図６（Ｄ）では、ユーザが２行目の手書き入力を終え、所定時間が経過している。表示制御部１１０は、アシスト画像表示領域２１０に、縦書き２行目の手書き入力の内容を縦書き用バッファ領域３０４から読み出してアシスト画像表示領域２１０へ表示する。

図６（Ｄ）に示すように、ユーザが１行目に手書き入力した文字（第１画像４０１の文字「ま」など）が、２行目の手書き入力時にユーザの手により覆われてしまい、ユーザは１行目の文字「ま」などを目視できなくなる。そこで、本実施形態のように、表示制御部１１０がアシスト画像表示領域２１０に文字「ま」など１行目の文字列をアシスト表示することにより、ユーザは直近に手書き入力した１行分の文字列を認識できる。

次に、図６（Ｅ）に示すように、ユーザが２行目の１文字目の画像である第４画像４１１の文字「え」および２行目の２文字目の画像である第５画像４１２の文字「ん」を手書き入力し、３行目の１文字目の文字「ん」の手書き入力を終えたとする。表示制御部１１０は、３行分のユーザの手書き入力した画像をアシスト画像表示領域２１０へアシスト表示する。

ここで、表示制御部１１０による、図６（Ｄ）の状態から図６（Ｅ）の状態に遷移する際の、アシスト画像表示領域２１０の表示方法は、例えば２つの表示態様がある。

１つ目の表示態様として、表示制御部１１０は、ユーザの手書き入力により改行がなされ、文字入力の方向βが検出される都度、アシスト画像表示領域２１０の表示領域を、方向βから逆方向の方向γに拡大する。すなわち、アシスト画像表示領域２１０において、ユーザの手書き入力による１行目の画像が、徐々に方向βと逆側に移動していく。これにより、ユーザが手書き入力した行の数に応じて、複数行のアシスト表示をするためのアシスト画像表示領域２１０を徐々に大きくすることができる。

２つ目の表示態様として、表示制御部１１０は、表示領域３１２ａ上で、アシスト画像表示領域２１０において１行目の文字の表示位置を固定し、ユーザの手書き入力により改行がなされ、文字入力の方向βが検出される都度、アシスト画像表示領域２１０の表示領域を、方向βと同方向に拡大する。これにより、ユーザが手書き入力した行の数に応じて、複数行のアシスト表示をするためのアシスト画像表示領域２１０を徐々に大きくすることができる。

これにより、ユーザが入力画像を手書き入力する毎に、入力画像に基づくアシスト表示画像が表示される。従って、ユーザは、入力画像がユーザの手により覆われて入力画像を認識できなくても、アシスト表示画像を目視することにより、ユーザ自身が手書き入力した入力画像を認識できる。

＜カーソル表示＞
表示制御部１１０は、改行を検出せず、ユーザによる手書き入力を所定時間検出しない場合に、バッファ保持画像５１０の保持内容をアシスト画像表示領域２１０へ表示する。この場合、ユーザが改行せず文字入力を続ける可能性がある。そこで、ユーザが改行せず文字入力を続ける場合に、ユーザが手書き入力した画像がアシスト表示される位置を、カーソル２０８ｂにより表示する。ユーザは、カーソル２０８ｂを視認することにより、次に手書き入力する文字が表示される位置を確認することができる。

カーソル２０８ｂについてさらに説明する。取得部１１６は、ユーザが右手でスタイラスペン２０２を保持していることを表す手書き情報を取得している。方向検出部１１４は、下方向または左方向を表す方向を検出していることにより、ユーザは下方向および左方向へ縦書きにより手書き入力する可能性が高い。従って、点２０８ｃを左上隅とするカーソル２０８ｂを、アシスト画像表示領域２１０で最後に表示した画像の下に続けて表示する。また、表示制御部１１０は、カーソル２０８ｂの表示態様を、他の領域の表示態様と異ならせるようにすればよい。例えば、表示制御部１１０は、カーソル２０８ｂを点滅させて表示する。これにより、ユーザは、第２画像領域５１２が表示される位置を容易に認識できる。

次に、カーソル２０８ｂの大きさ（面積）について説明する。表示制御部１１０は、既に手書き入力された各文字それぞれが占有している領域（以下、「占有領域」という。）の面積を導出する。図６（Ｇ）は、文字「う」についての占有領域の一例を示した図である。表示制御部１１０は、座標記憶部１１２から、文字「う」を構成する複数の点について、Ｘ座標が最大値となる点２０６ｇ、Ｘ座標が最小値となる点２０６ｉ、Ｙ座標が最大値となる点２０６ｆ、Ｙ座標が最小値となる点２０６ｈ、のＸ座標およびＹ座標それぞれを取得する。

点２０６ｇを通る直線，点２０６ｉを通る直線において、それぞれが並行となる直線それぞれを直線２０６ｇＬ，２０６ｉＬとする。また、点２０６ｆを通る直線，点２０６ｈを通る直線において、それぞれが並行となる直線それぞれを直線２０６ｆＬ，２０６ｈＬとする。表示制御部１１０は、これら４本の直線２０６ｇＬ，２０６ｉＬ，２０６ｆＬ，２０６ｈＬで囲まれた矩形状の面積を、占有領域の面積として導出する。

表示制御部１１０は、既に手書き入力された各文字それぞれの占有領域の面積を導出し、これらの平均値を求める。表示制御部１１０は、求められた平均値をカーソル２０８ｂの面積とする。

＜アシスト表示のＹ軸方向の位置＞
次に、図７に示すように、ユーザが表示領域３１２ａの下部に、入力画像４０１等を手書き入力したとする。図７は、アシスト表示位置のＹ軸方向の位置の制御を示す図である。この場合には、ユーザのアシスト表示の視認性を鑑みて、表示制御部１１０は、上部にアシスト画像表示領域２１０を表示する。

アシスト画像表示領域２１０の表示位置を制御するため、例えば、表示制御部１１０は、座標検出部１０８が検出した入力画像４０１等の点の集合各々の座標を検出する。表示制御部１１０は、各々座標のうちＹ座標の平均値を算出する。そして、表示制御部１１０は、平均値と、予め定められた閾値とを比較する。表示制御部１１０が、平均値は閾値以上であると判断した場合には、入力画像４０１等は下方に手書き入力されたということなので、表示制御部１１０は、アシスト画像表示領域２１０を上方に表示する（図７の状態）。また、表示制御部１１０が、平均値は閾値未満であると判断した場合には、入力画像４０１等は上方に手書き入力されたということなので、表示制御部１１０は、アシスト画像表示領域２１０を下方に表示する（図１の状態）。

このように、表示制御部１１０は、入力画像４０１等のＹ軸方向の位置（Ｙ座標）に応じた表示領域３１２ａの端部または端部近傍にアシスト画像表示領域２１０を表示させる。従って、ユーザは表示領域３１２ａの上部に入力画像４０１を手書き入力したとしても、下部にアシスト表示されることから、ユーザは容易にアシスト表示を認識できる。

＜処理の流れ＞
次に、図８を参照して、実施形態１の情報処理装置の処理の流れについて説明する。図８は、実施形態１の処理フローの一例を示した図である。図８の処理フローでは、入力画像４０１等が日本語である場合について示したものである。

ステップＳ２において、表示制御部１１０は、取得部１１６が取得した手書き情報が、ユーザが右手または左手のいずれによってスタイラスペン２０２を保持していることを示す情報かを判断する。表示制御部１１０は、手書き情報を参照し、手書き情報が、ユーザが左手でスタイラスペン２０２を保持していることを示している場合（ステップＳ２のＮＯ）、アシスト表示することなく、処理を終了する。一方、表示制御部１１０は、手書き情報が、ユーザが右手でスタイラスペン２０２を保持していることを示す情報であると判断すると（ステップＳ２のＹＥＳ）、処理はステップＳ４に移行する。

ステップＳ４において、表示制御部１１０は、設定モードを右手モードに設定する。ステップＳ６において、表示制御部１１０は、アシスト表示準備として、ペン位置座標（Ｘ、Ｙ）を初期化してレジスタに格納する（Ｘ＝０、Ｙ＝０）。ペン位置座標（Ｘ、Ｙ）は、認識部１１８が文字等を認識する文字単位でペンの位置を管理するためのレジスタである。

ステップＳ８において、認識部１１８は、最初に手書き入力された入力画像（第１画像４０１）を文字認識した後に、スタイラスペン２０２の接触座標を座標記憶部１１２に格納する。

ステップＳ１０において、認識部１１８は、文字認識することにより、ユーザにより手書き入力された文字が１文字であるか否かを判断する。認識部１１８は、ユーザにより手書き入力された文字が１文字でないと判断すると（ステップＳ１０のＮＯ）、処理は、ステップＳ８に戻る。認識部１１８は、ユーザにより手書き入力された文字が１文字であると判断すると（ステップＳ１０のＹＥＳ）、処理は、ステップＳ１２に移行する。

ステップＳ１２において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）が初期座標であれば（ステップＳ１２においてＹＥＳ）、ステップＳ１４の処理を実行し、アシスト表示モード設定を行う（ステップＳ１４）。ステップＳ１２において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）が初期座標（Ｘ＝０、Ｙ＝０）でなければ、ステップＳ１６の処理を実行する。

ステップＳ１６において、表示制御部１１０は、方向検出部１１４が検出した第１方向αを取得する。表示制御部１１０は、第１方向αが、下向きであるか否かを判断し、下向きである場合には（ステップＳ１６のＹＥＳ）、処理はステップＳ１８に移行する。また、判断結果が下向きでない場合は、表示制御部１１０は、ステップＳ１０１の処理に移行する。

ステップＳ１８において、表示制御部１１０は、認識部１１８の認識結果を縦書き用バッファ領域３０４（アシスト表示バッファ）に格納する。

ステップＳ２０において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のレジスタ値をＹ座標についてデクリメントし（Ｙ＝Ｙ−１）、ステップＳ８の処理を実行する。

図９は、実施形態１の処理フローの一例を示した図である。図９の「Ｓ１０１」は、図８の「Ｓ１０１」と対応している。ステップＳ１６において、表示制御部１１０は、第１方向αが下向きでない場合、ステップＳ２２の処理を実行する。

ステップＳ２２において、表示制御部１１０は、第１方向αが右向きであるか否かを判断し、右向きである場合には（ステップＳ２２のＹＥＳ）、処理はステップＳ２４に移行する。また、判断結果が右向きでない場合は、表示制御部１１０は、ステップＳ２８の処理を実行する。

ステップＳ２４において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）を参照し、レジスタ値がＸ＝０であるか否かを判断する。すなわち、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のＸの値が初期値でない状態でユーザがスタイラスペン２０２を右方向に移動させた場合は（ステップＳ２４においてＮＯ）、文字の訂正入力であると判断する（ステップＳ２６）。また、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のＸの値が初期値の状態（Ｘ＝０）で、ユーザがスタイラスペン２０２を右方向に移動させた場合は（ステップＳ２４においてＹＥＳ）、文字の訂正入力ではないと判断し、アシスト表示モードを終了してアシスト画像表示領域２１０の表示を終了する（ステップＳ５２）。

ステップＳ２６において、表示制御部１１０は、文字の訂正入力を受け付け、ペン位置座標（Ｘ、Ｙ）のＸの値をインクリメントし、ステップＳ１０３（図８のステップＳ８）の処理へ移行する。

ステップＳ２８において、表示制御部１１０は、第１方向αが上向きであるか否かを判断し、上向きである場合には（ステップＳ２８のＹＥＳ）、処理はステップＳ３０に移行する。また、判断結果が上向きでない場合は、表示制御部１１０は、ステップＳ１０２（図８の「Ｓ１０２」に対応）の処理を実行する。

ステップＳ３０において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）を参照し、レジスタ値がＹ＝０であるか否かを判断する。すなわち、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のＹの値が初期値でない状態でユーザがスタイラスペン２０２を上方向に移動させた場合は（ステップＳ３０においてＮＯ）、文字の訂正入力であると判断する（ステップＳ３２）。また、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のＹの値が初期値の状態（Ｙ＝０）で、ユーザがスタイラスペン２０２を上方向に移動させた場合は（ステップＳ３０においてＹＥＳ）、文字の訂正入力ではないと判断し、アシスト表示モードを終了してアシスト画像表示領域２１０の表示を終了する（ステップＳ５２）。

ステップＳ３２において、表示制御部１１０は、文字の訂正入力を受け付け、ペン位置座標（Ｘ、Ｙ）のＹの値をインクリメントし、ステップＳ１００（図８のステップＳ８）の処理へ移行する。

図８のステップＳ３４において、表示制御部１１０は、第１方向αが左向きであるか否かを判断し、左向きである場合には（ステップＳ３４のＹＥＳ）、処理はステップＳ３６に移行する。また、判断結果が左向きでない場合は、表示制御部１１０は、ステップＳ４４の処理を実行する。

ステップＳ３６において、表示制御部１１０は、ユーザが縦書きの手書き入力時に改行をしたものとし、アシスト画像表示領域２１０の表示位置を制御する。

ステップＳ３８において、表示制御部１１０は、縦書き用バッファ領域３０４の保持内容をアシスト画像表示領域２１０で表示するため、アシスト画像表示領域２１０の表示領域を拡張して表示する。

ステップＳ４０において、表示制御部１１０は、改行前の行の文字を表示するため、縦書き用バッファ領域３０４で保持された入力画像を読み出してアシスト画像表示領域２１０へ表示する。これによりアシスト表示がなされる。

ステップＳ４２において、表示制御部１１０は、ペン位置座標（Ｘ、Ｙ）のＸの値を更新し、Ｘをデクリメントするとともに、Ｙの値を初期化（Ｙ＝０）し、再びステップＳ８の処理を実行する。

ステップＳ４４において、表示制御部１１０は、スタイラスペン２０２の接触が検出されているか否かを入力受付部１０２の操作受付結果に基づいて判断する。スタイラスペン２０２の接触が検出されない場合（ステップＳ４４においてＹＥＳ）、表示制御部１１０は、ステップＳ４６の処理を実行し、スタイラスペン２０２の接触が検出される場合、ステップＳ１２の処理を実行する。

ステップＳ４６において、表示制御部１１０は、スタイラスペン２０２の接触が検出されないと判定された後、所定時間（例えば、２秒間）待機し、所定時間経過後、縦書き用バッファ領域３０４の保持内容をアシスト画像表示領域２１０に表示する。

ステップＳ４８において、表示制御部１１０は、スタイラスペン２０２の接触が検出されているか否かを入力受付部１０２の操作受付結果に基づいて判断し、接触が検出されない場合（ステップＳ４８においてＹＥＳ）、ステップＳ５０の処理に進み、アシスト表示モードを終了してアシスト画像表示領域２１０の表示を終了する（ステップＳ５０）。表示制御部１１０は、スタイラスペン２０２の接触を検出した場合（ステップＳ４８においてＮＯ）、ステップＳ１２の処理を実行する。

＜まとめ＞
本実施形態の情報処理装置は、表示領域３１２ａの端において、入力画像４０１等と対応してアシスト画像表示領域２１０に第１アシスト画像６０１等をアシスト表示する。ユーザは、直近に手書き入力した入力画像４０１等が手に覆われて視認できなくても、アシスト画像表示領域２１０を参照して第１アシスト画像６０１等を視認することにより、入力画像４０１等を認識できる。

＜実施形態２＞
次に、実施形態２について説明する。図１０は、実施形態２の情報処理装置１００Ｂの機能構成例を示した図である。図１０は、操作受付部１２０が追加されている点で、図３と異なる。実施形態１では、手書き検出部１０６が、ユーザの手等を検出することにより、ユーザがスタイラスペン２０２を保持している手が右手であるか左手であるかを検出する。実施形態２では、操作受付部１２０は、ユーザから、ユーザが右利きか右利きかの入力を受け付ける。

図１１を参照して、操作受付部１２０について説明する。図１１は、実施形態２の操作画面３１２０の一例を示した図である。表示装置３１２は、操作画面３１２０を表示する。操作画面３１２０は、左利きキー３１２０ａおよび右利きキー３１２０ｂを含む。これらのキーは、ユーザによりタッチ可能とする。

ユーザは、自身が該当する手書きに対応するキーをタッチする。操作受付部１２０は、タッチされたキーに対応する手書き情報を生成する。取得部１１６は、操作受付部１２０が生成した手書き情報を取得する。

また、図１１の例では、表示装置３１２に表示された操作画面について説明したが、ハードキー（図示せず）により、ユーザは手書きを選択可能としてもよい。

また、判別部１２２は、操作受付部１２０および手書き検出部１０６のうち少なくとも一方を含む。つまり、判別部１２２は、手書き情報を検出するものである。

本実施形態２の情報処理装置であれば、手書き検出部１０６の検出処理がなくても、ユーザから手書きを選択させることにより、取得部１１６は、手書き情報を取得できる。

＜実施形態３＞
次に、図１２を用いて、実施形態３の情報処理装置１００Ｃについて説明する。図１２は、実施形態３の情報処理装置１００Ｃの機能構成例である。図１２は、取得部１１６、手書き検出部１０６、表示制御部１１０がそれぞれ、取得部１３０、対象物検出部１５０、表示制御部１４０に代替されている点で、図３と異なる。

実施形態１では、表示制御部１１０は、方向検出部１１４が検出した第１方向等、および、取得部１１６が取得した手書き情報に基づいて、アシスト表示をする。実施形態３の表示制御部１４０は、手書き情報を用いずに、表示領域３１２ａ上に存在する対象検出物を検出し、検出結果と、第１方向等とに基づいて、アシスト表示する。

対象物検出部１５０の構成は、手書き検出部１０６と同様の構成である（例えば、図５参照）。従って、対象物検出部１５０は、検出対象物５００を検出できる。検出対象物５００は、例えば、スタイラスペン２０２およびユーザの手などである。

対象物検出部１５０は検出結果を取得部１３０へ送信する。ここで、好ましくは、検出結果は、検出対象物５００が表示領域３１２ａに接触している座標、および、表示領域３１２ａにできる検出対象物５００の影の座標を含む。図１３は、ユーザの手２０４の影２０４ａ等を示した図である。

対象物検出部１５０は、図１３に示すスタイラスペン２０２およびユーザの手の影２０４ａの座標（座標の集合）を検出する。そして、対象物検出部１５０は、座標を取得部１３０に送信する。取得部１３０は、送信された座標の集合Ｃ１を取得する。取得部１３０は、取得した座標の集合を表示制御部１４０へ送信する。

また、表示制御部１４０は、手書き入力された画像を構成する座標の集合Ｃ２を座標記憶部１１２から取得する。そして、表示制御部１４０は、取得部１３０から取得した座標の集合Ｃ１と、座標記憶部１１２から取得した座標Ｃ２の集合とに基づいて、手書き入力された画像と検出対象物５００とが、対向または略対向しているか否かを判断する。

具体的には、表示制御部１４０は、座標の集合Ｃ１と座標の集合Ｃ２とを比較して、同一である座標の数が、予め定められた閾値以上あれば、手書き入力された画像と検出対象物５００とが、対向または略対向していると判断する。一方、同一である座標の数が、閾値未満であれば、表示制御部１４０は、手書き入力された画像と検出対象物５００とが、対向していないと判断する。

手書き入力された画像と検出対象物５００とが対向または略対向している場合には、ユーザは、手書き入力された画像を目視できない。従って、この場合は、表示制御部１４０は、手書き入力された画像に対応する画像をアシスト画像表示領域２１０に表示する。

また、アシスト表示の開始箇所の決定手法については、実施形態１と同様なので、説明を繰り返さない。

この実施形態３の情報処理装置１００Ｃによると、表示制御部１４０が、入力画像４００１と検出対象物５００とが対向または略対向していると判断した場合に、表示制御部１４０は、アシスト画像表示領域２１０によってアシスト表示する。この手法では、手書き情報を生成せずとも、実施形態１と同様の効果を奏する。

＜実施形態４＞
図１４は、実施形態４の情報処理装置１００Ｄの機能構成例を示した図である。図１４は、図３と比較して、取得部１１６、表示制御部１１０がそれぞれ、取得部２３０、表示制御部２４０に代替されており、さらに言語検出部２５０が追加されている点で、図３と異なる。

実施形態４では、手書き入力された画像が文字を示す場合に、表示制御部２４０は、文字の言語の種類と第１方向α等に基づいて、入力画像をアシスト表示する。図１５は、表示制御部２４０がアシスト表示する条件の一例を示した図である。

図１５に示すように、ユーザが右利きであり、かつ、言語が日本語または中国語である場合には、図１に示すように、ユーザが手書き入力した文字がユーザの手で覆われる。従って表示制御部２４０はアシスト表示する。

言語検出部２５０は、認識部１１８が認識した言語の種類を検出する。言語検出部２５０の言語の種類の検出手法は、例えば、パターンマッチング方式を用いればよい。言語検出部２５０により検出された言語の種類は、表示制御部２４０に出力される。

表示制御部２４０は、取得部２３０から出力された手書き情報、および、言語検出部２５０から出力された言語の種類に基づいて、入力画像をアシスト表示する。

この実施形態４の情報処理装置１００Ｄによると、第１方向を検出することなく、実施形態１と同様の効果を奏する。

＜実施形態５＞
図１６を参照して、実施形態５の情報処理装置について説明する。図１６は、実施形態５の情報処理装置の表示画面の一例である。ユーザが、文字等を大きく手書き入力した場合に、手書き入力された画像と、アシスト表示によって表示される画像とが重畳してしまい、ユーザがアシスト表示によって表示される画像を見づらくなる。そこで、図１６に示すように、実施形態５の情報処理装置は、手書き入力された画像を表示する表示領域の大きさに応じて、アシスト表示によって画像を表示する表示領域を縮小して表示する。

また、以下の説明では、機能構成例は図３とするが、他の図面に示す機能構成例でもよい。以下では、手書き入力された画像が表示される領域を第１画像領域５１０とし、アシスト表示によって画像が表示される領域を第２画像領域５１２とする。

図１７を参照して、表示制御部１１０の処理の内容を説明する。図１７は、実施形態５の表示制御部１１０の処理フローの一例を示した図である。

ステップＳ１５２において、表示制御部１１０は、手書き入力された画像が表示される領域（第１画像領域５１０）と、アシスト表示によって画像が表示される領域（第２画像領域５１２）とが重畳するか否かを判断する。または、表示制御部１１０は、第１画像領域５１０と、第２画像領域５１２とが重畳したか否かを判断する。第１画像領域５１０と、第２画像領域５１２との重畳については、第１画像領域５１０を構成する複数の点の座標と、第２画像領域５１２を構成する複数の点の座標とに基づいて行われる。

ステップＳ１５２において、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳すると判断すると（ステップＳ１５２のＹＥＳ）、処理はステップＳ１５４に移行する。一方、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳しないと判断すると（ステップＳ１５２のＮＯ）、処理はステップＳ１５８に移行する。

ステップＳ１５４において、表示制御部１１０は、第１画像領域５１０の面積（例えば、ドット数）を算出する。

ステップＳ１５６において、表示制御部１１０は、第１画像領域５１０の面積に応じて、第２画像領域５１２に表示される文字のフォントサイズを縮小することで、第２画像領域５１２の面積を縮小する。なお、例えば、第１画像領域５１０の面積に応じた係数ｒが、情報処理装置の製造時に予め決定される。係数ｒの定め方として、係数ｒが乗算されたフォントサイズで第２画像領域５１２によってアシスト表示した場合に、第１画像領域５１０と重畳しないように、係数ｒを定める。表示制御部１１０は、第２画像領域５１２に表示される文字のフォントサイズに、係数ｒを乗算する。表示制御部１１０は、係数ｒが乗算されたフォントサイズで文字を表示するよう、第２画像領域５１２の面積を縮小してアシスト表示する。

一方、ステップＳ１５８において、表示制御部１１０は、第２画像領域５１２に表示される文字のフォントサイズを変えずに、第２画像領域５１２をアシスト表示する。

なお、ステップＳ１５２で、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが既に重畳したか否かを判断するようにしてもよい。そして、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳したと判断すると、即座に、ステップＳ１５４とＳ１５６の処理を行なう。

この実施形態５の情報処理装置は、第１画像領域５１０と第２画像領域５１２とを重畳させずに、第２画像領域５１２をアシスト表示できる。

＜実施形態６＞
図１８を参照して、実施形態６の情報処理装置について説明する。図１８は、実施形態６の情報処理装置の表示画面の一例である。ユーザが、文字を大きく手書き入力した場合に、第１画像領域５１０と第２画像領域５１２とが重畳してしまい、ユーザが第２画像領域５１２に表示される文字を見づらくなる。

そこで、実施形態６の表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳する場合には、直近に手書き入力された文字に基づく画像を第２画像領域５１２において優先的に表示する。図１８の例では、表示制御部１１０は、直近に手書き入力された文字「交通手段は、電車です。」を、第２画像領域５１２において優先的に表示している。つまり、表示制御部１１０は、以前に手書き入力された「今日の天気は晴れです。私は、今から買い物に出かけます。」を消去して第２画像領域５１２に文字を表示している。

図１９を参照して、表示制御部１１０の処理の内容を説明する。図１９は、実施形態６の表示制御部１１０の処理フローの一例を示した図である。

ステップＳ１５２において、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とをそれぞれ同じ大きさで表示した場合に、第１画像領域５１０と第２画像領域５１２とが重畳するか否かを判断する。または、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳したか否かを判断する。

ステップＳ１５２において、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳すると判断すると（ステップＳ１５２のＹＥＳ）、ステップＳ１６０の処理を実行する。一方、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳しないと判断すると（ステップＳ１５２のＮＯ）、ステップＳ１５８の処理を実行する。ステップＳ１５８において、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２との大きさを調整せず処理を続ける。

ステップＳ１６０において、表示制御部１１０は、第１画像領域５１０に表示される入力画像のうち、第２画像領域５１２に表示可能なデータ量で直近に手書き入力された入力画像を抽出して、抽出した入力画像を第２画像領域５１２に表示する。また、表示制御部１１０は、第２画像領域５１２が表示される大きさを固定するようにしてもよい。

なお、ステップＳ１５２で、表示制御部１１０は、第１画像領域５１０と第２画像領域５１２とが重畳したか否かを判断するようにしてもよい。この場合には、第１画像領域５１０と第２画像領域５１２とが重畳したと判断した後に、表示制御部１１０は、第１画像領域５１０に表示される入力画像のうち、第２画像領域５１２に表示可能なデータ量で直近に手書き入力された入力画像を抽出して、抽出した入力画像を第２画像領域５１２に表示する。

この実施形態６の情報処理装置は、第１画像領域５１０と第２画像領域５１２とを重畳させずに、第２画像領域５１２をアシスト表示できる。

また、実施形態５および実施形態６の手法によらず、他の手法により、表示制御部は、第１画像領域５１０および第２画像領域５１２が重畳しないように、第１画像領域５１０および第２画像領域５１２を表示するようにしてもよい。

＜その他＞
上記実施形態の説明では、縦書き時に左方向に改行して書き進める言語（日本語）を例にして、ユーザが右手で文字を手書き入力する場合を説明した。この他にも、例えば、ユーザが左手で記号などを下方向や右方向に手書き入力する場合、ユーザが右方向に書き進めると、手書き入力された画像がユーザの手によって覆われる。そのため、情報処理装置１００は、ユーザが左手で文字、図形等を手書き入力する場合においても、手書き入力がなされた際に方向検出部１１４が下方向を検出していれば、入力画像を縦書き用バッファ領域３０４に保持し、方向検出部１１４が右方向を検出した場合に、縦書き用バッファ領域３０４で保持されている画像を読み出してアシスト画像表示領域２１０に表示することとしてもよい。この場合、アシスト画像表示領域２１０は、表示領域３１２ａの右端付近にアシスト画像表示領域２１０を表示させることとしてもよい。これにより、ユーザは、手書き入力した入力画像を容易に確認することができる。

本発明の情報処理装置は、ＣＰＵとその上で実行されるプログラムにより実現される。本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。

また、今回開示された実施形態はすべての点で例示であって、制限的なものではない。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０２ 入力受付部、１０４ 表示部、１０６ 手書き検出部、１０８ 座標検出部、１１０ 表示制御部、１１１ 辞書記憶部、１１２ 座標記憶部、１１４ 方向検出部、１１６ 取得部、１１８ 認識部、１２０ 操作部、１２２ 判別部、１５０ 対象物検出部、２０２ スタイラスペン。

Claims (15)

1. 情報処理装置であって、
   画像を表示領域に表示する表示部と、
   手書きによる入力操作を前記表示領域内において受け付ける入力受付部と、
   前記手書きにより入力された画像を保持するための記憶部と、
   手書き入力を行なう手が右手または左手のいずれであるかを判別する判別部と、
   手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出する方向検出部と、
   前記表示部の表示内容を制御する表示制御部とを備え、
   前記表示部は、前記表示領域において前記入力受付部が手書き入力を受け付けた位置に前記手書き入力された画像を表示し、
   前記記憶部は、前記方向検出部が検出する複数の画像の入力位置が示す方向が縦書き方向を示す場合に、前記縦書き方向に入力される各画像を保持し、
   前記表示制御部は、前記判別部により手書き入力を行う手が右手と判別される場合であって前記方向検出部が検出する複数の画像の入力位置が示す方向が縦書き入力における改行方向を示す場合に、前記記憶部に保持される保持画像それぞれを読み出して、読み出した各保持画像を、前記表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示させる、
   情報処理装置。
2. 前記表示制御部は、前記保持画像それぞれを、前記表示領域の左側に表示させる、
   請求項１記載の情報処理装置。
3. 前記表示制御部は、
   前記判別部により右手と判別される場合であって、前記方向検出部が右方向を検出した場合に、前記入力受付部が受け付けた入力操作を入力済みの画像の訂正入力として受け付け、前記訂正入力された画像を前記表示部に表示させる、
   請求項１記載の情報処理装置。
4. 前記表示制御部は、
   前記判別部により右手と判別される場合であって、前記手書き入力を受け付けた初期位置よりも右側で前記入力受付部が入力操作を受け付けたときに、前記所定位置への前記保持画像の表示を終了させる、
   請求項３記載の情報処理装置。
5. 前記表示制御部は、
   前記方向検出部が縦書き逆方向を検出した場合に、前記入力受付部が受け付けた入力操作を入力済みの画像の訂正入力として受け付け、前記訂正入力された画像を前記表示部に表示させる、
   請求項１記載の情報処理装置。
6. 前記表示制御部は、
   前記方向検出部が縦書き逆方向を検出した場合であって、前記手書き入力を受け付けた初期位置よりも縦書き逆方向側で前記入力受付部が入力操作を受け付けたときに、前記所定位置への前記保持画像の表示を終了させる、
   請求項５記載の情報処理装置。
7. 前記判別部は、
   手書き入力を行う手が右手または左手のいずれであるかの設定をユーザから受け付けることにより前記判別を行う、
   請求項１記載の情報処理装置。
8. 前記判別部は、
   ユーザの手を検知するためのセンサ機構を含み、前記センサ機構を駆動させることにより、手書き入力を行なう手が右手または左手のいずれであるかを判別する、
   請求項１記載の情報処理装置。
9. 前記表示制御部は、
   手書き入力を受け付けた複数の画像それぞれの入力位置と、前記所定位置に表示する前記保持画像それぞれの配置位置とが相対的に同一になるように、前記保持画像を前記所定位置に表示させる、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記表示制御部は、
    手書き入力された画像と、前記所定位置に表示する前記保持画像とが重畳しないように、前記所定位置に表示する保持画像に対し所定の処理を施して表示させる、
    請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記所定の処理は、
    前記手書き入力された画像の大きさに応じて、前記所定位置に表示する保持画像を縮小して前記所定位置に表示する処理を含む、
    請求項１０記載の情報処理装置。
12. 前記所定の処理は、
    手書き入力された画像のうち、直近に入力操作がなされた一部の画像を抽出し、抽出した画像を前記所定位置に表示する処理を含む、
    請求項１０記載の情報処理装置。
13. 前記表示制御部は、
    前記判別部に左手と判別される場合であって、前記方向検出部が右方向を検出した場合に、前記記憶部に保持される保持画像を読み出して、前記表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に前記保持画像を表示させる、
    請求項１記載の情報処理装置。
14. 手書きによる入力操作を受け付ける情報処理装置が入力画像を表示するための方法であって、
    前記情報処理装置が、画像を表示領域に表示するステップと、
    前記情報処理装置が、手書きによる入力操作を前記表示領域内において受け付けるステップと、
    前記情報処理装置が、手書き入力を行なう手が右手または左手のいずれであるかを判別するステップと、
    前記情報処理装置が、手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出するステップと、
    前記情報処理装置が、前記表示領域において手書き入力を受け付けた位置に前記手書き入力された画像を表示するステップと、
    前記情報処理装置が、前記検出される複数の画像の入力位置の方向が縦書き方向を示す場合に、前記縦書き方向に入力される各画像を保持するステップと、
    前記情報処理装置が、前記ステップにおいて手書き入力を行う手が右手と判別される場合であって前記検出される複数の画像の入力位置の方向が縦書き入力における改行方向を示す場合に、前記保持される保持画像それぞれを読み出して、読み出した各保持画像を、前記表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示するステップとを含む、
    方法。
15. 手書きによる入力操作を受け付ける情報処理装置の動作を制御するためのプログラムであって、前記情報処理装置は、プロセッサと、メモリとを備え、
    前記プログラムは、前記プロセッサに、
    画像を表示領域に表示するステップと、
    手書きによる入力操作を前記表示領域内において受け付けるステップと、
    手書き入力を行なう手が右手または左手のいずれであるかを判別するステップと、
    手書きによる複数の画像の入力操作を順に受け付けた場合に、入力済みの画像の入力位置に基づいて、複数の画像の入力位置が示す方向を検出するステップと、
    前記表示領域において手書き入力を受け付けた位置に前記手書き入力された画像を表示するステップと、
    前記検出される画像の入力位置の方向が縦書き方向を示す場合に、前記縦書き方向に入力される各画像をメモリに保持させるステップと、
    前記ステップにおいて手書き入力を行う手が右手と判別される場合であって前記検出される複数の画像の入力位置の方向が縦書き入力における改行方向を示す場合に、前記保持される保持画像それぞれを前記メモリから読み出して、読み出した各保持画像を、前記表示領域内で画像の手書き入力を受け付けた位置とは異なる所定位置に表示するステップと、を実行させる、
    プログラム。

Images