JP4995056B2 - 画像表示装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、表示画像に対して手書き文字を書き込む（入力する）技術に関する。

従来、画像表示装置に表示した表示画像に対して、文字（文字の他、記号、図形を含む）を入力する技術が知られている。例えば、デジタルカメラで撮影した画像を表示し、その表示画面上で手書き文字を入力するなど、容易に写真アルバム並に扱うことができる電子アルバムが提案されている（特許文献１参照）。

また、ユーザが入力した手書き文字をさまざまなフォントに変換する装置が提案されている（特許文献２参照）。

また、単に任意の図形を指定するだけで、その図形を構成する線分に沿って出力対象文字列を配置できるようにした技術が提案されている（特許文献３参照）。
特開２０００−２５３２２８号公報 特開２００３−２０８６６４号公報 特願平０８−１６０９３６号公報

しかしながら、特許文献１〜３では、手書き文字を入力する場合の入力操作性に問題があった。すなわち、特許文献１では、文字入力の対象となっているサムネイル画像を表示領域のサイズに合わせて拡大し、その表示領域上において、手書きで文字を入力し、その文字を画像に付加することができる。従って、特許文献１では、表示領域に合わせて拡大された画像に対して手書きで文字を入力できるので、入力文字のサイズが小さく規制されることによる入力操作の困難性はある程度は解消されている。

しかし、特許文献１では、表示領域には画像の全体が表示され、手書き文字は、その全体画像に対して入力する必要があり、拡大された部分画像に対して入力することはできない。特許文献１は、この点では、手書き文字の入力サイズが小さく規制され、入力操作の困難性が十分に解消されているとは言い難い。

また、特許文献２は、画像表示画面上で任意のサイズ・個数の文字入力枠を設定し、その文字入力枠に手書き文字を入力することができる。この特許文献２では、特許文献１と同様に、拡大された部分画像に対して手書き文字を入力することはできず、特許文献１と同様の上記の問題点がある。さらに、特許文献２では、文字入力枠を設定する必要があり、その設定操作が面倒であった。

また、特許文献１，２では、画像表示画面の向き（天地方向）と、入力文字の各文字の向き（天地方向）との関係を変える場合は、通常、表示画像を回転させるか、或いはユーザが表示画面に対する向き（姿勢）を変える必要があり、入力操作性が悪かった。

なお、特許文献３では、指定した図形を構成する線分に沿った向きに文字を配置することができる。この特許文献３の技術を用いれば、上記のように、表示画像を回転させたり、ユーザが表示画面に対する向きを変えたりする必要はなくなる。

しかし、特許文献３では、文字出力用に予め用意された字体の文字について、その向きを規定することはできるが、手書き文字に対して、その向きを規定することはできない。また、特許文献３では、文字の向きは、指定可能な図形に依存するため、入力文字の向きの自由度が制限され、任意の向きに文字を入力する場合の入力操作性に問題があった。

本発明は、このような背景の下になされたもので、その目的は、画像に対して手書き文字を所望の形態で入力する場合の入力操作性、利便性を向上させることにある。なお、本明細書において、文字とは、文字だけでなく記号、図形など、何らかの線分で表された表示体を言う。

上記目的を達成するため、本発明に係る画像表示装置は、画像の全体を表示する全体表示部と、前記全体表示部に表示中の画像の一部分を表示する部分表示部と、前記全体表示部に表示中の画像における座標位置を指定する位置指定手段と、前記全体表示部に表示中の画像に対し前記位置指定手段を用いて入力された線分の一部を含み、当該表示中の画像の一部分を切出し、切出した画像の領域を示す切出枠を前記全体表示部に表示する切出手段と、前記切出手段により切出された画像を前記部分表示部に拡大表示させる第１の表示制御手段と、前記部分表示部に表示中の画像に対して文字を入力するための入力手段と、前記入力手段により文字が入力されたことに応じて、前記切出手段での切出しの対象となる画像の領域を、前記位置指定手段を用いて入力された線分に沿って移動させる移動制御手段と、前記位置指定手段を用いて入力される線分または前記入力手段により入力される文字の太さを、ペンの太さとして、ユーザに選択させるための選択手段と、前記ペンの太さ毎に、文字サイズと文字間隔が登録されたデータベースと、前記選択手段にてユーザにより選択されたペンの太さと前記データベースとを用いて、ユーザが入力する文字の文字サイズと文字間隔を予測する予測する予測手段とを備え、前記切出手段は、前記予測手段により予測した文字サイズと文字間隔に基づいて、前記切出枠を決定することを特徴とする。

本発明によれば、画像に対して手書き文字を所望の形態で入力する場合の入力操作性、利便性を向上させることが可能となる。

以下、発明を実施するための最良の形態を、図面に基づいて説明する。本発明の実施の形態に係る画像表示装置は、図１〜図１０に示したような順序で、表示画像に対して手書き文字を入力することができる。

すなわち、画像表示装置１００は、デジタルカメラ等で撮影された画像を表示する専用の画像ビューアとして構成されている。ただし、画像表示装置１００の後述の機能を画像編集を行なう電子アルバム、或いは携帯電話機に搭載することも可能である。

画像表示装置（画像ビューア）１００の表示部は、画像全体を表示するための全体表示画面１０１と、手書き文字の入力部分を拡大表示するための拡大表示画面１０２を有している（図１参照）。これら２つの表示画面１０１，１０２は、１つのディスプレイの表示画面を２分割したものであっても、或いは２つのディスプレイに係る個々の表示画面であってもよい。また、表示画面１０１，１０２は、共に液晶タッチパネル等のタッチスクリーンにより構成されている。

全体表示画面１０１に表示した画像のうちの一部分、すなわち拡大表示画面（部分表示部）１０２に拡大表示されている領域は、全体表示画面１０１において切出枠１０４として表示される（図３参照）。また、拡大表示画面１０２において手書き文字を入力した場合、その手書き文字は、縮小されて全体表示画面１０１にもエコー表示される（図４参照：第２の表示制御手段）。

次に、表示画像に対する手書き文字の入力処理の概要を説明する。まず、ユーザは、全体表示画面１０１に所望の画像（表示画像）を表示させる（図１参照）。次に、ユーザは、表示部における座標位置を指定するデバイス、例えばスタイラスペン（図示省略）等の位置指定手段を用いて、表示画像に対してガイド線１０３を引く（図２参照）。

このガイド線１０３は、手書き文字列を入力する際の次の文字の入力位置をガイドするものであり、便箋、ノート等における罫線と同様の機能を果たすものである。換言すれば、ガイド線１０３は、手書き文字列の読み方向（入力方向）をガイドする機能を有している。このガイド線１０３は、直線である必要はなく、任意の曲線（円、楕円等の閉曲線を含む）を引くことができる。

次に、ユーザは、ガイド線１０３を横書きのためのガイド線（所謂、横罫線）として利用するのか、或いは縦書きのためのガイド線（所謂、縦罫線）として利用するのかを設定する。図２の状態で、例えば「横書き」を設定したとすると、全体表示画面１０１に表示中の画像のうち、切出されて拡大表示画面１０２に拡大表示される領域を示す切出枠１０４が、全体表示画面１０１に自動的に表示される（図３参照）。この際、切出枠１０４で囲まれた領域の画像は、切出された後に拡大されて拡大表示画面１０２に表示される（第１の表示制御手段）。なお、拡大表示画面１０２に拡大表示される画像は、後述するように、必要に応じて回転して表示される。

切出枠１０４は、拡大表示画面１０２上で手書き文字が入力されていくに連れて、ガイド線１０３に沿って自動的に移動していく（図６等参照）。なお、ガイド線１０３の始点の位置から拡大すべく、換言すれば、ガイド線１０３の始点の位置から手書き文字を入力すべく、最初の切出枠１０４は、ガイド線１０３の始点の位置が手書き文字の１文字目の入力位置となるような位置に表示される（図４参照）。

本実施の形態では、図４に示したように、拡大表示画面１０２でガイド線１０３に沿って手書き文字を「２文字」入力すると、ガイド線１０３に沿った領域には、それ以上、手書き文字を入力することができなくなってしまう（図５参照）。

そこで、拡大表示画面１０２上でガイド線１０３に沿って手書き文字が「２文字」入力された段階で、切出枠１０４がガイド線１０３の始端位置から終端位置に向かって「１文字」分だけ自動的に移動する（図６参照：移動制御手段）。これ以降は、手書き文字を「１文字」入力するごとに、切出枠１０４がガイド線１０３の始端位置から終端位置に向かって「１文字」分だけ自動的に移動する（図７，８参照：移動制御手段）。

従って、ユーザは、画像に対して手書き文字を所望の形態で入力する場合に、手書き文字の入力位置を意識せずに、単に拡大表示画面１０２の右半分の領域に手書き文字を入力していくだけでよく、入力操作性、利便性が向上する。

なお、拡大表示画面１０２上で入力された手書き文字は、前述のように、全体表示画面１０１上にもエコー表示される。従って、拡大表示画面１０２に部分的に表示された拡大画像に対して文字を入力していく際に、全体表示画面１０１に表示された全体画像を参照して全体画像との位置関係を把握することができ、手書き文字を入力する際の入力操作性、利便性が向上する。

なお、エコー表示の際には、拡大表示画面１０２上で入力された手書き文字は、現在の拡大表示画面１０２での表示画像の拡大率に応じた縮小率で縮小されて表示される（図４参照）。また、現在の拡大表示画面１０２での表示画像が回転処理されている場合は、このエコー表示の際には、拡大表示画面１０２上で入力された手書き文字は、その回転を打ち消すような形態で逆回転処理されて表示される。

そして、手書き文字がガイド線１０３の終端位置まで入力されてしまうと（図９参照）、手書き文字の入力が完了したものとして、全体表示画面１０１上のガイド線１０３と切出枠１０４、拡大表示画面１０２の全ての表示内容が消去される（図１０参照）。

図１１は、画像表示装置１００の機能を示す機能ブロック図である。画像表示装置１００は、基本的にはＣＰＵ，ＲＯＭ、ＲＡＭ等を有するコンピュータシステムにより構成されている。そして、図１１の機能は、コンピュータシステムに係るハードウェア資源と、ＲＯＭ等に搭載されたソフトウェアにより実現される。

画像表示装置１００は、主制御部１１０１を中核として画像表示処理を行うものであり、主制御部１１０１には、入力処理部１１０２、画像記憶部１１０３、表示制御部１１０４、表示部１１０５、画像処理部１１０６が接続されている。

主制御部１１０１は、ＣＰＵ等により構成され、入力処理部１１０２を介して入力された各種のコマンドに係る処理を実行する。この場合、主制御部１１０１は、コマンドに応じて、画像記憶部１１０３、表示制御部１１０４、画像処理部１１０６で実行すべき処理を制御する。

入力処理部１１０２は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、各種の入力キー等の入力デバイスの操作状況を監視し、その操作に応じたコマンド、データ等を主制御部１１０１に入力する。なお、表示部１１０５は、液晶タッチパネル（図示省略）等のタッチスクリーンにより構成されている。従って、入力処理部１１０２は、タッチスクリーンのタッチ座標、又はそのタッチ座標に表示されているアイコン、ボタン等に係るコマンドも検知して主制御部１１０１に入力する。

画像記憶部１１０３は、表示部１１０５に表示する表示対象としての画像を記憶する。この画像記憶部１１０３は、例えばデジタルカメラで撮像した撮影画像等を記録したコンパクトフラッシュ(登録商標)、スマートメディア、マルチメディアカード等を用いることができる。表示制御部１１０４は、ビデオＲＡＭ（図示省略）等に展開された画像データ（ビットマップデータ）に基づいて、表示部１１０５の液晶部（図示省略）を駆動制御する。

画像処理部１１０６は、拡大表示画面１０２に表示する拡大画像に係る処理を行う拡大画像処理部１１５０と、全体表示画面１０１に表示する全体画像に係る処理を行う全体画像処理部１１６０を有している。なお、画像処理部１１０６の後述の各機能は、主として、主制御部（ＣＰＵ）１１０１が図１２のフローチャートに係るプログラムを実行することによる実現される。

拡大画像処理部１１５０は、拡大用情報テーブル１１５１、予測設定部１１５２、縦横設定部１１５３、拡大率算出部１１５４、拡大処理部１１５５、及び回転処理部１１５６を有している。

拡大用情報テーブル１１５１は、全体表示画面１０１の一部を拡大表示画面１０２に表示する場合の拡大率を算出するための情報（図１３参照）を記録したものである。この拡大用情報テーブル１１５１は、例えばＲＯＭ等の不揮発性メモリに形成することができる。

予測設定部１１５２は、拡大表示画面１０２に次に入力される手書き文字の文字サイズ、文字間隔を、拡大用情報テーブル１１５１等を用いて順次予測し、その予測した文字サイズ、文字間隔を順次設定していく。この文字サイズ、文字間隔の予測処理については後述する。縦横設定部１１５３は、ガイド線１０３を縦罫線として利用するか、或いは横罫線として利用するかを設定する。

拡大率算出部１１５４は、予測設定部１１５２で設定された内容に基づいて、新たな「１文字」分と、直前の入力に係る手書き文字（１文字）と、３つの文字間隔を、拡大表示画面１０２の画面全体に拡大して表示するための拡大率を算出する。拡大処理部１１５５は、後述する切出枠設定部１１６２で設定された切出枠１０４内の画像を切出して、拡大率算出部１１５４で拡大された拡大率で拡大する。

回転処理部１１５６は、縦横設定部１１５３で設定されたガイド線１０３の縦／横の罫線としての利用形態に応じて、切出枠設定部１１６２で設定された切出枠１０４内の画像を回転する。この場合、「縦」が設定されている場合は、回転処理部１１５６は、図１４に示した切出枠１０４の上枠線１０４ｕ、下枠線１０４ｄの向きが拡大表示画面１０２の上枠線、下枠線の向きと一致するように回転処理を行う。また、「横」が設定されている場合は、回転処理部１１５６は、図１５に示した切出枠１０４の上枠線１０４ｕ、下枠線１０４ｄの向きが拡大表示画面１０２の上枠線、下枠線の向きと一致するように回転処理を行う。

要するに、回転処理部１１５６は、拡大表示画面１０２の天地方向と入力すべき手書き文字の天地方向とが、ガイド線１０３について指定された罫線としての方向との関係で一致するように回転処理を行う。

この回転処理により、拡大表示画面１０２に表示されるガイド線１０３は、「縦」が設定されている場合は縦向きとなり、「横」が設定されている場合は横向きとなる。従って、ユーザは、自分の体を回転させたり、画像表示装置１００の向きを変えたりしなくても、任意の向きに描いたガイド線１０３を縦罫線／横罫線とした場合の適正な向きに、手書き文字を容易に入力することが可能となる。

すなわち、拡大表示画面１０２の上下方向（天地方向）を入力文字の上下方向（天地方向）としてユーザが手書き文字を入力するだけで、その手書き文字の向きは所望の向きとなる。手書き文字を入力する際に、ユーザは、全体表示画面１０１に描いたガイド線１０３の向き、そのガイド線１０３を縦／横の何れの方向の罫線として利用するのかを意識する必要は全くない。

換言すれば、手書き文字列を所望の読み方向に順次入力していく際に、画像表示装置１００の向きを変えずに、かつ一定の姿勢を保ったままで、各手書き文字を所望の読み方向に対する適正な向きに入力することができる。以上の理由により、手書き文字を任意の向きに入力する際の入力操作性、利便性が大幅に向上する。

全体画像処理部１１６０は、入力線太さ設定部１１６１、切出枠設定部１１６２、ガイド線処理部１１６３、及び縮小処理部１１６４を有している。

線太さ設定部１１６１は、タッチ入力に係る入力線（ペンの軌跡）の太さを設定するものである。この入力線の太さは、実際には、選択可能なペン（スタイラスペン）の太さに１対１に対応付けられており、ＧＵＩ画面でペンの太さが選択されることにより、それに対応した入力線の太さが設定される（図１３参照）。なお、図１３から推測できるように、選択されるペンの太さは、入力線（ペンの軌跡）に対応するだけでなく、文字サイズ、文字間隔にも対応している。

切出枠設定部１１６２は、全体表示画面１０１に表示されている全体画像の中からその一部を切出して拡大表示する場合の切出領域を示す切出枠１０４を設定（表示）する。この際、切出枠設定部１１６２は、後述するガイド線処理部１１６３の処理内容、縦横設定部１１５３の設定内容、予測設定部１１５２の設定内容、及び拡大率算出部１１５４で算出された拡大率に基づいて切出領域を決定する。

ガイド線処理部１１６３は、全体表示画面１０１に表示されている全体画像に対して、スタイラスペン等でガイド線が入力された場合に、その入力の軌跡に従ってガイド線１０３を描画する。

縮小処理部１１６４は、拡大表示画面１０２で入力され、拡大状態で表示されている手書き文字を縮小する。この縮小に係る手書き文字は、主制御部１１０１の制御の下に、切出枠１０４内にエコー表示される。なお、この場合の縮小率は、当該手書き文字（実際には１文字）を入力するために拡大表示画面１０２に形成された入力領域の拡大率に対応する縮小率である。

次に、表示画像に対する手書き文字の入力処理の詳細を、図１２のフローチャートを中心にして説明する。

ユーザは、落書きをしたい画像、すなわち、手書き文字の入力対象となる画像を全体表示画面１０１に表示させ、その画像が表示されている全体表示画面１０１上でガイド線１０３を引く（ステップＳ２０１）。この場合、ユーザは、スタイラスペン等を用いてガイド線１０３を引く（描画する）ことができる。また、ユーザは、スタイラスペン等を用いる場合、ペンの太さを選択することができる（図１３参照）。この場合、主制御部１１０１は、選択されたペンの太さを設定し、ガイド線処理部１１６３と協働してペンの太さに応じた線の太さでガイド線１０３を引く。

さらに、主制御部１１０１は、ガイド線処理部１１６３と協働してガイド線１０３を元画像の背景色の補色で表示したり、点滅表示したりする。これにより、ユーザは、手書き文字の入力対象となる画像が包含する線とガイド線１０３とを容易に区別することができるようになる。このガイド線１０３の表示形態は、全体表示画面１０１だけでなく拡大表示画面１０２においても同様とすることができる。

次に、ユーザは、引いたガイド線１０３を縦罫線として利用するのか（図１４参照）、それとも横罫線として利用するのか（図５、図１５、図２８参照）を選択する。また、ユーザは、引いたガイド線１０３の上／下（図４参照）、又は左／右（図１４参照）の何れの側を手書き文字の入力領域とするのか、或いは引いたガイド線１０３の上下（図２８参照）又は左右に跨った領域を文字の入力領域とするのかを指定する。

なお、横罫線としての利用を選択し、入力領域としては下側を指定した場合は、図１６（ａ）のように、拡大領域（入力領域）はガイド線１０３の下側が広く上側が狭くなる。
また、横罫線としての利用を選択し、入力領域としては跨った領域を指定した場合は、図１６（ｂ）のように、拡大領域（入力領域）はガイド線１０３の上側と下側とで均等となる。また、横罫線としての利用を選択し、入力領域としては上側を指定した場合は、図１６（ｃ）のように、拡大領域（入力領域）はガイド線１０３の上側が広く下側が狭くなる。

そこで、主制御部１１０１は、ユーザが手書き文字に関して選択・指定した内容を判別する（ステップＳ２０２）。具体的には、主制御部１１０１は、ステップＳ２０２では、ペンの太さ、ガイド線１０３の縦罫線／横罫線としての利用（手書き文字列の読み方向）、上記の入力領域に係る指定内容を判別する。

次に、主制御部１１０１は、縦横設定部１１５３と協働して、ステップＳ２０２での判別結果、すなわち、ペンの太さ、手書き文字列の読み方向、上記の入力領域に係る指定内容を設定する（ステップＳ２０３，Ｓ２０４）。

次に、主制御部１１０１は、予測設定部１１５２と協働して、次に入力される手書き文字の文字サイズ、文字間隔を予測し、その予測に係る予測文字サイズ、予測文字間隔を設定する（ステップＳ２０５）。この予測処理は、拡大用情報テーブル（データベース）を用いて行なわれる。

拡大用情報テーブル（データベース）には、図１３に示したように、ペンの太さ毎に、文字サイズ（横幅）と文字間隔が登録されている。なお、ペンの太さは、スタイラスペン等の物理的な入力デバイスの太さを示す概念ではなく、基本的にはペン入力時の軌跡（すなわち入力線の太さ）を示す概念である。ただし、ペンの太さは、文字サイズ・文字間隔を示す概念であるとも言える。

文字サイズ（文字の横幅）、文字間隔の具体的な値としては、初期値、経験値、予測値の３種が登録されている。これら文字サイズ、文字間隔の初期値、経験値、予測値は、いずれも、拡大表示画面１０２上での拡大状態における値ではなく、全体表示画面１０１上での値である。

初期値は、画像表示装置１００にデフォルトで設定されている文字サイズ、文字間隔の値を示している。経験値は、各ペンの太さをユーザが過去に利用した際の平均の文字サイズ、文字間隔の値を示している。この場合、「ユーザ」という用語は、当該画像表示装置１００を操作した全ての操作者を総称する用語と解しても、或いは、ユーザ名等で識別される個人単位でのユーザを指す用語として解してもよい。

なお、初期値と経験値は、或る画像に対して手書き文字を入力する際に、或るペンの太さが最初に選択された場合の拡大率を算出するために利用される。また、経験値は、各ペンの太さ毎に或る程度の選択頻度に達した後に使用し、それ迄の間は初期値を使用するようにして、或いは各ペンの太さの１回の選択実績で直ちに使用してもよい。

予測値は、拡大処理を行うための拡大率を算出するときに実際に使用される文字サイズ、文字間隔の値を示している。この予測値は、原則として、手書き文字の現在の書込み対象の画像について或るペンの太さを利用した場合に、当該ペンの太さの選択状態で最新に入力された手書き文字の文字サイズ、文字間隔の値を示している。従って、予測値は、同一のペンの太さによる同一の画像に対する予測値であっても同一であるとは限らず、変化する場合がある。ただし、後述するように、この実際に入力された文字サイズ、文字間隔の値は、厳密な値ではなく、一定の幅で「丸められた値」である。

また、予測値は、表示画像に対する手書き文字の入力処理が完了する毎に消去され、新たな表示画像に対して手書き文字の入力処理を開始する時点では、データ無しの状態となっている。

なお、経験値は、手書き文字が入力される毎にリアルタイムに自動更新しても、一定期間ごと、又は当該手書き文字の入力処理に係るプログラムの実行回数に応じて、自動的に更新するようにしてもよい。

主制御部１１０１（予測設定部１１５２）は、初期の段階では、ステップＳ２０５において、現在選択されているペンの太さに係る「初期値」に係る文字サイズ・間隔を、予測文字サイズ・文字間隔として設定する。初期の段階は、例えば当該手書き文字の入力処理に係るプログラムの実行回数が規定回数に達する迄の間、又は現在選択されているペンの太さの累計選択回数が規定回数に達する迄の間とすることができる。また、初期値の利用期間が経過した後は、主制御部１１０１（予測設定部１１５２）は、ステップＳ２０５では、「経験値」に係る文字サイズ・間隔を、予測文字サイズ・文字間隔として設定する。設定する。

なお、ステップＳ２０５の処理は、手書き文字の現在の入力対象となっている画像において、或るペンの太さが初めて選択された場合に実行される処理である。また、ステップＳ２０５の処理は、拡大用情報テーブルの選択に係るペンの太さに係る「予測値」の欄に、予測文字サイズ・文字間隔を記入することにより行なう。

次に、主制御部１１０１は、拡大率算出部１１５４と協働して、現在設定中の予測文字サイズ・文字間隔に基づいて、２つの手書き文字と３つの文字間隔を拡大表示画面１０２の画面一杯に表示（図１７参照）するための拡大率を算出する（ステップＳ２０６）。ここで言う２文字分とは、最終入力に係る手書き文字と、その次に入力されるべき未入力の手書き文字を意味する。

すなわち、ガイド線１０３を横罫線として利用する場合は、拡大表示画面１０２の左半分の領域には、最終入力に係る手書き文字が拡大状態で表示され、右半分の領域は、次の１文字分の手書き文字の入力予定領域として提示される。また、ガイド線１０３を縦罫線として利用する場合は、拡大表示画面１０２の上半分の領域には、最終入力に係る手書き文字が拡大状態で表示され、下半分の領域は、次の１文字分の手書き文字の入力予定領域として提示される。

換言すれば、拡大対象の画像領域（切出領域）は、ガイド線１０３に沿って移動していく。この場合、拡大表示画面１０２での画像の物理的な移動量は、拡大表示画面１０２の横幅（横罫線としての利用の場合）、又は縦幅（縦罫線としての利用の場合）のほぼ半分であり、ほぼ一定である。一方、全体画像表示部１０１に拡大前に表示されていた画像における切出領域としての移動量は、選択されたペンの太さ、入力に係る手書き文字の文字サイズ、その入力時に形成された文字間隔等によって変化する。

拡大率は、図１７に示したようなイメージで算出される。すなわち、拡大率Ｚは、下記の数式１で求められる。

［数１］
拡大表示画面１０２の横幅＝（予測文字間隔×３＋予測文字サイズ×２）×Ｚ
なお、図１７では、符号３０１で示した領域が文字間隔に対応し、符号３０２で示した領域が文字入力領域（すなわち文字サイズ）に対応している。また、数式１における予測文字サイズ・文字間隔は、ステップＳ２０５において拡大用情報テーブルに「予測値」として設定されたものであり、拡大処理後の値を示すものではない。

また、ステップＳ２０６では、主制御部１１０１は、予測設定部１１５２、縦横設定部１１５３、拡大率算出部１１５４の処理結果に基づいて、切出枠設定部１１６２と協働して、切出枠を仮設定する。この仮設定に係る切出枠は、表示されることはない。

次に、主制御部１１０１は、仮設定に係る切出枠の中に、ガイド線１０３で案内される手書き文字の入力予定領域として、１文字分の入力予定領域が存在するか否かを判別する（ステップＳ２１８）。その結果、１文字分の入力予定領域が存在しない場合は、主制御部１１０１は、当該画像に対する手書き文字の入力操作が完了したものとして、所定の終了処理を行って（ステップＳ２１９）、手書き文字の入力処理を終了する。この終了処理では、例えば、拡大用情報テーブル上の全てのペンの太さの「予測値」に係る文字サイズ、文字間隔が消去され、さらに図１０に示したように、拡大表示画面１０２の表示内容、全体表示画面１０１上のガイド線１０３も消去される。

なお、１文字分の入力予定領域が存在しない場合は、ガイド線１０３の延長入力を促すガイダンスを表示し、そのガイダンスに応じてガイド線１０３の延長入力がなされない場合に初めて、終了処理を行うようにしてもよい。

１文字分の入力予定領域が存在する場合は、主制御部１１０１は、所定の拡大処理を行う（ステップＳ２０７）。この拡大処理では、主制御部１１０１は、切出枠設定部１１６２と協働して、仮設定に係る切出枠を正式に設定し、その切出枠１０４の枠線を全体表示画面１０１に表示させる。この際、主制御部１１０１は、必要に応じて回転処理部１１５６により、切出枠１０４内の画像（ガイド線１０３を含む）を回転させる。また、主制御部１１０１は、切出枠１０４内の画像（回転処理された上記の画像を含む）を、拡大率算出部１１５４で算出された拡大率で拡大処理部１１５５により拡大させる。

ユーザは、拡大表示画面１０２の上記の入力予定領域に手書き文字を入力する（ステップＳ２０８）。この際、主制御部１１０１は、スタイラスペンと拡大表示画面（タッチパネル）１０２との接触が１秒以上途絶えた場合に、１文字分の入力操作が完了したものと見做す。また、拡大表示画面１０２に入力された手書き文字は、上記の拡大率の逆数の拡大率、すなわち実質的な縮小率で縮小された状態で、全体表示部１０１にエコー表示される。さらに、当該切出枠１０４内の画像が上記の回転処理が施されて拡大表示画面１０２に表示されている場合は、拡大表示画面１０２に入力された手書き文字は、当該回転処理に対する逆回転処理が施されて全体表示部１０１にエコー表示される。

主制御部１１０１は、１文字分の入力操作が完了すると、その入力された手書き文字を全体表示画面１０１にエコー表示した際の文字サイズと、ステップＳ２０５で拡大用情報テーブルに設定した予測文字サイズとが一致しているか否かを判別する（ステップＳ２０９）。この場合、双方の文字サイズは、完全に一致する必要はなく、或る程度の誤差の範囲で一致すればよい。

双方の文字サイズが一致していない場合は、主制御部１１０１は、拡大用情報テーブル上の現在選択中のペンの太さの「予測値」に係る文字サイズを変更して（ステップＳ２１０）、ステップＳ２１１に進む。一方、双方の文字サイズが一致している場合は、主制御部１１０１は、ステップＳ２１０の処理をスキップして、ステップＳ２１１に進む。

主制御部１１０１は、次のようにしてステップＳ２１０での文字サイズの変更処理を行う。例えば、拡大表示状態において図１８に示した「ま」の字のサイズとなることを想定した拡大率が、ステップＳ２０６で算出されたものとする。

これに対し、図１９に示したように、実際には、図１８の想定に係るサイズより小さな手書き文字「ま」が入力されたものとする。この場合は、現在の拡大率のままでは、図２０に示したように、２つの手書き文字のサイズと３つの文字間隔の領域の合計のサイズは、拡大表示画面１０２の横幅よりも狭い領域となってしまう。

そこで、主制御部１１０１は、図２０の２つの手書き文字のサイズと３つの文字間隔のサイズの合計のサイズが拡大表示画面１０２の横幅に合致するような（図２１参照）拡大率を実現するための文字サイズ（予測文字サイズ）を拡大用情報テーブルに設定し直す。この場合、図２０における（２つの文字分のサイズ＋３つの文字間隔分のサイズ）が、図２１に示したように、拡大表示画面１０２の横幅に一致するように、図２０における（２つの文字分のサイズ＋３つの文字間隔分のサイズ）の全体を拡大すればよい。従って、主制御部１１０１は、ステップＳ２１０では、予測文字サイズだけでなく、予測文字間隔も変更する。

また、図２２に示したように、実際には、図１８の想定に係るサイズより大きな手書き文字「ま」が入力されたものとする。この場合は、現在の拡大率のままでは、図２３に示したように、２つの手書き文字のサイズと３つの文字間隔の領域の合計のサイズは、拡大表示画面１０２の横幅よりも広い領域となってしまう。

そこで、主制御部１１０１は、図２３の２つの手書き文字のサイズと３つの文字間隔のサイズの合計のサイズが拡大表示画面１０２の横幅に合致するような（図２４参照）拡大率を実現するための文字サイズ（予測文字サイズ）を拡大用情報テーブルに設定し直す。この場合、図２３における（２つの文字分のサイズ＋３つの文字間隔分のサイズ）が、図２４に示したように、拡大表示画面１０２の横幅に一致するように、図２３における（２つの文字分のサイズ＋３つの文字間隔分のサイズ）の全体を縮小すればよい。従って、主制御部１１０１は、ステップＳ２１０では、予測文字サイズだけでなく、予測文字間隔も変更する。

ステップＳ２１１では、主制御部１１０１は、今回入力に係る手書き文字を全体表示画面１０１にエコー表示した際の前回入力に係る手書き文字との文字間隔と、ステップＳ２０５で拡大用情報テーブルに設定した予測文字間隔とが一致しているか否かを判別する。この場合、双方の文字間隔は、完全に一致する必要はなく、或る程度の誤差の範囲で一致すればよい。

双方の文字間隔が一致していない場合は、主制御部１１０１は、拡大用情報テーブル上の選択中のペンの太さの「予測値」に係る文字間隔を変更して（ステップＳ２１２）、ステップＳ２１３に進む。一方、双方の文字間隔が一致している場合は、主制御部１１０１は、ステップＳ２１２の処理をスキップして、ステップＳ２１３に進む。

なお、ステップＳ２１２での文字間隔の変更処理は、ステップＳ２１０での文字サイズの変更処理と同様に、２つの文字分と３つの文字間隔分の合計のサイズが拡大表示画面１０２の横幅に一致するような拡大率を実現するために行なわれる。従って、主制御部１１０１は、ステップＳ２１２では、予測文字間隔だけでなく、予測文字サイズも変更する。
また、ステップＳ２１２では、主制御部１１０１は、ステップＳ２１０の処理で文字サイズを変更した場合は、その変更に係る文字サイズを上記の文字分のサイズとして用いる。

なお、図１２のフローチャートでは、便宜上、現在設定されている拡大率に対する文字サイズの妥当性と文字間隔の妥当性を別個独立に判定して対処しているが、最初から文字サイズと文字間隔を併せた形で上記の拡大率に対する妥当性を判定し対処してもよい。

ステップＳ２１３では、主制御部１１０１は、次回の手書き文字の入力に備えてペンの太さが変更されたか否かを判別する。ペンの太さが変更されなかった場合は、主制御部１１０１は、ステップＳ２０６に戻る。この場合、ステップＳ２１０、Ｓ２１２で予測文字サイズ、予測文字間隔の変更処理がなされているときは、ステップＳ２０６では、前回算出した拡大率と異なる拡大率が算出されることとなる。換言すれば、予測文字サイズ、予測文字間隔の変更することは、実質的には全体画像の一部を切出して拡大表示部１０２に拡大表示する際の拡大率を変更することを意味する。

ペンの太さが変更された場合は、主制御部１１０１は、その変更後のペンの太さの「予測値」に係る文字サイズ、文字間隔が拡大用情報テーブルに既に設定されているか否かを判別する（ステップＳ２１４）。その結果、変更後のペンの太さの「予測値」に係る文字サイズ、文字間隔が拡大用情報テーブルに既に設定されていれば、主制御部１１０１は、ステップＳ２０６に戻る。この場合、ステップＳ２０６では、既に設定されている字サイズ、文字間隔を用いて拡大率を算出する。

一方、変更後のペンの太さの「予測値」に係る文字サイズ、文字間隔が拡大用情報テーブルに未だ設定されていない場合は、主制御部１１０１は、ステップＳ２０５に戻る。この場合は、ステップＳ２０５の処理で、変更後のペンの太さの「経験値」に係る文字サイズ、文字間隔が、「予測値」に係る文字サイズ、文字間隔として設定されることとなる。

なお、変更後のペンの太さの「予測値」に係る文字サイズ、文字間隔が拡大用情報テーブルに未だ設定されていない場合とは、変更後のペンの太さが手書き文字の現在の入力対象の画像について初めて選択された場合を意味する。

以上の処理を具体例で説明する。例えばペンの太さが大レベルから小レベルに変更された場合に、予測文字サイズ、予測文字間隔を変更しなかった場合は、次回の手書き文字は、図２５のようなイメージで拡大されてしまう。しかし、上記のように変更後のペンの太さに応じて予測文字サイズ、予測文字間隔を変更することにより、次回以降の手書き文字を「２つの文字＋３つの文字間隔」の表示形態に対応する適正なサイズで入力していくことが可能となる（図２６，図２７参照）。

なお、本発明は、上記の実施の形態に限定されることなく、拡大表示画面１０２には、例えば「３つの文字、４つの文字間隔」分の領域の画像を拡大表示する等、「２つの文字、３つの文字間隔」分以外の領域の画像を拡大表示することも可能である。この場合、少なくとも直前に入力された１つの文字の領域は、常時、表示しておくべきである。また、例えば、上記の「３つの文字、４つの文字間隔」の場合においても、入力予定領域への文字入力が完了した段階で切出枠１０４を移動するのが望ましい。

さらに、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体によっても達成される。すなわち、この記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読出して実行することによって達成される。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク等を用いることができる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、本発明は、コンピュータが読出したプログラムコードを実行することにより、上記の実施の形態の機能が実現される場合だけに限定されるものではない。その他、例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれることにより実施の形態の機能が実現される場合も含まれる。この場合、当該書込みの後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行うこととなる。

画像表示装置に表示された画像に手書き文字を入力する場合の表示の変遷を示す変遷図である（画像表示）。 図１の続きの変遷図である（ガイド線入力）。 図２の続きの変遷図である（当該画像に対する初期の拡大図の表示）。 図３の続きの変遷図である（拡大図への１文字目入力）。 図４の続きの変遷図である（拡大図への２文字目入力）。 図５の続きの変遷図である（２文字入力で拡大領域シフト）。 図６の続きの変遷図である（拡大図への３文字目入力）。 図７の続きの変遷図である（文字入力領域が無くなって拡大領域シフト）。 図８の続きの変遷図である（拡大図への４文字目入力）。 図９の続きの変遷図である（ガイド線に沿った空き領域が無くなって拡大図の消去）。 図１〜図１０の画像表示装置の機能を示す機能ブロック図である。 上記画像表示装置における表示画像に対する手書き文字の入力処理を示すフローチャートである。 上記画像表示装置が有する拡大用情報テーブルに記憶された情報を示す図である。 ガイド線を縦罫線として利用する場合の手書き文字の入力処理例を示す図である。 ガイド線を横罫線として利用する場合の手書き文字の入力処理例を示す図である。 ガイド線に対する手書き文字の入力領域の指定例を示す図である。 手書き文字が２文字分納まるように拡大するための拡大率を示す図である。 予測した文字サイズで入力された場合の例を示す図である。 予測した文字サイズより小さい文字サイズで入力された場合の例を示す図である。 予測した文字サイズより小さい文字サイズで入力された場合の拡大率補正前の例を示す図である。 予測した文字サイズより小さい文字サイズで入力された場合の拡大率補正後の例を示す図である。 予測した文字サイズより大きい文字サイズで入力された場合の例を示す図である。 予測した文字サイズより大きい文字サイズで入力された場合の拡大率補正前の例を示す図である。 予測した文字サイズより大きい文字サイズで入力された場合の拡大率補正後の例を示す図である。 ペンの太さの変更があった場合の拡大率補正前の例を示す図である。 ペンの太さの変更があった場合の拡大率補正後の例を示す図である。 ペンの太さの変更があった場合の拡大率補正後のユーザ入力例を示す図である。 手書き文字の入力領域としてガイド線を跨った領域を指定した場合の入力処理例を示す図である。

符号の説明

１００…画像表示装置
１０１…全体表示画面
１０２…拡大表示画面
１０３…ガイド線
１０４…切出枠
１１０１…主制御部
１１０５…表示部
１１５０…拡大画像処理部
１１５４…拡大率算出部
１１５５…拡大処理部
１１５６…回転処理部
１１６０…全体画像処理部
１１６２…切出枠設定部

Claims (10)

1. 画像の全体を表示する全体表示部と、
   前記全体表示部に表示中の画像の一部分を表示する部分表示部と、
   前記全体表示部に表示中の画像における座標位置を指定する位置指定手段と、
   前記全体表示部に表示中の画像に対し前記位置指定手段を用いて入力された線分の一部を含み、当該表示中の画像の一部分を切出し、切出した画像の領域を示す切出枠を前記全体表示部に表示する切出手段と、
   前記切出手段により切出された画像を前記部分表示部に拡大表示させる第１の表示制御手段と、
   前記部分表示部に表示中の画像に対して文字を入力するための入力手段と、
   前記入力手段により文字が入力されたことに応じて、前記切出手段での切出しの対象となる画像の領域を、前記位置指定手段を用いて入力された線分に沿って移動させる移動制御手段と、
   前記位置指定手段を用いて入力される線分または前記入力手段により入力される文字の太さを、ペンの太さとして、ユーザに選択させるための選択手段と、
   前記ペンの太さ毎に、文字サイズと文字間隔が登録されたデータベースと、
   前記選択手段にてユーザにより選択されたペンの太さと前記データベースとを用いて、ユーザが入力する文字の文字サイズと文字間隔を予測する予測する予測手段とを備え、
   前記切出手段は、前記予測手段により予測した文字サイズと文字間隔に基づいて、前記切出枠を決定することを特徴とする画像表示装置。
2. 前記切出手段により切出された画像を回転する回転手段をさらに有することを特徴とする請求項１に記載の画像表示装置。
3. 前記回転手段は、前記部分表示部に表示中の画像の天地方向と前記入力手段による入力文字の天地方向とが、前記位置指定手段を用いて入力された線分について指定された罫線としての方向との関係で一致するように回転処理を行うことを特徴とする請求項２に記載の画像表示装置。
4. 前記部分表示部に表示中の画像に対して前記入力手段を用いて入力された文字を縮小して前記全体表示部に表示させる第２の表示制御手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
5. 前記選択手段にて選択されたペンの太さと、前記予測手段により予測された文字サイズ、文字間隔に基づいて、前記データベースを更新する更新手段をさらに有することを特徴とする請求項１に記載の画像表示装置。
6. 前記切出手段は、少なくとも直前に入力された１つの文字の領域と、少なくとも次の１つの文字を入力するための入力予定領域とを前記線分に沿って切出すことを特徴とする請求項１に記載の画像表示装置。
7. 前記移動制御手段は、前記入力予定領域への手書き文字の入力が完了した場合に、前記切出手段での切出しの対象となる画像の領域を移動させることを特徴とする請求項６に記載の画像表示装置。
8. 前記部分表示部において前記位置指定手段を用いて入力された線分の終端位置まで前記入力手段により文字が入力された場合に、前記部分表示部の表示内容と、前記全体表示部に表示中の前記線分を消去する消去手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の画像表示装置。
9. 画像の全体を表示する全体表示部と、前記全体表示部に表示中の画像の一部分を表示する部分表示部とを有する画像表示装置の制御方法であって、
   前記全体表示部に表示中の画像における座標位置を指定する位置指定工程と、
   前記全体表示部に表示中の画像に対し位置指定工程にて入力された線分の一部を含み、当該表示中の画像の一部分を切出し、切出した画像の領域を示す切出枠を前記全体表示部に表示する切出工程と、
   前記切出工程により切出された画像を前記部分表示部に拡大表示させる第１の表示制御工程と、
   前記部分表示部に表示中の画像に対して文字を入力するための入力工程と、
   前記入力工程にて文字が入力されたことに応じて、前記切出工程での切出しの対象となる画像の領域を、前記位置指定工程にて入力された線分に沿って移動させる移動制御工程と、
   前記位置指定工程にて入力される線分または前記入力工程にて入力される文字の太さを、ペンの太さとして、ユーザに選択させるための選択工程と、
   前記選択工程にてユーザにより選択されたペンの太さと前記ペンの太さ毎に、文字サイズと文字間隔が登録されたデータベースとを用いて、ユーザが入力する文字の文字サイズと文字間隔を予測する予測する予測工程とを備え、
   前記切出工程は、前記予測工程にて予測した文字サイズと文字間隔に基づいて、前記切出枠を決定することを特徴とする画像表示装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。

Images