JP6206581B2 - 端末装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、端末装置、表示制御方法及びプログラムに関する。

老眼や弱視の人々は、細かい文字が見え難いため、文字を視認し易くするために拡大鏡（虫眼鏡）や老眼鏡を使うことがある。しかし、拡大鏡や老眼鏡の使用は煩わしく、持ち運びに不便である。

近年、スマートフォンの普及に伴い、外出時に携帯されるスマートフォン等の電子機器に拡大鏡、老眼鏡の機能を持たせることが提案されている。例えば、スマートフォンが持つカメラで対象物を撮影し、撮影した対象物の所定の場所を拡大した動画像をリアルタイムに画面に表示することで拡大した画像が得られる。

また、特許文献１では、プレゼンテーション用文書の作成に用いられる文書作成装置において、通常の文書原稿中から、必要とする領域の内容のみを自動的に編集し、文字や図を見やすい大きさに変換してプレゼンテーション用文書を作成する技術が提案されている。

特開平０６−１８７３３３号公報

しかしながら、上記技術では、撮影した対象物の所定の場所にスマートフォンを近づけて拡大する際の手振れにより動画像の表示が乱れるという課題を有する、また、文字を一単位とした文字領域の抽出は正確に行われないことがあり、誤った文字領域が抽出された場合、文書画像を拡大表示する際のレイアウトが崩れ、抽出された文字領域を正しく表示することが難しくなるという課題を有する。

そこで、一つの側面では、文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることが可能な、端末装置、表示制御方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様によれば、画像データに含まれる文字領域から行を一単位にして文字列を抽出する抽出部と、前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する表示制御部と、前記位置の指定が解除された場合、前記指定された行の次行があるかを判定する判定部と、を有し、前記表示制御部は、前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する、端末装置が提供される。

一つの側面として、文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることができる。

一実施形態にかかる端末装置のハードウェア構成の一例を示す図。 一実施形態にかかる端末装置の機能構成の一例を示す図。 第１実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 一実施形態にかかる行単位の文字列（英語）抽出を説明するための図。 一実施形態にかかる行単位の文字列（日本語）抽出を説明するための図。 第１実施形態にかかる文字拡大表示の一例を示す図。 第２実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 第２実施形態にかかる文字拡大表示の一例を示す図。 第３実施形態にかかる文字拡大表示処理の一例を示すフローチャート。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 第３実施形態にかかる文字拡大表示を説明するための図。 変形例にかかる文字拡大表示の一例を示す図。

以下、本発明実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［ハードウェア構成例］
はじめに、本発明の一実施形態にかかる端末装置のハードウェア構成の一例について説明する。図１は、一実施形態にかかる端末装置のハードウェア構成の一例を示す。一実施形態にかかる端末装置は、本発明の一実施形態にかかる文字拡大表示処理を行う電子機器であり、例えば、スマートフォン、タブレット端末、携帯電話、電子書籍等が一例として挙げられる。以下では、本実施形態にかかる端末装置の一例として、スマートフォンを例に挙げて説明する。

一実施形態にかかるスマートフォン１は、ＣＰＵ（Central Processing Unit）１０、メモリ１１、タッチパネル１２、カメラ１３、操作ボタン１４、２次記憶装置１５、通信Ｉ／Ｆ（Interface）１６、無線通信Ｉ／Ｆ１７、外部Ｉ／Ｆ１８及び音声入出力Ｉ／Ｆ１９を有する。

ＣＰＵ１０は、スマートフォン１が備える各部を統括制御する。スマートフォン１が備える機能は、ＣＰＵ１０が、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等で構成されるメモリ１１に記憶されているプログラムを、ＲＡＭなどに読み出して実行することで実現される。

例えば、ＣＰＵ１０は、アプリケーションプログラムの命令を逐次取り込んで解読し、その内容、演算、データ転送、制御などを実行する。本実施形態では、ＣＰＵ１０は、メモリ１１や２次記憶装置１５から、文字拡大表示処理プログラムやその他のアプリケーションプログラムやデータを読み出し、文字拡大表示処理を実行する。これにより、ＣＰＵ１０は、スマートフォン１の全体制御やスマートフォン１に搭載された文字拡大表示制御機能を実現する。

タッチパネル１２は、ユーザの指やタッチペン等の操作体のタッチ面への接触を検知可能なセンサを搭載し、ユーザの操作に応じたデータを入力する機能を有する。また、タッチパネル１２は、所望のオブジェクトをＬＣＤ（液晶ディスプレイ）等のディスプレイに表示する機能を有する。本実施形態では、ユーザの指がタッチパネルのタッチ面に接触する操作により指定された文字列の拡大表示が行われる。センサの一例としては、圧力センサ、静電容量センサ、光センサ等が挙げられる。ただし、タッチパネル１２に搭載されるセンサは、操作体とタッチ面との接触及び非接触を検知できればどのようなセンサでもよい。

カメラ１３は、レンズ及び撮像素子を有し、被写体を印刷した印刷物や文書を撮像してその画像データを取り込む。操作ボタン１４は、スマートフォン１の所定の機能を実行するために設けられたボタンであり、電源をオン／オフするための電源ボタンや前の画像表示に戻るボタン（以下、「戻りボタン」ともいう。）が一例として挙げられる。

２次記憶装置１５は、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置で構成され得る。２次記憶装置１５は、ＣＰＵ１０が実行する制御プログラム、ＯＳプログラム、及びＣＰＵ１０が、スマートフォン１が有する各種機能を実行するためのアプリケーションプログラム等を記憶する。

通信Ｉ／Ｆ１６は、通信網を介して外部の装置と通信を行うためのインターフェースである。通信Ｉ／Ｆ１６は、通信網を介して各種通信端末に接続し、スマートフォン１と通信端末との間でのデータの送受信を実現する。また、通信Ｉ／Ｆ１６は、携帯電話回線網を介して、電子メールデータ等を他の装置との間で送受信するためのインターフェースとしても機能し得る。

無線通信Ｉ／Ｆ１７は、外部の装置と無線通信するためのインターフェースである。例えば、無線通信Ｉ／Ｆ１７は、ＩｒＤＡ、ＩｒＳＳなどの赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、Ｗｉ−Ｆｉ（登録商標）通信、非接触型ＩＣカードのいずれかの無線通信手段を実現するためのインターフェースである。

外部Ｉ／Ｆ１８は、外部の装置をスマートフォン１に接続するためのインターフェースである。例えば、外部Ｉ／Ｆ１８は、外付けの記録媒体（メモリカードなど）を挿し込むためのソケット、ＨＤＭＩ（High Definition Multimedia Interface）(登録商標)端子、ＵＳＢ（Universal Serial Bus）端子等で実現される。この場合、ＣＰＵ１０は、外部Ｉ／Ｆ１８を介して、外部の装置とデータの送受信を行う。

音声入出力Ｉ／Ｆ１９は、スマートフォン１が処理した音声データを出力するためのインターフェースであり、例えば、スピーカ、ヘッドフォン端子及びヘッドフォン等により実現される。また、音声入出力Ｉ／Ｆ１９は、スマートフォン１の外部で発生した音声を入力するためのインターフェースであり、例えば、マイク等により実現される。

［機能構成例］
次に、本発明の一実施形態にかかる端末装置の機能構成について、図２を参照しながら説明する。図２は、一実施形態にかかる端末装置の機能の一例を示す。以下では、スマートフォン１を例に挙げて機能の一例を説明する。

一実施形態にかかるスマートフォン１は、撮像部１０１、記憶部１０２、抽出部１０３、位置検出部１０４、演算部１０５、判定部１０６、表示制御部１０７、通信部１０８、無線通信部１０９及び音声入出力部１１０を有する。

撮像部１０１は、文書等を撮像した画像データを取り込む。撮像部１０１は、例えばカメラ１３により実現される。

記憶部１０２は、取り込んだ画像データ、各種プログラム、各種データを記憶する。記憶部１０２は、後述される第１の閾値及び第２の閾値を予め設定し、記憶している。記憶部１０２は、例えばメモリ１１や２次記憶装置１５により実現される。

抽出部１０３は、画像データに含まれる文字領域から行を一単位にして文字列を抽出する。

位置検出部１０４は、操作体のタッチ面への接触や操作体のタッチ面への接触の解除（指のリリース等）を検出する。位置検出部１０４は、例えばタッチパネル１２に搭載されたセンサにより実現される。

演算部１０５は、検知されたタッチ面への接触に基づき、操作体のタッチ位置の座標（ｘ、ｙ）を算出したり、操作体の移動方向や移動距離を算出する。

判定部１０６は、操作体によるタッチ位置により指定された行に続く行があるかを判定する。

表示制御部１０７は、抽出された行単位の文字列のうち操作体により指定された行内のタッチ位置及びその近傍の文字列を拡大表示する。表示制御部１０７は、後述される所定の場合、その次行又は前行の行頭及びその近傍の文字列を拡大表示する。演算部１０５、判定部１０６及び表示制御部１０７の機能は、ＣＰＵ１０により実現される。

通信部１０８は、外部の装置と情報の送受信を行う。無線通信部１０９は、外部の装置と無線通信する。音声入出力部１１０は、音声データを入出力する。

以上、一実施形態にかかる端末装置の一例として、スマートフォン１のハードウェア構成及び機能構成について説明した。次に、第１〜第３実施形態にかかる文字拡大表示処理について、順に説明する。
＜第１実施形態＞
［スマートフォンの動作（文字拡大表示処理）］
第１実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図３を参照しながら説明する。図３は、第１実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。

なお、画像データに含まれる文字列の方向が画面の水平方向に対して±４５度未満の場合、文字列は横書きで記載されていると判定され、画面の水平方向（横方向）を第１軸、画面の垂直方向（縦方向）を第２軸とする。画像データに含まれる文字列の方向が画面の垂直方向に対して±４５度未満の場合、文字列は縦書きで記載されていると判定され、画面の垂直方向（縦方向）を第１軸、画面の水平方向（横方向）を第２軸とする。以下の説明は、横書きの場合であり、画面の水平方向が第１軸（行方向）とされ、画面の垂直方向が第２軸とされる。

第１実施形態に係る文字拡大表示処理が開始されると、撮像部１０１は、文書等を撮影し、文字を含む画像データをスマートフォン１に取り込む。（ステップＳ１０）。図４の（ａ）及び図５の（ａ）は、紙媒体に印刷された英語の文書及び日本語の文書を撮影することでスマートフォン１が取得した画像データの一例である。

次に、抽出部１０３は、取得した画像データのレイアウトを解析し、画像データに含まれる文字領域から行単位で文字列を抽出する（ステップＳ１２）。例えば、抽出部１０３は、光学文字認識（ＯＣＲ：Optical Character Recognition）技術を用いて、レイアウト解析処理を実行し、行方向の抽出を行い、行単位の文字列の抽出を行う。このとき、抽出部１０３は、１つの行だけでなく、複数の行を抽出し、行の位置関係から行の順番を決定する。図表と文字列が混在している画像データにおいてもレイアウト解析処理を実行することで図表と文字列とを自動で分離し、文字列だけを行単位で抽出する。図４の（ｂ）及び図５の（ｂ）は、画像データから行単位で文字列が抽出された状態の一例を示す。各枠内の文字列が、行単位で抽出された文字列である。抽出部１０３は、文字サイズ、文字間隔を抽出し、文字サイズ、文字間隔を基準として行方向（縦書き又は横書き）を推定する。抽出部１０３は、推定した行方向に基づき、行の中心線と中心線の２端点の座標を抽出する。

なお、抽出部１０３がレイアウトの解析を行う画像データは、撮像部１０１により撮影された画像データでなくてもよい。例えば、スマートフォン１内に保存された画像データであってもよい。この場合、ステップＳ１０では、画像の撮影を行う替わりに２次記憶装置１５から画像データが読み込まれる。

ユーザの指がタッチ面をタッチしたとき、表示制御部１０７は、タッチ位置により指定された行を表示する（ステップＳ１４）。

例えば、図４の（ｃ）及び図５の（ｃ）には、タッチパネル１２の画面の一例が示されている。この例では、タッチパネル１２の画面が上下に２分割されている。行表示画面３には、指定された行を中心とした画像データの一部が表示される。より詳しくは、行表示画面３には、現在指定されている行の中心線と、次行（前行）の一部と、拡大表示画面２に拡大表示される文字列の領域（拡大表示領域４）と、ドラグボタン５とが表示されている。

図３に戻り、ユーザがドラグボタン５に指をタッチしてドラグボタン５を操作すると、表示制御部１０７は、指定された行内の指定された位置とその近傍の文字列を拡大した画像を表示する（ステップＳ１６）。以下では、ユーザが行表示画面３に表示されたドラグボタン５に指をタッチする操作、及び指をドラグボタン５に接触させたまま移動させる操作をドラグ（ｄｒａｇ）ともいう。

例えば、図４の（ｃ）及び図５の（ｃ）の拡大表示画面２には、行表示画面３で示した拡大表示領域４内の文字列が表示される。つまり、拡大表示画面２には、ドラグボタン５によって指定された位置とその近傍を拡大した文字列が表示される。

図３に戻り、次に、判定部１０６は、終了動作が行われたかを判定する（ステップＳ１８）。例えば、ユーザが戻りボタン（図示しない）を押すと、判定部１０６は、終了動作が行われたと判定し、本処理を終了する。戻りボタンが押されていない場合、判定部１０６は、終了動作が行われていないと判定し、位置検出部１０４は、ユーザによるドラグ操作に応じたドラグボタン５の位置（タッチ位置）の移動を検出する（ステップＳ２０）。

判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグボタン５が行方向へ移動しているかを判定する（ステップＳ２２）。判定部１０６は、ドラグボタン５が行方向へ移動していると判定した場合、指定された行の行末へ移動したかを判定する（ステップＳ２４）。このとき、判定部１０６は、抽出部１０３により抽出された行の中心線の２端点の座標に基づき、行末か否かを判定する。

ステップＳ２４において、判定部１０６は、ドラグボタン５が行末へ移動していないと判定した場合、ドラグボタン５が指定された行の行頭へ移動したかを判定する（ステップＳ２８）。このとき、判定部１０６は、抽出部１０３により抽出された行の中心線の２端点の座標に基づき、行頭か否かを判定する。判定部１０６がドラグボタン５が指定された行の行頭へ移動していないと判定した場合、表示制御部１０７は、ユーザの指がドラグボタン５を移動させたときの、行方向の成分を抽出する。表示制御部１０７は、抽出した行方向の成分だけ、拡大表示画面２に表示する文字列の表示領域を行の中心線に沿って移動させる（ステップＳ３０）。

例えば、図６の（ａ）では、ドラグボタン５が行表示画面３の中央より少し前に表示されている。ユーザは、この状態からドラグボタン５を左から右に行方向に移動させる。ドラグボタン５の移動に応じて、拡大表示画面２に拡大して表示される文字列が、図６の（ａ）に示す拡大表示領域４から図６の（ｂ）に示す拡大表示領域４に移動する。

図３に戻り、表示制御部１０７は、移動後のドラグボタン５の位置及びその近傍（拡大表示領域４）の文字列を拡大して表示する（ステップＳ１６）。次に、判定部１０６は、終了の動作が行われたかを再び判定する（ステップＳ１８）。戻りボタンが押されていない場合、位置検出部１０４は、再び、ドラグボタン５の位置（タッチ位置）の座標を検出する（ステップＳ２０）。

次に、判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグボタン５が行方向へ移動しているかを判定する（ステップＳ２２）。

ドラグボタン５の位置を図６の第２軸の方向に移動させる場合のように、ドラグボタン５が明確に行方向と垂直な方向に移動している場合、判定部１０６は、ドラグボタン５が行方向へ移動していないと判定し、それ以外の方向に移動している場合、ドラグボタン５は行方向へ移動していると判定してもよい。判定部１０６は、ドラグボタン５が行方向へ移動したと判定した場合、ドラグボタン５の位置の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸の成分（つまり行方向の成分）だけドラグボタン５を移動させることで、表示を拡大する文字列を画定することができる。つまり、表示制御部１０７は、行表示画面３のドラグボタン５を行の中心線に沿って第１軸の成分だけ移動させる。それに従って拡大表示画面２に拡大表示される文字列が変化する。これにより、ユーザは、ドラグボタン５を正確に行の中心線上にトレースしなくても、指定した行の文字列を行方向に拡大してスムーズに読むことができる。

なお、縦書きの場合も同様に、表示制御部１０７は、ドラグボタン５の位置の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸（画面の垂直方向（縦方向））の成分だけドラグボタン５を移動させる。これにより、ユーザは、指定した行の文字列を行方向に拡大してスムーズに読むことができる。

ステップＳ２２において、判定部１０６は、ドラグボタン５が行方向へ移動していないと判定した場合、ドラグボタン５が指定された行の次行方向へ移動しているかを判定する（ステップＳ３２）。例えば、ドラグボタン５が画面の垂直方向に移動している場合や、ドラグボタン５の移動方向が画面の垂直方向に対して±４５度未満の場合に、判定部１０６は、行方向へ移動していないと判定してもよい。ステップＳ３２にて、判定部１０６は、ドラグボタン５が次行方向へ移動していると判定した場合、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し（ステップＳ２６）、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。この結果、図６の（ｃ）に示したように、行表示画面３には次行が表示され、拡大表示画面２には行表示画面３の拡大表示領域４に示された文字列、つまり、次行の先頭及びその近傍の文字列が表示される。

一方、ステップＳ３２において判定部１０６は、ドラグボタン５が次行方向へ移動していないと判定した場合、表示制御部１０７は、画面上の表示位置の先頭を前行の行頭へ移動し（ステップＳ２６）、行表示画面３に前行を表示し（ステップＳ１４）、拡大表示画面２に前行の行頭を表示する（ステップＳ１６）。

ここで、終了動作が行われていないときに検出されたドラグボタン５の位置に基づき（ステップＳ２０）、ドラグボタン５が、ステップＳ２２において行方向へ移動していると判定され、ステップＳ２４において指定された行の行末へ移動したと判定された場合を説明する。これは、例えば、図６の（ａ）に示したドラグボタン５が行末まで移動した場合である。この場合、ステップＳ２６に進み、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。これにより、ドラグボタン５が次行に自動的に移動することで、拡大表示を確実に次行の行頭に移動させることができる。これにより、ユーザは、指定した行の次の行を拡大してスムーズに読むことができる。

次に、検出されたドラグボタン５の位置に基づき（ステップＳ２０）、ドラグボタン５が、行方向へ移動し（ステップＳ２２）、指定された行の行末ではなく、行頭へ移動した（ステップＳ２４、Ｓ２８）と判定された場合を説明する。これは、例えば、図６の（ａ）に示したドラグボタン５が、図６の（ａ）に示した矢印と反対方向に進み行頭まで移動した場合である。この場合、ステップ３４進み、表示制御部１０７は、画面上の表示位置の先頭を前行の行頭へ移動し、行表示画面３に前行を表示し（ステップＳ１４）、拡大表示画面２に前行の行頭を表示する（ステップＳ１６）。これにより、ドラグボタン５が前行に自動的に移動することで、拡大表示を確実に前行の行頭に移動させることができる。これにより、ユーザは、指定した行の前の行にスムーズに戻って読むことができる。

以上に説明したように、ステップＳ２０において検出されたドラグボタン５の位置に応じて、ステップＳ２２〜Ｓ３４の少なくともいずれかの処理が繰り返し実行される。その結果、ステップＳ１４にて指定行の文字列の全体が行表示画面３に表示される。これとともに、ステップＳ１６にて指定行内の指定位置及びその近傍の文字列が拡大表示画面２に拡大して表示される。これにより、ユーザは、指定した行を拡大してスムーズに読むことができる。以上、第１実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。

［効果の例］
スクリーンのタッチ操作などによる位置の指定は、マウスを用いた位置の指定に比べて精度が低い。そのため、スクリーンのタッチ操作等では、ある文字領域を拡大しようとした際に、見たい文字部分ではなく、周辺の他の部分が拡大表示されることがある。

これに対して、第１実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、拡大表示する個所の指定を容易に行うことができる。具体的には、本実施形態では、文書のレイアウト解析において画像データに含まれる文字領域から行を一単位にして文字列が抽出される。つぎに、抽出された行の中心線と、その両端点が算出され、この中心線に沿って拡大表示領域を移動させる処理が実行される。これにより、操作指のぶれにより表示を拡大したい文字領域の指定が不正確であっても、行表示画面３において行方向に指を動かすだけで安定して指定行の指定した位置の拡大表示が可能になる。

また、本実施形態にかかる文字拡大表示処理によれば、一行を読み終わったら自動で次行の先頭が拡大して表示される。一行前に戻りたい場合も同様である。このため、ユーザは画面上で次行や前行の先頭を探さなくても良い。その点においても文字列を拡大表示する際の、拡大表示する個所の指定を容易にすることができる。

さらに、本実施形態にかかる文字拡大表示処理では、拡大したい箇所の文字列を誤りなく高速に表示することができる。例えば、紙媒体に印刷された文書をＯＣＲで文字認識して文字コードを画面に拡大表示する場合、拡大したい箇所の文字の誤認識が生じ、１００％誤りなく表示することは難しい。また、ＯＣＲによる文字認識においては、画像データから行内の文字列を抽出し、抽出した行内の文字列から各文字を認識するという二段階で文字認識が行われるため、処理に時間がかかる。これに対して、本実施形態にかかる文字拡大表示処理では、行単位で文字列が認識され、行内の拡大したい箇所の文字を文字単位で認識することはない。このため、行単位で拡大したい箇所の文字を誤りなく拡大表示できる。また、本実施形態にかかる文字拡大表示処理では、行単位で文字の拡大表示処理が実行されるため、文字単位で文字の拡大表示処理が実行される場合よりも処理を短縮でき、拡大表示の高速処理が可能になる。これにより、指定された文字列が拡大表示されるまでの反応を早くすることができる。よって、老眼や弱視のユーザであっても、スマートフォン１を利用して文書をよりスムーズに読むことができる。

（単語単位の表示）
英語のように単語間に空白がある言語では、指定された行内の単語を一単位にして拡大表示の制御を行うことができる。この場合、指定された位置及びその近傍の文字列は、単語単位で拡大表示される。具体的には、表示制御部１０７は、ドラグボタン５の位置が前の単語の中央の位置と次の単語の中央の位置との中点よりも次の単語側に移動したときに次の単語全体を拡大表示させてもよい。

これによれば、図６の（ｄ）に示したように、単語単位で拡大された文字列が表示される。これにより、図６の（ｃ）に示したように、一単語が途中で切れた状態で表示されることはない。このため、ユーザが、より認識しやすい状態で文字列を拡大表示することができる。この結果、単語によっては、表示の拡大率が小さくなる場合がある。例えば、長い単語は、画面内に入るように拡大率を短い単語よりも縮小して表示する。これにより、一単語が途中で切れた状態で表示されることはないため、文字列をより認識しやすい状態で表示することができる。
＜第２実施形態＞
［スマートフォンの動作（文字拡大表示処理）］
次に、第２実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図７を参照しながら説明する。図７は、第２実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。図７に示した各ステップのうち、図３に示した第１実施形態にかかる文字拡大表示処理と同じ処理を行うステップは、図３と同じステップ番号で示す。よって、以下では、図３と異なるステップ番号で示されたステップを中心に第２実施形態に係る文字拡大表示処理について説明し、第１実施形態との重複説明を回避する。

第２実施形態に係る文字拡大表示処理が開始されると、画像撮影後、画像データのレイアウト解析による行単位の文字列の抽出され、指定された行の文字列の表示、及び指定された位置近傍の文字列の拡大表示が実行される（ステップＳ１０〜Ｓ１６）。また、動作ボタンが押されていない間（ステップＳ１８）、位置検出部１０４は、ドラグボタン５の位置（タッチ位置）の座標を検出する（ステップＳ２０）。

次に、判定部１０６は、検出されたドラグボタン５の位置に基づき、ドラグ操作が終了したかを判定する（ステップＳ４０）。判定部１０６は、ドラグ操作が終了したと判定した場合、指定されていた行の次行があるかを判定する（ステップＳ４２）。次行がある場合、表示制御部１０７は、画面上の表示位置の先頭を次行の行頭へ移動し（ステップＳ２６）、行表示画面３に次行を表示し（ステップＳ１４）、拡大表示画面２に次行の行頭を表示する（ステップＳ１６）。たとえば、図８の（ｂ）に示したように、ドラグボタン５から指が離されたとき、図８の（ｃ）に示したように、次行が自動的に行表示画面３に表示され、次行の先頭及びその近傍の文字列が、自動的に拡大表示画面２に表示される。

操作指が行末又は行頭まで移動したと判定された場合（ステップＳ２４、Ｓ２８）に拡大表示される文字列を自動的に次行又は前行の先頭を表示させる処理（ステップＳ２６、Ｓ３４、Ｓ１６、Ｓ１８）は第１実施形態と同じである。また、操作指の移動に応じて拡大表示される文字列を移動させる処理（ステップＳ３０、Ｓ１６、Ｓ１８）についても第１実施形態と同じである。よって、これらの処理の説明は省略する。以上、第２実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。

なお、判定部１０６は、指定された行の次行があると判定した場合、前記位置の指定が解除された後に指定された位置を、前記行の方向を示す第１軸上と前記第１軸に垂直な第２軸上の位置に分けたときの前記第１軸上の位置が前記次行の行頭から所定範囲内であるかを判定してもよい。判定部１０６は、指定された行の次行があると判定した場合、前記位置の指定が解除された後に指定された位置が次行の行頭から所定範囲内であるかを判定してもよい。判定部１０６が指定された位置が次行の行頭から所定範囲内であると判定した場合、表示制御部１０７は、次行の行頭及びその近傍の文字列を拡大表示してもよい。

［効果の例］
スクリーンのタッチ操作などによる位置の指定は、マウスを用いた位置の指定に比べて精度が低い。このため、ある行を拡大表示した後に次行を拡大表示したい場合、次行の先頭を指定することが難しいことがある。特に行間隔が詰まった文字列のときには、拡大表示中の次行の先頭を指定することは困難である。その際、位置を指定するユーザの指が次行の位置から上下にぶれると、次行の行頭と異なるぶれた位置にある行の文字部分が拡大表示され、所望の行の文字の拡大が難しく、スマートフォン１を利用して文書をスムーズに読むことを妨げる。

これに対して、第２実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、隣接する行の先頭の位置の指定を容易にすることができる。

具体的には、本実施形態にかかる文字拡大表示処理によれば、画面から文字列部分が行単位で抽出され、ユーザによって拡大を指定されている部分がどの行にあたるかが判断される。そして、本実施形態では、その行の指定が終了したと判断されると、次に拡大表示する対象を判断する際に、ユーザの指等によって拡大が指定される位置が次行とみなされる位置になくても、拡大表示する対象の文字列を次行から判断することができる。

つまり、例えば、本実施形態では、操作指を画面から離すと、拡大表示される文字列が自動的に次行又は前行の先頭に自動的に移動するように制御される。このため、ユーザは画面上で所望の行の先頭を探し、タッチ画面にて所望の行の先頭を指定しなくてもよい。

また、本実施形態においても、第１実施形態の効果の例において説明した効果と同一の効果を奏することができる。

なお、指定位置を解除する操作は、指を画面から離す操作に限られない。例えば、移動方向と反対方向に指を移動させる操作が行われた場合、指定位置が解除されたと判定して、上記実施形態において指を画面から離したときと同じように、拡大表示される文字列を自動的に次行の先頭に移動させてもよい。

（単語単位の表示）
第１実施形態と同様に、表示制御部１０７は、指定された位置及びその近傍の文字列の拡大表示を単語単位で行ってもよい。これによれば、指を行方向に沿って移動中、拡大表示画面２には、単語単位で拡大された文字列が表示される。例えば、図８の（ｃ）では拡大表示画面２に画素単位で文字列が拡大表示されるのに対して、図８の（ｄ）では単語単位で文字列が拡大表示される。これにより、一単語が途中で切れた状態で表示されることはないため、文字列をより認識しやすい状態で表示することができる。

＜第３実施形態＞
［スマートフォンの動作（拡大表示処理）］
次に、第３実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について、図９を参照しながら説明する。図９は、第３実施形態にかかる文字拡大表示処理の一例を示すフローチャートである。図９に示した各ステップのうち、図３に示した第１実施形態にかかる文字拡大表示処理と同じ処理を行うステップは、図３と同じステップ番号で示す。よって、以下では、図３と異なるステップ番号で示されたステップを中心に第３実施形態に係る文字拡大表示処理について説明し、第１実施形態との重複説明を回避する。

第３実施形態に係る文字拡大表示処理が開始され、画像が撮影されると（ステップＳ１０）、抽出部１０３は、画像データのレイアウト解析により行単位の文字列を抽出し、行の中心線（ａｘ＋ｂｙ＋ｃ＝０）を抽出する（ステップＳ５０）。次に、ユーザがドラグを開始すると、位置検出部１０４は、ドラグボタン５の開始位置の座標を記憶部１０２に保存する（ステップＳ５２）。以下、ドラグボタン５の開始位置の座標をドラグ開始点（ｘ_０、ｙ_０）と表記する。

次に、表示制御部１０７は、行表示画面３に指定された行を表示し（ステップＳ１４）、拡大表示画面２にドラグボタン５の近傍の文字列を拡大表示する（ステップＳ１６）。次に、戻りボタンが押されていない場合、判定部１０６は、終了動作は行われていないと判定する（ステップＳ１８）。その場合、位置検出部１０４は、ドラグボタン５の移動途中の座標を検出する（ステップＳ５４）。以下、ドラグボタン５の移動途中の座標をドラグ途中点（ｘ、ｙ）と表記する。

次に、演算部１０５は、ドラグ開始点（ｘ_０、ｙ_０）からドラグ途中点（ｘ、ｙ）までの距離の差分Δを算出し、判定部１０６は、算出した距離の差分Δが所定の閾値以上であるかを判定する（ステップＳ５６）。

この距離の差分Δの算出方法について、図１０を参照しながら説明する。図１０には、ドラグ開始点（ｘ_０、ｙ_０）、ドラグ途中点（ｘ、ｙ）、及びドラグ開始点（ｘ_０、ｙ_０）に最も近い行の中心線（ａｘ＋ｂｙ＋ｃ＝０）の一例が示される。

ドラグ開始点（ｘ_０、ｙ_０）から中心線へ投影した点（ｘ_１、ｙ_１）は以下の式（１）で示される。

（ｘ_１、ｙ_１）＝（ｘ_０、ｙ_０）−（ａｘ_０＋ｂｙ_０＋ｃ）（ａ，ｂ）／（ａ^２＋ｂ^２）・・（１）
ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ_２、ｙ_２）は以下の式（２）で示される。

（ｘ_２、ｙ_２）＝（ｘ、ｙ）−（ａｘ＋ｂｙ＋ｃ）（ａ，ｂ）／（ａ^２＋ｂ^２）・・（２）
ドラグ開始点（ｘ_０、ｙ_０）から中心線へ投影した点（ｘ_１、ｙ_１）と、ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ_２、ｙ_２）との距離の差分Δは、以下のように定義される。

|ａ／ｂ|＜１の場合、差分Δ＝|ｘ_２−ｘ_１|
|ａ／ｂ|≧１の場合、差分Δ＝|ｙ_２−ｙ_１|
中心線（ａｘ＋ｂｙ＋ｃ＝０）の傾きは、ｙ＝−ａ／ｂ・ｘ−ｃ／ｂから、「−ａ／ｂ」で示される。図１１に示したように、中心線の傾きが画面の水平方向（第１軸）に対して±４５度未満の場合、|ａ／ｂ|＜１が満たされる。つまり、ドラグボタン５が位置Ａから位置Ｂにドラグされた場合のように、ドラグボタン５の移動を第１軸の成分と第２軸の成分とに分けたときの第１軸の成分が、第２軸の成分よりも大きくなる場合である。このように|ａ／ｂ|＜１が満たされるとき、演算部１０５は、距離の差分Δ＝|ｘ_２−ｘ_１|の式を用いて、ドラグボタン５が第１軸方向に移動した距離の差分Δを算出する。

一方、中心線の傾きが画面の垂直方向（第２軸）に対して±４５度未満の場合、|ａ／ｂ|≧１が満たされる。つまり、ドラグボタン５が位置Ａから位置Ｃにドラグされた場合のように、ドラグボタン５の移動による第２軸の成分が、第１軸の成分よりも大きくなる場合である。このように|ａ／ｂ|≧１が満たされるとき、演算部１０５は、距離の差分Δ＝|ｙ_２−ｙ_１|に基づき、ドラグボタン５が第２軸方向に移動した距離の差分Δを算出する。

図９に戻り、判定部１０６は、算出した距離の差分Δが所定の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６が、算出した距離の差分Δが所定の閾値以上であると判定した場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から中心線へ投影した点（ｘ_２、ｙ_２）をドラグ途中点の座標としてドラグボタン５の位置及びその近傍の文字列を拡大表示する。

例えば、|ａ／ｂ|＜１が満たされるとき、ドラグ開始点からドラグ途中点までの移動量は、第１軸方向の差分Δ＝|ｘ_２−ｘ_１|で定義される。判定部１０６は、算出した距離の差分Δ（＝|ｘ_２−ｘ_１|）が予め定められた第１の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６は、算出した距離の差分Δ（＝|ｘ_２−ｘ_１|）が第１の閾値以上であると判定した場合、表示制御部１０７は、ドラグ開始点からのドラグボタン５の第１軸方向の距離の差分Δ（＝|ｘ_２−ｘ_１|）だけドラグボタン５を第１軸方向に移動させて、ドラグボタン５が位置するドラグ途中点及びその近傍の文字列を拡大表示する。例えば、|ａ／ｂ|＜１が満たされるとき、図１２には、ドラグ開始点Ｐ１からドラグ途中点Ｐ３までの第１軸方向の距離の差分Δが、第１の閾値になった場合が示されている。この場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から図１０の中心線に投影した点（ｘ_２、ｙ_２）のｘ座標に基づき、差分Δ（＝|ｘ_２−ｘ_１|）に応じて拡大表示領域を第１軸方向に移動させる（ステップＳ６０）。その後、ドラグボタン５の位置が、|ａ／ｂ|＜１が満たされない位置（例えば、図１２の点Ｐ４等）に移動したとしても、表示制御部１０７は、指定位置が解除されるまで、点（ｘ_２、ｙ_２）のｘ座標に基づき、差分Δ（＝|ｘ_２−ｘ_１|）に応じて拡大表示領域を第１軸方向に移動させる。

これにより、図１２の破線で示すようにユーザのドラグ操作にぶれが生じても、第１の閾値以上移動したドラグ操作では第１軸方向の成分のみ有効になる。例えば、点Ｐ４にドラグボタン５の位置があったとしても、点Ｐ４'の位置及びその近傍が拡大表示される。これにより、第１軸上の位置及びその近傍が拡大表示される。よって、本実施形態にかかる拡大表示処理によれば、ユーザの操作に対する行内の領域移動を安定させることで、拡大表示の誤動作を低減することができる。

なお、指定位置が解除されるときの一例としては、図９のステップＳ２４、Ｓ２８に示した、画面上のドラグボタン５が指定行の行末又は行頭に位置したときが挙げられる。その他の例としては、図９には示していないが、画面上のドラグボタン５から指がリリースされたときに指定位置が解除されたと判定してもよい。また、画面上のドラグボタン５に指を接触させながら行方向に沿って指をスライド中に反対方向に指を移動させたときに指定位置が解除されたと判定してもよい。

図９のステップＳ６０が実行された後、表示制御部１０７は、第１軸上のドラグ途中点の位置及びその近傍の文字列を拡大表示する（ステップＳ１６）。戻るボタンが押されていない間（ステップＳ１８）、ステップＳ５４において検出されたドラグ途中点の位置に応じてステップＳ５６以降のステップが繰り返し実行される。

一方、|ａ／ｂ|≧１が満たされるとき、ドラグ開始点からドラグ途中点までの移動量は、第２軸方向（行方向と垂直な方向）の差分Δ＝|ｙ_２−ｙ_１|で定義される。判定部１０６は、算出した距離の差分Δ（＝|ｙ_２−ｙ_１|）が予め定められた第２の閾値以上であるかを判定する（ステップＳ５６）。判定部１０６は、算出した距離の差分Δ（＝|ｙ_２−ｙ_１|）が第２の閾値以上であると判定した場合、表示制御部１０７は、差分Δ（＝|ｙ_２−ｙ_１|）だけドラグボタン５を第２軸方向に移動させたときの位置又はその近傍の位置の行を特定し、特定された行の行頭及びその近傍の文字列を拡大表示する。例えば、|ａ／ｂ|≧１が満たされるとき、図１３に示したように、ドラグ開始点Ｐ５からドラグ途中点Ｐ７までドラグボタン５が移動したときの第２軸方向の距離の差分Δが、第２の閾値以上かが判定される。第２の閾値以上の場合、表示制御部１０７は、ドラグ途中点（ｘ、ｙ）から図１０の中心線に投影した点（ｘ_２、ｙ_２）のｙ座標に基づき、差分Δ＝|ｙ_２−ｙ_１|に応じて表示領域を第２軸方向に差分Δに示される長さだけ移動させる。そして、表示制御部１０７は、移動させた位置の行の行頭及びその近傍の文字列を拡大表示する（ステップＳ６０、Ｓ１６）。例えば、図１３の点Ｐ８にドラグボタン５が移動した場合、次行の行頭及びその近傍の文字列が拡大表示される。

なお、図１３の点Ｐ８にドラグボタン５が移動し、ドラグボタン５が次行Ｌｎ＋１の行頭から所定範囲内（例えば、行Ｌｎ＋１の行頭からの拡大表示領域４）であると判定された場合、次行の行頭及びその近傍の文字列が拡大表示されてもよい。

戻るボタンが押されていない間（ステップＳ１８）、ステップＳ５４において検出されたドラグ途中点の位置に応じてステップＳ１４以降のステップが繰り返し実行される。以上、第３実施形態に係るスマートフォン１が実行する文字拡大表示処理の一例について説明した。

なお、判定部１０６は、指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定してもよい。判定部１０６は、前記第１軸方向の位置が前記第１の閾値以上移動したと判定した場合、表示制御部１０７は、指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示してもよい。

［効果の例］
行間隔が詰まった文字列の表示等では、ある行内の文字列を拡大して表示をしようと拡大する位置をなぞっているうちに、指先が上下にぶれて意図しない上下の行内の文字列が拡大表示されることがある。

これに対して、第３実施形態にかかる文字拡大表示処理によれば、文字列を拡大表示する際の、拡大表示位置の指定の誤動作を低減することができる。

具体的には、本実施形態にかかる文字拡大表示処理によれば、画面から文字列部分が行単位で抽出され、ドラグ操作の移動量と第１又は第２の閾値との比較に基づき、ユーザによって拡大表示を指定されている行が、拡大表示されている最中であるか否かが判断される。その結果、本実施形態では、ある行が拡大表示されている最中であると判断されると、その後、拡大表示を指定されている位置が、現在拡大表示している行の上下の行にあたる部分に移動しても、拡大表示する対象となる行は変更をしないように表示が制御される。これにより、指先のぶれによる拡大表示位置の指定の誤動作を低減することができる。また、本実施形態においても、第１及び第２実施形態の効果の例において説明した効果と同一の効果を奏することができる。

（単語単位の表示）
第１及び第２実施形態と同様に、表示制御部１０７は、指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示してもよい。これによれば、指を行方向に沿って移動中、拡大表示画面２には、単語単位で拡大された文字列が表示される。これにより、一単語が途中で切れた状態で表示されることはないため、拡大表示された文字列をより認識しやすい状態でユーザに表示することができる。

以上、端末装置、表示制御方法及びプログラムを上記実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記各実施形態は、矛盾しない範囲で組み合わせることができる。

例えば、上記各実施形態では、画面を二つの領域に分割し、一方の領域に行全体が表示され、他方の領域に指定された行内の対象となる文字列が拡大して表示された。しかしながら、画面を分割せず、一画面の全領域に指定された行内の対象となる文字列を拡大して表示するようにしてもよい。例えば、図１４の（ａ）に示すように、二つの領域に分割された２画面の境界を指でタッチし、その指を下げることで（図１４の（ａ）の（１））、図１４の（ｂ）に示すように、拡大表示画面２の一画面にすることができる。この場合、ユーザは、拡大表示画面２でドラグ操作する。更に、図１４の（ｃ）に示すように、再び、画面を行表示画面３と拡大表示画面２との二つの領域に分割してもよい。

また、図１４の（ａ）に示すように、２画面に分割されている場合の行表示画面３でドラグ操作を行ってもよいし、拡大表示画面２でドラグ操作を行ってもよい。

また、上記各実施形態では、指定位置を特定するためにドラグボタン５が表示された例を挙げて説明したが、ドラグボタン５は必ずしも表示しなくてもよい。

また、上記各実施形態では、横書きの文字列の例を挙げて説明したが、本発明にかかる文字拡大表示処理は、縦書きの文字列、つまり、第１軸が縦方向になる文字列にも適用可能である。

１：スマートフォン
２：拡大表示画面
３：行表示画面
４：拡大表示領域
５：ドラグボタン
１０：ＣＰＵ
１１：メモリ
１２：タッチパネル
１５：２次記憶装置
１０１：撮像部
１０２：記憶部
１０３：抽出部
１０４：位置検出部
１０５：演算部
１０６：判定部
１０７：表示制御部

Claims (6)

1. 画像データに含まれる文字領域から行を一単位にして文字列を抽出する抽出部と、
   前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示する表示制御部と、
   前記位置の指定が解除された場合、前記指定された行の次行があるかを判定する判定部と、を有し、
   前記表示制御部は、
   前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する、
   端末装置。
2. 前記判定部は、
   前記指定された位置が前記指定された行の行末かを判定し、
   前記指定された位置が前記指定された行の行頭かを判定し、
   前記表示制御部は、
   前記指定された行の行末であると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示し、
   前記指定された行の行頭であると判定された場合、前記指定された行の前行の行頭及びその近傍の文字列を拡大表示する、
   請求項１に記載の端末装置。
3. 前記判定部は、
   前記指定された位置が行の方向を示す第１軸方向に第１の閾値以上移動したかを判定し、
   前記表示制御部は、
   前記第１軸方向の位置が前記第１の閾値以上移動したと判定された場合、前記指定された位置の指定の解除が行われるまで、前記指定された行内で前記第１軸方向の位置及びその近傍の文字列を拡大表示する、
   請求項２に記載の端末装置。
4. 前記表示制御部は、
   前記指定された位置及びその近傍の文字列を前記指定された行内の単語を一単位にして拡大表示する、
   請求項１に記載の端末装置。
5. 画像データに含まれる文字領域から行を一単位にして文字列を抽出し、
   前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示し、
   前記位置の指定が解除された場合、前記指定された行の次行があるかを判定し、
   前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する、
   処理をコンピュータが実行する表示制御方法。
6. 画像データに含まれる文字領域から行を一単位にして文字列を抽出し、
   前記行単位で抽出された文字列のうち、指定された行内の指定された位置及びその近傍の文字列を拡大表示し、
   前記位置の指定が解除された場合、前記指定された行の次行があるかを判定し、
   前記指定された行の次行があると判定された場合、前記次行の行頭及びその近傍の文字列を拡大表示する、
   処理をコンピュータに実行させるためのプログラム。

Images