WO2013046512A1 - 情報処理端末 - Google Patents

Abstract

　操作入力式表示装置と、操作入力式表示装置に対する操作入力状態を検出すると共に、操作入力式表示装置に対する表示状態を制御する制御装置と、を備え、上記制御装置は、操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、操作入力式表示装置に表示されている表示データ中における操作入力式位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を備え、上記画像処理部は、指定した領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する。

Description

情報処理端末

　本発明は、情報処理端末にかかり、特に、操作入力式表示装置を備えた情報処理端末に関する。

　近年、接触や近接を検出することによる操作入力式入力装置を備えた携帯電話機などの携帯型情報処理端末が普及している。ところが、そのような携帯型情報処理端末では、携帯性などからタッチパネルなどの操作入力式入力装置の物理的なサイズが制約されている。このため、操作入力式入力装置上から利用者が文字を入力する際には、ハードウェア的なキーが装備されている端末と比較して時間がかかる、という問題がある。そして、このような問題から、既に画面上に利用したい文字が表示されている場合には、その文字列を利用可能とすることが要求されている。

　一方で、画像から、その画像に含まれる文字を認識する文字認識技術が開発されている。このような技術を用いて、紙やディスプレイなどの媒体に表示された文字列を含む画面を撮像装置によって読み取って画像データ化し、その画像データから文字を認識して文字列に変換し、他のシステムへの入力とする、ということが行われている。これにより、紙やディスプレイなどに表示されている情報を人が読み取って、人手でシステムに入力する手間を省くことができる。

　そして、文字認識機能をカメラ付き携帯端末に搭載し、カメラで撮影した画像を文字認識して利用する技術も存在する。このような携帯端末に文字認識技術を搭載した例として、特許文献１に開示の技術がある。特許文献１には、携帯情報機器において、カメラで撮影した画像から文字認識技術を利用して文字を認識し、その文字を利用して携帯情報機器に搭載されている電子辞書からその意味を表示する、という技術が開示されている。

特開２００５－３０１９１４号公報

　しかしながら、表示部上に表示している画像全体を対象に文字認識を実行して対象の文字列を取得する場合には、文字認識処理に大きな処理能力を必要とし、携帯端末上で実行する場合の処理負荷が増加することとなる。また、操作入力式の入力装置では、画像から文字認識を希望する部分領域を的確に選択することが困難である。従って、携帯端末における文字認識の実用性が低い、という問題が生じる。

　このため、本発明の目的は、上述した課題である、文字認識の実用性の低下を解決することができる情報処理端末を提供することにある。

　本発明の一形態である情報処理端末は、
　操作入力式表示装置と、
　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力表示装置に対する表示状態を制御する制御装置と、を備え、
　前記制御装置は、
　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を備え、
　前記画像処理部は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
という構成を取る。

　また、本発明の他の形態であるプログラムは、
　操作入力式表示装置と、
　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
を備えた情報処理端末の前記制御装置に、
　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を実現させると共に、
　前記画像処理部は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
ことを実現させるためのプログラムである。

　また、本発明の他の形態である画像領域抽出方法は、
　操作入力式表示装置と、
　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
を備えた情報処理端末にて、
　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定し、当該指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
という構成を取る。

　本発明は、以上のように構成されることにより、情報処理端末における文字認識の実用性の向上を図ることができる。

本発明における携帯端末の構成を示す機能ブロック図である。 図１に開示した携帯端末の動作を示すフローチャートである。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 図１に開示した携帯端末の表示画像の一例を示す図である。 本発明の付記１における情報処理端末の構成を示す機能ブロック図である。

　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図９を参照して説明する。図１は、携帯端末の構成を示す機能ブロック図であり、図２は、携帯端末の動作を示すフローチャートである。図３乃至図９は、携帯端末の表示画像の一例を示す図である。

　［構成］
　本発明における携帯端末１は、図１に示すように、タッチパネル型表示装置といった入出力装置１１を備えた携帯電話機やタブレット端末などの情報処理端末である。そして、携帯端末１は、装備された演算装置１０にプログラムが組み込まれることで構築された、縦横判定部１２と、画像サイズ判定部１５と、画像切り出し部１６と、文字列認識部１７と、を備えている。なお、上記プログラムは、予め携帯端末１に装備された記憶装置やネットワークを介して接続された記憶装置、ＣＤ－ＲＯＭといった可搬媒体などの記憶媒体に記憶されているものである。また、携帯端末１は、装備された記憶装置２０に形成された出力データ保持部１３と、画像情報記憶部１４と、を備えている。なお、出力データ保持部１３は、キャッシュメモリや上記画像情報記憶部１４の一部に設けられてもよい。以下、各構成について詳述する。

　上記入出力装置１１（操作入力式表示装置）は、上述したようにタッチパネル型表示装置であり、タッチパネル部分にて利用者からの指やタッチペンなどによる接触入力を受け付ける機能と、所定のデータを表示画面部分に表示する機能とを備えている。具体的には、上記入出力装置１１を用いることで、携帯端末１に装備された演算装置１０（制御装置）が、利用者がタッチパネル型表示装置の表面に触れた位置や接触しながらの動作などの接触状態を検出する。つまり、タッチパネル型表示装置のパネル（表示画面）に対して指が接触したことを検知した場合、当該指が示すと判断したパネル面上の領域を接触入力位置（操作入力位置）として検出する。なお、本実施形態では、入出力装置１１がパネルに対する接触を検出して接触入力位置を検出する場合を説明するが、後述する第２の実施形態に記載するように、利用者の指などのパネル面に対する所定距離範囲内への近接状態を検出して、かかる近接したパネル面上の位置を操作入力位置として検出してもよい。また、上記入出力装置１１を用いることで、携帯端末１に装備された演算装置１０（制御装置）が、出力データ保持部１３に記憶されている画像データなどのデータを取得して表示するなど、種々のデータの表示状態を制御する。

　上記出力データ保持部１３は、携帯端末１が入出力装置１１の画面に表示する表示データ（表示データ）を保持している。例えば、表示データは、画像の元データであり、本実施形態では、図３に示すように、文字列が存在する画像データである。そして、画像データの論理的なサイズは、例えば、横方向の幅が４８０画素であり、縦方向の高さが８００画素であることとする。但し、画像データの内容やサイズは、上述したものに限定されない。なお、図３は、後述するように、入出力装置１１の表示画面に画像データを表示したときの様子を示している。

　上記画面情報記憶部１４は、入出力装置１１の物理的なサイズを記憶している。本実施形態では、入出力装置１１の表示画面の物理的サイズとして、例えば、対角サイズが４ｉｎｃｈ、という情報を記憶している。また、画面情報記憶部１４は、後述するように、入出力装置１１の表示画面に表示されている画像データの元の論理的サイズを保持している。但し、本実施形態における入出力装置１１の物理的なサイズは、上述した値に限定されない。

　ここで、携帯端末１の演算装置１０（制御装置）は、上述したように、画像データを入出力装置１１の表示画面に表示制御する機能を有しているが、画像データの一部を表示画面全体に拡大して表示する機能や、画像データを縮小して表示画面に表示する機能を有する。なお、画像データの拡大・縮小表示処理は、入出力装置１１に対する接触入力による所定の指令に応じて実行される。

　上記画像サイズ判定部１５は、まず、上述したように入出力装置１１の表示画面に画像データが表示されたときにおける、表示画面の物理的サイズと画像データの論理的サイズとの比率を算出する機能を有する。具体的に、画像サイズ判定部１５は、入出力装置１１の表示画面全体に表示されている画像データの論理的サイズを検出し、当該論理的サイズを表示画面の物理的サイズで除算することで、単位物理的サイズあたりに表示している論理的画素サイズを求めることができる。

　そしてさらに、画像サイズ判定部１５は、入出力装置１１に対する接触入力位置を基準として、算出した表示画面に対する画像データの表示比率に応じた大きさの論理的な画素サイズを求める機能も有する。この画素サイズは、後述するように画像データ内から文字表示領域を抽出するための処理を行う部分画像データのサイズである。

　例えば、画像サイズ判定部１５は、画像データを拡大することなく入出力装置１１の表示画面に表示している場合には、指の接触入力位置を基準として、その周囲に拡大した予め設定された画素サイズを算出する。一方、表示画面に画像データが拡大表示されているときには、その拡大比率に従って、指の接触入力位置を基準として、その周囲に上述した場合よりもさらに広くなる画素サイズを算出する。つまり、入出力装置１１の表示画面に対する画像データの拡大表示比率が大きいほど、部分画像データの画素サイズが大きく算出される。

　上記縦横判定部１２（文字方向検出部）は、演算装置１０にて検出された入出力装置１１に対する利用者による接触入力が動的な位置変化を伴う場合に、当該位置変化に基づいて、表示されている画像データ内に存在する文字列の並び方向を検出する。つまり、利用者が入力した連続する接触したままの移動動作の方向に応じて、文字列の並び方向を検出する。例えば、利用者によるスライド入力やフリック入力の方向を検出して、文字列の方向を検出するが、この文字列の方向を検出する処理について、図４を参照してさらに詳述する。

　まず、縦横判定部１２は、入出力装置１１に対する利用者による接触入力位置Ｆの情報を所定時間毎に取得する。そして、図４の矢印に示すように、利用者の接触入力位置Ｆが上から下に変化している場合、または、下から上に変化している場合、つまり、上下方向にスライド方向が変化している場合には、画像データ内の文字列の表示が「横書き」であると判定する。また、利用者の接触入力位置が左から右、または、右から左に変化している場合、つまり、横方向にスライド方向が変化している場合には、画面上の表示が「縦書き」であると判定する。具体的には、所定時間内において接触入力を検知した領域の変化が生じた場合、その変化量を表示画面の左右方向に対応するｘ方向成分、上下方向に対応するｙ方向成分に分解し、いずれの方向成分の変化量が多いかを算出する。そして、ｘ方向成分の変化量の方が多い場合には、表示画面に表示された文字列の並びの方向は縦書きであると判断し、ｙ方向成分の変化量の方が多い場合には、表示画面に表示された文字列の並びの方向は横書きであると判断する。

　以上のように、利用者の接触入力位置の変化から、入出力装置１１に表示されている画像データ中の文字列の方向を判定できる理由は、以下の通りである。携帯端末１から利用者に表示したい情報があり、その情報全部を一度に画面上に表示しようとすると、画面上の物理的な文字のサイズが小さくなりすぎてしまい、利用者にとって読むことができなくなる場合がある。たとえば、そのような情報の例としては、長い文章や電子的な書籍などがある。この場合において、表示したい情報を画像化して携帯端末のメモリ上に保持しておき、その画像のうちの一部分を画面上の全体に表示することが良く行われる。利用者は、入出力装置１１上で操作をすることにより、表示する画像部分を縦または横に移動して、画像全体を入出力装置１１上で閲覧する。そして、このような場合の利用者の入出力装置１１上での操作として、文字列が横書きである場合には、入出力装置１１上で下から上、又は、上から下に接触位置を移動させることによって、表示をスクロールさせる可能性が高い。これは、文字列が横書きである場合には、物理的な画面幅内で改行するように表示し、画面サイズ内に表示されている文字列が文として途切れないようにしているのが一般的であり、この場合において、画面内に表示されていない部分を見る場合には、上下方向に画面を移動するように操作するのが一般的であるからである。

　例えば、図４に示すように、上下にそれぞれ位置する点線で挟まれている部分が実際に入出力装置１１上に表示されている部分であるとすると、接触入力位置Ｆを上下方向の矢印に示す方向に操作することにより、画像データ自体を矢印Ｓ方向にスクロールさせることができ、画像全体の上方部分、または、下方部分を表示することができる。

　逆に、文字列が縦書きである場合には、入出力装置１１上で左から右、または、右から左に接触位置を移動させることによって表示をスクロールさせる可能性が高い。これは、文字列が縦書ききである場合には、物理的な画面高さの範囲内で改行するように表示し、画面サイズ内に表示されている文字列が文として途切れないようにしているのが一般的であり、この場合において、画面内に表示されていない部分を見る場合には、左右方向に画面を移動するように操作するのが一般的であるからである。

　以上のことを利用して、縦横判定部１２は、利用者の指し示す位置、つまり、接触入力位置の変化を時系列的に観測し、直近の所定時間内における縦方向の位置の変化の回数が多い場合には、文字列を「横書き」、横方向の位置の変化の回数が多い場合には文字列を「縦書き」と判定する。なお、縦横判定部１２は、所定方向（縦方向、あるいは、横方向）への動的な位置変化を伴う接触入力が、所定時間内に複数回連続して生じた場合に、かかる方向に対応する文字列の並び方向を判定してもよい。このとき、その時間や回数は、予め設定されていることとする。

　上記画像切り出し部（画像処理部）１６は、入出力装置１１の表示画面で画像データが表示されているときに、演算装置１０にて検出された入出力装置１１に対する接触入力位置の変化が所定時間内にない場合、もしくは、接触入力位置の変化量が所定領域の範囲内で留まる場合、つまり、所定位置に対する所定時間長の接触入力を検出した場合には、この接触入力を画像切り出し指示と判断する。そして、画像切り出し指示を検出すると、画像切り出し部１６は、このときの接触入力位置を検出し、この位置を基準として上述したように画像サイズ判定部１５にて算出された画素サイズの範囲の部分画像データ（領域画像）を指定する。ここで、上述した画像切り出し指示を表す接触入力を、「切り出し指示入力」と称する。

　具体的に、図５に示すように、符号Ｆが指による切り出し指示入力を示す位置であるとすると、この切り出し指示入力位置Ｆを中心として周囲に広がる符号Ｃの画素サイズ（例えば、４０画素×４０画素）の部分画像データを指定する。なお、画像切り出し部１６は、例えば、利用者にて予め設定された「切り出し指示入力」を表す操作ボタンが選択されるなど、特定の操作を演算装置１０が検出した場合に、その後の接触入力位置を基準として部分画像データを指定するよう作動してもよい。なお、上記では、部分画像データを画素単位で切り出す例を説明しているため、かかる範囲を「画素サイズ」と称しているが、部分画像データ（領域画像）の面積は、画素数によって特定される場合に限らず、その他の要素によって特定されてもよい。

　さらに、上記画像切り出し部１６は、上述したように指定した部分画像データＣ内から、かかる部分画像データＣ内のデータの特性の変化状況に応じて、所定範囲の領域を特定し、この所定範囲の領域を文字表示領域として抽出して切り出す。具体的に、画像切り出し部１６は、まず、部分画像データＣ内において、上記縦横判定部１２にて判定した画像データ内に存在する文字列の並び方向と同じ方向に沿った所定の領域である一列の画素の色の変化を調べる。つまり、ここでは、「一列の画素の色」を「データの特性」として、その変化状況を調べる。例えば、図６は、図５の符号Ｃで示した部分画像データの拡大図であるが、画像データ中の文字列の並び方向が横方向であると判定されている場合には、符号Ｌ１やＬ２に示すように、横方向の所定の領域である各列において、それぞれ各画素の色の変化を調べる。そして、一列中におけるが各画素の色が同一である場合には、その列は横方向に並んだ文字列と文字列との間に位置する「行間」であると判定する。

　なお、上述した一列中における各画素の色が同一であるか否かの判定は、一列中の各画素の色の変化の度合いを表す値が、予め設定された値の範囲内にあるか否かで行う。例えば、一列中に各画素の色の変化が少なく、その度合いを表す値が比較的小さいため設定値の範囲内にない場合には、かかる列を「行間」として判定する。一方、一列中の画素の色が同一ではなくいくつかの値をとる場合には、その列は横方向に並んだ「文字列」の部分であると判定する。つまり、一列中に各画素の色の変化が大きく、その度合いを表す値が比較的大きい設定値の範囲内にある場合に、かかる列を「文字列」の部分として判定する。そして、上述した判定を全ての列で行うことで、一方向における文字列部分の上端と下端との間の領域（図６のＲ１とＲ２の間の部分）、つまり、「行間」と判定された列に挟まれた領域を特定し、かかる領域を文字表示領域として特定して切り出す。

　なお、文字列が横書きである場合には、上述した各列における画素の色の変化の比較は、図６の符号Ｌ１，Ｌ２とは逆の右端から左端に向かう方向で行ってもよい。また、文字列が縦書きである場合には、部分画像データ内で上方から下方、あるいは、下方から上方に向かって、各列の画素の色の変化を調べることで、縦書き文字列の行間を特定することができる。

　ここで、画像切り出し部１６は、文字列部分の判定を、画像データ中の画素の色の変化に基づいて行ったが、画像データの画素から検出可能な他の特性の変化状況に基づいて行ってもよい。例えば、画像切り出し部１６は、部分画像データＣ内の色調変化、つまり、部分画像データＣ内の一方向に亘る画素の色の濃淡、明暗などの変化の状況に基づいて、「行間」を検出してもよい。このとき、画像切り出し部１６は、上述したように一列中の画素の色が同一か否かによって「行間」を検出することに限定されず、部分画像データＣ内の一方向における色調に変化が生じている場合に、かかる一方向の所定の領域を「行間」として検出してもよい。例えば、画像データ中に文字列が表示されていないが、背景に一定の規則に沿った模様がある場合には、一方向における画素の色調に予め定めた基準を満たす一定の色調変化が生じているときに、かかる列を「行間」として検出する。

　そして、上記文字列認識部１７（文字認識部）は、画像切り出し部１６から渡された画像データ中の文字表示領域に対して文字認識処理を行い、その結果の文字列を出力する。但し、文字列認識部１７は、必ずしも携帯端末１に装備されていることに限定されず、他の装置に装備されていてもよい。その場合には、携帯端末１は、上述したように画像データから文字表示領域を抽出する機能のみを有しており、この抽出した文字表示領域を文字列認識部１７を装備した他の情報処理装置に出力する。

　［動作］
　次に、上述した携帯端末１による画像データから文字認識を行うときの動作を、図２のフローチャートを参照して説明する。

　まず、画像切り出し部１６は、出力データ保持部１３から画像データを取得して（ステップＳ１）、入出力装置１１の表示画面に表示する。このとき、図３に示すように、論理的なサイズが横方向の幅が４８０画素、縦方向の高さが８００画素の画像データが、表示画面全体に表示されていることとする。また、画像データは、それぞれの画素について画面上に表示するときの色の情報が含まれているのが一般的であり、画面上で表示したときに背景として表示される色の情報と、文字として認識される部分の色の情報は別のものとなっており、表示画像を目で見たときに、文字として認識することができることとする。

　続いて、画像サイズ判定部１５が、画面情報記憶部１４に記憶されている入出力装置１１の物理的サイズと、画像データの表示画面に表示されている論理的サイズとの比率から、部分画像データとして切り出す画素サイズを算出し、画像切り出し部１６が取得する（ステップＳ２）。このとき、画像サイズ判定部１５は、画像データが予め設定された基準よりも拡大表示されている場合には、表示画面の物理サイズとの比率に対応して、部分画像データのサイズが広くなるよう算出する。

　続いて、演算装置１０は、入出力装置１１から利用者による接触入力位置及びその位置の変化情報を取得し（ステップＳ３）、その接触入力の動作から（ステップＳ４）、文字列方向の検出処理（ステップＳ５）、あるいは、画像切り出し処理（ステップＳ６）に進む。例えば、接触入力位置の所定時間内における変化に応じて、スライド入力やフリック入力と判断された場合には、ステップＳ５の文字列方向の検出処理に進む。一方、接触入力位置の変化が所定時間内にない、もしくは、接触入力位置の変化量が所定領域の範囲内で留まり、切り出し指示入力と判断された場合には、ステップＳ６の画像切り出し処理に進む。

　上記ステップＳ４により、接触入力がスライド入力やフリック入力と判断された場合には（ステップＳ４で（１））、縦横判定部１２が画像データ内に存在する文字列の並び方向を判定する（ステップＳ５）。例えば、接触入力位置の変化情報が上下方向（縦方向）にスライドしていることを示す場合には、画像データ内に存在する文字列の並び方向が「横方向」であると判定し、接触入力位置の変化情報が左右方向（横方向）にスライドしていることを示す場合には、画像データ内に存在する文字列の並び方向が「縦方向」であると判定する。

　なお、利用者が携帯端末１を操作している間に表示される画像データが別の画像データに切り替わる場合もあるため、縦横判定部１２は、入出力装置１１から取得する利用者の接触入力位置の時系列データの中から直近のデータのみを利用して、文字列の並び方向を判定してもよい。これにより、誤判定を軽減させることができる。

　上記ステップＳ４により、接触入力が切り出し指示入力と判断された場合には（ステップＳ４で（２））、画像切り出し部１６は、図５に示すように、入出力装置１１の表示画面で画像データが表示されているときに入出力装置１１に対して接触入力があると、かかる接触入力位置Ｆを検出し、この位置Ｆを基準として、画像サイズ判定部１５にて算出された画像サイズの範囲の部分画像データＣを指定する。続いて、画像切り出し部１６は、ステップＳ５において判定した部分画像データＣ内に存在する文字列の並び方向に基づいて、その並び方向に沿った各列の画素の色を調べ、文字表示領域を特定する（ステップＳ６）。具体的には、図６を参照して説明したように、部分画像データＣ内において、一列中におけるが画素の色が同一である「行間」と、一列中におけるが画素の色が同一ではなくいくつかの値をとる「文字列」部分とを特定し、「行間」に挟まれた領域を文字表示領域として特定し、かかる画像データ部分を切り出す。

　続いて、画像切り出し部１６は、上述したように切り出した文字表示領域の画像データ部分を文字列認識部１７に出力する（ステップＳ７）。すると、文字列認識部１７は、文字表示領域の画像データ部分に対する文字認識処理を行い、その結果の文字列を出力する。

　以上のように、本発明によると、利用者が指示した接触入力位置周辺の文字列部分のみの画像データを文字列認識部１７に出力している。このため、文字列認識部１７による文字列認識処理の対象となる画像データの容量が小さく、かつ、必要な文字データのみの文字認識処理を行うこととなるため、利用者が必要とする文字を高速に得ることができる。その結果、文字認識処理の効率化を図ることができ、タッチパネル型表示装置を備えた情報処理端末における文字認識の実用性の向上を図ることができる。

　また、上述したように、文字表示領域を特定する処理を行う範囲を、画像データ中の接触入力位置の周辺の画素サイズ内である部分画像データＣの範囲に限定することで、画像データ内に文字列以外に画像部分が存在している場合であっても、より有効に「行間」を特定することができる。例えば、図７に示すように、画像データ内に文字列の他に斜線で示す画像部分Ｇが存在している場合には、画像データ全体に対して上述した方法により「行間」の特定処理を行うと、画像部分Ｇでは一列の画素の色が同一ではない可能性が高いため、「行間」を特定することが困難となる。しかし、上述したように部分画像データＣ内で行間の特定処理を行うことで、画像部分を避けて「行間」を特定でき、文字表示領域を良好に判定することができる。

　ここで、上述したステップＳ２で部分画像データの画素サイズを算出する際に、図８に示すように画像データが入出力装置１１の表示画面に対して拡大表示されている場合には、入出力装置１１の物理的サイズと、画像データの表示画面に表示されている論理的サイズとの比率に応じて、上述した場合よりも大きくなるよう画素サイズを算出する。例えば、図８の場合に、図５の場合と比較して２倍の大きさで画像データが表示されている場合には、入出力装置１１の物理サイズと画像データの表示されている論理的サイズとの比率から、図５の場合よりも２倍の画素サイズ（８０画素×８０画素）が算出される。これにより、画像データが拡大・縮小表示されており、当該画像データ内の文字列が拡大・縮小表示されている場合であっても、所望の文字列を含む適切な範囲の部分画像データを指定することができ、有効に文字表示領域を特定することができる。

　また、上記では、画像サイズ判定部１５にて入出力装置１１の物理的サイズと画像データの表示画面に表示されている論理的サイズとの比率に応じて部分画像データの画素サイズを設定していたが、他の方法にて画素サイズを設定してもよい。例えば、画像切り出し部１６にて、画像データに対する操作者による接触入力時における接触面積に応じて、部分画像データの画素サイズを設定してもよい。

　一例として、画像切り出し部１６が、入出力装置１１に対する操作者の指などによる文字列部分の選択時における接触面積が大きいほど、部分画像データの画素サイズが大きくなるよう設定する。例えば、図９に示すように、入出力装置１１の表示画面に画像データが拡大表示されている場合には、文字列部分も大きく表示されるため、所望の文字列部分が含まれる範囲の部分画像データＣの画素サイズが設定される必要がある。このような場合に、操作者は入出力装置１１のタッチパネルに対してより広い面積で指を接触させる。このとき、符号Ｆに示すように、図５の場合と比較して広い面積の範囲が接触されると、これに応じて図５の場合よりも広い範囲の画素サイズの部分画像データＣが設定される。その後は、設定された部分画像データＣ内で上述したように文字列部分範囲の特定を行う。なお、逆に接触面積が小さい場合には、それに応じて部分画像データの画素サイズを小さく設定する。

　また、上述した例とは異なり、画像切り出し部１６にて、入出力装置１１に対する操作者による接触入力時間に応じて、部分画像データの画素サイズを設定してもよい。例えば、画像切り出し部１６が、文字列部分の選択時における接触入力時間が長いほど、部分画像データの画素サイズが大きくなるよう設定する。

　また、上記では（例えば、ステップＳ６）、文字表示領域を特定する処理を行う範囲である部分画像データを、画像データ中の接触入力位置の周辺の画素サイズ内として特定していたが、他の方法にて部分画像データを特定してもよい。例えば、画像切り出し部１６が、「切り出し指示入力」を表す特定の操作を検出した後にドラッグ操作を検出した場合には、かかるドラッグ操作された軌跡の両端を対角線とする矩形領域部分を、部分画像データとして特定してもよい。

　あるいは、画像切り出し部１６は、「切り出し指示入力」を表す特定の操作を検出した後に２点の接触入力位置を検出した場合には、かかる２点の位置を対角線とする矩形領域部分を、部分画像データとして特定してもよい。さらに、画像切り出し部１６は、「切り出し指示入力」を表す特定の操作を検出した後に、１本の線で囲われた所定形状の図形の入力を検出した場合には、かかる所定形状の図形の範囲内を部分画像データとして特定してもよい。なお、上述した部分画像データを特定する方法は一例であって、他のいかなる方法で部分画像データを特定してもよい。

　＜実施形態２＞
　次に、本発明の第２の実施形態を説明する。本実施形態における携帯端末１は、上述した実施形態１とほぼ同様の構成をとっているが、入出力装置１１に対して非接触入力が可能であり、これに伴い、以下のような構成をとる。

　本実施形態における入出力装置１１（操作入力式表示装置）は、上述同様に表示面に入力面が形成されたパネルを備えており、当該パネルに対する利用者の指などの非接触状態を検出して、非接触入力を受け付ける機能を有する。そして、演算装置１０（制御装置）は、利用者の指などがパネル面に対して所定範囲の距離に近接したことを検出し、近接したパネル面上における位置を操作入力位置として検出する。そして、この検出した操作入力位置やその位置の動的な変化に応じて、上述した実施形態１と同様に、文字列方向の検出処理や文字認識を行う領域の画像切り出し処理などを行う。

　ここで、上述した非接触入力の検出方法としては、例えば、パネルにおける静電容量の変化を検出することで行う。具体的には、利用者の指などの近接に伴い、静電容量の変化が生じ、検出した静電容量の値が予め設定された閾値を超えた場合に、非接触入力されたと検出する。但し、非接触入力の検出方法は、上述した方法に限定されず、いかなる方法で行ってもよい。

　上記構成により、利用者は、表示面が形成されたパネルに直接触れずに操作できるため、表示面が汚れることを抑制でき、また、タッチペンや指の爪などの硬質部位もパネルに直接触れずに操作できるため、表示面に傷がつくことも抑制できる。その結果、表示画面の視認性の向上を図ることができる。

　なお、本実施形態における入出力装置１１は、実施形態１で説明したものと同様に、パネルに対する接触状態を検出する機能を有していてもよく、これに伴い、演算装置１０は、非接触入力及び接触入力のいずれも検出可能な構成であってもよい。

　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理端末（図１０参照）、プログラム、画像領域抽出方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
　操作入力式表示装置１０１と、
　前記操作入力式表示装置１０１に対する操作入力状態を検出すると共に、前記操作入力式表示装置１０１に対する表示状態を制御する制御装置１１０と、を備え、
　前記制御装置１１０は、
　前記操作入力式表示装置１０１に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置１０１に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部１１１を備え、
　前記画像処理部１１１は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
情報処理端末１００。

（付記２）
　付記１に記載の情報処理端末であって、
　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
情報処理端末。

（付記３）
　付記２に記載の情報処理端末であって、
　前記画像処理部は、前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
情報処理端末。

（付記４）
　付記３に記載の情報処理端末であって、
　前記制御装置は、さらに、前記操作入力式表示装置に対する操作入力が動的な位置変化を伴う場合、当該位置変化に基づいて前記画像データ内に存在する文字列の並び方向を検出する文字方向検出部を備え、
　前記画像処理部は、前記所定の領域が、前記文字方向検出部にて検出した文字列の並び方向と同じ方向に沿った領域である場合に、当該所定の領域を前記行間として検出する、
情報処理端末。

（付記５）
　付記３又は４に記載の情報処理端末であって、
　前記画像処理部は、前記領域画像内のデータの特性を、当該領域画像内の画素それぞれの色調とし、当該領域画像内の画素の色調の変化が所定の範囲内であるか否かにに応じて、当該領域画像内の前記所定の領域を前記行間として検出する、
情報処理端末。

（付記６）
　付記５に記載の情報処理端末であって、
　前記画像処理部は、前記文字方向検出部にて検出した文字列の並び方向に沿った前記領域画像内の一方向上における画素の色調変化の度合いが所定の範囲内にない場合、当該領域画像内の前記所定の領域を前記行間として判定する、
情報処理端末。

（付記７）
　付記６に記載の情報処理端末であって、
　前記画像処理部は、同一方向上に位置する前記行間と、それ以外の列に位置する文字列部分と、を判定し、前記行間に挟まれた前記文字列部分を、前記文字表示領域として特定する、
情報処理端末。

（付記８）
　付記４乃至７のいずれかに記載の情報処理端末であって、
　前記文字方向検出部は、前記操作入力式表示装置に対する動的な位置変化を伴う操作入力が複数回連続して生じた場合に、前記画像データ内に存在する文字列の並び方向を検出する、
情報処理端末。

（付記９）
　付記１乃至８のいずれかに記載の情報処理端末であって、
　前記画像処理部は、前記操作入力式表示装置の表示画面のサイズと、当該表示画面に表示されている前記表示データの表示部分のサイズと、の比率に基づいて、前記表示データ中の前記領域画像の面積を設定して、当該領域画像を指定する、
情報処理端末。

（付記１０）
　付記１乃至９のいずれかに記載の情報処理端末であって、
　前記画像処理部は、前記操作入力式表示装置に対する操作入力面積に応じて前記表示データ中の前記領域画像の面積を設定して、当該領域画像を指定する、
情報処理端末。

（付記１１）
　付記１乃至１０のいずれかに記載の情報処理端末であって、
　前記操作入力式表示装置は、当該操作入力式表示装置の表示面画面に対する接触操作による入力が可能であり、
　前記制御装置は、前記操作入力式表示装置の表示画面に対する接触操作による入力状態を検出し、
　前記画像処理部は、前記操作入力式表示装置の表示画面に対し所定時間長となる接触操作による接触入力位置を前記操作入力位置として検出する、
情報処理端末。

（付記１２）
　付記１乃至１１のいずれかに記載の情報処理端末であって、
　前記操作入力式表示装置は、当該操作入力式表示装置の表示画面に対する非接触操作による入力が可能であり、
　前記制御装置は、前記操作入力式表示装置の表示画面に対する非接触操作による入力状態を検出し、
　前記画像処理部は、前記操作入力式表示装置の表示画面に対し所定時間長となる非接触操作による非接触入力位置を前記操作入力位置として検出する、
情報処理端末。

（付記１３）
　付記１乃至１２のいずれかに記載の情報処理端末であって、
　前記画像処理部は、抽出した前記文字表示領域を、表示データ内の文字を認識する文字認識部に出力する、
情報処理端末。

（付記１４）
　付記１３に記載の情報処理端末であって、
　前記制御装置は、前記文字認識部を有する、
情報処理端末。

（付記１５）
　操作入力式表示装置と、
　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
を備えた情報処理端末の前記制御装置に、
　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を実現させると共に、
　前記画像処理部は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
ことを実現させるためのプログラム。

（付記１６）
　付記１５に記載のプログラムであって、
　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
プログラム。

（付記１７）
　付記１６に記載のプログラムであって、
　前記画像処理部は、前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
プログラム。

（付記１８）
　操作入力式表示装置と、
　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
を備えた情報処理端末にて、
　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力式位置を基準として予め設定された範囲内に表示された画像を領域画像として指定し、当該指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
画像領域抽出方法。

（付記１９）
　付記１８に記載の画像領域抽出方法であって、
　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
画像領域抽出方法。

（付記２０）
　付記１９に記載の画像領域抽出方法であって、
　前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
画像領域抽出方法。

　なお、上記各実施形態や付記で記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

　なお、本発明は、日本国にて２０１１年９月２６日に特許出願された特願２０１１－２０８５６６の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

１　携帯端末
１０　演算装置
１１　入出力装置
１２　縦横判定部
１３　出力データ保持部
１４　画像情報記憶部
１５　画像サイズ判定部
１６　画像切り出し部
１７　文字列認識部
２０　記憶装置
１００　情報処理端末
１０１　操作入力式表示装置
１１０　制御装置
１１１　画像処理部
 

Claims (20)

1. 　操作入力式表示装置と、
   　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、を備え、
   　前記制御装置は、
   　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を備え、
   　前記画像処理部は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
   情報処理端末。
2. 　請求項１に記載の情報処理端末であって、
   　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
   情報処理端末。
3. 　請求項２に記載の情報処理端末であって、
   　前記画像処理部は、前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
   情報処理端末。
4. 　請求項３に記載の情報処理端末であって、
   　前記制御装置は、さらに、前記操作入力式表示装置に対する操作入力が動的な位置変化を伴う場合、当該位置変化に基づいて前記画像データ内に存在する文字列の並び方向を検出する文字方向検出部を備え、
   　前記画像処理部は、前記所定の領域が、前記文字方向検出部にて検出した文字列の並び方向と同じ方向に沿った領域である場合に、当該所定の領域を前記行間として検出する、
   情報処理端末。
5. 　請求項３又は４に記載の情報処理端末であって、
   　前記画像処理部は、前記領域画像内のデータの特性を、当該領域画像内の画素それぞれの色調とし、当該領域画像内の画素の色調の変化が所定の範囲内であるか否かにに応じて、当該領域画像内の前記所定の領域を前記行間として検出する、
   情報処理端末。
6. 　請求項５に記載の情報処理端末であって、
   　前記画像処理部は、前記文字方向検出部にて検出した文字列の並び方向に沿った前記領域画像内の一方向上における画素の色調変化の度合いが所定の範囲内にない場合、当該領域画像内の前記所定の領域を前記行間として判定する、
   情報処理端末。
7. 　請求項６に記載の情報処理端末であって、
   　前記画像処理部は、同一方向上に位置する前記行間と、それ以外の列に位置する文字列部分と、を判定し、前記行間に挟まれた前記文字列部分を、前記文字表示領域として特定する、
   情報処理端末。
8. 　請求項４乃至７のいずれかに記載の情報処理端末であって、
   　前記文字方向検出部は、前記操作入力式表示装置に対する動的な位置変化を伴う操作入力が複数回連続して生じた場合に、前記画像データ内に存在する文字列の並び方向を検出する、
   情報処理端末。
9. 　請求項１乃至８のいずれかに記載の情報処理端末であって、
   　前記画像処理部は、前記操作入力式表示装置の表示画面のサイズと、当該表示画面に表示されている前記表示データの表示部分のサイズと、の比率に基づいて、前記表示データ中の前記領域画像の面積を設定して、当該領域画像を指定する、
   情報処理端末。
10. 　請求項１乃至９のいずれかに記載の情報処理端末であって、
    　前記画像処理部は、前記操作入力式表示装置に対する操作入力面積に応じて前記表示データ中の前記領域画像の面積を設定して、当該領域画像を指定する、
    情報処理端末。
11. 　請求項１乃至１０のいずれかに記載の情報処理端末であって、
    　前記操作入力式表示装置は、当該操作入力式表示装置の表示面画面に対する接触操作による入力が可能であり、
    　前記制御装置は、前記操作入力式表示装置の表示画面に対する接触操作による入力状態を検出し、
    　前記画像処理部は、前記操作入力式表示装置の表示画面に対し所定時間長となる接触操作による接触入力位置を前記操作入力位置として検出する、
    情報処理端末。
12. 　請求項１乃至１１のいずれかに記載の情報処理端末であって、
    　前記操作入力式表示装置は、当該操作入力式表示装置の表示画面に対する非接触操作による入力が可能であり、
    　前記制御装置は、前記操作入力式表示装置の表示画面に対する非接触操作による入力状態を検出し、
    　前記画像処理部は、前記操作入力式表示装置の表示画面に対し所定時間長となる非接触操作による非接触入力位置を前記操作入力位置として検出する、
    情報処理端末。
13. 　請求項１乃至１２のいずれかに記載の情報処理端末であって、
    　前記画像処理部は、抽出した前記文字表示領域を、表示データ内の文字を認識する文字認識部に出力する、
    情報処理端末。
14. 　請求項１３に記載の情報処理端末であって、
    　前記制御装置は、前記文字認識部を有する、
    情報処理端末。
15. 　操作入力式表示装置と、
    　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
    を備えた情報処理端末の前記制御装置に、
    　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力位置を基準として予め設定された範囲内に表示された画像を領域画像として指定する画像処理部を実現させると共に、
    　前記画像処理部は、指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
    ことを実現させるためのプログラム。
16. 　請求項１５に記載のプログラムであって、
    　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
    プログラム。
17. 　請求項１６に記載のプログラムであって、
    　前記画像処理部は、前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
    プログラム。
18. 　操作入力式表示装置と、
    　前記操作入力式表示装置に対する操作入力状態を検出すると共に、前記操作入力式表示装置に対する表示状態を制御する制御装置と、
    を備えた情報処理端末にて、
    　前記操作入力式表示装置に対し所定時間長となる操作入力位置を検出し、前記操作入力式表示装置に表示されている表示データ中における前記操作入力式位置を基準として予め設定された範囲内に表示された画像を領域画像として指定し、当該指定した前記領域画像内のデータの特性の変化状況に応じて当該領域画像内の所定範囲の領域を特定し、当該所定範囲の領域を文字表示領域として抽出する、
    画像領域抽出方法。
19. 　請求項１８に記載の画像領域抽出方法であって、
    　前記データの特性の変化状況は、前記領域画像上で生じている色調変化の状況である、
    画像領域抽出方法。
20. 　請求項１９に記載の画像領域抽出方法であって、
    　前記領域画像において前記色調変化が一方向に亘って生じている場合に、その所定の領域を行間として検出し、当該検出した行間以外の領域を前記文字表示領域として抽出する、
    画像領域抽出方法。
     

Images