WO2003050714A1 - Systeme de traitement d'image de terminal cellulaire, terminal cellulaire et serveur - Google Patents

Description

明 細 書

携帯端末型画像処理システム、 携帯端末およびサーバ 技術分野

本発明は、 携帯端末のカメラで撮像した画像に含まれる 文字を翻訳する携帯端末型画像処理システム、 携帯端末お よびサーバに関するものである。 背景技術

近年、 カメラを装備した携帯電話の製品化が盛んになつ てきた。 このような携帯端末のカメラで撮像した画像に含 まれる文字列を文字認識して、 認識結果のテキス トを翻訳 するシステムについて特開平 9 一 1 3 8 8 0 2号公報に開 示されている。 この方式は、 携帯端末内部に文字認識処理 と翻訳処理を持ち、 これらの処理を用いてカメラで撮像し た画像内の文字列を認識 · 翻訳するものである。 しかし、 この方式では、 携帯端末のサイズ上の制限により、 高度な 文字認識処理と翻訳処理を行う ことが困難な課題がある。

一方、 これに対して、 携帯端末 （携帯電話） のカメラで 撮像した画像を外部のサーバに一旦送信し、 サーバ側で画 像内の文字を認識 · 翻訳した結果を携帯端末に送り返す方 式が特開平 1 0 — 1 3 4 0 0 4号公報に提案されている。 この方式によれば、 処理性能の高いサーバ側で文字認識と 翻訳を行うため、 高度な処理が可能となる。 以下、 この方 式の動作について図 2 5 を用いて説明する。

図 2 5は従来の携帯端末型画像処理システムに係る処理 手順を示すフローチャートで、 この処理手順は、 携帯端末 における処理とサーバにおける処理の二つに別れる。

まず、 携帯端末側において、 ユーザが携帯端末に内蔵ま たは接続されたカメラを用いて画像を撮像する。ここでは、 紙面に手書きされたメモや、 印刷された文書の一部を読み 取る （ステップ S T 1 )。 読み取った画像に関して処理した いサービスを指定する。 サービスとしては、 例えばステツ プ S T 1で撮像した画像に含まれる文字列の翻訳や、 その 文字をキーワードとしたデータべ一ス検索などを指定する。 ここでは、文字列の翻訳サービスを指定するものとする（ス テツプ S T 2 )。 その後、 撮像した画像と指定したサービス 要求をサーバに送信する （ステップ S T 3 )。

次にサ一バ側において、 携帯端耒からの画像とサービス 要求を受信すると （ステップ S T 4 )、 受信した画像を処理 するアプリケーショ ンプログラムを起動する （ステップ S T 5 )。起動したアプリケーショ ンプログラムにより受信し た画像に含まれる文字列を認識して、 テキス トを得る （ス テツプ S T 6 )。 次に、 携帯端末で指定したサービスを実行 する。 ここでは、 翻訳サービスを指定しているので抽出さ れたテキス トを翻訳する （ステップ S T 7 )。 翻訳の処理結 果を携帯端末に送信する （ステップ S T 8 )。

その後、 携帯端末側において、 サーバから送信された処 理結果を受信する （ステップ S T 9 )。 受信した処理結果の 内容、 すなわち翻訳文を携帯端末のディスプレイに表示す る （ステップ S T 1 0 )。

以上の処理により、 携帯端末のカメラで撮像した画像に 含まれる文字列の翻訳結果を得ることができる。

以上述べたように、 従来の方式は画像内の文字列を文字 認識した結果の文字列 （テキス ト） を翻訳することで、 画 像内の文字列に対する翻訳結果を得ている。 しかし、 携帯 端末のカメラで撮像した画像は、 一般の O C R (文字認識 装置） が認識対象とするスキャナで読み取った画像に比べ て解像度が低く、 画像の品質が悪い。 また、 海外において 他国語で記入された看板中の文字列をカメラで撮像して、 自国語に翻訳するというような使用方法が想定されるが、 看板の文字列は飾り文字が多い。 このような品質の悪い画 像内の文字列や飾り文字に対して、 現状の文字認識処理の 性能は低く、 誤認識する可能性が高い。 そのため、 文字認 識処理で得たテキス トをそのまま翻訳しても、 正しい結果 が得ることは困難であるという課題があつた。

また、 一度に多数の文字列を翻訳する場合、 ユーザは翻 訳したい文字列上にカメラの視野を移動させてシャッター を押すという作業を何度も繰り返す必要が生じ、 手間を要 するという課題があった。 さらに、 携帯端末のカメラで撮 像した画像は解像度が低いため、 長い文字列や文章を 1枚 の画像内に納めることができない。 これに対して、 カメラ を後ろに引くなどして広範囲を撮像すれば、 長い文字列も 1枚の画像に納めることは可能であるが、 1文字を表現す る画素数は少なくなり、 文字認識率が低下する。 このため 翻訳可能な文字列の長さが制限されるという課題があった,

― さらにまた、 携帯端末で撮像した画像をサ一パに送信す る場合、 送信するデ一夕量が大きいため、 一般の電話回線 ではデータ送信に時間がかかるという課題がある。加えて、 従来の方式において、 サーバが持つ文字認識処理や翻訳処 理は、 一般用語を対象としたものと考えられるが、 その場 合はメニューに載っている郷土料理の名前や診断書に記入 された病名等、 専門性の高い用語に対して十分な文字認識 性能および翻訳性能を得ることが困難であるという課題が あった。 また、 このようなシステムを海外旅行等で使用す る場合、 画像に含まれる他国語の文字列を自国語に翻訳す る使用形態に加え、 逆に自国語で入力したテキス トを他国 語に翻訳する要求も想定される。 しかし、 携帯端末では、 テキス 卜の入力に手間がかかるなどの課題があった。

この発明は上記のような課題を解決するためになされた もので、 翻訳を行う上で利便性の高い携帯端末型翻訳シス テム、 携帯端末およびサーバを得ることを目的とする。 発明の開示

第 1 の発明に係る携帯端末型翻訳システムは、 携帯端末 とこの携帯端末とデータ交換を行うサーバとからなり、 前 記携帯端末は、 画像撮像部と、 この画像撮像部により撮像 した画像を蓄積する画像バッファと、 キ一ワードを入力す るキー入力部と、 前記サーバへ依頼する処理サービスの種 類を指定する処理指示部と、 前記画像バッファに蓄積され た画像あるいは前記キー入力部により入力されたキーヮ一 ド、 指定された処理サービスの種類および前記携帯端末の 関連情報からなるデータを前記サーバに送信するデータ送 信部と、 前記サーバにおいて翻訳処理された翻訳結果を受 信する結果受信部と、 受信した前記翻訳結果を表示する表 示部とを備え、 前記サーバは、 前記携帯端末から送信され たデータを受信するデータ受信部と、 受信した前記画像に 含まれる 1個の文字列に対して複数個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳してそれぞれの翻訳結 果を生成する画像内文字列認識 · 翻訳部と、 受信した前記 キーワードに対する関連文を生成し、 生成された前記関連 文を翻訳して翻訳結果を生成するテキス ト翻訳部と、 受信 したデ一夕に含まれる前記指定された処理サービスの種類 に従って前記画像内文字列認識 · 翻訳部で処理するか、 あ るいは前記テキス 卜翻訳部で処理するかを切り替え制御す る処理制御部と、 前記画像内文字列認識 · 翻訳部または前 記テキス ト翻訳部で生成された翻訳結果を前記関連情報に 基づいて前記携帯端末に送信する結果送信部とを備えたも のである。

第 2 の発明に係る携帯端末型翻訳システムは、 携帯端末 とこの携帯端末とデータ交換を行うサーバとからなり、 前 記携帯端末は、 画像撮像部と、 この画像撮像部により撮像 した画像を蓄積する画像バッファと、 前記サーバへ依頼す る処理サービスを指示する処理指示部と、 前記画像バッフ ァに蓄積された画像、 前記処理サービスの指示および前記 携帯端末の関連情報からなるデ一夕を前記サーバに送信す るデータ送信部と、 前記サーバにおいて翻訳処理された翻 訳結果を受信する結果受信部と、 受信した前記翻訳結果を 表示する表示部とを備え、 前記サーバは、 前記携帯端末か ら送信されたデ一夕を受信するデータ受信部と、 受信した 前記画像に含まれる 1個の文字列に対して複数個の文字列 を抽出し、 抽出した前記複数個の文字列を翻訳してそれぞ れの翻訳結果を生成する画像内文字列認識 · 翻訳部と、 受 信したデ一夕に含まれる前記処理サービスの指示に従って ■ 前記画像内文字列認識 ·翻訳部を動作させる処理制御部と、 生成された前記翻訳結果を前記関連情報に基づいて前記携 帯端末に送信する結果送信部とを備えたものである。

第 3の発明に係る携帯端末型翻訳システムは、 携帯端末 とこの携帯端末とデータ交換を行うサ一バとからなり、 前 記携帯端末は、 キ一ワードを入力するキ一入力部と、 前記 サーバへ依頼する処理サービスを指示する処理指示部と、 前記キー入力部により入力されたキーワード、 前記処理サ —ビスの指示および前記携帯端末の関連情報からなるデ一 タを前記サーバに送信するデータ送信部と、 前記サーバに おいて翻訳処理された翻訳結果を受信する結果受信部と、 受信した前記翻訳結果を表示する表示部とを備え、 前記サ —バは、 前記携帯端末から送信されたデータを受信するデ —タ受信部と、 受信したデータに含まれる前記キーワード に対する関連文を生成し、 生成された前記関連文を翻訳し て前記翻訳結果を生成するテキス ト翻訳部と、 受信したデ —夕に含まれる前記処理サービスの指示に従って前記テキ ス ト翻訳部を動作させる処理制御部と、 生成された前記翻 訳結果を前記関連情報に基づいて前記携帯端末に送信する 結果送信部とを備えたものである。

第 4の発明に係る携帯端末型翻訳システムは、 サーバの 画像内文字列認識 · 翻訳部が、 異なる複数の条件で画像内 の 1個の文字列を認識することにより複数個の文字列認識 結果を生成する画像内文字列認識部と、 生成した前記複数 個の文字列認識結果をそれぞれ翻訳した複数個の翻訳結果 を生成する画像内文字列翻訳部とを有したものである。 第 5 の発明に係る携帯端末型翻訳システムは、 サーバの 画像内文字列認識 · 翻訳部が、 異なる複数の条件で画像内 の 1個の文字列を認識することにより複数個の文字列認識 結果を生成すると共に、 言語辞書を用いて前記複数個の文 字列認識結果に対してスペリ ングが類似する類似文字列を 生成する画像内文字列認識部と、 生成した前記文字列認識 結果と前記類似文字列のそれぞれを翻訳することにより複 数個の翻訳結果を生成する画像内文字列翻訳部とを有した ものである。

第 6 の発明に係る携帯端末型翻訳システムは、 サーバの テキス ト翻訳部が、 受信したキーワードに基づいて関連文 辞書を参照して前記キーワー ドに関連性の高い複数個の文 章を生成する関連文生成部と、 生成された前記複数個の文 章を翻訳することによ り翻訳結果を生成する関連文翻訳部 とを有したものである。

第 7の発明に係る携帯端末型翻訳システムは、 携帯端末 は、 画像撮像部により一定の時間間隔で連続的に撮像され 画像バッファに蓄積した各画像を順次選択してデータ送信 部に出力する送信画像制御部を備え、 サーバが、 受信した 前記各画像に含まれる文字列の各翻訳結果を順次生成して 前記携帯端末に送信し、 前記携帯端末の表示部が、 前記各 翻訳結果を受信する都度表示するようにしたものである。 第 8 の発明に係る携帯端末型翻訳システムは、 携帯端末 の送信制御部が、 画像パッファから順次読み出す画像につ いて、 新しく撮像された画像とその一つ前に撮像された画 像との差を比較し、 その差が閾値以下となった場合に前記 新しく撮像された画像を選択してデータ送信部に出力する ようにしたものである。

第 9 の発明に係る携帯端末型翻訳システムは、サーバは、 連続的に受信された複数個の画像を合成して 1枚の合成画 像を作成する画像統合部を備え、 画像内文字列認識 · 翻訳 部が、 作成された前記合成画像に含まれる文字列に対する 翻訳結果を生成するようにしたものである。

第 1 0の発明に係る携帯端末型翻訳システムは、 携帯端 末は、 当該携帯端末の現在位置を取得してサーバに送信す るデータに加える G P S部を備え、 前記サーバは、 各施設 の位置を格納した地図データを備え、 前記サーバの処理制 御部が、 受信した前記現在位置に基づいて前記地図データ を参照することにより当該携帯端末を所持するユーザが現 在いる施設を特定し、 当該サーバ内で用いる各種の辞書を 特定された前記施設に対応する専用辞書に置き換えるよう にしたものである。

第 1 1の発明に係る携帯端末型翻訳システムは、 携帯端 末の処理指示部が、 ユーザにより専用辞書の種類を指定で きるように構成し、 指定された前記専用辞書の種類をサ一 バに送信するデータに加え、 前記サーバの処理制御部が、 受信した前記専用辞書の種類に基づいて当該サーバ内で用 T JP02/12281

9 いる各種の辞書を指定された専用辞書に置き換えるように したものである。

第 1 2 の発明に係る携帯端末型翻訳システムは、 携帯端 末は、，画像バッファに蓄積されたカラ一画像あるいはダレ 一スケール画像から文字列と背景を分離するように二値化 した前処理後画像を作成し前記画像バッファに蓄積する画 像前処理部を備え、 前記前処理後画像をサーバに送信して 翻訳結果を得るようにしたものである。

第 1 3 の発明に係る携帯端末型翻訳システムは、 携帯端 末が、 前処理後画像にノイズが含まれる場合にはキー入力 により前記ノイズを囲むノイズ除去対象領域を指定できる ように構成され、 画像前処理部が、 前記ノイズ除去対象領 域内の黒画素を白画素に変換して前処理後画像を編集する ようにしたものである。

第 1 4の発明に係る携帯端末は、 翻訳処理を行うサーバ とデータ交換を行う携帯端末であって、 画像撮像部と、 こ の画像撮像部により撮像した画像を蓄積する画像バッファ と、 キーワードを入力するキー入力部と、 前記サ一バへ依 頼する処理サービスの種類を指定する処理指示部と、 前記 画像バッファに蓄積された画像あるいは入力されたキ一ヮ —ド、 指定した前記処理サービスの種類および前記携帯端 末の関連情報からなるデ一夕を前記サーバに送信するデ一 夕送信部と、 前記サ一バにおいて認識された認識文字列お よび翻訳処理された翻訳結果を受信する結果受信部と、 受 信した前記翻訳結果を表示する表示部とを備えたものであ る。 第 1 5の発明に係る携帯端末は、 翻訳処理を行うサーバ とデータ交換を行う携帯端末であって、 画像撮像部と、 こ の画像撮像部により撮像した画像を蓄積する画像バッファ と、 前記サーバへ依頼する処理サービスを指示する処理指 - 示部と、 前記画像バッファに蓄積された画像、 前記処理サ 一ビスの指示および前記携帯端末の関連情報からなるデ一 夕を前記サーバに送信するデータ送信部と、 前記サーバに おいて認識された認識文字列および翻訳処理された翻訳結 果を受信する結果受信部と、 受信した前記翻訳結果を表示 する表示部とを備えたものである。

第 1 6の発明に係る携帯端末は、 翻訳処理を行うサーバ とデータ交換を行う携帯端末であって、 キーワードを入力 するキー入力部と、 前記サーバへ依頼する処理サ一ビスを 指示する処理指示部と、 入力されたキーワード、 前記処理 サービスの指示および前記携帯端末の関連情報からなるデ 一夕を前記サーバに送信するデ一夕送信部と、 前記サーバ において翻訳処理された翻訳結果を受信する結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたもので ある。

第 1 7の発明に係る携帯端末は、 画像撮像部により一定 の時間間隔で連続的に撮像され画像バッファに蓄積した各 画像を順次選択してデータ送信部に出力する送信画像制御 部を備え、 表示部が、 サーバから順次受信する前記各画像 に含まれる文字列の各翻訳結果を逐次表示するようにした ものである。

第 1 8の発明に係る携帯端末は、 送信制御部が、 画像バ ッファから順次読み出す画像について、 新しく撮像された 画像とその一つ前に撮像された画像との差を比較し、 その 差が閾値以下となった場合に前記新しく撮像された画像を 選択してデ一夕送信部に出力するようにしたものである。

第 1 9の発明に係る携帯端末は、 G P S機能により当該 携帯端末の現在位置を取得してサーバに送信するデ一夕に 加える G P S部を備えたものである。

第 2 0の発明に係る携帯端末は、 サーバ内で使用する専 用辞書の種類をユーザにより指定できるように構成し、 指 定された前記専用辞書の種類をサーバに送信するデータに 加えるようにしたものである。

第 2 1 の発明に係る携帯端末は、 画像バッファに蓄積さ れたカラー画像あるいはグレースケール画像から文字列と 背景を分離するように二値化した前処理後画像を作成し前 記画像バッファに蓄積する画像前処理部を備え、 前記画像 バッファから読み出した前記前処理後画像をサーバに送信 して翻訳結果を得るようにしたものである。

第 2 2 の発明に係る携帯端末は、 前処理後画像にノイズ が含まれる場合にはキ一入力により前記ノイズを囲むノィ ズ除去対象領域を指定できるように構成され、 画像前処理 部が、 前記ノイズ除去対象領域内の黒画素を白画素に変換 して前処理後画像を編集するようにしたものである。

第 2 3 の発明に係るサーバは、 携帯端末とデータ交換を 行うサーバであって、 前記携帯端末から送信された画像あ るいはキー入力されたキーワード、 指定された処理サ一ビ スの種類および前記携帯端末の関連情報からなるデータを 受信するデータ受信部と、 受信した前記画像に含まれる 1 個の文字列に対して複数個の文字列を抽出し、 抽出した前 記複数個の文字列を翻訳してそれぞれの翻訳結果を生成す る画像内文字列認識 · 翻訳部と、 前記キーワードに対する 関連文を生成し、 生成した前記関連文を翻訳して翻訳結果 を生成するテキス ト翻訳部と、 前記指定された処理サ一ビ スの種類に従って前記画像内文字列認識 · 翻訳部で処理す るか、 あるいは前記テキス ト翻訳部で処理するかを切り替 え制御する処理制御部と、 前記画像内文字列認識 · 翻訳部 あるいは前記テキス ト翻訳部で生成した翻訳結果を前記関 連情報に基づいて前記携帯端末に送信する結果送信部とを 備えたものである。

第 2 4の発明に係るサーバは、 携帯端末とデータ交換を 行うサーバであって、 前記携帯端末から送信された画像、 処理サービスの指示および前記携帯端末の関連情報からな るデータを受信するデ一夕受信部と、 受信した前記画像に 含まれる 1個の文字列に対して複数個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳してそれぞれの翻訳結 果を生成する画像内文字列認識 · 翻訳部と、 受信したデ一 夕に含まれる前記処理サービスの指示に従って前記画像内 文字列認識 · 翻訳部を動作させる処理制御部と、 俞記画像 内文字列認識 · 翻訳部あるいは前記テキス ト翻訳部で生成 した翻訳結果を前記関連情報に基づいて前記携帯端末に送 信する結果送信部とを備えたものである。

第 2 5の発明に係るサーバは、 携帯端末とデータ交換を 行うサーバであって、 キー入力されたキーワード、 処理サ 一ビスの指示および前記携帯端末の関連情報からなるデ一 夕を受信するデータ受信部と、 前記キーワードに対する関 連文を生成し、 生成した前記関連文を翻訳して翻訳結果を 生成するテキス ト翻訳部と、 受信したデ一夕に含まれる前 記処理サービスの指示に従って前記テキス ト翻訳部を動作 させる処理制御部と、 前記テキス ト翻訳部で生成した翻訳 結果を前記関連情報に基づいて前記携畨端末に送信する結 果送信部とを備えたものである。

第 2 6の発明に係るサーバは、 画像内文字列認識 · 翻訳 部が、， 異なる複数の条件で画像内の 1個の文字列を認識す ることにより複数個の文字列認識結果を生成する画像内文 字列認識部と、 生成した前記複数個の文字列認識結果をそ れぞれ翻訳した複数個の翻訳結果を生成する画像内文字列 翻訳部とを有したものである。

第 2 7の発明に係るサーバは、 画像内文字列認識 · 翻訳 部が、 異なる複数の条件で画像内の 1個の文字列を認識す . ることにより複数個の文字列認識結果を生成すると共に、 言語辞書を用いて前記複数個の文字列認識結果に対してス ペリ ングが類似する類似文字列を生成する画像内文字列認 識部と、 生成した前記文字列認識結果と前記類似文字列の それぞれを翻訳することにより複数個の翻訳結果を生成す る画像内文字列翻訳部とを有したものである。

第 2 8の発明に係るサーバは、 テキス ト翻訳部が、 キ一 入力部で入力したキ一ワードに基づいて関連文辞書を参照 して前記キーワードに関連性の高い複数個の文章を生成す る関連文生成部と、 生成された前記複数個の文章を翻訳す ることにより翻訳結果を生成する関連文翻訳部とを有した ものである。

第 2 9の発明に係るサーバは、 連続的に受信された複数 個の画像を合成して 1枚の合成画像を作成する画像統合部 を備え、 画像内文字列認識 · 翻訳部が、 作成された前記合 成画像に含まれる文字列に対する翻訳結果を生成するよう にしたものである。

第 3 0の発明に係るサーバは、 各施設の位置を格納した 地図データを備え、 処理制御部が、 受信したデータに含ま れる携帯端末の現在位置に基づいて前記地図データを参照 することにより当該携帯端末を所持するユーザが現在いる 施設を特定し、 当該サ一バ内で用いる各種の辞書を特定さ れた前記施設に対応する専用辞書に置き換えるようにした ものである。

第 3 1 の発明に係るサーバは、 処理制御部が、 受信した データに含まれる指定された専用辞書の種類に基づいて当 該サーバ内で用いる各種の辞書を指定された専用辞書に置 き換 るようにしたものである。 図面の簡単な説明

図 1 は本発明の実施例 1 による携帯端末型翻訳システム の構成を示すブロック図、

図 2は本発明の実施例 1 に係る画像の撮像状況を説明す る説明図、

図 3は本発明の実施例 1 に係る画像内文字列認識部の処 理手順を示すフローチヤ一 ト、 図 4は本発明の実施例 1 に係る画像内文字列認識部の動 作例を説明する説明図、

図 5は本発明の実施例 1 に係る誤り を含む文字認識処理 の例を説明する説明図、

図 6は本発明の実施例 1 に係る画像内文字列翻訳部の動 作例を説明する説明図、

図 7は本発明の実施例 1 に係る画像内文字列翻訳結果生 成部の動作例を説明する説明図、

図 8は本発明の実施例 1 に係る画像内文字列翻訳結果の 表示例を示す説明図、

図 9は本発明の実施例 1 に係るキーワード入力の表示例 を示す説明図、

図 1 0は本発明の実施例 1 に係る関連文辞書の構成例を 示す説明図、

図 1 1 は本発明の実施例 1 に係る関連文翻訳部の動作例 を説明する説明図、

図 1 2は本発明の実施例 1 に係る関連文翻訳結果の例を 示す説明図、

図 1 3は本発明の実施例 1 に係る関連文翻訳結果の表示 例を示す説明図、

図 1 4は本発明の実施例 2による携帯端末型翻訳システ ムの構成を示すブロック図、

図 1 5は本発明の実施例 2および実施例 3 に係る画像の 撮像状況を示す説明図、

図 1 6は本発明の実施例 2および実施例 3 に係る連続的 に撮像された画像例を示す説明図、 図 1 7 は本発明の実施例 2 に係る送信画像制御部の動作 を説明する説明図、

図 1 8は本発明の実施例 3 による携帯端末型翻訳システ ムの構成を示すブロック図、

図 1 9は本発明の実施例 3 に係る画像統合部の動作を説 明する説明図、

図 2 0は本発明の実施例 4による携帯端末型翻訳システ ムの構成を示すブロック図、

図 2 1 は本発明の実施例 4に係る認識条件指定の例を示 す説明図、

図 2 2は本発明の実施例 5 による携帯端末型翻訳システ ムの構成を示すプロック図、

図 2 3は本発明の実施例 5 に係る画像前処理部の動作を 説明する説明図、

図 2 4は本発明の実施例 5 に係る画像補正処理を説明す る説明図、

図 2 5は従来の技術による携帯端末型画像処理システム に係る処理手順を示すフローチャートである。 発明を実施するための最良の形態

実施例 1 .

図 1 は本発明の実施例 1 による携帯端末型翻訳システム の構成を示すブロック図である。 図において、 1 0 1 は携 帯端末、 1 0 2はデータ送信部、 1 0 3はキー入力部、 1 0 4は処理指示部、 1 0 5は画像撮像部、 1 0 6は画像バ ッファ、 1 0 7は表示部、 1 0 8は結果受信部である。 1 0 9はサーバ、 1 1 0はデータ受信部、 1 1 1 は結果送信 部、 1 1 2は処理制御部、 1 1 3は画像内文字列認識 · 翻 訳部、 1 1 9はテキス ト翻訳部である。画像内文字列認識 - 翻訳部 1 1 3 において、 1 1 4は画像内文字列認識部、 1 1 5は画像内文字列翻訳部、 1 1 6は画像内文字列翻訳結 果生成部、 1 1 7は認識辞書、 i 1 8は言語辞書、 1 2 4 は第 1翻訳辞書である。 テキス ト翻訳部 1 1 9に,おいて、 1 2 0は関連文生成部、 1 2 1 は関連文翻訳部、 1 2 2は 関連文翻訳結果生成部、 1 2 3は関連文辞書、 1 2 5は第 2翻訳辞書である。

図 2は画像の撮像状況を説明する説明図であり、 2 0 1 は文書、 2 0 2はカメラ視野である。 図 3は画像内文字列 認識部の処理手順を示すフローチャートである。 図 4は画 像内文字列認識部の動作例を説明する説明図で、 4 0 1 は 撮像画像、 4 0 2は前処理後画像、 4 0 3は抽出文字列、 4 0 4は切出した文字パターン、 4 0 5は文字認識結果で ある。 図 5は誤りを含む文字認識処理の例を説明する説明 図で、 5 0 1 は切出した文字パターン、 5 0 2は誤りを含 む文字認識結果である。 図 6 は画像内文字列翻訳部の動作 例を説明する説明図で、 6 0 1 は文字列認識結果、 6 0 2 は類似文字列、 6 0 3は文字列認識結果 6 0 1 を翻訳した 文字列翻訳結果、 6 0 4は類似文字列 6 0 2の文字列翻訳 結果である。

図 7は画像内文字列翻訳結果生成部の動作例を説明する 説明図で、 7 0 1 は画像内文字列翻訳結果の例である。 図 8は画像内文字列翻訳結果の表示例を示す説明図で、 8 0 1は認識文字列画像、 8 0 2は画像内文字列翻訳結果の画 像である。図 9はキーワー ド入力の表示例を示す説明図で、 9 0 1はキ一ヮ一 ド入力エリア、 9 0 2は翻訳ポタン表示 である。 図 1 0は関連文辞書の構成例を示す説明図で、 1 0 0 1 は関連文辞書データである。 図 1 1 は関連文翻訳部 の動作例を説明する説明図で、 1 1 0 1は入力テキス ト、 1 1 0 2は関連文、 1 1 0 3， 1 1 0 4は文字列翻訳結果 である。 図 1 2は関連文翻訳結果生成部の動作例を説明す る説明図で、 1 2 0 1 は関連文翻訳結果生成部の出力結果 である。図 1 3は関連文翻訳結果の表示例を示す説明図で、 1 3 0 1 は翻訳結果である。

次に動作について説明する。

ごの翻訳システムは携帯端末 1 0 1 とサーバ 1 0 9で構 成される。 この携帯端末 1 0 1 は、 サーバ 1 0 9 とデ一夕 を送受信する通信機能を備え'ており、 サ一バ 1 0 9 に処理 を依頼して、 その処理結果を受信して表示することができ る。 この携帯端末 1 0 1'とサ一バ 1 0 9間の通信は、 無線 でデータを送受信する方式や赤外線通信でデ一夕を送受信 する方式または有線でデータを送受信する方式により行う。 ここで、 サーバ 1 0 9は 2つのサ一ビスを有する。 一つは 携帯端末の画像撮像部 1 0 5より撮像した画像に含まれる 文字列を翻訳'するサービスであり、 以降これを画像内文字 列認識 · 翻訳サービスと呼ぶ。 もう一つは、 携帯端末のキ —入力部 1 0 3より入力したテキス トの内容を翻訳するサ 一ビスであり、 以降、 これをテキス ト翻訳サービスと呼ぶ。 画像内文字列認識 · 翻訳サービスの動作を説明する。 ユーザは携帯端末 1 0 1 の画像撮像部 1 0 5 により文字 列を含む画像を撮像する。 例えば、 図 2 に示すように携帯 端末 1 0 1 を文書 2 0 1 の前に近づけて、 カメラ視野 2 0 2の範囲を 1枚の画像として撮像する。 この画像撮像部 1 0 5は、 携帯端末 1 0 1 に付属または接続された画像撮像 機能を持つ C C Dや C M O Sセンサ等を備えたカメラであ り、 撮像した画像はカラ一画像もしくはダレ一スケール画 像である。 また、 撮像する対象は文書の一部あるいは看板 や案内板等情景中の文字である。 画像撮像部 1 0 5で撮像 された画像は画像バッファ 1 0 6 に蓄積される。

次に、 処理指示部 1 0 4はサーバ 1 0 9で行う処理サ一 ビスの種類を指定する。 この指定は、 キー入力部 1 0 3か らユーザが行うか、 またはデフォルトの設定を用いて自動 的に行うようになっている。 ここでは、 処理サービスの種 類として、. 画像内文字列認識 · 翻訳を指定する。 処理指示 部 1 0 4により処理サービスが指定されると、 デ一夕送信 部 1 0 2は、 画像バッファ 1 0 6 に蓄積された画像、 処理 指示部 1 0 4で指定した処理サービスの種類および携帯端 末 1 0 1 に関する関連情報 （例えば、 機種コード等） から なるデータをサーバ 1 0 9 に送信する。

サーバ 1 0 9では、 データ受信部 1 1 0 により携帯端末 1 0 1 のデ一夕送信部 1 0 2から送信されたデータを受信 すると、 処理制御部 1 1 2 に入力する。

処理制御部 1 1 2は、 指定した処理サービスの種類に応 じて以降の処理内容を切り替える。 ここでは、 前述したよ うに画像内文字列認識 ·翻訳サービスを指定しているので、 画像内文字列認識 · 翻訳部 1 1 3が動作するように制御さ れる。 仮に処理指示部 1 0 4でテキス ト翻訳サービスが指 定されている場合には、 テキス ト翻訳部 1 1 9が動作する ように制御されることになる。

画像内文字列認識 · 翻訳部 1 1 3では、 まず画像内文字 列認識部 1 1 4が動作し、 携帯端末 1 0 1から送信された データの画像内の文字列を認識する。 この画像内文字列認 識部 1 1 4の具体的な動作を図 3の処理手順に従い説明す る。

まず、 携帯端末 1 0 1から送信された画像に対して前処 理を行い （ステップ S T 2 1 )、 画像内の文字列と背景を分 離した前処理後画像を作成する。 例えば、 携帯端末 1 0 1 から図 4に示すようなカラーの撮像画像 4 0 1が送信され た場合、 この撮像画像 4 0 1 に前処理を適用することで、 背景を白色、 文字列を黒色とした白黒の前処理後画像 4 0 2 を得る。 このような前処理の実現方法については、 論文 T e x t e x t r a c t i o n f r o m c o l o r d o c u m e n t s 一 c l u s t e r i n g a p p r o a c h e s i n t h r e e a n d f o u r d i m e n s i o n s ", T . P e r r o u d , K . S o b o t t k a , H . B u n k e , I n t e r n a t i o n a l C o n f e r e n c e o n D o c u m e n t A n a l y s i s a n d R e c o g n i t i o n ( 2 0 0 1 ) に開示されている。

次に、 前処理後画像から抽出して抽出文字列を得る （ス テツプ S T 2 2 )。 例えば、 図 4の前処理後画像 4 0 2から 抽出文字列 4 0 3 を抽出する。 このような白黒の画像から 文字列を抽出する処理には、 従来の O C Rで既に実現され ている方式が用いられる。 ステップ S T 2 2で抽出した抽 出文字列の内容を文字認識する （ステップ S T 2 3 )。 文字 認識の方法としては、 文字列を構成する 1文字のパターン を切出し、 切出したパターンを認識辞書 1 1 7 と比較して 文字コードに変換する方法が広く知られている。 ここで、 切出したパターンを文字コードに変換する際に、 言語辞書 1 1 8を参照することにより、 言語的に整合性の高い文字 認識結果を得ることができる。 この方法も一般的である。 例えば、 図 4に示す抽出文字列 4 0 3 に本処理を適用した 場合、 まず 1文字づっ切出した文字パターン 4 0 4を得、 それら文字パターン 4 0 4を文字コードに変換することで、 テキス ト化された文字認識結果 4 0 5 を得る。

以上の処理により、 画像内の文字列に対する文字列認識 結果 （テキス ト） を得ることができる。 ただし、 対象とす る画像の解像度が低く、 品質の悪い場合や、 認識対象とす る文字列が飾り文字である場合には、 文字認識結果を誤る ことが多い。 例えば図 5に示すように、 切出した文字バタ —ン 5 0 1 に誤りが生じ、 その結果として誤った文字認識 結果 5 0 2 を得ることがある。 この問題に対処するため、 処理パラメ一夕を変更してステップ S T 2 1 〜 S T 2 3の 処理を複数回繰り返し、 複数個の文字認識結果を得る （ス テツプ S T 2 4 )。 例えば、 図 4の抽出文字列 4 0 3に対し て処理パラメータを変えてステップ S T 2 1 〜 S T 2 3の 処理を 2回繰り返すことで、 図 6で示すように、 2個の文 字列認識結果 6 0 1 として " S t r a t e g i c " と " S t r a n g e r " を得る。 このように、 複数個の文字列認 識結果を取得すれば、 その中に正解の文字列認識結果が含 まれる可能性は高い。 しかし、 ステップ S T 2 4で得た複 数個の文字列認識結果にも正解が含まれない場合がある。 そこで、 言語辞書 1 1 8 を参照して、 ステップ S T 2 4で 得た複数個の文字列認識結果とスペリ ングが類似した文字 列を複数個抽出する （ステップ S T 2 5 )。 例えば図 6 に示 すように、 ステップ S T 2 4で得た 2個の文字列認識結果 6 0 1 から、 スペリ ングの類似した 3個の類似文字列 6 0 2を作成する。 '

画像内文字列認識部 1 1 4は、 ステップ S T 2 4で得た 複数個の文字列認識結果とステップ S T 2 5で得た複数個 の類似文字列とを合せて画像内文字列翻訳部 1 1 5 に出力 する （ステップ S T 2 6 )。 このように複数個の文字列認識 結果とそれらの文字列認識結果に対する複数個の類似文字 列とを出力するため、 その中に正解の文字列認識結果が含 まれる可能性が一層高くなる。 以上が画像内文字列認識部 1 1 4の動作である。

次に画像内文字列翻訳部 1 1 5は、 翻訳に必要な情報を 格納した第 1翻訳辞書 1 2 4を参照して、 画像内文字列認 識部 1 1 4で得た複数個の文字列認識結果を翻訳し、 文字 列翻訳結果を得て画像内文字列翻訳結果生成部 1 1 6 に出 力する。 この翻訳処理は、 例えば図 6 に示すように、 画像 内文字列認識部 1 1 4で得た文字列認識結果 6 0 1 と類似 文字列 6 0 2 に対して、 それぞれ翻訳した文字列翻訳結果 6 0 3， 6 0 4を得る。

画像内文字列翻訳結果生成部 1 1 6は、 画像内文字認識 部 1 1 4で得た文字列認識結果と類似文字列、 および画像 内文字列翻訳部 1 1 5で得た文字列翻訳結果をまとめ、 携 帯端末 1 0 1 に対して送信するためのデータとして画像内 文字列翻訳結果を作成する。 例えば、 図 7の画像内文字列 翻訳結果 7 0 1 は、 図 4に示す撮像画像 4 0 1 に対して得 られたものである。 この画像内文字列翻訳結果 7 0 1 は、 前処理後画像 4 0 2から切出した抽出文字列 4 0 3の位置 座標 （例えば、 文字列を囲む外接矩形の左上点 x， y座標 と外接矩形の幅 w、 高さ h ) を持つ。 加えて、 画像内文字 認識部 1 1 4で得た文字列認識結果と類似文字列、 および 画像内文字列翻訳部 1 1 5で得た文字列翻訳結果を持つ。

サーバ 1 0 9は、 画像内文字列翻訳結果生成部 1 1 6で 作成した文字列翻訳結果を結果送信部 1 1 1から携帯端末 1 0 1 に送信する。

ここで文字列認識結果と類似文字列、 および文字列翻訳 結果のデ一夕形式はテキス トか、 または画像である。 例え ば、 携帯端末 1 0 1が文字列認識結果を構成する言語の文 字を表示する機能を持たない場合、 その文字列認識結果の 描かれた画像を画像内文字列翻訳結果に用いる。 同様に、 携帯端末 1 0 1が文字列翻訳結果を構成する言語の文字を 表示する機能を持たない場合、 その文字列翻訳結果の描か れた画像を画像内文字列翻訳結果に用いる。 ここで、 携帯 端末 1 0 1が特定の言語の文字を表示する機能を持つか否 かの判定は、 携帯端末 1 0 1 の持つデータ送信部 1 0 2か ら送信された携帯端末に関する関連情報 （機種コード等） に基づいて行う。

次に、 携帯端末 1 0 1では、 まず結果受信部 1 0 8が、 サーバ 1 0 9の結果送信部 1 1 1から送信された画像内文 字列翻訳結果を受信する。 その後、 表示部 1 0 7は、 画像 バッファ 1 0 6 に蓄積した撮像画像と受信した画像内文字 列翻訳結果を基に、 撮像画像に含まれる文字列の翻訳結果 を表示部 1 0 7 に表示する。 この表示部 1 0 7は、 液晶デ イスプレイ等の文字や画像を表示することのできる表示装 置である。 例えば図 8 に示すように、 表示部 1 0 7上に認 識した文字列を表す認識文字列画像 8 0 1 を表示し、 同時 に、 文字列認識結果、 類似文字列および文字列翻訳結果か らなる画像内文字列翻訳結果の画像 8 0 2 を表示する。 以 上が、 画像内文字列認識 · 翻訳サービスの実行例である。 テキス ト翻訳サービスの動作'を説明する。

携帯端末 1 0 1 において、 まずユーザがキー入力部 1 0 3により、 翻訳したいテキス トを入力する。 ただし、 一般 の携帯端末ではテキス トの入力に手間を要するため、 ここ ではテキス トの内容に関連したキーワードを入力する。 例 えば 「次のバスは何時に出発しますか？」 というテキス ト を翻訳したい場合、 キーワードとして 「バス」 と 「時間」 を入力する。 図 9は携帯端末でキーワードを入力した例で あり、 入力したキーワードが表示部 1 0 7上のキ一ワード 入力エリア 9 0 1 に表示されている。 キーワードを入力し た後、 ユーザがキー入力部 1 0 3 を操作して表示部 1 0 7 上に表示された翻訳ボタン表示 9 0 2 を実行すると、 翻訳 のための処理を開始する。

処理指示部 1 0 4はサーバ 1 0 9で行う処理サ一ビスの 種類を指定する。 ここでは処理サービスの種類として、 テ キス ト翻訳サ一ビスを指定する。 すると、 データ送信部 1 0 2は、 キ一ワード入力エリア 9 0 1 に入力されたキ一ヮ ー ド、 処理指示部 1 0 4で指定した処理サービスの種類お よび携帯端末 1 0 1 に関する関連情報 （例えば、 機種コー ド等） をサーバ 1 0 9 に送信する。

サーバ 1 0 9 において、 データ受信部 1 1 0が携帯端末 '1 0 1 のデータ送信部 1 0 2から送信されたデータを受信 し、 処理制御部 1 1 2 に入力する。 処理制御部 1 1 2は、 処理指示部 1 0 4で指定した処理サービスの種類に応じて 以降の処理内容を切り替える。 ここでは、 処理指示部 1 0 4でテキス ト翻訳サービスが指定されているため、 テキス ト翻訳部 1 1 9が動作するように制御する。

テキス ト翻訳部 1 1 9では、 まず関連文生成部 1 2 0が 動作し、 携帯端末 1 0 1 から送信されたキーワー ドと関連 文辞書 1 2 3のデ一夕とを基に、 キーワー ドから類推され る文章 （以降、 関連文と呼ぶ） を生成する。 ここで関連文 辞書 1 2 3は、 例えば図 1 0 に示すような関連文辞書デー 夕 1 0 0 1 を持つ。 この関連文辞書デ一夕は多数の関連文 と、 その索引を格納したものである。 関連文生成部 1 2 0 は、 この索引とデータ送信部 1 0 2から送信されたキーヮ 一ドとを比較し、 索引にキーワードを含む関連文を関連文 辞書 1 2 3から読み出し関連文翻訳部 1 2 1 に出力する。 例えば、 キーワードが 「バス」 と 「時間」 の場合、 関連文 辞書デ一夕 1 0 0 1 における関連文 N o . 1 「次のバスは いつ出発しますか？」 と関連文 N o . 2 「バスでどれく ら い時間がかかりますか？」 を出力する。

関連文翻訳部 1 2 1 は、 データ送信部 1 0 2から送信さ れたキ一ワードと関連文生成部 1 2 0で得た関連文を、 第 2翻訳辞書 1 2 5を用いて翻訳する。 例えば、 図 1 1 に示 すキーワードに該当する入力テキス ト 1 1 0 1 と関連文 1 1 0 2 に対して翻訳処理を行い、 それぞれ文字列翻訳結果 1 1 0 3 , 1 1 0 4を得て関連文翻訳結果生成部 1 2 2 に 出力する。 このようなテキス トを翻訳する機能は、 一般の 翻訳ソフ トで既に実現されている方法である。

関連文翻訳結果生成部 1 2 2 は、 データ送信部 1 0 2か ら送信されたキーワー ド、 関連文生成部 1 2 0で得た関連 文および関連文翻訳部 1 2 1で得た文字列翻訳結果をまと めて、 携帯端末 1 0 1 に送るデータとして関連文翻訳結果 を作成し、 結果送信部 1 1 1 に出力する。 例として、 図 1 2の関連文翻訳結果 1 2 0 1が示される。 ここには、 「キ一 ワードと関連文」 およびそれらの 「翻訳結果」 が対応付け て格納されている。

結果送信部 1 1 1 は、 関連文翻訳結果生成部 1 2 2で作 成した関連文翻訳結果を携帯端末 1 0 1 に送信する。

ここで、 翻訳結果のデータ形式は、 テキス トか画像であ る。 例えば、 携帯端末 1 0 1が翻訳結果を構成する言語の 文字を表示する機能を持たない場合、 その翻訳結果の描か れた画像を関連文翻訳結果に用いる。 ここで、 携帯端末 1 0 1が特定の言語の文字を表示する機能を持つか否かの判 定は、 携帯端末 1 0 1 の持つデータ送信部 1 0 2から送信 された携帯端末に関する関連情報 （機種コード等） に基づ いて行う。

携帯端末 1 0 1 は、 結果受信部 1 0 8 により関連文翻訳 結果を受信し、 表示部 1 0 7 に与える。 表示部 1 0 7は、 受信した関連文翻訳結果の内容を表示する。 例えば図 1 3 に示すように、 表示部 1 0 7はテキス ト、 関連分およびそ れらの翻訳結果からなる翻訳結果 1 3 0 1が表示される。 以上が、 テキス ト翻訳サ一ビスの実行例である。

以上のように、 この実施例 1 によれば、 画像内文字列に 対する翻訳と入力したテキス トに対する翻訳の両方に対応 できるシステムを実現する効果が得られる。 画像内文字列 認識 · 翻訳サービスにおいて、 画像内文字列認識部 1 1 4 は、 画像内の文字列から複数個の文字認識結果と複数個の 類似文字列を作成し、 画像内文字列翻訳部 1 1 5では、 そ れら複数個の文字認識結果と複数個の類似文字列に対する それぞれの翻訳結果を作成し、 これら複数個の翻訳結果を 携帯端末 1 0 1 に送信して表示部 1 0 7 に表示するように したので、 文字認識が困難で解像度が低い品質の悪い画像 内の文字や飾り文字に対しても正解率の高い翻訳結果を出 せる効果が得られる。 また、 テキス ト翻訳サービスでは、 携帯端末 1 0 1で入力したキ一ワードから複数個の関連文 を生成し、 それらの翻訳結果を携帯端末 1 0 1 の表示部 1 0 7 に表示するようにしたので、 翻訳したい全てのテキス トを入力する必要がなく、 面倒なテキス ト入力の手間を削 減できると共に、 正解率の高い要求する文章の翻訳結果を 得ることができる効果が得られる。 実施例 2 .

次に本発明の別の実施例に係る画像内文字列認識 · 翻訳 サービスについて説明する。 上記実施例 1 の画像内文字列 認識 · 翻訳サ一ビスでは、 ユーザが携帯端末 1 0 1で 1枚 の画像を撮像した後、その画像をサーバ 1 0 9に送信して、 その画像内に含まれる文字列の翻訳結果を得る。そのため、 一度.に多数の文字列を翻訳する場合、 ユーザは翻訳したい 文字列上にカメラの視野を移動させてシャッターを押す作 業を何度も繰り返す必要があり、 手間を要する。 この課題 は、 ュ一ザが撮像を開始すると、 その後は一定の時間間隔 で自動的に撮像を行い、 その撮像した画像を逐次サーバ 1 0 9で翻訳することにより、 半リアルタイムに翻訳結果を 得るようにできれば解決できる。 実施例 2 はこれを実現す るものである。

実施例 2について図 1 4から図 1 7 を用いて説明する。 図中、 実施例 1 の各図と共通な部分は同一の符号を付し、 その説明を原則として省略する。 図 1 4は実施例 2 による 携帯端末型翻訳システムの構成を示すブロック図で、 1 4 0 1 は送信画像制御部である。 図 1 5は連続的な画像の撮 像状況を示す説明図で、 1 5 0 1はカメラ視野、 1 5 0 2 はカメラ視野の移動軌跡である。 図 1 6は連続的に撮像さ れた画像例を示す説明図で、 1 6 0 1 は連続的に撮像した 画像である。 図 1 7は送信画像制御部の動作を説明する説 明図で、 1 7 0 1 は分割領域である。 次に動作について説明する。

携帯端末 1 0 1 において、 画像内文字列認識 · 翻訳サー ビスを実行する際、 画像撮像部 1 0 5が文字列を含む画像 を撮像する。 実施例 1 と異なり、 画像撮像部 1 0 5は 1度 画像を撮像した後、 一定の時間間隔で連続的に画像を撮像 する。 画像撮像部 1 0 5で撮像した画像は、 毎回、 画像バ ッファ 1 0 6 に蓄積される。 この画像バッファ 1 0 6 には 1枚以上の画像を蓄積することができる。 次に、 送信画像 制御部 1 4 0 1は、 まず画像バッファ 1 0 6 に蓄積された 画像の 1枚を選択するが、 この段階では、 最初に撮像され た画像を選択する。 処理指示部 1 0 4は、 実施例 1 と同様 にサーバ 1 ひ 9で行う処理サ一ビスの種類を指定する。 こ こでは、 処理サービスの種類として画像内文字列認識 · 翻 訳を指定することとする。 '

データ送信部 1 0 2 は、 送信画像制御部 1 4 0 1で選択 した画像、 処理指示部 1 0 4で指定した処理サ一ビスの種 類および携帯端末 1 0 1 に関する関連情報 （例えば、 機種 コー ド等） をサーバ 1 0 9に送信する。

サーバ 1 0 9では、 実施例 1 と同様に、 データ送信部 1 0 2で送信した撮像画像に含まれる文字列を翻訳して、 そ の処理によって得られた画像内文字列翻訳結果を携帯端末 1 0 1 に送信する。 その後、 実施例 1 と同様に、 携帯端末 1 0 1 において、 結果受信部 1 0 8がサーバ 1 0 9からの 画像内文字列翻訳結果を受信して表示部 1 0 7 により受信 した翻訳結果を表示する。

次に、 携帯端末 1 0 1 において、 送信画像制御部 1 4 0 1は画像バッファ 1 0 6に蓄積された別の画像 （今翻訳し た画像の次に撮像された画像） を選択し、 同様にサ一パ 1

0 9 に対して画像内文字列認識 · 翻訳サ一ビスを依頼し、 その翻訳結果を受け取って表示部 1 0 7 に表示する。以降、 画像バッファ 1 0 6 に蓄積された残りの画像に対して、 同 様に一連の処理を順次繰り返す。

上記の一連の処理を繰り返している間、 翻訳したい文章 を全て撮像するために、 携帯端末 1 0 1 のカメラ視野 1 5 0 1 を、 図 1 5 に示すように移動軌跡 1 5 0 2 に従って移 動させていたとする。 その結果、 図 1 6 に示すような 1 1 個の撮像画像 1 6 0 1が得られる。 t は時間を表し、 t = 0が最初に撮像された画像を示し、 t = 1 0が最後に撮像 された画像を示す。 これら各々の撮像画像 1 6 0 1は、 サ —バ 1 0 9に送信され、 最初に撮像された画像から順番に 逐次翻訳され、 その各翻訳結果が携帯端末 1 0 1 の表示部 1 0 7上に表示される。

なお、 ここで送信画像制御部 1 4 0 1 は、 撮像された順 に全ての画像を選択すると説明したが、 全ての画像を選択 してサーバ 1 0 9に画像内文字列認識 · 翻訳サービスを依 頼することは、 送信するデータ量の増加と、 サーバ 1 0 9 の処理量増加を招く。 そこで、 別の基準に従って選択する 画像を絞り込んでも良い。 例えば、 送信画像制御部 1 4 0 1 は、 画像バッファ 1 0 6に蓄積された画像に対して、 図 1 7 に示すように、 縦と横に N等分した分割領域 1 7 0 1 を作成し、 分割領域毎の輝度を求める。 そして、 新しく撮 像された画像と、 その一つ前に撮像された画像とで分割領 域毎の輝度値の差を計算し、 差の合計値が閾値以下となる 場合に、 新しく撮像された画像を選択する。 これにより、 カメラの移動が停止した時点で撮像された画像のみが選択 され、 ユーザが翻訳したい文字列を含む画像のみをサーバ に送信することができる。 図 1 7の例では、 時間 t = 1、 t = 5、 t = 7、 t = 1 0 の撮像画像 1 6 0 1が選択され ることになる。

以上のように、 実施例 2 によれば、 ユーザが撮像を開始 すると、 その後は一定の時間間隔で自動的に撮像を行い、 サーバ 1 0 9側で、 その撮像した画像を逐次翻訳する。 こ れにより、 一度に多数の文字列を翻訳する場合、 ユーザは 翻訳したい文字列上にカメラの視野を移動させてシャツ夕 一を押す作業を何度も繰り返す必要がなく、 ユーザの手間 を削減すると共に、 半リアルタイムに翻訳結果を得ること ができる効果が得られる。 また、 送信画像制御部 1 4 0 1 は、 撮像された画像とその一つ前に撮像された画像との間 で画像の変化量を求め、 その変化量が閾値以下の場合とな る画像を選択してサーバ 1 0 9 に送信するので、 ユーザが 翻訳したい文字列を含む画像のみに対する翻訳結果を得る ' ことができ、 かつデータ送信量とサーバ 1 0 9の処理量を 削減する効果が得られる。 実施例 3 .

上記実施例 1 と 2 の画像内文字列認識 · 翻訳サービスで は、 翻訳したい文字列を 1枚の画像内に含む必要がある。 しかし、 携帯端末 1 0 1 のカメラで撮像した画像は解像度 が低いため、 長い文字列や文章を 1枚の画像内に納めるこ とが困難である。 そのため翻訳可能な文字列の長さが制限 されることになる。 このような課題は、 携帯端末 1 0 1 か ら文字列や文章の断片を撮像した複数枚の画像をサーバ 1 0 9 に送信し、 サーバ 1 0 9側で、 これらの複数枚の画像 から 1枚の大きな合成画像を作成し、 この合成画像に含ま れる文字列を翻訳するようにすれば解決できる。 実施例 3 はこれを実現するものである。

以下、 この発明の実施例 3 について図 1 5、 図 1 6、 図 1 8および図 1 9 を用いて説明するが.、 図中、 実施例 1 と 2の各図と共通な部分は同一の符号を付し、 その説明を原 則的には省略する。 図 1 8はこの発明の実施例 3 による携 帯端末型翻訳システムの構成を示すブロック図で、 1 8 0 1 は画像統合部である。 図 1 9は画像統合部の動作例を説 明する説明図で、 1 9 0 1は合成画像、 1 9 0 2 は合成画 像に対応する前処理後画像、 1 9 0 3は抽出文字列、 1 9 0 4は文字列認識結果、 1 9 0 5は類似文字列である。 次に動作について説明する。

画像内文字列認識 · 翻訳サービスを実行する際、 まず携 帯端末 1 0 1では、 実施例 2 と同様に一定の時間間隔で画 像を取得し、 それら複数の画像を画像バッファ 1 0 6 に蓄 積する。 例えば、 図 1 5に示したようにカメラ視野の移動 軌跡 1 5 0 2に従ってカメラ視野 1 5 0 1 を移動させた場 合、 複数個の撮像画像 1 6 0 1が画像バッファ 1 0 6に蓄 積される。

次に、 処理指示部 1 0 4はサーバ 1 0 9で行う処理サー ビスの種類を指定する。 ここでは処理サービスの種類とし て画像内文字列認識 · 翻訳サービスを指定すると共に、 そ の実行条件として 「合成画像を作成する」 と指定する。 こ の指定は、 キー入力部 1 0 3から人間が行うか、 もしくは デフォルトの設定を用いて自動的に行う。 これにより、 デ 一夕送信部 1 0 2は、 画像バッファ 1 0 6に蓄積された複 数個の画像、 処理指示部 1 0 4で指定した処理サービスの 種類および実行条件、 さらに携帯端末 1 0 1 に関する関連 情報 （例えば、 機種コード等） をサーバ 1 0 9 に送信する。 サーバ 1 0 9では、 まずデータ受信部 1 1 0がデ一夕送 信部 1 0 2から送信されたデータを受信し、 処理制御部 1 1 2 は、 指定された処理サービスの種類に応じて以降の処 理内容を切り替える。 また、 画像内文字列認識 · 翻訳ザ一 ビスが指定されている場合、 画像統合部 1 8 0 1 も動作す る。 画像統合部 1 8 0 1 は、 指定した処理サ一ビスの実行 条件に 「合成画像を作成する」 との指定がある場合、 受信 された複数個の画像を合成して 1枚の合成画像を作成する。 例えば、 図 1 6 に示す複数個の撮像画像 1 6 0 1 を合成す ることで、 図 1 9 に示す合成画像 1 9 0 1 を得る。 このよ うに複数の断片的な画像から 1枚の大きな合成画像を作成 する処理は、 既に市販のディジタルカメラや画像処理ソフ トに搭載されており、 これらの方式を用いて実現すること ができる。

以降、 画像統合部 1 8 0 1で作成した合成画像を対象と して、 画像内文字列認識部 1 1 4が動作する。 この画像内 文字列認識部 1 1 4では実施例 1および 2 と同様な処理を 行う。 例えば図 1 9 に示すように、 合成画像 1 9 0 1から 前処理後画像 1 9 0 2 を作成し、 この前処理後画像 1 9 0 2から抽出文字列 1 9 0 3 を抽出する。 そして、 この抽出 文字列 1 9 0 3に対して複数個の文字列認識結果 1 9 0 4 と類似文字列 1 9 0 5 を得る。 次に、 画像内文字列翻訳部 1 1 5は、 実施例 1および 2 と同様に、 画像内文字列認識 部 1 1 4で得た複数個の内文字列認識結果と類似文字列に 対するそれぞれの文字列翻訳結果を生成する。

文字列翻訳結果が得られると、 画像内文字列翻訳結果生 成部 1 1 6は、 画像内文字列翻訳結果を作成する。 実施例 1お'よび 2では、 画像内文字列翻訳結果は、 図 7 に示した ように文字列位置座標、 文字列認識結果、 類似文字列およ び文字列翻訳結果を持つ。 この実施例 3では、 合成画像か ら抽出した抽出文字列も画像内文字列翻訳結果に追加する。 その後、 実施例 1および 2 と同様に、 画像内文字列翻訳結 果生成部 1 1 6で作成した画像内文字列翻訳結果を結果送 信部 1 1 1 により携帯端末 1 0 1 に送信する。

携帯端末 1 0 1では、 結果受信部 1 0 8が、 サーバ 1 0 9送信された画像内文字列翻訳結果を結果受信部 1 0 8で 受信し、 表示部 1 0 7 に与えて表示する。 この表示結果と しては、 図 8 に示したと同様に、 合成画像から抽出した認 識文字列画像 8 0 1 を表示し、 文字列認識結果、 類似文字 列および文字列翻訳結果を含む画像内文字列翻訳結果の画 像 8 0 2を表示する。

以上のように、 この実施例 3によれば、 携帯端末 1 0 1 から文字列や文章の断片を撮像した複数枚の画像をサーバ 1 0 9 に送信すると、 サーバ 1 0 9はこれらの画像を統合 して 1枚の大きな合成画像を作成し、 この合成画像に含ま れる文字列を認識して抽出し翻訳するようにしたので、 こ れによりカメラの視野に納まらない長い文字列や文章の内 容を翻訳できる効果が得られる。 実施例 4 .

上記実施例 1から 3 において、 サーバが持つ文字列認識 処理や翻訳処理は、 一般用語を対象としたものである。 し かし、 例えば海外のレス トランに入って郷土料理の名前を 翻訳したい場合、 あるいは海外の病院で診断書に記入され た病名を翻訳したい場合等では、 専門性の高い用語を翻訳 する必要がある。 このような場合は、 十分な文字認識性能 および翻訳性能を得ることが困難である。 この課題に対し ては、ュ一ザの指定や携帯端末の G P S ( G 1 o b a 1 P o s i t i o n i n g S y s t e m ) 機能から得られた ユーザの現在位置を基に、 文字認識処理や翻訳処理に用い る各種辞書を適切な専門用語辞書に置き換えて処理を行う ことで解決できる。実施例 4はこれを実現するものである。 以下、 実施例 4について図 2 0および図 2 1 を用いて説 明する。 図中、 実施例 1から 3 と共通な部分は同一の符号 を付し、 原則としてその説明を省略する。 図 2 0は実施例 4による携帯端末型翻訳システムの構成を示すブロック図 で、 2 0 0 1 は G P S部、 2 0 0 2は専用認識辞書、 2 0 0 3は専用言語辞書、 2 0 0 4は第 1専用翻訳辞書、 2 0 0 5は専用関連文辞書、 2 0 0 6 は第 2専用翻訳辞書、 2 0 0 7は地図データである。 図 2 1は認識条件指定の例を 示す説明図で、 2 1 1は選択画面である。

次に動作について説明するが、まず、画像内文字列認識 · 翻訳サービスを実行する場合について説明する。

こ こでは実施例 1から 3 と同様な処理により、 画像撮像 部 1 0 5が文字列を含む画像を撮像して撮像画像を画像バ ッファ 1 0 6 に蓄積する。 その後、 送信画像制御部 1 4 0 1 は、 画像バッファ 1 0 6 に蓄積された 1枚の画像を選択 する。 処理指示部 1 0 4はサーバ 1 0 9で行う処理サービ スの種類とその実行条件を指定する。 ここでは、 処理サ一 ビスの種類として画像内文字列認識 · 翻訳サ一ビスを指定 する。

また、 0 ? 3部 2 0 0 1 は、 G P S機能により人工衛星 の発信した電波から所持している携帯端末 1 0 1 の現在位 置を取得する。 データ送信部 1 0 2は、 送信画像制御部 1 4 0 1で選択した画像と、 処理指示部 1 0 4で指定した処 理サービスの種類および携帯端末 1 0 1 に関する情報をサ ーバ 1 0 9 に送信する。 ここで携帯端末 1 0 1 に関する情 報としては、 関連情報 （例、 機種コ一ド） と G P S部 2 0 0 1で取得した携帯端末 1 0 1 の現在位置とが含まれる。 サーバ 1 0 9では、 実施例 1から 3 と同様に、 データ送 信部 1 0 2で送信した撮像画像に含まれる文字列を翻訳し て、 その結果を携帯端末 1 0 1 に送信する。 ただしその際、 処理制御部 1 1 2は、 G P S部 2 0 0 1で取得した携帯端 末 1 0 1 の現在位置に基づいて地図データ 2 0 0 7の内容 を参照して、 携帯端末を所持するユーザが現在いる施設を 特定する。 そして、 画像内文字列認識 · 翻訳部 1 1 3で用 いる各種の辞書を、 特定された施設に対応する専用辞書に 置き換える。 具体的には、 図 1 に示された認識辞書 1 1 7 と言語辞書 1 1 8 と第 1翻訳辞書 1 2 4を、 専用認識辞書 2 0 0 2 と専用言語辞書 2 0 0 3 と第 1専用翻訳辞書 2 0 0 4にそれぞれ置き換える。

ここで、 地図データ 2 0 0 7 には各種施設の位置情報が 格納されており、 G P S部 2 0 0 1で取得した携帯端末 1 0 1の現在位置から、 ユーザがどの施設にいるかを知るこ とができる。 したがって、 処理制御部 1 1 2は、 その施設 に対応した専用辞書を選択する。 例えば、 ユーザがレス ト ランにいる場合は、 レス トランで使用される確率が高い郷 土料理のメニュー等を含んだ専用辞書を選択する。 以降、 画像内文字列認識 · 翻訳部 1 1 3では、 各専用辞書 2 0 0 2 , 2 0 0 3 , 2 0 0 4を用いて、 実施例 1から 3 と同様 な処理を行う。 そして、 処理した翻訳結果を携帯端末 1 0 1 に送り、 表示部 1 0 7で表示する。 以上が実施例 4にお ける画像内文字列認識 · 翻訳サービスの動作である。

次に、 テキス ト翻訳サ一ビスの動作を説明する。

まず実施例 1 と同様に、 ユーザがキー入力部 1 0 3 によ り翻訳するキ一ワードを入力し、 処理指示部 1 0 4はサー バ 1 0 9で行う処理サービスの種類としてテキス ト翻訳サ 一ビスを指定する。 データ送信部 1 0 2 は、 キー入力部 1 0 3で入力したキーワード、 処理指示部 1 0 4で指定した 処理サービスの種類および携帯端末 1 0 1 に関する情報 (機種コードと、 G P S部 2 0 0 1で取得したユーザの現 在位置） をサーバ 1 0 9 に送信する。

以降、 実施例 1 と同様な処理で翻訳処理を行い、 その結 果を携帯端末 1 0 1 の表示部 1 0 7 に表示する。 ただし、 処理制御部 1 1 2は、 デ一夕送信部 1 0 2で指定された処 理サービスの種類がテキス ト翻訳サービスである場合、 G P S部 2 0 0 1で取得した携帯端末 1 0 1の現在位置に基 づいて地図デ一夕 2 0 0 7の内容を参照し、 携帯端末 1 0 1 を所持するユーザが現在いる施設を特定する。 そして、 テキス ト翻訳部 1 1 9で用いる各種の辞書を特定された施 設に対応する専用辞書に置き換える。 具体的には、 図 1 に 示された関連文辞書 1 2 3 と第 2翻訳辞書 1 2 5 を、 専用 関連文辞書 2 0 0 5 と第 2専用翻訳辞書 2 0 0 6 にそれぞ れ置き換える。 以上が本実施例におけるテキス ト翻訳サ一 ビスの動作である。

なお、 上記の動作説明では、 処理制御部 1 1 2は G P S 部 2 0 0 1で得たユーザの現在位置と地図データ 2 0 0 7 に基づいて專用辞書の種類を選択するとしたが、 代り に携 帯端末 1 0 1から直接に専用辞書の種類を指定するように しても良い。 例えば、 処理指示部 1 0 4により、 表示部 1 0 7 に図 2 1 に示すような専用辞書の種類を表す選択画面 2 1 0 1 を表示し、 ユーザがその中から希望する専用辞書 の種類を指定できるようにする。 そして、 データ送信部 1 0 2がサーバ 1 0 9 に対して画像内文字列認識 · 翻訳サー ビスやテキス ト翻訳サ一ビスを依頼する際に、 処理指示部 1 0 4によりユーザが指定した専用辞書の種類を送信デ一 夕に付けてサーバ 1 0 9へ送信する。 これによ り、 処理制 御部 1 1 2は、 ユーザが指定した専用辞書を選択し画像内 文字列認識 · 翻訳部 1 1 3やテキス 卜翻訳部 1 1 9の処理 を実行するようにする。

以上のように、 この実施例 4によれば、 ユーザにより指 定するか、 あるいは G P S部 2 0 0 1で得た携帯端末 1 0 1 の現在位置とサーバ 1 0 9の持つ地図データ 2 0 0 7 に 基づいてユーザが現在いる施設を特定し、 サーバの文字列 認識処理や翻訳処理に用いる各種辞書を適切な専用辞書に 置き換えるようにしたので、 これにより翻訳結果の性能を 向上させる効果が得られる。 実施例 5 .

上記実施例 1から 4における画像内文字列認識 · 翻訳サ 一ビスでは、 携帯端末 1 0 1からサーバ 1 0 9 に対して画 像撮像部 1 0 5で撮像したカラ一画像もしくはグレースケ ール画像を送信した。 しかし、 カラー画像やダレ一スケ一 ル画像はデータ量が大きいため送信に時間を要する。 この 課題は、 データサイズを削減した画像を作成してサーバに 送信することで解決できる。 実施例 5 はこれを実現するも のである。

以下、 実施例 5 について図 2 2から図 2 4を用いて説明 する。 図中、 実施例 1から 4 と共通な部分は同一の符号を 付し、 原則としてその説明を省略する。 図 2 2は実施例 5 による携帯端末型翻訳システムの構成を示すブロック図で、 2 2 0 1 は画像前処理部である。 図 2 3は画像前処理部の 動作を説明する説明図で、 2 3 0 1 は撮像画像、 2 3 0 2 は前処理後画像である。 図 2 4は画像前処理部における画 像補正処理を説明する説明図で、 2 4 0 1 はノイズ、 2 4 0 2はノイズ除去後の前処理後画像、 2 4 0 3はノイズ除 去対象領域である。

次に動作について説明する。

まず、 実施例 1から 4 と同様に、 画像撮像部 1 0 5は文 字列を含む画像を撮像し、 画像バッファ 1 0 6は画像撮像 '部 1 0 5で撮像した画像を蓄積する。

次に、 画像前処理部 2 2 0 1 は、 画像バッファ 1 0 6に 蓄積された撮像画像に対して画像処理を行い、 画像のデ一 夕量を削減する。 この画像処理は、 サーバ 1 0 9の画像内 文字列認識部 1 1 4の処理手順に含まれる前処理 （図 3の ステップ S T 2 1 ) と同じである。 例えば、 図 2 3 に示す ように、 画像バッファ 1 0 6 に蓄積された画像 2 3 0 1 に 対して前処理を適用すると、 文字列部分を黒く背景部分を 白く した白黒の前処理後画像 2 3 0 2 を得る。 このような 色数が白黒の二色しかない二値化した画像は、 画像撮像部 1 0 5で撮像したカラ一画像やグレースケール画像に比べ てデータ量が小さい。 このようにデータ量を削減した前処 理後画像は再び画像バッファ 1 0 6 に蓄積される。

また、 画像撮像部 1 0 5で撮像した画像上にノィズが含 まれると、そのノイズが前処理後の画像に残る場合がある。 例えば図 2 4では、 ノイズ 2 4 0 1が前処理後画像 2 3 0 2上に黒く残っている。 このようなノイズ 2 4 0 1 は、 文 字認識処理における誤認識の原因となる。 そのため、 画像 前処理部 2 2 0 1 は、 前処理後画像からユーザがノイズを 削除できる機能を持つ。 例えば、 前処理後画像を表示部 1 0 7 に表示して、 ユーザはこれを目視でチェックする。 そ してノイズを発見した場合は、 図 2 4に示すようにノイズ 2 4 0 1 を囲む矩形のノイズ除去対象領域 2 4 0 3 を指定 する。 この指定はキー入力部 1 0 3を操作して行う。 矩形 のノイズ除去対象領域 2 4 0 3が指定されると、 画像前処 理部 2 2 0 1 はノイズ除去対象領域 2 4 0 3 内の黒画素を 白画素に変換し、 ノイズの無い前処理後画像 2 4 0 2 に編 集する。

その後、 携帯端末 1 0 1から画像内文字列認識 · 翻訳サ 一ビスをサーバ 1 0 9 に依頼する際は、 デ一タ送信部 1 0 2は画像バッファ 1 0 6 に蓄積された俞処理後画像をサー バ 1 0 9に送信する。 以降の処理は実施例 1から 4 と同じ である。 ただし、 実施例 1から 4ではサーバ 1 0 9で行つ ていた前処理を既に携帯端末 1 0 1で行っているため、 こ の実施例 5のサーバ 1 0 9では前処理をスキップする。 サ —バ 1 0 9は、 この前処理後画 を受信して、 含まれる文 字列を認識し、 その翻訳結果を得て携帯端末 1 0 1 に送信 する。 以上が実施例 5の動作である。

以上のように、 この実施例 5 によれば、 携帯端末 1 0 1 の画像前処理部 2 2 0 1 で前処理を行い、 カラ一画像ある いはグレースケール画像から文字列と背景を分離するよう に二値化した前処理後画像を作成しサ一パ 1 0 9 に送信し、 前処理後画像に含まれる文字列を翻訳するようにしたので、 データ量を削減でき、 カラ一画像やグレースケール画像に 起因する送信時間を削減すると共に、 サーバ 1 0 9での処 理時間の短縮化が図れる効果が得られる。 また前処理後画 像にノイズが含まれる場合には、 ノイズを除去した前処理 後画像を得るようにしたので、 サーバ 1 0 9側の文字認識 処理時における誤認識を引き起こす原因を取り除く ことが できる効果が得られる。 く 各実施例について説明してきたが、 これらの例は、 画像 撮像部で撮像した画像に含まれる文字列に対する翻訳処理 と、 キー入力部で入力したキーワードについて関連文生成 してその関連文に対する翻訳処理とを共に持つ構成につい てであった。 これらの翻訳処理はシステムとして別々に成 り立つものである。 また、 サーバ側が両方の処理ができる 構成を備えているが、 携帯端末側がいずれか一方の処理だ けを行うデータを送る構成となる場合もある。 ただし、 そ の場合には、 処理指示部や処理制御部等の機能は若干変更 されることになる。 産業上の利用の可能性

本発明は上記のように構成されているので、 携帯端末と この携帯端末とデータ交換を行うサーバとからなり、 携帯 端末は、 画像撮像部と、 この画像撮像部により撮像した画 像を蓄積する画像バッファと、 キーワードを入力するキ一 入力部と、 サーバへ依頼する処理サービスの種類を指定す る処理指示部と、 画像バッファに蓄積された画像あるいは キー入力部により入力されたキーワード、 指定された処理 サービスの種類および携帯端末の関連情報からなるデ一夕 をサーバに送信するデータ送信部と、 サーバにおいて翻訳 処理された翻訳結果を受信する結果受信部と、 受信した翻. 訳結果を表示する表示部とを備え、 サーバは、 携帯端末か ら送信されたデータを受信するデータ受信部と、 受信した 画像に含まれる 1個の文字列に対して複数個の文字列を抽 出し、 抽出した複数個の文字列を翻訳してそれぞれの翻訳 結果を生成する画像内文字列認識 · 翻訳部と、 受信したキ 一ワー ドに対する関連文を生成し、 生成された関連文を翻 訳して翻訳結果を生成するテキス ト翻訳部と、 受信したデ 一夕に含まれる指定された処理サ一ビスの種類に従って画 像内文字列認識 · 翻訳部で処理するか、 あるいはテキス ト 翻訳部で処理するかを切り替え制御する処理制御部と、 画 像内文字列認識 · 翻訳部またはテキス ト翻訳部で生成され た翻訳結果を関連情報に基づいて携帯端末に送信する結果 送信部とを備えるように構成したので、 画像内文字列に対 する翻訳と入力したテキス 卜に対する翻訳の両方に対応で きるシステムを実現する効果がある。 また、 画像内文字列 認識 · 翻訳の処理においては、 文字認識が困難で解像度が 低い品質の悪い画像内の文字や飾り文字に対して、 複数個 の文字列を抽出することで翻訳を行うので、 正解率の高い 翻訳結果が得られる効果があり、 さらに、 テキス ト翻訳の 処理においては、 キーワード入力のため、 翻訳したい全て のテキス トを入力する必要がなく、 テキス ト入力の手間を 削減できる効果がある。

また本発明は上記のように構成されているので、 携帯端 末とこの携帯端末とデータ交換を行うサーバとからなり、 携帯端末は、 画像撮像部と、 この画像撮像部により撮像し た画像を蓄積する画像バッファと、 サーバへ依頼する処理 サービスを指示する処理指示部と、 画像バッファに蓄積さ れた画像、 処理サービスの指示および携帯端末の関連情報 からなるデータをサーバに送信するデ一夕送信部と、 サー バにおいて翻訳処理された翻訳結果を受信する結果受信部 と、 受信した翻訳結果を表示する表示部とを備え、 サーバ は、 携帯端末から送信されたデ一夕を受信するデ一夕受信 部と、 受信した画像に含まれる 1個の文字列に対して複数 個の文字列を抽出し、 抽出した複数個の文字列を翻訳して それぞれの翻訳結果を生成する画像内文字列認識 · 翻訳部 と、 受信したデ一夕に含まれる処理サービスの指示に従つ て画像内文字列認識 · 翻訳部を動作させる処理制御部と、 生成された翻訳結果を関連情報に基づいて携帯端末に送信 する結果送信部とを備えるように構成したので、 文字認識 が困難で解像度が低い品質の悪い画像内の文字や飾り文字 に対しても正解率の高い翻訳結果を得ることができる効果 がある。

また本発明は上記のように構成されているので、 携帯端 末とこの携帯端末とデータ交換を行うサーバとからなり、 携帯端末は、 キーワー ドを入力するキー入力部と、 サーバ へ依頼する処理サ一ビスを指示する処理指示部と、 キー入 力部により入力されたキーワード、 処理サ一ビスの指示お よび携帯端末の関連情報からなるデ一夕をサーバに送信す るデータ送信部と、 サーバにおいて翻訳処理された翻訳結 果を受信する結果受信部と、 受信した翻訳結果を表示する 表示部とを備え、 サーバは、 携帯端末から送信されたデ一 夕を受信するデータ受信部と、 受信したデータに含まれる キーワードに対する関連文を生成し、 生成された関連文を 翻訳して翻訳結果を生成するテキス ト翻訳部と、 受信した デ一夕に含まれる処理サ一ビスの指示に従ってテキス ト翻 訳部を動作させる処理制御部と、 生成された翻訳結果を関 連情報に基づいて携帯端末に送信する結果送信部とを備え るように構成したので、 キーワード入力のため、 翻訳した い全てのテキス トを入力する必要がなく、 面倒なテキス ト 入力の手間を削減できる効果がある。

また本発明は上記のように構成されているので、 サーバ の画像内文字列認識 · 翻訳部が、 処理時のパラメータを変 えるなどして異なる複数の条件で画像内の 1個の文字列を 認識することにより複数個の文字列認識結果を生成する画 像内文字列認識部と、 生成した複数個の文字列認識結果を それぞれ翻訳した複数個の翻訳結果を生成する画像内文字 列翻訳部とを有するように構成したので、 文字認識が困難 で解像度が低い品質の悪い画像内の文字や飾り文字に対し ても正解率の高い翻訳結果を得ることができる効果がある。

また本発明は上記のように構成されているので、 サーバ の画像内文字列認識 · 翻訳部が、 処理時のパラメータを変 えるなどして異なる複数の条件で画像内の 1個の文字列を 認識することにより複数個の文字列認識結果を生成すると 共に、 言語辞書を用いて複数個の文字列認識結果に対して スペリングが類似する類似文字列を生成する画像内文字列 認識部と、 生成した文字列認識結果と類似文字列のそれぞ れを翻訳することにより複数個の翻訳結果を生成する画像 内文字列翻訳部とを有するように構成したので、 認識が困 難で解像度が低い品質の悪い画像内の文字や飾り文字に対 しても正解率の極めて高い翻訳結果を得ることができる効 果がある。

また本発明は上記のように構成されているので、 サーバ のテキス ト翻訳部が、 受信したキーワードに基づいて関連 文辞書を参照してキーワー ドに関連性の高い複数個の文章 を生成する関連文生成部と、 生成された複数個の文章を翻 訳することにより翻訳結果を生成する関連文翻訳部とを有 するように構成したので、 キーワード入力のため、 翻訳し たい全てのテキス トを入力する必要がなく、 面倒なテキス ト入力の手間を削減できると共に、 正解率の高い要求する 文章の翻訳結果を得ることができる効果がある。

また本発明は上記のように構成されているので、 携帯端 末は、 画像撮像部により一定の時間間隔で連続的に撮像さ れ画像バッファに蓄積した各画像を順次選択してデータ送 信部に出力す'る送信画像制御部を備え、 サーバが、 受信し た各画像に含まれる文字列の各翻訳結果を順次生成して携 帯端末に送信し、 携帯端末の表示部が、 各翻訳結果を受信 する都度表示するように構成したので、 一度に多数の文字 列を翻訳する場合、 ユーザは翻訳したい文字列上にカメラ の視野を移動させてシャッターを押す作業を何度も繰り返 す必要もなくユーザの手間を削減すると共に、 半リアル夕 ィムに翻訳結果が得られる効果がある。

また本発明は上記のように構成されているので、 携帯端 末の送信制御部が、 画像バッファから順次読み出す画像に ついて、 新しく撮像された画像とその一つ前に撮像された 画像との差を比較し、 その差が閾値以下となった場合に新 しく撮像された画像を選択してデータ送信部に出力するよ うに構成したので、 連続的な複数の画像からユーザが翻訳 したい文字列を含む画像のみに対する翻訳結果を得ること ができ、 またデータ送信量とサーバの処理量を削減する効 果がある。

また本発明は上記のように構成されているので、 サーバ は、 連続的に受信された複数個の画像を合成して 1枚の合 成画像を作成する画像統合部を備え、 画像内文字列認識 · 翻訳部が、 作成された合成画像に含まれる文字列に対する 翻訳結果を生成するように構成したので、 カメラの視野に 納まらない長い文字列や文章の内容を翻訳できる効果があ る。

また本発明は上記のように構成されているので、 携帯端 末は、 当該携帯端末の現在位置を取得してサーバに送信す るデ一夕に加える G P S部を備え、 サーバは、 各施設の位 置を格納した地図データを備え、 サーバの処理制御部が、 受信した現在位置に基づいて地図データを参照することに より当該携帯端末を所持するユーザが現在いる施設を特定 し、 当該サーバ内で用いる各種の辞書を特定された施設に 対応する専用辞書に置き換えるように構成したので、 ユー ザが意識することなく適切な辞書に切り換えて翻訳を行う ことにより翻訳結果の性能を向上させる効果がある。

また本発明は上記のように構成されているので、 携帯端 末の処理指示部が、 ユーザにより専用辞書の種類を指定で きるように構成し、 指定された専用辞書の種類をサーバに 送信するデータに加え、 サーバの処理制御部が、 受信した 専用辞書の種類に基づいて当該サーバ内で用いる各種の辞 書を指定された専用辞書に置き換えるように構成したので、 ユーザの要求に応じた翻訳に対応でき、 翻訳結果の性能を 向上させる効果がある。

また本発明は上記のように構成されているので、 携帯端 末は、 画像バッファに蓄積されたカラー画像あるいはダレ 一スケール画像から文字列と背景を分離するように二値化 した前処理後画像を作成し画像バッファに蓄積する画像前 処理部を備え、 前処理後画像をサーバに送信して翻訳結果 を得るように構成したので、 データ量を削減でき、 カラ一 画像やグレースケール画像に起因する送信時間を削減する と共に、サーバでの処理時間の短縮化が図れる効果がある。

また本発明は上記のように構成されているので、 携帯端 末が、 前処理後画像にノィズが含まれる場合にはキー入力 により ノイズを囲むノイズ除去対象領域を指定できるよう に構成され、 画像前処理部が、 ノイズ除去対象領域内の黒 画素を白画素に変換して前処理後画像を編集するように構 成したので、 サーバ側の文字認識処理時における誤認識を 引き起こす原因を取り除く ことができる効果がある。

また本発明は上記のように構成されているので、 翻訳処 理を行うサーバとデータ交換を行う携帯端末であって、 画 像撮像部と、 この画像撮像部により撮像した画像を蓄積す る画像バッファと、 キ一ワードを入力するキー入力部と、 サーバへ依頼する処理サービスの種類を指定する処理指示 部と、 画像バッファに蓄積された画像あるいは入力された キーワード、 指定した処理サービスの種類および携帯端末 の関連情報からなるデータをサーバに送信するデ一夕送信 部と、 サーバにおいて認識された認識文字列および翻訳処 理された翻訳結果を受信する結果受信部と、 受信した翻訳 結果を表示する表示部とを備えるように構成したので、 サ ーバ側における画像内文字列に対する翻訳と入力したテキ ス トに対する翻訳の両方のサービスに対応できる携帯端末 を実現する効果がある。

また本発明は上記のように構成されているので、 翻訳処 理を行うサーバとデータ交換を行う携帯端末であって、 画 像撮像部と、 この画像撮像部により撮像した画像を蓄積す る画像バッファと、 サーバへ依頼する処理サービスを指示 する処理指示部と、 画像バッファに蓄積された画像、 処理 サービスの指示および携帯端末の関連情報からなるデ一夕 をサーバに送信するデ一夕送信部と、 サーバにおいて認識 された認識文字列および翻訳処理された翻訳結果を受信す る結果受信部と、 受信した翻訳結果を表示する表示部とを 備えるように構成したので、 サ一バ側における画像内文字 列に対する翻訳を要求し、 その翻訳結果を受信表示できる 携帯端末を実現する効果がある。

また本発明は上記のように構成されているので、 翻訳処 理を行うサーバとデータ交換を行う携帯端末であって、 キ —ワードを入力するキー入力部と、 サーバへ依頼する処理 サービスを指示する処理指示部と、入力されたキーワー ド、 処理サービスの指示および携帯端末の関連情報からなるデ 一夕をサーバに送信するデ一夕送信部と、 サーバにおいて 翻訳処理された翻訳結果を受信する結果受信部と、 受信し た翻訳結果を表示する表示部とを備えるように構成したの で、 翻訳したい全てのテキス トの入力を要しない入力キ一 ワードに関連する翻訳サービスに対応できる携帯端末を実 現する効果がある。

また本発明は上記のように構成されているので、 画像撮 像部により一定の時間間隔で連続的に撮像され画像バッフ ァに蓄積した各画像を順次選択してデータ送信部に出力す る送信画像制御部を備え、 表示部が、 サーバから順次受信 する各画像に含まれる文字列の各翻訳結果を逐次表示する ように構成したので、一度に多数の文字列を翻訳する場合、 ユーザは翻訳したい文字列上にカメラの視野を移動させて シャツ夕一を押す作業を何度も繰り返す必要もなくユーザ の手間を削減すると共に、 半リアルタイムに翻訳結果が得 られる携帯端末を実現する効果がある。

また本発明は上記のように構成されているので、 送信制 御部が、 画像バッファから順次読み出す画像について、 新 しく撮像された画像とその一つ前に撮像された画像との差 を比較し、 その差が閾値以下となった場合に新しく撮像さ れた画像を選択してデ一夕送信部に出力するように構成し たので、 連続的な複数の画像からユーザが翻訳したい文字 列を含む画像のみに対する翻訳結果を得ることができ、 ま たデータ送信量とサーバの処理量を削減する携帯端末を実 現する効果がある。

また本発明は上記のように構成されているので、 G P S 機能により当該携帯端末の現在位置を取得してサーバに送 信するデータに加える G P S部を備えるように構成したの で、 ユーザが意識することなくサーバ側で適切な辞書によ り翻訳を行う場合に適した携帯端末を実現する効果がある。 また本発明は上記のように構成されているので、 サーバ 内で使用する専用辞書の種類をユーザにより指定できるよ うにし、 指定された専用辞書の種類をサーバに送信するデ —夕に加えるように構成したので、 サーバ側でユーザの要 求に応じた適切な辞書により翻訳を行う場合に適した携帯 端末を実現する効果がある。

また本発明.は上記のように構成されているので、 画像バ ッファに蓄積されたカラ一画像あるいはダレ一スケール画 像から文字列と背景を分離するように二値化した前処理後 画像を作成し画像バッファに蓄積する画像前処理部を備え、 画像バッファから読み出した前処理後画像をザ一バに送信 して翻訳結果を得るように構成したので、 デ一夕量を削減 でき、 カラ一画像やグレースケール画像に起因する送信時 間を削減すると共に、 サーバでの処理時間の短縮化が図れ る携帯端末を実現する効果がある。

また本発明は上記のように構成されているので、 前処理 後画像にノイズが含まれる場合にはキー入力によりノィズ を囲むノイズ除去対象領域を指定できるようにし、 画像前 処理部が、 ノイズ除去対象領域内の黒画素を白画素に変換 して前処理後画像を編集するように構成したので、 サーバ 側の文字認識処理時における誤認識を引き起こす原因を取 り除く携帯端末を実現する効果がある。 また本発明は上記のように構成されているので、 携帯端 末とデ一夕交換を行うサーバであって、 携帯端末から送信 された画像あるいはキー入力されたキーワード、 指定され た処理サービスの種類および携帯端末の関連情報からなる データを受信するデータ受信部と、 受信した画像に含まれ る 1個の文字列に対して複数個の文字列を抽出し、 抽出し た複数個の文字列を翻訳してそれぞれの翻訳結果を生成す る画像内文字列認識 · 翻訳部と、 キーワードに対する関連 文を生成し、 生成した関連文を翻訳して翻訳結果を生成す るテキス 卜翻訳部と、 指定された処理サービスの種類に従 つて画像内文字列認識 · 翻訳部で処理するか、 あるいはテ キス ト翻訳部で処理するかを切り替え制御する処理制御部 と、 画像内文字列認識 · 翻訳部あるいはテキス ト翻訳部で 生成した翻訳結果を関連情報に基づいて携帯端末に送信す る結果送信部とを備えるように構成したので、 画像内文字 列に対する翻訳と入力したテキス トに対する翻訳の両方に 対応できるサーバを実現する効果がある。 また、 画像内文 字列認識 · 翻訳の処理においては、 文字認識が困難で解像 度が低い品質の悪い画像内の文字や飾り文字に対して、 複 数個の文字列を抽出することで翻訳を行うので、 正解率の 高い翻訳結果が得られる効果があり、 さらに、 テキス ト翻 訳の処理においては、 受信したキーワードから関連文を生 成するため、 翻訳したい全てのテキス トを取得する必要が なく、 ユーザが要求する翻訳結果を得ることができ、 かつ 携帯端末側での入力時のユーザの負担を軽減できる効果が ある。 また本発明は上記のように構成されているので、 携帯端 末とデータ交換を行うサーバであって、 携帯端末から送信 された画像、 処理サービスの指示および携帯端末の関連情 報からなるデ一夕を受信するデータ受信部と、 受信した画 像に含まれる 1個の文字列に対して複数個の文字列を抽出 し、 抽出した複数個の文字列を翻訳してそれぞれの翻訳結 果を生成する画像内文字列認識 · '翻訳部と、 受信したデー 夕に含まれる処理サービスの指示に従って画像内文字列認 識*翻訳部を動作させる処理制御部と、画像内文字列認識 - 翻訳部あるいはテキス 卜翻訳部で生成した翻訳結果を関連 情報に基づいて携帯端末に送信する結果送信部とを備える ように構成したので、 文字認識が困難で解像度が低い品質 の悪い画像内の文字や飾り文字に対しても正解率の高い翻 訳結果を得るサーバを実現する効果がある。

また本発明は上記のように構成されているので、 携帯端 末とデータ交換を行うサーバであって、 キー入力されたキ —ワード、 処理サービスの指示および携帯端末の関連情報 からなるデータを受信するデ一夕受信部と、 キーワードに 対する関連文を生成し、 生成した関連文を翻訳して翻訳結 果を生成するテキス ト翻訳部と、 受信したデータに含まれ る処理サービスの指示に従ってテキス 卜翻訳部を動作させ る処理制御部と、 テキス 卜翻訳部で生成した翻訳結果を関 連情報に基づいて携帯端末に送信する結果送信部とを備え るように構成したので、 受信したキ一ワードから関連文を 生成するため、 翻訳したい全てのテキス トを受信しなくて も、 ユーザが要求する翻訳結果を得るサーバを実現し、 ま た携帯端末側での入力時のユーザの負担を軽減できる効果 がある。

また本発明は上記のように構成されているので、 画像内 文字列認識 · 翻訳部が、 処理時のパラメ一夕を変えるなど して異なる複数の条件で画像内の 1個の文字列を認識する ことにより複数個の文字列認識結果を生成する画像内文字 列認識部と、 生成した複数個の文字列認識結果をそれぞれ 翻訳した複数個の翻訳結果を生成する画像内文字列翻訳部 とを有するように構成したので、 文字認識が困難で解像度 が低い品質の悪い画像内の文字や飾り文字に対しても正解 率の高い翻訳結果を得るサーバを実現する効果がある。

また本発明は上記のように構成されているので、 画像内 文字列認識 · 翻訳部が、 処理時のパラメ一夕を変えるなど して異なる複数の条件で画像内の 1個の文字列を認識する ことにより複数個の文字列認識結果を生成すると共に、 言 語辞書を用いて複数個の文字列認識結果に対してスペリ ン グが類似する類似文字列を生成する画像内文字列認識部と、 生成した文字列認識結果と類似文字列のそれぞれを翻訳す ることにより複数個の翻訳結果を生成する画像内文字列翻 訳部とを有するように構成したので、 認識が困難で解像度 が低い品質の悪い画像内の文字や飾り文字に対しても正解 率の極めて高い翻訳結果を得るサーバを実現する効果があ る。

また本発明は上記のように構成されているので、 テキス ト翻訳部が、 キー入力部で入力したキーワードに基づいて 関連文辞書を参照してキーワードに関連性の高い複数個の 文章を生成する関連文生成部と、 生成された複数個の文章 を翻訳することにより翻訳結果を生成する関連文翻訳部と を有するように構成したので、 受信したキ一ワー ドから複 数個の関連文を生成するため、 翻訳したい全てのテキス ト を受信しなくてもユーザが要求に対して極めて正解率の高 い翻訳結果を得るサーバを実現し、 また携帯端末側での入 力時のユーザの負担を軽減できる効果がある。

また本発明は上記のように構成されているので、 連続的 に受信された複数個の画像を合成して 1枚の合成画像を作 成する画像統合部を備え、 画像内文字列認識 · 翻訳部が、 作成された合成画像に含まれる文字列に対する翻訳結果を 生成するように構成したので、 カメラの視野に納まらない 長い文字列や文章の内容を翻訳できるサーバを実現する効 果がある。

また本発明は上記のように構成されているので、 各施設 の位置を格納した地図データを備え、 処理制御部が、 受信 したデータに含まれる携帯端末の現在位置に基づいて地図 データを参照することにより当該携帯端末を所持するユー ザが現在いる施設を特定し、 当該サーバ内で用いる各種の 辞書を特定された施設に対応する専用辞書に置き換えるよ うに構成したので、 ユーザが意識することなく適切な辞書 に切り換えて翻訳を行う ことにより翻訳結果の性能を向上 させるサーバを実現する効果がある。

また本発明は上記のように構成されているので、 処理制 御部が、 受信したデ一夕に含まれる指定された専用辞書の 種類に基づいて当該サーバ内で用いる各種の辞書を指定さ れた専用辞書に置き換えるように構成したので、 ユーザの 要求に応じた翻訳に対応でき、 翻訳結果の性能を向上させ るサーバを実現する効果がある。

Claims

請 求 の 範 囲

1 . 携帯端末とこの携帯端末とデータ交換を行うサーバ とからなる携帯端末型画像処理システムであって、

前記携帯端末は、

画像撮像部と、

この画像撮像部により撮像した画像を蓄積する画像バッ ファと、

キーワードを入力するキー入力部と、 前記サーバへ依頼する処理サ一ビスの種類を指定する処 理指示部と、

前記画像バッファに蓄積された画像あるいは前記キ一入 力部により入力されたキーワード、 指定された処理サービ スの種類および前記携帯端末の関連情^からなるデ一夕を 前記サーバに送信するデータ送信部と、

前記サーバにおいて翻訳処理された翻訳結果を受信する 結果受信部と、

受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、

前記携帯端末から送信されたデータを受信するデータ受 信部と、

受信した前記画像に含まれる 1個の文字列に対して複数 個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳 してそれぞれの翻訳結果を生成する画像内文字列認識 · 翻 訳部と、

受信した前記キーワードに対する関連文を生成し、 生成 された前記関連文を翻訳して翻訳結果を生成するテキス ト 翻訳部と、

受信したデ一夕に含まれる前記指定された処理サービス の種類に従って前記画像内文字列認識 · 翻訳部で処理する か、 あるいは前記テキス ト翻訳部で処理するかを切り替え 制御する処理制御部と、

前記画像内文字列認識 · 翻訳部または前記テキス ト翻訳 部で生成された翻訳結果を前記関連情報に基づいて前記携 帯端末に送信する結果送信部とを備えたことを特徴とする . 携帯端末型画像処理システム。

2 . 携帯端末とこの携帯端末とデータ交換を行うサーバ とからなる携帯端末型画像処理システムであって、

前記携帯端末は、

画像撮像部と、

この画像撮像部により撮像した画像を蓄積する画像バッ ファと、

前記サーバへ依頼する処理サービスを指示する処理指示 部と、

前記画像バッファに蓄積された画像、 前記処理サービス の指示および前記携帯端末の関連情報からなるデータを前 記サーバに送信するデータ送信部と、

前記サーバにおいて翻訳処理された翻訳結果を受信する 結果受信部と、

受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、

前記携帯端末から送信されたデ一夕を受信するデータ受 信部と、

受信した前記画像に含まれる 1個の文字列に対して複数 個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳 してそれぞれの翻訳結果を生成する画像内文字列認識 · 翻 訳部と、

受信したデータに含まれる前記処理サービスの指示に従 つて前記画像内文字列認識 · 翻訳部を動作させる処理制御 部と、

生成された前記翻訳結果を前記関連情報に基づいて前記 携帯端末に送信する結果送信部とを備えたことを特徴とす る携帯端末型画像処理システム。

3 . 携帯端末とこの携帯端末とデータ交換を行うサーバ とからなる携帯端末型画像処理システムであって、

前記携帯端末は、

キ一ワードを入力するキー入力部と、

前記サーバへ依頼する処理サービスを指示する処理指示 部と、

前記キー入力部により入力されたキーワー ド、 前記処理 サービスの指示および前記携帯端末の関連情報からなるデ —夕を前記サーバに送信するデータ送信部と、

前記サーバにおいて翻訳処理された翻訳結果を受信する 結果受信部と、

受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、

前記携帯端末から送信されたデータを受信するデータ受 信部と、 受信したデータに含まれる前記キーワードに対する関連 文を生成し、 生成された前記関連文を翻訳して前記翻訳 果を生成するテキス ト翻訳部と、

受信したデータに含まれる前記処理サービスの指示に従つ て前記テキス ト翻訳部を動作させる処理制御部と、

生成された前記翻訳結果を前記関連情報に基づいて前記 携帯端末に送信する結果送信部とを備えたことを特徴とす る携帯端末型画像処理システム。

4 . サーバの画像内文字列認識 · 翻訳部が、

異なる複数の条件で画像内の 1個の文字列を認識するこ とによ り複数個の文字列認識結果を生成する画像内文字列 認識部と、 .

生成した前記複数個の文字列認識結果をそれぞれ翻訳し た複数個の翻訳結果を生成する画像内文字列翻訳部とを有 したことを特徴とする請求の範囲第 1項または請求の範囲 第 2記載の携帯端末型画像処理システム。

5 . サーバの画像内文字列認識 · 翻訳部が、

異なる複数の条件で画像内の 1個の文字列を認識するこ とにより複数個の文字列認識結果を生成すると共に、 言語 辞書を用いて前記複数個の文字列認識結果に対してスペリ ングが類似する類似文字列を生成する画像内文字列認識部 と、

生成した前記文字列認識結果と前記類似文字列のそれぞ れを翻訳することにより複数個の翻訳結果を生成する画像 内文字列翻訳部とを有したことを特徴とする請求の範囲第 1項または請求の範囲第 2項記載の携帯端末型画像処理シ ステム。

6 . サーバのテキス 卜翻訳部が、

受信したキーワー ドに基づいて関連文辞書を参照して前 記キーワードに関連性の高い複数個の文章を生成する関連 文生成部と、

生成された前記複数個の文章を翻訳することにより翻訳 結果を生成する関連文翻訳部とを有したことを特徴とする 請求の範囲第 1項または請求の範囲第 3項記載の携帯端末 型画像処理システム。

7 . 携帯端末は、 画像撮像部により一定の時間間隔で連 続的に撮像され画像バッファに蓄積した各画像を順次選択 してデ一夕送信部に出力する送信画像制御部を備え、 サーバが、 受信した前記各画像に含まれる文字列の各翻 訳結果を順次生成して前記携帯端末に送信し、

前記携帯端末の表示部が、 前記各翻訳結果を受信する都 度表示するようにしたことを特徴とする請求の範囲第 1項 または請求の範囲第 2項記載の携帯端末型画像処理システ ム。

8 . 携帯端末の送信制御部が、 画像バッファから順次読 み出す画像について、 新しく撮像された画像とその一つ前 に撮像された画像との差を比較し、 その差が閾値以下とな つた場合に前記新しく撮像された画像を選択してデ一夕送 信部に出力するようにしたことを特徴とする請求の範囲第 7項記載の携帯端末型画像処理システム。

9 - サ一パは、 連続的に受信された複数個の画像を合成 して 1枚の合成画像を作成する画像統合部を備え、 画像内文字列認識 · 翻訳部が、 作成された前記合成画像 に含まれる文字列に対する翻訳結果を生成するようにした ことを特徴とする請求の範囲第 7項または請求の範囲第 8 項記載の携帯端末型画像処理システム。

1 0 . 携帯端末は、 当該携帯端末の現在位置を取得して サーバに送信するデータに加える G P S部を備え、

前記サーバは、 各施設の位置を格納した地図デ一夕を備 え、

前記サーバの処理制御部が、 受信した前記現在位置に基 づいて前記地.図データを参照することにより当該携帯端末 を所持するユーザが現在いる施設を特定し、 当該サーバ内 で用いる各種の辞書を特定された前記施設に対応する専用 辞書に置き換えるようにしたことを特徴とする請求の範囲 第 1項から請求の範囲第 9項のうちのいずれか 1項記載の 携帯端末型画像処理システム。

1 1 . 携帯端末の処理指示部が、 ユーザにより専用辞書 の種類を指定できるよう に構成し、 指定された前記専用辞 書の種類をサーバに送信するデータに加え、

前記サーバの処理制御部が、 受信した前記専用辞書の種 類に基づいて当該サーバ内で用いる各種の辞書を指定され た専用辞書に置き換えるようにしたことを特徴とする請求 の範囲第 1項から請求の範囲第 9項のうちのいずれか 1項 記載の携帯端末型画像処理システム。

1 2 . 携帯端末は、 画像バッファに蓄積されたカラー画 像あるいはグレースケール画像から文字列と背景を分離す るように二値化した前処理後画像を作成し前記画像バッフ ァに蓄積する画像前処理部を備え、 前記前処理後画像をサ ーバに送信して翻訳結果を得るようにしたことを特徴とす る請求の範囲第 1項、 請求の範囲第 3項から請求の範囲第 5項、 請求の範囲第 7項から請求の範囲第 1 1項のうちの いずれか 1項記載の携帯端末型画像処理システム。

1 3 . 携帯端末が、 前処理後画像にノイズが含まれる場 合にはキー入力により前記ノイズを囲むノイズ除去対象領 . 域を指定できるように構成され、

画像前処理部が、 前記ノイズ除去対象領域内の黒画素を 白画素に変換して前処理後画像を編集するようにしたこと を特徴とする請求の範囲第 1 2項記載の携帯端末型画像処 理システム。

1 4 . 翻訳処理を行うサーバとデータ交換を行う携帯端 末であって、

画像撮像部と、

この画像撮像部により撮像した画像を蓄積する画像バッ ファと、

キーワードを入力するキー入力部と、

前記サーバへ依頼する処理サービスの種類を指定する処 理指示部と、

前記画像バッファに蓄積された画像あるいは入力された キーワード、 指定した前記処理サービスの種類および前記 携帯端末の関連情報からなるデ一夕を前記サーバに送信す るデータ送信部と、

前記サ一バにおいて認識された認識文字列および翻訳処 理された翻訳結果を受信する結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたこと を特徴とする携帯端末。

1 5 . 翻訳処理を行うサーバとデータ交換を行う携帯端 末であつて、

画像撮像部と、

この画像撮像部により撮像した画像を蓄積する画像バッ ファと、

前記サーバへ依頼する処理サービスを指示する処理指示 部と、

前記画像バッファに蓄積された画像、 前記処理サービス の指示および前記携帯端末の関連情報からなるデータを前 記サーバに送信するデータ送信部と、

前記サーバにおいて認識された認識文字列および翻訳処 理された翻訳結果を受信する結果受信部と、

受信した前記翻訳結果を表示する表示部とを備えたこと を特徴とする携帯端末。

1 6 . 翻訳処理を行うサーバとデータ交換を行う携帯端 末であって、

キ一ワー ドを入力'するキ一入力部と、

前記サーバへ依頼する処理サービスを指示する処理指示 部と、

入力されたキーワード、 前記処理サービスの指示および 前記携帯端末の関連情報からなるデータを前記サーバに送 信するデータ送信部と、

前記サーバにおいて翻訳処理された翻訳結果を受信する 結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたこと を特徴とする携帯端末。

1 7 . 画像撮像部により一定の時間間隔で連続的に撮像 され画像バッファに蓄積した各画像を順次選択してデータ 送信部に出力する送信画像制御部を備え、

表示部が、 サーバから順次受信する前記各画像に含まれ る文字列の各翻訳結果を逐次表示するようにしたことを特 徵とする請求の範囲第 1 4項または請求の範囲第 1 5項記 載の携帯端末。 ' 1 8 . 送信制御部が、 画像バッファから順次読み出す画 像について、 新しく撮像された画像とその一つ前に撮像さ れた画像との差を比較し、 その差が閾値以下となった場合 に前記新しく撮像された画像を選択してデータ送信部に出 力するようにしたことを特徴とする請求の範囲第 1 7項記 載の携帯端末。

1 9 . G P S機能により当該携帯端末の現在位置を取得 してサーバに送信するデータに加える G P S部を備えたこ とを特徴とする請求の範囲第 1 4項から請求の範囲第 1 8 項のうちのいずれか 1項記載の携帯端末。

2 0 . 処理指示部が、 サーバ内で使用する専用辞書の種 類をユーザにより指定できるように構成し、 指定された前 記専用辞書の種類をサーバに送信するデータに加えるよう にしたことを特徴とする請求の範囲第 1 4項から請求の範 囲第 1 8項のうちのいずれか 1項記載の携帯端末。

2 1 . 画像バッファに蓄積されたカラー画像あるいはグ レースケール画像から文字列と背景を分離するように二値 化した前処理後画像を作成し前記画像バッファに蓄積する 画像前処理部を備え、 前記画像バッファから読み出した前 記前処理後画像をサーバに送信して翻訳結果を得るように したことを特徴とする請求の範囲第 1 4項、 請求の範囲第 1 5項および請求の範囲第 1 7項から請求の範囲第 2 0項 のうちのいずれか 1項記載の携帯端末。

2 2 . 前処理後画像にノイズが含まれる場合にはキー入 力により前記ノイズを囲むノイズ除去対象領域を指定でき るように構成され、

画像前処理部が、 前記ノイズ除去対象領域内の黒画素を 白画素に変換して前処理後画像を編集するようにしたこと を特徴とする請求の範囲第 2 1項記載の携帯端末。

2 3 . 携帯端末とデータ交換を行うサーバであって、 前記携帯端末から送信された画像あるいはキー入力され たキーワー ド、 指定された処理サービスの種類および前記 携帯端末の関連情報からなるデータを受信するデータ受信 部と、

受信した前記画像に含まれる 1個の文字列に対して複数 個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳 してそれぞれの翻訳結果を生成する画像内文字列認識 · 翻 訳部と、

前記キーワードに対する関連文を生成し、 生成した前記 関連文を翻訳して翻訳結果を生成するテキス 卜翻訳部と、 前記指定された処理サービスの種類に従って前記画像内 文字列認識 · 翻訳部で処理するか、 あるいは前記テキス ト 翻訳部で処理するかを切り替え制御する処理制御部と、 前記画像内文字列認識 · 翻訳部あるいは前記テキス ト翻 訳部で生成した翻訳結果を前記関連情報に基づいて前記携 帯端末に送信する結果送信部とを備えたことを特徴とする サーバ。

2 4 . 携帯端末とデータ交換を行うサーバであって、 前記携帯端末から送信された画像、 処理サービスの指示 および前記携帯端末の関連情報からなるデータを受信する データ受信部と、

受信した前記画像に含まれる 1個の文字列に対して複数 個の文字列を抽出し、 抽出した前記複数個の文字列を翻訳 してそれぞれの翻訳結果を生成する画像内文字列認識 · 翻 訳部と、

受信したデータに含まれる前記処理サービスの指示に従 つて前記画像内文字列認識 · 翻訳部を動作させる処理制御 部と、

前記画像内文字列認識 · 翻訳部あるいは前記テキス ト翻 訳部で生成した翻訳結果を前記関連情報に基づいて前記携 帯端末に送信する結果送信部とを備えたことを特徴とする サーバ。

2 5 . 携帯端末とデータ交換を行うサーバであって、 キー入力されたキーワー ド、 処理サービスの指示および 前記携帯端末の関連情報からなるデータを受信するデータ 受信部と、

前記キーワードに対する関連文を生成し、 生成した前記 関連文を翻訳して翻訳結果を生成するテキス ト翻訳部と、 受信したデータに含まれる前記処理サービスの指示に従 つて前記テキス ト翻訳部を動作させる処理制御部と、 前記テキス ト翻訳部で生成した翻訳結果を前記関連情報 に基づいて前記携帯端末に送信する結果送信部とを備えた ことを特徴とするサーバ。

2 6 . 画像内文字列認識 · 翻訳部が、

異なる複数の条件で画像内の 1個の文字列を認識するこ とにより複数個の文字列認識結果を生成する画像内文字列 認識部と、

生成した前記複数個の文字列認識結果をそれぞれ翻訳し た複数個の翻訳結果を生成する画像内文字列翻訳部とを有 したことを特徴とする請求の範囲第 2 3項または請求の範 囲第 2 4項記載のサーバ。

2 7 . 画像内文字列認識 · 翻訳部が、

異なる複数の条件で画像内の 1個の文字列を認識するこ とにより複数個の文字列認識結果を生成すると共に、 言語 辞書を用いて前記複数個の文字列認識結果に対してスペリ ングが類似する類似文字列を生成する画像内文字列認識部 と、

生成した前記文字列認識結果と前記類似文字列のそれぞ れを翻訳することにより複数個の翻訳結果を生成する画像 内文字列翻訳部とを有したことを特徴とする請求の範囲第 2 3項または請求の範囲第 2 4項記載のサーバ。

2 8 . テキス ト翻訳部が、

キー入力部で入力したキーワー ドに基づいて関連文辞書 を参照して前記キーワードに関連性の高い複数個の文章を 生成する関連文生成部と、 生成された前記複数個の文章を翻訳することにより翻訳 結果を生成する関連文翻訳部とを有したことを特徴とする 請求の範囲第 2 5項記載のサーバ。

2 9 . 連続的に受信された複数個の画像を合成して 1枚 の合成画像を作成する画像統合部を備え、

画像内文字列認識 · 翻訳部が、 作成された前記合成画像 に含まれる文字列に対す ¾翻訳結果を生成するようにした ことを特徵とする請求の範囲第 2 3項、 請求の範囲第 2 4 項および請求の範囲第 2 6項および請求の範囲第 2 7項の うちのいずれか 1項記載のサーバ。

3 0 . 各施設の位置を格納した地図デ一夕を備え、 処理制御部が、 受信したデータに含まれる携帯端末の現 在位置に基づいて前記地図データを参照することにより当 該携帯端末を所持するユーザが現在いる施設を特定し、 当 該サーバ内で用いる各種の辞書を特定された前記施設に対 応する専用辞書に置き換えるようにしたことを特徴とする 請求の範囲第 2 3項から請求の範囲第 2 9項のうちのいず れか 1項記載のサーバ。

3 1 . 処理制御部が、 受信したデータに含まれる指定さ れた専用辞書の種類に基づいて当該サーバ内で用いる各種 の辞書を指定された専用辞書に置き換えるようにしたこと を特徴とする請求の範囲第 2 3項から請求の範囲第 2 9項 のうちのいずれか 1項記載のサーバ。