JP5606385B2 - サーバ装置、サーバ装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、サーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体に関し、特に、画像内の文字列の翻訳に関するものである。

従来から、様々な翻訳ツールが知られているが、それらの翻訳ツールを用いて、文字が含まれた画像を含むＷＥＢページの翻訳が要求されることがある。画像に含まれる文字を翻訳するためには、まず、画像に含まれる文字について文字認識を行う必要がある。そして、文字認識により文字が特定された後、当該文字を目的の言語へ翻訳する。しかし、文字認識の処理には、ある程度の時間を要するため、リアルタイムでの翻訳は難しいという問題があった。このような問題に対応するため、種々の手法が提案されている。例えば、特許文献１には、文字を含む画像と、翻訳用の文字列とを対応付けて記憶しておき、文字を含む画像を翻訳する際に、当該文字列の翻訳結果を提示する機械翻訳システムが開示されている。

特許４６５８２３６号公報

一方、翻訳用の文字列を用意せず、できるだけ、画像内の文字をそのまま翻訳したいという要望もある。

本発明は、上記のような課題を解決するもので、ＷＥＢページ内の画像の文字をリアルタイムで翻訳するのに好適なサーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体を提供することを目的とする。

本発明の第１の観点に係るサーバ装置は、
画像の識別情報と、画像処理に対するパラメータと、が指定された要求を、端末から受信する要求受信部、
前記受信された要求に指定された識別情報に基づいて画像を取得し、前記取得された画像に対して、前記受信された要求に指定されたパラメータを用いて前記画像処理を適用することにより、当該画像内から抽出された抽出情報を出力する画像処理部、
前記画像処理部により出力された抽出情報が指定される応答を、前記端末へ送信する応答送信部
を備え、
前記画像処理部は、前記抽出情報が抽出されると、当該抽出情報に対する画像の識別情報ならびにパラメータに対応付けて、当該抽出された抽出情報をキャッシュし、
前記受信された要求に指定される識別情報ならびにパラメータに対応付けられる抽出情報がキャッシュされている場合、前記画像処理部は、前記画像の取得ならびに前記画像処理の適用にかえて、前記キャッシュされている抽出情報を得て、当該得られた抽出情報を出力する
ことを特徴とする。

上記観点に係るサーバ装置において、
前記要求に指定されるパラメータは、指定領域を含み、
前記画像処理部による画像処理には、前記画像内の前記パラメータに含まれる指定領域について文字認識を行うことにより、当該画像内の当該指定領域から認識された認識済文字列を出力する抽出処理が含まれ、
前記画像処理部は、前記認識済文字列が抽出されると、当該認識済文字列に対する画像の識別情報ならびに指定領域に対応付けて、当該認識済文字列をキャッシュし、
前記受信された要求に指定される識別情報ならびにパラメータに含まれる指定領域に対応付けられる認識済文字列がキャッシュされている場合、前記画像処理部は、前記文字認識にかえて、前記キャッシュされている認識済文字列を得て、当該得られた認識済文字列を出力し、
前記抽出情報は、前記認識済文字列を含む
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記画像処理部は、前記認識済文字列がキャッシュされた際に対応付けられた識別情報と、前記受信された要求に指定された識別情報と、が一致し、前記認識済文字列がキャッシュされた際に対応付けられた指定領域と、前記受信された要求に指定されるパラメータに含まれる指定領域と、が、重複する場合、前記受信された要求に指定される識別情報ならびにパラメータに含まれる指定領域に対応付けられる抽出情報がキャッシュされていると判定する
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記画像処理部は、前記認識済文字列が抽出されると、前記指定領域を前記指定領域内において当該認識済文字列が認識された認識領域に補正してから、当該認識済文字列をキャッシュする
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記要求に指定されるパラメータは、認識用言語を含み、
前記画像処理部による文字認識は、認識用言語により行われる
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記要求に指定されるパラメータは、変換情報を含み、
前記画像処理部による画像処理には、前記出力された認識済文字列に対して、前記受信された要求に指定されたパラメータに含まれる変換情報を用いて変換処理を行うことにより、当該認識済文字列から変換された変換済文字列を出力する変換処理が含まれ、
前記抽出情報は、前記変換済文字列を含む
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記画像処理部は、前記変換済文字列が抽出されると、当該変換済文字列に対する画像の識別情報、指定領域、認識用言語、認識済文字列、ならびに、変換情報に対応付けて、当該変換済文字列をキャッシュし、
前記受信された要求に指定される識別情報、指定領域、認識用言語、ならびに、変換情報に対する変換済文字列がキャッシュされている場合、前記画像処理部は、前記変換処理にかえて、前記キャッシュされている変換済文字列を得て、当該得られた変換済文字列を出力する
ことを特徴とする。

また、上記観点に係るサーバ装置において、
前記変換処理は、前記変換情報に指定される翻訳先言語に前記認識済文字列を翻訳することにより、前記変換済文字列を得る
ことを特徴とする。

また、上記観点に係るサーバ装置において、
画像の識別情報が指定された問合せを、前記端末から受信する問合受信部、
前記受信された問合せに指定される識別情報に対応付けられる抽出情報がキャッシュされていない場合、画像の識別情報と、画像処理のパラメータと、が指定された要求の送信を促すメッセージが指定された回答を、前記端末へ送信し、前記受信された問合せに指定される識別情報に対応付けられる抽出情報がキャッシュされている場合、当該抽出情報が指定された回答を、前記端末へ送信する回答送信部
をさらに備えることを特徴とする。

また、上記観点に係るサーバ装置において、
画像の識別情報と、当該画像内の位置と、が指定された問合せを、前記端末から受信する問合受信部、
前記受信された問合せに指定される識別情報、ならびに、前記受信された問合せに指定される位置を含む指定領域に対応付けられる認識済文字列が、前記画像処理部によりキャッシュされている場合、当該キャッシュされている認識済文字列が指定された回答を、前記端末へ送信する回答送信部
をさらに備えることを特徴とする。

また、上記観点に係るサーバ装置において、
画像の識別情報と、当該画像内の位置と、変換情報と、が指定された問合せを、前記端末から受信する問合受信部、
前記受信された問合せに指定される識別情報、変換情報、ならびに、前記受信された問合せに指定される位置を含む指定領域に対応付けられる変換済文字列が、前記画像処理部によりキャッシュされている場合、前記回答に当該キャッシュされている変換済文字列が指定された回答を、前記端末へ送信する回答送信部
をさらに備えることを特徴とする。

識別情報により識別される画像を画面に表示する表示部を備え、上記観点に係るサーバ装置と通信可能なコンピュータが実行するプログラムであって、当該プログラムは、当該コンピュータを、
前記画面に表示された画像内の位置の選択を検出する位置検出部、
前記位置の選択が検出されると、前記識別情報と、当該選択された位置と、が指定された問合せを、前記サーバ装置へ送信する問合送信部、
前記サーバ装置から、回答を受信する回答受信部
として機能させ、当該プログラムは、当該コンピュータを、
前記表示部が、前記受信された回答に指定される抽出情報を、前記画面にさらに表示する
ように機能させ、当該プログラムは、当該コンピュータを、
前記画面に表示された画像内の領域の選択を検出する領域検出部、
画像処理用のパラメータの設定を促す設定部、
前記領域の選択が検出されると、前記識別情報と、前記設定されたパラメータと、当該選択された領域と、が指定された要求を、前記サーバ装置へ送信する要求送信部、
前記サーバ装置から、応答を受信する応答受信部
として機能させ、当該プログラムは、当該コンピュータを、
前記表示部が、前記受信された応答に指定される抽出情報を、前記画面にさらに表示する
ように機能させることを特徴とする。

本発明の第２の観点に係るサーバ装置の制御方法は、
要求受信部と、画像処理部と、応答送信部と、を備えるサーバ装置が実行する制御方法であって、
前記要求受信部が、画像の識別情報と、画像処理に対するパラメータと、が指定された要求を、端末から受信する要求受信工程、
前記画像処理部が、前記受信された要求に指定された識別情報に基づいて画像を取得し、前記取得された画像に対して、前記受信された要求に指定されたパラメータを用いて前記画像処理を適用することにより、当該画像内から抽出された抽出情報を出力する画像処理工程、
前記応答送信部が、前記画像処理部により出力された抽出情報が指定される応答を、前記端末へ送信する応答送信工程
を備え、
前記画像処理工程において、
前記画像処理部は、前記抽出情報が抽出されると、当該抽出情報に対する画像の識別情報ならびにパラメータに対応付けて、当該抽出された抽出情報をキャッシュし、
前記受信された要求に指定される識別情報ならびにパラメータに対応付けられる抽出情報がキャッシュされている場合、前記画像処理部は、前記画像の取得ならびに前記画像処理の適用にかえて、前記キャッシュされている抽出情報を得て、当該得られた抽出情報を出力する
ことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータを、
画像の識別情報と、画像処理に対するパラメータと、が指定された要求を、端末から受信する要求受信部、
前記受信された要求に指定された識別情報に基づいて画像を取得し、前記取得された画像に対して、前記受信された要求に指定されたパラメータを用いて前記画像処理を適用することにより、当該画像内から抽出された抽出情報を出力する画像処理部、
前記画像処理部により出力された抽出情報が指定される応答を、前記端末へ送信する応答送信部
として機能させ、
前記画像処理部は、前記抽出情報が抽出されると、当該抽出情報に対する画像の識別情報ならびにパラメータに対応付けて、当該抽出された抽出情報をキャッシュし、
前記受信された要求に指定される識別情報ならびにパラメータに対応付けられる抽出情報がキャッシュされている場合、前記画像処理部は、前記画像の取得ならびに前記画像処理の適用にかえて、前記キャッシュされている抽出情報を得て、当該得られた抽出情報を出力する
ように機能させることを特徴とする。

本発明の第４の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
画像の識別情報と、画像処理に対するパラメータと、が指定された要求を、端末から受信する要求受信部、
前記受信された要求に指定された識別情報に基づいて画像を取得し、前記取得された画像に対して、前記受信された要求に指定されたパラメータを用いて前記画像処理を適用することにより、当該画像内から抽出された抽出情報を出力する画像処理部、
前記画像処理部により出力された抽出情報が指定される応答を、前記端末へ送信する応答送信部
として機能させ、
前記画像処理部は、前記抽出情報が抽出されると、当該抽出情報に対する画像の識別情報ならびにパラメータに対応付けて、当該抽出された抽出情報をキャッシュし、
前記受信された要求に指定される識別情報ならびにパラメータに対応付けられる抽出情報がキャッシュされている場合、前記画像処理部は、前記画像の取得ならびに前記画像処理の適用にかえて、前記キャッシュされている抽出情報を得て、当該得られた抽出情報を出力する
ように機能させることを特徴とするプログラムを記録する。

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記記録媒体は、コンピュータとは独立して配布・販売することができる。

本発明によれば、ＷＥＢページ内の画像の文字をリアルタイムで翻訳するのに好適なサーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体を提供することができる。

本発明の実施形態に係るサーバ装置と、ＷＥＢサーバ装置と、端末装置との関係を示す図である。 本発明の実施形態に係るサーバ装置又は端末装置が実現される典型的な情報処理装置の概要構成を示す図である。 端末装置が表示するＷＥＢページの例を説明するための図である。 実施形態１のサーバ装置の概要構成を説明するための図である。 ＷＥＢページ内の画像の例を説明するための図である。 抽出情報テーブルを説明するための図である。 ＷＥＢページ内の画像の例を説明するための図である。 実施形態１に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 指定領域を説明するための図である。 抽出情報テーブルを説明するための図である。 認識領域を説明するための図である。 抽出情報テーブルを説明するための図である。 指定領域の重複を説明するための図である。 実施形態２に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 ＷＥＢページ内の画像の例を説明するための図である。 抽出情報テーブルを説明するための図である。 ＷＥＢページ内の画像の例を説明するための図である。 実施形態３に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 実施形態４のサーバ装置の概要構成を説明するための図である。 ＷＥＢページ内の画像の例を説明するための図である。 実施形態４に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 ＷＥＢページ内の画像の例を説明するための図である。 実施形態５に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 抽出情報テーブルを説明するための図である。 ＷＥＢページ内の画像の例を説明するための図である。 実施形態６に係るサーバ装置の各部が行う制御処理を説明するためのフローチャート図である。 実施形態７のプログラムが動作する端末装置の概要構成を説明するための図である。 実施形態７に係る端末装置の各部が行う制御処理を説明するためのフローチャート図である。

本発明の実施形態に係るサーバ装置１００は、図１に示すように、インターネット３００に接続される。インターネット３００には、ユーザが操作する複数の端末装置２１１、２１２〜２１ｎ（以下、これらを総称して「端末装置２００」という。）と、ＷＥＢサーバ４００とが接続されている。ＷＥＢサーバ４００は、端末装置２００からの要求に応じて、所定のＷＥＢページを端末装置２００に提供するものである。そして、サーバ装置１００は、端末装置２００の要求に応じて、ＷＥＢページの翻訳を行い、翻訳結果を端末装置２００に提供するものである。なお、以下に示す実施形態では、サーバ装置１００とＷＥＢサーバ装置４００とは、図１に示すようにインターネット３００を解して接続されるが、この例に限らない。例えば、サーバ装置１００とＷＥＢサーバ装置とが同じ装置により実現されてもよい。あるいは、サーバ装置１００とＷＥＢサーバ装置４００とは直接接続されてもよい。

以下、本発明の実施形態に係るサーバ装置１００又は端末装置２００が実現される典型的な情報処理装置５００について説明する。

（１．情報処理装置の概要構成）
情報処理装置５００は、図２に示すように、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、ＮＩＣ（Network Interface Card）５０４と、画像処理部５０５と、音声処理部５０６と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ５０７と、インターフェース５０８と、外部メモリ５０９と、コントローラ５１０と、モニタ５１１と、スピーカ５１２と、を備える。

ＣＰＵ ５０１は、情報処理装置５００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。

ＲＯＭ ５０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、所定のプログラムをＲＡＭ ５０３に読み出してＣＰＵ ５０１による当該プログラムの実行が開始される。また、ＲＯＭ ５０２には、情報処理装置５００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

ＲＡＭ ５０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。

ＮＩＣ ５０４は、情報処理装置５００をインターネット３００等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ ５０１との仲立ちを行うインターフェース（図示せず）により構成される。

画像処理部５０５は、ＤＶＤ−ＲＯＭ等から読み出されたデータをＣＰＵ ５０１や画像処理部５０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部５０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、モニタ５１１に出力される。これにより、各種のページ表示が可能となる。

音声処理部５０６は、ＤＶＤ−ＲＯＭ等から読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ５１２から出力させる。また、ＣＰＵ ５０１の制御の下、情報処理装置５００が行う処理の進行の中で発生させるべき音を生成し、これに対応した音声をスピーカ５１２から出力させる。

ＤＶＤ−ＲＯＭドライブ５０７に装着されるＤＶＤ−ＲＯＭには、例えば、実施形態に係るサーバ装置１００を実現するためのプログラムが記憶される。ＣＰＵ ５０１の制御によって、ＤＶＤ−ＲＯＭドライブ５０７は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ ５０３等に一時的に記憶される。

インターフェース５０８には、外部メモリ５０９、コントローラ５１０、モニタ５１１、及びスピーカ５１２が、着脱可能に接続される。

外部メモリ５０９には、ユーザの個人情報に関するデータなどが書き換え可能に記憶される。

コントローラ５１０は、情報処理装置５００の各種の設定時などに行われる操作入力を受け付ける。情報処理装置５００のユーザは、コントローラ５１０を介して指示入力を行うことにより、これらのデータを適宜外部メモリ５０９に記録することができる。

モニタ５１１は、画像処理部５０５により出力されたデータを情報処理装置５００のユーザに提示する。

スピーカ５１２は、音声処理部５０６により出力された音声データを情報処理装置５００のユーザに提示する。

この他、情報処理装置５００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ ５０２、ＲＡＭ ５０３、外部メモリ５０９、ＤＶＤ−ＲＯＭドライブ５０７に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。

以下、上記情報処理装置５００において実現される実施形態に係るサーバ装置１００又は端末装置２００について、図１乃至２８を参照して説明する。情報処理装置５００の電源を投入することにより、実施形態に係るサーバ装置１００又は端末装置２００として機能させるプログラムが実行され、実施形態に係るサーバ装置１００又は端末装置２００が実現される。

以下の実施形態において、ＷＥＢサーバ装置４００により端末装置２００に提供されるＷＥＢページの例を図３に示す。ＷＥＢページ６００は、画像６０１、６０２、６０３と、テキスト６０４、６０５、６０６と、から構成される。画像６０１、６０３は、文字を含む画像であり、画像６０２は、文字を含まない画像であるとする。また、画像６０１、６０２、６０３の画像ＵＲＬを、“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”、“ｈｔｔｐ：／／ｘｘｘ．６０２．ｊｐｇ”、“ｈｔｔｐ：／／ｘｘｘ．６０３．ｊｐｇ”、であるとする。

（２．実施形態１のサーバ装置の概要構成）
実施形態１のサーバ装置１００は、画像内に含まれる文字列の翻訳に際し、当該画像について既に文字認識の処理が行われている場合、画像の取得及び文字認識の処理を省略することを可能にするものである。

本実施形態に係るサーバ装置１００は、図４に示すように、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、から構成される。

要求受信部１０１は、画像の識別情報と、画像処理に対するパラメータと、が指定された要求を、端末装置２００から受信する。

画像の識別情報とは、例えば、画像ＵＲＬである。また、画像処理とは、例えば、画像内の文字を認識するための文字認識の処理である。そして、画像処理に対するパラメータとは、例えば、画像内の文字がどの言語であるかを示す認識用言語である。画像内の文字は、指定された認識用言語であるとして、文字認識が行われる。

以下、ユーザがＷＥＢページ６００の画像６０１について、サーバ装置１００に翻訳を求める場合を例に説明する。例えば、ユーザが、端末装置２００において表示された画像６０１にカーソル７０１を重ねると（マウスオーバすると）、図５（ａ）に示すように、認識用言語の指定を求めるポップアップ８０１が表示される。図５（ｂ）に示すように、ユーザがカーソル７０１でボタン８０２をクリックすると、プルダウンメニューが表示される。ユーザは、メニューの中から画像６０１内の文字列の言語（認識用言語）を選択する。そして、図５（ｃ）に示すように、認識用言語“英語”が指定されると、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”とが指定された要求が、サーバ装置１００に送信される。サーバ装置１００の要求受信部１０１は、当該要求を受信する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、要求受信部１０１として機能する。なお、以下の実施形態２乃至６においても同様である。

画像処理部１０２は、受信された要求に指定された識別情報に基づいて画像を取得し、取得された画像に対して、受信された要求に指定されたパラメータを用いて画像処理を適用することにより、当該画像内から抽出された抽出情報を出力する。

ここで、抽出情報とは、例えば、文字認識の結果、得られる画像内の文字列（以下、「認識済文字列」という）である。例えば、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”及び認識用言語“英語”が指定された要求が受信されたとすると、画像処理部１０２は、まず当該画像ＵＲＬに基づいて、ＷＥＢサーバ４００から画像６０１を取得する。そして、画像処理部１０２は、取得した画像６０１内に含まれる文字は、英語であるとして、文字認識を行う。文字認識の結果、画像６０１内の文字が、“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”であると判断されると、画像処理部１０２は、これらの文字列を画像６０１内から抽出された認識済文字列として出力する。

また、画像処理部１０２は、抽出情報が抽出されると、当該抽出情報に対する画像の識別情報ならびにパラメータに対応付けて、当該抽出された抽出情報をキャッシュする。

例えば、ＲＡＭ ５０３には、図６に示すような抽出情報テーブル１０１ａが格納されているとする。抽出情報テーブル１０１には、画像の識別情報（画像ＵＲＬ）１０１ａ１と、パラメータ（認識用言語）１０１ａ２と、抽出情報（認識済文字列）１０１ａ３と、が対応付けて登録される。画像処理部１０２は、文字認識により認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を得ると、当該認識済文字列と、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、を対応付けて、抽出情報テーブル１０１ａに登録する。

本実施形態では、ＣＰＵ ５０１及び画像処理部５０５が協働して、画像処理部１０２として機能する。なお、以下の実施形態２乃至６においても同様である。

応答送信部１０３は、画像処理部１０２により出力された抽出情報が指定される応答を、端末装置２００へ送信する。

例えば、応答送信部１０３は、認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”が指定された応答を、端末装置２００へ送信する。ここで、当該応答は、例えば、端末装置２００に表示されているＷＥＢページ内の文字認識が終了した画像に、任意の図形を重ねて表示させるためのタグを追加する命令も含むものであるとする。例えば、端末装置２００が当該応答を受信すると、図７に示すように、文字認識が終了した画像６０１に半透明の矩形９０１が重ねて表示される。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、応答送信部１０３として機能する。なお、以下の実施形態２乃至６においても同様である。

そして、画像処理部１０２は、受信された要求に指定される識別情報ならびにパラメータに対応付けられる抽出情報がキャッシュされている場合、画像の取得ならびに画像処理の適用にかえて、キャッシュされている抽出情報を得て、当該得られた抽出情報を出力する。

例えば、要求受信部１０１が、画像６０１の画像ＵＲＬと認識用言語“英語”とを指定された要求を受信すると、画像処理部１０２は、図６の抽出情報テーブル１０１ａを参照する。画像６０１の識別情報及び認識用言語“英語”に対応する認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”が登録されているので、画像処理部１０２は、画像６０１の取得及び文字認識の処理を省略して、当該認識済文字列を応答送信部１０３へ出力する。

（３．実施形態１のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図８のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図８のフローチャートに示す制御処理を開始する。

要求受信部１０１は、画像の識別情報（画像ＵＲＬ）と、画像処理に対するパラメータ（認識用言語）と、が指定された要求を、端末装置２００から受信する（ステップＳ１０１）。例えば、ユーザが、画像６０１にカーソル７０１を重ね、図５（ａ）〜（ｃ）に示す手順で認識用言語“英語”を指定すると、要求受信部１０１は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”とが指定された要求を受信する。

画像処理部１０２は、受信された要求に指定される識別情報ならびに認識用言語に対応付けられる抽出情報（認識済文字列）がキャッシュされているか否かを判断する（ステップＳ１０２）。

画像処理部１０２は、当該認識済文字列がキャッシュされていると判断した場合（ステップＳ１０２；Ｙｅｓ）、キャッシュされている認識済文字列を出力する（ステップＳ１０３）。例えば、図６に示す抽出情報テーブル１０１ａがＲＡＭ ５０３に格納されている場合、画像処理部１０２は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”とに対応付けられた認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を応答送信部１０３に出力する。

一方、画像処理部１０２は、当該認識済文字列がキャッシュされていないと判断した場合（ステップＳ１０２；Ｎｏ）、受信された要求に指定される画像ＵＲＬの画像を取得する（ステップＳ１０５）。例えば、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”とに対応付けられた認識済文字列の情報が抽出情報テーブル１０１ａに登録されていなかった場合、画像処理部１０２は、ＷＥＢサーバ４００にアクセスし、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”に対応する画像６０１を取得する。

画像処理部１０２は、画像を取得すると、次に、要求に指定された認識用言語を用いて文字認識を行い、画像内から文字列（認識済文字列）を抽出する（ステップＳ１０６）。例えば、画像処理部１０２は、画像６０１内の文字は“英語”であるとして、画像６０１に対して文字認識を行い、“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”の認識済文字列を得る。

画像処理部１０２は、画像の識別情報と、認識用言語と、認識済文字列を対応付けてキャッシュする（ステップＳ１０７）。例えば、画像処理部１０２は、図６に示すように、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”と、を対応付けて、抽出情報テーブル１０１ａに登録する。

そして、画像処理部１０２は、抽出された認識済文字列を出力する（ステップＳ１０８）。例えば、画像処理部１０２は、文字認識の結果として認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を応答送信部１０３へ出力する。

応答送信部１０３は、ステップＳ１０３又はステップＳ１０８において出力された認識済文字列が指定される応答を、端末装置２００へ送信する（ステップＳ１０４）。例えば、応答送信部１０３は、認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”が指定された応答を端末装置２００へ送信する。

本実施形態によれば、画像について、既に文字認識の結果が得られている場合、画像の取得及び文字認識の処理を省略することができる。そして、文字認識の結果得られた文字列について翻訳することにより、画像内の文字列の翻訳に要する時間を短縮することができる。

（４．実施形態２のサーバ装置の概要構成）
実施形態２のサーバ装置１００は、画像内に含まれる文字列の翻訳に際し、当該画像内の指定された領域について既に文字認識の処理が行われている場合、画像の取得及び文字認識の処理を省略することを可能にするものである。

本実施形態に係るサーバ装置１００は、実施形態１と同様に、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、から構成されるが（図４）、各部の機能や扱う情報は、実施形態１と異なる。以下、詳細に説明する。

要求受信部１０１は、画像の識別情報と、当該画像内の指定領域とが指定された要求を、端末装置２００から受信する。

ここで、指定領域とは、例えば、端末装置２００を操作するユーザにより指定される、ＷＥＢページの画像内の領域である。例えば、指定領域は長方形により定められ、長方形の左上の角及び右下の角の座標により特定されるものとする。

例えば、図９（ａ）に示すように、ユーザが、端末装置２００において、カーソル７０１をドラッグして画像６０１内の領域９０２を選択したとする。ここで、画像６０１の左上の角９１１の座標（“（縦座標、横座標）”とする）が“（０、０）”、右下の角９１２の座標が（２００、３００）と設定されているとする。また、領域９０２の左上の角の座標が（５、１００）、右下の角の座標が（４８、２００）であるとする。ユーザにより領域９０２が指定されると、端末装置２００は、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、指定領域“（５、１００）：（４８、２００）”とが指定された要求をサーバ装置１００に送信する。サーバ装置１００の要求受信部１０１は、当該要求を受信する。

なお、指定領域を指定する手法は、上記に限られない。例えば、図９（ｂ）に示すように、画像内にカーソル７０１を重ねると、カーソル７０１を中心として所定の大きさの長方形９０３が表示され、長方形９０３の領域を指定領域とするようにしてもよい。また、指定領域は長方形に限らず、円形等であってもよい。

画像処理部１０２は、受信された要求に指定された識別情報に基づいて画像を取得し、取得された画像内の指定領域について文字認識を行うことにより、当該画像内の当該指定領域から認識された認識済文字列を出力する。

画像処理部１０２は、例えば、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”、及び、指定領域“（５、１００）：（４８、２００）”が指定された要求が受信されたとすると、画像処理部１０２は、まず当該画像ＵＲＬに基づいて、ＷＥＢサーバ４００から画像６０１を取得する。次に、画像処理部１０２は、文字認識のための認識用言語を推定する。例えば、ＷＥＢページ６００のＵＲＬに、国を示すドメインコードが含まれる場合、当該ドメインコードから画像内に含まれる文字の言語を推定する。例えば、ドメインコードに“．ＵＫ”が含まれれば、認識用言語を“英語”と推定する。あるいは、ｈｔｍｌ内に言語を指定するタグが存在するか判断し、存在する場合はその言語を認識用言語とする。例えば、ｈｔｍｌ内に“＜ｈｔｍｌ ｌａｎｇ＝“ｅｎ”＞”のタグが存在した場合、認識用言語を“英語”とする。本実施形態では、認識用言語は“英語”と推定されたとする。画像処理部１０２は、取得した画像６０１の指定領域“（５、１００）：（４８、２００）”に含まれる文字は、“英語”であるとして、文字認識を行う。文字認識の結果、当該指定領域内の文字が、“Ｓａｌｅ”であると判断されると、画像処理部１０２は、この文字列を認識済文字列として出力する。

画像処理部１０２は、認識済文字列が抽出されると、当該認識済文字列に対する画像の識別情報ならびに指定領域に対応付けて、当該認識済文字列をキャッシュする。

例えば、画像処理部１０２は、図１０に示すように、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域“（５、１００）：（４８、２００）”と認識済文字列“Ｓａｌｅ”と、を対応付けて、抽出情報テーブル１０１ａに登録する。

ここで、画像処理部１０２は、認識済文字列が抽出されると、指定領域を指定領域内において当該認識済文字列が認識された認識領域に補正してから、当該認識済文字列をキャッシュするようにしてもよい。

認識領域とは、例えば、認識済文字列を含む長方形であって、長方形の縦方向及び横方向の長さを最小にした長方形により特定される領域であるとする。例えば、 “Ｓａｌｅ”の認識領域（図１１の領域９２１）は、“（８、１１０）：（４５、１７０）”、“Ｗａｔｅｒ”の認識領域（図１１の領域９２２）は、“（６０、１２０）：（９０、１８０）”、“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”の認識領域（図１１の領域９２３）は、“（１１０、２５）：（１９０、２７０）”とする。

例えば、図９（ａ）に示すように、領域９０２が指定領域として指定され、指定領域“（５、１００）：（４８、２００）”と指定された要求が受信されたとする。この場合、画像処理部１０２は、当該指定領域について文字認識をし、“Ｓａｌｅ”の文字列を抽出した後、当該文字列が含まれる認識領域を求める。そして、画像処理部１０２は、図１２に示すように、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域（認識領域）“（８、１１０）：（４５、１７０）”と、認識済文字列“Ｓａｌｅ”と、を対応付けて抽出情報テーブル１０１ａに登録する。

また、例えば、図９（ｃ）に示すように、画像６０１からはみ出した領域９０４が指定領域として指定され、指定領域“（５２、−２０）：（９８、３２０）”と指定された要求が受信されたとする。この場合、画像処理部１０２は、図１２に示すように、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域（認識領域）“（６０、１２０）：（９０、１８０）”と、認識済文字列“Ｗａｔｅｒ”とを対応付けて、抽出情報テーブル１０１ａに登録する。

また、例えば、図９（ｄ）に示すように、画像６０１内の文字列を横切るような領域９０５が指定領域として指定され、指定領域“（８５、１５）：（２１０、２８５）”と指定された要求が受信されたとする。この場合、画像処理部１０２は、図１２に示すように、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域（認識領域）“（１１０、２５）：（１９０、２７０）”と、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”と、を対応付けて、抽出情報テーブル１０１ａに登録する。

応答送信部１０３は、画像処理部１０２により出力された認識済文字列が指定される応答を、端末装置２００へ送信する。

例えば、認識済文字列“Ｓａｌｅ”が指定された応答が端末装置２００に受信されると、図１３（ａ）に示すように、文字認識が終了した認識済文字列“Ｓａｌｅ”の認識領域に半透明の矩形９３１が重ねて表示される。同様に、図１３（ｂ）乃至図１３（ｄ）に示すように、認識領域に半透明の矩形９３２、９３３が重ねて表示される。

そして、画像処理部１０２は、受信された要求に指定される識別情報ならびにパラメータに含まれる指定領域に対応付けられる認識済文字列がキャッシュされている場合、画像処理部１０２は、画像の取得及び文字認識にかえて、キャッシュされている認識済文字列を得て、当該得られた認識済文字列を出力する。

ここで、画像処理部１０２は、認識済文字列がキャッシュされた際に対応付けられた識別情報と、受信された要求に指定された識別情報と、が一致し、認識済文字列がキャッシュされた際に対応付けられた指定領域と、受信された要求に指定され指定領域と、が、重複する場合、受信された要求に指定される識別情報ならびにパラメータに含まれる指定領域に対応付けられる抽出情報がキャッシュされていると判定する。

例えば、ユーザが、図１３（ａ）に示すように、領域９０６を指定すると、要求受信部１０１が、画像６０１の画像ＵＲＬと、指定領域“（５、３５）：（５２、２００）”とを指定した要求を受信する。当該要求が受信されると、画像処理部１０２は、図１２の抽出情報テーブル１０１ａを参照する。抽出情報テーブル１０１ａには、画像６０１の画像ＵＲＬは一致し、要求に指定された指定領域“（５、３５）：（５２、２００）”とキャッシュされている指定領域“（８、１１０）：（４５、１７０）”とが重複する認識済文字列が登録されている。したがって、画像処理部１０２は、画像の取得及び文字認識の処理を省略して、認識済文字列“Ｓａｌｅ”を応答送信部１０３に出力する。

なお、要求に指定された指定領域とキャッシュされた指定領域とが重複するか否かの判断は、適宜設定することができる。

例えば、図１３（ａ）及び図１３（ｂ）に示すように、要求に指定された指定領域（領域９０６、９０７）がキャッシュされた指定領域（認識領域、矩形９３１、９３２）の全部を含む場合は、重複すると判断する。一方、図１３（ｃ）に示すように、要求に指定された指定領域（領域９０８）とキャッシュされた指定領域（認識領域、矩形９３３）とが一部のみ重なる場合、重複しないと判断するようにしてもよい。あるいは、認識領域と要求に指定された指定領域とが認識領域の面積の所定の割合だけ重なる場合、重複すると判断するようにしてもよい。また、あるいは、図１３（ｄ）に示すように、認識領域（矩形９３３）にカーソル７０１が重なった場合に、重複すると判断するようにしてもよい。

（５．実施形態２のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図１４のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図１４のフローチャートに示す制御処理を開始する。

要求受信部１０１は、画像の識別情報と、指定領域と、が指定された要求を、端末装置２００から受信する（ステップＳ２０１）。例えば、ユーザが図９（ａ）の領域９０２を指定すると、要求受信部１０１は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、指定領域“（５、１００）：（４８、２００）”とが指定された要求を受信する。

画像処理部１０２は、受信された要求に指定される識別情報（画像ＵＲＬ）ならびに指定領域に対応付けられる抽出情報（認識済文字列）がキャッシュされているか否かを判断する（ステップＳ２０２）。

画像処理部１０２は、当該認識済文字列がキャッシュされていると判断した場合（ステップＳ２０２；Ｙｅｓ）、キャッシュされている認識済文字列を出力する（ステップＳ２０３）。例えば、画像処理部１０２は、図１２に示す抽出情報テーブル１０１ａを参照して、画像ＵＲＬは一致し、要求に指定された指定領域“（５、１００）：（４８、２００）”とキャッシュされた指定領域（認識領域）“（８、１１０）：（４５、１７０）”とが重複すると判断する。この場合、画像処理部１０２は、画像ＵＲＬ及び認識領域に対応付けられた認識済文字列“Ｓａｌｅ”を応答送信部１０３に出力する。

一方、画像処理部１０２は、当該認識済文字列がキャッシュされていないと判断した場合（ステップＳ２０２；Ｎｏ）、受信された要求に指定される画像ＵＲＬの画像を取得する（ステップＳ２０５）。例えば、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”が一致しない場合、あるいは、要求に指定された指定領域とキャッシュされた指定領域が重複しなかった場合、画像処理部１０２は、ＷＥＢサーバ４００にアクセスし、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”に対応する画像６０１を取得する。

画像処理部１０２は、画像を取得すると、次に、認識用言語を推定し、当該認識用言語を用いて文字認識を行って、画像内から認識済文字列を抽出する（ステップＳ２０６）。例えば、画像処理部１０２は、画像６０１の指定領域（領域９０２）の文字は英語であるとして、領域９０２に対して文字認識を行い、“Ｓａｌｅ”の認識済文字列を得る。

画像処理部１０２は、画像の識別情報と、認識用言語と、指定領域と、認識済文字列とを対応付けてキャッシュする（ステップＳ２０７）。例えば、画像処理部１０２は、図１０に示すように、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域“（５、１００）：（４８、２００）”と、認識済文字列“Ｓａｌｅ”と、を対応付けて、抽出情報テーブル１０１ａに登録する。なお、登録する前に、当該指定領域を認識領域“（８、１１０）：（４５、１７０）”に補正して、図１２に示すように登録してもよい。

そして、画像処理部１０２は、抽出された認識済文字列を出力する（ステップＳ２０８）。例えば、画像処理部１０２は、文字認識の結果として認識済文字列“Ｓａｌｅ”を応答送信部１０３へ出力する。

応答送信部１０３は、ステップＳ２０３又はステップＳ２０８において出力された認識済文字列が指定される応答を、端末装置２００へ送信する（ステップＳ２０４）。例えば、応答送信部１０３は、認識済文字列“Ｓａｌｅ”が指定された応答を端末装置２００へ送信する。

本実施形態によれば、ユーザが指定した画像内の領域について、既に文字認識の結果が得られている場合、画像の取得及び文字認識の処理を省略することができる。そして、文字認識の結果得られた文字列について翻訳することにより、画像内の文字列の翻訳に要する時間を短縮することができる。

（６．実施形態３のサーバ装置の概要構成）
実施形態３のサーバ装置１００は、画像内に含まれる文字列の翻訳に際し、当該画像内の指定された領域について既に文字認識及び翻訳の処理が行われている場合、画像の取得、文字認識及び翻訳の処理の省略を可能にするものである。

本実施形態に係るサーバ装置１００は、実施形態２と同様に、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、から構成されるが（図４）、各部の機能や扱う情報は、実施形態２と異なる。以下、詳細に説明する。

要求受信部１０１は、画像の識別情報と、認識用言語と、指定領域と、変換情報と、が指定された要求を、端末装置２００から受信する。

変換情報とは、例えば、画像に含まれる文字列の翻訳後の言語（以下、「翻訳先言語」という）である。認識用言語を用いて画像内から抽出された認識済文字列は、翻訳先言語に翻訳される。

以下、ユーザがＷＥＢページ６００の画像６０１内の指定領域（領域９０９、座標は“（１００、２０）：（２００、２８０）”とする）について、サーバ装置１００に翻訳を求める場合を例に説明する。例えば、ユーザが、端末装置２００においてカーソル７０１をドラッグして画像６０１内の領域９０９を選択すると、図１５（ａ）に示すように、認識用言語及び翻訳先言語の指定を求めるポップアップ８０３が表示される。図１５（ｂ）に示すように、ユーザがカーソル７０１でボタン８０４をクリックすると、プルダウンメニューが表示される。ユーザは、メニューの中から領域９０９内の文字列の言語（認識用言語）を選択する。同様に、翻訳先言語についてボタン８０５をクリックして、メニューの中から領域９０９内の文字列を何語（翻訳先言語）に翻訳するかを選択する。図１５（ｃ）に示すように、認識用言語“英語”及び翻訳先言語“日本語”が指定されると、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、指定領域“（１００、２０）：（２００、２８０）”と、認識用言語“英語”と、翻訳先言語“日本語”と、が指定された要求が、サーバ装置１００に送信される。サーバ装置１００の要求受信部１０１は、当該要求を受信する。

画像処理部１０２は、受信された要求に指定された識別情報に基づいて画像を取得し、取得された画像内の指定領域について文字認識を行うことにより、当該画像内の当該指定領域から認識された認識済文字列を出力する。そして、画像処理部１０２は、出力された認識済文字列に対して、受信された要求に指定された変換情報（翻訳先言語）を用いて変換処理を行うことにより、当該認識済文字列から変換された変換済文字列を出力する。

例えば、画像処理部１０２は、要求に指定された画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”に対応する画像６０１をＷＥＢサーバ４００から取得する。次に、画像処理部１０２は、指定領域“（１００、２０）：（２００、２８０）”について認識用言語“英語”を用いて認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を抽出する。そして、画像処理部１０２は、当該認識済文字列を、翻訳先言語“日本語”に変換し、変換済文字列“お買い得”を応答送信部１０３へ出力する。

画像処理部１０２は、変換済文字列が抽出されると、当該変換済文字列に対する画像の識別情報、指定領域、認識用言語、認識済文字列、ならびに、変換情報に対応付けて、当該変換済文字列をキャッシュする。なお、本実施形態では、キャッシュされる指定領域は、認識領域とする。

例えば、画像処理部１０２は、図１６に示すように、画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、指定領域“（１１０、２５）：（１９０、２７０）”と、翻訳先言語“日本語”と、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”と、変換済文字列“お買い得”と、を対応付けて、抽出情報テーブル１０１ａに登録する。なお、登録する情報はこれらの組み合わせに限らず、例えば、翻訳先言語及び変換済文字列を登録しないことも可能である。

そして、画像処理部１０２は、受信された要求に指定される識別情報（画像ＵＲＬ）、指定領域、認識用言語、ならびに、変換情報（翻訳先言語）に対する変換済文字列がキャッシュされている場合、画像処理部１０２は、変換処理にかえて、キャッシュされている変換済文字列を得て、当該得られた変換済文字列を出力する。

例えば、ユーザが図１７（ａ）に示すように、領域９１０（座標を“（９０、０）：（２００、２９０）”とする）を指定し、ポップアップ８０６において、認識用言語“英語”と、翻訳先言語“日本語”とを選択したとする。この場合、要求受信部１０１は、画像６０１の画像ＵＲＬと、指定領域“（９０、０）：（２００、２９０）”と、認識用言語“英語”と、翻訳先言語“日本語”と、を指定した要求を受信する。画像処理部１０２は、図１６の抽出情報テーブル１０１ａを参照し、当該要求に指定された画像ＵＲＬ、認識用言語、及び翻訳先言語と、キャッシュされたこれらの情報とは一致し、要求に指定された指定領域“（９０、０）：（２００、２９０）”とキャッシュされている指定領域“（１１０、２５）：（１９０、２７０）”とは重複すると判断する。したがって、画像処理部１０２は、画像の取得、文字認識、及び、変換処理の処理を省略して、変換済文字列“お買い得”を応答送信部１０３へ出力する。

なお、画像ＵＲＬ及び認識用言語が一致し、要求に指定された指定領域とキャッシュされている指定領域が重複した場合、画像処理部１０２は、画像の取得及び文字認識の処理のみを省略して、抽出情報テーブル１０１ａに登録された認識済文字列を用いて翻訳先言語に変換し、変換済文字列を得るようにしてもよい。例えば、要求受信部１０１が、画像６０１の画像ＵＲＬと、指定領域“（９０、０）：（２００、２９０）”と、認識用言語“英語”と、翻訳先言語“ドイツ語”と、を指定した要求を受信する。この場合、図１６の抽出情報テーブル１０１ａには、対応する変換済文字列は登録されていないので、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”をドイツ語に翻訳する変換処理を行い、変換済文字列を出力する。

応答送信部１０３は、画像処理部１０２により出力された変換済文字列が指定された応答を、端末装置２００へ送信する。

例えば、変換済文字列“お買い得”が指定された応答が端末装置２００に受信されると、図１７（ｃ）に示すように、変換済文字列“お買い得”が記されたポップアップ８０７がＷＥＢページ６００内に表示される。あるいは、図１７（ｄ）に示すように、認識領域に変換済文字列が記された矩形９４１を重ねて表示するようにしてもよい。

（７．実施形態３のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図１８のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図１８のフローチャートに示す制御処理を開始する。

要求受信部１０１は、画像の識別情報（画像ＵＲＬ）と、指定領域と、認識用言語と、変換情報（翻訳先言語）と、が指定された要求を、端末装置２００から受信する（ステップＳ３０１）。例えば、ユーザが、図１５（ａ）の領域９０９を指定し、図１５（ｃ）に示すようにポップアップ８０３で認識用言語及び翻訳先言語を指定すると、要求受信部１０１は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、指定領域“（１００、２０）：（２００、２８０）”と、認識用言語“英語”と、翻訳先言語“日本語”とが指定された要求を受信する。

画像処理部１０２は、受信された要求に指定される識別情報と、指定領域と、認識用言語と、翻訳先言語とに対応付けられる変換済文字列がキャッシュされているか否かを判断する（ステップＳ３０２）。

画像処理部１０２は、当該変換済文字列がキャッシュされていると判断した場合（ステップＳ３０２；Ｙｅｓ）、キャッシュされている変換済文字列を出力する（ステップＳ３０３）。例えば、画像処理部１０２は、図１６に示す抽出情報テーブル１０１ａを参照して、画像ＵＲＬ、認識用言語、及び翻訳先言語は一致し、要求に指定された指定領域“（１００、２０）：（２００、２８０）”とキャッシュされた指定領域（認識領域）“（１１０、２５）：（１９０、２７０）”とが重複すると判断する。この場合、画像処理部１０２は、画像ＵＲＬ、指定領域、認識用言語、及び翻訳先言語に対応付けられた変換済文字列“お買い得”を応答送信部１０３に出力する。

一方、画像処理部１０２は、当該変換済文字列がキャッシュされていないと判断した場合（ステップＳ３０２；Ｎｏ）、画像ＵＲＬと、指定領域と、認識用言語とに対応付けられる認識済文字列がキャッシュされているか否かを判断する（ステップＳ３０５）。

画像処理部１０２は、当該認識済文字列がキャッシュされていると判断した場合（ステップＳ３０５；Ｙｅｓ）、キャッシュされている認識済文字列を翻訳先言語に変換して、変換済文字列を取得する（ステップＳ３０６）。例えば、図１６の抽出情報テーブル１０１ａにおいて、翻訳先言語“日本語”及び変換済文字列“お買い得”が登録されていなかった場合、画像処理部１０２は、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を翻訳先言語“日本語”に変換し、変換済文字列“お買い得”を得る。

一方、画像処理部１０２は、当該認識済文字列がキャッシュされていないと判断した場合（ステップＳ３０５；Ｎｏ）、受信された要求に指定される画像ＵＲＬの画像を取得する（ステップＳ３０９）。そして、画像処理部１０２は、当該画像内の指定領域について文字認識を行い、認識済文字列を抽出する（ステップＳ３１０）。例えば、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”が一致しない場合、あるいは、要求に指定された指定領域とキャッシュされた指定領域が重複しなかった場合、画像処理部１０２は、ＷＥＢサーバ４００にアクセスし、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”に対応する画像６０１を取得する。そして、要求に指定される認識用言語“英語”を用いて指定領域について文字認識を行い、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”を抽出する。

ステップＳ３１０において、認識済文字列が抽出されると、画像処理部１０２は当該認識済文字列に対して変換処理を行う（ステップＳ３０６）。

画像処理部１０２は、画像の識別情報と、認識用言語と、翻訳先言語と、指定領域と、認識済文字列と、変換済文字列と、を対応付けてキャッシュする（ステップＳ３０７）。そして、取得した変換済文字列を応答送信部１０３へ出力する（ステップＳ３０８）。例えば、画像処理部１０２は、図１６に示すように、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、翻訳先言語“日本語”と、指定領域（認識領域）“（１１０、２５）：（１９０、２７０）”と、認識済文字列“Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”と、変換済文字列“お買い得”と、を対応付けて、抽出情報テーブル１０１ａに登録する。そして、変換済文字列“お買い得”を応答送信部１０３へ出力する。

そして、画像処理部１０２は、ステップＳ３０３又はステップＳ３０８において出力された変換済文字列が指定される応答を、端末装置２００へ送信する（ステップＳ３０４）。例えば、応答送信部１０３は、変換済文字列“お買い得”が指定された応答を端末装置２００へ送信する。

本実施形態によれば、ユーザが指定した画像内の領域について、既に変換処理の結果（翻訳結果）が得られている場合、画像の取得、文字認識の処理、及び、変換処理を省略することができる。これにより、画像内の文字列の翻訳に要する時間を短縮することができる。

（８．実施形態４のサーバ装置の概要構成）
実施形態４のサーバ装置１００は、画像について文字認識の処理が終了しているか否かをユーザに提示するものである。

本実施形態に係るサーバ装置１００は、図１９に示すように、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、問合受信部１０４と、回答送信部１０５と、から構成される。本実施形態の要求受信部１０１、画像処理部１０２、及び、応答送信部１０３は、実施形態１と同様の機能を有する。以下、異なる機能を有する問合受信部１０４及び回答送信部１０５について説明する。

問合受信部１０４は、画像の識別情報が指定された問合せを、端末装置２００から受信する。

例えば、図２０（ａ）に示すように、ユーザが画像６０１内にカーソル７０１を重ねると（マウスオーバをすると）、端末装置２００は、画像６０１の画像ＵＲＬが指定された問合せをサーバ装置１００に送信する。サーバ装置１００の問合受信部１０４は、当該問合せを受信する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、問合受信部１０４として機能する。なお、以下の実施形態５及び６においても同様である。

回答送信部１０５は、受信された問合せに指定される識別情報に対応付けられる抽出情報がキャッシュされていない場合、画像の識別情報と、画像処理のパラメータと、が指定された要求の送信を促すメッセージが指定された回答を、端末装置２００へ送信し、受信された問合せに指定される識別情報に対応付けられる抽出情報がキャッシュされている場合、当該抽出情報が指定された回答を、端末装置２００へ送信する。

ここで、画像処理のパラメータとは、文字認識のための認識用言語であり、抽出情報とは、認識済文字列であるとする。サーバ装置１００には、図６に示す抽出情報テーブル１０１ａが格納されているとする。当該抽出情報テーブル１０１ａには、要求に指定された画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”に対応する認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”が登録されている。したがって、回答送信部１０５は、認識済文字列が指定された回答を端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、図２０（ａ）に示すように、認識済文字列を含むポップアップ８０９が表示される。

なお、認識済文字列がキャッシュされている場合に送信される回答には、認識済文字列が得られている旨のメッセージが指定されるようにしてもよい。端末装置２００が当該回答を受信すると、図２０（ｂ）に示すように、認識済文字列が得られている旨のメッセージを含むポップアップ８１０が表示される。

一方、サーバ装置１００に、画像６０１の画像ＵＲＬに対応する認識済文字列がキャッシュされていない場合、回答送信部１０５は、画像６０１の画像ＵＲＬ及び認識用言語が指定された要求を送信するよう促すメッセージが指定された回答を、端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、図５（ａ）に示すように、認識用言語の入力を求めるポップアップ８０１が表示される。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、回答送信部１０５として機能する。なお、以下の実施形態５及び６においても同様である。

（９．実施形態４のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図２１のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図２１のフローチャートに示す制御処理を開始する。

問合受信部１０４は、画像の識別情報が指定された問合せを、端末装置２００から受信する（ステップＳ４０１）。例えば、画像６０１の画像ＵＲＬが指定された問合せを受信する。

回答送信部１０５は、当該問合せに指定される識別情報に対応付けられる認識済文字列がキャッシュされているか否かを判断する（ステップＳ４０２）。

回答送信部１０５は、当該認識済文字列がキャッシュされていると判断すると（ステップＳ４０２；Ｙｅｓ）、キャッシュされている認識済文字列が指定された回答を、端末装置２００に送信する（ステップＳ４０３）。例えば、画像６０１の画像ＵＲＬに対応する認識済文字列“Ｓａｌｅ Ｗａｔｅｒ Ｂｅｓｔ ｂａｎｇ ｆｏｒ ｔｈｅ ｂｕｃｋ”が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されている場合（図６）、回答送信部１０４は、端末装置２００に、当該認識済文字列を指定した回答を端末装置２００に送信する。

一方、回答送信部１０５は、当該認識済文字列がキャッシュされていないと判断すると（ステップＳ４０２；Ｎｏ）、認識用言語の指定を促すメッセージが指定された回答を、端末装置２００に送信する（ステップＳ４０４）。例えば、画像６０１の画像ＵＲＬに対応する認識済文字列が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されていない場合、回答送信部１０４は、画像６０１の画像ＵＲＬ及び認識用言語が指定された要求を送信するよう促すメッセージが指定された回答を、端末装置２００に送信する。

この後、端末装置２００から画像６０１の画像ＵＲＬ及び認識用言語が指定された要求を受け付けると、サーバ装置１００は、例えば、図８のフローチャートに示す制御処理を開始する。

本実施形態によれば、画像にマウスオーバ等するだけで、ユーザに、画像について文字認識の処理が終了しているか否かを知らせることができる。

（１０．実施形態５のサーバ装置の概要構成）
実施形態５のサーバ装置１００は、画像内の領域について文字認識の処理が終了しているか否かをユーザに提示するものである。

本実施形態に係るサーバ装置１００は、図１９に示すように、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、問合受信部１０４と、回答送信部１０５と、から構成される。本実施形態の要求受信部１０１、画像処理部１０２、及び、応答送信部１０３は、実施形態２と同様の機能を有する。以下、異なる機能を有する問合受信部１０４及び回答送信部１０５について説明する。

問合受信部１０４は、画像の識別情報と、当該画像内の位置と、が指定された問合せを、端末装置２００から受信する。

例えば、図２２（ａ）に示すように、ユーザが画像６０１内にカーソル７０１を重ねると（マウスオーバをすると）、端末装置２００は、画像６０１の画像ＵＲＬと、当該カーソル７０１の位置の座標（“（７５：１７５）”とする）とが指定された問合せをサーバ装置１００に送信する。サーバ装置１００の問合受信部１０４は、当該問合せを受信する。

回答送信部１０５は、受信された問合せに指定される識別情報、ならびに、受信された問合せに指定される位置を含む指定領域に対応付けられる認識済文字列が、画像処理部１０２によりキャッシュされている場合、当該キャッシュされている認識済文字列が指定された回答を、端末装置２００へ送信する。

例えば、サーバ装置１００には、図１２に示す抽出情報テーブル１０１ａが格納されているとする。図２２（ａ）に示すように、要求に指定された位置の座標“（７５：１７５）”は、認識領域９２２に含まれる。当該抽出情報テーブル１０１ａには、要求に指定された画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、要求に指定された位置の座標を含む指定領域（認識領域９２２）とに対応する認識済文字列“Ｗａｔｅｒ”が登録されている。したがって、回答送信部１０５は、当該認識済文字列が指定された回答を端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、図２２（ａ）に示すように、認識済文字列“Ｗａｔｅｒ”を含むポップアップ８１１が表示される。

なお、認識済文字列がキャッシュされている場合に送信される回答には、翻訳先言語が指定された要求の送信を促すメッセージが指定されるようにしてもよい。端末装置２００が当該回答を受信すると、図２２（ｂ）に示すように、翻訳先言語の指定を求めるポップアップ８１２が表示される。

一方、サーバ装置１００に、画像６０１の画像ＵＲＬ及び指定された位置が含まれる指定領域に対応する認識済文字列がキャッシュされていない場合、回答送信部１０５は、当該指定領域について画像６０１の画像ＵＲＬ、画像内の位置及び認識用言語が指定された要求を送信するよう促すメッセージが指定された回答を、端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、例えば、図２２（ｃ）に示すように、認識用言語の入力を求めるポップアップ８１３が表示される。

（１１．実施形態５のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図２３のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図２３のフローチャートに示す制御処理を開始する。

問合受信部１０４は、画像の識別情報と、当該画像内の位置と、が指定された問合せを、端末装置２００から受信する（ステップＳ５０１）。例えば、画像６０１の画像ＵＲＬ及び位置“（７５：１７５）”が指定された問合せを受信する。

回答送信部１０５は、当該問合せに指定される識別情報及び位置を含む指定領域に対応付けられる認識済文字列がキャッシュされているか否かを判断する（ステップＳ５０２）。

回答送信部１０５は、当該認識済文字列がキャッシュされていると判断すると（ステップＳ５０２；Ｙｅｓ）、キャッシュされている認識済文字列が指定された回答を、端末装置２００に送信する（ステップＳ５０３）。例えば、画像６０１の画像ＵＲＬ及び指定された位置“（７５：１７５）”を含む指定領域に対応する認識済文字列“Ｗａｔｅｒ”が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されている場合（図１２）、回答送信部１０４は、端末装置２００に、当該認識済文字列を指定した回答を端末装置２００に送信する。

一方、回答送信部１０５は、当該認識済文字列がキャッシュされていないと判断すると（ステップＳ５０２；Ｎｏ）、当該画像の指定領域について認識用言語の指定を促すメッセージが指定された回答を、端末装置２００に送信する（ステップＳ５０４）。例えば、画像６０１の画像ＵＲＬ及び指定された位置を含む指定領域に対応する認識済文字列が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されていない場合、回答送信部１０４は、画像６０１の画像ＵＲＬ、当該指定領域及び認識用言語が指定された要求を送信するよう促すメッセージが指定された回答を、端末装置２００に送信する。

本実施形態によれば、画像内の領域にマウスオーバ等するだけで、ユーザに、当該領域について文字認識の処理が終了しているか否かを知らせることができる。

（１２．実施形態６のサーバ装置の概要構成）
実施形態６のサーバ装置１００は、画像内の領域について変換処理が終了しているか否かをユーザに提示するものである。

本実施形態に係るサーバ装置１００は、図１９に示すように、要求受信部１０１と、画像処理部１０２と、応答送信部１０３と、問合受信部１０４と、回答送信部１０５と、から構成される。本実施形態の要求受信部１０１、画像処理部１０２、及び、応答送信部１０３は、実施形態３と同様の機能を有する。以下、異なる機能を有する問合受信部１０４及び回答送信部１０５について説明する。

問合受信部１０４は、画像の識別情報と、当該画像内の位置と、変換情報と、が指定された問合せを、端末装置２００から受信する。

例えば、図２２（ａ）に示すように、ユーザが画像６０１内にカーソル７０１を重ねると、図２２（ｂ）に示すように、翻訳先言語（変換情報）の指定を求めるポップアップ８１２が表示される。そして、ユーザが任意の翻訳先言語（例えば“スペイン語”）を選択すると、端末装置２００は、画像６０１の画像ＵＲＬと、当該カーソル７０１の位置の座標“（７５：１７５）”と、翻訳先言語“スペイン語”が指定された問合せをサーバ装置１００に送信する。サーバ装置１００の問合受信部１０４は、当該問合せを受信する。

回答送信部１０５は、受信された問合せに指定される識別情報、変換情報、ならびに、前記受信された問合せに指定される位置を含む指定領域に対応付けられる変換済文字列が、前記画像処理部によりキャッシュされている場合、前記回答に当該キャッシュされている変換済文字列が指定された回答を送信する。

例えば、サーバ装置１００には、図２４に示す抽出情報テーブル１０１ａが格納されているとする。当該抽出情報テーブル１０１ａには、要求に指定された画像６０１の画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、要求に指定された位置の座標を含む指定領域（認識領域９２２）と、翻訳先言語“スペイン語”に対応する変換済文字列“Ａｇｕａ”が登録されている。したがって、回答送信部１０５は、当該変換済文字列が指定された回答を端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、図２５（ａ）に示すように、変換済文字列“Ａｇｕａ”を含むポップアップ８１４が表示される。

一方、サーバ装置１００に、画像６０１の画像ＵＲＬ、指定された位置が含まれる指定領域、及び翻訳先言語に対応する変換済文字列がキャッシュされていない場合、回答送信部１０５は、当該変換済文字列がキャッシュされていない旨のメッセージが指定された回答を、端末装置２００に送信する。端末装置２００が当該回答を受信すると、端末装置２００に表示されるＷＥＢページには、例えば、図２５（ｂ）に示すように、変換済文字列がキャッシュされていない旨のメッセージを含むポップアップ８１５が表示される。

（１３．実施形態６のサーバ装置の動作）
次に、本実施形態のサーバ装置１００の各部が行う動作について図２６のフローチャートを用いて説明する。サーバ装置１００に電源が入れられると、ＣＰＵ ５０１は図２６のフローチャートに示す制御処理を開始する。

問合受信部１０４は、画像の識別情報と、当該画像内の位置と、変換情報と、が指定された問合せを、端末装置２００から受信する（ステップＳ６０１）。例えば、画像６０１の画像ＵＲＬ、位置“（７５：１７５）”、及び翻訳先言語“スペイン語”が指定された問合せを受信する。

回答送信部１０５は、当該問合せに指定される識別情報、位置を含む指定領域、及び翻訳先言語に対応付けられる変換済文字列がキャッシュされているか否かを判断する（ステップＳ６０２）。

回答送信部１０５は、当該変換済文字列がキャッシュされていると判断すると（ステップＳ６０２；Ｙｅｓ）、キャッシュされている変換済文字列が指定された回答を、端末装置２００に送信する（ステップＳ６０３）。例えば、画像６０１の画像ＵＲＬ、指定された位置“（７５：１７５）”を含む指定領域、及び翻訳先言語“スペイン語”に対応する変換済文字列“Ａｇｕａ”が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されている場合（図２４）、回答送信部１０４は、端末装置２００に、当該変換済文字列を指定した回答を端末装置２００に送信する。

一方、回答送信部１０５は、当該変換済文字列がキャッシュされていないと判断すると（ステップＳ６０２；Ｎｏ）、当該変換済文字列がキャッシュされていない旨のメッセージが指定された回答を、端末装置２００に送信する（ステップＳ６０４）。例えば、画像６０１の画像ＵＲＬ、指定された位置を含む指定領域、及び翻訳先言語“スペイン語”に対応する変換済文字列が、サーバ装置１００に格納される抽出情報テーブル１０１ａに登録されていない場合、回答送信部１０４は、当該変換済文字列がキャッシュされていない旨のメッセージが指定された回答を、端末装置２００に送信する。

なお、本実施形態において、問合受信部１０４は、画像ＵＲＬ及び位置が指定された問合せを受信し、回答送信部１０５は、当該画像ＵＲＬ及び当該位置が含まれる指定領域に対応する変換済文字列が指定された回答を送信するようにしてもよい。

例えば、画像６０１の画像ＵＲＬ及び指定された位置“（７５：１７５）”が指定された問合せを受信した場合、回答送信部１０５は、図２４の抽出情報テーブル１０１ａを参照し、当該画像ＵＲＬ及び当該位置が含まれる指定領域に対応する変換済文字列“水”、“Ａｇｕａ”、“Ｌ’ｅａｕ”を取得する。そして、回答送信部１０５は、これらすべての変換済文字列が指定された回答を端末装置２００に送信する。当該回答を端末装置２００が受信すると、端末装置２００において、例えば、図２５（ｃ）に示すようなポップアップ８１６が表示される。あるいは、回答送信部１０５は、これまでに要求において指定された頻度の最も高い翻訳先言語に対応する変換済文字列を選択し、当該変換済文字列を指定した回答を送信するようにしてもよい。また、あるいは、回答送信部１０５は、抽出情報テーブル１０１ａに登録されている変換済文字列からランダムに選択して、当該変換済文字列を指定した回答を送信するようにしてもよい。

本実施形態によれば、画像内の領域にマウスオーバ等するだけで、ユーザに、当該領域について変換処理（翻訳処理）が終了しているか否かを知らせることができる。

（１４．実施形態７の端末装置の概要構成）
実施形態７のプログラムは、サーバ装置と通信可能な端末装置に、サーバ装置で行った文字認識又は変換処理の結果を表示させるように機能させるものである。

本実施形態に係るプログラムが動作する端末装置２００は、図２７に示すように、表示部２０１と、位置検出部２０２と、問合送信部２０３と、回答受信部２０４と、領域検出部２０５と、設定部２０６と、要求送信部２０７と、応答受信部２０８と、から構成される。

表示部２０１は、識別情報により識別される画像を画面に表示する。

例えば、表示部２０１は、図２２（ａ）に示すように、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と指定される画像６０１を表示する。

本実施形態では、ＣＰＵ ５０１及び画像処理部５０５が協働して、表示部２０１として機能する。

位置検出部２０２は、画面に表示された画像内の位置の選択を検出する。

例えば、位置検出部２０２は、図２２（ａ）に示すように、画像内にカーソル７０１を重ねると、当該カーソル７０１の位置の座標を検出する。

本実施形態では、ＣＰＵ ５０１及び画像処理部５０５が協働して、位置検出部２０２として機能する。

問合送信部２０３は、位置の選択が検出されると、識別情報と、当該選択された位置と、が指定された問合せを、サーバ装置１００へ送信する。

例えば、図２２（ａ）の場合、問合送信部２０３は、画像６０１の画像ＵＲＬと、位置の座標“（７５：１７５）”とが指定された問合せをサーバ装置１００に送信する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、問合送信部２０３として機能する。

回答受信部２０４は、サーバ装置１００から、回答を受信する。そして、表示部２０１が、受信された回答に指定される抽出情報を、画面にさらに表示する。

例えば、回答受信部２０４は、認識済文字列“Ｗａｔｅｒ”が指定された回答を受信する。この場合、表示部２０１は、図２２（ａ）に示すように、当該認識済文字列が含まれるポップアップ８１１を表示する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、回答受信部２０４として機能する。

領域検出部２０５は、画面に表示された画像内の領域の選択を検出する。

例えば、領域検出部２０５は、図９（ａ）に示すように、画像内でカーソル７０１がドラッグされると、ドラッグされた領域（領域９０２）の座標を検出する。

本実施形態では、ＣＰＵ ５０１及び画像処理部５０５が協働して、領域検出部２０５として機能する。

設定部２０６は、画像処理用のパラメータの設定を促す。

例えば、設定部２０６は、文字認識に使用する認識用言語の設定を促す。

本実施形態では、ＣＰＵ ５０１が設定部２０６として機能する。

要求送信部２０７は、領域の選択が検出されると、識別情報と、設定されたパラメータと、当該選択された領域と、が指定された要求を、サーバ装置１００へ送信する。

例えば、図９（ａ）のように領域が指定されて、当該領域の座標が検出されると、要求送信部２０７は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と、認識用言語“英語”と、選択された領域の座標“（５、１００）：（４８、２００）”と、が指定された要求を、サーバ装置１００へ送信する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、要求送信部２０７として機能する。

応答受信部２０８は、サーバ装置１００から、応答を受信する。そして、表示部２０１が、受信された応答に指定される抽出情報を、画面にさらに表示する。

例えば、応答受信部２０８は、認識済文字列“Ｓａｌｅ”が指定された応答を受信する。この場合、表示部２０１は、例えば、図１３（ａ）に示すように、認識済文字列“Ｓａｌｅ”に半透明の矩形９３１が重ねて表示する。

本実施形態では、ＣＰＵ ５０１及びＮＩＣ ５０４が協働して、応答受信部２０８として機能する。
（１５．実施形態７の端末装置の動作）

次に、本実施形態の端末装置２００の各部が行う動作について図２８のフローチャートを用いて説明する。端末装置２００に電源が入れられると、ＣＰＵ ５０１は図２８のフローチャートに示す制御処理を開始する。

表示部２０１は、識別情報により識別される画像を画面に表示する（ステップＳ７０１）。位置検出部２０２は、当該画面に表示された画像内の位置の選択を検出したか否かを判断する（ステップＳ７０２）。

例えば、表示部２０１は、画像ＵＲＬ“ｈｔｔｐ：／／ｘｘｘ．６０１．ｊｐｇ”と指定される画像６０１を表示し、画像６０１にカーソル７０１を重ねると、位置検出部２０２は、カーソル７０１の位置の座標“（７５：１７５）”を検出する（図２２（ａ））。

位置検出部２０２により、位置の選択を検出したと判断されると（ステップＳ７０２；Ｙｅｓ）、問合送信部２０３は、識別情報と、当該選択された位置と、が指定された問合せを、サーバ装置１００へ送信する（ステップＳ７０３）。そして、回答受信部２０４は、サーバ装置１００から、応答に対する回答を受信する（ステップＳ７０４）。表示部２０１は、受信された回答に指定される抽出情報を、画面にさらに表示する（ステップＳ７０５）。

例えば、問合送信部２０３は、画像６０１の画像ＵＲＬと、位置の座標“（７５：１７５）”とが指定された問合せをサーバ装置１００に送信する。そして、回答受信部２０４は、当該位置の座標が含まれる領域において、文字認識により得られた認識済文字列“Ｗａｔｅｒ”が指定された回答を受信する。当該回答を受信すると、表示部２０１は、図２２（ａ）に示すように、当該認識済文字列が含まれるポップアップ８１１を表示する。

一方、位置検出部２０２により、位置の選択を検出したと判断されなかった場合（ステップＳ７０２；Ｎｏ）、領域検出部２０５は、画面に表示された画像内の領域の選択を検出したか否かを判断する（ステップＳ７０６）。

例えば、ユーザにより、図９（ａ）に示すように、画像内でカーソル７０１がドラッグされると、領域検出部２０５は、ドラッグされた領域（領域９０２）の座標“（５、１００）：（４８、２００）”を検出する。

領域検出部２０５により、領域の選択を検出したと判断されると（ステップＳ７０６；Ｙｅｓ）、設定部２０６は、画像処理用のパラメータの設定を促す（ステップＳ７０７）。要求送信部２０７は、識別情報と、設定されたパラメータと、当該選択された領域と、が指定された要求を、サーバ装置１００へ送信する（ステップＳ７０８）。そして、応答受信部２０８は、サーバ装置１００から、当該要求に対応する応答を受信する（ステップＳ７０９）。表示部２０１は、受信された応答に指定される抽出情報を、画面にさらに表示する（ステップＳ７１０）。

例えば、設定部２０６は、文字認識に使用する認識用言語の設定を促し、認識用言語“英語”が設定されると、要求送信部２０７は、画像６０１の画像ＵＲＬと、認識用言語“英語”と、領域の座標“（５、１００）：（４８、２００）”と、が指定された要求を、サーバ装置１００へ送信する。そして、応答受信部２０８は、当該領域と重複する領域において、文字認識により得られた認識済文字列“Ｓａｌｅ”が指定された応答を受信する。当該応答を受信すると、表示部２０１は、例えば、図１３（ａ）に示すように、認識済文字列“Ｓａｌｅ”に半透明の矩形９３１が重ねて表示する。

一方、領域検出部２０５により、領域の選択を検出したと判断されなかった場合（ステップＳ７０６；Ｎｏ）、あるいは、ステップＳ７０５、Ｓ７１０の処理が終了すると、ステップＳ７０１に戻る。

なお、本実施形態において、回答受信部２０４が受信する回答には、抽出情報が画像のどの領域から抽出されたかを示す領域情報がさらに指定されるようにしてもよい。そして、本実施形態のプログラムは、画像の識別情報と、抽出情報と、領域情報と、を対応付けて端末装置２００にキャッシュさせるようにしてもよい。この場合、ユーザが、当該画像と識別情報が同じ画像に対して、キャッシュされた領域情報に含まれる領域にマウスオーバすると、表示部２０１は、当該領域情報に対応する抽出情報を画面に表示する。

また、応答受信部２０８が受信する応答には、抽出情報が画像のどの領域から抽出されたかを示す領域情報がさらに指定されるようにしてもよい。そして、本実施形態のプログラムは、画像の識別情報と、抽出情報と、領域情報と、を対応付けて端末装置２００にキャッシュさせるようにしてもよい。この場合、ユーザが、当該画像と識別情報が同じ画像に対して、キャッシュされた領域情報が示す領域と重複するように領域を選択すると、表示部２０１は当該領域情報に対応する抽出情報を画面に表示する。領域が重複するか否かの判断は、例えば、実施形態２の場合と同様に行うことができる。

また、本実施形態のプログラムは、ブラウザが実行する各種のスクリプト言語等により記述される。

本実施形態によれば、サーバ装置と通信可能な端末装置に、サーバ装置で行った文字認識や変換処理の結果を表示させることができ、端末装置においてＷＥＢページ内の画像の文字をリアルタイムで表示させることができる。

本発明によれば、ＷＥＢページ内の画像の文字をリアルタイムで翻訳するのに好適なサーバ装置、サーバ装置の制御方法、プログラム、及び、記録媒体を提供することができる。

１００ サーバ装置
１０１ 要求受信部
１０２ 画像処理部
１０３ 応答送信部
１０４ 問合受信部
１０５ 回答送信部
２１１、２１２〜２１ｎ、２００ 端末装置
２０１ 表示部
２０２ 位置検出部
２０３ 問合送信部
２０４ 回答受信部
２０５ 領域検出部
２０６ 設定部
２０７ 要求送信部
２０８ 応答受信部
３００ インターネット
４００ ＷＥＢサーバ装置
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ＮＩＣ
５０５ 画像処理部
５０６ 音声処理部
５０７ ＤＶＤ−ＲＯＭドライブ
５０８ インターフェース
５０９ 外部メモリ
５１０ コントローラ
５１１ モニタ
５１２ スピーカ
６００ ＷＥＢページ
６０１、６０２、６０３ 画像
６０４、６０５、６０６ テキスト
７０１ カーソル
８０１、８０３、８０６、８０７、８０９、８１０、８１１、８１２、８１３、８１４、８１５、８１６ ポップアップ
８０２、８０４、８０５ ボタン
９０１、９３１、９３２、９３３、９４１ 矩形
９０２、９０３、９０４、９０５、９０６、９０７、９０８、９０９、９１０ 領域
９１１、９１２ 角
９２１、９２２、９２３ 認識領域

Claims (9)

1. 画像の識別情報と当該画像内の領域を指定する指定領域とが指定された変換要求を端末から受信する要求受信部、
   前記受信された変換要求に指定された識別情報に基づいて画像を取得し、前記取得された画像内の前記指定領域によって特定された領域に対して文字認識処理を適用することにより得られた認識済文字列を示す抽出情報を出力する画像処理部、
   前記画像処理部により出力された抽出情報が示す認識済文字列に変換処理を適用することにより得られた変換済文字列を、前記端末へ送信する応答送信部
   を備え、
   前記画像処理部は、前記抽出情報が出力されると、当該抽出情報に対する画像の識別情報及び前記指定領域に基づいて設定された領域に対応付けて、当該出力された抽出情報をキャッシュし、
   前記要求受信部によって受信された変換要求に指定される識別情報及び指定領域と、キャッシュされた識別情報及び領域とが対応しているか否か判定し、対応していると判定された場合、前記画像処理部は、前記画像の取得ならびに前記文字認識処理の適用にかえて、前記キャッシュされている抽出情報を利用する
   ことを特徴とするサーバ装置。
2. 請求項１に記載のサーバ装置であって、
   前記画像処理部は、前記認識済文字列がキャッシュされた際に対応付けられた識別情報と、前記受信された変換要求に指定された識別情報と、が一致し、前記認識済文字列がキャッシュされた際に対応付けられた領域と、前記受信された変換要求に指定される指定領域と、が、重複する場合、前記受信された変換要求に指定される識別情報及び指定領域と、キャッシュされた識別情報及び領域とが対応していると判定する
   ことを特徴とするサーバ装置。
3. 請求項１または２に記載のサーバ装置であって、
   前記画像処理部は、前記指定領域を前記指定領域内において当該認識済文字列が認識された認識領域に補正し、当該認識領域を前記指定領域に基づいて設定された領域として前記抽出情報と対応付けてキャッシュする
   ことを特徴とするサーバ装置。
4. 請求項１から３のいずれか１項に記載のサーバ装置であって、
   前記変換要求には、更に認識用言語が指定され、
   前記画像処理部による文字認識処理は、前記認識用言語により行われる
   ことを特徴とするサーバ装置。
5. 請求項１から３のいずれか１項に記載のサーバ装置であって、
   前記変換要求には、更に翻訳先言語が指定され、
   前記画像処理部は、前記得られた認識済文字列に対して、前記受信された変換要求に指定された翻訳先言語を用いて変換処理を行うことにより、前記変換済文字列を得る、
   ことを特徴とするサーバ装置。
6. 請求項１から５のいずれか１項に記載のサーバ装置であって、
   画像の識別情報と、当該画像内の位置と、が指定された問合せを、前記端末から受信する問合受信部、
   前記受信された問合せに指定される識別情報、ならびに、前記受信された問合せに指定される位置を含む指定領域に対応付けられる認識済文字列が、前記画像処理部によりキャッシュされている場合、当該キャッシュされている認識済文字列が指定された回答を、前記端末へ送信する回答送信部
   をさらに備えることを特徴とするサーバ装置。
7. 識別情報により識別される画像を画面に表示する表示部を備え、請求項６に記載のサーバ装置と通信可能なコンピュータが実行するプログラムであって、当該プログラムは、当該コンピュータを、
   前記画面に表示された画像内の位置の選択を検出する位置検出部、
   前記位置の選択が検出されると、前記識別情報と、当該選択された位置と、が指定された問合せを、前記サーバ装置へ送信する問合送信部、
   前記サーバ装置から、回答を受信する回答受信部
   として機能させ、当該プログラムは、当該コンピュータを、
   前記表示部が、前記受信された回答に指定される抽出情報を、前記画面にさらに表示する
   ように機能させ、当該プログラムは、当該コンピュータを、
   前記画面に表示された画像内の領域の選択を検出する領域検出部、
   画像処理用のパラメータの設定を促す設定部、
   前記領域の選択が検出されると、前記識別情報と、前記設定されたパラメータと、当該選択された領域と、が指定された要求を、前記サーバ装置へ送信する要求送信部、
   前記サーバ装置から、応答を受信する応答受信部
   として機能させ、当該プログラムは、当該コンピュータを、
   前記表示部が、前記受信された応答に指定される抽出情報を、前記画面にさらに表示する
   ように機能させることを特徴とするプログラム。
8. 要求受信部と、画像処理部と、応答送信部と、を備えるサーバ装置が実行する制御方法であって、
   前記要求受信部が、画像の識別情報と当該画像内の領域を指定する指定領域とが指定された変換要求を端末から受信する要求受信工程、
   前記画像処理部が、前記受信された変換要求に指定された識別情報に基づいて画像を取得し、前記取得された画像内の前記指定領域によって特定された領域に対して文字認識処理を適用することにより得られた認識済文字列を示す抽出情報を出力する画像処理工程、
   前記応答送信部が、前記画像処理部により出力された抽出情報が示す認識済文字列に変換処理を適用することにより得られた変換済文字列を、前記端末へ送信する応答送信工程
   を備え、
   前記画像処理工程において、
   前記画像処理部は、前記抽出情報が出力されると、当該抽出情報に対する画像の識別情報及び前記指定領域に基づいて設定された領域に対応付けて、当該出力された抽出情報をキャッシュし、
   前記要求受信部によって受信された変換要求に指定される識別情報及び指定領域と、キャッシュされた識別情報及び領域とが対応しているか否か判定し、対応していると判定された場合、前記画像処理部は、前記画像の取得ならびに前記文字認識処理の適用にかえて、前記キャッシュされている抽出情報を利用する
   ことを特徴とするサーバ装置の制御方法。
9. コンピュータを、
   画像の識別情報と当該画像内の領域を指定する指定領域とが指定された変換要求を端末から受信する要求受信部、
   前記受信された変換要求に指定された識別情報に基づいて画像を取得し、前記取得された画像内の前記指定領域によって特定された領域に対して文字認識処理を適用することにより得られた認識済文字列を示す抽出情報を出力する画像処理部、
   前記画像処理部により出力された抽出情報が示す認識済文字列に変換処理を適用することにより得られた変換済文字列を、前記端末へ送信する応答送信部
   として機能させ、
   前記画像処理部は、前記抽出情報が出力されると、当該抽出情報に対する画像の識別情報及び前記指定領域に基づいて設定された領域に対応付けて、当該出力された抽出情報をキャッシュし、
   前記要求受信部によって受信された変換要求に指定される識別情報及び指定領域と、キャッシュされた識別情報及び領域とが対応しているか否か判定し、対応していると判定された場合、前記画像処理部は、前記画像の取得ならびに前記文字認識処理の適用にかえて、前記キャッシュされている抽出情報を利用する
   ように機能させることを特徴とするプログラム。

Images