JPWO2014155742A1 - 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム - Google Patents

情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム Download PDF

Info

Publication number
JPWO2014155742A1
JPWO2014155742A1 JP2015505745A JP2015505745A JPWO2014155742A1 JP WO2014155742 A1 JPWO2014155742 A1 JP WO2014155742A1 JP 2015505745 A JP2015505745 A JP 2015505745A JP 2015505745 A JP2015505745 A JP 2015505745A JP WO2014155742 A1 JPWO2014155742 A1 JP WO2014155742A1
Authority
JP
Japan
Prior art keywords
image
character string
translation
converted
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015505745A
Other languages
English (en)
Other versions
JP5829354B2 (ja
Inventor
宗 益子
宗 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP5829354B2 publication Critical patent/JP5829354B2/ja
Publication of JPWO2014155742A1 publication Critical patent/JPWO2014155742A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明の情報処理システムは、元画像に付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し(S109)、変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元画像について、該変換済み文字列を表す変換済み画像を生成し(S113)、画面に表示されるオブジェクト内における元画像の配置領域の最前面の内容を該変換済み画像に変更させる(S115,S118)。

Description

本発明は、閲覧システム、閲覧システムの制御方法、端末、端末の制御方法、サーバ、サーバの制御方法、情報記憶媒体、及びプログラムに関する。
画像処理の分野では、文字列と背景画像とを含む原画像から文字列を読み取り、翻訳等の変換を行った上で、変換後の文字列と背景画像とを含む新たな画像を生成したい場合がある。
例えば、仮想商店街サイトでは、バーゲンなどで用いられる「最終日」等の文字列と、注意を喚起するための図形等の背景画像と、を含む画像が用いられることがある。こうした画像から文字列を読み取り、他の言語に翻訳した上で、翻訳後の文字列と背景画像とを含む画像を生成する機能があると便利である。
特許文献1には、端末から画像要求を受信し、受信された画像要求に指定される画像パラメタにより特定される付加情報で指定される文字又は文字列を付加した画像を画像応答として送信するサーバが開示されている。
国際公開第2012/147936号
しかしながら、特許文献1に開示された技術では、画像に付加される文字列が複数ある場合や、文字列が付加される画像が複数ある場合などに、サーバの処理負担が大きくなりやすい。
本発明は上記課題に鑑みてなされたものであって、その目的は、処理の集中を回避することが可能な情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラムを提供することにある。
上記課題を解決するため、本発明の情報処理システムは、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、を備える。
また、本発明の情報処理システムの制御方法は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる。
また、本発明の情報処理装置は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、を備える。
また、本発明の情報処理装置の制御方法は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる。
また、本発明のプログラムは、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、としてコンピュータを機能させるプログラムである。
また、本発明の情報記憶媒体は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
また、本発明の一態様において、前記取得手段は、前記複数の元文字列に対する優先順位に基づく順序にしたがって、該複数の元文字列にそれぞれ対応する前記複数の変換済み文字列を一部ずつ取得する。
また、本発明の一態様において、前記優先順位は、前記元文字列の表示態様と、前記オブジェクト内における前記元文字列が付加された画像の配置位置と、の少なくともいずれかに基づいて設定手段により設定される。
また、本発明の一態様において、前記優先順位は、前記表示情報に基づいて表示されるオブジェクト内における前記元文字列の視覚的特徴量の大きさに基づいて設定手段により設定される。
また、本発明の一態様において、前記設定手段をさらに備える。
また、本発明の一態様において、画像ごとに所定のタイミングで取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる。
また、本発明の一態様において、前記オブジェクトの前記画面に表示されている範囲を示す範囲情報を所定のタイミングで前記表示装置から取得する範囲情報取得手段をさらに備え、前記設定手段は、前記範囲情報が示す範囲に含まれない元文字列に対する優先順位を少なくとも1段階下げる。
また、本発明の一態様において、前記設定手段により設定される優先順位に基づく順序にしたがって所定のタイミングで前記元文字列に対応する画像の取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる。
また、本発明の一態様において、前記変更手段は、前記表示装置に、前記オブジェクト内における該生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に漸進的に変更させる。
本発明によると、変換済み画像を生成する処理の集中を回避することが可能であり、このため処理負担の軽減を図ることが可能である。
本発明の実施形態に係る閲覧システムの構成の一例を示す図である。 画像サーバのハードウェア構成の一例を示す図である。 翻訳前ページの一例を示す図である。 翻訳後ページの一例を示す図である。 閲覧システムの処理の一例の概要を示すシーケンス図である。 画像サーバの処理フローの一例を示す図である。 ユーザ端末の処理フローの一例を示す図である。 翻訳前画像の一例を示す図である。 一部翻訳後の翻訳後画像の一例を示す図である。 全部翻訳後の翻訳後画像の一例を示す図である。 画像の描画過程の一例を示す図である。 画像サーバの処理フローの一例を示す図である。 翻訳前画像を含むページの一例を示す図である。 一部翻訳後の翻訳後画像を含むページの一例を示す図である。 全部翻訳後の翻訳後画像を含むページの一例を示す図である。 画像サーバの処理フローの一例を示す図である。 翻訳前画像を含むページの一例を示す図である。 一部翻訳後の翻訳後画像を含むページの一例を示す図である。 全部翻訳後の翻訳後画像を含むページの一例を示す図である。
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
図1は、本発明の実施形態に係る閲覧システム1の構成の一例を示す図である。閲覧システム1は、ウェブサーバ2、画像サーバ3、翻訳サーバ4、及びユーザ端末10を備えている。これらウェブサーバ2、画像サーバ3、翻訳サーバ4、及びユーザ端末10は、通信ネットワーク5に接続されており、相互に通信可能となっている。
ウェブサーバ2、画像サーバ3、及び翻訳サーバ4は、例えばHTTP(Hypertext Transfer Protocol)に則って、ユーザ端末10と通信する。ウェブサーバ2は、例えば、仮想商店街サイトを提供するサーバである。画像サーバ3は、例えば、仮想商店街サイトにおいて利用される画像データを記憶するデータベースを備えている。翻訳サーバ4は、例えば、指定された文字列を他の言語に翻訳する処理を実行する。なお、画像サーバ3の機能のうち、画像を生成する処理を実行する機能を他のアプリケーションサーバに備えさせてもよい。また、ウェブサーバ2及び画像サーバ3は一体であってもよい。
例えば、ウェブサーバ2ではHTTPデーモンが起動され、ユーザ端末10ではウェブブラウザが起動される。処理要求(HTTPリクエスト)がユーザ端末10からウェブサーバ2に送信されると、これに対応する処理結果(HTTPレスポンス)がウェブサーバ2からユーザ端末10に送信される。例えば、ウェブサーバ2はウェブページ記述言語で記述されたページデータをユーザ端末10に送信し、ユーザ端末10は受信したページデータに基づいて画面にページを表示する。
図2は、画像サーバ3のハードウェア構成の一例を示す図である。画像サーバ3は、例えば、デスクトップ型コンピュータ又はラップトップ型コンピュータ等によって実現される。
図2に示されるように、画像サーバ3は、制御部11、記憶部12、光ディスクドライブ部13、通信インタフェース部14、操作部15、表示部16、及び音声出力部17を含んでいる。
制御部11は、例えば1又は複数のマイクロプロセッサを含み、記憶部12に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部12は、例えばRAM、ハードディスク、又はソリッドステートドライブを含んでいる。光ディスクドライブ部13は、光ディスク(情報記憶媒体)に記憶されたプログラムやデータを読み取る。
プログラムやデータは、光ディスクを介して記憶部12に供給される。すなわち、プログラムやデータは、光ディスクドライブ部13によって光ディスクから読み出され、記憶部12に記憶される。なお、光ディスク以外の情報記憶媒体(例えばメモリカード)に記憶されたプログラム又はデータを読み取るための構成要素が画像サーバ3に含まれていてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部12に供給されるようにしてもよい。
通信インタフェース部14は、画像サーバ3を通信ネットワークに接続するためのインタフェースである。画像サーバ3は、通信ネットワークを介して他の装置とデータを授受できるようになっている。なお、プログラム及びデータは、通信ネットワークを介して記憶部12に供給されるようにしてもよい。
操作部15は、ユーザが操作を行うためのものである。例えば、キーボード、マウス、タッチパッド、タッチパネル、又はスティック(レバー)等が操作部15に相当する。表示部16は、例えば液晶表示ディスプレイ又は有機ELディスプレイ等である。音声出力部17は、例えばスピーカ又はヘッドホン端子等である。
なお、ユーザ端末10、ウェブサーバ2、及び翻訳サーバ4も、以上に説明した画像サーバ3と同様の構成を備えている。
図3Aは、翻訳される前の元ページ(以下、翻訳前ページ6という)の一例を示す図である。すなわち、翻訳前ページ6は、ウェブサーバ2が保持するページデータを、翻訳サーバ4等による翻訳処理を経ることなく、ユーザ端末10で処理した場合に表示されるページである。
翻訳前ページ6は、表示情報としてのページデータに基づいて表示されるページであり、文字列(以下、翻訳前文字列61という)を含んでいる。翻訳前文字列61は、ページデータ内に記述された文字列であって、かつ翻訳前ページ6内に表示される文字列である。例えばHTMLで記述されたページデータの場合、翻訳前文字列61は「body」タグに記述された文字列である。本実施形態では、翻訳前文字列61は「ただいまスーパーセール中。お買い物をお楽しみ下さい。」という日本語の文字列である。
また、翻訳前ページ6は、文字列が表された元画像(以下、翻訳前画像7という)を含んでいる。翻訳前画像7は、ページデータ内にその所在が記述された画像であって、かつ翻訳前ページ6内に表示される画像である。例えばHTMLで記述されたページデータの場合、「img」タグに翻訳前画像7の所在を表すURL(Uniform Resource Locator)が記述されている。
翻訳前画像7は、例えば、背景画像71上に複数の文字列(以下、翻訳前文字列72,74という)が書き込まれた、背景画像71と複数の翻訳前文字列72,74とが一体化した画像である。第1の翻訳前文字列72は、背景画像71の中央部分に比較的大きく配置されている。本実施形態では、第1の翻訳前文字列72は、例えばバーゲン等の最終日であることを表す「最終日」という日本語の文字列である。他方、第2の翻訳前文字列74は、背景画像71の中央から離れた位置に比較的小さく配置されており、第1の翻訳前文字列72よりも目立ちにくい。本実施形態では、第2の翻訳前文字列74は、例えば最終日における、より具体的な終了時刻を表す「午後12時まで」という日本語の文字列である。
なお、こうした翻訳前画像7では、一般に、翻訳前文字列72,74が背景画像71とは異なる目立つ色で書かれていることが多い。また、翻訳前文字列72,74は単色で書かれることが多く、横方向、縦方向、又は斜め方向に整列している場合が多い。
図3Bは、翻訳後ページ8の一例を示す図である。翻訳後ページ8は、上記図3Aにおける翻訳前ページ6内に記述された翻訳前文字列61と、翻訳前ページ6内に含まれる翻訳前画像7に表された翻訳前文字列72,74と、が翻訳された後のページである。すなわち、翻訳後ページ8は、ウェブサーバ2が保持するページデータを、翻訳サーバ4等による後述の一連の翻訳処理を経た上で、ユーザ端末10で処理した場合に表示されるページである。
翻訳後ページ8は、上記翻訳前文字列61が翻訳された文字列(以下、翻訳後文字列81という)を含んでいる。本実施形態では、翻訳後文字列81は「Now on Super Sale. Please enjoy your shopping.」という英語の文字列である。
また、翻訳後ページ8は、上記翻訳前文字列72,74が翻訳された文字列(以下、翻訳後文字列92,94)が表された画像(以下、翻訳後画像9という)を、変換済み画像として含んでいる。翻訳後画像9は、上記翻訳前画像71と同じ背景画像71上に翻訳後文字列92,94が書き込まれた、背景画像71と翻訳後文字列92,94とが一体化した画像である。
第1の翻訳後文字列92は、上記第1の翻訳前文字列72と同様に、背景画像71の中央部分に比較的大きく配置されている。本実施形態では、第1の翻訳後文字列92は、例えば最終日という日本語に対応する「FINAL DAY」という英語の文字列である。他方、第2の翻訳後文字列94は、上記第2の翻訳前文字列74と同様に、背景画像71の中央から離れた位置に比較的小さく配置されている。本実施形態では、第2の翻訳後文字列94は、例えば午後12時までという日本語に対応する「until 12 p.m.」という英語の文字列である。
なお、本実施形態では、日本語の文字列を英語の文字列に翻訳しているが、翻訳前言語と翻訳後言語の組み合わせはこの態様に限られない。また、文字列は、同一言語の異なる種類の文字に変換されてもよい。例えば、漢字の文字列が、平仮名の文字列又は片仮名の文字列に変換されてもよい。また、文字列に含まれる文字の数は、複数に限られず1つであってもよい。
以下、図3Aに示されるような翻訳前ページ6のページデータを基に、図3Bに示されるような翻訳後ページ8が表示されるまでの処理について説明する。
図4は、閲覧システム1の処理の一例の概要を示すシーケンス図である。
S101において、ユーザ端末10は、翻訳リクエストを翻訳サーバ4に送信する。翻訳リクエストは、翻訳対象の元ページデータの所在を表す所在情報を含んでいる。ここでは、所在情報は、ウェブサーバ2が保持する元ページデータの所在を表している。また、翻訳リクエストは、ユーザによって指定される翻訳前言語と翻訳後言語とを表す言語指定情報を含んでいる。
S102において、翻訳サーバ4は、受信した翻訳リクエストに含まれる所在情報に基づいて、翻訳対象の元ページデータを要求するページリクエストをウェブサーバ2に送信する。
S103において、ウェブサーバ2は、受信したページリクエストに基づいて、翻訳対象の元ページデータを翻訳サーバ4に送信する。
S104において、翻訳サーバ4は、受信した翻訳対象の元ページデータを翻訳する。翻訳サーバ4は、受信した翻訳リクエストに含まれる言語指定情報に基づいて、翻訳前言語で記述された元ページデータを、翻訳後言語で記述されたページデータ(以下、翻訳後ページデータという)に変換する。図3Aの例では、翻訳後言語に変換される対象は、翻訳前ページ6内に表示される翻訳前文字列61である。例えばHTMLで記述されたページデータの場合、「body」タグに記述された文字列が対象となる。また、翻訳サーバ4は、翻訳後ページデータに言語指定情報を付加する。
S105において、翻訳サーバ4は、生成された翻訳後ページデータをユーザ端末10に送信する。
S106において、ユーザ端末10は、受信した翻訳後ページデータに基づいて、表示部の画面に画像を含まない翻訳後ページを描画すると共に、画像データを要求する画像リクエストを画像サーバ3に送信する。画像リクエストは、翻訳後ページデータにより指定される画像データの所在を表す所在情報を含んでいる。ここでは、所在情報は、画像サーバ3が保持する翻訳前画像データの所在を表している。図3Aの例では、翻訳前ページ6内に表示される翻訳前画像7の所在が、所在情報に表されている。また、画像リクエストには、言語指定情報が付加されている。言語指定情報の付加は、例えば、ユーザ端末10がページデータで指定されるスクリプト処理を実行することによって実現される。
画像サーバ3は、受信した画像リクエストに元ページデータが翻訳されたことを表す言語指定情報が付加されている場合に、S107以降の一連の処理を実行する。以下、画像サーバ3が実行するS107以降の一連の処理について簡潔に説明するが、画像サーバ3の具体的な処理例及びそれに伴うユーザ端末10の具体的な処理例については後述する。
S107において、画像サーバ3は、画像リクエストにより特定される翻訳前画像データに表された翻訳前文字列の領域を特定する。
S108において、画像サーバ3は、領域が特定された翻訳前文字列について翻訳の優先度を決定する(設定手段としての機能の一例)。換言すると、画像サーバ3は、複数の翻訳後文字列を一部ずつ取得する順序を決定する。
画像サーバ3は、第1の優先度が割り当てられた一部の翻訳前文字列に対して一部翻訳処理(SP1)を実施する。具体的には、画像サーバ3は、第1の優先度の翻訳前文字列の文字データを取得し(S109)、当該文字データ及び言語指定情報を含む翻訳リクエストを翻訳サーバ4に送信する(S110)。翻訳サーバ4は、第1の優先度の翻訳前文字列を翻訳し(S111)、翻訳後文字列の文字データを画像サーバ3に送信する(S112)。次に、画像サーバ3は、取得した翻訳後文字列が表された翻訳後画像データを生成する(S113)。このように、画像サーバ3は、一部の翻訳後文字列を取得し、それが表された翻訳後画像データを生成する(取得手段及び生成手段としての機能の一例)。
S114において、画像サーバ3は、一部翻訳処理(SP1)により取得した翻訳後画像データをユーザ端末10に送信する。
さらに、画像サーバ3は、第2の優先度が割り当てられた一部の翻訳前文字列に対して一部翻訳処理(SP2)を実施する。一部翻訳処理(SP2)の内容は、上述の一部翻訳処理(SP1)と同様である。これにより、画像サーバ3は、他の一部の翻訳後文字列を取得し、それが表された翻訳後画像データを生成する。こうした一部翻訳処理は、全ての翻訳前文字列に対して一部翻訳処理が実行されるまで繰り返される。
また、画像サーバ3は、順次生成される翻訳後画像データに、生成した順番を表す順番情報を付加する。また、画像サーバ3は、最後に生成される翻訳後画像データに、終了通知を付加する。
画像サーバ3により順次生成される翻訳後画像データは、不図示のデータベースに蓄積されていくと共に、ユーザ端末10からの画像リクエストに応じて古いものから順番に読み出されて、ユーザ端末10に送信される。
S115において、ユーザ端末10は、表示部の画面に表示されている翻訳後ページ内に、取得した翻訳後画像データを描画する(変更手段としての機能の一例)。
S116において、ユーザ端末10は、さらに画像リクエストを画像サーバ3に送信する。ここで、ユーザ端末10は、所定のタイミング毎に画像リクエストを画像サーバ3に送信する。例えば、前回の画像取得時から所定時間が経過した後や、一定時間おきに、画像リクエストが送信される。
S117において、画像サーバ3は、上記S114で送信した翻訳後画像データの次に生成された翻訳後データをユーザ端末10に送信する。
S118において、ユーザ端末10は、表示部の画面に表示されている翻訳後ページ内に、取得した翻訳後画像データを描画する(変更手段としての機能の一例)。
ユーザ端末10による画像リクエストの送信は、受信した翻訳後画像データに終了通知が付加されていることを検知するまで繰り返される。
なお、以上に説明した内容に限られず、S106においてユーザ端末10が画像リクエストを送信した後に、画像サーバ3が翻訳前画像データをユーザ端末10に送信し、ユーザ端末10が翻訳後ページ内に翻訳前画像データを描画した上で、ユーザ端末10が翻訳後画像データを取得するための画像リクエストを繰り返し送信してもよい。
なお、本実施形態では、翻訳後画像データを生成する処理は画像サーバ3により行われるが、これに限られず、ウェブサーバ2や他のアプリケーションサーバにより行われてもよい。
以下、画像サーバ3の具体的な処理例及びそれに伴うユーザ端末10の具体的な処理例について説明する。
[第1の処理例]
図5は、画像サーバ3の処理フローの一例を示す図である。この図に示される処理フローは、例えば、画像サーバ3の制御部が記憶部に記憶されているプログラムを実行することによって実現される。図6は、ユーザ端末10の処理フローの一例を示す図である。この図に示される処理フローは、例えば、ユーザ端末10の制御部がページデータで指定されるスクリプト処理を実行することによって実現される。これら図5及び図6に示される処理例は、上記図4に示されるS107以降の一連の処理に対応する。
図7Aは、本例において処理される翻訳前画像7の一例を示す図である。この翻訳前画像7は、上記図3Aに示されたものと同じである。すなわち、翻訳前画像7は、例えば、背景画像71と複数の翻訳前文字列72,74とが一体化した画像である。第1の翻訳前文字列72は、例えば「最終日」という日本語の文字列であり、背景画像71の中央部分に比較的大きく配置されている。他方、第2の翻訳前文字列74は、例えば「午後12時まで」という日本語の文字列であり、背景画像71の中央から離れた位置に比較的小さく配置され、第1の翻訳前文字列72よりも目立ちにくい。また、図7Bは、一部翻訳後の翻訳後画像9Aの一例を示す図であり、図7Cは、全部翻訳後の翻訳後画像9Bの一例を示す図である。
図5に示されるS31において、画像サーバ3は、ユーザ端末10から画像リクエストを受信する。画像リクエストには、翻訳前画像7の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される翻訳前画像7を不図示の画像データベースから取得する。
S33において、画像サーバ3は、翻訳前画像7内で翻訳前文字列72,74を含む領域(以下、文字列領域77,79という)をそれぞれ特定する。図7Aにおいて、第1の翻訳前文字列72を囲む破線は、第1の翻訳前文字列72の文字列領域77を表しており、第2の翻訳前文字列74を囲む破線は、第2の翻訳前文字列74の文字列領域79を表している。
こうした文字列領域の特定は、例えばOCR(Optical Character Recognition)とも呼ばれる公知の文字認識処理の一環として行われる。文字認識処理では、画像内の文字列の領域を特定し、その領域内の文字パターンを予め登録された文字パターンと照合することで、文字列に含まれる各文字を認識する。
S34において、画像サーバ3は、文字列領域77,79が特定された翻訳前文字列72,74について翻訳の優先度を決定する。画像サーバ3は、例えば、各々の翻訳前文字列72,74の表示態様に基づいて翻訳の優先度を決定する。
表示態様とは、例えば、文字列が配置される位置や、文字列の大きさ、文字列自体の色、文字列と背景の色差などである。優先度の決定に際しては、例えば、より目立ちやすい表示態様の文字列に、より高い優先度が割り当てられる。画像内の目立ちやすい箇所を特定する技術としては、例えばサリエンシーマップなどがある。
本例の翻訳前画像7では、第1の翻訳前文字列72の方が第2の翻訳前文字列74よりも大きく、中央に近いことから、より目立ちやすいと判断され、第1の翻訳前文字列72に第2の翻訳前文字列74よりも高い優先度が割り当てられる。
S35において、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の高い第1の翻訳前文字列72を表す文字データを取得する。文字データは、例えば各文字の文字コードを含んでいる。文字データの取得には、例えば公知の文字認識処理が適用される。
なお、本例では、翻訳前画像7に表された複数の翻訳前文字列72,74を翻訳対象として、それらの文字データを文字認識処理により抽出するが、この態様に限られず、翻訳前ページ6又は翻訳前画像7に読み取り可能に付加された文字列を翻訳対象として、そこから文字データを読み取るようにしてもよい。例えばHTMLで記述されたページデータの場合、「img」タグにページ内に表れないalt属性の文字列が記述されることがあるので、画像サーバ3はそのような文字列を翻訳対象として、ページデータから文字データを取得してもよい。
S36において、画像サーバ3は、取得した第1の翻訳前文字列72を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列72に対応する第1の翻訳後文字列92の文字データを受信する。第1の翻訳後文字列92は、例えば「FINAL DAY」という英語の文字列である。
S38において、画像サーバ3は、第1の翻訳後文字列92を表すように翻訳後画像9Aを生成する。具体的には、画像サーバ3は、第1の翻訳後文字列92を表す文字画像を不図示のフォントデータベースから取得し、翻訳前画像7に合成する。これにより、図7Bに示されるような一部翻訳後の翻訳後画像9Aが生成される。すなわち、一部翻訳後の翻訳後画像9Aでは、第1の翻訳前文字列72のみが第1の翻訳後文字列92に置き換わっており、第2の翻訳前文字列74は翻訳されないままである。
第1の翻訳後文字列92を表す文字画像の合成では、例えば、第1の翻訳後文字列92の文字列領域97が、第1の翻訳前文字列72の文字列領域77(図7Aを参照)を全て覆うように、文字画像の位置や大きさなどが調整される。また、第1の翻訳後文字列92の文字列領域97のうち、文字画像を構成する画素以外の背景の画素は、例えば、第1の翻訳前文字列72の文字列領域77(図7Aを参照)の背景の画素と同じ色とされる。
なお、画像サーバ3が、翻訳前画像7と関連付けて背景画像71を保持している場合には、第1の翻訳後文字列92を表す文字画像を背景画像71に合成することで、一部翻訳後の翻訳後画像9Aを生成してもよい。この場合、背景画像71上に第1の翻訳後文字列92のみが配置され、第2の翻訳前文字列74も第2の翻訳後文字列94も配置されない一部翻訳後の翻訳後画像9Aが生成される。
S39において、画像サーバ3は、生成した一部翻訳後の翻訳後画像9Aを不図示のデータベースに一時的に記憶する。ここで記憶される一部翻訳後の翻訳後画像9Aには、1番目に生成されたことを表す順番情報が付加されている。
さらに、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の低い第2の翻訳前文字列74についても、S35〜S39の処理を実行する(S40:NO)。
S35において、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の低い第2の翻訳前文字列74を表す文字データを取得する。
S36において、画像サーバ3は、取得した第2の翻訳前文字列74を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列74に対応する第2の翻訳後文字列94の文字データを受信する。第2の翻訳後文字列94は、例えば「until 12 p.m.」という英語の文字列である。
S38において、画像サーバ3は、第1の翻訳後文字列92及び第2の翻訳後文字列94を表すように翻訳後画像9Bを生成する。具体的には、画像サーバ3は、第2の翻訳後文字列94を表す文字画像を不図示のフォントデータベースから取得し、一部翻訳後の翻訳後画像9Aに合成する。これにより、図7Cに示されるような、全部翻訳後の翻訳後画像9Bが生成される。すなわち、全部翻訳後の翻訳後画像9Bでは、第1の翻訳前文字列72及び第2の翻訳前文字列72の両方が、第1の翻訳後文字列92及び第2の翻訳後文字列94に置き換わっている。
第2の翻訳後文字列94を表す文字画像の合成では、例えば、第2の翻訳後文字列94の文字列領域99が、第2の翻訳前文字列74の文字列領域79(図7Aを参照)を全て覆うように、文字画像の位置や大きさなどが調整される。また、第2の翻訳後文字列94の文字列領域99のうち、文字画像を構成する画素以外の背景の画素は、例えば、第2の翻訳前文字列74の文字列領域79(図7Aを参照)の背景の画素と同じ色とされる。
S39において、画像サーバ3は、生成した全部翻訳後の翻訳後画像9Bを不図示のデータベースに一時的に記憶する。ここで記憶される全部翻訳後の翻訳後画像9Bには、2番目に生成されたことを表す順番情報と、最後であることを表す終了通知と、が付加されている。
図6に示されるS11において、ユーザ端末10は、一部翻訳後の翻訳後画像9Aを画像サーバ3から受信する。S12において、ユーザ端末10は、翻訳後ページ8内に一部翻訳後の翻訳後画像9Aを描画する。
S14において、ユーザ端末10は、更新タイミングが到来したか否かを判定する。更新タイミングが到来すると(S14:YES)、S15において、ユーザ端末10は、画像リクエストを画像サーバ3に送信する。
S16において、ユーザ端末10は、全部翻訳後の翻訳後画像9Bを画像サーバ3から受信する。S17において、ユーザ端末10は、翻訳後ページ8内に全部翻訳後の翻訳後画像9Bを描画する。
これにより、翻訳後ページ8における一部翻訳後の翻訳後画像9Aが全部翻訳後の翻訳後画像9Bに置き換えられ、図3Bに示される翻訳後ページ8が表示される。
その後、ユーザ端末10は、全部翻訳後の翻訳後画像9Bに付加されている終了通知を検知すると(S13:YES)、処理を終了する。
図8は、一部翻訳後の翻訳後画像9Aを全部翻訳後の翻訳後画像9Bに置き換える際の描画過程の一例を示す図である。ユーザ端末10は、全部翻訳後の翻訳後画像9Bの画素が一部翻訳後の翻訳後画像9Aの画素を置換する割合を時間の経過とともに増加させる。これにより、一部翻訳後の翻訳後画像9Aが全部翻訳後の翻訳後画像9Bに漸進的に置換される。例えば、ユーザ端末10は、全部翻訳後の翻訳後画像9Bを1又は複数の画素を含むブロック単位に分割し、表示するブロックの数を時間の経過とともに徐々に増加させる。ブロックの増加態様は、ブロックが分散しながら徐々に増加する態様であってもよいし、一方の側から他方の側に向けて増加する態様であってもよく、特に限定されない。また、翻訳後画像9A,9Bとして、プログレッシブJPEGやインターレースGIF等のダウンロードの進行に伴って徐々に鮮明になる画像が用いられてもよい。
[第2の処理例]
図9は、画像サーバ3の処理フローの一例を示す図である。上記第1の処理例と類似するステップについては、ステップ番号を共通にすることで詳細な説明を一部省略する。
図10Aは、本例において処理される複数の翻訳前画像170,270を含む翻訳前ページ6の一例を示す図である。第1の翻訳前画像170は、例えば、背景画像171と翻訳前文字列172とが一体化した画像である。翻訳前文字列172は、例えば「スーパーセール」という日本語の文字列である。第1の翻訳前画像170は、翻訳前ページ6の上部全体に比較的大きく配置されている。他方、第2の翻訳前画像270は、例えば、背景画像271と翻訳前文字列272とが一体化した画像である。翻訳前文字列272は、例えば「お店を開きませんか?」という日本語の文字列である。第2の翻訳前画像270は、翻訳前ページ6の右下に比較的小さく配置され、第1の翻訳前画像170よりも目立ちにくい。また、図10Bは、一部翻訳後の翻訳後ページ8Aの一例を示す図であり、図10Cは、全部翻訳後の翻訳後ページ8Bの一例を示す図である。
ユーザ端末10は、翻訳前画像170,270について所定の順序に従って画像リクエストを送信し、全てについて翻訳が完了するまでこれを繰り返す。画像サーバ3は、画像リクエストを受信する毎に、図9に示される処理を実行する。以下に説明する例では、画像サーバ3は、まず第1の翻訳前画像170の画像リクエストを受信し、次に第2の翻訳前画像270の画像リクエストを受信するものとする。
S31において、画像サーバ3は、第1の翻訳前画像170の画像リクエストをユーザ端末10から受信する。画像リクエストには、第1の翻訳前画像170の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。例えば、ユーザ端末10、ウェブサーバ2、又は翻訳サーバ4からページデータを取得し、それを解析することによって画像位置情報を取得してもよいし、上記S31でユーザ端末10から送信される画像リクエストに画像位置情報が付加されてもよい。
S33において、画像サーバ3は、第1の翻訳前画像170内で第1の翻訳前文字列172の文字列領域を特定する。
S34において、画像サーバ3は、第1の翻訳前文字列172について翻訳の優先度を決定する。画像サーバ3は、例えば、第1の翻訳前画像170の翻訳前ページ6内における位置に基づいて翻訳の優先度を決定する。
優先度の決定に際しては、例えば、ページ内のより目立ちやすい位置を占める翻訳前画像の翻訳前文字列に、より高い優先度が割り当てられる。ページ内の目立ちやすい箇所を特定する技術としては、例えばサリエンシーマップなどがある。
本例の翻訳前ページ6では、第1の翻訳前画像170が翻訳前ページ6内の目立ちやすい箇所を多く占めていることから、第1の翻訳前画像170に付加された第1の翻訳前文字列172に第1の優先度が割り当てられる。
S344において、画像サーバ3は、第1の翻訳前文字列172を翻訳するか否かを優先度に基づいて判定する。本例では、第1の翻訳前文字列172に第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
S35において、画像サーバ3は、第1の翻訳前文字列172を表す文字データを第1の翻訳前画像170から取得する。
S36において、画像サーバ3は、取得した第1の翻訳前文字列172を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列172に対応する第1の翻訳後文字列192の文字データを受信する。第1の翻訳後文字列192は、例えば「Super Sale」という英語の文字列である。
S38において、画像サーバ3は、第1の翻訳後文字列192を表すように第1の翻訳後画像190を生成する。具体的には、画像サーバ3は、第1の翻訳後文字列192を表す文字画像を第1の翻訳前画像170に合成する。これにより、図10Bに示されるような、第1の翻訳後画像190が生成される。
S39において、画像サーバ3は、生成した第1の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第1の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
S31に戻り、画像サーバ3は、第2の翻訳前画像270の画像リクエストをユーザ端末10から受信する。画像リクエストには、第2の翻訳前画像270の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される第2の翻訳前画像270を不図示の画像データベースから取得する。
S322において、画像サーバ3は、第2の翻訳前画像270の翻訳前ページ6内における位置を表す画像位置情報を取得する。
S33において、画像サーバ3は、第2の翻訳前画像270内で第2の翻訳前文字列272の文字列領域を特定する。
S34において、画像サーバ3は、第2の翻訳前文字列272について翻訳の優先度を決定する。画像サーバ3は、例えば、第2の翻訳前画像270の翻訳前ページ6内における位置に基づいて翻訳の優先度を決定する。
本例の翻訳前ページ6では、第2の翻訳前画像270が翻訳前ページ6内の目立ちやすい箇所を多く占めていないことから、第2の翻訳前画像270に付加された第2の翻訳前文字列272に第2の優先度が割り当てられる。
S344において、画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第2の翻訳前文字列272に第2の優先度が割り当てられているので、翻訳しないと判定される(S344:NO)。
以上の1巡目が完了した時点で、ユーザ端末10は、第1の翻訳前画像170の画像リクエストに対しては翻訳されている第1の翻訳後画像190を取得し、第2の翻訳前画像270の画像リクエストに対しては翻訳されていない第2の翻訳前画像270を取得することが可能な状況にある。この場合、図10Bに示されるような、一部翻訳後の翻訳後ページ8Aが表示される。すなわち、一部翻訳後の翻訳後ページ8Aでは、第1の翻訳前画像170のみが第1の翻訳後画像190に置き換わっており、第2の翻訳前画像270は翻訳されないままである。
さらに、画像サーバ3は、2巡目の画像リクエストをユーザ端末10から受信する。ここで、ユーザ端末10は、既に翻訳が完了している第1の翻訳前画像170については画像リクエストの送信を省略できる。この場合、画像サーバ3は、第2の翻訳前画像270の画像リクエストを受信する。
上記と同様に、S32〜S34において、画像サーバ3は、第2の翻訳前画像270及び画像位置情報を取得し、第2の翻訳前文字列272の文字列領域を特定し、翻訳の優先度を決定する。ここで、画像サーバ3は、1巡目で決定した優先度の情報を保持している場合には、S32〜S34を省略できる。
画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第1の優先度についての翻訳が既に完了しているので、第2の優先度が割り当てられている第2の翻訳前文字列272が翻訳の対象となる(S344:YES)。
S35において、画像サーバ3は、第2の翻訳前文字列272を表す文字データを第2の翻訳前画像270から取得する。
S36において、画像サーバ3は、取得した第2の翻訳前文字列272を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列272に対応する第2の翻訳後文字列292の文字データを受信する。第2の翻訳後文字列292は、例えば「Would you like to open your shop ?」という英語の文字列である。
S38において、画像サーバ3は、第2の翻訳後文字列292を表すように第2の翻訳後画像290を生成する。具体的には、画像サーバ3は、第2の翻訳後文字列292を表す文字画像を第2の翻訳前画像270に合成する。これにより、図10Cに示されるような、第2の翻訳後画像290が生成される。
S39において、画像サーバ3は、生成した第2の翻訳後画像290を不図示のデータベースに一時的に記憶する。ここで記憶される第2の翻訳後画像290には、翻訳が完了したことを表す終了通知が付加されている。
以上の2巡目が完了した時点で、ユーザ端末10は、第2の翻訳前画像270の画像リクエストに対しては翻訳されている第2の翻訳後画像290を取得することが可能な状況にある。この場合、図10Cに示されるような、全部翻訳後の翻訳後ページ8Bが表示される。すなわち、全部翻訳後の翻訳後ページ8Bでは、翻訳前画像170,270の両方が翻訳後画像190,290に置き換わっている。
また、ユーザ端末10は、翻訳後画像190,290の両方の終了通知を検知すると、画像リクエストの送信を終了する。
なお、本例では、ユーザ端末10は翻訳前画像170,270について所定の順序に従って画像リクエストを送信したが、この態様に限られず、画像サーバ3が翻訳前画像170,270の画像リクエストを送信する順番を優先度に基づき決定し、ユーザ端末10に対して指定してもよい。
[第3の処理例]
図11は、画像サーバ3の処理フローの一例を示す図である。上記第1の処理例及び第2の処理例と類似するステップについては、ステップ番号を共通にすることで詳細な説明を一部省略する。
図12Aは、本例において処理される複数の翻訳前画像170,270,370を含む翻訳前ページ6の一例を示す図である。第1の翻訳前画像170及び第2の翻訳前画像270は、上記第2の処理例と同様である。第3の翻訳前画像370は、例えば、背景画像371と翻訳前文字列372とが一体化した画像である。翻訳前文字列372は、例えば「買い物かご」という日本語の文字列である。第3の翻訳前画像370は、翻訳前ページ6の上部に配置されている。また、図12Bは、一部翻訳後の翻訳後ページ8Aの一例を示す図であり、図12Cは、全部翻訳後の翻訳後ページ8Bの一例を示す図である。
また、本例では、翻訳前ページ6が縦に長く、ユーザ端末10の表示画面には全部を表示しきれないため、ユーザが表示範囲をスクロールする必要がある。図12A中に示される破線は、ユーザ端末10の現在の表示範囲100を表している。すなわち、図12Aの状態では、表示範囲100内にある翻訳前文字列61及び翻訳前画像170,370がユーザ端末10に表示されており、表示範囲100外にある翻訳前画像270がユーザ端末10に表示されていない。
ユーザ端末10は、翻訳前画像170,270,370について所定の順序に従って画像リクエストを送信し、全てについて翻訳が完了するまでこれを繰り返す。画像サーバ3は、画像リクエストを受信する毎に、図11に示される処理を実行する。以下に説明する例では、画像サーバ3は、まず第1の翻訳前画像170の画像リクエストを受信し、次に第2の翻訳前画像270の画像リクエストを受信し、次に第3の翻訳前画像370の画像リクエストを受信するものとする。
S31において、画像サーバ3は、第1の翻訳前画像170の画像リクエストをユーザ端末10から受信する。画像リクエストには、第1の翻訳前画像170の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。例えば、ユーザ端末10、ウェブサーバ2、又は翻訳サーバ4からページデータを取得し、それを解析することによって画像位置情報を取得してもよいし、上記S31でユーザ端末10から送信される画像リクエストに画像位置情報が付加されてもよい。
S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
S33において、画像サーバ3は、第1の翻訳前画像170内で第1の翻訳前文字列172の文字列領域を特定する。
S34において、画像サーバ3は、第1の翻訳前文字列172について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
優先度の決定に際しては、例えば、表示範囲100に含まれる翻訳前画像の翻訳前文字列や、表示範囲100に近い翻訳前画像の翻訳前文字列に、より高い優先度が割り当てられる。
本例の翻訳前ページ6では、第1の翻訳前画像170は表示範囲100内に位置していることから、第1の翻訳前画像170に付加された第1の翻訳前文字列172に第1の優先度が割り当てられる。
S344において、画像サーバ3は、第1の翻訳前文字列172を翻訳するか否かを優先度に基づいて判定する。本例では、第1の翻訳前文字列172に第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
S35において、画像サーバ3は、第1の翻訳前文字列172を表す文字データを第1の翻訳前画像170から取得する。
S36において、画像サーバ3は、取得した第1の翻訳前文字列172を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列172に対応する第1の翻訳後文字列192の文字データを受信する。第1の翻訳後文字列192は、例えば「Super Sale」という英語の文字列である。
S38において、画像サーバ3は、第1の翻訳後文字列192を表すように第1の翻訳後画像190を生成する。具体的には、画像サーバ3は、第1の翻訳後文字列192を表す文字画像を第1の翻訳前画像170に合成する。これにより、図12Bに示されるような、第1の翻訳後画像190が生成される。
S39において、画像サーバ3は、生成した第1の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第1の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
S31に戻り、画像サーバ3は、第2の翻訳前画像270の画像リクエストをユーザ端末10から受信する。画像リクエストには、第2の翻訳前画像270の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される第2の翻訳前画像270を不図示の画像データベースから取得する。
S322において、画像サーバ3は、第2の翻訳前画像270の翻訳前ページ6内における位置を表す画像位置情報を取得する。
S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
S33において、画像サーバ3は、第2の翻訳前画像270内で第2の翻訳前文字列272の文字列領域を特定する。
S34において、画像サーバ3は、第2の翻訳前文字列272について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
本例の翻訳前ページ6では、第2の翻訳前画像270は表示範囲100外に位置していることから、第2の翻訳前画像270に付加された第2の翻訳前文字列272に第2の優先度が割り当てられる。
S344において、画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第2の翻訳前文字列272に第2の優先度が割り当てられているので、翻訳しないと判定される(S344:NO)。
S31に戻り、画像サーバ3は、第3の翻訳前画像370の画像リクエストをユーザ端末10から受信する。画像リクエストには、第3の翻訳前画像370の所在を表す所在情報と、言語指定情報と、が付加されている。
S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。
S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
S33において、画像サーバ3は、第3の翻訳前画像370内で第3の翻訳前文字列372の文字列領域を特定する。
S34において、画像サーバ3は、第3の翻訳前文字列372について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
本例の翻訳前ページ6では、第3の翻訳前画像370は表示範囲100内に位置していることから、第3の翻訳前画像370に付加された第3の翻訳前文字列372にも第1の優先度が割り当てられる。
S344において、画像サーバ3は、第3の翻訳前文字列372を翻訳するか否かを優先度に基づいて判定する。本例では、第3の翻訳前文字列372にも第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
S35において、画像サーバ3は、第3の翻訳前文字列372を表す文字データを第3の翻訳前画像370から取得する。
S36において、画像サーバ3は、取得した第3の翻訳前文字列372を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第3の翻訳前文字列372に対応する第3の翻訳後文字列392の文字データを受信する。第3の翻訳後文字列392は、例えば「Shopping Cart」という英語の文字列である。
S38において、画像サーバ3は、第3の翻訳後文字列392を表すように第3の翻訳後画像190を生成する。具体的には、画像サーバ3は、第3の翻訳後文字列392を表す文字画像を第3の翻訳前画像370に合成する。これにより、図12Bに示されるような、第3の翻訳後画像390が生成される。
S39において、画像サーバ3は、生成した第3の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第3の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
以上の1巡目が完了した時点で、ユーザ端末10は、第1の翻訳前画像170の画像リクエストに対しては翻訳されている第1の翻訳後画像190を取得し、第2の翻訳前画像270の画像リクエストに対しては翻訳されていない第2の翻訳前画像270を取得し、第3の翻訳前画像370の画像リクエストに対しては翻訳されている第3の翻訳後画像390を取得することが可能な状況にある。この場合、図12Bに示されるような、一部翻訳後の翻訳後ページ8Aが表示される。すなわち、一部翻訳後の翻訳後ページ8Aでは、第1の翻訳前画像170及び第3の翻訳前画像370のみが第1の翻訳後画像190及び第3の翻訳後画像390に置き換わっており、第2の翻訳前画像270は翻訳されないままである。
さらに、画像サーバ3は、2巡目の画像リクエストをユーザ端末10から受信する。ここで、ユーザ端末10は、既に翻訳が完了している第1の翻訳前画像170及び第3の翻訳前画像370については画像リクエストの送信を省略できる。この場合、画像サーバ3は、第2の翻訳前画像270の画像リクエストを受信する。
上記と同様に、S32〜S34において、画像サーバ3は、第2の翻訳前画像270、画像位置情報、及び現在位置情報を取得し、第2の翻訳前文字列272の文字列領域を特定し、翻訳の優先度を決定する。ここで、画像サーバ3は、1巡目で決定した優先度の情報を保持している場合には、S32〜S34を省略できる。
画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第1の優先度についての翻訳が既に完了しているので、第2の優先度が割り当てられている第2の翻訳前文字列272が翻訳の対象となる(S344:YES)。
S35において、画像サーバ3は、第2の翻訳前文字列272を表す文字データを第2の翻訳前画像270から取得する。
S36において、画像サーバ3は、取得した第2の翻訳前文字列272を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列272に対応する第2の翻訳後文字列292の文字データを受信する。第2の翻訳後文字列292は、例えば「Would you like to open your shop ?」という英語の文字列である。
S38において、画像サーバ3は、第2の翻訳後文字列292を表すように第2の翻訳後画像290を生成する。具体的には、画像サーバ3は、第2の翻訳後文字列292を表す文字画像を第2の翻訳前画像270に合成する。これにより、図12Cに示されるような、第2の翻訳後画像290が生成される。
S39において、画像サーバ3は、生成した第2の翻訳後画像290を不図示のデータベースに一時的に記憶する。ここで記憶される第2の翻訳後画像290には、翻訳が完了したことを表す終了通知が付加されている。
以上の2巡目が完了した時点で、ユーザ端末10は、第2の翻訳前画像270の画像リクエストに対しては翻訳されている第2の翻訳後画像290を取得することが可能な状況にある。この場合、図12Cに示されるような、全部翻訳後の翻訳後ページ8Bが表示される。すなわち、全部翻訳後の翻訳後ページ8Bでは、翻訳前画像170,270,370の全てが翻訳後画像190,290,390に置き換わっている。
また、ユーザ端末10は、翻訳後画像190,290,390の全ての終了通知を検知すると、画像リクエストの送信を終了する。
なお、本例では、ユーザ端末10は翻訳前画像170,270,370について所定の順序に従って画像リクエストを送信したが、この態様に限られず、画像サーバ3が翻訳前画像170,270,370の画像リクエストを送信する順番を優先度に基づき決定し、ユーザ端末10に対して指定してもよい。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。
例えば、翻訳の優先度を決定する際には、上記第1の処理例、第2の処理例、及び第3の処理例で説明した優先度の決定手法の2又は3を適宜組み合わせてもよい。
1 閲覧システム、2 ウェブサーバ、3 画像サーバ、4 翻訳サーバ、5 通信ネットワーク、10 ユーザ端末、11 制御部、12 記憶部、13 光ディスクドライブ部、14 通信インタフェース部、15 操作部、16 表示部、17 音声出力部、6 翻訳前ページ、61 翻訳前文字列(ページ内)、100 表示範囲、7,170,270,370 翻訳前画像、71,171,271,371 背景画像、72,74,172,272,372 翻訳前文字列(画像内)、77,79 文字列領域、8,8A,8B 翻訳後ページ、81 翻訳後文字列(ページ内)、9,9A,9B,190,290,390 翻訳後画像、92,94,192,292,392 翻訳後文字列(画像内)、97,99 文字列領域。

Claims (14)

  1. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、
    を備える情報処理システム。
  2. 前記取得手段は、前記複数の元文字列に対する優先順位に基づく順序にしたがって、該複数の元文字列にそれぞれ対応する前記複数の変換済み文字列を一部ずつ取得する、
    請求項1に記載の情報処理システム。
  3. 前記優先順位は、前記元文字列の表示態様と、前記オブジェクト内における前記元文字列が付加された画像の配置位置と、の少なくともいずれかに基づいて設定手段により設定される、
    請求項2に記載の情報処理システム。
  4. 前記優先順位は、前記表示情報に基づいて表示されるオブジェクト内における前記元文字列の視覚的特徴量の大きさに基づいて設定手段により設定される、
    請求項2に記載の情報処理システム。
  5. 前記設定手段をさらに備える、
    請求項3または4に記載の情報処理システム。
  6. 画像ごとに所定のタイミングで取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、
    前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる、
    請求項5に記載の情報処理システム。
  7. 前記オブジェクトの前記画面に表示されている範囲を示す範囲情報を所定のタイミングで前記表示装置から取得する範囲情報取得手段をさらに備え、
    前記設定手段は、前記範囲情報が示す範囲に含まれない元文字列に対する優先順位を少なくとも1段階下げる、
    請求項6に記載の情報処理システム。
  8. 前記設定手段により設定される優先順位に基づく順序にしたがって所定のタイミングで前記元文字列に対応する画像の取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、
    前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる、
    請求項3に記載の情報処理システム。
  9. 前記変更手段は、前記表示装置に、前記オブジェクト内における該生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に漸進的に変更させる、
    請求項1ないし8の何れかに記載の情報処理システム。
  10. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる、
    情報処理システムの制御方法。
  11. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、
    を備える情報処理装置。
  12. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる、
    情報処理装置の制御方法。
  13. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、
    としてコンピュータを機能させるプログラム。
  14. 1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、
    前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、
    表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、
    としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
JP2015505745A 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム Active JP5829354B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059765 WO2014155742A1 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム

Publications (2)

Publication Number Publication Date
JP5829354B2 JP5829354B2 (ja) 2015-12-09
JPWO2014155742A1 true JPWO2014155742A1 (ja) 2017-02-16

Family

ID=51622786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015505745A Active JP5829354B2 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム

Country Status (3)

Country Link
US (1) US9690778B2 (ja)
JP (1) JP5829354B2 (ja)
WO (1) WO2014155742A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7016612B2 (ja) * 2017-02-10 2022-02-07 株式会社東芝 画像処理装置及びプログラム
JP6866788B2 (ja) * 2017-07-06 2021-04-28 株式会社リコー 情報処理装置及びプログラム
US11347381B2 (en) * 2019-06-13 2022-05-31 International Business Machines Corporation Dynamic synchronized image text localization
US11302033B2 (en) 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images
US11468550B2 (en) 2019-07-22 2022-10-11 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11631234B2 (en) 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
US11107219B2 (en) 2019-07-22 2021-08-31 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11468110B2 (en) 2020-02-25 2022-10-11 Adobe Inc. Utilizing natural language processing and multiple object detection models to automatically select objects in images
US11055566B1 (en) * 2020-03-12 2021-07-06 Adobe Inc. Utilizing a large-scale object detector to automatically select objects in digital images
US11587234B2 (en) 2021-01-15 2023-02-21 Adobe Inc. Generating class-agnostic object masks in digital images
US11972569B2 (en) 2021-01-26 2024-04-30 Adobe Inc. Segmenting objects in digital images utilizing a multi-object segmentation model framework
JP2022147337A (ja) * 2021-03-23 2022-10-06 株式会社リコー 表示装置、表示方法、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2640340B2 (ja) 1985-04-01 1997-08-13 株式会社リコー 文書作成編集装置
JP2758952B2 (ja) * 1989-12-28 1998-05-28 富士通株式会社 日本語文書読取翻訳システムの修正時における表示方式
JP4036355B2 (ja) 2000-02-04 2008-01-23 富士通株式会社 翻訳結果表示装置及び方法並びに翻訳結果表示プログラムを格納したコンピュータ可読の記録媒体
US7865358B2 (en) * 2000-06-26 2011-01-04 Oracle International Corporation Multi-user functionality for converting data from a first form to a second form
JP2002108855A (ja) 2000-09-29 2002-04-12 Brother Ind Ltd 文書処理装置
US7496230B2 (en) * 2003-06-05 2009-02-24 International Business Machines Corporation System and method for automatic natural language translation of embedded text regions in images during information transfer
JP2006252049A (ja) * 2005-03-09 2006-09-21 Fuji Xerox Co Ltd 翻訳システム、翻訳方法およびプログラム
JP2006260080A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 光学的文字認識システムおよび光学的文字認識方法
US7778632B2 (en) * 2005-10-28 2010-08-17 Microsoft Corporation Multi-modal device capable of automated actions
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP5235135B2 (ja) * 2008-12-26 2013-07-10 楽天株式会社 機械翻訳システム及び機械翻訳方法
JP5299011B2 (ja) * 2009-03-25 2013-09-25 セイコーエプソン株式会社 テープ印刷装置、テープ印刷装置の制御方法及びプログラム
JP5211193B2 (ja) * 2010-11-10 2013-06-12 シャープ株式会社 翻訳表示装置
JP5606385B2 (ja) 2011-04-28 2014-10-15 楽天株式会社 サーバ装置、サーバ装置の制御方法、及び、プログラム
BR112013027630B1 (pt) 2011-04-28 2021-11-30 Rakuten Group, Inc Servidor de documento, sistema de navegação, método executado por um servidor de documento, e, meio de armazenamento não-transitório legível por computador
US8855413B2 (en) * 2011-05-13 2014-10-07 Abbyy Development Llc Image reflow at word boundaries

Also Published As

Publication number Publication date
US20160299890A1 (en) 2016-10-13
US9690778B2 (en) 2017-06-27
JP5829354B2 (ja) 2015-12-09
WO2014155742A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5829354B2 (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
US10956531B2 (en) Dynamic generation of mobile web experience
JP5967614B2 (ja) ウェブページを表示する方法、装置およびシステム
US20190073342A1 (en) Presentation of electronic information
JP2014032665A (ja) 出版物からocr認識されたテキストとそれに対応するイメージをクライアント装置において選択に表示すること
JP2007011733A (ja) アジアウェブフォント文書の作成方法、装置及びシステム
US9619440B2 (en) Document conversion apparatus
JP2011040034A (ja) ウェブサイト閲覧システム、サーバ及びクライアント端末
US9117314B2 (en) Information output apparatus, method, and recording medium for displaying information on a video display
JP2012043140A (ja) Webページ閲覧システム及び中継サーバ
WO2022048141A1 (zh) 一种图像处理方法及装置、计算机可读存储介质
CN101114300A (zh) 图像形成系统和图像形成方法
US9706006B2 (en) System and method of context aware adaption of content for a mobile device
TWI435226B (zh) A method of reading a system, a terminal, an image server, a computer program product, a terminal, and an image server
JP5525623B2 (ja) 遠隔印刷
US10817646B2 (en) Information processing system and control method therefor
JP2010515968A (ja) グラフィカルイメージを操作する方法及びシステム
JP4815501B2 (ja) 端末装置及びプログラム
RU2634221C2 (ru) Способ и устройство для отрисовки представления электронного документа на экране
US20150186758A1 (en) Image processing device
US9690783B2 (en) Image conversion and method for converting text in an image into a targeted language
JP2011253301A (ja) ウェブサイト閲覧システム、サーバ及びサーバ用プログラム
JP2009176176A (ja) ウェブページ配信装置
US10831833B2 (en) Information processing apparatus and non-transitory computer readable medium
JP6264910B2 (ja) アグリゲーションプログラム、端末装置及びアグリゲーション方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151021

R150 Certificate of patent or registration of utility model

Ref document number: 5829354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250