JP5826966B2

JP5826966B2 - 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム

Info

Publication number: JP5826966B2
Application number: JP2015504788A
Authority: JP
Inventors: 宗益子
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2015-12-02
Anticipated expiration: 2033-03-29
Also published as: US20150379750A1; JPWO2014155744A1; WO2014155744A1; US9905030B2

Description

本発明は、画像処理装置、画像処理方法、情報記憶媒体、及びプログラムに関し、特にはテキストと一体化した画像の処理に関する。

画像処理の分野では、テキストと一体化した原画像における当該テキストを変更したい場合がある。

例えば、仮想商店街サイトでは、バーゲンなどで用いられる「最終日」等のテキストと、注意を喚起するための図形等の背景画像と、を含む画像が用いられることがある。こうした画像からテキストを読み取り、他の言語に翻訳した上で、翻訳前のテキストに代えて翻訳後のテキストを表示させることができれば便利である。

特許文献１には、単一色の用紙に黒で文字が印字された文書をスキャンして得たビットマップ画像から文字を認識した後、その文字を描画していた画素を用紙と同じ属性の画素で埋め戻し、その後、認識した文字を翻訳して別の新たな文字を取得し、画素の埋め戻された箇所に書き込む技術が開示されている。

特開２００６−２５１９０２号公報

しかしながら、特許文献１に開示された技術では、翻訳前の文字を描画していた画素を用紙と同じ属性の画素で埋め戻していることから、翻訳後の文字の視認性は高いものの、埋め戻しのための処理の負担が大きいという問題がある。なお、背景が単一色でない場合に埋め戻しを行うとすれば、埋め戻しのための処理の負担がさらに大きくなるおそれがある。

本発明が解決しようとする課題は、テキストと一体化した原画像における当該テキストを変更するに当たり、処理負担の軽減を図りつつも、変更後のテキストの視認性を確保する、という点である。

上記課題を解決するため、本発明の画像処理装置は、第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いに関する所定の条件を満たすように決定する決定手段と、前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段と、を備える。

また、本発明の画像処理方法は、第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いに関する所定の条件を満たすように決定し、前記決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する。

また、本発明のプログラムは、第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いに関する所定の条件を満たすように決定する決定手段、及び、前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、としてコンピュータを機能させる。

また、本発明の情報記憶媒体は、第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いに関する所定の条件を満たすように決定する決定手段、及び、前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記表示態様は、前記被覆される度合いを変動させる要因となる表示書体を含み、前記決定手段は、前記表示書体の候補である候補書体の中から何れかを選択し、該選択された候補書体で表示される前記第２のテキストが前記所定の条件を満たすように前記表示態様を決定する。

また、本発明の一態様では、前記決定手段は、前記候補書体の中から、前記第２のテキストの非透明部分の量が小さい方から順に選択する。

また、本発明の一態様では、前記候補書体は、基準となる基準表示書体の他に、該基準表示書体よりも文字のサイズが大きい拡大表示書体と、該基準表示書体よりも文字の線幅が太い太字表示書体と、文字の外縁の外側に装飾が施された装飾表示書体と、の少なくとも何れかを含む。

また、本発明の一態様では、前記原画像において前記第１のテキストを構成する構成部分が前記第２のテキストの非透明部分により被覆される割合を表す被覆率を算出する算出手段をさらに備え、前記決定手段は、前記算出手段により算出される被覆率が所定の閾値以上又は超過である場合に前記所定の条件を満たすと判定する。

また、本発明の一態様では、前記算出手段は、前記第１のテキストに対する前記第２のテキストの相対位置の候補を表す候補位置ごとに前記被覆率を順次算出し、前記決定手段は、前記算出手段により前記候補位置ごとに順次算出される前記被覆率が前記所定の閾値以上又は超過である場合に、当該候補位置について前記所定の条件を満たすと判定する。

また、本発明の一態様では、前記出力手段は、前記原画像の前記位置特定データにより特定される位置上に前記被覆画像を合成するため、画像を合成する合成手段に前記被覆画像と前記位置特定データとを出力する。

また、本発明の一態様では、前記出力手段は、前記原画像の前記位置特定データにより特定される位置の手前に前記被覆画像を重畳表示させるため、画像表示機能を有する表示装置に前記被覆画像と前記位置特定データとを出力する。

本発明によると、原画像における第１のテキストが被覆画像における第２のテキストによって十分に被覆されるように、被覆画像における第２のテキストの表示態様が決定される。従って、第１のテキストと一体化した原画像上に第２のテキストと一体化した被覆画像を重畳させることで、原画像における第１のテキストを構成する画素を埋め戻すための処理の負担を軽減しながら、被覆画像における第２のテキストの十分な視認性を確保することができる。

本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。画像の一例を示す図である。画像処理装置で実現される機能の一例を示す機能ブロック図である。画像処理装置で実行される処理の一例を示すフローチャートである。文字認識処理により特定される文字領域の一例を示す図である。翻訳前文字列の構成画素データの一例を示す図である。翻訳後文字列の文字画像データの一例を示す図である。構成画素データと文字画像データの比較の一例を示す図である。基準書体の文字画像の合成例を示す図である。拡大書体の文字画像の合成例を示す図である。太字書体の文字画像の合成例を示す図である。装飾書体の文字画像の合成例を示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置１０のハードウェア構成の一例を示す図である。画像処理装置１０は、例えばサーバコンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、又はタブレット型コンピュータ等によって実現される。

図１に示されるように、画像処理装置１０は、制御部１１、記憶部１２、光ディスクドライブ部１３、通信インタフェース部１４、操作部１５、表示部１６、及び音声出力部１７を含んでいる。

制御部１１は、例えば１又は複数のマイクロプロセッサを含み、記憶部１２に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部１２は、例えばＲＡＭ、ハードディスク、又はソリッドステートドライブを含んでいる。光ディスクドライブ部１３は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。

プログラムやデータは、光ディスクを介して記憶部１２に供給される。すなわち、プログラムやデータは、光ディスクドライブ部１３によって光ディスクから読み出され、記憶部１２に記憶される。なお、光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が画像処理装置１０に含まれていてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部１２に供給されるようにしてもよい。

通信インタフェース部１４は、画像処理装置１０を通信ネットワークに接続するためのインタフェースである。画像処理装置１０は、通信ネットワークを介して他の装置とデータを授受できるようになっている。なお、プログラム及びデータは、通信ネットワークを介して記憶部１２に供給されるようにしてもよい。

操作部１５は、ユーザが操作を行うためのものである。例えば、キーボード、マウス、タッチパッド、タッチパネル、又はスティック（レバー）等が操作部１５に相当する。表示部１６は、例えば液晶表示ディスプレイ又は有機ＥＬディスプレイ等である。音声出力部１７は、例えばスピーカ又はヘッドホン端子等である。

画像処理装置１０は、データベース２０にアクセスできるようになっている。データベース２０は、画像処理装置１０以外の装置（例えばサーバ）において実現されていてもよいし、画像処理装置１０において実現されていてもよい。

データベース２０には画像が記憶されている。例えば、図示しないＷｅｂサーバによって提供される仮想商店街サイトにおいて利用される画像が、データベース２０に記憶されている。すなわち、仮想商店街に出店している店舗の担当者によって用意された画像がデータベース２０に記憶されている。

図２は、データベース２０に記憶される画像の一例を示す図である。図２に示される画像３０は、文字列３２が背景画像３４上に書き込まれた、文字列３２と背景画像３４が一体化した画像である。文字列３２は、例えばバーゲンなどで用いられる「最終日」を表している。また、背景画像３４は、例えば注意を喚起するための図形を含んでおり、２種類以上の色を含んでいる。また、背景画像３４は、実写された画像など、幾何学的な図形に比して複雑な要素を含んでいてもよい。なお、こうした画像３０では、一般的に、文字列３２が背景画像３４とは異なる目立つ色で書かれていることが多い。また、文字列３２は単色で書かれることが多く、横方向、縦方向、又は斜め方向に整列している場合が多い。

以下、図２に示されるような画像３０から文字列３２を読み取り、他の言語に翻訳した上で、翻訳後の文字列と背景画像３４とを含む新たな画像を生成する技術について説明する。

図３は、画像処理装置１０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図３に示されるように、画像処理装置１０は、原画像取得部４１、文字認識部４２、文字列変換部４３、文字画像取得部４４、表示態様決定部４５、及び画像合成部４６を含んでいる。また、文字認識部４２は、構成画素特定部４２ａ、及び文字情報取得部４２ｂを含んでいる。また、表示態様決定部４５は、被覆率算出部４５ａ、位置決定部４５ｂ、及び書体決定部４５ｃを含んでいる。図３に示される機能ブロックは、画像処理装置１０の制御部１１によって実現される。

原画像取得部４１は、データベース２０から画像３０を取得し、文字認識部４２及び画像合成部４６に出力する。

文字認識部４２は、画像３０に含まれる文字列３２を認識する。画像３０に含まれる変換前の文字列３２は、第１のテキストの一例である。文字認識部４２が実行する文字認識処理としては、例えばＯＣＲ（Optical Character Recognition）とも呼ばれる公知の文字認識処理が適用される。具体的には、文字認識部４２は、図５に示されるように文字列３２の各文字に対応する文字領域３６を特定し、文字領域３６内のパターンを予め登録されたパターンと照合することで、文字列３２の各文字を認識する。

文字認識部４２に含まれる構成画素特定部４２ａは、画像３０に含まれる文字列３２を構成する構成画素を特定し、構成画素の位置を表す構成画素マップを表示態様決定部４５に出力する。文字列３２を構成する構成画素は、例えば、図５に示される文字領域３６内を２値化することで特定される。構成画素のパターンは、文字認識処理に利用される。

文字認識部４２に含まれる文字情報取得部４２ｂは、文字認識処理の結果、文字列３２を表す文字情報を取得し、文字列変換部４３に出力する。文字情報は、例えば文字列３２に含まれる各文字の文字コードを含んでいる。

なお、本実施形態では、文字認識処理により文字列３２を表す文字情報を取得しているが、この態様に限られず、例えば、文字列３２を表す文字情報が画像３０に読み取り可能に埋め込まれていて、それを取得する態様であってもよい。

文字列変換部４３は、文字列３２を表す文字情報が入力されると、文字列３２を他の文字列に変換し、変換後の文字列を表す文字情報を文字画像取得部４４に出力する。文字列変換部４３によって変換された変換後の文字列は、第２のテキストの一例である。本実施形態では、文字列３２は他の言語に翻訳される。例えば、日本語の「最終日」という文字列３２は、英語の「ＦＩＮＡＬＤＡＹ」という文字列に翻訳される。

この態様に限られず、文字列３２は同一言語の異なる種類の文字に変換されてもよい。例えば「最終日」という文字列３２は、平仮名の「さいしゅうび」という文字列に変換されてもよいし、片仮名の「サイシュウビ」という文字列に変換されてもよい。なお、文字列に含まれる文字の数は、複数に限られず１つであってもよい。

また、例えば文字列３２が日付や金額などの内容を表す場合、文字列３２は、その内容に対応する新たな内容を表す文字列に更新されてもよい。例えば、制御部１１は、文字列３２が日付又は金額であることを認識すると、現在の日付又は金額などの情報を取得して、文字列３２を当該日付又は金額を表す文字列に更新する。

文字画像取得部４４は、変換後の文字列を表す文字情報が入力されると、不図示のフォントデータベースから変換後の文字列を表す文字画像を取得し、表示態様決定部４５及び画像合成部４６に出力する。アウトラインフォントの場合、変換後の文字列を表す文字画像はラスタライズされた上で出力される。ビットマップフォントの場合、変換後の文字列を表す文字画像はそのまま出力される。

表示態様決定部４５は、決定手段及び出力手段の一例であり、変換後の文字列を表す文字画像の表示態様を、予め定められた複数の表示態様の中から、画像３０に含まれる文字列３２を構成する構成画素を被覆する度合いに基づいて決定する。本実施形態において、文字画像の表示態様とは、例えば文字画像の位置や書体などである。ここで、複数の表示態様は、非透明画素の量又は割合が相違する表示態様である。また、表示態様決定部４５は、変換後の文字列を表す文字画像を画像３０に重畳させる重畳位置を表す位置特定データを、文字画像と関連付けて、画像合成部４６に出力する。

表示態様決定部４５に含まれる被覆率算出部４５ａは、算出手段の一例であり、変換後の文字列を表す文字画像の非透明画素が、画像３０に含まれる文字列３２を構成する構成画素を被覆する被覆率を算出する。

表示態様決定部４５に含まれる位置決定部４５ｂは、被覆率算出部４５ａにより算出される被覆率に基づいて、変換後の文字列を表す文字画像の位置を決定する。

表示態様決定部４５に含まれる書体決定部４５ｃは、被覆率算出部４５ａにより算出される被覆率に基づいて、変換後の文字列を表す文字画像の書体を決定する。

なお、表示態様決定部４５、被覆率算出部４５ａ、位置決定部４５ｂ、及び書体決定部４５ｃの機能の詳細については後述する（後述の図４のフローチャートを参照）。

画像合成部４６は、合成手段の一例であり、変換後の文字列を表す文字画像を、表示態様決定部４５により決定された表示態様で、画像３０の文字列３２上に合成する。具体的には、変換後の文字列を表す文字画像は、位置決定部４５ｂにより決定された位置に、書体決定部４５ｃにより決定された書体で、画像３０上に合成される。

なお、図３に示される機能ブロックは、複数の装置に分散させてもよい。例えば、文字認識部４２、文字列変換部４３、及び文字画像取得部４４による処理を前処理とし、表示態様決定部４５による処理を本処理とし、画像合成部４６による処理を後処理とするとき、これらの処理が別々の装置で実行されてもよい。また、これらの処理が時間的に離れていてもよく、この場合、前処理や本処理で生成されるデータがデータベースに一時的に保持されてもよい。また、クライアントサーバシステムにおいて、サーバからの指令に応じてクライアントが一部の処理を実行してもよい。

図４は、表示態様決定部４５、被覆率算出部４５ａ、位置決定部４５ｂ、及び書体決定部４５ｃを実現するために、画像処理装置１０で実行される処理の一例を示すフローチャートである。制御部１１が図４に示す処理をプログラムに従って実行することによって、制御部１１が表示態様決定部４５、被覆率算出部４５ａ、位置決定部４５ｂ、及び書体決定部４５ｃとして機能するようになる。以下、図４を参照しながら、表示態様決定部４５、被覆率算出部４５ａ、位置決定部４５ｂ、及び書体決定部４５ｃの詳細について説明する。

Ｓ１において、制御部１１は、翻訳前文字列の構成画素マップ５０を取得する。図６は、翻訳前文字列の構成画素マップ５０の一例を示す図である。同図では、比較を容易にするため、「あ」の文字に係る構成画素マップ５０を示している。構成画素マップ５０は、翻訳前文字列の各文字を構成する構成画素５２と、文字を構成しない背景の画素である非構成画素５４と、を含んでいる。

Ｓ２において、制御部１１は、翻訳後文字列の文字画像６０を取得する。図７は、翻訳後文字列の文字画像６０の一例を示す図である。同図では、比較を容易にするため、「Ａ」の文字に係る文字画像６０を示している。文字画像６０は、翻訳後文字列の各文字を構成する非透明画素６１と、文字を構成しない透明画素６３と、を含んでいる。

なお、翻訳後文字列の文字画像６０の初期の大きさは、画像３０内に特定される文字領域３６（図５を参照）の大きさ又は一連の複数の文字領域３６を連結した領域の大きさに応じて決定される。また、翻訳後文字列の文字画像６０の初期の書体としては、予め定められた基準書体が用いられる。

ここで、翻訳後文字列の文字画像６０は、被覆画像の一例である。被覆画像は、例えば、原画像３０と同じ大きさの透明画像に文字画像６０を合成した画像であってもよい。

Ｓ３において、制御部１１は、構成画素マップ５０と文字画像６０とを比較する。図８は、構成画素マップ５０と文字画像６０の比較の一例を示す図である。図中の×印の画素は、構成画素マップデータ５０の構成画素５２のうち、文字画像６０の非透明画素６１に被覆されないものを示している。

Ｓ４において、制御部１１は、文字画像６０の非透明画素６１が構成画素マップ５０の構成画素５２を被覆する被覆率を算出する（被覆率算出部４５ａとしての機能）。具体的には、構成画素マップ５０の構成画素５２の全数に対する、文字画像６０の非透明画素６１により被覆される構成画素５２の数の割合が、被覆率として算出される。

当該Ｓ３及びＳ４の処理は、文字画像６０を合成する候補位置ごとに繰り返される（Ｓ５及びＳ５１）。これにより、候補位置ごとの被覆率が算出される。具体的には、制御部１１は、構成画素マップ５０と重複する範囲内で文字画像６０を１画素分ずつ移動させ、その都度、構成画素マップ５０と文字画像６０を比較し、被覆率を算出する。

Ｓ６において、制御部１１は、候補位置ごとの被覆率に基づいて、文字画像６０を合成する合成位置を決定する（位置決定部４５ｂとしての機能）。具体的には、最も被覆率の高い候補位置が、合成位置として決定される。合成位置は、重畳位置の一例である。

Ｓ７において、制御部１１は、文字画像６０の合成位置における被覆率（すなわち、候補位置ごとの被覆率の最高値）が予め定められたしきい値を超えるか否かを判定する。被覆率がしきい値を超えない場合（Ｓ７：ＮＯ）、制御部１１は、文字画像６０の書体を変更した上で（Ｓ７１）、上記Ｓ３〜Ｓ７の処理を繰り返す。

当該Ｓ７１において、文字画像６０の書体は、より非透明画素６１の量又は割合が多い書体に変更される。具体的には、非透明画素６１の量又は割合が相違する複数の書体が用意されており、被覆率がしきい値を超えるまで、非透明画素６１の量又は割合の低いものから順番に書体が変更される。

本実施形態では、例えば、図９に示される基準書体、図１０に示される拡大書体、図１１に示される太字書体、及び図１２に示される装飾書体が、この順番で適用される。

図９〜図１２では、説明のため、各書体の文字画像６０を画像３０の文字列３２上に実際に合成した例を図示している。なお、これらの図では、画像３０の文字列３２の明度を下げている。これらの図に示されるように、画像３０の「最終日」という文字列３２上には、「ＦＩＮＡＬＤＡＹ」の文字列を表す文字画像６０が合成されている。画像３０の文字列３２のうち、文字画像６０の非透明画素６１に被覆される部分は合成後の画像において視認不能であるのに対し、文字画像６０の非透明画素６１に被覆されない部分（すなわち、文字画像６０の透明画素６３と重複する部分）は合成後の画像において視認可能となる。これらの図に示されるように、適用の順番が後の書体ほど、画像３０の文字列３２の視認可能な部分の量を減少させる。

図９に示される基準書体は、本実施形態において１番目に適用される書体である。基準書体では、文字画像６０の各文字のサイズは、画像３０に含まれる文字列３２の各文字と同程度とされる。

図１０に示される拡大書体は、本実施形態において２番目に適用される書体である。拡大書体では、文字画像６０の各文字の書体デザインが基準書体と同じまま、各文字のサイズが基準書体よりも大きくなっている。このため、拡大書体では、非透明画素６１の量が基準書体よりも多くなっている。なお、拡大書体では、非透明画素６１の割合は基準書体と同じであるが、画像３０の文字領域３６（図５を参照）で比較した場合には、非透明画素６１の割合は基準書体よりも多くなる。

図１１に示される太字書体は、本実施形態において３番目に適用される書体である。太字書体では、文字画像６０の各文字のサイズは基準書体と同程度であるが、文字画像６０の各文字の線幅が基準書体よりも太く、このため、非透明画素６１の量及び割合が基準書体よりも多くなっている。また、本実施形態では、太字書体における非透明画素６１の量及び割合は拡大書体よりも多くなっている。太字書体を適用する際には、文字画像６０の各文字の書体デザインを同じにしたまま、各文字の線幅を太くしてもよいし、文字画像６０の各文字の書体デザインをより線幅の太い書体デザインに変えてもよい。

図１２に示される装飾書体は、本実施形態において４番目に適用される書体である。装飾書体では、文字画像６０の各文字のサイズ及び線幅は基準書体と同程度であるが、文字画像６０の各文字の外縁の外側に装飾が施されており、このため、非透明画素６１の量及び割合が基準書体よりも多くなっている。本実施形態では、装飾書体における非透明画素６１の量及び割合は拡大書体及び太字書体よりも多くなっている。各文字の外縁の外側に施される装飾としては、例えば、各文字の外縁から特定方向に延びる影や、各文字の外縁の全体から広がる光彩などがある。また、文字と装飾の境界を明確にするために、各文字の外縁を文字の内部又は装飾と異なる色にしてもよい。こうした文字にデザイン的効果を与える装飾は、フォントエフェクトとも呼ばれる。

上記図９〜図１２では、画像３０の文字列３２上に合成される文字画像６０の書体について説明したが、書体のバリエーションはこれらの例に限られない。例えば、拡大書体、太字書体、及び装飾書体の２又は３つを組み合わせた書体が適用されてもよい。非透明画素６１の位置、量又は割合などが相違する種々の書体を適用することが可能である。

なお、本実施形態では、文字画像６０の複数の書体は、非透明画素６１の量又は割合の低いものから順番に適用されるが、これは一般に非透明画素の量又は割合の低い方が文字画像自体の可読性が高いためである。また、文字画像６０の複数の書体を非透明画素６１の量又は割合の低いものから順番に適用した方が、原画像３０の文字列３２に対する視覚的印象の変化が少ないためでもある。

図４の説明に戻り、Ｓ８において、制御部１１は、被覆率がしきい値を超えた場合に（Ｓ７：ＹＥＳ）、その時点での書体を文字画像６０に適用する書体として決定する（書体決定部４５ｃとしての機能）。すなわち、制御部１１は、最初に被覆率がしきい値を超えるｎ番目（ｎは自然数）の書体を、文字画像６０に適用する書体として決定する。

以上により、画像３０の文字列３２上に合成される、翻訳後文字列を表す文字画像６０の表示態様（本実施形態では位置及び書体）が被覆率に基づいて決定される。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。

上記実施形態では、被覆率算出部４５ａが算出する被覆率に基づいて翻訳後文字列を表す文字画像６０の表示態様を決定していたが、この態様に限られず、被覆率算出部４５ａを省略してもよい。例えば、構成画素マップ５０に含まれる構成画素５２の量又は割合に基づいて、翻訳後文字列を表す文字画像６０の書体を決定してもよい。具体的には、構成画素５２の量又は割合が多いほど、合成後に構成画素５２が視認される蓋然性が高いことから、構成画素５２の量又は割合に応じて文字画像６０の１〜４番目の書体（図９〜図１２）を段階的に切り替えることで、合成後に構成画素５２が視認されることを抑制することが可能である。

また、上記実施形態では、画像処理装置１０において原画像３０上に文字画像６０が合成されたが、この態様に限られず、表示装置の画面において原画像３０上に文字画像６０が重畳されるように表示されてもよい。例えば、クライアントサーバシステムにおいて、サーバが、原画像３０上に文字画像６０を重畳させる重畳位置を表す位置特定データを、文字画像６０と共に、表示装置を備えるクライアントに送信してもよい（出力手段としての機能の一例）。クライアントは、文字画像６０及び位置特定データを受信すると、表示装置の画面において原画像３０上に文字画像６０を重畳表示する。こうした重畳表示は、例えばＡｊａｘ（Asynchronous JavaScript + XML(JavaScriptは登録商標）)を利用した非同期通信により実現することができる。

なお、サーバからクライアントに文字画像６０を送信する態様に限られず、原画像３０と同じ大きさの透明画像に文字画像６０を合成した被覆画像が送信されてもよい。すなわち、サーバは、原画像３０と同じ大きさの透明画像の重畳位置に文字画像６０を合成し、これにより得られる被覆画像をクライアントに送信する。クライアントは、表示装置の画面において原画像３０上に被覆画像を重畳表示する。この場合、被覆画像の表示位置及び大きさが原画像３０と同じであるので、被覆画像の表示位置を表す位置特定データの生成が容易である。

１０画像処理装置、１１制御部、１２記憶部、１３光ディスクドライブ部、１４通信インタフェース部、１５操作部、１６表示部、１７音声出力部、２０データベース、３０画像（原画像の一例）、３２文字列（第１のテキストの一例）、３４背景画像、３６文字領域、４１原画像取得部、４２文字認識部、４２ａ構成画素特定部、４２ｂ文字情報取得部、４３文字列変換部、４４文字画像取得部、４５表示態様決定部（決定手段及び出力手段の一例）、４５ａ被覆率算出部（算出手段の一例）、４５ｂ位置決定部、４５ｃ書体決定部、４６画像合成部（合成手段の一例）、５０構成画素マップ、５２構成画素、５４非構成画素、６０文字画像、６１非透明画素、６３透明画素。

Claims

第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される被覆率がしきい値を超えない場合に前記被覆率が前記しきい値を超えるまで変更する決定手段と、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段と、
を備える画像処理装置。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いが所定以上となるように決定する決定手段と、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段と、
を備え、
前記表示態様は、前記被覆される度合いを変動させる要因となる表示書体を含み、
前記決定手段は、前記表示書体の候補である候補書体の中から何れかを選択し、該選択された候補書体で表示される前記第２のテキストが、前記被覆される度合いが所定以上となるように前記表示態様を決定する、
画像処理装置。
前記決定手段は、前記候補書体の中から、前記第２のテキストの非透明部分の量が小さい方から順に選択する、
請求項２に記載の画像処理装置。
前記候補書体は、基準となる基準表示書体の他に、該基準表示書体よりも文字のサイズが大きい拡大表示書体と、該基準表示書体よりも文字の線幅が太い太字表示書体と、文字の外縁の外側に装飾が施された装飾表示書体と、の少なくとも何れかを含む、
請求項２または３に記載の画像処理装置。
前記原画像において前記第１のテキストを構成する構成部分が前記第２のテキストの非透明部分により被覆される割合を表す被覆率を算出する算出手段をさらに備え、
前記決定手段は、前記算出手段により算出される被覆率が所定の閾値以上又は超過となるように前記第２のテキストの表示態様を決定する、
請求項１ないし４の何れかに記載の画像処理装置。
前記算出手段は、前記第１のテキストに対する前記第２のテキストの相対位置の候補を表す候補位置ごとに前記被覆率を順次算出し、
前記決定手段は、前記算出手段により前記候補位置ごとに順次算出される前記被覆率が前記所定の閾値以上又は超過であるか否か判定する、
請求項５に記載の画像処理装置。
前記出力手段は、前記原画像の前記位置特定データにより特定される位置上に前記被覆画像を合成するため、画像を合成する合成手段に前記被覆画像と前記位置特定データとを出力する、
請求項１ないし６の何れかに記載の画像処理装置。
前記出力手段は、前記原画像の前記位置特定データにより特定される位置の手前に前記被覆画像を重畳表示させるため、画像表示機能を有する表示装置に前記被覆画像と前記位置特定データとを出力する、
請求項１ないし６の何れかに記載の画像処理装置。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される被覆率がしきい値を超えない場合に前記被覆率が前記しきい値を超えるまで変更し、
前記変更された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する、
画像処理方法。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される被覆率がしきい値を超えない場合に前記被覆率が前記しきい値を超えるまで変更する決定手段、及び、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、
としてコンピュータを機能させるプログラム。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される被覆率がしきい値を超えない場合に前記被覆率が前記しきい値を超えるまで変更する決定手段、及び、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、
としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いが所定以上となるように決定し、
前記決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力し、
前記表示態様は、前記被覆される度合いを変動させる要因となる表示書体を含み、
前記決定では、前記表示書体の候補である候補書体の中から何れかを選択し、該選択された候補書体で表示される前記第２のテキストが、前記被覆される度合いが所定以上となるように前記表示態様を決定する、
画像処理方法。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いが所定以上となるように決定する決定手段、及び、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、
としてコンピュータを機能させ、
前記表示態様は、前記被覆される度合いを変動させる要因となる表示書体を含み、
前記決定手段は、前記表示書体の候補である候補書体の中から何れかを選択し、該選択された候補書体で表示される前記第２のテキストが、前記被覆される度合いが所定以上となるように前記表示態様を決定する、
プログラム。
第１のテキストと一体化した原画像に重畳されるべき被覆画像における第２のテキストの表示態様を、前記原画像における前記第１のテキストが前記被覆画像における前記第２のテキストにより被覆される度合いが所定以上となるように決定する決定手段、及び、
前記決定手段により決定された表示態様で表示される前記第２のテキストと一体化した前記被覆画像を前記原画像に重畳させる重畳位置を表す位置特定データを、前記被覆画像に関連付けて出力する出力手段、
としてコンピュータを機能させ、
前記表示態様は、前記被覆される度合いを変動させる要因となる表示書体を含み、
前記決定手段は、前記表示書体の候補である候補書体の中から何れかを選択し、該選択された候補書体で表示される前記第２のテキストが、前記被覆される度合いが所定以上となるように前記表示態様を決定する、
プログラムを記録したコンピュータ読み取り可能な情報記憶媒体。