JP5512903B1 - 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム - Google Patents

Abstract

本発明の画像処理装置は、画像（３０）に表される第１のテキストと文字画像（６０）に表される第２のテキストとが重なるように画像（３０）上に文字画像（６０）が重畳された合成画像（３０），（６０）において、翻訳前文字列を構成する文字部分（３３）のうち、翻訳後文字列を構成する非透明画素（６１）により被覆されない部分を欠損画素Ｄとし、合成画像（３０），（６０）内の欠損画素Ｄの色属性を、合成画像（３０），（６０）内又は画像（３０）内の一部の色属性を利用して補正する。

Description

本発明は、画像処理装置、画像処理方法、情報記憶媒体、及びプログラムに関し、特にはテキストと一体化した画像の処理に関する。

画像処理の分野では、テキストと一体化した画像からテキストを除去したい場合がある。

例えば、仮想商店街サイトでは、バーゲンなどで用いられる「最終日」等のテキストを、注意を喚起するための図形等の要素を含む背景画像に重畳させた画像が用いられることがある。こうした画像からテキストを読み取り、他の言語に翻訳した上で、翻訳後のテキストを上記背景画像に重畳させた新たな画像を生成する際に、画像と一体化している翻訳前のテキストを除去することができれば便利である。

特許文献１には、単一色の用紙に黒で文字が印字された文書をスキャンして得たビットマップ画像から文字を認識した後、その文字を描画していた画素を用紙と同じ属性の画素で埋め戻し、その後、認識した文字を翻訳して別の新たな文字を取得し、画素の埋め戻された箇所に書き込む技術が開示されている。

特開２００６−２５１９０２号公報

特許文献１に開示された技術では、後の工程で翻訳後の文字を書き込むにも関わらず、翻訳前の文字を描画していた全ての画素を用紙と同じ属性の画素で埋め戻していることから、効率が悪い。なお、背景が単一色でない場合に翻訳前の文字を描画していた全ての画素を埋め戻してから翻訳後の文字を書き込むのだとすれば、背景が複雑になって埋め戻しのための処理が複雑化すればするほど負担が増し、効率が下がるおそれがある。

本発明が解決しようとする課題は、画像と一体化しているテキストを他のテキストに置換する一連の処理において、画像と一体化しているテキストを該画像から除去する処理の効率を高める、という点である。

上記課題を解決するため、本発明の画像処理装置は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段と、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段と、を備える。

また、本発明の画像処理方法は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定し、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する。

また、本発明のプログラムは、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、としてコンピュータを機能させる。

また、本発明の情報記憶媒体は、原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記第２のテキストを構成する部分の少なくとも一部の色属性が前記第１のテキストを構成する部分の少なくとも一部の色属性と同一又は略同一である前記被覆画像を前記原画像上に重畳して前記合成画像を生成する合成手段をさらに備え、前記対象特定手段は、前記生成された合成画像において前記補正対象部分を特定し、前記補正手段は、前記補正対象部分とその隣接部分とを含む対象領域と隣接部分の色属性パターンが近似する近似領域における該補正対象部分に対応する部分の色属性を利用して、該補正対象部分の色属性を決定する。

また、本発明の一態様では、前記補正手段は、前記近似領域を前記合成画像内又は前記原画像内で特定する。

また、本発明の一態様では、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分との少なくとも一方を含み、かつ前記合成画像の全体よりも狭い探索範囲を、該合成画像内において特定する範囲特定手段をさらに備え、前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する。

また、本発明の一態様では、前記範囲特定手段は、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分とを含む外接矩形の内部を前記探索範囲として特定する。

また、本発明の一態様では、前記第１のテキストを構成する部分を含み、かつ前記原画像の全体よりも狭い探索範囲を、該原画像内において特定する範囲特定手段をさらに備え、前記補正手段は、前記特定された探索範囲内において前記近似領域を特定する。

また、本発明の一態様では、前記合成手段は、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される度合いに関する所定の条件を満たすように、前記被覆画像を前記原画像上に重畳させる位置を決定する。

また、本発明の一態様では、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される割合を表す被覆率を算出する算出手段をさらに備え、前記合成手段は、前記算出された被覆率が所定の閾値以上又は超過の場合に、前記所定の条件を満たすと判定する。

また、本発明の一態様では、前記特定された補正対象部分の色属性を消去する消去手段をさらに備え、前記出力手段は、補正対象の画像内における色属性が欠落した部分を前記補正対象部分として認識する前記補正手段に、前記補正対象部分の色属性が消去された前記合成画像を出力する。

また、本発明の一態様では、前記補正手段をさらに備える。

本発明によると、補正する必要のない部分が補正の対象から除外されるため、画像と一体化しているテキストを該画像から除去する補正処理の効率が高めることが可能である。

本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 画像の一例を示す図である。 画像処理後の画像の一例を示す図である。 画像処理装置で実現される機能の一例を示す機能ブロック図である。 画像処理装置で実行される処理の一例を示すフローチャートである。 文字認識処理により特定される文字領域の一例を示す図である。 画像に含まれる翻訳前文字列の一例を示す図である。 翻訳前文字列の構成画素マップの一例を示す図である。 翻訳後文字列の文字画像の一例を示す図である。 画像と文字画像の合成（又は、構成画素マップと文字画像の比較）の一例を示す図である。 対象パッチの特定の一例を示す図である。 類似パッチの特定の一例を示す図である。 類似パッチの特定の他の一例を示す図である。 類似パッチを探索する領域の一例を示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置１０のハードウェア構成の一例を示す図である。画像処理装置１０は、例えばサーバコンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、又はタブレット型コンピュータ等によって実現される。

図１に示されるように、画像処理装置１０は、制御部１１、記憶部１２、光ディスクドライブ部１３、通信インタフェース部１４、操作部１５、表示部１６、及び音声出力部１７を含んでいる。

制御部１１は、例えば１又は複数のマイクロプロセッサを含み、記憶部１２に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部１２は、例えばＲＡＭ、ハードディスク、又はソリッドステートドライブを含んでいる。光ディスクドライブ部１３は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。

プログラムやデータは、光ディスクを介して記憶部１２に供給される。すなわち、プログラムやデータは、光ディスクドライブ部１３によって光ディスクから読み出され、記憶部１２に記憶される。なお、光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が画像処理装置１０に含まれていてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部１２に供給されるようにしてもよい。

通信インタフェース部１４は、画像処理装置１０を通信ネットワークに接続するためのインタフェースである。画像処理装置１０は、通信ネットワークを介して他の装置とデータを授受できるようになっている。なお、プログラム及びデータは、通信ネットワークを介して記憶部１２に供給されるようにしてもよい。

操作部１５は、ユーザが操作を行うためのものである。例えば、キーボード、マウス、タッチパッド、タッチパネル、又はスティック（レバー）等が操作部１５に相当する。表示部１６は、例えば液晶表示ディスプレイ又は有機ＥＬディスプレイ等である。音声出力部１７は、例えばスピーカ又はヘッドホン端子等である。

画像処理装置１０は、データベース２０にアクセスできるようになっている。データベース２０は、画像処理装置１０以外の装置（例えばサーバ）において実現されていてもよいし、画像処理装置１０において実現されていてもよい。

データベース２０には画像が記憶されている。例えば、図示しないＷｅｂサーバによって提供される仮想商店街サイトにおいて利用される画像が、データベース２０に記憶されている。すなわち、仮想商店街に出店している店舗の担当者によって用意された画像がデータベース２０に記憶されている。

図２は、データベース２０に記憶される画像３０の一例を示す図である。図２に示される画像３０は、文字列３２が背景画像３４上に表された、文字列３２と背景画像３４が一体化した画像である。文字列３２は、例えばバーゲンなどで用いられる「最終日」という日本語の文字列を表している。また、背景画像３４は、例えば注意を喚起するための図形を含んでおり、２種類以上の色を含んでいる。また、背景画像３４は、実写された画像など、幾何学的な図形に比して複雑な要素を含んでいてもよい。

なお、こうした画像３０では、一般的に、文字列３２が背景画像３４とは異なる目立つ色で書かれていることが多い。また、文字列３２は単色で書かれることが多く、横方向、縦方向、又は斜め方向に整列している場合が多い。

図３は、画像処理装置１０による画像処理後の画像３９の一例を示す図である。図３に示される画像３９は、上記画像３０の文字列３２が変換された文字列３７が、上記画像３０と同じ背景画像３４上に表された、文字列３７と背景画像３４が一体化した画像である。文字列３７は、例えば「最終日」という日本語の文字列が翻訳された「ＦＩＮＡＬ ＤＡＹ」という英語の文字列を表している。

以下、図２に示されるような画像３０から変換前の文字列３２を読み取り、他の言語などに変換した上で、変換後の文字列３７と背景画像３４とを含む新たな画像３９を生成する技術について説明する。

図４は、画像処理装置１０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図４に示されるように、画像処理装置１０は、原画像取得部４１、文字認識部４２、文字列変換部４３、文字画像取得部４４、合成位置決定部４５、画像合成部４６、及び欠損補完部４７を含んでいる。また、文字認識部４２は、構成画素特定部４２ａ、及び文字情報取得部４２ｂを含んでいる。また、欠損補完部４７は、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄを含んでいる。図４に示される機能ブロックは、画像処理装置１０の制御部１１によって実現される。

原画像取得部４１は、データベース２０から画像３０を取得し、文字認識部４２、画像合成部４６、及び欠損補完部４７に出力する。

文字認識部４２は、画像３０に含まれる変換前の文字列３２を認識する。画像３０に含まれる変換前の文字列３２は、第１のテキストの一例である。文字認識部４２が実行する文字認識処理としては、例えばＯＣＲ（Optical Character Recognition）とも呼ばれる公知の文字認識処理が適用される。具体的には、文字認識部４２は、図６に示されるように文字列３２の各文字に対応する文字領域３６を特定し、文字領域３６内のパターンを予め登録されたパターンと照合することで、文字列３２の各文字を認識する。

文字認識部４２に含まれる構成画素特定部４２ａは、画像３０に含まれる変換前の文字列３２を構成する構成画素を特定し、構成画素の位置を表す構成画素マップを合成位置決定部４５及び欠損補完部４７に出力する。変換前の文字列３２を構成する構成画素は、例えば、図６に示される文字領域３６内を２値化することで特定される。構成画素のパターンは、文字認識処理に利用される。

文字認識部４２に含まれる文字情報取得部４２ｂは、文字認識処理により変換前の文字列３２を表す文字情報を取得し、文字列変換部４３に出力する。文字情報は、例えば文字列３２に含まれる各文字の文字コードを含んでいる。

なお、本実施形態では、文字認識処理により変換前の文字列３２を表す文字情報を取得しているが、この態様に限られず、例えば、変換前の文字列３２を表す文字情報が画像３０に読み取り可能に埋め込まれていて、それを取得する態様であってもよい。

文字列変換部４３は、変換前の文字列３２を表す文字情報が入力されると、変換前の文字列３２を変換して、変換後の文字列３７を表す文字情報を文字画像取得部４４に出力する。文字列変換部４３によって変換された変換後の文字列３７は、第２のテキストの一例である。本実施形態では、文字列３２は他の言語に翻訳される。例えば、「最終日」という日本語の文字列３２は、「ＦＩＮＡＬ ＤＡＹ」という英語の文字列３７に翻訳される。

この態様に限られず、文字列３２は同一言語の異なる種類の文字に変換されてもよい。例えば「最終日」という漢字の文字列３２は、「さいしゅうび」という平仮名の文字列に変換されてもよいし、「サイシュウビ」という片仮名の文字列に変換されてもよい。なお、文字列に含まれる文字の数は、複数に限られず１つであってもよい。

また、例えば文字列３２が日付や金額などの内容を表す場合、文字列３２は、その内容に対応する新たな内容を表す文字列に更新されてもよい。例えば、制御部１１は、文字列３２が日付又は金額であることを認識すると、現在の日付又は金額などの情報を取得して、文字列３２を当該日付又は金額を表す文字列に更新する。

文字画像取得部４４は、変換後の文字列３７を表す文字情報が入力されると、不図示のフォントデータベースから変換後の文字列３７を表す文字画像を取得し、合成位置決定部４５及び画像合成部４６に出力する。アウトラインフォントの場合、変換後の文字列３７を表す文字画像はラスタライズされた上で出力される。ビットマップフォントの場合、変換後の文字列３７を表す文字画像はそのまま出力される。

合成位置決定部４５は、算出手段の一例であり、変換後の文字列３７を構成する部分としての、文字画像の非透明画素が、画像３０に含まれる変換前の文字列３２を構成する部分としての構成画素を被覆する度合いが所定の条件を満たすように、変換後の文字列３７を表す文字画像の合成位置を決定する。

画像合成部４６は、合成手段の一例であり、変換後の文字列３７を表す文字画像を、画像３０の変換前の文字列３２上に合成する。具体的には、変換後の文字列３７を表す文字画像は、画像３０上の合成位置決定部４５により決定された位置に合成される。

欠損補完部４７は、画像３０の変換前の文字列３２を構成する部分のうち、変換後の文字列３７を構成する部分に被覆されない部分を補正対象部分とみなして、補正対象部分の色属性を補正する。具体的には、欠損補完部４７は、画像３０の変換前の文字列３２を構成する構成画素のうち、変換後の文字列３７を表す文字画像に被覆されない画素を欠損画素とみなして、欠損画素の画素値を他の画素の画素値に基づいて補完する。欠損画素は補正対象部分の一例であり、画素値は色属性の一例である。欠損画素の補完方法については、後に詳しく述べる。

欠損補完部４７に含まれる欠損画素指定部４７ａは、対象特定手段、出力手段、及び消去手段の一例であり、変換後の文字列３７を表す文字画像が合成された後の画像３０内の欠損画素を指定する。欠損画素指定部４７ａは、欠損画素を指定するデータを、合成後の画像３０と関連付けて、対象パッチ特定部４７ｂ及び画素値決定部４７ｄに出力する。欠損画素を指定するデータは、例えば、合成後の画像３０内における欠損画素の位置を表す座標データを含んでいる。

欠損補完部４７に含まれる対象パッチ特定部４７ｂは、変換後の文字列３７を表す文字画像が合成された後の画像３０内で対象パッチを特定する。対象パッチは、対象領域の一例であり、補正対象部分としての欠損画素と、その隣接部分としての隣接画素と、を含む。

欠損補完部４７に含まれる類似パッチ特定部４７ｃは、範囲特定手段の一例であり、変換後の文字列３７を表す文字画像が合成された後の画像３０内、又は変換後の文字列３７を表す文字画像が合成される前の画像３０内で、対象パッチに対応する類似パッチを特定する。類似パッチは、近似領域の一例である。なお、類似パッチ特定部４７ｃは、合成された後又は前の画像３０内で類似パッチを探索するための探索範囲を絞り込んでもよい。

ここで、類似パッチとは、画像３０内で特定される複数の候補パッチの中で、対象パッチと類似するものを指す。類似するとは、対象パッチに含まれる隣接画素の画素値と、それら隣接画素に対応する候補パッチ内の画素の画素値と、が近いことを指す。

欠損補完部４７に含まれる画素値決定部４７ｄは、補正手段の一例であり、類似パッチに含まれる画素の画素値に基づいて、欠損画素の画素値を決定する。具体的には、対象パッチに含まれる欠損画素の画素値が、その欠損画素に対応する類似パッチ内の画素の画素値に基づいて決定される。

なお、図４に示される機能ブロックは、複数の装置に分散させてもよい。例えば、文字認識部４２による文字認識処理と、画像合成部４６による画像合成処理と、欠損補完部４７による欠陥処理と、が別々の装置で実行されてもよい。また、これらの処理が時間的に離れていてもよく、この場合、文字認識処理や画像合成処理で生成されるデータがデータベースに一時的に保持されてもよい。また、クライアントサーバシステムにおいて、サーバからの指令に応じてクライアントが一部の処理を実行してもよい。

図５は、欠損補完部４７は、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄを実現するために、画像処理装置１０で実行される処理の一例を示すフローチャートである。制御部１１が図５に示す処理をプログラムに従って実行することによって、制御部１１が欠損補完部４７、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄとして機能するようになる。以下、図５を参照しながら、欠損補完部４７、欠損画素指定部４７ａ、対象パッチ特定部４７ｂ、類似パッチ特定部４７ｃ、及び画素値決定部４７ｄの詳細について説明する。

図５のＳ１において、制御部１１は、翻訳前文字列３２の構成画素マップ５０を取得する。

翻訳前文字列３２の構成画素マップ５０を説明する前に、画像３０に含まれる翻訳前文字列３２について説明する。図７は、画像３０に含まれる翻訳前文字列３２の一例を示す図である。同図では、理解を容易にするため、翻訳前文字列３２に含まれる文字として「あ」の文字を表している。また、同図では、理解を容易にするため「あ」の文字の背景を無色にしているが、実際には背景画像３４は１又は複数種類の色を有している。同図に示されるように、画像３０は、翻訳前文字列３２に係る文字部分３３と、背景画像３４に係る背景部分３５と、を有している。また、翻訳前文字列３２の各文字にアンチエイリアスが施されている場合、文字部分３３のうち、背景部分３５との境界付近には、明度が互いに異なる複数種類の画素が存在する。こうした画像３０に含まれる文字部分３３の画素が、翻訳前文字列３２を構成する構成画素として特定される。なお、文字部分３３は、翻訳前文字列３２を構成する１又は複数の構成画素を含む画素集合である。

図８は、翻訳前文字列３２の構成画素マップ５０の一例を示す図である。構成画素マップ５０は、翻訳前文字列３２の各文字を構成する構成画素５２と、文字を構成しない背景の画素である非構成画素５４と、を有している。図中の×印が付された画素は構成画素５２を表し、×印が付されていない画素は非構成画素５４を表している。同図に示される構成画素マップ５０の構成画素５２は、上記図７に示される画像３０の「あ」の文字を表す文字部分３３の画素に対応している。

図５のＳ２において、制御部１１は、翻訳後文字列３７の文字画像６０を取得する。

図９は、翻訳後文字列３７の文字画像６０の一例を示す図である。同図では、理解を容易にするため、翻訳後文字列３７に含まれる文字として「Ａ」の文字を表している。文字画像６０は、翻訳後文字列３７の各文字を構成する非透明画素６１と、文字を構成しない透明画素６３と、を有している。また、翻訳後文字列３７の各文字にアンチエイリアスが施されている場合、非透明画素６１は、明度が互いに異なる複数種類の画素からなる。

図７及び図９に示されるように、文字画像６０の翻訳後文字列３７を構成する部分（非透明画素６１の集合）の各部は、画像３０の翻訳前文字列３２に係る文字部分３３の各部と同一又は略同一の色属性を有している。

なお、翻訳後文字列３７の文字画像６０の大きさは、画像３０内に特定される文字領域３６（図６及び図７を参照）の大きさ又は一連の複数の文字領域３６を連結した領域の大きさに応じて決定される。

ここで、翻訳後文字列の文字画像６０は、被覆画像の一例である。被覆画像は、例えば、原画像３０と同じ大きさの透明画像に文字画像６０を合成した画像であってもよい。

図５のＳ３において、制御部１１は、変換後文字列３７を表す文字画像６０を画像３０上に合成する合成位置を取得する。

合成位置は、上記図４に示される合成位置決定部４５により、翻訳前文字列３２の構成画素マップ５０と、翻訳後文字列３７の文字画像６０とに基づいて決定されている。具体的には、合成位置決定部４５は、文字画像６０の非透明画素６１が構成画素マップ５０の構成画素５２を被覆する被覆率が所定の閾値以上又は超過となるように合成位置を決定する。被覆率は、構成画素マップ５０の構成画素５２の全数に対する、文字画像６０の非透明画素６１により被覆される構成画素５２の数の割合として表される。例えば、合成位置決定部４５は、構成画素マップ５０上で文字画像６０を１又は複数画素分ずつ移動させながら、その度に被覆率を算出し、被覆率が最も高い位置を合成位置として決定する。

図５のＳ４において、制御部１１は、翻訳前文字列３２の構成画素マップ５０と、翻訳後文字列３７の文字画像６０とを比較する。構成画素マップ５０と比較する際の文字画像６０の位置としては、上記Ｓ３で取得した合成位置が用いられる。

図１０は、構成画素マップ５０と文字画像６０の比較の一例を示す図である（なお、図１０は、後述する画像３０と文字画像６０の合成の一例を示す図でもある）。この比較により、構成画素マップデータ５０に含まれる構成画素５２のうち、文字画像６０の非透明画素６１に被覆されない構成画素５２の位置（すなわち、画像３０上に文字画像６０を合成したときに、文字画像６０の非透明画素６１に被覆されない文字部分３３の位置）が特定される。

図５のＳ５において、制御部１１は、上記Ｓ４の比較により特定される、文字画像６０の非透明画素６１に被覆されない構成画素５２の位置を、欠損画素Ｄの位置として決定する。

図５のＳ６において、制御部１１は、文字画像６０が合成された画像３０を取得する。図１０に示されるように、文字画像６０が合成された画像３０では、文字画像６０の非透明画素６１で表される文字の外縁近傍に、非透明画素６１に被覆されなかった画像３０の文字部分３３が残されている。

図５のＳ７において、制御部１１は、文字画像６０が合成された画像３０において、非透明画素６１に被覆されなかった画像３０の文字部分３３の画素を欠損画素Ｄとみなして指定する。例えば、このとき、欠損画素Ｄとして指定される画素の画素値が消去される（すなわち０とされる）。このように欠損画素Ｄとして指定される画素の画素値を消去した場合、以下に説明する補完処理の簡易化を図ることが可能である。なお、欠損画素Ｄの指定は、このような画素値の消去に限られない。例えば、合成後の画像３０内における欠損画素Ｄの位置を表す座標データを生成してもよい。

以下のＳ８〜Ｓ１６では、文字画像６０が合成された画像３０における欠損画素Ｄの画素値を、他の画素の画素値に基づいて補完する補完処理が実行される。補完処理には、例えば公知のインペインティングなどの補完手法が適用される。なお、これに限られず、線形補間などの他の補完手法であってもよい。

図５のＳ８において、制御部１１は、複数の欠損画素Ｄの中から、補完対象となる欠損画素Ｄを１つ選択する。補完対象となる欠損画素Ｄを選択する際、画素値を有する隣接画素の数が多い欠損画素Ｄから優先的に補完対象として選択される。例えば、複数の欠損画素Ｄが集合している場合には、周縁に近い欠損画素Ｄから優先的に補完対象として選択される。

補完対象となる欠損画素Ｄが選択されると、文字画像６０が合成された画像３０内で対象パッチ７が特定される。図１１は、対象パッチ７の特定の一例を示す図である。対象パッチ７は、中央に形成された欠損画素領域７２と、その周囲に形成された隣接画素領域７４と、を有している。欠損画素領域７２は、補完対象として選択された欠損画素Ｄのための領域である。隣接画素領域７４は、その欠損画素Ｄと隣接する隣接画素のための領域である。図１１の例では、隣接画素には、４つの非透明画素６１と、３つの背景部分３５の画素と、１つの欠損画素Ｄと、が含まれている。特に、対象パッチ７の右半分に非透明画素６１が集中し、対象パッチ７の左半分に背景部分３５の画素が集中している。なお、本実施形態では、対象パッチ７の大きさは３×３画素分であるが、これよりも大きくてもよい。

図５のＳ９において、制御部１１は、文字画像６０が合成された画像３０内で特定された対象パッチ７の画素の画素値を取得する。具体的には、制御部１１は、対象パッチ７の隣接画素領域７４に含まれる各画素の画素値を取得する。

図５のＳ１０において、制御部１１は、文字画像６０が合成された画像３０内で候補パッチ８を特定して、図１２に示されるような候補パッチ８の画素の画素値を取得する。具体的には、制御部１１は、候補パッチ８の隣接対応領域８３に含まれる各画素の画素値を取得する。

候補パッチ８は、対象パッチ７に類似する類似パッチ９を決定するための、対象パッチ７に対応するパッチである。図１２は、類似パッチ９の特定の一例を示す図である。候補パッチ８は、中央に形成された欠損対応領域８１と、その周囲に形成された隣接対応領域８３と、を有している。欠損対応領域８１は、対象パッチ７の欠損画素領域７２に対応する領域である。隣接対応領域８３は、対象パッチ７の隣接画素領域７４に対応する領域である。

図５のＳ１１において、制御部１１は、対象パッチ７の画素の画素値と候補パッチ８の画素の画素値との類似度を算出する。類似度は、例えば、対象パッチ７の隣接画素領域７４に含まれる各画素の画素値と、候補パッチ８の隣接対応領域８３に含まれる各画素の画素値との差の二乗和などである。

当該Ｓ１０及びＳ１１の処理は、文字画像６０が合成された画像３０内で候補パッチ８を１又は複数画素分ずつずらしながら、その度に繰り返される（Ｓ１２及びＳ１３）。これにより、候補パッチ８の各位置での類似度が算出される。

図５のＳ１４において、制御部１１は、候補パッチ８の各位置での類似度に基づいて、類似パッチ９を決定する。具体的には、最も類似度が高い候補パッチ８が、類似パッチ９として決定される。図１２の例では、図１１で示された対象パッチ７と同様に、類似パッチ９の右半分に非透明画素６１が集中し、類似パッチ９の左半分に背景部分３５の画素が集中している。

図５のＳ１５において、制御部１１は、類似パッチ９の画素の画素値に基づいて欠損画素Ｄの画素値を決定する。具体的には、類似パッチ９の欠損対応領域９２内の画素の画素値に基づいて、対象パッチ７の欠損画素領域７２内の欠損画素Ｄの画素値が決定される。例えば、欠損対応領域９２内の画素の画素値と同じ値が、欠損画素領域７２内の欠損画素Ｄの画素値として適用される。このようにして、補完対象となる欠損画素Ｄの画素値が補完される。

以上のＳ８〜Ｓ１５の処理は、補完対象となる欠損画素Ｄを順番に選択しながら、その度に繰り返される（Ｓ１６）。そして、全ての欠損画素Ｄで画素値が決定されると、一連の処理が終了する（Ｓ１６：ＹＥＳ）。例えば、複数の欠損画素Ｄが集合している場合には、周縁に近い欠損画素Ｄから順番に画素値が補完されていく。換言すると、欠損画素Ｄの集合の周縁が徐々に内側にシフトし、集合の大きさが徐々に小さくなって、最終的に消滅する。

以上のように、本実施形態によると、文字画像６０が合成された画像３０において、非透明画素６１に被覆されなかった画像３０の文字部分３３の画素を欠損画素Ｄとみなして、欠損画素Ｄの画素値を補完することで、画像３０の文字部分３３の全ての画素の画素値を補完する場合よりも、欠損画素Ｄの数を低減することができるので、補完処理の処理負担を軽減して、効率を向上させることが可能である。また、本実施形態によると、欠損画素Ｄの集合を分散させたり、大きさを小さくできるので、補完精度の向上を図ることが可能である。

また、本実施形態によると、文字画像６０の非透明画素６１で表される文字の外縁近傍に欠損画素Ｄが生成されやすいことから、対象パッチ７内に非透明画素６１で表される文字の外縁が含まれやすい（すなわち、対象パッチ７内に非透明画素６１と背景部分３５の画素とが混在しやすい）。これに伴い、類似パッチ９も、非透明画素６１で表される文字の外縁近傍において決定されることから、文字の外縁近傍における補完精度の向上を図ることも可能である。すなわち、翻訳前文字列３２を表す画像３０上に翻訳後文字列３７を表す文字画像６０を重畳させることで、類似パッチ９が出現しやすい状況が作り出されるので、補完処理の処理負担を軽減して、効率を向上させることが可能である。

また、本実施形態は、文字画像６０の非透明画素６１で表される文字にアンチエイリアスが施されている場合や、画像３０の背景部分３５が２種類以上の色の細かな模様である場合に、特に有効である。

なお、上記Ｓ１０〜Ｓ１４における類似パッチ９の特定は、文字画像６０が合成されていない画像３０内で行われてもよい。すなわち、制御部１１は、図１３に示されるように、翻訳前文字列３２を含む画像３０内で候補パッチ８をそれぞれ特定し、類似度を算出し、翻訳前文字列３２を含む画像３０内で類似パッチ９を決定してもよい。これによると、翻訳前文字列３２を含む画像３０内で決定された類似パッチ９の画素の画素値に基づいて、文字画像６０が合成された画像３０内で特定された対象パッチ７（図１１を参照）の欠損画素Ｄの画素値が決定される。

このように、文字画像６０が合成されていない、翻訳前文字列３２を含む画像３０内で類似パッチ９が決定されることにより、上述の効果に加えて、文字画像６０が合成される前の元の画像３０内の画素の状態、特に文字部分３３の外縁近傍の画素の状態をより再現しやすいという効果が期待できる。

また、上記Ｓ１０〜Ｓ１３における類似パッチ９の特定は、画像３０内の翻訳前文字列３２に対応する一部の領域（探索領域３８）の中で行われるようにしてもよい。例えば、図１４に示されるように、合成前の画像３０内に翻訳前文字列３２を含むように探索領域３８が設定される。

また、合成後の画像３０内で類似パッチ９を特定する場合は、合成後の画像３０内に翻訳前文字列３２及び翻訳後文字列３７の少なくとも一方を含むように探索領域３８が設定される。このとき、翻訳前文字列３２及び翻訳後文字列３７の両方を含む外接矩形の内部を探索領域３８とすることが好ましい。

類似度を算出する候補パッチ８の移動を探索領域３８内に限定することで、類似パッチ９を決定する計算処理の処理負担を軽減することが可能である。なお、上述したように、類似パッチ９は非透明画素６１で表される文字の外縁近傍（画像３０であれば、文字部分３３の外縁近傍）で決定されやすいことから、探索領域３８を限定しても補完精度への影響は少ない。すなわち、上記のように探索領域３８を設定することで、類似パッチ９が出現する可能性が高い領域に探索領域３８が絞られるので、補完処理の処理負担をより軽減して、効率をより向上させることが可能である。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。

上記実施形態では、欠損画素Ｄとして指定される画素の画素値を消去した上で、欠損画素Ｄの画素値を０から新たな値に補完していたが、この態様に限られず、例えば、欠損画素Ｄとして指定される画素の画素値を消去することなく、その画素値を増減等する補正を行ってもよい。

１０ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 光ディスクドライブ部、１４ 通信インタフェース部、１５ 操作部、１６ 表示部、１７ 音声出力部、２０ データベース、３０ 画像（原画像の一例）、３２ 文字列（翻訳前文字列）、３３ 文字部分、３４ 背景画像、３５ 背景部分、３６ 文字領域、３７ 文字列（翻訳後文字列）、３８ 探索領域、３９ 画像、４１ 原画像取得部、４２ 文字認識部、４２ａ 構成画素特定部、４２ｂ 文字情報取得部、４３ 文字列変換部、４４ 文字画像取得部、４５ 合成位置決定部（算出手段の一例）、４６ 画像合成部（合成手段の一例）、４７ 欠損補完部、４７ａ 欠損画素指定部（対象特定手段、出力手段、及び消去手段の一例）、４７ｂ 対象パッチ特定部、４７ｃ 類似パッチ特定部（範囲特定手段の一例）、４７ｄ 画素値決定部（補正手段の一例）、５０ 構成画素マップ、５２ 構成画素、５４ 非構成画素、６０ 文字画像、６１ 非透明画素、６３ 透明画素、７ 対象パッチ、７２ 欠損画素領域、７４ 隣接画素領域、８ 候補パッチ、８１ 欠損対応領域、８３ 隣接対応領域、９ 類似パッチ、９２ 欠損対応領域、Ｄ 欠損画素。

Claims (13)

1. 原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段と、
   画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段と、
   を備える画像処理装置。
2. 前記補正手段は、前記補正対象部分及びその隣接部分を含む対象領域における前記隣接部分と、複数の候補パッチにおける前記隣接部分に対応する部分との色属性の類似度をそれぞれ算出し、当該算出された各類似度に基づいて前記複数の候補パッチの中から１つの類似パッチを特定し、該類似パッチにおける前記補正対象部分に対応する部分の色属性を利用して、該補正対象部分の色属性を決定する、
   請求項１に記載の画像処理装置。
3. 前記補正手段は、前記候補パッチを前記合成画像内又は前記原画像内で特定する、
   請求項２に記載の画像処理装置。
4. 前記第１のテキストを構成する部分と前記第２のテキストを構成する部分との少なくとも一方を含み、かつ前記合成画像の全体よりも狭い探索範囲を、該合成画像内において特定する範囲特定手段をさらに備え、
   前記補正手段は、前記特定された探索範囲内において前記候補パッチを特定する、
   請求項２または３に記載の画像処理装置。
5. 前記範囲特定手段は、前記第１のテキストを構成する部分と前記第２のテキストを構成する部分とを含む外接矩形の内部を前記探索範囲として特定する、
   請求項４に記載の画像処理装置。
6. 前記第１のテキストを構成する部分を含み、かつ前記原画像の全体よりも狭い探索範囲を、該原画像内において特定する範囲特定手段をさらに備え、
   前記補正手段は、前記特定された探索範囲内において前記候補パッチを特定する、
   請求項２または３に記載の画像処理装置。
7. 前記被覆画像を前記原画像上に重畳して前記合成画像を生成する合成手段をさらに備え、
   前記合成手段は、前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される度合いに関する所定の条件を満たすように、前記被覆画像を前記原画像上に重畳させる位置を決定する、
   請求項２ないし６の何れかに記載の画像処理装置。
8. 前記第２のテキストを構成する部分により前記第１のテキストを構成する部分が被覆される割合を表す被覆率を算出する算出手段をさらに備え、
   前記合成手段は、前記算出された被覆率が所定の閾値以上又は超過の場合に、前記所定の条件を満たすと判定する、
   請求項７に記載の画像処理装置。
9. 前記特定された補正対象部分の色属性を消去する消去手段をさらに備え、
   前記出力手段は、補正対象の画像内における色属性が欠落した部分を前記補正対象部分として認識する前記補正手段に、前記補正対象部分の色属性が消去された前記合成画像を出力する、
   請求項１ないし８の何れかに記載の画像処理装置。
10. 前記補正手段をさらに備える、
    請求項１ないし９の何れかに記載の画像処理装置。
11. 原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定し、
    画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する、
    画像処理方法。
12. 原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、
    画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、
    としてコンピュータを機能させるプログラム。
13. 原画像に表される第１のテキストと被覆画像に表される第２のテキストとが重なるように前記原画像上に前記被覆画像が重畳された合成画像において、前記第１のテキストを構成する部分のうち、前記第２のテキストを構成する部分により被覆されない補正対象部分を特定する対象特定手段、及び、
    画像内の補正対象部分の色属性を補正する補正手段に、前記特定された補正対象部分を指定するデータを前記合成画像に関連付けて出力する出力手段、
    としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。

Images