JP6325401B2 - 情報処理装置、画像変更方法及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、画像変更方法及びプログラムに関する。

従来から、文字を含有する文字含有領域を含む画像に対し、カーソルを表示し、当該カーソルを文字含有領域へ移動させることにより、文字含有領域へのユーザの注意を引く技術が知られている。

特開２０１２−７９０７６号公報

しかしながら、上述したような従来技術では、画像内の文字への引き付け方が間接的であるため、画像内の文字への引き付け方が直接的である場合に比べ、ユーザの文字の認知が遅れてしまう。

本発明は、上記事情に鑑みてなされたものであり、画像上の文字に対するユーザの認知を速めることが可能な情報処理装置、画像変更方法及びプログラムを提供することを目的とする。

実施形態の情報処理装置は、取得部と、第１分割部と、第２分割部と、算出部と、変更部と、出力部と、を備える。取得部は、画像を取得する。第１分割部は、前記画像を、１以上の文字を含有する文字含有領域と当該文字含有領域以外の背景領域とに分割する。第２分割部は、前記文字含有領域を、文字を構成する線分から成る文字領域と当該文字領域以外の文字背景領域とに分割する。算出部は、前記文字領域の所定属性の第１代表値、前記文字背景領域の前記所定属性の第２代表値、及び前記背景領域の前記所定属性の第３代表値を算出する。変更部は、前記第１代表値と前記第３代表値とに基づく第１差、前記第１代表値と前記第２代表値とに基づく第２差、及び前記第２代表値と前記第３代表値に基づく第３差が大きくなるように、前記第１代表値、前記第２代表値、及び前記第３代表値の少なくともいずれかの値を変更する。出力部は、前記第１代表値が変更された場合、前記文字領域の前記所定属性の値を変更後の第１代表値、前記第２代表値が変更された場合、前記文字背景領域の前記所定属性での値を変更後の第２代表値、前記第３代表値が変更された場合、前記背景領域の前記所定属性での値を変更後の第３代表値に変更した変更画像を出力する。

第１実施形態の情報処理装置の例を示す構成図。 第１実施形態の文字含有領域と背景領域との例の説明図。 画像から１以上の文字が映る領域を検出する公知手法の例の説明図。 画像から文字成分を抽出する公知手法の例の説明図。 第１実施形態の文字領域と文字背景領域との例の説明図。 第１実施形態の視認距離テーブルの例を示す図。 第１実施形態の変更画像の例を示す図。 第１実施形態の処理例を示すフローチャート。 第１実施形態のＬａｂ色空間における第１代表値の変更前及び変更後の位置の例を示す図。 第１実施形態のａｂ平面における第１代表値の変更前及び変更後の位置の例を示す図。 第２実施形態の情報処理装置の例を示す構成図。 変形例７の文字領域の外接矩形の長辺の周囲に線が含まれているか否かの判定手法の例の説明図。 変形例７の文字領域の外接矩形の長辺の周囲に線が含まれているか否かの判定手法の例の説明図。 変形例７の文字領域の外接矩形の長辺の周囲に線が含まれているか否かの判定手法の例の説明図。 変形例７の文字領域の外接矩形の長辺の周囲に線が含まれているか否かの判定手法の例の説明図。 変形例８の文字領域の外接矩形の周囲にルビが含まれているか否かの判定手法の例の説明図。 変形例８の文字領域の外接矩形の周囲にルビが含まれているか否かの判定手法の例の説明図。 変形例８の文字領域の外接矩形の周囲にルビが含まれているか否かの判定手法の例の説明図。 第３実施形態の情報処理システムの例を示す構成図。 第３実施形態の情報処理システムの使用例を示す説明図。 第３実施形態の情報処理システムの使用例を示す説明図。 第４実施形態の情報処理システムの例を示す構成図。 第４実施形態の合成手法の例の説明図。 第４実施形態の合成画像の例を示す図。 各実施形態及び各変形例の情報処理装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の情報処理装置１０の一例を示す構成図である。図１に示すように、情報処理装置１０は、撮像部９と、取得部１１と、第１分割部１２と、第２分割部１３と、算出部１４と、記憶部１５と、変更部１６と、出力部１７と、表示部１８とを、備える。

情報処理装置１０は、第１実施形態では、眼鏡型のウェラブル端末を想定しているが、これに限定されず、例えば、眼鏡型以外のウェラブル端末、スマートフォン、タブレット端末、及びＰＣ（Personal Computer）などであってもよい。

撮像部９は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を画像センサに用いた撮像装置により実現できる。

取得部１１、第１分割部１２、第２分割部１３、算出部１４、変更部１６、及び出力部１７は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

記憶部１５は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。

表示部１８は、例えば、液晶ディスプレイやタッチパネルディスプレイなどの表示装置により実現できる。

撮像部９は、画像を撮像する。第１実施形態では、情報処理装置１０が眼鏡型のウェラブル端末であることを想定しているため、撮像部９は、ユーザが情報処理装置１０を通して視認している画像を撮像する。

取得部１１は、撮像部９により撮像された画像を取得する。

第１分割部１２は、取得部１１により取得された画像を、１以上の文字を含有する文字含有領域と当該文字含有領域以外の背景領域とに分割する。

なお、文字含有領域の数は、取得部１１により取得された画像に依存する。つまり、取得部１１により取得された画像に含まれる文字含有領域が１つであれば、第１分割部１２は、当該画像から１つの文字含有領域を分割し、取得部１１により取得された画像に含まれる文字含有領域が複数であれば、第１分割部１２は、当該画像から複数の文字含有領域を分割する。

具体的には、第１分割部１２は、取得部１１により取得された画像から１以上の文字が映る領域を検出し、当該画像から当該領域が外接する領域を抽出し、抽出した領域を文字含有領域、抽出しなかった領域を背景領域とする。

図２は、第１実施形態の文字含有領域と背景領域との一例の説明図である。図２に示す例の場合、「ＳＴＯＰ」という文字を含有する８角形の領域が文字含有領域１０６となり、文字含有領域１０６以外の領域が背景領域となる。但し、実際には、画像上部のハングル文字列を含有する領域も文字含有領域となるが、ここでは、説明を省略し、背景領域として扱う。

なお、画像から１以上の文字が映る領域を検出する手法は、公知の手法を用いればよい。

図３は、画像から１以上の文字が映る領域を検出する公知の手法の一例の説明図である。図３に示す例では、図２に示す画像から文字の全部又は一部を構成する文字成分１２１〜１２５（１以上の連続する画素）を抽出し、抽出した文字成分１２１〜１２５の中から、同一の文字列に含まれると推定される文字成分を選択し（ここでは、文字成分１２１〜１２５を選択）、選択した文字成分１２１〜１２５に基づいて文字列の方向及び高さの情報を取得することで、画像から１以上の文字が映る領域１２６を検出している（詳細は、例えば、特開２００５−３０９７７１号公報を参照）。なお、領域１２６を文字含有領域としてもよい。

図４は、画像から文字成分を抽出する公知の手法の一例の説明図である。図４に示す例では、画像１０１を一定比率ｒ（但し、０＜ｒ＜１）で順次縮小し、１以上のリサイズ画像１０２−１〜１０２−２を生成し、画像１０１とリサイズ画像１０２−１〜１０２−２を、中心を合わせて上下方向に並べることで、解像度ピラミッド画像１０３とし、解像度ピラミッド画像１０３に含まれる画像１０１及びリサイズ画像１０２−１〜１０２−２の対応箇所を所定サイズの検出窓１０４で切り取り、３つの部分画像を生成している。そして、予め文字・非文字画像を学習した文字検出辞書を用いて、３つの部分画像それぞれを照合し、文字らしさを表すスコアが文字成分抽出用の閾値を超えていれば、文字成分として抽出する。文字らしさを表すスコアは、部分空間法やサポートベクトルマシンなどを用いたパターン識別など公知の手法で求めることができる。

第２分割部１３は、第１分割部１２により分割された文字含有領域を、文字を構成する線分から成る文字領域と当該文字領域以外の文字背景領域とに分割する。

図５は、第１実施形態の文字領域と文字背景領域との一例の説明図である。図５に示す例の場合、第２分割部１３は、文字含有領域１０６を、「ＳＴＯＰ」という文字で構成される文字領域１０７と、文字含有領域１０６から文字領域１０７を除外した文字背景領域１０８とに分割している。

具体的には、第２分割部１３は、文字含有領域を構成する各画素を二値化して解析し、特徴が類似する隣接する画素同士を連結することで複数の連結成分を生成し、生成した連結成分の連結成分間の位置関係と連結成分の類似度とに応じて、ほぼ同一直線上に並んでいる連結成分を組み合わせ、文字を構成する線分を抽出し、抽出した線分の領域を文字領域、抽出しなかった領域を文字背景領域とする。

なお、文字が文字背景よりも濃色で記載されていることが分かっている場合には、連結する画素は黒色の画素であり、文字が文字背景よりも薄色で記載されていることが分かっている場合には、連結する画素は白色の画素である。また、文字が文字背景よりも濃いか薄いか分かっていない場合には、文字含有領域を構成する画素において、白色の画素の方が多ければ、文字が文字背景よりも濃色で記載されていると判断できるため、連結する画素は黒色の画素であり、文字含有領域を構成する画素において、黒色の画素の方が多ければ、文字が文字背景よりも薄色で記載されていると判断できるため、連結する画素は白色の画素である。

但し、文字領域と文字背景領域との分割手法は、上述の手法に限定されず、他の公知の手法などを用いてもよい。なお、第２分割部１３は、上述の手法で文字含有領域を文字領域と文字背景領域とに分割するので、ＯＣＲ（Optical Character Recognition）等に比べ、処理負荷（例えば、処理時間や処理に必要なデータ量）を削減できるとともに、言語の種類に依存せずに文字領域と文字背景領域とを分割できるという利点がある。

算出部１４は、第２分割部１３により分割された文字領域の所定属性の第１代表値、第２分割部１３により分割された文字背景領域の所定属性の第２代表値、及び第１分割部１２により分割された背景領域の所定属性の第３代表値を算出する。

所定属性は、人間の認知のし易さを表現可能な属性、即ち、人の目の惹きつけやすさや認知容易性を表現できる属性であればよく、例えば、色相、明度、及び彩度などが挙げられる。第１実施形態では、所定属性が色相である場合を例に取り説明するが、これに限定されるものではない。

また第１実施形態では、第１代表値は、文字領域における色相の代表色であり、より詳細には、文字領域において、最も顕著性を有する色である。第２代表値は、文字背景領域における色相の代表色であり、より詳細には、文字背景領域において、最も顕著性を有する色である。第３代表値は、背景領域における色相の代表色であり、より詳細には、背景領域において、最も顕著性を有する色である。

最も顕著性を有する色は、例えば、文字領域の場合、文字領域において最も多い色とすることができる。また例えば、文字領域の場合、文字領域の顕著性マップを生成し、顕著性マップにおいて最も顕著性が高い画素の色とすることができる。なお、文字背景領域や背景領域においても同様である。

顕著性マップは、領域の各画素の注意を惹く強度（確率）を表したマップであり、例えば、領域を色、輝度、及びエッジに分解し、各成分の多重スケール画像における隣接特徴との差分を算出し、統合することで生成できる（詳細は、例えば、L.Itti,C.Koch, and E.Niebur,“A model of saliency-based visual attention for rapid scene analysis,” IEEE Trans.Pattern Anal. Mach. Intell.,vol.20, no.11, pp.1254-1259,1998.を参照）。

記憶部１５は、視認距離テーブルを記憶する。図６は、第１実施形態の視認距離テーブルの一例を示す図である。図６に示す視認距離テーブルは、図柄の色と図柄の背景の色との組み合わせ毎の視認距離を示すテーブルであり、大島の調査（１９５３）によるものである。視認距離は、図柄を視認可能な距離であり、値が大きいほど、背景の色に対して図柄の色が目立ち、人間が認知し易いことを表す。但し、視認距離テーブルは、これに限定されるものではない。

変更部１６は、算出部１４により算出された第１代表値と第３代表値とに基づく第１差、第１代表値と第２代表値とに基づく第２差、及び第２代表値と第３代表値に基づく第３差が大きくなるように、第１代表値、第２代表値、及び第３代表値の少なくともいずれかの値を変更する。

第１実施形態では、前述のとおり、所定属性が色相である。また第１実施形態では、第１差は、第１代表値を図柄（対象物の一例）の色、第３代表値を図柄の背景の色とした場合の視認距離であり、第２差は、第１代表値を図柄の色、第２代表値を図柄の背景の色とした場合の視認距離であり、第３差は、第２代表値を図柄の色、第３代表値を図柄の背景の色とした場合の視認距離とする。

そして、変更部１６は、記憶部１５に記憶された視認距離テーブルを参照して、第１差、第２差、及び第３差が大きくなるように、第１代表値、第２代表値、及び第３代表値の少なくともいずれかの値を変更する。

より詳細には、変更部１６は、図６に示す視認距離テーブルを参照して、第１差が最大となり、第２差及び第３差が大きくなり、更に、第２差と第３差との合算値が最大となるように、第１代表値及び第２代表値を変更する。

例えば、図５に示す状態において、文字領域１０７の第１代表値が「橙」、文字背景領域１０８の第２代表値が「赤」、及び背景領域の第３代表値が「赤」であるとする。

この場合、変更部１６は、まず、図６に示す視認距離テーブルを参照して、第１差が最大となるように、第１代表値を変更する。このため、文字領域１０７の第１代表値が「黄」に変更される。

次に、変更部１６は、図６に示す視認距離テーブルを参照して、第２差及び第３差が大きくなり、更に、第２差と第３差との合算値が最大となるように、第２代表値を変更する。このため、文字背景領域１０８の第２代表値が「紫」に変更される。

出力部１７は、変更部１６により第１代表値が変更された場合、文字領域の所定属性の値を変更後の第１代表値、変更部１６により第２代表値が変更された場合、文字背景領域の所定属性での値を変更後の第２代表値、変更部１６により第３代表値が変更された場合、背景領域の所定属性での値を変更後の第３代表値に変更した変更画像を出力する。具体的には、出力部１７は、変更画像を表示部１８に表示出力する。

図６に示す視認距離テーブルを参照した例では、変更部１６により、第１代表値が「橙」から「黄」に変更され、第２代表値が「赤」から「紫」に変更されているため、出力部１７は、図７に示すように、文字領域１０７全体の色を「黄」に変更し、文字背景領域１０８全体の色を「紫」に変更した変更画像を表示部１８に表示出力する。

図８は、第１実施形態の情報処理装置１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、取得部１１は、撮像部９により撮像された画像を取得し、第１分割部１２は、取得部１１により取得された画像を、文字含有領域と背景領域とに分割する（ステップＳ１）。

続いて、文字含有領域については（ステップＳ２でＹｅｓ）、第２分割部１３は、文字領域と文字背景領域とに分割する（ステップＳ４）。

続いて、算出部１４は、背景領域については（ステップＳ２でＮｏ）、背景領域の所定属性の代表値である第３代表値を算出し（ステップＳ３）、文字背景領域については（ステップＳ５でＮｏ）、文字背景領域の所定属性の代表値である第２代表値を算出し（ステップＳ６）、文字領域については（ステップＳ５でＹｅｓ）、文字領域の所定属性の代表値である第１代表値を算出する（ステップＳ７）。

続いて、変更部１６は、第１差、第２差、及び第３差が大きくなるように、第１代表値、第２代表値、及び第３代表値の少なくともいずれかの値を変更する（ステップＳ８）。

続いて、出力部１７は、変更部１６により第１代表値が変更された場合、文字領域の所定属性の値を変更後の第１代表値、変更部１６により第２代表値が変更された場合、文字背景領域の所定属性での値を変更後の第２代表値、変更部１６により第３代表値が変更された場合、背景領域の所定属性での値を変更後の第３代表値に変更した変更画像を出力する（ステップＳ９）。

以上のように第１実施形態によれば、文字領域、文字背景領域、及び背景領域間における人間の認知のし易さを表現可能な属性の差が大きくなるような変更を行うため、画像上の文字に対するユーザの認知を速めることができる。

特に第１実施形態によれば、背景領域の色は変化せず、文字領域及び文字背景領域の色が変化するため、ユーザが持っている元の画像に対するイメージを大きく変えずに、画像上の文字に対するユーザの認知を速めることができる。

（変形例１）
上記第１実施形態において、文字領域、文字背景領域、及び背景領域の色をＬ＊ａ＊ｂ＊色空間（以下、「Ｌａｂ色空間」とする）で表し、所定属性をＬａｂ色空間の明度とし、第１代表値を文字領域における明度の代表値、第２代表値を文字背景領域における明度の代表値、第３代表値を背景領域における明度の代表値としてもよい。

文字領域の場合、第１代表値は、文字領域において、最も顕著性を有する明度の値であり、文字領域において最も多い明度や文字領域の顕著性マップにおいて最も顕著性が高い画素の明度とすることができる。なお、文字背景領域や背景領域においても同様である。

この場合、第１差は、第１代表値と第３代表値との差（明度差）、第２差は、第１代表値と第２代表値との差（明度差）、第３差は、第２代表値と第３代表値との差（明度差）となる。

なお、Ｌａｂ色空間における明度差は、数式（１）で求められる。

このため、算出部１４は、第１差を求める場合には、数式（１）のＬ１に第１代表値、Ｌ２に第３代表値を代入し、第２差を求める場合には、数式（１）のＬ１に第１代表値、Ｌ２に第２代表値を代入し、第３差を求める場合には、数式（１）のＬ１に第２代表値、Ｌ２に第３代表値を代入すればよい。

そして、第１差をΔＬ１、第２差をΔＬ２、第３差をΔＬ３、変更後の第１差をΔＬ１＿ｎｅｗ、変更後の第２差をΔＬ２＿ｎｅｗ、変更後の第３差をΔＬ３＿ｎｅｗとすると、変更部１６は、数式（２）を満たすように、第１代表値、第２代表値、及び第３代表値のいずれかの値を変更すればよい。

ΔＬ１＿ｎｅｗ＞ΔＬ１ かつ ΔＬ２＿ｎｅｗ＞ΔＬ２ かつ ΔＬ３＿ｎｅｗ＞ΔＬ３ …（２）

変形例１によれば、文字領域、文字背景領域、及び背景領域間における明度差が大きくなるような変更を行うため、画像上の文字に対するユーザの認知を速めることができる。

（変形例２）
変形例１において、所定属性にＬａｂ色空間の彩度を加え、第１代表値に文字領域における彩度の代表値、第２代表値に文字背景領域における彩度の代表値、第３代表値に背景領域における彩度の代表値を更に加えるようにしてもよい。なお、彩度の代表値は、ａの値とｂの値とのペアで表される。また、明度については、変形例１で既に説明したため、変形例２では、明度に関する説明を省略し、彩度に特化して説明する。

文字領域の場合、第１代表値は、文字領域において、最も顕著性を有する彩度の値が加わる。最も顕著性を有する彩度の値は、文字領域において最も多い彩度や文字領域の顕著性マップにおいて最も顕著性が高い画素の彩度とすることができる。なお、文字背景領域や背景領域においても同様である。

この場合、第１差は、第１代表値と第３代表値との差（明度差及び彩度差）、第２差は、第１代表値と第２代表値との差（明度差及び彩度差）、第３差は、第２代表値と第３代表値との差（明度差及び彩度差）となる。

なお、Ｌａｂ色空間における彩度は、数式（３）で定義されるため、Ｌａｂ色空間における彩度差は、数式（４）で求められる。

このため、算出部１４は、第１差の彩度差を求める場合には、数式（４）のａ１及びｂ１に第１代表値、ａ２及びｂ２に第３代表値を代入し、第２差の彩度差を求める場合には、数式（４）のａ１及びｂ１に第１代表値、ａ２及びｂ２に第２代表値を代入し、第３差の彩度差を求める場合には、数式（４）のａ１及びｂ１に第２代表値、ａ２及びｂ２に第３代表値を代入すればよい。

そして、第１差の彩度差をΔＣ１、第２差の彩度差をΔＣ２、第３差の彩度差をΔＣ３、変更後の第１差の彩度差をΔＣ１＿ｎｅｗ、変更後の第２差の彩度差をΔＣ２＿ｎｅｗ、変更後の第３差の彩度差をΔＣ３＿ｎｅｗとすると、変更部１６は、数式（５）を満たすように、第１代表値、第２代表値、及び第３代表値のいずれかの値を変更すればよい。

ΔＣ１＿ｎｅｗ＞ΔＣ１ かつ ΔＣ２＿ｎｅｗ＞ΔＣ２ かつ ΔＣ３＿ｎｅｗ＞ΔＣ３ …（５）

変形例２によれば、文字領域、文字背景領域、及び背景領域間における明度差及び彩度差が大きくなるような変更を行うため、画像上の文字に対するユーザの認知を速めることができる。

なお、変形例２では、所定属性にＬａｂ色空間の明度及び彩度の双方を用いる例について説明したが、明度を用いずに彩度を用いるようにしてもよい。

（変形例３）
上記第１実施形態において、文字領域、文字背景領域、及び背景領域の色をＬａｂ色空間で表し、所定属性をＬａｂ色空間の色とし、第１代表値を文字領域における色の代表値、第２代表値を文字背景領域における色の代表値、第３代表値を背景領域における色の代表値としてもよい。なお、色の代表値は、Ｌの値とａの値とｂの値との組で表される。

文字領域の場合、第１代表値は、文字領域において、最も顕著性を有する色の値であり、文字領域において最も多い色や文字領域の顕著性マップにおいて最も顕著性が高い画素の色とすることができる。なお、文字背景領域や背景領域においても同様である。

この場合、第１差は、第１代表値と第３代表値との差（色差）、第２差は、第１代表値と第２代表値との差（色差）、第３差は、第２代表値と第３代表値との差（色差）となる。

なお、Ｌａｂ色空間における色差は、数式（６）で求められる。

このため、算出部１４は、第１差を求める場合には、数式（６）のＬ１、ａ１、ｂ１に第１代表値、Ｌ２、ａ２、ｂ２に第３代表値を代入し、第２差を求める場合には、数式（６）のＬ１、ａ１、ｂ１に第１代表値、Ｌ２、ａ２、ｂ２に第２代表値を代入し、第３差を求める場合には、数式（６）のＬ１、ａ１、ｂ１に第２代表値、Ｌ２、ａ２、ｂ２に第３代表値を代入すればよい。

そして、第１差をΔｄ１、第２差をΔｄ２、第３差をΔｄ３、変更後の第１差をΔｄ１＿ｎｅｗ、変更後の第２差をΔｄ２＿ｎｅｗ、変更後の第３差をΔｄ３＿ｎｅｗとすると、変更部１６は、以下のいずれかの条件を満たすように、第１代表値、第２代表値、及び第３代表値のいずれかの値を変更すればよい。

ここで、Ｌａｂ色空間は、等色色空間であり、色差が色の近さを表すため、色差が大きい配色ほど、人間は認知し易い。このため、変更部１６は、第１代表値を誘目性の高い色の値へ変更する。誘目性の高い色は、例えば、ＩＳＯ ３８６４−１：２００２（ＪＩＳ ｚ ９１０１−２００１）に示される安全彩色が挙げられる。

具体的には、変更部１６は、第１代表値を、安全彩色の値のうち、Δｄ１＿ｎｅｗとΔｄ２＿ｎｅｗとの差が最も大きくなる色の値に変更する。この際、変更部１６は、Δｄ１＿ｎｅｗ及びΔｄ２＿ｎｅｗの値は、３以上の値となるように第１代表値を変更する。

なお、誘目性の高い色を暖色としてもよい。この場合、変更部１６は、図９及び図１０に示すように、第１代表値のａの値及びｂの値をプラス方向（暖色方向）、かつ、第１代表値のａの値及びｂの値の絶対値が大きくなるように変更することで、ａｂ平面上において、第１代表値が原点と成す角が大きくなるように第１代表値のａの値及びｂの値を変更する。なお、図９は、第１実施形態のＬａｂ色空間における第１代表値の変更前及び変更後の位置の一例を示す図であり、図１０は、第１実施形態のａｂ平面における第１代表値の変更前及び変更後の位置の一例を示す図である。

変形例３によれば、文字領域と文字背景領域との色差、及び文字領域と背景領域間との色差が大きくなるような変更を行うため、画像上の文字に対するユーザの認知を速めることができる。

（変形例４）
上記第１実施形態において、所定属性を領域の短辺又は領域に含まれる線分の太さとし（以下、まとめて「線分の太さ」とする）、第１代表値を文字領域における線分の太さ、第２代表値を文字背景領域における線分の太さ、第３代表値を背景領域における線分の太さとし、第１差、第２差、及び第３差を、線分の太さの差としてもよい。

（第２実施形態）
第２実施形態では、文字含有領域の重要度を更に用いて、文字含有領域をそのまま文字含有領域として扱うか背景領域として扱うかを判定する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１１は、第２実施形態の情報処理装置２１０の一例を示す構成図である。図１１に示すように、第２実施形態の情報処理装置２１０は、記憶部２１５及び判定部２１９が、第１実施形態と相違する。

なお第２実施形態では、取得部１１により取得された画像に含まれる文字含有領域が複数であり、第１分割部１２は、当該画像から複数の文字含有領域を分割し、第２分割部１３は、複数の文字含有領域それぞれ毎に、文字領域と文字背景領域とに分割するものとする。

記憶部２１５は、ＩＳＯ ３８６４−１：２００２に示される安全彩色を定義した安全彩色テーブルを更に記憶する。

判定部２１９は、第２分割部１３により分割された複数の文字領域それぞれの重要度を判定し、重要度が閾値以下の文字領域及び当該文字領域の文字背景領域を背景領域とする。具体的には、判定部２１９は、記憶部２１５に記憶されている図６に示す視認距離テーブルや安全彩色テーブルを用いて、文字領域の重要度を判定する。

例えば、判定部２１９は、図６に示す視認距離テーブルを参照し、文字領域の視認距離が視認距離用の閾値を超えていれば、当該文字領域をそのまま文字領域とし、文字領域の視認距離が視認距離用の閾値以下であれば、当該文字領域及び当該文字領域の文字背景領域を背景領域とする。この場合、重要度は、視認距離である。

また例えば、判定部２１９は、安全彩色テーブルを参照し、文字領域が安全彩色を含めば、当該文字領域をそのまま文字領域とし、文字領域が安全彩色を含まなければ、当該文字領域及び当該文字領域の文字背景領域を背景領域とする。この場合、重要度及び閾値は、安全彩色の有無である。

第２実施形態によれば、文字領域が複数存在する場合に、画像上の重要度が高い文字領域の文字に対するユーザの認知を速めることができる。

（変形例５）
上記第２実施形態において、判定部２１９は、文字領域の線分の太さが線分の太さ用の閾値を超えていれば、当該文字領域をそのまま文字領域とし、文字領域の線分の太さが線分の太さ用の閾値以下であれば、当該文字領域及び当該文字領域の文字背景領域を背景領域としてもよい。この場合、重要度は、線分の太さである。

（変形例６）
上記第２実施形態において、判定部２１９は、文字領域の複数の線分から第１主方向成分と第２主方向成分とを算出し、第１主方向成分と第２主方向成分とが非直行であれば、当該文字領域をそのまま文字領域とし、第１主方向成分と第２主方向成分とが直行すれば、当該文字領域及び当該文字領域の文字背景領域を背景領域としてもよい。この場合、重要度及び閾値は、第１主方向成分と第２主方向成分との直交の有無である。なお、第１主方向成分は、文字領域の複数の線分それぞれの方向成分のうち、最も多い方向成分であり、第２主方向成分は、文字領域の複数の線分それぞれの方向成分のうち、２番目に多い方向成分である。

変形例６によれば、文字領域が複数存在する場合に、斜体文字の文字領域の文字に対するユーザの認知を速めることができる。

（変形例７）
上記第２実施形態において、判定部２１９は、文字領域の外接矩形の長辺の周囲に線が含まれていれば、当該文字領域をそのまま文字領域とし、文字領域の外接矩形の長辺の周囲に線が含まれていなければ、当該文字領域及び当該文字領域の文字背景領域を背景領域としてもよい。この場合、重要度及び閾値は、文字領域の外接矩形の長辺の周囲における線の有無である。

例えば、取得部１１により図１２に示す画像が取得された場合、判定部２１９は、図１３に示すように外接矩形３１１の長辺の周囲に線が含まれているため、外接矩形３１１の文字領域をそのまま文字領域とし、外接矩形３１２の長辺の周囲に線が含まれていないため、外接矩形３１２の文字領域及び当該文字領域の文字背景領域を背景領域とする。

具体的には、判定部２１９は、外接矩形を、上部、中部、下部に３等分し、下部に外接矩形の短辺の２倍以上の長さの線分があれば、外接矩形の長辺の周囲に線が含まれていると判定する。従って、図１４に示すように、外接矩形３１１の長辺の周囲に線が含まれていると判定され、図１５に示すように、外接矩形３１２の長辺の周囲に線が含まれていないと判定される。

変形例７によれば、文字領域が複数存在する場合に、下線が使用されている文字領域の文字に対するユーザの認知を速めることができる。

（変形例８）
上記第２実施形態において、判定部２１９は、文字領域の外接矩形の周囲にルビが含まれていれば、当該文字領域をそのまま文字領域とし、文字領域の外接矩形の周囲にルビが含まれていなければ、当該文字領域及び当該文字領域の文字背景領域を背景領域としてもよい。この場合、重要度及び閾値は、文字領域の外接矩形の周囲のルビの有無である。

例えば、取得部１１により図１６に示す画像が取得された場合、判定部２１９は、図１７に示す例の場合、外接矩形３３１の周囲にルビの外接矩形３３２が含まれているため、外接矩形３３１の文字領域をそのまま文字領域とし、図１８に示す例の場合、外接矩形３４１、３４２の周囲にルビの外接矩形が含まれていないため、外接矩形３４１の文字領域及び当該文字領域の文字背景領域を背景領域とし、外接矩形３４２の文字領域及び当該文字領域の文字背景領域を背景領域とする。

具体的には、判定部２１９は、外接矩形の上部に当該外接矩形と同じ大きさの領域を設定し、当該領域に当該領域の短辺の２／３倍以下の短辺を有する外接矩形があれば、外接矩形の周囲にルビが含まれていると判定する。従って、図１７に示すように、外接矩形３３１の周囲にルビがあると判定され、図１８に示すように、外接矩形３４１、３４２の周囲にルビが含まれていないと判定される。

（第３実施形態）
第３実施形態では、画像の取得を外部から行い及び変更画像の出力を外部に行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１９は、第３実施形態の情報処理システム４００の一例を示す構成図である。図１９に示すように、情報処理システム４００は、撮像装置４０１と、情報処理装置４１０と、表示装置４０２とを、備える。

なお、情報処理装置４１０は、撮像装置４０１及び表示装置４０２とネットワーク（図示省略）を介して接続されている。ネットワークは、例えば、インターネット、ＶＰＮ（Virtual Private Network）、及びＬＡＮ（Local Area Network）などが挙げられる。

情報処理装置４１０は、撮像部９及び表示部１８を含まない点、並びに取得部４１１及び出力部４１７が第１実施形態と相違する。

撮像装置４０１は、画像を撮像するものであり、例えば、ＣＣＤやＣＭＯＳを画像センサに用いた撮像装置により実現できる。

取得部４１１は、撮像装置４０１からネットワークを介して画像を取得する。

出力部４１７は、ネットワークを介して変更画像を表示装置４０２に表示出力する。

表示装置４０２は、変更画像を表示するものであり、例えば、液晶ディスプレイやタッチパネルディスプレイなどの表示装置により実現できる。

第３実施形態によれば、図２０に示すように、作業現場に設置された撮像装置４０１が撮像した画像５０１を、情報処理装置４１０が取得し、情報処理装置４１０が第１実施形態で説明した手法で変更画像を生成し、図２１に示すように、作業員が有する表示装置４０２に、文字領域５２２及び文字背景領域５２１の色が変更された変更画像５２０を表示できる。

これにより、ユーザの視野外の領域や、ユーザとの間に遮蔽物が置かれた領域にある文字領域が含まれる画像をユーザに提示し、その中にある文字に対するユーザの認知を速めることができる。

特に、遠隔地を監視しているユーザに対し、遠隔地の文字情報に対するユーザの認知を速めることができる。例えば、遠隔地にある測定計の数値を監視しているユーザ対し、測定計の数値に対するユーザの認知を速めることができる。

（第４実施形態）
第４実施形態では、取得した画像を合成する例について説明する。以下では、第３実施形態との相違点の説明を主に行い、第３実施形態と同様の機能を有する構成要素については、第３実施形態と同様の名称・符号を付し、その説明を省略する。

図２２は、第４実施形態の情報処理システム６００の一例を示す構成図である。図２２に示すように、情報処理システム６００は、情報処理装置６１０が補整部６１９を備える点で第３実施形態と相違する。

第４実施形態では、取得部４１１は、同一時刻に撮影された複数の画像を取得するものとする。

補整部６１９は、取得部４１１により取得された複数の画像を合成する。具体的には、補整部６１９は、図２３に示すように、取得部４１１により取得された画像７０１、７０２において、回転・拡大縮小によって変化しない、安定した特徴を持つ点の領域を表現する局所特徴量を算出し、各画像の局所特徴量間で最も類似した点同士を対応点として決定する。そして補整部６１９は、決定した複数の対応点から、２画像の移動量と変形量を推定し、推定した移動量・変形量に沿って画像の対応点同士を重ね合わせ、図２４に示すような合成画像７０３に補正する。

（ハードウェア構成）
図２５は、上記各実施形態及び各変形例の情報処理装置のハードウェア構成の一例を示すブロック図である。図２５に示すように、上記各実施形態及び各変形例の情報処理装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤやＳＳＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、マウスやキーボードなどの入力装置９０５と、通信Ｉ／Ｆ９０６と、カメラなどの撮像装置９０７とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。但し、第３実施形態及び第４実施形態の情報処理装置は、撮像装置９０７を備える必要はない。

上記各実施形態及び各変形例の情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。

また、上記各実施形態及び各変形例の情報処理装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。

また、上記各実施形態及び各変形例の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び各変形例の情報処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

上記各実施形態及び各変形例の情報処理装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９０１が外部記憶装置９０３からプログラムを記憶装置９０２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

以上説明したとおり、上記各実施形態及び各変形例によれば、画像上の文字に対するユーザの認知を速めることが可能である。

なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

また例えば、上記第２実施形態を上記第３実施形態や上記第４実施形態に組み合わせてもよい。

９ 撮像部
１０、２１０、４１０、６１０ 情報処理装置
１１、４１１ 取得部
１２ 第１分割部
１３ 第２分割部
１４ 算出部
１５、２１５ 記憶部
１６ 変更部
１７、４１７ 出力部
１８ 表示部
２１９ 判定部
４００、６００ 情報処理システム
４０１ 撮像装置
４０２ 表示装置
６１９ 補整部

Claims (12)

1. 画像を取得する取得部と、
   前記画像を、１以上の文字を含有する文字含有領域と当該文字含有領域以外の背景領域とに分割する第１分割部と、
   前記文字含有領域を、文字を構成する線分から成る文字領域と当該文字領域以外の文字背景領域とに分割する第２分割部と、
   前記文字領域の所定属性の第１代表値、前記文字背景領域の前記所定属性の第２代表値、及び前記背景領域の前記所定属性の第３代表値を算出する算出部と、
   前記第１代表値と前記第３代表値とに基づく第１差、前記第１代表値と前記第２代表値とに基づく第２差、及び前記第２代表値と前記第３代表値に基づく第３差が大きくなるように、前記第１代表値、前記第２代表値、及び前記第３代表値の少なくともいずれかの値を変更する変更部と、
   前記第１代表値が変更された場合、前記文字領域の前記所定属性の値を変更後の第１代表値、前記第２代表値が変更された場合、前記文字背景領域の前記所定属性での値を変更後の第２代表値、前記第３代表値が変更された場合、前記背景領域の前記所定属性での値を変更後の第３代表値に変更した変更画像を出力する出力部と、
   を備える情報処理装置。
2. 前記所定属性は、人間の認知のし易さを表現可能な属性である請求項１に記載の情報処理装置。
3. 前記所定属性は、色相であり、
   前記第１代表値は、前記文字領域における色相の代表色であり、
   前記第２代表値は、前記文字背景領域における色相の代表色であり、
   前記第３代表値は、前記背景領域における色相の代表色であり、
   前記第１差は、前記第１代表値を対象物の色、前記第３代表値を対象物の背景の色とした場合の視認距離であり、
   前記第２差は、前記第１代表値を対象物の色、前記第２代表値を対象物の背景の色とした場合の視認距離であり、
   前記第３差は、前記第２代表値を対象物の色、前記第３代表値を対象物の背景の色とした場合の視認距離である請求項２に記載の情報処理装置。
4. 前記変更部は、更に、前記第２差と前記第３差との合算値が最大となるように、前記第１代表値及び前記第２代表値を変更する請求項３に記載の情報処理装置。
5. 前記所定属性は、明度であり、
   前記第１代表値は、前記文字領域における明度の代表値であり、
   前記第２代表値は、前記文字背景領域における明度の代表値であり、
   前記第３代表値は、前記背景領域における明度の代表値であり、
   前記第１差、前記第２差、及び前記第３差は、明度差である請求項２に記載の情報処理装置。
6. 前記所定属性は、彩度であり、
   前記第１代表値は、前記文字領域における彩度の代表値であり、
   前記第２代表値は、前記文字背景領域における彩度の代表値であり、
   前記第３代表値は、前記背景領域における彩度の代表値であり、
   前記第１差、前記第２差、及び前記第３差は、彩度差である請求項２に記載の情報処理装置。
7. 前記所定属性は、色であり、
   前記第１代表値は、前記文字領域における色の代表値であり、
   前記第２代表値は、前記文字背景領域における色の代表値であり、
   前記第３代表値は、前記背景領域における色の代表値であり、
   前記第１差、前記第２差、及び前記第３差は、色である請求項２に記載の情報処理装置。
8. 前記第１分割部は、前記画像を、複数の前記文字含有領域と前記背景領域とに分割し、
   前記第２分割部は、前記複数の文字含有領域それぞれ毎に、前記文字領域と前記文字背景領域とに分割し、
   前記複数の文字領域それぞれの重要度を判定し、前記重要度が閾値以下の文字領域及び当該文字領域の文字背景領域を背景領域とする判定部を更に備える請求項１に記載の情報処理装置。
9. 前記出力部は、前記変更画像を表示部に表示出力する請求項１に記載の情報処理装置。
10. 前記出力部は、前記変更画像を外部装置に出力する請求項１に記載の情報処理装置。
11. 画像を取得する取得ステップと、
    前記画像を、１以上の文字を含有する文字含有領域と当該文字含有領域以外の背景領域とに分割する第１分割ステップと、
    前記文字含有領域を、文字を構成する線分から成る文字領域と当該文字領域以外の文字背景領域とに分割する第２分割ステップと、
    前記文字領域の所定属性の第１代表値、前記文字背景領域の前記所定属性の第２代表値、及び前記背景領域の前記所定属性の第３代表値を算出する算出ステップと、
    前記第１代表値と前記第３代表値とに基づく第１差、前記第１代表値と前記第２代表値とに基づく第２差、及び前記第２代表値と前記第３代表値に基づく第３差が大きくなるように、前記第１代表値、前記第２代表値、及び前記第３代表値の少なくともいずれかの値を変更する変更ステップと、
    前記第１代表値が変更された場合、前記文字領域の前記所定属性の値を変更後の第１代表値、前記第２代表値が変更された場合、前記文字背景領域の前記所定属性での値を変更後の第２代表値、前記第３代表値が変更された場合、前記背景領域の前記所定属性での値を変更後の第３代表値に変更した変更画像を出力する出力ステップと、
    を含む画像変更方法。
12. 画像を取得する取得ステップと、
    前記画像を、１以上の文字を含有する文字含有領域と当該文字含有領域以外の背景領域とに分割する第１分割ステップと、
    前記文字含有領域を、文字を構成する線分から成る文字領域と当該文字領域以外の文字背景領域とに分割する第２分割ステップと、
    前記文字領域の所定属性の第１代表値、前記文字背景領域の前記所定属性の第２代表値、及び前記背景領域の前記所定属性の第３代表値を算出する算出ステップと、
    前記第１代表値と前記第３代表値とに基づく第１差、前記第１代表値と前記第２代表値とに基づく第２差、及び前記第２代表値と前記第３代表値に基づく第３差が大きくなるように、前記第１代表値、前記第２代表値、及び前記第３代表値の少なくともいずれかの値を変更する変更ステップと、
    前記第１代表値が変更された場合、前記文字領域の前記所定属性の値を変更後の第１代表値、前記第２代表値が変更された場合、前記文字背景領域の前記所定属性での値を変更後の第２代表値、前記第３代表値が変更された場合、前記背景領域の前記所定属性での値を変更後の第３代表値に変更した変更画像を出力する出力ステップと、
    をコンピュータに実行させるためのプログラム。