JP5917974B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び当該画像処理装置を用いた画像処理方法に関し、特に、所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を他の色へ変換する画像処理装置及び当該画像処理装置を用いた画像処理方法に関する。

タッチパネルディスプレイなどの普及により、操作領域である操作要素そのものがＧＵＩ（グラフィカル・ユーザ・インターフェイス）として画面内に描画されたり、ＷＥＢページのようにコンテンツそのものにリンクなどの操作要素が表示されたりすることが多くなってきている。そのような中、コンテンツによっては、カラーバリアフリーを想定していないコンテンツも多く、色弱又は色盲のユーザが利用しにくい又は利用できないコンテンツも登場するようになってきている。一方、表示されるコンテンツに含まれる色情報を読み取って色弱又は色盲のユーザが見やすい色情報へと変換させる各種技術が検討されている（例えば特許文献１，２参照）。

特開２０１１−０５６７１６号公報 特開２０１１−０９７２０３号公報

ところで、上述した特許文献１に記載された技術は、グラフなどの塗りつぶした領域での色変換を想定しており、また紙に印刷されるコンテンツを前提とした技術であった。このため、この技術を画面上の操作要素を含むＧＵＩでの色変換にそのまま適用するのは難しかった。また、上述した特許文献２に記載された技術は、文字に含まれるフォント色と背景色のみを想定しており、文字情報が判別しやすくはなるものの、ＧＵＩにおけるボタンやリンクなどの操作要素の視認性を向上させるためにそのまま適用するのは困難であった。このため、ＧＵＩでの操作において識別することが重要である操作要素を、色弱又は色盲のユーザが容易に識別することができる色変換技術の開発が望まれていた。

そこで、本発明では、所定の表示情報において色弱者又は色盲者が識別しづらい操作要素の色を他の色へと容易に変換することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を他の色へ変換する画像処理装置である。この画像処理装置は、操作要素であることを示す識別情報に基づいて、表示情報から当該表示情報に含まれる操作要素を抽出する操作要素抽出手段と、操作要素抽出手段で抽出された操作要素の背景部分の色情報を抽出する背景色抽出手段と、操作要素抽出手段で抽出された操作要素の色情報を抽出する操作要素色抽出手段と、背景色抽出手段で抽出された背景部分の色情報と操作要素色抽出手段で抽出された操作要素の色情報とを比較する色情報比較手段と、色情報比較手段による比較結果の入力を契機として、比較結果に基づいて、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換する色変換手段と、を備えることを特徴としている。

また、本発明に係り画像処理方法は、所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を画像処理装置を用いて他の色へ変換する画像処理方法である。この画像処理方法は、操作要素であることを示す識別情報に基づいて、表示情報から当該表示情報に含まれる操作要素を抽出する操作要素抽出ステップと、操作要素抽出ステップで抽出された操作要素の背景部分の色情報を抽出する背景色抽出ステップと、操作要素抽出ステップで抽出された操作要素の色情報を抽出する操作要素色抽出ステップと、背景色抽出ステップで抽出された背景部分の色情報と操作要素色抽出ステップで抽出された操作要素の色情報とを比較する色情報比較ステップと、色情報比較ステップでの比較結果の入力を契機として、比較結果に基づいて、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換する色変換ステップと、を備えることを特徴としている。

この画像処理装置又は画像処理方法によれば、操作要素であることを示す識別情報に基づいて表示情報から操作要素を抽出し、このようにして抽出された操作要素の色情報とその背景部分の色情報との比較結果に基づいて、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換するようになっている。この場合、もともと表示情報に含まれている、操作要素であることを示す識別情報（例えばタグ情報）を用いて、所定の操作を行うにあたり識別が重要である操作要素を表示情報から抽出するようにしているため、表示情報中の形状の情報（例えば四角形状が操作要素に相当すると推定）などから操作要素を抽出するよりも、操作要素を表示情報から確実且つ容易に抽出することができる。そして、本発明によれば、このようにして抽出された操作要素の色情報と背景部分の色情報とを比較した結果を用いて、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換しているため、所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を他の色へと容易に変換することができる。

上記画像処理装置において、色情報比較手段は、背景部分の色情報と操作要素の色情報とを色弱者又は色盲者によって視認される色情報へ変換した上で、当該変換された両色情報を比較するようにしてもよい。この場合、操作要素の色情報と背景部分の色情報との比較をより確実に行うことができる。

上記画像処理装置において、色情報比較手段は、背景部分の色情報と操作要素の色情報との差を求め、色変換手段は、色情報の差が色の識別可能性を判定する判定閾値よりも小さい場合に、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換するようにしてもよい。この場合、判定閾値を用いているので、操作要素の色情報と背景部分の色情報との比較処理をより単純化することができる。

上記画像処理装置において、色変換手段は、操作要素の色情報を変換することが好ましい。この場合、色情報を変換する領域が相対的に小さいことが多い操作要素の方を変換することになるため、色情報の変換処理の負荷を少なくすることができる。

上記画像処理装置において、操作要素の色情報は、操作要素全体の色情報と操作要素内の文字の色情報とを含んでおり、操作要素色抽出手段は、操作要素全体の色情報と文字の色情報とを抽出するようにしてもよい。この場合において、色情報比較手段は、操作要素色抽出手段が抽出した操作要素全体の色情報と文字の色情報とを更に比較し、色変換手段は、色情報比較手段による比較結果に基づいて、操作要素全体の色情報及び文字の色情報の少なくとも一方を変換するようにしてもよい。これにより、操作要素内での文字の識別性をより一層高めることが可能となる。

上記画像処理装置において、色変換手段によって所定の色情報が変換された表示情報を表示させる表示手段を更に備えていてもよい。この場合、色弱者又は色盲者が識別しやすい色に変換された操作要素を含む表示情報を表示させることができる。

本発明によれば、所定の表示情報において色弱者又は色盲者が識別しづらい操作要素の色を他の色へと容易に変換することができる画像処理装置及び画像処理方法を提供することができる。

本実施形態に係る画像処理装置の機能構成を示すブロック図である。 図１に示す画像処理装置のハードウェア構成を示す図である。 図１に示す色情報ＤＢに含まれる色情報のデータベースの一例を示す図である。 表示画面上の操作要素とその背景部分との一例を示す図であり、（ａ）が健常者に見える状態を模式的に示した図であり、（ｂ）が色弱者又は色盲者に見える状態を模式的に示した図である。 図１に示す画像処理装置で表示領域の色情報を変換する際のフローチャートである。

以下、図面を参照して、本発明に係る好適な実施形態について詳細に説明する。なお、図面の説明において、可能な場合には、同一要素には同一符号を付し、重複する説明を省略する。

本実施形態に係る画像処理装置１０は、例えばＷＥＢコンテンツ（表示情報）中に含まれる所定の操作要素（「決定ボタン」や「リンク」など）を抽出し、抽出した操作要素の色がその背景色に対し色弱者又は色盲者にとって識別しづらい色であった場合、その操作要素の色を他の色へと変換する装置である。画像処理装置１０は、例えば、所定の画像を表示する表示画面と、その表示画面上に配置されたタッチパネル等の入力装置とを含んで構成されている。本実施形態では、以下、一般的な画像処理装置を例にとって説明するが、本発明に係る画像処理装置は、所定の表示画面を備えた画像処理装置であればよく、スマートフォンを含む携帯電話や小型パーソナルコンピュータなどに適用することが可能である。

図１に示されるように、画像処理装置１０は、機能的には、操作要素抽出部２０（操作要素抽出手段）、操作要素色抽出部２２（操作要素色抽出手段）、背景色抽出部２４（背景色抽出手段）、色情報比較部２６（色情報比較手段）、色変換部２８（色変換手段）、コンテンツ再表示部３０（表示手段）及び色情報ＤＢ３２を備えている。

ここで、図２に示されるように、画像処理装置１０は、物理的には、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、入力装置１０ｄ、出力装置１０ｅ、通信装置１０ｆ及び記録装置１０ｇを備えており、これらのハードウェアはバス１０ｈに接続されている。ＣＰＵ１０ａは、ＲＯＭ１０ｃや記録装置１０ｇ等の内蔵メモリに格納された所定のコンピュータソフトウェア（図５に示す画像処理装置１０の行う処理を実行するためのコンピュータプログラム等を含む）をＲＡＭ１０ｂにロードして実行することにより、画像処理装置１０を統括的に制御する。

入力装置１０ｄは、画像処理装置１０に設けられているタッチパネル等からなる入力用デバイスであり、タッチパネルを介して入力されたデータをＣＰＵ１０ａに出力する。出力装置１０ｅは、例えば表示画面であり、ＣＰＵ１０ａから出力された表示情報等を表示する。通信装置１０ｆは、通信網等を介してデータ通信を行うためのインターフェイスを有する。記録装置１０ｇは、ＣＰＵ１０ａの実行可能なコンピュータソフトウェアを格納する。後述する各機能は、ＣＰＵ１０ａがＲＯＭ１０ｃや記録装置１０ｇに格納されたコンピュータソフトウェアを実行し、図１に示す画像処理装置１０の各構成部を動作させることにより実現される機能である。以下、図１に戻って、画像処理装置１０の各機能ブロックについて説明する。

操作要素抽出部２０は、ＷＥＢコンテンツに含まれる決定ボタンなどの操作要素Ｍｉ（ｉ＝１〜ｎ（ｎは整数））であることを示すタグ情報（識別情報）に基づいて、表示画面に表示しようとするＷＥＢコンテンツなどの表示情報から当該表示情報に含まれる操作要素Ｍｉを抽出する部分である。操作要素抽出部２０は、画像処理装置１０においてＷＥＢコンテンツの表示を行う旨の処理が開始されると、ＷＥＢコンテンツのソース（例えば、ｈｔｍｌファイル）を解析し、当該ソースに含まれるタグ情報から、ＷＥＢコンテンツによって表示される表示画面中の操作要素Ｍｉを抽出する。抽出される操作要素Ｍｉの数は、１つのＷＥＢコンテンツ中に１つの場合もあれば、複数の場合もある。操作要素抽出部２０が操作要素Ｍｉであると判定するための具体的なタグ情報としては、＜ＢＵＴＴＯＮ＞タグや、＜ＦＯＲＭ＞タグに囲われた領域内の＜ＩＮＰＵＴ＞タグなどを用いることができる。操作要素抽出部２０は、これらのタグ情報であるか否かを判定することにより、ＷＥＢコンテンツ中の操作要素Ｍｉをすべて抽出する。操作要素抽出部２０は、抽出した操作要素Ｍｉについての情報を操作要素色抽出部２２及び背景色抽出部２４に出力する。

操作要素色抽出部２２は、操作要素抽出部２０で抽出された操作要素Ｍｉの内側領域の色情報を抽出する部分である。操作要素Ｍｉが、＜ＢＵＴＴＯＮ＞タグにより指定されている場合、操作要素Ｍｉであるボタン領域の色情報が＜ＢＵＴＴＯＮ＞タグ中の＜ｉｍｇ＞タグにより指定されているので、操作要素色抽出部２２は、この＜ｉｍｇ＞タグに指定されている色情報を読み取り、操作要素Ｍｉの内側領域の色情報として抽出する。＜ｉｍｇ＞タグがない場合、画像ファイルが配置されることはなく汎用的なボタンとして生成されるので、操作要素色抽出部２２は、その情報に含まれる色情報を抽出して保持する。

また、操作要素Ｍｉの色情報には、操作要素Ｍｉの内部領域（全体）の色情報に加え、操作要素Ｍｉ内に表示される文字（例えば「決定ボタン」などの文字列）の色情報（フォントの色情報）が含まれており（図４の（ａ）参照）、操作要素色抽出部２２は、操作要素抽出部２０で抽出された操作要素Ｍｉ内に表示される文字の色情報も抽出する。操作要素Ｍｉを構成する＜ＢＵＴＴＯＮ＞や＜ＩＮＰＵＴ＞タグ中の文字列に対して適用されている＜ＦＯＮＴ＞タグがあるので、操作要素色抽出部２２は、＜ＦＯＮＴ＞タグでｃｏｌｏｒ属性が指定されている場合、その色情報を文字の色情報として抽出する。一方、適用さている＜ＦＯＮＴ＞タグが存在しない場合には、操作要素色抽出部２２は、＜ｂｏｄｙ＞タグや、ＣＳＳ中のｂｏｄｙで指定されているページ全体に対する文字の色情報を抽出し、文字の色情報として保持する。

背景色抽出部２４は、操作要素抽出部２０で抽出された操作要素Ｍｉの背景部分の色情報を抽出する部分である。背景色の情報は、表示しようとしているＷＥＢコンテンツの＜ＢＯＤＹ＞タグ中に、bgcolor=”#FFFFFF”などのように指定されている場合や、表示しようとするＷＥＢコンテンツが適用しているＣＳＳ（スタイルシート）中に、body{background-color:red;}のような形で指定されている場合があり、それぞれ、背景に単一の色情報が適用されている。背景色抽出部２４は、このような背景色の色情報を上述したようなタグ中の指定情報から抽出する。なお、＜ＢＯＤＹ＞タグ中に、background=”back.gif”というような指定がされている、もしくはＣＳＳ内で、body{background-image:url(../images/back.gif)} のような記載がある場合（いずれのケースでも、back.gifは画像ファイル名）、背景は単一色でない場合があるが、この場合は、背景色抽出部２４は、画像ファイルを解析し、そこに含まれるすべての色情報を保持しておく。

色情報比較部２６は、背景色抽出部２４で抽出された背景部分の色情報と操作要素色抽出部２２で抽出された操作要素Ｍｉの色情報とを比較する部分である。色情報比較部２６は、まずは、色情報ＤＢ３２に格納されているユーザの状態（第１色盲、第２色盲、第３色盲）毎に元の色の情報と各色盲ユーザによって視認される色の情報とが対応づけられた色情報ＤＢ（図３参照）に基づいて、背景部分の色情報と操作要素Ｍｉの内部領域の色情報とを所定の色盲ユーザによって視認されるであろう色へと変換する。例えば図４の（ａ）の表示画面に表わされている元の色の組み合わせは、ある所定の色盲ユーザには、図４の（ｂ）に示すような組み合わせとして視認されるため、このような変換をまずは行う。第１色盲、第２色盲又は第３色盲といったユーザの状態は、予め画像処理装置１０に設定登録しておくようにしてもよいし、ＷＥＢコンテンツを表示する度にユーザの状態を選択可能としてもよい。そして、色情報比較部２６は、背景部分の色情報と操作要素Ｍｉの色情報とを色弱者又は色盲者によって実際に視認される色情報へと変換した上で、当該変換された両色情報の差を算出する。

色情報比較部２６で両色情報の差を算出するためには、たとえば、背景部分の色情報をＣｂｇとし、操作要素Ｍｉの色情報をＣｂｔｎとした場合（図４参照）、Ｃｂｇ｛Ｒ，Ｇ，Ｂ｝＝｛Ｒｂｇ，Ｇｂｇ，Ｂｂｇ｝、Ｃｂｔｎ｛Ｒ，Ｇ，Ｂ｝＝｛Ｒｂｔｎ，Ｇｂｔｎ，Ｂｂｔｎ｝と設定され（Ｒは赤、Ｇは緑、Ｂは青を示す）、あるユーザの状態（例えば第１色盲）において認知される背景部分の色と操作要素Ｍｉの内側領域の色との差Ｄｉｆｆは、以下の式（１）によって表される。ここで、ｓｑｒｔ（ｘ）は、ｘの平方根を表現する。
Ｄｉｆｆ＝ｓｑｒｔ｛（Ｒｂｇ−Ｒｂｔｎ）＾２＋（Ｇｂｇ−Ｇｂｔｎ）＾２＋（Ｂｂｇ−Ｂｂｔん）＾２}・・・（１）

そして、色情報比較部２６は、このように背景部分の色情報Ｃｂｇと操作要素Ｍｉの色情報Ｃｂｔｎとの差Ｄｉｆｆを求めると、この求められた色情報の差Ｄｉｆｆを、色の識別可能性を判定する判定閾値と比較する。色情報比較部２６は、このような背景部分の色と操作要素Ｍｉの内側領域との差Ｄｉｆｆの算出及び差Ｄｉｆｆと判定閾値との比較を、操作要素抽出部２０で抽出したすべての操作要素Ｍｉに対して実行し、操作要素Ｍｉにおける判定閾値の各比較結果をそれぞれの操作要素Ｍｉに紐づけて色変換部２８に出力する。なお、上記判定に用いられる判定閾値は、色弱者又は色盲者にとって識別可能な色の組み合わせであるか否かについての従来技術を用いて適宜設定することもできるし、実験を行って好ましい値を設定するようにしてもよい。

また、色情報比較部２６は、操作要素色抽出部２２が抽出した操作要素Ｍｉの内側領域の色情報と操作要素Ｍｉ内に表示される文字の色情報とを比較する。この比較は、上述した操作要素Ｍｉの内側領域の色情報と背景部分の色情報との比較処理と略同様である。但し、ここで用いる操作要素Ｍｉの内側領域の色情報は、後述する色変換部２８によって色変換される場合には、変換された後の色情報である。色情報比較部２６は、操作要素Ｍｉの内側領域の色情報（変換後）と文字の色情報との比較結果も同様に色変換部２８に出力する。

色変換部２８は、色情報比較部２６による比較結果に基づいて、操作要素Ｍｉの内側領域の色情報を変換する部分である。色変換部２８は、色情報比較部２６から操作要素Ｍｉの背景部分の色情報と操作要素Ｍｉの内側領域の色情報との差Ｄｉｆｆが判定閾値よりも小さいか否かの判定結果が入力されると、その色情報の差が判定閾値よりも大きい場合は、色弱者又は色盲者にとって識別可能な色であると判定し、色の変換を行わない。一方、色変換部２８は、色情報の差Ｄｉｆｆが判定閾値よりも小さい場合には、色弱者又は色盲者にとって識別困難な色であると判定し、操作要素Ｍｉの内側領域の色情報を変換する。この色変換では、色変換部２８によって、操作要素Ｍｉの内側領域の色情報が、背景部分の色情報に対して、その差Ｄｉｆｆが判定閾値以上になるように変換される。具体的には、変換可能な多数の色情報を色情報ＤＢ３２に格納しておいて順に選択し、その差Ｄｉｆｆが判定閾値以上になる色を見つけるまで比較処理を継続するようにしてもよいし、ある背景色に対してある色盲状態のユーザが識別可能な色の組み合わせを予め色情報ＤＢ３２に格納しておき、その組み合わせＤＢを色変換部２８が参照することで、差Ｄｉｆｆが判定閾値以上になるようにしてもよい。

また、色変換部２８は、色情報比較部２６による比較結果に基づいて、操作要素Ｍｉに表示される文字の色情報を変換する。文字の色情報を変換する処理は、上述した操作要素Ｍｉの内側領域の色情報を変換する場合と略同様であり、色情報比較部２６から操作要素Ｍｉの内側領域（変換後）の色情報と操作要素Ｍｉに表示される文字の色情報との差Ｄｉｆｆが判定閾値よりも小さいか否かの判定結果が入力されると、色変換部２８は、その色情報の差が判定閾値よりも大きい場合は、色弱者又は色盲者にとって識別可能な色であると判定し、色の変換を行わない。一方、色変換部２８は、色情報の差Ｄｉｆｆが判定閾値よりも小さい場合には、色弱者又は色盲者にとって識別困難な色であると判定し、操作要素Ｍｉの文字の色情報を変換する。色変換部２８は、上述した変換処理を施した又は施さないと判定された操作要素Ｍｉの内側領域の色情報と操作要素Ｍｉに表示される文字の色情報とをコンテンツ再表示部３０に出力する。

コンテンツ再表示部３０は、色変換部２８によって操作要素Ｍｉやその中の文字の色情報が変換された又は変換しないと判定された表示情報を表示させる部分である。これにより、色弱者又は色盲者にとって視認しやすいＷＥＢコンテンツ等が表示画面に表示される。

続いて、上述した構成を備えた画像処理装置１０における表示画像の画像処理方法について、図５を参照して詳細に説明する。

まず、操作要素抽出部２０により、表示しようとするＷＥＢコンテンツに含まれる操作要素Ｍｉ（ｉ＝１〜ｎ（ｎは整数））が抽出される（ステップＳ１：操作要素抽出ステップ）。ステップＳ１では、操作要素抽出部２０は、ＷＥＢコンテンツのソース（例えば、ｈｔｍｌファイル）を解析し、当該ソースに含まれるタグ情報から、ＷＥＢコンテンツによって表示される表示画面内のすべての操作要素Ｍｉを抽出する。操作要素Ｍｉであると判定するための具体的なタグ情報としては、＜ＢＵＴＴＯＮ＞タグや、＜ＦＯＲＭ＞タグに囲われた領域内の＜ＩＮＰＵＴ＞タグなどがあり、操作要素抽出部２０は、これらのタグ情報であるか否かを判定することにより、ＷＥＢコンテンツ中の操作要素Ｍｉを抽出する。なお、判定にあたり、＜ＢＵＴＴＯＮ＞タグや＜ＩＮＰＵＴ＞タグなどのうち一部のみを判定に利用してもよいし、複数を組み合わせて判定に利用してもよい。

続いて、ステップＳ１で操作要素Ｍｉが抽出されると、ステップＳ２に進み、背景色抽出部２４により、操作要素Ｍｉの表示領域の外の領域（ボタンなどの操作要素に対する背景）の色情報が抽出される（背景色抽出ステップ）。背景色の情報は、表示しようとしているＷＥＢコンテンツの＜ＢＯＤＹ＞タグ中に、bgcolor=”#FFFFFF”などのように指定されている場合や、表示しようとするＷＥＢコンテンツが適用しているＣＳＳ（スタイルシート）中に、body{background-color:red;}のような形で指定されている場合があり、それぞれ、背景に単一の色情報が適用されている。背景色抽出部２４は、このような背景色の色情報を抽出する。なお、＜ＢＯＤＹ＞タグ中に、background=”back.gif”というような指定がされている、もしくはＣＳＳ内で、body{background-image:url(../images/back.gif)} のような記載がある場合（いずれのケースでも、back.gifは画像ファイル名）、背景は単一色でない場合があるが、この場合は、画像ファイルを解析し、そこに含まれるすべての色情報を保持しておき、背景色抽出部２４により、これらの色情報の平均値を算出して背景の色情報として後述する比較に用いたり、他の画像処理に用いたりしてもよい。

続いて、ステップＳ２で操作要素Ｍｉの表示領域外、すなわち背景の色情報が抽出されると、ステップＳ３に進み、操作要素色抽出部２２により、操作要素Ｍｉの内側の色情報が抽出される（操作要素色抽出ステップ）。具体的には、操作要素Ｍｉが、＜ＢＵＴＴＯＮ＞タグにより指定されている場合、操作要素Ｍｉであるボタン領域の色情報は、＜ＢＵＴＴＯＮ＞タグ中の＜ｉｍｇ＞タグにより指定されており、操作要素色抽出部２２は、この＜ｉｍｇ＞タグに指定されている色情報を読み取り、操作要素Ｍｉの内側領域の色情報として抽出する。操作要素色抽出部２２は、＜ｉｍｇ＞タグがない場合、画像ファイルが配置されることはなく、汎用的なボタンとして生成されるので、その情報に含まれる色情報を保持する。なお、＜ｉｍｇ＞タグがある場合には、<img src=”button.gif”>の形で指定され（button.gifは画像ファイル名）、ボタン部分に画像ファイルが表示されるため、この画像ファイルを解析し、そこに含まれる色画像の色情報を保持する。

また、操作要素Ｍｉが、＜ＦＯＲＭ＞タグ中にある＜ＩＮＰＵＴ＞タグであり、＜ＩＮＰＵＴ＞タグ中にｔｙｐｅ属性の指定がある場合、<INPUT type=”image” src=”button.gif”>という形（button.gifは画像ファイル名）でボタンの画像が指定されており、操作要素色抽出部２２は、この画像ファイルを解析し、そこに含まれる色情報を保持する。一方、type=”image”の指定がない場合、画像を指定されていない汎用的な入力要素として生成されるので、操作要素色抽出部２２は、ｔｙｐｅ属性として、どの要素が指定されているかの情報に含まれる色情報を抽出して保持する。

続いて、ステップＳ３で操作要素Ｍｉの内側の色情報が抽出されると、ステップＳ４に進み、操作要素色抽出部２２により、操作要素Ｍｉ内に表示される文字の色情報が抽出される。操作要素Ｍｉを構成する＜ＢＵＴＴＯＮ＞や＜ＩＮＰＵＴ＞タグ中の文字列に対して適用されている＜ＦＯＮＴ＞タグがあり、操作要素色抽出部２２は、＜ＦＯＮＴ＞タグでｃｏｌｏｒ属性が指定されている場合、その色情報を抽出する。一方、適用さている＜ＦＯＮＴ＞タグが存在しない場合には、操作要素色抽出部２２は、＜ｂｏｄｙ＞タグや、ＣＳＳ中のｂｏｄｙで指定されているページ全体に対する文字の色情報を抽出し、文字色の情報として保持する。

続いて、ステップＳ２〜Ｓ４で操作要素Ｍｉの背景の色情報、操作要素Ｍｉの内側領域の色情報、及び操作要素Ｍｉに表示される文字の色情報が抽出・保持されると、ステップＳ２〜Ｓ４で抽出・保持された各色情報に基づき、色情報比較部２６による色情報の比較が行われる（色情報比較ステップ）。そして、色情報の比較結果に基づいて、色変換部２８により、操作要素Ｍｉの内側領域の色情報や操作要素Ｍｉに表示される文字の色情報が変換される（色変換ステップ）。具体的には、以下の手順で操作要素Ｍｉの内側領域および操作要素Ｍｉに含まれる文字の色情報が変換される。なお、操作要素Ｍｉ等の色情報を変換する代わりに、操作要素Ｍｉの背景の色情報を変換したり、操作要素Ｍｉの背景、内側領域及び文字の全ての色情報を変換するようにしてもよい。

まず、ステップＳ２で抽出された操作要素Ｍｉの背景の色情報と、ステップＳ３で抽出された操作要素Ｍｉの種類と色情報とに基づいて、操作要素Ｍｉの内側領域の色情報を変換する。たとえば、＜ＢＯＤＹ＞タグやＣＳＳで指定された背景色をＣｂｇとおき、操作要素Ｍｉであるボタンに表示されている色情報をＣｂｔｎとおいた場合、両者の色が、たとえば一方がピンク色、もう一方が青色であった場合、図４の（ｂ）に示されるように、ユーザが第一色盲である場合には両者の識別がしづらくなるので、ユーザの視認性を損なわないよう、ボタンに表示されている色（Ｃｂｔｎ）を別のものに変換する（例えば、青色を緑色に変更する）。ここで、Ｃｂｔｎの色を別のものに変更するためは、＜ＢＵＴＴＯＮ＞タグ中の＜ｉｍｇ＞タグや、＜ＩＮＰＵＴ＞タグ中にtype=”image” src=”ファイル名”の属性が指定されている場合、表示される画像ファイルを、変更後の色のみからなるように変換することで実現できるが、ボタン内部の画像情報などを失わないように、画像の外周部のみを、Ｃｂｇの色に隣接していても視認性を損なわない色に変換することで実現してもよい。

このとき、ＣｂｇおよびＣｂｔｎの組み合わせが、ユーザにとって視認性を損なうものであるか否かは、色情報比較部２６が色情報ＤＢ３２に格納されている色情報ＤＢに基づいて判断する。色情報ＤＢ３２には、図３に示されるように、ユーザの状態（第一色盲／第二色盲／第三色盲など）と、各状態において認知される色と元の色との対応ＤＢ（カラーパレット）が格納されており、色情報比較部２６は、あらかじめ設定したユーザの状態に基づき、Ｃｂｇ及びＣｂｔｎの色情報（元の色情報）を対応ＤＢを参照して当該ユーザによって視認される色の情報へと変換する。そして、ＣｂｇとＣｂｔｎが、ユーザにとって、Ｃｂｇ｛Ｒ，Ｇ，Ｂ｝＝｛Ｒｂｇ，Ｇｂｇ，Ｂｂｇ｝、Ｃｂｔｎ｛Ｒ，Ｇ，Ｂ｝＝｛Ｒｂｔｎ，Ｇｂｔｎ，Ｂｂｔｎ｝の色に認識される場合（Ｒは赤、Ｇは緑、Ｂは青を示す）、あるユーザの状態（例えば第１色盲）において認知される背景部分の色と操作要素Ｍｉの内側領域の色との差Ｄｉｆｆを、以下の式（１）によって算出する。
Ｄｉｆｆ＝ｓｑｒｔ<｛（Ｒｂｇ−Ｒｂｔｎ）＾２＋（Ｇｂｇ−Ｇｂｔｎ）＾２＋（Ｂｂｇ−Ｂｂｔん）＾２}・・・（１）

例えば、具体的な色を例示すると、背景色Ｃｂｇが青（ＲＧＢ＝０，１５３，２５５）であり、ボタンＣｂｔｎがピンク（ＲＧＢ＝２５５，０，１５３）であるとした場合（図４の（ａ）参照）、ユーザを第一色盲であるとすると、色情報比較部２６は、このユーザによって視認される色を、それぞれＣｂｇを（ＲＧＢ＝１０３，１４６，２４８）、Ｃｂｔｎを（ＲＧＢ＝１１０，１３７，２１５)へと変換する（図４の（ｂ）参照）。そして、色情報比較部２６は、この二つの色情報の差Ｄｉｆｆを、上記の式（１）に基づいて、Ｄｉｆｆ＝ｓｑｒｔ｛（１０３−１１０）＾２＋（１４６−１３７）＾２＋（２４８−２１５）＾２｝＝約３４．９と算出する。色情報比較部２６は、このＤｉｆｆの値（約３４．９）があらかじめ定めた判定閾値（例えば１００）よりも小さいか否かを判定する。この判定閾値は、従来技術に基づいて適宜設定することができる。

色情報比較部２６によって差Ｄｉｆｆの値が判定閾値よりも小さいと判定された場合、色変換部２８は、差Ｄｉｆｆが判定閾値を下回っているとして、操作要素Ｍｉであるボタンの色情報を変更する。色変換部２８による色情報の変更は、ユーザによって視認されるＣｂｇおよびＣｂｔｎの色情報の差Ｄｉｆｆが判定閾値を超えるように操作要素の色情報を変更する。なお、操作要素Ｍｉの内部領域のみの色情報を変更するのではなく、操作要素の内部領域及び背景の両方の色情報や、操作要素Ｍｉの背景の色情報を変更して、色情報の差Ｄｉｆｆが判定閾値を超えるようにしてもよい。また、色変換部２８は、変更先の色情報についての変換情報を、色情報ＤＢ３２に予め格納しておいて、この格納しておいた変換ＤＢに基づいて、色情報の差Ｄｉｆｆが判定閾値を超えるよう、色情報を変更してもよい。色変換部２８は、差Ｄｉｆｆが判定閾値を上回っている場合には、操作要素Ｍｉであるボタン等の色情報を変更しない。

なお、健常者にとっての見え方を、変更前と変更後でなるべく変わらないようにするため、健常者にとっての元の色情報との見え方の差Ｄｉｆｆも参考情報として利用してもよい。例えば、視認される色情報のＤｉｆｆが閾値を超える色の中で、健常者にとって視認される色情報の差Ｄｉｆｆが最小のものを、変更後の色情報として選択することで、健常者にとっても元の色情報となるべく変わらない色情報に変更しつつ、色盲などのユーザにとっても視認性を損なわないコンテンツとするようにしてもよい。また、背景色やボタン色が、単一色で規定されておらず、画像で指定されているなど、複数の色情報を持っている場合、単一色同士の比較に基づく上記の方法ではそのまま色変換は行うことが難しい。この場合、背景Ｃｂｇとして利用されている全色と、ボタンＣｂｔｎで利用されている全色を比較して、どの組み合わせをもっても視認性を損なわないように変換してもよいし、前述したのと同様、ボタン領域の外周部の色のみを変換してもよい。

次に、上述した色変換により内部領域が色変換されたボタンの色に対して、そのボタン上に配置表示される文字の色の視認性（すなわち差Ｄｉｆｆ）が、上記と同様に、あらかじめ設定した判定閾値を超えるか否かを色情報比較部２６により判定する。この判定には、比較対象の一方である操作要素Ｍｉの内部領域の色が変換された場合には、変換された後の色情報を用いる。そして、上記と同様のステップにより、色変換部２８によって、操作要素Ｍｉの内部領域の色（変換後）と文字情報の色との組み合わせが判定閾値を超える色の組み合わせで表現されるように、表示される文字色を変換する。このような変換は、＜ｆｏｎｔ＞タグで利用されているｃｏｌｏｒ属性を変更することで実現できる。また、＜ＢＯＤＹ＞タグで指定された色情報などを利用しているなど、操作要素Ｍｉの内部に表示される文字色が複数の操作要素Ｍｉにまたがって設定されている場合には、対象となる操作要素Ｍｉ中の文字前後に＜ＦＯＮＴ＞タグを追加して、該当部分のみの文字色情報を変更してもよい。

続いて、ステップＳ１で抽出されたすべての操作要素Ｍｉに対して、ステップＳ２〜Ｓ５の処理が完了したか否かが判定され、すべての操作要素Ｍｉについての処理が終了するまで、ステップＳ２〜Ｓ５が繰り返される。これにより、ＷＥＢコンテンツ中に含まれるすべての操作要素Ｍｉの視認性が、利用中のユーザにとって視認性を損なわないものに変換される。

続いて、すべての操作要素Ｍｉに対して適正な色情報の変換処理が行われると、ステップＳ７に進み、上述したステップＳ２〜Ｓ５で色情報が変換された操作要素Ｍｉを含むコンテンツをコンテンツ再表示部３０が表示する。このとき、コンテンツ再表示部３０は、ＷＥＢコンテンツに対し、自動的に色情報の変換後のコンテンツを表示してもよいし、はじめ、元のコンテンツを表示しておき、ユーザによる操作により変換後のコンテンツを表示するメニューを設けるなどして、元のコンテンツと変換後のコンテンツのどちらを表示するかを、ユーザの選択に応じて決定して、いずれかのコンテンツを表示するようにしてもよい。

このように本実施形態に係る画像処理装置１０によれば、操作要素Ｍｉであることを示すタグ情報に基づいてＷＥＢコンテンツ等の表示情報から操作要素Ｍｉをまずは抽出し、このようにして抽出された操作要素Ｍｉの色情報とその背景部分の色情報との比較結果に基づいて、背景部分の色情報及び操作要素Ｍｉの色情報の少なくとも一方を変換するようになっている。このように、もともと表示情報に含まれている、操作要素Ｍｉであることを示す識別情報（例えばタグ情報）を用いて、所定の操作を行うにあたり識別が重要である操作要素Ｍｉを表示情報から抽出するようにしているため、表示情報中の形状の情報（例えば四角形状が操作要素に相当すると推定）などから操作要素を抽出するよりも、操作要素Ｍｉを表示情報から確実且つ容易に抽出することができる。そして、この画像処理装置１０によれば、このようにして抽出された操作要素Ｍｉの色情報と背景部分の色情報とを比較した結果を用いて、背景部分の色情報及び操作要素の色情報の少なくとも一方を変換しているため、所定の操作要素Ｍｉを含む表示情報において色弱者又は色盲者が識別しづらい色を他の色へと容易に変換することができる。

また、画像処理装置１０において、色情報比較部２６は、背景部分の色情報と操作要素Ｍｉの色情報とを色弱者又は色盲者によって視認される色情報へ変換した上で、当該変換された両色情報を比較するようになっている。このため、操作要素Ｍｉの色情報と背景部分の色情報との比較をより確実に行うことができる。

また、画像処理装置１０において、色情報比較部２６は、背景部分の色情報と操作要素Ｍｉの色情報との差Ｄｉｆｆを式（１）から求め、色変換部２８は、色情報の差が色の識別可能性を判定する判定閾値よりも小さい場合に、背景部分の色情報及び操作要素Ｍｉの色情報の少なくとも一方を変換するようにしている。このように、判定閾値を用いているので、操作要素Ｍｉの色情報と背景部分の色情報との比較処理をより単純化することができる。

また、画像処理装置１０において、色変換部２８は、好ましくは操作要素Ｍｉの色情報を変換するようになっている。この場合、色情報を変換する領域が相対的に小さいことが多い操作要素Ｍｉの方を変換することになるため、色情報の変換処理の負荷を少なくすることができる。

また、画像処理装置１０において、操作要素Ｍｉの色情報は、操作要素Ｍｉの内側領域の色情報と操作要素Ｍｉ内に表示される文字の色情報とを含んでおり、操作要素色抽出部２２は、操作要素Ｍｉの内側領域の色情報と文字の色情報との両方を抽出している。そして、色情報比較部２６は、操作要素色抽出部２２が抽出した操作要素Ｍｉの内側領域の色情報（変換後）と文字の色情報とを更に比較し、色変換部は、色情報比較部２６による比較結果に基づいて、操作要素Ｍｉに表示される文字の色情報を変換している。このため、操作要素Ｍｉ内での文字の識別性をより一層高めることが可能となる。なお、この場合において、操作要素Ｍｉに表示される文字の色情報ではなくて、操作要素Ｍｉの内側領域の色情報等を変更するようにしてもよい。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、操作要素抽出部２０で抽出されたすべての操作要素Ｍｉに対して色の比較及び変換処理を行ったが、特定の操作要素Ｍｉに対してのみ、係る処理を行うようにしてもよい。また、上述した実施形態では、操作要素として決定ボタンなどを例にとって説明したが、ＷＥＢコンテンツ中に含まれるリンクなど他の操作要素に本発明を適用させてもよい。また、図５に示すフローチャートでは、ＷＥＢコンテンツを前提とした実施形態を記載したが、操作要素の領域やそこに表示される文字の色情報を検出し、色情報ＤＢをもとに表示される要素の色情報を変換することで、その他の一般的なＧＵＩを備えるコンテンツ（アプリケーションなど）に本発明を適用してもよい。

１０…画像処理装置、２０…操作要素抽出部、２２…操作要素色抽出部、２４…背景色抽出部、２６…色情報比較部、２８…色変換部、３０…コンテンツ再表示部。

Claims (8)

1. 所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を他の色へ変換する画像処理装置であって、
   前記操作要素であることを示す識別情報に基づいて、前記表示情報から当該表示情報に含まれる操作要素を抽出する操作要素抽出手段と、
   前記操作要素抽出手段で抽出された操作要素の背景部分の色情報を抽出する背景色抽出手段と、
   前記操作要素抽出手段で抽出された操作要素の色情報を抽出する操作要素色抽出手段と、
   前記背景色抽出手段で抽出された前記背景部分の色情報と前記操作要素色抽出手段で抽出された前記操作要素の色情報とを比較する色情報比較手段と、
   前記色情報比較手段による比較結果の入力を契機として、前記比較結果に基づいて、前記背景部分の色情報及び前記操作要素の色情報の少なくとも一方を変換する色変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記色情報比較手段は、前記背景部分の色情報と前記操作要素の色情報とを色弱者又は色盲者によって視認される色情報へ変換した上で、当該変換された両色情報を比較することを特徴とする、請求項１に記載の画像処理装置。
3. 前記色情報比較手段は、前記背景部分の色情報と前記操作要素の色情報との差を求め、
   前記色変換手段は、前記色情報の差が色の識別可能性を判定する判定閾値よりも小さい場合に、前記背景部分の色情報及び前記操作要素の色情報の少なくとも一方を変換することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記色変換手段は、前記操作要素の色情報を変換することを特徴とする、請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記操作要素の色情報は、前記操作要素全体の色情報と前記操作要素内の文字の色情報とを含んでおり、
   前記操作要素色抽出手段は、前記操作要素全体の色情報と前記文字の色情報とを抽出することを特徴とする、請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記色情報比較手段は、前記操作要素色抽出手段が抽出した前記操作要素全体の色情報と前記文字の色情報とを更に比較し、
   前記色変換手段は、前記色情報比較手段による比較結果に基づいて、前記操作要素全体の色情報及び前記文字の色情報の少なくとも一方を変換することを特徴とする、請求項５に記載の画像処理装置。
7. 前記色変換手段によって所定の色情報が変換された表示情報を表示させる表示手段を、更に備えたことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
8. 所定の操作要素を含む表示情報において色弱者又は色盲者が識別しづらい色を画像処理装置を用いて他の色へ変換する画像処理方法であって、
   前記操作要素であることを示す識別情報に基づいて、前記表示情報から当該表示情報に含まれる操作要素を抽出する操作要素抽出ステップと、
   前記操作要素抽出ステップで抽出された操作要素の背景部分の色情報を抽出する背景色抽出ステップと、
   前記操作要素抽出ステップで抽出された操作要素の色情報を抽出する操作要素色抽出ステップと、
   前記背景色抽出ステップで抽出された前記背景部分の色情報と前記操作要素色抽出ステップで抽出された前記操作要素の色情報とを比較する色情報比較ステップと、
   前記色情報比較ステップでの比較結果の入力を契機として、前記比較結果に基づいて、前記背景部分の色情報及び前記操作要素の色情報の少なくとも一方を変換する色変換ステップと、
   を備えることを特徴とする画像処理方法。