JP4747762B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法及びプログラムに係り、特に、カラードキュメントを見やすくする画像処理装置、方法及びプログラムに関する。

従来、カラードキュメントを見やすくするために様々な技術が提案されている。

特許文献１では、細線を容易に識別することができる画像処理装置が開示されている。上記画像処理装置は、細線を検出して、（１）所定幅以下の細線を検出した場合にその細線を太くし、（２）所定幅以上の細線を有彩色に応じてパターン化し、（３）所定幅以下の細線の両側をパターン化し、（４）所定幅以下の細線を検出した場合にその細線を固定値で処理する。

特許文献２では、色分けされた折れ線グラフ等の細い線でも、パターンによる色の識別が容易にでき、鮮明な記録画像が得られる画像処理装置が開示されている。この画像処理装置は、判別された色の領域幅を検出し、検出した領域幅に応じて図形パターンの濃度を選択し、さらに色ごとに設定された固定濃度を選択して、色の領域幅に応じて図形パターンの濃度と固定濃度の合成比率を変える。
特開平０４−３５１１７４号公報 特開平０５−１３０４３９号公報

特許文献１及び２に記載された技術は、線幅に応じて色／パターン変換を行っているが、文字や領域等の他のオブジェクトとの関係を全く考慮していない。したがって、細の色／パターン変換を行ったとしても、他のオブジェクトとの関係によっては、線が目立たなくなってしまう問題がある。

本発明は、上述した課題を解決するために提案されたものであり、画像に含まれているオブジェクトとの関係を考慮してその画像に含まれている線の識別性を向上させることができる画像処理装置、方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、入力画像を構成するオブジェクトを分析する画像分析手段と、画像分析手段により分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定する変換要否判定手段と、前記変換要否判定手段により変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値となるように、線オブジェクトの太さ及び輝度成分を変更する変換方法を決定する変換方法決定手段と、前記変換要否判定手段により変換処理が必要と判定された線オブジェクトを、前記変換方法決定手段により決定された変換方法で変換して、前記入力画像を再構成するオブジェクト変換手段と、を備えている。

入力画像は、複数のオブジェクトによって構成されている。画像分析手段は、この入力画像を構成する各々のオブジェクトについて解析する。変換要否判定手段は、分析された様々なオブジェクトのうち、線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定する。変換処理とは、線オブジェクトの識別を容易にする処理をいう。変換方法決定手段は、変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトの太さ及び輝度成分を変更する変換方法を決定する。そして、オブジェクト変換手段は、変換処理が必要と判定された線オブジェクトを決定された変換方法で変換して、前記入力画像を再構成する。
また、本発明に係る画像処理装置は、入力画像を構成するオブジェクトを分析する画像分析手段と、画像分析手段により分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定する変換要否判定手段と、前記変換要否判定手段により変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトを点線状に変更する変換方法を決定する変換方法決定手段と、前記変換要否判定手段により変換処理が必要と判定された線オブジェクトを、して、前記入力画像を再構成するオブジェクト変換手段と、を備えていてもよい。

したがって、上記発明は、入力画像を構成するオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定し、変換処理が必要と判定された線オブジェクトの変換方法を決定して、その線オブジェクトを変換することにより、他のオブジェクトによって線オブジェクトが目立たなくならないように、線オブジェクトの識別性を向上させることができる。

なお、本発明は、画像処理方法及びプログラムにも適用される。

本発明に係る画像処理装置、方法及びプログラムは、入力画像を構成するオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定し、変換処理が必要と判定された線オブジェクトの変換方法を決定して、その線オブジェクトを変換することにより、他のオブジェクトによって線オブジェクトが目立たなくならないように、線オブジェクトの識別性を向上させることができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示す図である。画像処理装置は、画像解析や画像オブジェクトの変換処理等を行う制御部１と、画像を記憶する記憶部２と、ユーザの操作に応じた指示が入力される操作部３と、入力画像や出力画像を表示する表示部４と、ネットワークを介して接続された外部装置との間でデータが入出力される入出力部５と、を備えている。

図２は、制御部１の機能的な構成を示すブロックである。制御部１は、入力画像を解析する画像解析部１１と、入力画像を構成するオブジェクトのうちの線オブジェクトについて変換が必要か否かを判定する変換要否判定部１２と、線オブジェクトの変換方法を決定する変換方法決定部１３と、決定された変換方法に従って線オブジェクトを変換する変換処理部１４と、を備えている。

以上のように構成された画像処理装置の制御部１は、入力画像に対して以下の処理を実行する。なお、入力画像は、記憶部２に予め記憶されていた画像であってもよいし、入出力部５を介して外部装置から送信された画像であってもよい。

［画像解析部１１の処理］
最初に、制御部１の画像解析部１１は、入力画像を解析して画像要素（オブジェクト）に分解し、各オブジェクトにＩＤを付与する。

図３は、入力画像の一例を示す図である。入力画像は、文字、線、領域の３つのオブジェクトによって構成されている。なお、領域オブジェクトとは、所定値以上の面積を有するオブジェクトをいい、その他、所定値以上の幅を有する線や文字を表すオブジェクトも含まれる。

本実施形態では、画像解析部１１は、図３に示す入力画像を構成する各オブジェクトに、Ｃ０１〜Ｃ１２までのＩＤをそれぞれ付与すると共に、文字、線、領域のいずれであるかを示す属性、各オブジェクトの色及び位置を判定する。そして、画像解析部１１は、入力画像の解析結果を例えば記憶部２に一時格納する。

図４は、画像解析部１１による入力画像の解析結果を示す図である。なお、画像解析部１１による処理の段階では、「要否」、「変換方法」は未定である。「要否」は変換要否判定部１２の判定結果を示し、「変換方法」は変換方法決定部１３の決定事項を示している。

［変換要否判定部１２の処理］
次に、変換要否判定部１２は、図４に示す入力画像の解析結果を用いて、入力画像の各オブジェクトのうち線オブジェクトについて変換処理の要否を判定する。ここにいう変換処理とは、線オブジェクトの識別を容易にする処理をいう。変換要否判定部１２は、具体的には次のステップＳ１からステップＳ７の処理を実行する。

（変換要否判定ルーチン）
図５は、変換要否判定ルーチンを示すフローチャートである。

ステップＳ１では、変換要否判定部１２は、線オブジェクトと他のオブジェクトが混色関係にあるか否かを判定する。この判定を行う理由は、混色関係でなければ線オブジェクトと他のオブジェクトとの違いが分かり、線オブジェクトを変換する必要はないからである。具体的には次の処理が行われる。

変換要否判定部１２は、まず、画像解析部１１による入力画像の解析結果と、自身で保持する混色関係の情報とに基づき、解析された入力画像の中に混色関係にある色が含まれるかどうかを判定する。ここで、混色関係の情報としては、例えば、次に示すようなものが考えられる。

図６は、ＣＩＥ色度図上で混色関係を示す図である。まず、図６（Ａ）は、赤錐体のない第一色盲の場合の混色関係を示している。この場合は、点Ｏ１から放射状に引いた混同色線ごとに、その混同色線上の各点で表される色が混色関係にある。また、図６（Ｂ）は、緑錐体のない第二色盲の場合の混色関係を示している。この場合は、点Ｏ２から放射状に引いた混同色線ごとに、その混同色線上の各点で表される色が混色関係にある。また、図６（Ｃ）は、青錐体のない第三色盲の場合の混色関係を示している。この場合は、点Ｏ３から放射状に引いた混同色線ごとに、その混同色線上の各点で表される色が混色関係にある。

尚、図６（Ａ）〜（Ｃ）では、作図の都合上、限られた数の混同色線しか示していないが、それらの混同色線の間にも図示しない無数の混同色線は存在している。また、図６（Ａ）〜（Ｃ）において、混同色線の近傍にある各点で表される色についても、例えば、特願２００３−４２８１０３に記載した手法を採用することにより、混色関係にあるとみなすようにしてもよい。

更に、混色関係の情報は、必ずしも色覚障害者にとっての混色関係の情報には限らない。即ち、色覚に障害を持たない人にとっても識別しにくい色の組み合わせや、個人の好みで隣り合うことを避けたい色の組み合わせ等を定義するようにしてもよい。

そして、ステップＳ１で肯定判定のときはステップＳ２に移行し、否定判定のときはステップＳ６に移行する。

ステップＳ２では、変換要否判定部１２は、図４に示す入力画像の解析結果を用いて、線オブジェクトの混色先のオブジェクトの属性が線又は文字であるか否かを判定する。肯定判定のとき（属性が線又は文字のとき）はステップＳ３に移行し、否定判定のとき（属性が領域のとき）はステップＳ７に移行する。

ステップＳ３では、変換要否判定部１２は、線オブジェクトが混色先のオブジェクトと一部でも隣接しているか否かを判定する。この判定を行う理由は、線オブジェクトと混色先のオブジェクトが隣接していなければ、各オブジェクトを識別できるからである。そして、肯定判定のときはステップＳ４に移行し、否定判定のときはステップＳ６に移行する。

ステップＳ４では、変換要否判定部１２は、線オブジェクトの重要度が高いか否かを判定する。制御部１は、例えば線オブジェクトがテンプレート（例えば、背景の絵柄等）の一部である場合（複数存在する場合、毎回同じ位置・形状・色である場合）、背景色や標準色に近い色の場合、細い線の場合、のいずれかのときは、重要度が高くないと判定する。

また、制御部１は、線オブジェクトが太い線の場合、他の属性のオブジェクトと同じ色が用いられている場合、グラフの線図を表す場合、異なる色で似た形状（大きさ、太さ、形）の線がある場合、のいずれかのときは、重要度が高いと判定する。そして、肯定判定のときはステップＳ５に移行し、否定判定のときはステップＳ６に移行する。

ステップＳ５では、変換要否判定部１２は、線オブジェクトの変換が必要である、すなわち線を現在の表現と異なる表現に変換する、と決定して、本ルーチンを終了する。そして、変換方法決定部１３の処理に移行する。

一方、ステップＳ６では、変換要否判定部１２は、線オブジェクトの変換は不要であると判定して、本ルーチンを終了する。そして、変換方法決定部１３の処理に移行する。

また、ステップＳ７では、変換要否判定部１２は、線オブジェクトの変換は不要であるが、相手オブジェクト（混色先のオブジェクト）を変換する、と決定して、本ルーチンを終了する。そして、変換方法決定部１３の処理に移行する。

以上のように、変換要否判定部１２は、線オブジェクトと他のオブジェクトとが混色関係にあり、線オブジェクトが前記他のオブジェクトと隣接している場合には、線オブジェクトが目立たなくなるので、入力画像で使用されている線オブジェクトの修飾方法を避けるべく、線オブジェクトを変換すると判定する。

さらに、変換要否判定部１２は、線オブジェクトの重要度が高い場合に線オブジェクトを変換し、重要度が高くない場合に線オブジェクトを変換しないと判定するので、重要度が高くかつ目立たない線オブジェクトのみを変換すると判定する。

例えば図４によると、オブジェクトＣ０２は、線、赤色であるが、テンプレートの一部となっている。オブジェクトＣ０５は、線、赤色であるが、混色先のオブジェクトと隣接していない。オブジェクトＣ０７は、線、赤色であるが、閾値以上の太さを有する線を表している。オブジェクトＣ０９、Ｃ１１は、他のオブジェクトとの混色はない。オブジェクトＣ１０、Ｃ１２は、互いに異なる色であり、隣接して混色している。

［変換方法決定部１３の処理］
次に、変換方法決定部１３は、変換要否判定部１２で変換が必要とされた線オブジェクトの変換方法を決定する。線オブジェクトの表す線の変換方法としては、例えば次のようなものがある。
（１）線の色情報（色相、明度、彩度の少なくとも１つ）を変更する。
（２）線の太さを変える。特に、線の知覚濃度（線上の累積濃度）が変化しないように、線を太くするときは線の輝度を上げ、線を細くするときは線の輝度を下げるとよい（濃度保存変換）。

図７（Ａ）は濃度保存変換前の画像、（Ｂ）は濃度保存変換後の画像を示す図である。「二番目」のアンダーラインが注目する線オブジェクトであり、濃度保存変換によって濃度が薄く幅の広い線になった。これにより、識別しにくい線オブジェクトを目立たせることができると共に、制作者の意図が失われるのを防止することができる。
（３）線を点線又は波線にする。特に、線を点線にする場合は、線の累積濃度が変化しないようにするとよい（濃度保存変換）。

図８（Ａ）は濃度保存変換前の画像、（Ｂ）は濃度保存変換後の画像を示す図である。線オブジェクトは、濃度保存変換によって、薄い色と濃い色が交互に配列された点線になった。つまり、線オブジェクトは、点線上を、元の線の色と背景色とで表すのではなく、元の線の平均濃度を維持するように、元の線の色の輝度成分の高い箇所と輝度成分の低い箇所とで表している。これにより、識別しにくい線オブジェクトを目立たせることができると共に、制作者の意図が失われるのを防止することができる。
（４）線を二重線又は三重線にする。例えば、線の長さが短い場合は、点線に変換しても目立たないので、二重線又は三重線にするとよい。
（５）線に影をつける。
（６）線を、背景色や線の色と異なる色で、又は図６に示した混同色線上にない色で、縁取りする。

［変換処理部１４の処理］
最後に、変換処理部１４は、変換方法決定部１３で決定された変換方法で線オブジェクトを変換することによって入力画像を再構成し、出力画像を生成する。

図９は、画像処理装置によって生成された出力画像を示す図である。図３に示す入力画像のオブジェクトＣ１０はオブジェクトＣ１２と混色関係にあり、かつ交わっている。これに対して、図９に示す出力画像のオブジェクトＣ１０は、点線に変換されており、オブジェクトＣ１２と明確に区別できるようになった。

また、変換処理部１４は、変換方法決定部１３により相手オブジェクト（領域オブジェクト）を変換すると決定された場合は、その領域オブジェクトに網掛け処理等を行う。これにより、比較的処理の容易な領域オブジェクトを変換するだけで、線オブジェクトと領域オブジェクトを識別することができる。ここで、領域オブジェクトの網掛けパターンについては、次のようにするとよい。
（１）網掛けパターンの方向
領域オブジェクトの網掛けパターンの方向が線オブジェクトの描画方向とほぼ一致してしまうと、線オブジェクトが目立たなくなることがある。そこで、線オブジェクトの描画方向と異なる方向の網掛けパターンを用いて、領域オブジェクトに網掛け処理を行うとよい。
（２）網掛けパターンの太さ
線オブジェクトの太さと異なる太さの網掛けパターンを使用するとよい。これにより、線オブジェクトと領域オブジェクトをそれぞれ容易に識別することができる。
（３）網掛けパターンの色
線オブジェクトの色と異なる色の網掛けパターンを使用するとよい。これにより、線オブジェクトと領域オブジェクトをそれぞれ容易に識別することができる。
（４）線オブジェクトと網掛けパターンの重なり具合
線オブジェクトから所定距離は、網掛けパターンを設けないようにするとよい。これにより、線オブジェクトを目立たせることができる。

以上の（１）から（４）は変換方法決定部１３によって決定される変換方法の例示に過ぎず、（１）から（４）のいずれかを任意に組み合わせてもよいのは勿論である。

以上のように、本実施形態に係る画像処理装置は、入力画像を構成するオブジェクトのうち線オブジェクトについて変換処理が必要か否かを判定し、変換処理が必要と判定された線オブジェクトの変換方法を決定し、決定された変換方法で線オブジェクトを変換して入力画像を再構成する。これにより、入力画像に含まれる線オブジェクトの識別性を向上させることができる。

上記画像処理装置は、更に、線オブジェクトの色、パターンに応じて線オブジェクトが重要であるか否かを判定し、重要である線オブジェクトのみを変換することにより、必要のある線オブジェクトのみを目立たせることができる。更に、画像処理装置は、線オブジェクトの変換の際には、線オブジェクトの累積濃度を保存したまま線オブジェクトの描画方法を変更することにより、識別しにくい線オブジェクトを目立たせることができる共に、制作者の意図が失われるのを防止することができる。

また、画像処理装置は、線オブジェクトと混色が発生している他のオブジェクトが領域オブジェクトであった場合は、その領域オブジェクトを例えば網掛け処理する。線オブジェクトを変換するのに比べて領域オブジェクトを変換する方が容易であるので、演算処理の負荷を軽減することができる。このとき、画像処理装置は、網掛け処理の網掛けパターンを線オブジェクトの描画方向と異なる方向にすることにより、線オブジェクトと領域オブジェクトの識別性を共に向上させることができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

例えば、制御部１は、所定値以上の幅を有する線オブジェクトについては、領域オブジェクトとして取り扱い、領域オブジェクトと同様にその線オブジェクトに網掛け処理を行ってもよい。これにより、演算処理の負荷を軽減することができる。

また、制御部１の変換要否判定部１２は、重要度の低い線オブジェクトについては変換処理を行わないと判定したが、当該線オブジェクトを変換すると判定してもよい。このとき、変換方法決定部１３は、その線オブジェクトを予め設定された色（例えば黒）にすると決定してもよい。

さらに、上述した画像処理装置は、コンピュータに上述した処理を実行させるプログラムをインストールすることによって実現してもよい。

本発明の実施の形態に係る画像処理装置の構成を示す図である。 制御部１の機能的な構成を示すブロックである。 入力画像の一例を示す図である。 画像解析部１１による入力画像の解析結果を示す図である。 変換要否判定ルーチンを示すフローチャートである。 ＣＩＥ色度図上で混色関係を示す図である。 （Ａ）は濃度保存変換前の画像、（Ｂ）は濃度保存変換後の画像を示す図である。 （Ａ）は濃度保存変換前の画像、（Ｂ）は濃度保存変換後の画像を示す図である。 画像処理装置によって生成された出力画像を示す図である。

符号の説明

１ 制御部
２ 記憶部
３ 操作部
４ 表示部
５ 入出力部
１１ 画像解析部
１２ 変換要否判定部
１３ 変換方法決定部
１４ 変換処理部

Claims (10)

1. 入力画像を構成するオブジェクトを分析する画像分析手段と、
   画像分析手段により分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定する変換要否判定手段と、
   前記変換要否判定手段により変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトの太さ及び輝度成分を変更する変換方法を決定する変換方法決定手段と、
   前記変換要否判定手段により変換処理が必要と判定された線オブジェクトを、前記変換方法決定手段により決定された変換方法で変換して、前記入力画像を再構成するオブジェクト変換手段と、
   を備えた画像処理装置。
2. 入力画像を構成するオブジェクトを分析する画像分析手段と、
   画像分析手段により分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定する変換要否判定手段と、
   前記変換要否判定手段により変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトを点線状に変更する変換方法を決定する変換方法決定手段と、
   前記変換要否判定手段により変換処理が必要と判定された線オブジェクトを、前記変換方法決定手段により決定された変換方法で変換して、前記入力画像を再構成するオブジェクト変換手段と、
   を備えた画像処理装置。
3. 前記変換要否判定手段は、前記線オブジェクトが他のオブジェクトと混色し、かつ前記他のオブジェクトと隣接しているときに、前記線オブジェクトの変換処理が必要と判定する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記変換要否判定手段は、更に、前記線オブジェクトの状態に基づいて当該線オブジェクトの重要度が高いか否かを判定し、重要度が高いときに前記線オブジェクトの変換処理が必要と判定し、重要度が高くないときに前記線オブジェクトの変換処理は必要でないと判定する
   請求項３に記載の画像処理装置。
5. 前記変換方法決定手段は、所定値以上の幅を有する線オブジェクトに網掛け処理を行うことを決定する
   請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記変換要否判定手段は、前記他のオブジェクトが領域オブジェクトのときは、前記他のオブジェクトの変換処理が必要と判定し、
   前記変換方法決定手段は、前記変換要否判定手段により変換処理が必要とされた前記他のオブジェクトの変換方法を決定し、
   前記オブジェクト変換手段は、前記変換要否判定手段により変換処理が必要と判定された前記他のオブジェクトを、前記変換方法決定手段により決定された変換方法で変換して、前記入力画像を再構成する
   請求項３に記載の画像処理装置。
7. 前記変換方法決定手段は、前記領域オブジェクトに網掛け処理を行うことを決定する
   請求項６に記載の画像処理装置。
8. 前記変換方法決定手段は、前記線オブジェクトの描画方向と異なる方向に網掛けパターンが形成されるような網掛け処理を行うことを決定する
   請求項７に記載の画像処理装置。
9. コンピュータに、
   入力画像を構成するオブジェクトを分析させ、
   分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定させ、
   変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトの太さ及び輝度成分を変更する変換方法を決定させ、
   前記変換処理が必要と判定された線オブジェクトを、前記決定された変換方法で変換して、前記入力画像を再構成させる
   画像処理プログラム。
10. コンピュータに、
    入力画像を構成するオブジェクトを分析させ、
    分析されたオブジェクトのうちの線オブジェクトと他のオブジェクトとの関係に基づいて、当該線オブジェクトの変換処理が必要か否かを判定させ、
    変換処理が必要と判定された線オブジェクトの変換方法として、変更前後の線オブジェクトの累積濃度値が同一の累積濃度値になるように、線オブジェクトを点線状に変更する変換方法を決定させ、
    前記変換処理が必要と判定された線オブジェクトを、前記決定された変換方法で変換して、前記入力画像を再構成させる
    画像処理プログラム。