JP4539733B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

コンテンツ（画像）の品質を保持したまま、関連する付加情報をコンテンツ内に埋め込む技術を電子透かしという。
ここで、画像に情報を埋め込むとは、その情報に応じて画像に変更を加えることをいい、その変更した画像をスキャナ等で読み込み、画像処理を行ってその画像から埋め込んだ情報を取り出せるようにすることをいう。

これに関連する技術として、例えば、特許文献１には、漫画などの線画を基本とした画像に適した電子透かし技術を提供することを課題とし、ブロック分割部は２値画像を複数のブロックに分割し、画素数算出部はブロック毎に黒画素数を求め、演算部が対象ブロックについて基準値ｐによる黒画素数の剰余を求め、変更画素数算出部は対象ブロックに埋め込むべき透かし情報が「１」であるか「０」であるかを判定し、判定の結果、透かし情報が「１」である場合には剰余が（３／４）ｐとなるように、変更画素数を求め、透かし情報が「０」である場合には剰余が（１／４）ｐとなるように、変更画素数を求め、画素変更部は変更画素数に応じて、対象ブロック内の画素の画素値を変更することが開示されている。

また、例えば、特許文献２には、正確に秘密情報を取り出すことの可能な、透かし情報埋め込み装置、及び、透かし情報検出装置を提供することを課題とし、透かし情報埋め込み装置においては、ドットの配列によって波の方向及び／又は波長を変化させたドットパターンを複数用意し、１つのドットパターンに対して１つのシンボルを与え、ドットパターンを組み合わせて配置することにより、機密情報が与えられ、透かし情報検出装置においては、ドットパターンと同じ波の方向と波長を持つ、ドットパターンと同数の二次元ウェーブレットフィルタを備え、そして、透かし入り画像中の任意の領域と複数の二次元ウェーブレットフィルタとのコンボリューションを計算し、コンボリューションが最大となる二次元ウェーブレットフィルタに対応するドットパターンがその領域に埋め込まれていると判断することが開示されている。
特開２００２−２３２６９８号公報 特開２００３−１０１７６２号公報

本発明は、受け付けた画像内に元からある画素塊自体に変更を加えることなく、画像内に情報を埋め込むようにする画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像を受け付ける画像受付手段と、前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、前記画素追加手段によって画素が追加された画像を出力する出力手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記画素追加手段は、追加する画素の位置を、前記ブロック内の文字又は線画の一部と相対的な位置になるように、又は該ブロック内の文字又は線画の一部との距離に基づいて追加することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記画素追加手段は、前記画素を追加する位置が複数ある場合には、前記ブロックの区切りと重ならない位置に該画素を追加することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記ブロック毎の複雑度を算出する複雑度算出手段をさらに具備し、前記画素追加手段は、前記画素を追加する位置が複数ある場合には、前記複雑度算出手段によって算出された複雑度に基づいて該画素を追加する位置を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置である。

請求項５の発明は、前記画素追加手段は、前記複雑度算出手段によって算出された複雑度に基づいて、画素を追加するか否かを決定することを特徴とする請求項４に記載の画像処理装置である。

請求項６の発明は、前記画像から文字領域を抽出する抽出手段と、前記抽出手段によって抽出された文字領域を認識する認識手段をさらに具備し、前記複雑度算出手段は、前記認識手段による認識結果に基づいて、前記ブロック毎の複雑度を算出することを特徴とする請求項４又は５に記載の画像処理装置である。

請求項７の発明は、前記画素追加手段は、追加する先頭の画素は他の追加する画素とは異なるものとすることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置である。

請求項８の発明は、請求項１から７のいずれか１項に記載の画像処理装置から出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段を具備することを特徴とする画像処理装置である。

請求項９の発明は、画像を受け付ける画像受付手段と、前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、前記画素追加手段によって画素が追加された画像を出力する出力手段と、前記出力手段によって出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段を具備することを特徴とする画像処理装置である。

請求項１０の発明は、コンピュータを、画像を受け付ける画像受付手段と、前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、前記画素追加手段によって画素が追加された画像を出力する出力手段として機能させることを特徴とする画像処理プログラムである。

請求項１１の発明は、コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置から出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段として機能させることを特徴とする画像処理プログラムである。

請求項１２の発明は、コンピュータを、画像を受け付ける画像受付手段と、前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、前記画素追加手段によって画素が追加された画像を出力する出力手段と、前記出力手段によって出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段として機能させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく、画像内に情報を埋め込むことができる。

請求項２の画像処理装置によれば、複数の情報を画像内に埋め込むことができる。

請求項３の画像処理装置によれば、ブロックの区切りと重ねて画素を埋め込んだ場合と比較して、埋め込んだ情報を復元することが容易になる。

請求項４の画像処理装置によれば、本構成を有しない場合に比較して、画素の位置を目立つ位置に追加することを抑制することができる。

請求項５の画像処理装置によれば、画素の位置を目立つ位置に追加するかどうかを判定することができる。

請求項６の画像処理装置によれば、本構成を有しない場合に比較して、複雑度の精度を向上させることができる。

請求項７の画像処理装置によれば、埋め込んだ先頭の情報を特定することができる。

請求項８の画像処理装置によれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく情報が埋め込まれた画像内から、その情報を抽出することができる。

請求項９の画像処理装置によれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく、画像内に情報を埋め込むことができ、その画像内から情報を抽出することができる。

請求項１０の画像処理プログラムによれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく、画像内に情報を埋め込むことができる。

請求項１１の画像処理プログラムによれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく情報が埋め込まれた画像内から、その情報を抽出することができる。

請求項１２の画像処理プログラムによれば、受け付けた画像内の元からある画素塊自体に変更を加えることなく、画像内に情報を埋め込むことができ、その画像内から情報を抽出することができる。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。

情報を埋め込むべき画像（処理対象である画像データ）は２値画像の他に、カラー画像、多値画像等であってもよい。また、以下、埋め込むべき情報を付加情報ともいう。
また、「所定」という用語を用いるが、これは「予め定めた」又は「そのとき又はそれまでの状況によって定めた」の意で用いる。

本実施の形態は、図１に示すように、制御モジュール１１、記憶モジュール１２、操作モジュール１３、表示モジュール１４、入出力モジュール１５を有している。
制御モジュール１１は、記憶モジュール１２、操作モジュール１３、表示モジュール１４、入出力モジュール１５と接続されており、記憶モジュール１２に格納された画像処理プログラムにしたがって動作しており、処理対象となった画像データに対して付加情報を埋め込む処理を行う。記憶モジュール１２、操作モジュール１３、表示モジュール１４、入出力モジュール１５を制御又はこれらと連携して、この処理を行う。また、この処理の具体的内容については、後に詳しく述べる。

記憶モジュール１２は、制御モジュール１１と接続されており、制御モジュール１１によって実行されるプログラムを保持する、コンピュータによって読み取り可能な記録媒体を含む。また、この記憶モジュール１２は、制御モジュール１１による画像処理の過程で生じる種々のデータを格納するワークメモリとしても動作する。
操作モジュール１３は、制御モジュール１１と接続されており、キーボードやマウス等の制御を行い、利用者の操作を受けて、その操作内容を制御モジュール１１に出力する。
表示モジュール１４は、制御モジュール１１と接続されており、制御モジュール１１から入力される指示にしたがって、ディスプレイ等を制御して利用者に対して情報を提示する。
入出力モジュール１５は、制御モジュール１１と接続されており、スキャナ等の外部装置から入力されるデータを記憶モジュール１２に入力したり、制御モジュール１１からの指示にしたがって画像データをプリンタ等の外部装置に出力する。

ここで、制御モジュール１１が行う処理の具体的な内容について述べる。
制御モジュール１１は、入出力モジュール１５から入力された画像データ、つまり処理対象となった画像データを記憶モジュール１２に格納し、以下に説明する処理を行って、この画像データに付加情報を埋め込む。
図２は、制御モジュール１１の機能的な構成例についての概念的なモジュール構成図である。つまり、制御モジュール１１によって行われる処理は、機能的には図２に示すように、付加情報符号化モジュール２１、文字領域抽出モジュール２２、ブロック分割モジュール２３、付加情報多重化モジュール２４、画像出力モジュール２５を含んで構成されている。なお、ここで、画像を受け付け、該受け付けられた画像内の対象となる領域毎又は該領域を分割した領域毎を区切りとして、該区切りに基づき基準となる基準画素を特定し、該基準画素を基準として、前記画像内の画素塊とは独立した位置に、画素を追加することは、例えば、文字領域抽出モジュール２２、ブロック分割モジュール２３、付加情報多重化モジュール２４によって行われる。

付加情報符号化モジュール２１は、付加情報多重化モジュール２４と接続されており、付加情報を予め定められた誤り訂正符号で符号化し、その符号化された付加情報を付加情報多重化モジュール２４へ渡す。符号化方式は何でもいいが、ＢＣＨ符号やリードソロモン符号などのブロック符号が好適である。

文字領域抽出モジュール２２は、ブロック分割モジュール２３と接続されており、画像データを受け付け、その画像データから文字領域と判断される部分領域を抽出し、その抽出した部分領域をブロック分割モジュール２３へ渡す。例えば、部分領域は矩形であり、その四隅の座標を算出することによって部分領域を抽出するようにしてもよい。文字領域と判断される部分領域の抽出は、具体的には、例えば、まず色数などに基づいて黒と白との２値で構成されている領域を抽出し、さらに、その領域の投影をとることで、その領域に行間を示す白地領域がほぼ規則的に存在するかをチェックし、その規則的に存在する部分領域を文字領域として抽出する。

ブロック分割モジュール２３は、文字領域抽出モジュール２２、付加情報多重化モジュール２４と接続されており、文字領域抽出モジュール２２が抽出した文字領域を所定のブロックサイズに分割し、その分割したブロックを付加情報多重化モジュール２４へ渡す。具体的には、例えば、文字領域の左上隅からブロックを順次割り当てて、右端や下端でブロックが文字領域を超えてしまうところはブロックを割り当てないようにする。

付加情報多重化モジュール２４は、付加情報符号化モジュール２１、ブロック分割モジュール２３、画像出力モジュール２５と接続されており、付加情報符号化モジュール２１から受け取った付加情報及びブロック分割モジュール２３から受け取ったブロック内の基準となる黒画素に基づいて、そのブロック内の黒画素とは独立した位置に付加情報を表す黒画素を追加する。また、この処理の対象となる領域を分割した領域（ブロック）毎に行ってもよい。具体的には、例えば、付加情報符号化モジュール２１から渡された付加情報の符号系列の先頭から１ビットずつ情報を取り出して、それをブロック分割モジュール２３で分割されたブロックに左上から右下方向に順番に埋め込んでいき、その付加情報を埋め込んだブロック（画像）を画像出力モジュール２５へ渡す。ただし、ブロック内にある黒画素数が所定数に満たないブロックはスキップして情報を埋め込まない。また、「黒画素とは独立した位置」とは、その黒画素と接触しておらず、他の黒画素とも接触していない孤立した位置の意である。付加情報多重化モジュール２４の処理例については、図４、図５を用いて、後に詳しく述べる。

また、付加情報多重化モジュール２４は、画像データを直接に受け取り、又は文字領域抽出モジュール２２から文字画像を受け取って、その受け取った画像内の対象となる領域、例えば、画素塊毎、又は複数の画素塊毎に基づいて、原画像から基準となる黒画素を特定し、その特定された黒画素を基準となる黒画素としてもよい。ここで、画素塊とは、４連結又は８連結で連結している黒画素群、又は文字画像等であってもよい。また、以下、対象となる領域として、画素塊毎又は複数の画素塊毎を例示する。
また、付加情報多重化モジュール２４は、追加する黒画素の位置を、基準となる黒画素と相対的な位置（例えば、上方向又は下方向）になるように又は基準となる黒画素との距離に基づいて決定するようにしてもよい。

画像出力モジュール２５は、付加情報多重化モジュール２４と接続されており、付加情報多重化モジュール２４によって黒画素が追加された画像を出力する。具体的には、例えば、入出力モジュール１５を介してプリンタ等により付加情報が埋め込まれた画像を印刷するように制御する。

図３に示すフローチャートを用いて、第１の実施の形態による処理例を説明する。
ステップＳ３０２では、付加情報符号化モジュール２１は、埋め込むべき付加情報を受け付ける。
ステップＳ３０４では、付加情報符号化モジュール２１は、ステップＳ３０２で受け付けた付加情報に対して符号化を行う。
ステップＳ３０６では、文字領域抽出モジュール２２は情報を埋め込むべき対象の画像データを受け付ける。
ステップＳ３０８では、文字領域抽出モジュール２２は、ステップＳ３０６で受け付けた画像データから文字領域を抽出する。

ステップＳ３１０では、ブロック分割モジュール２３は、ステップＳ３０８で抽出された文字領域内をブロックに分割する。
ステップＳ３１２では、付加情報多重化モジュール２４は、ステップＳ３１０で分割されたブロック内に対してパターン探索を行う。このパターン探索は、付加情報を表す黒画像を追加すべき位置を、ブロック内からパターンを探索することによって決定するものである。
ステップＳ３１４では、付加情報多重化モジュール２４は、ステップＳ３１２での探索結果の位置に基づいて、付加情報を表す黒画素（複数の黒画素であってもよい。以下、「情報画像」ともいう）を原画像に追加する。ステップＳ３１２、ステップＳ３１４の処理例については、図４、図５を用いて、後に詳しく述べる。
ステップＳ３１６では、画像出力モジュール２５は、ステップＳ３１４で情報画像が追加された画像を出力する。
なお、ステップＳ３０２、ステップＳ３０４の処理は、ステップＳ３１４の処理の前であればよく、必ずしも図３のフローチャートに示すように、ステップＳ３０６の前に行う必要はなく、また、ステップＳ３０６〜ステップＳ３１２と並列して処理が行われてもよい。

図４は、画像に埋め込むべき情報を表す黒画素の位置の例を示す説明図である。つまり、付加情報多重化モジュール２４が行う処理、ステップＳ３１２、ステップＳ３１４の処理について説明するものである。
埋め込む付加情報が“１”の場合には、対象とするブロック内の画像の中から、図４（Ａ）に示すパターン（つまり、文字の一部４１と白領域４２からなるパターン）を探し、見つかったならば、図４（Ｂ）に示すように、原画像の中央部の複数画素（該当画素４３）を白から黒に反転する。この該当画素４３が情報画像となる。そして、次のブロックの処理に移り、図４（Ａ）に示すパターンが見つからなかった場合には、何もせずに次のブロックの処理に移る。

埋め込む付加情報が“０”の場合には、対象とするブロック内の画像の中から、図４（Ｃ）に示すパターン（つまり、文字の一部４５と白領域４６からなるパターン）を探し、見つかったならば、図４（Ｄ）に示すように、原画像の中央部の複数画素（該当画素４７）を白から黒に反転する。この該当画素４７が情報画像となる。そして、次のブロックの処理に移り、図４（Ｃ）に示すパターンが見つからなかった場合には、何もせずに次のブロックの処理に移る。
また情報画像は独立した黒画素である。その独立した黒画素とは、原画像の黒画像内にはなく、原画像の黒画像とは接触していない離れた位置にある黒画素をいい、独立した黒画素は１画素であってもよいし、複数画素であってもよい。
なお、図４（Ａ）又は図４（Ｃ）に示すパターンが見つかって“１”又は“０”に対応する情報画像が付加できた場合も、また見つからずに情報画像を付加できなかった場合でも、次のブロックには次の付加情報のビットを埋め込む。すなわち、ブロック内に独立した黒画素を打てなかった場合、対応する付加情報のビットは埋め込まれないので欠落してしまうことになるが、付加情報が適切なパラメータで誤り訂正符号化してあれば問題ない。

この処理は、埋め込む付加情報が“１”であった場合は、新たに付加する情報画像（該当画素４３）を基点とすると上下（垂直）方向に最も近い文字構成画素（文字の一部４１）は下方向にあり、逆に、埋め込む付加情報が“０”であった場合は、新たに付加する情報画像（該当画素４７）から上下（垂直）方向に最も近い文字構成画素（文字の一部４５）は上方向にあることになる。これは逆に埋め込んだ付加情報を検出する際は、まず独立した黒画素（情報画像）を検出し、その黒画素と上下方向にある文字の構成画素との距離が上下どちらの方が近いかによって付加情報を検出できる。
なお、図４に示した例では付加する独立した黒画素（情報画像）のサイズを２×２画素のものを示したが、６００ｄｐｉ程度の解像度であれば３×３画素の独立した黒画素を用いても人間の眼にはほとんど不可視である。また、付加する独立した黒画素の周辺は、複数回コピーをしたときに、文字構成画素と連結してしまわないように６００ｄｐｉ程度の解像度であれば２画素から３画素程度の白画素で囲まれていることが望ましい。

図５は、付加情報を埋め込んだ画像の例を示す説明図である。つまり、前述のようにして付加情報が埋め込まれた文字画像を示す。
この文字画像には“０１００”という４ビットの付加情報が埋め込まれている。つまり、ブロック５１内には情報画像５５があり、この情報画像５５に上下方向で最も近い文字構成画素は上にある。したがって、ブロック５１内には“０”が付加されていたことが判明する。ブロック５２内には情報画像５６があり、この情報画像５６に上下方向で最も近い文字構成画素は下にある。したがって、ブロック５２内には“１”が付加されていたことが判明する。同様に、ブロック５３、ブロック５４内にはそれぞれ情報画像５７、情報画像５８があり、この情報画像５７、情報画像５８に上下方向で最も近い文字構成画素は上にある。したがって、ブロック５３、ブロック５４内にはそれぞれ“０”、“０”が付加されていたことが判明する。

次に第２の実施の形態について説明する。
第２の実施の形態の構成例についての概念的なモジュール構成は、図１に示した第１の実施の形態と同様のものである。図６は、第２の実施の形態の制御モジュール１１の機能的な構成例についての概念的なモジュール構成図である。なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
第２の実施の形態は、付加情報符号化モジュール２１、文字領域抽出モジュール２２、ブロック分割モジュール２３、付加情報多重化モジュール２４、画像出力モジュール２５、画像複雑度解析モジュール６１を有している。
第１の実施の形態との差分を取り上げて説明する。付加情報多重化モジュール２４は、付加情報符号化モジュール２１、ブロック分割モジュール２３、画像出力モジュール２５、画像複雑度解析モジュール６１と接続されており、画像複雑度解析モジュール６１は、付加情報多重化モジュール２４と接続されている。

第２の実施の形態は、より画質劣化を抑制した形式で付加情報を埋め込むことを目的とした構成であり、図６に示すように制御モジュール１１内の構成に新たに画像複雑度解析モジュール６１が加わる。
付加情報多重化モジュール２４は、黒画素を追加する位置が複数ある場合は、画像複雑度解析モジュール６１によって算出された複雑度に基づいて、黒画素を追加する位置を決定する。つまり、例えば、独立した黒画素を付加可能な位置が複数ある場合に、その位置周辺の画像複雑度を画像複雑度解析モジュール６１に問い合わせて、最も複雑度の高い位置に独立した黒画素を付加する。また、付加情報多重化モジュール２４は、画像複雑度解析モジュール６１によって算出された複雑度に基づいて、黒画素を追加するか否かを決定するようにしてもよい。

画像複雑度解析モジュール６１は、画像の対象となる文字領域毎又はその文字領域内のブロック毎の複雑度を算出する。なお、画像の複雑度とは、その画像の混み合い、絡み合いを示す程度をいい、ここでは、付加すべき情報を表す黒画素を追加する位置を特定すること等に用いる。つまり、例えば、付加情報多重化モジュール２４から問い合せを受けたとき、その位置を中心とした周辺領域に対して、縦方向及び横方向に交番数（黒から白へ、あるいは白から黒への切り替わり回数）の総数を計算し、これを複雑度とする。具体的には、周辺領域のサイズを２５画素×２５画素とした場合、まず２５個の行毎に交番数を計算して加算する。次に２５個の列毎に交番数を計算して加算し、これを既に求めてある行方向の交番数と加算して画像複雑度とする。また、画像複雑度の算出として、ＦＦＴ等を用いて周波数を算出するようにしてもよい。そして、周波数空間で所定の周波数以上の場合は、画像複雑度が高いとする。

なお、ブロック分割モジュール２３は、文字領域抽出モジュール２２によって抽出された文字領域内の文字画像を認識するようにしてもよい。つまり、例えば、ブロック分割モジュール２３は文字認識を行って、その文字認識結果として、黒画素塊としての文字画像及びその認識結果（文字コード）を付加情報多重化モジュール２４に渡すようにしてもよい。
そして、その場合、画像複雑度解析モジュール６１は、付加情報多重化モジュール２４からブロック分割モジュール２３による文字認識結果を受け取り、その文字認識結果に基づいて、画像の複雑度を算出するようにしてもよい。例えば、文字コードに応じて予め複雑度を算出しておき、認識結果である文字コードから複雑度を決定するようにしてもよい。

図７に示すフローチャートを用いて、第２の実施の形態による処理例を説明する。
ステップＳ７０２〜ステップＳ７１０は、図３に示したフローチャートのステップＳ３０２〜ステップＳ３１０と同様である。
ステップＳ７１２では、図３に示したフローチャートのステップＳ３１２と同様にパターンを探索するが、その探索の結果として複数のものを発見する。該当するパターンがない場合又は１つの場合はステップＳ７１４の処理は行わない。
ステップＳ７１４では、画像複雑度解析モジュール６１は、そのブロック又は文字画像の複雑度を解析する。
ステップＳ７１６では、付加情報多重化モジュール２４は、ステップＳ７１４の解析結果である複雑度に基づいて、ステップＳ７１２で発見したものの中から情報画像を追加すべき位置に情報画像を追加する。
ステップＳ７１８では、ステップＳ３１６と同様に情報画像が追加された画像を出力する。

次に第３の実施の形態について説明する。
第３の実施の形態の構成例についての概念的なモジュール構成は、図１に示した第１の実施の形態と同様のものである。第３の実施の形態の制御モジュール１１の機能的な構成例についての概念的なモジュール構成は、図２に示した第１の実施の形態と同様のものである。

第１の実施の形態との差分を取り上げて説明する。第３の実施の形態は、より付加情報の復号を容易にするものであり、制御モジュール１１の構成は図２に示すものと同様であるが、付加情報多重化モジュール２４は、ブロック内の独立した黒画素の付加が可能な位置（基準画素の位置）が複数抽出された場合には、その複数抽出された位置のうち、そのブロックとは重ならない位置（例えば、ブロックの中央に近い位置）を選択して埋め込むことを行う。こうすることにより、例えば、選択した位置がブロックの中央に近い位置である場合、独立した黒画素はブロックの周辺部から十分に離れた位置に付加されるので、付加情報の抽出の場合に多少ブロック位置の分割の推定に誤差（付加情報の埋込時と付加情報の抽出時におけるブロック分割の差）があった場合でも、１つの分割されたブロック内に２つの独立ドットが含まれてしまう可能性を少なくするものである。

図８に示すフローチャートを用いて、第３の実施の形態による処理例を説明する。
ステップＳ８０２〜ステップＳ８１０は、図３に示したフローチャートのステップＳ３０２〜ステップＳ３１０と同様である。
ステップＳ８１２では、図３に示したフローチャートのステップＳ３１２と同様にパターンを探索するが、その探索の結果として複数のものを発見する。その探索の結果、１つのものしか発見できなかった場合はステップＳ８１４の処理は行わないようにしてもよい。
ステップＳ８１４では、付加情報多重化モジュール２４は、ステップＳ８１２で探索したパターンの位置について、対象としているブロックの中央に近い位置にあるものを、付加情報の埋め込み位置として選択する。
ステップＳ８１６では、付加情報多重化モジュール２４は、ステップＳ８１４で選択した埋め込み位置に基づいて、情報画像を追加する。
ステップＳ８１８では、ステップＳ３１６と同様に情報画像が追加された画像を出力する。

前述の第１〜３の実施の形態では、付加情報多重化モジュール２４が、付加情報を埋め込む（情報画像を追加する）場合に、同期を確実にするために、先頭（最初）の情報画像は他（つまり、２番目以降）の情報画像とは異なるものとするようにしてもよい。つまり、付加情報多重化モジュール２４は、付加情報符号化モジュール２１から受け取った付加情報が先頭のものであるならば、情報画像として、例えば、独立した複数の黒画素を並べて追加するようにしてもよい。そして、２番目以降の情報画像は、前述のように、１個の黒画素とする。また、その黒画素のサイズを他の黒画素のサイズと異なるようにしてもよい。また、情報画像を黒画素ではなく、他の情報画像とは色が異なる画素とするようにしてもよい。
前述の図５に示した例に対して、先頭の情報画像を他の情報画像とは異なるもの（複数の黒画素）とした処理の画像例を図９に示す。図９の例に示すように、“０１００”という４ビットの付加情報の先頭の付加情報である“０”を埋め込むのに、２つの黒画素（黒画素９１、９２）を用いている。また、情報画像である黒画素９１、９２は、付加情報としての“０”と同期信号（スタート信号）の両方の意を表している。もちろん、先頭の付加情報が“１”である場合は、基準画素の上に２つの黒画素（黒画素９１、９２）を追加する。また、２番目以降の付加情報を埋め込む場合は、１つの黒画素（情報画像５６、５７、５８）を用いている。

次に第４の実施の形態について説明する。
第４の実施の形態は、第１〜第３の実施の形態により情報画像を追加した画像から付加情報を復号する復号装置である。
第４の実施の形態の構成例についての概念的なモジュール構成は、図１に示した第１の実施の形態と同様のものである。ただし、各モジュールは、画像から付加情報を復号するための処理を行う。

図１０は、第４の実施の形態の制御モジュール１１の機能的な構成例についての概念的なモジュール構成図である。
第４の実施の形態は、文字領域抽出モジュール１０１、ブロック分割モジュール１０２、付加情報抽出モジュール１０３を有している。
文字領域抽出モジュール１０１は、ブロック分割モジュール１０２と接続されており、入力画像データから文字領域と判断される部分領域を抽出し、その抽出した部分領域をブロック分割モジュール１０２へ渡す。つまり、例えば、スキャナによって読み込まれた入力画像データから文字らしい特徴を持った部分領域（付加情報が埋め込まれている画像領域）を抽出する。例えば、部分領域は矩形であり、その四隅の座標を算出することによって部分領域を抽出するようにしてもよい。文字領域と判断される部分領域の抽出は、具体的には、例えば、まず色数などに基づいて黒と白との２値で構成されている領域を抽出し、さらに、その領域の投影をとることで、その領域に行間を示す白地領域がほぼ規則的に存在するかをチェックし、その規則的に存在する部分領域を文字領域として抽出する。

ブロック分割モジュール１０２は、文字領域抽出モジュール１０１、付加情報抽出モジュール１０３と接続されており、文字領域抽出モジュール１０１が抽出した文字領域を予め定められた所定のブロックサイズに分割し、その分割したブロックを付加情報抽出モジュール１０３へ渡す。具体的には、例えば、文字領域の左上隅からブロックを順次割り当てて、右端や下端でブロックが文字領域を超えてしまうところはブロックを割り当てないようにする。

付加情報抽出モジュール１０３は、ブロック分割モジュール１０２と接続されており、ブロック分割モジュール１０２によって抽出されたブロック内の独立した黒画素と他の黒画素との位置関係に基づいて入力画像データに付加された情報を抽出して、その抽出した付加情報を出力する。つまり、ブロック分割モジュール１０２によって分割された各ブロックから情報を抽出する。例えば、具体的には、ブロック内の黒画素数が所定以下のブロックはスキップしながら、ブロック内で独立した黒画素を探し、その独立した黒画素が上方向にある文字構成画素と近いのか、下方向にある文字構成画素と近いのかを判定し、上方向にある文字構成画素と近い場合は“０”を、下方向にある文字構成画素と近い場合は“１”を、付加情報として検出する。最後に、その付加情報を誤り訂正復号する。これによってもとの付加情報を得る。

また、先頭の情報画像を他の情報画像とは異なるものとした場合は、その異なる情報画像（例えば、複数の黒画素）を最初に探索し、それを先頭にして２番目以降の情報画像を次のブロックから抽出して、付加情報を検出する。

図１１を参照して、前述の実施の形態のハードウェア構成例について説明する。図１１に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部１１１７と、プリンタなどのデータ出力部１１１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０１は、前述の実施の形態において説明した各種のモジュール、すなわち、制御モジュール１１に該当し、付加情報符号化モジュール２１、文字領域抽出モジュール２２、ブロック分割モジュール２３、付加情報多重化モジュール２４、画像複雑度解析モジュール６１、付加情報抽出モジュール１０３等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがって処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１０２は、ＣＰＵ１１０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１０３は、記憶モジュール１２に該当し、ＣＰＵ１１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１１０４により相互に接続されている。

ホストバス１１０４は、ブリッジ１１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１１０６に接続されている。

キーボード１１０８、マウス等のポインティングデバイス１１０９は、操作モジュール１３に該当し、操作者により操作される入力デバイスである。ディスプレイ１１１０は、表示モジュール１４に該当し、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などからなり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１１１１は、記憶モジュール１２に該当し、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１１０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象とする画像データ、情報画像が追加された画像データなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１１１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１１１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１１０７、外部バス１１０６、ブリッジ１１０５、及びホストバス１１０４を介して接続されているＲＡＭ１１０３に供給する。リムーバブル記録媒体１１１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１１１４は、外部接続機器１１１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１１１４は、インタフェース１１０７、及び外部バス１１０６、ブリッジ１１０５、ホストバス１１０４等を介してＣＰＵ１１０１等に接続されている。通信部１１１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１１１７は、入出力モジュール１５に該当し、例えばスキャナであり、画像の読み取り処理を実行する。データ出力部１１１８は、入出力モジュール１５に該当し、例えばプリンタであり、画像データの出力処理を実行する。

なお、図１１に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、前述の実施の形態は、図１１に示す構成に限らず、前述の実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前記実施の形態においては、第１〜第４の実施の形態を示したが、第１〜第３の実施の形態と第４の実施の形態とを組み合わせてもよい。すなわち、画像に対して付加情報の埋め込みと、画像から付加情報を復号することの両方ができる画像処理装置としてもよい。この場合、第４の実施の形態の文字領域抽出モジュール９１は、画像出力モジュール２５等によって出力された画像内の画像領域を抽出する。
なお、図４、図５を用いて画像に埋め込むべき情報を表す黒画素（情報画像）の位置の例として、情報画像と文字構成画素との相対位置を挙げたが、情報画像と文字構成画素との距離（例えば、ある解像度におけるドット数、ミリで表す等）の差異で付加情報を表現してもよい。例えば、“０”であれば１ミリ以内とし、“１”であれば２ミリ以上としてもよい。また、相対位置と距離との組み合わせであってもよい。例えば、相対位置としての上下によって距離を異ならせてもよい。

また、前述の実施の形態では、付加情報を埋め込むべき画像領域として文字領域、付加情報を埋め込むべき位置の基準として文字構成画素を例示したが、線画等であってもよい。
また、前述の実施の形態では、ブロック毎に付加情報を埋め込むことを例示しているが、複数ブロック毎に埋め込んでもよい。埋め込むべき対象の単位は、ブロックではなく、文字画像、画素塊、例えば、表のような線画の場合は表内のセルとしてもよい。
また、前述の実施の形態では、ブロック内にある黒画素数が所定数に満たないブロックはスキップして情報を埋め込まないことを例示しているが、そのブロック内の黒画素の複雑度を算出して、複雑ではない黒画素である場合は情報を埋め込まないようにしてもよい。
また、前述の実施の形態では、基準画素として黒画素、画素塊として黒画素群、追加する画素として黒画素を例示したが、基準画素、画素塊、追加する画素の色は黒に限定される必要はなく、白であってもよく、他の色（青色、灰色等）であってもよい。
また、領域の区切りとして矩形のブロックを例示したが、区切りは矩形のブロックである必要はなく、その領域を分割する境界となるものであればよく、他の形状、境界線等であってもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 制御モジュールの機能的な構成例についての概念的なモジュール構成図である。 第１の実施の形態による処理例を示すフローチャートである。 画像に埋め込むべき情報を表す黒画素の位置の例を示す説明図である。 付加情報を埋め込んだ画像の例を示す説明図である。 第２の実施の形態の機能的な構成例についての概念的なモジュール構成図である。 第２の実施の形態による処理例を示すフローチャートである。 第３の実施の形態による処理例を示すフローチャートである。 先頭の付加情報を他の情報画像とは異なるものとした画像の例を示す説明図である。 第４の実施の形態の機能的な構成例についての概念的なモジュール構成図である。 第１〜４の実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１…制御モジュール
１２…記憶モジュール
１３…操作モジュール
１４…表示モジュール
１５…入出力モジュール
２１…付加情報符号化モジュール
２２…文字領域抽出モジュール
２３…ブロック分割モジュール
２４…付加情報多重化モジュール
２５…画像出力モジュール
６１…画像複雑度解析モジュール
９１…文字領域抽出モジュール
９２…ブロック分割モジュール
９３…付加情報抽出モジュール

Claims (12)

1. 画像を受け付ける画像受付手段と、
   前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、
   前記画素追加手段によって画素が追加された画像を出力する出力手段
   を具備することを特徴とする画像処理装置。
2. 前記画素追加手段は、追加する画素の位置を、前記ブロック内の文字又は線画の一部と相対的な位置になるように、又は該ブロック内の文字又は線画の一部との距離に基づいて追加する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画素追加手段は、前記画素を追加する位置が複数ある場合には、前記ブロックの区切りと重ならない位置に該画素を追加する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ブロック毎の複雑度を算出する複雑度算出手段
   をさらに具備し、
   前記画素追加手段は、前記画素を追加する位置が複数ある場合には、前記複雑度算出手段によって算出された複雑度に基づいて該画素を追加する位置を決定する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画素追加手段は、前記複雑度算出手段によって算出された複雑度に基づいて、画素を追加するか否かを決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像から文字領域を抽出する抽出手段と、
   前記抽出手段によって抽出された文字領域を認識する認識手段
   をさらに具備し、
   前記複雑度算出手段は、前記認識手段による認識結果に基づいて、前記ブロック毎の複雑度を算出する
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記画素追加手段は、追加する先頭の画素は他の追加する画素とは異なるものとする
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置から出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、
   前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段
   を具備することを特徴とする画像処理装置。
9. 画像を受け付ける画像受付手段と、
   前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、
   前記画素追加手段によって画素が追加された画像を出力する出力手段と、
   前記出力手段によって出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、
   前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段
   を具備することを特徴とする画像処理装置。
10. コンピュータを、
    画像を受け付ける画像受付手段と、
    前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、
    前記画素追加手段によって画素が追加された画像を出力する出力手段
    として機能させることを特徴とする画像処理プログラム。
11. コンピュータを、
    請求項１から７のいずれか１項に記載の画像処理装置から出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、
    前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、
    前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段
    として機能させることを特徴とする画像処理プログラム。
12. コンピュータを、
    画像を受け付ける画像受付手段と、
    前記画像受付手段により受け付けられた画像から対象となる文字領域又は線画領域を抽出し、該文字領域又は線画領域をブロックに分割し、該ブロック内の文字又は線画の一部と白領域を有している予め定めたパターンを探索し、該白領域内であって該文字又は線画の一部と接触していない位置に、画素を追加する画素追加手段と、
    前記画素追加手段によって画素が追加された画像を出力する出力手段と、
    前記出力手段によって出力された画像から対象となる文字領域又は線画領域を抽出する領域抽出手段と、
    前記領域抽出手段によって抽出された対象となる文字領域又は線画領域をブロックに分割するブロック分割手段と、
    前記ブロック分割手段によって分割されたブロック内の文字又は線画と接触していない位置に付加された画素から情報を抽出する情報抽出手段
    として機能させることを特徴とする画像処理プログラム。

Images