JP4194462B2 - 電子透かし埋め込み方法、電子透かし埋め込み装置、及びそれらを実現するプログラム並びにコンピュータ可読記憶媒体 - Google Patents

Description

本発明は、文書画像に電子透かし情報を埋め込む電子透かし埋め込み方法、電子透かし埋め込み装置、及びそれらを実現するプログラム並びにコンピュータ可読記憶媒体に関する。

近年、文字データ、画像データ、音声データ等のメディアの電子化やネットワーク化が促進されていく中で、デジタルデータそのものの不正コピー防止や、デジタルデータとメタデータの関連付けが求められている。また、文書や画像の配布形態は依然として印刷物で行われることが多い。このように、デジタルデータと印刷物とが併用されているので、デジタルデータを印刷物として配布する際の配布先の制御や、印刷物とデジタルデータとをリンクさせるような手段も求められている。このような状況において、多値の静止画像や文書画像に電子透かしによって電子透かし情報を埋め込む手法が提案されている。

電子透かしによる埋め込みとは、デジタルの画像データや音声データ、文字データ中に人が知覚することができないように、オリジナルデータの一部を変更して電子透かし情報を埋め込む技術のことである。

例えば、多値画像に対する電子透かし技術としては、一般的に画素の濃度の冗長性を利用した種々の方法が知られている。また、二値画像である文書画像に対する電子透かし技術としては、文書画像特有の特徴を利用した電子透かし方式がいくつか知られている。例えば、英文（欧文）の単語間の空白長を変更することにより電子透かし情報を埋め込む方法が知られている（例えば、特許文献１、２参照）。このような文書用電子透かし方式では、単語と単語、または文字と文字の間の空白長を変化させて電子透かし情報を表現し、２つの空白長の大小関係に応じて１ビットの情報（１または０）を割り当てている。

また、その他の方法として、文字を回転して傾斜を変化させることにより、その文字に電子透かし情報を埋め込むものもある（例えば、非特許文献１参照）。従来の電子透かし情報が埋め込まれた場合の文書画像を図１３を用いて説明する。図１３は、従来手法に基づく、文字を回転して傾斜を変化させることによって電子透かし情報が埋め込まれた場合の文書画像の一例を示す概要図である。

例えば、時計回りに回転された場合に「１」が埋め込まれ（図１３における（１））、反時計回りに回転された場合に「０」が埋め込まれるものとする（図１３における（２））。尚、埋め込みの対象となる文字は、連続する文字であっても、数文字間隔であっても、あらかじめ定められた位置の文字であってもよい。図１３では、「透」の文字が時計回りに回転され、また「し」の字が反時計回りに回転されているので、「１０」という情報が埋め込まれていることになる。
特開平９−１８６６０３号公報 米国特許第５８６１６１９号明細書 中村康弘、松井甲子雄、「和文書へのシール画像による電子透かし」、情報処理学会論文誌、Vol.38、No.11、Nov.、1997年

しかしながら、従来の文書画像に対する電子透かし埋め込みにおいて、その文書画像内の文字のレイアウトを考慮した電子透かしの埋め込み方法は確立されていない。例えば、上記従来の方法で文書画像に電子透かしを埋め込む場合、文字、或いは文字とそれに隣接する空白の特徴量を用いるが、その文書画像において、挿絵、図表、文章の各領域が混在していたり、段組になっていたり、レイアウトの種類が多岐に渡っている場合には、単純に領域単位で電子透かし情報を埋め込もうとすると、領域毎に途切れた電子透かし情報を埋め込むことになるので、連続的な電子透かし情報の埋め込みができず、不便である。

本発明は、複数の領域が離散的に配置されている文書画像に対して、埋め込み耐性を考慮しながら、連続的に、電子透かし情報の埋め込みを行うことができる電子透かし埋め込み方法、装置及びプログラム並びに記憶媒体を提供することを目的とする。

上記課題を解決するため、本発明は、電子透かし情報を埋め込むための電子透かし埋め込み方法、装置及びプログラム並びに記憶媒体であって、
電子透かし情報を埋め込む対象となる文書画像を入力し、
文書画像を複数の文書領域に分割し、
文書画像に含まれる各文字に外接する外接矩形を抽出し、
複数の文書領域ごとに、抽出した前記外接矩形の大きさの平均値を求め、求めた平均値を基準にして文書領域を整列させ、
複数の文書領域に対して電子透かし情報を埋め込む際に、整列された前記複数の文書領域に対し、前記平均値が大きい文書領域から順番に、文字の傾きまたは文字の間隔を変化させることによって、埋め込む前記電子透かし情報を変化させ、
前記電子透かし情報が埋め込まれた文書画像を出力することを特徴とする。

本発明によれば、複数の領域が離散的に配置されている文書画像に対して、埋め込み耐性を考慮しながら、連続的に、電子透かし情報の埋め込みを行うことができる。

以下に示す実施形態で説明する方法や装置、システム等は、上記従来技術で説明した方法に代表されるような、文字と文字の間隔の変更や、文字の傾き変更による文書用電子透かし埋め込み方法及び埋め込まれた電子透かし情報を抽出する文書用電子透かし抽出方法に対して広範に使用することができる。

以下、文字の傾きを変更する場合を例として、本発明の詳細な実施形態について説明する。

＜第１の実施形態＞
まず、図面を参照して、本発明の第１の実施形態に係る電子透かし埋め込み装置及び電子透かし抽出装置の構成について説明する。図１６は、本発明の第１の実施形態に係る電子透かし埋め込み装置又は電子透かし抽出装置を実現する画像処理装置の電気的構成を示す図である。尚、電子透かし埋め込み装置又は電子透かし出装置の実現に当たっては、図１６に示される全ての機能を使用することは必須ではない。

図１６において、コンピュータ１６０１は、一般に普及しているパーソナルコンピュータであり、スキャナ等の画像入力装置１６１７から読み取られた画像を入力し、編集や保管を行うことが可能である。また、画像入力装置１６１７で得られた画像をプリンタ１６１６から印刷させることができる。尚、ユーザからの各種指示等は、マウス１６１３、キーボード１６１４からの入力操作により行われる。

コンピュータ１６０１の内部では、バス１６０７により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。図１６において、ＭＰＵ１６０２は、コンピュータ１６０１内部の各ブロックの動作を制御し、あるいは内部に記憶されたプログラムを実行することができる。主記憶装置１６０３は、ＭＰＵ１６０２において行われる処理のために、一時的にプログラムや処理対象の画像データを格納しておく装置である。ハードディスク（ＨＤＤ）１６０４は、主記憶装置１６０３等に転送されるプログラムや画像データをあらかじめ格納したり、処理後の画像データを保存することのできる装置である。

スキャナインタフェース（Ｉ／Ｆ）１６１５は、原稿やフィルム等を読み取って、画像データを生成するスキャナ１６１７と接続され、スキャナ１６１７で得られた画像データを入力することのできるＩ／Ｆである。プリンタインタフェース１６０８は、画像データを印刷するプリンタ１６１６と接続され、印刷する画像データをプリンタ１６１６に送信することのできるＩ／Ｆである。

ＣＤドライブ１６０９は、外部記憶媒体（記録媒体）の一つであるＣＤ（ＣＤ−Ｒ／ＣＤ−ＲＷ）に記憶されたデータを読み込んだり、あるいは書き出すことができる装置である。ＦＤＤドライブ１６１１は、ＣＤドライブ１６０９と同様にＦＤＤからの読み込みや、ＦＤＤへの書き出しをすることができる装置である。ＤＶＤドライブ１６１０は、ＦＤＤドライブ１６１１と同様に、ＤＶＤからの読み込みや、ＤＶＤへの書き出しをすることができる装置である。尚、ＣＤ、ＦＤＤ、ＤＶＤ等に画像編集用のプログラム、あるいはプリンタドライバが記憶されている場合には、これらプログラムをＨＤＤ１６０４上にインストールし、必要に応じて主記憶装置１６０３に転送されるようになっている。

インタフェース（Ｉ／Ｆ）１６１２は、マウス１６１３やキーボード１６１４からの入力指示を受け付けるために、これらと接続されるＩ／Ｆである。また、モニタ１６０６は、透かし情報の抽出処理結果や処理過程を表示することのできる表示装置である。さらに、ビデオコントローラ１６０５は、表示データをモニタ１６０６に送信するための装置である。

尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

図１は、本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図であり、図３は、本発明の第１の実施形態に係る電子透かし埋め込み装置による電子透かし埋め込み処理の手順を説明するためのフローチャートである。この動作手順は図１６に示す情報処理装置、特にマウス１６１３やキーボード１６１４からの入力指示により１６０３の主記憶装置にロードしたプログラムをＭＰＵ１６０２等を用いて実行することによって実現できる。このとき、モニタ１６０６により実行状況や、その結果をモニタリングすることも可能である。

まず、電子透かし情報の埋め込み対象となる文書画像（原画像）１００が図１６のスキャナ１６１７に代表される画像入力部１０１を介して、領域分割部１０２に入力される（ステップＳ３０１）。この文書画像は印刷物を１６１７のスキャナなどから入力し、それをビットマップ化したものでも良いし、文書編集アプリケーションプログラムを利用して作成された電子データ、または１６０４のハードディスクや１６０９のＣＤドライブ、ＤＶＤドライブ１６１０、ＦＤＤドライブ１６１１などに接続された各記憶媒体に格納されたアプリケーションプログラム固有の形式、テキスト形式などをはじめとする種々の電子データを画像処理ソフトなどによって変換し、ビットマップ化したものでも良い。

領域分割部１０２では、入力された文書画像が、テキスト領域、図形領域、グラフ領域、表領域等の複数の属性領域に分割される（ステップＳ３０２）。

次に、領域整列部１０３では、テキストの属性を持つ領域を後述する規則に基づいて整列させる（ステップＳ３０３）。領域を整列させる整列規則の選び方には様々な種類が考えられるが、本実施形態では、一例として文書領域の面積が大きい順に整列させる整列規則に従うものとする。文書に対する電子透かし情報の埋め込みは、通常、その文書を構成する各文字（或いは文字とそれに隣接する空白）に対して行われるので、例えば、文書中の文字の大きさがほぼ同一であると仮定した場合、面積の大きい文書領域に多くの電子透かし情報を埋め込むことができるであろう。そして、面積の大きい文書領域に優先的に所望の電子透かし情報を連続的に埋め込むようにすれば、その電子透かし情報を埋め込むためにまたがる（連結する）べき文書領域の数が少なくなる。従って、面積順に整列させることは妥当な整列方法の一つである。尚、同様の観点からすれば、その整列順は文字領域中の文字数の多少を用いて、文字の多い文書領域から文字の少ない文書領域の順に整列させても良い。この方法は文字のサイズが文書領域毎に大幅に異なる場合に有効であろう。

ここで、一意に複数の文書（テキスト）領域を整列できたとすると、整列した複数のテキスト領域を一つに繋がったテキスト（文字列）とみなし、後段の外接矩形抽出および電子透かし埋め込みを行う。この領域整列部１０３を設けることにより、 種々のレイアウトに依存せず連続的に電子透かし情報を埋め込むことができ、また、それら複数の領域から連続的な電子透かし情報を抽出することができる。

図６は、領域整列部１０３におけるテキスト領域整列処理の方法の一例を説明するためのフローチャートである。すなわち、この処理は図３のフローチャートにおけるステップＳ３０３に相当する。まず、テキスト領域を領域の面積順に整列させる（ステップＳ６０１）。尚、これだけでは同一面積の領域が有った場合には全ての順序付けができない。そこで、次に、同一面積の領域が存在するか否かを判定する（ステップＳ６０２）。その結果、同一面積の領域が存在する場合（ＹＥＳ）、第２の基準に基づいてそれらの領域を整列させる。本実施形態では、それらの領域について文書画像の左上からの距離を算出し、その距離が少ないテキスト領域の方が若い順序（前方）になるように整列させる（ステップＳ６０３）。これを、同一面積の領域の組全てに対して行う。一方、存在しない場合（ＮＯ）、上記整列の処理を終了する。

図８は、第１の実施形態において、ある文書画像に対して分割された領域を整列した結果例を示す図である。図８では、文書中で最大面積である領域（１）を先頭の領域として、他の領域も順番に整列される。図中、領域（２）と領域（３）とは同一面積であるが、上述したように、左上からの距離の小さい領域（２）が領域（３）よりも優先され、順序として先になる。

そして、整列させた各領域に含まれる文字に対してその外接四角形（矩形）の抽出が、外接矩形抽出部１０４において行われる（ステップＳ３０４）。文字の外接矩形は、文字に外接する矩形であって、従来から、文字認識を行う領域を指す情報として知られているが、本実施形態における電子透かしにおいては、埋め込み操作の対象となる各文字領域を示すものとして使われる。この外接矩形の検出方法を以下で簡単に説明しておく。まず、文書画像（各文書領域）の各画素値を垂直座標軸に対して射影し、空白部分（黒色である文字のない部分）を探索して行を判別して行分割を行う。その後、行単位で文書画像（各行）を水平座標軸に対して射影し、空白部分を探索して文字単位に分割する。これによって、各文字を外接矩形で切り出すことが可能となる。

そして、透かし情報埋め込み部１０６では、入力された透かし情報１０５を、電子透かしとして各文書領域に埋め込む。ここで、本実施形態における透かし情報埋め込み部１０６において動作する埋め込み方法として、文字を回転して傾斜を変化させることによる電子透かしの動作手順を説明する。但し、本発明には、文字と文字の間の空白長（距離）を調節する等による埋め込み方法を用いる場合も含む。この方法については別途後述する。

図５は、文字の傾斜を変化させる電子透かしの埋め込み方法の一例を説明するためのフローチャートである。すなわち、図３に示すフローチャートのステップＳ３０５の処理に相当する。まず、埋め込みたい電子透かし情報を入力する（ステップＳ５０１）。次に、この電子透かし情報を構成するビット群のうち、次に埋め込むべきビットを選択し、更に、そのビットを埋め込む対象となる文字を選択する（ステップＳ５０２）。次に、その埋め込まれる電子透かし情報のビットが「１」であるか否かが判断する（ステップＳ５０３）。その結果、当該ビットが「１」の場合（Ｙｅｓ）、選択中の文字の傾斜を時計回りに変化させる（ステップＳ５０４）。一方、当該ビットが「０」の場合（Ｎｏ）、選択中の文字の傾斜を半時計周りに変化する（ステップＳ５０５）。

尚、傾斜角度の絶対値に意味を持たせることによって、１文字に埋め込むことのできる情報量（ビット数）を拡大することもできる。

例えば、文字の回転範囲を０〜１６度とする。そして傾斜角度を変更・認識できる単位を２度刻みとする。反時計回りに角度を２度ずつ変化させた場合には、電子透かし情報が「０」、「１」、・・・、「７」を表していることを意味し、時計回りに角度を２度ずつ変化させた場合には、電子透かし情報が「８」、「９」、・・・、「１５」を表していることを意味する。すなわち、反時計回りに２度回転しているときは、電子透かし情報「０」が文字に埋め込まれていることになると判断する。また、反時計回りに４度回転しているときは、電子透かし情報「１」が文字に埋め込まれていることになると判断する。さらに、反時計回りに１６度回転しているときは、電子透かし情報「７」が文字に埋め込まれていることになると判断する。さらにまた、時計回りに２度回転しているときは、電子透かし情報「８」が文字に埋め込まれていることになると判断する。さらにまた、時計回りに４度回転しているときは、電子透かし情報「９」が文字に埋め込まれていることになると判断する。さらにまた、時計回りに１６度回転しているときは、電子透かし情報「１５」が文字に埋め込まれていることになると判断する。このようにすれば、１文字で１６通りの情報、すなわち、情報量として４ビット分の情報を埋め込むことができる。

次に、選択中の文字が文書（複数の文書領域が整列されたもの）の末尾の文字か否かが判断される（ステップＳ５０６）。その結果、選択中の文字が文書の末尾の文字の場合（Ｙｅｓ）、電子透かし情報（ビット）の埋め込み処理を終了する。一方、まだ文書の末尾ではない場合（Ｎｏ）、ステップＳ５０２に戻って次の文字を選択する。

そして、電子透かし情報が埋め込まれた画像は、プリンタ１６１６に代表される画像出力部１０７から透かし埋め込み画像１０８として出力される（ステップＳ３０６）。尚、この出力は、印刷、若しくは、記憶装置等への記憶であってもよく、また、ネットワーク等から他の端末等への送信であってもよい。

以上説明したように、本実施形態に係る電子透かし埋め込み装置では、まず、透かし情報１０５が埋め込まれる原画像１００が画像入力部１０１から入力され、領域分割部１０２で複数の領域に分割される。次いで、領域整列部１０３では、分割された複数の領域が所定の整列規則に従って整列する。そして、透かし情報埋め込み部１０６において、整列したそれぞれの領域に透かし情報１０５が埋め込まれ、画像出力部１０７から透かし情報１０５が埋め込まれた透かし埋め込み画像１０８が出力される。

次に、上述した手順によって埋め込まれた透かし情報を文書画像から抽出するための装置（電子透かし抽出装置）及びその抽出手順（電子透かし抽出方法）について説明する。

図２は、上述した方法で日本語文書に埋め込まれた電子透かし情報を抽出する本発明の第１の実施形態に係る電子透かし抽出装置の構成を示すブロック図である。画像入力部２０１は、スキャナ１６１７に接続され、スキャナ１６１７で光学的に読み込まれた文書画像を入力するための装置である。尚、画像入力部２０１は、それ自身がスキャナの機能を有するものでも、ネットワーク等に接続してデータを受信するものであってもよい。画像入力部２０１は、さらに領域分割部２０２に接続している。

領域分割部２０２は、上述した領域分割部１０２と同様の機能を有するものであり、領域整列部２０３に接続している。領域整列部２０３は領域整列部１０３と同様の機能を有するものであり、外接矩形抽出部２０４に接続している。外接矩形抽出部２０４は、上述した外接矩形抽出部１０４と同様の機能を有するものであり、透かし情報抽出部２０５に接続している。一方、透かし情報出力部２０６は、モニタ１６０６と透かし情報抽出部２０５とに接続され、抽出された透かし情報を外部に出力するための装置である。尚、透かし情報出力部２０６は、モニタ１６０６を含むものであっても、ネットワーク等に接続してデータを出力するものであってもよい。

すなわち、本発明は、電子透かしとして電子透かし情報が埋め込まれた文書をデジタル化した文書画像として入力する画像入力部２０１と、文書画像に含まれる領域を分割する領域分割部２０２と領域を整列する部２０３と、外接矩形抽出部２０４と、抽出された文字の傾きに基づいて、埋め込まれた透かし情報を抽出する透かし情報抽出部２０５とを備える文書用電子透かし抽出装置であって、複数のテキスト領域を一つながりの文字列とみなして透かし情報を抽出することを特徴とする。

次に、上述した電子透かし抽出装置による電子透かしの抽出処理手順について説明する。図４は、本発明の第１の実施形態に係る電子透かし抽出装置による電子透かし抽出処理手順を説明するためのフローチャートである。

まず、電子透かし情報の抽出対象となる文書画像２００が図１６のスキャナ１６１７に代表される画像入力部２０１を介して、領域分割部２０２に入力される（ステップＳ４０１）。この文書画像は印刷物を１６１７のスキャナなどから入力し、それをビットマップ化したものでも良いし、文書編集アプリケーションプログラムを利用して作成された電子データ、または１６０４のハードディスクや１６０９のＣＤドライブ、ＤＶＤドライブ１６１０、ＦＤＤドライブ１６１１などに接続された各記憶媒体に格納されたアプリケーションプログラム固有の形式、テキスト形式などをはじめとする種々の電子データを画像処理ソフトなどによって変換し、ビットマップ化したものでも良い。領域分割部２０２では、入力された文書画像に対して、テキスト領域、図形領域、グラフ領域、表領域等の複数の属性領域に分割される（ステップＳ４０２）。

次に、領域整列部２０３において、テキストの属性を持つ領域を埋め込み時と同様の規則に基づいて整列させる（ステップＳ４０３）。そして、整列させた領域に対してその外接四角形（矩形）の抽出が、外接矩形抽出部２０４において行われる（ステップＳ４０４）。

次に、電子透かし抽出部２０５において電子透かしの抽出処理が行われる（ステップＳ４０５）。図７は、電子透かし抽出部２０５における電子透かし抽出処理の詳細を説明するためのフローチャートである。すなわち、図４に示すフローチャートのステップＳ４０５の処理に相当する。まず、外接矩形を選択する（ステップＳ７０１）。次に、外接矩形の傾きが時計回りであるかどうか判断する（ステップＳ７０２）。ＹＥＳのときは透かし情報ビットが１（ステップＳ７０３）と判定する。ＮＯ、すなわち反時計回りのときは透かし情報ビットが０と判定する（ステップＳ７０４）。最終文字であるかどうか判断し（ステップＳ７０５）、 もしＹＥＳであれば終了し、もしＮＯであればステップＳ７０１に戻り、次の外接矩形を選択する。

抽出が終了した後、抽出された電子透かし情報を、モニタ１６０６に代表される透かし情報出力部２０６で出力する（ステップＳ４０６）。

以上、本実施形態では、各文書領域をそれぞれの領域に埋め込める電子透かし情報の情報量順に整列させるため、各文書領域を面積の大きさや文字数等を規則にして整列を行った。

しかしながら、別の基準で各領域を整列させる場合も本発明に含まれる。

例えば、電子透かし技術における重要な３つのパラメータが知られている。それは、画像に埋め込める電子透かし情報の”情報量”、及び、電子透かし情報が埋め込まれた画像を改変した後にその画像から電子透かし情報を正しく抽出できる”耐性”、及び、電子透かし情報を埋め込むことによるその画像の”画質”の低下である。

上記実施形態においては、整列基準に”情報量”を関連付けていると言える。従って、その変形例として、整列基準に”耐性”を関連付ける場合、又は、”画質”を関連付ける場合も、場合によっては有効であろう。

もし”耐性”に関連付けた整列基準を適用する場合には、各文書領域をその領域内の文字の大きさが大きいものから順に整列させれば良い。そのためには、図３のステップＳ３０３とステップＳ３０４の順序を入れ替え、上述した図６のステップＳ３０３を、図１７のステップＳ３０３に置換すれば良い。すなわち、図１７は、変形例に係る電子透かし埋め込み処理の手順を説明するためのフローチャートである。その順は以下のとおりである。領域分割部１０２又は２０２で領域分割した後（ステップＳ３０２）、領域整列（ステップＳ３０３）を行う前に、外接矩形抽出部１０４又は２０４で外接矩形を抽出する（ステップＳ３０４）。

次に、ステップＳ３０３の処理に代わって、まず、領域ごとに外接矩形の大きさの平均を求める（ステップＳ１７０１）。その後に、この平均値を基準にして各領域を整列させる（ステップＳ１７０２）。そして、ステップＳ１７０３の判断において、もし平均値が等しい領域の組が存在した場合には、上述した第２の基準に従って、座標順に整列する（ステップＳ１７０４）。これ以降（ステップＳ３０５〜）の処理は、上述した実施形態と同様である。

一方、”画質”に関連付けた整列基準を適用する場合には、ユーザにとってできるだけ電子透かし情報の埋め込みが行われる領域、すなわち、画質の劣化する領域を考慮した整列を行う。例えば、タイトルなどは注目される可能性が高い領域であるので、電子透かしの埋め込みが施されるとその変化（画質劣化）が目立つであろう。そこで、ここでは、ユーザが電子透かし情報の埋め込みを行いたくない領域を対話的に指定し、その領域を除外して整列を行うものとする。

その機能を備えるフローチャートを図１８に示す。図１８は、変形例に係るテキスト領域整列処理の方法の一例を説明するためのフローチャートである。その手順は以下のとおりである。基本的な手順は図３と同様である。その違いは、ステップＳ３０４の次に、ステップＳ１８０１において、モニタ１６０６に文書画像に領域分割結果を重ね合わせて図８に示すように表示する。続いて、ステップＳ１８０２において、それら領域における何れの箇所を電子透かし埋め込み対象から除外するかユーザに選択させる。それ以降の処理（ステップＳ３０５〜）は、上述した本実施形態と同様である。

この手順を見ても分かる様に、この"画質"を考慮した整列は、上記"情報量"を考慮した整列操作に組み合わせて適用可能である。

また、”耐性”を考慮した整列操作（ステップＳ３０３とステップＳ３０４の手順が逆のフローチャート）においてもステップＳ１８０１とステップＳ１８０２を挿入することにより、”画質”と”耐性”を組み合わせた整列基準を適用することが可能である。これら複数のパラメータを組み合わせた整列基準はより効果的であろう。

以上説明したように、第１の実施形態では、複数の文字領域を連続した文字領域として処理した。これによって、限りある文字領域において、無駄なく情報を埋め込むことが可能になるという利点がある。

＜第２の実施形態＞
上述した第１の実施形態では、複数の文字領域を連続した文字領域とし、限りある文字領域において、無駄なく情報を埋め込むことができるようになった。この方法によれば、領域の整列方法を埋め込み側と抽出側で共有する必要がある。しかしながら、抽出側でも埋め込み側と同様の整列を行わせることは無駄であると考えるかもしれない。本実施形態では、そのような考えに基づくものであり、抽出側で比較的楽な各領域の解析を行うことで、整列を行うことができる一例を示す。

尚、本実施形態に必須ではないが、領域ごとに埋め込めるビット数を算出し、さらに最小単位（以下、「フレーム」と呼ぶ。）に分割して、埋め込むという方法を適用する場合について説明する。そして、ここでは、各領域の先頭フレームに、自領域が何番目の領域であるかを電子透かしとして記述（埋め込みを）しておくこととする。これにより、電子透かしの抽出側は、各領域の性質を第１の実施形態ほど詳細に検証せずに、容易に領域の整列を行うことができる。

図１２は、本発明の第２の実施形態において情報を埋め込む様子の概要を示す図である。以下、詳細にその手続きについて説明する。尚、第２の実施形態において用いられる電子透かし埋め込み装置及び電子透かし抽出装置の構成は、領域整列部１０３がフレーム構成部に代わる部分を除いて、第１の実施形態と同様である。

図９は、本発明の第２の実施形態における透かし情報埋め込み方法全体の手順を説明するためのフローチャートである。このフローチャートと第１の実施形態における図３に示すフローチャートとの異なる部分は、ステップＳ３０３の領域整列処理がなく、ステップＳ９０３の外接矩形抽出処理の後段にフレーム構成処理（ステップＳ９０４）が行われる部分である。

図１１は、本発明の第２の実施形態におけるフレーム構成処理を詳細に説明するためのフローチャートである。まず、処理する領域を選択する（ステップＳ１１０１）。次に、選択した領域へ埋め込むことができる電子透かし情報の情報量を算出する（ステップＳ１１０２）。例えば、第１の実施形態で説明した、文字の傾斜を利用し、回転角を２度刻みで埋め込む埋め込み方式の場合、一文字で４ビットの情報量を埋め込むことができるので、（外接矩形数）×４を計算することにより、その情報量が得られる。すなわち、文字数が埋め込み容量算出の基礎データとなる。

そして、未処理の文字領域があるか否かが判定される（ステップＳ１１０３）。その結果、すべての文字領域について処理が終わった場合（ＮＯの場合）には、各領域の埋め込み可能な情報量に基づいて処理単位となるフレームサイズを決定する（ステップＳ１１０４）。例えば、ＡＳＣＩＩキャラクタを埋め込むとすれば、埋め込み可能な情報量が少なくとも８ビットの倍数になるようにフレームに含まれる外接矩形の個数を決定する。例えば、２文字以上を含む文書領域について、２文字ごとに１フレームとする。そうすれば、ひとつのフレームの埋め込み可能容量は、２×４＝８ビットとなる。

尚、電子透かし情報の埋め込み手順については上述した第１の実施形態と同様である。但し、文書用電子透かしをどの順番で埋め込めばよいかを最初のフレームに記録しておく。また、どの順番に領域を読み込むか鍵情報として持つようにしてもよい。すなわち、本実施形態に係る電子透かし埋め込み方法は、透かし情報の埋め込み順序に関する情報を鍵情報として、又は各領域に格納して埋め込みを行うことを特徴とする。

図１０は、第２の実施形態における電子透かし抽出処理手順を説明するためのフローチャートである。尚、このフローチャートと第１の実施形態における図４に示すフローチャートとの異なる部分は、ステップＳ４０３の領域整列処理がなく、ステップＳ１００３の外接矩形抽出処理の後段にフレーム構成処理（ステップＳ１００４）が行われる部分である。また、第１の実施形態のように、一意に整列できるような特定の整列規則に従って整列させる処理ステップが入ってもよい。

尚、情報抽出手順については上述した第１の実施形態と同様である。但し、文書用電子透かしをどの順番で埋め込めばよいかを最初のフレームに記録しておく。また、どの順番に領域を読み込むか鍵情報として持つようにしてもよい。すなわち、本実施形態に係る電子透かし抽出方法は、鍵情報として与えられる電子透かし情報の抽出順序に関する情報、又は各領域に格納された電子透かし情報の抽出順序に関する情報に基づいて抽出を行うことを特徴とする。

本実施形態においても、埋め込み側においては、予め領域の整列を行う必要があるであろうから、その整列の方法は、第１の実施形態と同様とする。即ち、”情報量”を重視して第１の実施形態のように面積順や文字数順に整列を行えば良い。

また、第１の実施形態で述べたように、３つのパラメータ、即ち、画像に埋め込める透かし情報の”情報量”、及び、透かし情報が埋め込まれた画像を改変した後にその画像から透かし情報を正しく抽出できる”耐性”、及び、透かし情報を埋め込むことによるその画像の”画質”の低下、を考慮した上で、上記第１の実施形態と同様の変形を行うことができるであろう。

また、もし”耐性”に関連付けた整列基準を適用する場合には、各文書領域をその領域内の文字の大きさが大きいものから順に整列させれば良い。そのためには、図３のステップＳ３０３とステップＳ３０４の順序を入れ替え、上述した図６のステップＳ３０３を、図１７のステップＳ３０３に置換すれば良い。その順は以下のとおりである。領域分割部１０２又は２０２で領域分割した後（ステップＳ３０２）、領域整列（ステップＳ３０３）を行う前に、外接矩形抽出部１０４又は２０４で外接矩形を抽出する（Ｓ３０４）。

次に、ステップＳ３０３に代わって、領域ごとに外接矩形の大きさの平均を求める（ステップＳ１７０１）。その後、この平均値を基準にして各領域を整列させる（ステップＳ１７０２）。

ステップＳ１７０３の判断において、もし平均値が等しい領域の組が存在した場合には、上述した第２の基準に従って、座標順に整列する（ステップＳ１７０４）。これ以降の処理（ステップＳ３０５〜）は、上述した実施形態と同様である。

一方、”画質”に関連付けた整列基準を適用する場合には、ユーザにとってできるだけ電子透かし情報の埋め込みが行われる領域、すなわち、画質の劣化する領域を考慮した整列を行う。例えば、タイトルなどは注目される可能性が高い領域であるので、電子透かし情報の埋め込みが施されるとその変化（画質劣化）が目立つであろう。ここでは、ユーザが透かし情報の埋め込みを行いたくない領域を対話的に指定し、その領域を除外して整列を行うものとする。

その機能を備えるフローチャートは前述した図１８に示したものと同一であり、その手順は以下のとおりである。尚、基本的な手順は図３と同様である。その違いは、ステップＳ３０４の処理の次に、ステップＳ１８０１において、モニタ１６０６に文書画像に領域分割結果を重ね合わせて図８に示すように表示する。続いて、ステップＳ１８０２において、それらの領域における何れの箇所を電子透かし埋め込み対象から除外するかユーザに選択させる。それ以降の処理（ステップＳ３０５〜）は、上述した本実施形態と同様である。

この手順を見ても分かるように、この”画質”を考慮した整列は、上記”情報量”を考慮した整列操作に組み合わせて適用可能である。

また、”耐性”を考慮した整列操作（ステップＳ３０３とステップＳ３０４の手順が逆のフローチャート）においてもステップＳ１８０１とステップＳ１８０２を挿入することにより、”画質”と”耐性”を組み合わせた整列基準を適用することが可能である。これら複数のパラメータを組み合わせた整列基準はより効果的であろう。

尚、本実施形態で述べた方法で、各領域の先頭フレームに自領域の番号を入れると、本来目的としている「複数領域にまたがって連続的に電子透かし情報を埋め込むこと」を達成できていると言えないかもしれない。従って、本実施形態の変形として、自領域が何番目の領域であるかを示す情報は、各領域の所定位置（例えば領域判別されるであろう文書領域内の右上端）に、特殊なマーク（例えば、領域番号を表す二次元バーコード）を付加するようにしても良い。この場合には、各領域にまたがって電子透かし情報の埋め込みが行われるとしても、領域の切れ目を気にせずに連続的に行うことができる。当然、本実施形態に適用した埋め込みアルゴリズムの代わりに、第１の実施形態で用いられる電子透かしの埋め込みアルゴリズムや、文字間の空白長を調整する様な埋め込みアルゴリズムを適用しても何ら問題はないであろう。

＜その他の実施形態＞
第１の実施形態では、同一面積の場合の整列方法を、文書画像の左上からの距離としたが、基準点を別の部分、例えば右上等にしてもよい。また、第１の実施形態では、同一面積の場合の整列方法を、文書画像の左上からの距離としたが、距離ではなく、ｘ、ｙ座標各々の大小関係で順序付けしてもよい。すなわち、文字領域の相対的位置関係、又は、例えば基準点を左上としたときの絶対的位置関係に基づく整列規則に従って、分割された領域を整列させてもよい。

さらに、第１の実施形態では、領域の面積および領域間の位置関係で領域の整列を行ってから外接矩形抽出を行ったが、外接矩形抽出を行ってから、領域が持つ文字数で領域を整列させるように実施形態を変更してもよい。もちろん、以上に述べたような整列規則を、一定の優先順位づけで適切に組み合わせても本発明の適用範囲であることは明らかである。

尚、第１の実施形態では、電子透かしの埋め込み方法を文字の回転（傾斜）によって行った。これを、文字間隔の操作に置き換えることも可能である。以下、文字間隔を操作する電子透かしについて説明する。

図１４は、電子透かし情報を埋め込む前の文書画像の一部を示す図である。また、図１５は、図１４に示す文書画像の一部に対して電子透かし情報を埋め込んだ後の文書画像の一部を示す図である。図１４に示される各文字間の空白長Ｐ0、Ｓ0、Ｐ1、Ｓ1は、透かし情報が埋め込まれると、図１５に示される各文字間の空白長Ｐ0'、Ｓ0'、Ｐ1'、Ｓ1'になる。

図１４及び図１５では、文字が５文字、文字間の空白が４つある。本実施形態では、１ビットに対して２つの空白長を割り当てることから、４つの空白によって２ビットの情報を埋め込むことが可能である。

例えば、Ｐ＞Ｓが「１」を表し、Ｐ＜Ｓが「０」を表すとする。そこで、図１４においてＰ0とＳ0との間の「子」という文字を左に、Ｐ1とＳ1との間の「か」という文字を右にシフトした場合、埋め込み後の文書画像の一部である図１５では、Ｐ0'＜Ｓ0'、Ｐ1'＜Ｓ1となり、「０１」というビット列が埋め込まれたことになる。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。 日本語文書に埋め込まれた電子透かし情報を抽出する本発明の第１の実施形態に係る電子透かし抽出装置の構成を示すブロック図である。 本発明の第１の実施形態に係る電子透かし埋め込み装置による電子透かし埋め込み処理の手順を説明するためのフローチャートである。 本発明の第１の実施形態に係る電子透かし抽出装置による電子透かし抽出処理手順を説明するためのフローチャートである。 文字の傾斜を変化させる電子透かしの埋め込み方法の一例を説明するためのフローチャートである。 領域整列部１０３におけるテキスト領域整列処理の方法の一例を説明するためのフローチャートである。 電子透かし抽出部２０５における電子透かし抽出処理の詳細を説明するためのフローチャートである。 第１の実施形態において、ある文書画像に対して分割された領域を整列した結果例を示す図である。 本発明の第２の実施形態における透かし情報埋め込み方法全体の手順を説明するためのフローチャートである。 第２の実施形態における電子透かし抽出処理手順を説明するためのフローチャートである。 本発明の第２の実施形態におけるフレーム構成処理を詳細に説明するためのフローチャートである。 本発明の第２の実施形態において情報を埋め込む様子の概要を示す図である。 従来手法に基づく、文字を回転して傾斜を変化させることによって電子透かし情報が埋め込まれた場合の文書画像の一例を示す概要図である。 電子透かし情報を埋め込む前の文書画像の一部を示す図である。 図１４に示す文書画像の一部に対して電子透かし情報を埋め込んだ後の文書画像の一部を示す図である。 本発明の第１の実施形態に係る電子透かし埋め込み装置又は電子透かし抽出装置を実現する画像処理装置の電気的構成を示す図である。 変形例に係る電子透かし埋め込み処理の手順を説明するためのフローチャートである。 変形例に係るテキスト領域整列処理の方法の一例を説明するためのフローチャートである。

符号の説明

１０１ 画像入力部
１０２ 領域分割部
１０３ 領域整列部
１０４ 外接矩形抽出部
１０６ 透かし情報埋め込み部
１０７ 画像出力部

Claims (8)

1. 電子透かし情報を埋め込む電子透かし埋め込み方法であって、
   画像入力手段により、電子透かし情報を埋め込む対象となる文書画像を入力する画像入力工程と、
   領域分割手段により、前記文書画像を複数の文書領域に分割する領域分割工程と、
   外接矩形抽出手段により、前記文書画像に含まれる各文字に外接する外接矩形を抽出する外接矩形抽出工程と、
   領域整列手段により、前記複数の文書領域ごとに、抽出した前記外接矩形の大きさの平均値を求め、求めた平均値を基準にして前記文書領域を整列させる領域整列工程と、
   埋め込み手段により電子透かし情報を埋め込む際に、整列された前記複数の文書領域に対し、前記平均値が大きい文書領域から順番に、文字の傾きを変化させることによって、埋め込む前記電子透かし情報を変化させる埋め込み工程と、
   出力手段により、前記電子透かし情報が埋め込まれた文書画像を出力する出力工程とを有することを特徴とする電子透かし埋め込み方法。
2. 電子透かし情報を埋め込む電子透かし埋め込み方法であって、
   画像入力手段により、電子透かし情報を埋め込む対象となる文書画像を入力する画像入力工程と、
   領域分割手段により、前記文書画像を複数の文書領域に分割する領域分割工程と、
   外接矩形抽出手段により、前記文書画像に含まれる各文字に外接する外接矩形を抽出する外接矩形抽出工程と、
   領域整列手段により、前記複数の文書領域ごとに、抽出した前記外接矩形の大きさの平均値を求め、求めた平均値を基準にして前記文書領域を整列させる領域整列工程と、
   埋め込み手段により電子透かし情報を埋め込む際に、整列された前記複数の文書領域に対し、前記平均値が大きい文書領域から順番に、文字の間隔を変化させることによって、埋め込む前記電子透かし情報を変化させる埋め込み工程と、
   出力手段により、前記電子透かし情報が埋め込まれた文書画像を出力する出力工程とを有することを特徴とする電子透かし埋め込み方法。
3. 前記領域整列工程は、前記平均値が同じ複数の文書領域に対して、各文書領域の相対的な位置関係に応じて、該複数の文書領域を整列させることを特徴とする請求項１又は２に記載の電子透かし埋め込み方法。
4. 電子透かし情報を埋め込む電子透かし埋め込み装置であって、
   電子透かし情報を埋め込む対象となる文書画像を入力する画像入力手段と、
   前記文書画像を複数の文書領域に分割する領域分割手段と、
   前記文書画像に含まれる各文字に外接する外接矩形を抽出する外接矩形抽出手段と、
   前記複数の文書領域ごとに、抽出した前記外接矩形の大きさの平均値を求め、求めた平均値を基準にして前記文書領域を整列させる領域整列手段と、
   整列された前記複数の文書領域に対し、前記平均値が大きい文書領域から順番に文字の傾きを変化させることによって、前記電子透かし情報を変化させつつ埋め込む埋め込み手段と、
   前記電子透かし情報が埋め込まれた文書画像を出力する出力手段とを有することを特徴とする電子透かし埋め込み装置。
5. 電子透かし情報を埋め込む電子透かし埋め込み装置であって、
   電子透かし情報を埋め込む対象となる文書画像を入力する画像入力手段と、
   前記文書画像を複数の文書領域に分割する領域分割手段と、
   前記文書画像に含まれる各文字に外接する外接矩形を抽出する外接矩形抽出手段と、
   前記複数の文書領域ごとに、抽出した前記外接矩形の大きさの平均値を求め、求めた平均値を基準にして前記文書領域を整列させる領域整列手段と、
   整列された前記複数の文書領域に対し、前記平均値が大きい文書領域から順番に文字の間隔を変化させることによって、前記電子透かし情報を変化させつつ埋め込む埋め込み手段と、
   前記電子透かし情報が埋め込まれた文書画像を出力する出力手段とを有することを特徴とする電子透かし埋め込み装置。
6. 前記領域整列手段は、前記平均値が同じ複数の文書領域に対して、各文書領域の相対的な位置関係に応じて、該複数の文書領域を整列させることを特徴とする請求項４又は５に記載の電子透かし埋め込み装置。
7. 請求項１又は請求項２に記載の電子透かし埋め込み方法をコンピュータに実行させるコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納し、コンピュータが読取可能なコンピュータ可読記憶媒体。

Images