JP5013694B2 - 画像処理方法、画像処理装置、プログラムコード及び記憶媒体 - Google Patents

Description

本発明は画像の電子署名を扱う技術に関する。

近年、コンピュータとそのネットワークの急速な発達及び普及により、文字データ、画像データ、音声データなど、多種の情報がデジタル化されている。デジタルデータは、経年変化などによる劣化がなく、いつまでも完全な状態で保存できる一方、容易に複製や編集・加工を施すことが可能である。こうしたデジタルデータの複製、編集、加工はユーザにとって大変有益である反面、デジタルデータの保護が大きな問題となっている。

そこで、送信されてきたデータが改ざんされたかどうかをユーザが検出するために、改ざん防止用の付加データを検証する方式として電子署名という技術が提案されている。電子署名技術は、データ改ざんだけではなく、ネットワーク上でのなりすまし、否認などを防止する効果も持ち合わせている。

この技術を利用し、電子文書（画像データ）を操作する装置に電子署名を検証する検証機能を備えることで、電子文書を操作する前（例えば表示、印刷或いは編集等の操作）に電子署名の検証を行い、その電子文書が信頼できるか否かを自動的に判断することが可能である。また、判断結果に応じて当該電子文書に対する操作内容を変更する装置が実現可能である。

例えば特許文献１では、電子署名の検証が成功した場合には電子文書に認証マークを付加して印刷し、電子署名の検証が失敗した場合には電子文書を印刷せず、かわりにエラー通知を印刷するという技術が開示されている。
特開２００２−３１６４６５号公報

しかしながら、上記従来技術においては、電子文書等のデータの電子署名を検証した後に、そのデータを如何に扱うかの決定は、電子署名の検証者（電子署名を検証する人）、もしくは検証装置の判断に依存していた。

言い換えれば、従来の電子署名の検証後の処理においては、署名者（電子署名を生成した人）の意図に沿った処理は行われていなかった。

例えば、署名者は、改ざんされた電子文書の印刷は禁止させたいにもかかわらず、検証者が改ざんされた文書を印刷してしまう心配があった。

本発明はかかる事情に鑑みてなされたものであり、電子署名が付加された電子文書の署名を検証した際に、署名者の意図に沿った処理を実行できる技術を提供することを目的とする。

また、上記署名者の意図に沿った処理を行える様な、電子署名付き画像データを生成する技術を提供することを目的とする。

本発明の目的を達成するために、本発明の画像処理方法は、情報取得手段、署名検証手段、処理能力取得手段、制御手段を備える画像処理装置の制御方法であって、前記情報取得手段が、画像データの電子署名を検証した結果に応じてどのように該画像データの操作を制御するかを示す制御情報を取得する情報取得工程と、前記署名検証手段が、前記電子署名を検証する署名検証工程と、
前記処理能力取得手段が、前記画像処理装置の処理能力を取得する処理能力取得工程と、前記制御手段が、前記電子署名を検証した結果と前記制御情報に基づいて、前記画像データの操作を制御する制御工程とを備え、前記制御情報には、電子署名の検証が成功した場合に実行できる操作を表す第１の操作情報と、電子署名の検証が失敗した場合に実行できる操作を表す複数の第２の操作情報とを含み、前記制御工程は、前記署名検証工程による電子署名の検証が失敗した場合、前記複数の第２の操作情報のうち、前記処理能力取得工程が取得した画像処理装置で処理可能な操作を選択して、実行することを特徴とする。

本発明によれば、電子文書の電子署名を検証した結果に基づいて、署名者の意図に沿った処理の制御が可能になる。

＜実施形態１＞
図１は本実施形態を用いたシステムのイメージ図である。１０１は紙文書を画像データに変換するスキャナである。１０２は電子文書（画像データ）を生成するコンピュータである。１０３は電子文書に対応する電子署名の検証、および印刷データの生成を行うコンピュータである。１０４はプリンタであり、その印刷データが表す画像を印刷する。１０１、１０２、１０３、１０４はネットワーク１０５に接続されている。なお、図１では４つの装置からシステムが構成されているが、本発明はこれに限らない。例えば１０１と１０２の代わりに、これら２つの装置の機能を含む単一の装置（高性能スキャナ、或いは複写機）を代用してもよい。同様に１０３と１０４の代わりに、これら２つの装置の機能を含む単一の装置（高性能プリンタ、或いは複写機）を代用してもよい。

次に、図２を用いて、本実施形態に適応可能なホストコンピュータについて説明する。

図２はホストコンピュータ２０１の基本構成を示すと共に、その周辺の機器との関係を示す図である。このホストコンピュータ２０１は、後述する電子文書生成装置３０１、及び電子文書操作装置３０２の夫々として適用される。なお、ホストコンピュータ２０１は、例えば一般に普及しているパーソナルコンピュータである。図中、２０２は、ホストコンピュータ２０１からの種々の情報を表示することの出来るモニタである。

２０３は、ホストコンピュータ２０１内の各部の動作を制御、或いはＲＡＭ２０５にロードされたプログラムを実行することのできるＣＰＵである。２０４は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭである。２０５はＣＰＵ２０３にて処理を行うために一時的にプログラムや処理対象の画像データを格納しておくＲＡＭであり、ここにＯＳやＣＰＵ２０３が後述の各種処理を行うためのプログラムがロードされることになる。

２０６は、ＲＡＭ等に転送されるＯＳやプログラムを格納したり、装置が動作中に画像データを格納したり、読出すために使用されるハードディスク（ＨＤ）である。２０７は、外部記憶媒体の一つであるＣＤ−ＲＯＭ（ＣＤ−Ｒ）に記憶されたデータを読み込み或いは書き出すことのできるＣＤ−ＲＯＭドライブである。２０８は、ＣＤ−ＲＯＭドライブ２０７と同様にＦＤ（フロッピー（登録商標）ディスク）からの読み込み、ＦＤへの書き出しができるＦＤドライブである。

２０９も、ＣＤ−ＲＯＭドライブ２０７と同様にＤＶＤ−ＲＯＭからの読み込み、ＤＶＤ−ＲＡＭへの書き出しができるＤＶＤ−ＲＯＭ（ＤＶＤ−ＲＡＭ）ドライブである。尚、ＣＤ−ＲＯＭ、ＦＤ、ＤＶＤ−ＲＯＭ等に画像処理用のプログラムが記憶されている場合には、これらプログラムをＨＤ２０６にインストールし、必要に応じてＲＡＭ２０５に転送されるようになっている。

２１１は、インターネットなどのネットワークに接続するネットワークインターフェースカード（ＮＩＣ２１０）にホストコンピュータ２０１を接続するためのＩ／Ｆである。Ｉ／Ｆ２１１を介してホストコンピュータ２０１は、Ｉ／Ｆ２１１を通じてインターネットへデータを送信したり、インターネットからデータを受信する。２１５は、ホストコンピュータ２０１にマウス２１３やキーボード２１４を接続するためのＩ／Ｆで、Ｉ／Ｆ２１５を介してマウス２１３やキーボード２１４から入力された各種の指示がＣＰＵ２０３に入力される。

ホストコンピュータ２０１は、ＨＤ２０６、ＣＤ２０７、ＦＤ２０８、及びＤＶＤ２０９などに画像データなどを蓄積したり、或いは、蓄積されている画像データをモニタ２０２に表示したりすることが可能である。

更に、ＮＩＣ２１０などを用いて、これらの画像データをインターネットなどを通じて配布させることが可能である。また、ユーザからの各種指示等は、マウス２１３、及びキーボード２１４からの入力により行われる。ホストコンピュータ２０１の内部では、バス２１６により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。

図３は本実施形態の機能構成を示す図である。同図に示すように、本実施形態は電子文書生成装置３０１と、電子文書操作装置３０２から構成される。

電子文書生成装置３０１は、以下の処理部から構成される。３０４は紙文書３０３を入力する紙文書入力部である。３０５は紙文書を解析し構造化データを生成する構造化データ生成部である。３０７は構造化データおよび秘密鍵３０６から電子署名を生成する署名生成部である。３１８は電子文書の操作を制御する制御情報を生成する制御情報生成部である。なお、制御情報生成部３１８は、制御情報を入力するための表示部を保持してもよい。３０８は、制御情報生成部から取得した制御情報と、署名生成部から取得した電子署名を構造化データに関連付ける情報付加部である。３０９は構造化データと電子署名と制御情報を統合し電子文書３１１を生成する電子文書統合部である。３１０は電子文書３１１を電子文書操作装置３０２に送信する電子文書送信部３１０である。

電子文書操作装置３０２は、以下の処理部から構成される。３１２は電子文書３１１を受信する電子文書受信部である。３１３は統合された電子文書３１１を展開して構造化データと電子署名、制御情報を取得する電子文書展開部である。３１５は構造化データ、電子署名、公開鍵３１４をもとに電子署名の検証を行う署名検証部である。３１６は制御情報を解釈する制御情報解釈部であり、３１７は展開した電子文書を検証結果の成否と制御情報に従って加工、編集、印刷などの操作を行う操作実行部である。

以下、上述した各処理ブロックを詳細に説明する。

まず、電子文書生成装置３０１に含まれる各処理ブロックを説明する。

図３の紙文書入力部３０４では、公知の光電変換技術を備えるスキャナ１０１などにより、紙文書を画像データに電子化する。

次に、構造化データ生成部３０５の詳細を説明する。

図４は本実施形態における構造化データ生成部３０５の処理フローチャートであり、以下構造化データ生成部３０５の詳細について図５を例に説明する。

図５（Ａ）は電子化される紙文書（画像）の一例である。

Ｓ４０１において、１画面分の画像を、各領域の属性に基づいて、部分領域（部分画像）に分割する。この部分領域とは同じ属性の領域が連続している画像の集合体である。ここで言う属性とは、文字、写真、表、線画などの特性、いわゆる画像の種類を差す。画像を部分領域に分割する技術は公知であるので詳細な説明は省略する。例えば、文書画像中の黒画素の塊、白画素の塊の集合を検出し、その形状、大きさ、集合状態等の特徴量から、文字、絵や図、表、枠、線といった特徴名で領域を抽出することができる。

図５（Ｂ）は、図５（Ａ）の１画面分の画像を表す画像データから抽出した特徴量に基づいて各部分領域の属性を判別し、領域分割（各部分領域の取得）を行った結果である。図５（Ｂ）に示される各部分領域の属性は、５０２、５０４、５０５、５０６は文字領域、５０３はカラー写真領域となる。

そして、Ｓ４０１の処理結果として構造情報を生成する。構造情報とは、領域分割によって得られた各部分領域の属性、および上記１画面の画像内の位置座標等からなるレイアウトの情報を表す。

Ｓ４０２では、前記ステップＳ４０１で得られた部分領域ごとに伝達情報を生成する。伝達情報とは、この部分領域のレンダリングに必要な画像情報のことである。具体例として、この部分領域が写真や自然画であれば、これに対応する画像情報はカラーラスタデータやモノクロラスタデータのことである。また部分領域が線画や文字であれば、画像情報とは領域内のオブジェクトの輪郭をベクタ表現したベクタデータのことである。さらには部分領域が文字であれば、文字認識した結果である各文字コードの文字位置、およびフォント情報などからなるテキスト情報である。なお、本発明はこれに限らず、元の画像情報から得られる別の情報を伝達情報としてもよい。例えば部分領域が文字であれば、その領域に含まれる文字を電子的に発音した場合の音声情報を伝達情報としてもよい。

本実施形態では、図５（Ａ）のような画像を表す画像データが電子文書生成装置３０１に入力された場合、図５（Ｂ）のように分割された各部分領域において、文字領域５０２、５０４、５０５、５０６についてはベクタデータが生成される。また、カラー写真領域５０３についてはカラーラスタデータが伝達情報として生成される。

次にＳ４０３では、Ｓ４０１で生成された構造情報とＳ４０２で生成された伝達情報を関連付ける。関連付けられた各情報は、図１０のようなツリー構造で記述される。

Ｓ４０４では前記ステップＳ４０３までで生成されたデータ群を構造化データとして保存する。保存の形式は図１０のようなツリー構造を表現可能な形式であればよい。本実施形態ではＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で保存するものとする。

次に、図３の署名生成部３０７について説明する。

署名生成部３０７は、電子署名の生成技術を用いて、構造化データに対し電子署名を生成する。

図１８は、電子署名の作成処理および電子署名の検証処理を表す模式図である。電子署名の生成にはハッシュ関数と公開鍵暗号とが用いられる。ここでは、秘密鍵を１８０６、公開鍵を１８１１とすれば、送信者は、入力データ１８０１にハッシュ処理１８０２を施して固定長データであるダイジェスト値１８０３を算出する。その後、秘密鍵で上記固定長データに変換処理１８０４を施して電子署名１８０５を作成し、電子署名１８０５と入力データ１８０１とを受信者に送信する。受信者は、検証処理１８１２において、電子署名１８１０（電子署名１８０５と同じもの）を公開鍵１８１１で変換（復号）処理を施したデータと、入力データ１８０７にハッシュ処理１８０８を施したデータ１８０９とが一致するかどうか検証する。そして、上記検証の結果１８１３が一致していないならば、入力データ１８０７の改ざんが行われたことを検出できる。

図１８の電子署名の生成処理フローに従うと、署名生成部３０７は、入力データ１８０１となる伝達情報にハッシュ処理１８０２を施して固定長データであるダイジェスト値１８０３を算出する。その後、秘密鍵１８０６として図３の秘密鍵３０６を用いて、ダイジェスト値１８０３に変換処理１８０４を施し署名データ１８０５を生成する。

なお、構造化データがもつ全ての伝達情報の各々から電子署名を生成してもよいし、任意の一部の伝達情報のみから電子署名を生成してもよい。更に、構造情報に対して電子署名を生成してもよい。また本実施形態ではこの電子署名データをＸＭＬ形式で記述したＸＭＬ署名データを用いるものとするが、他の記述形式を用いてもよい。

署名生成部３０７に入力される秘密鍵３０６は、電子文書の署名者により、電子文書生成装置３０１のハードウェアである記憶部（ＨＤ２０６等）にあらかじめ記憶された複数の秘密鍵から選択して用いてもよい。また、秘密鍵を保持するＩＣカードのような記憶媒体を電子文書生成装置３０１に接続してこの秘密鍵を読み取らせてもよい。

次に制御情報生成部３１８について説明する。

制御情報生成部３１８は、電子署名を検証した後の電子文書操作装置３０２による動作を制御する情報（制御情報）を生成する。

この制御情報は、以下の３種類の情報を有する。まず１つ目は、電子文書を入力した電子文書操作装置３０２が、電子文書中の、電子署名の施された部分領域（被署名領域）に対して行われる可能性のある操作を示す情報である。例えば、この操作とは、入力データが表す画像の印刷、或いは表示のことである。２つ目は、前述した各操作の種類に対して、電子署名の検証が成功した場合に装置が実際に行うことができる操作の情報である。例えば印刷操作の場合について言えば、入力データが表す画像を正規画像として如何に印刷するかを示す選択肢に相当する。３つ目は、電子署名の検証が失敗した場合に行うことができる操作の情報である。例えば印刷操作の場合について言えば、入力データが表す画像を不正画像として如何に処理するかを示す選択肢に相当する。なお、電子署名の検証が成功した場合、あるいは失敗した場合に、電子文書操作装置３０２が行うべき操作の選択肢は、一つであっても複数であってもよい。複数の操作を選択できる場合には、電子文書操作装置３０２のユーザが、行うべき操作をマニュアル指定してもよく、予め決められた優先順序に従って自動的、或いはマニュアルで選択するようにしてもよい。上記選択は、電子文書操作装置３０２に適用されるホストコンピュータのモニタ２０２を見ながら、マウス２１３或いはキーボード２１４を介してユーザが行うことができるであろう。

なお、制御情報は前記３種類の情報でなくてもよい。例えば、制御情報は電子署名の検証が失敗した場合の制御情報だけでもよい。また制御情報は電子署名の検証が成功した場合の制御情報だけでもよい。また、制御情報の種類はユーザによって選択できるようにしてもよい。

図８に制御情報をＸＭＬ形式のテキストデータとして記述した例を示す。８０１は伝達情報ａを対象にする制御を記述する要素であり、対象である伝達情報をユーザが操作する際の制御を記述する要素８０２、８０７を含む。８０２は対象である画像を印刷しようとする際の制御を記述する要素であり、対象である画像に対応する電子署名を検証した結果に基づいて実際に実行することができる操作を記述する要素８０３、８０５を含む。８０３は電子署名の検証が成功した場合に実行することができる操作を記述する要素であり、対象である画像を印刷する指示を記述する要素８０４を含む。８０５は電子署名の検証が失敗した場合に実行することができる操作を記述する要素であり、対象である画像を黒く塗りつぶして印刷する指示を記述する要素８０６を含む。８０７は対象である画像を表示しようとする際の制御を記述する要素である。８０８は電子署名の検証が成功した場合に実行することができる操作を記述する要素で、対象である画像を表示する指示を記述する要素８０９を含む。８１０は電子署名の検証が失敗した場合に実行することができる操作を記述する要素で、対象である画像を表示しない指示を記述する要素８１１を含む。

図９は制御情報の別の記述例である。９０１は電子文書（画像データ）全体の被署名領域（電子署名の施された部分領域）を対象に制御を記述し、９０２は対象である被署名領域を印刷する際の制御を記述する。９０３は対象である被署名領域に対応する電子署名の検証が成功した場合の記述であり、後述の指示９０４〜９０５からユーザが選択することを示す。９０４は電子署名の検証が成功した被署名領域に、電子署名の検証が成功したことを表す認証マークを表示されている画像に付加して印刷する指示である。９０５は、表示されている画像に何も付加せず、画像を印刷する指示を記述する。９０６は対象である被署名領域に対応する電子署名の検証が失敗した場合の記述であり、後述の指示９０７〜９１０から、実行可能な印刷処理をユーザが選択することを示す。９０７は電子文書中の被署名領域であり、かつ電子署名の検証が失敗した被署名領域のみをカッター（切除手段）で切除して印刷する指示である。９０８は上記領域を黒塗りして印刷する指示である。９０９は上記領域を空白（非印刷）にして印刷する指示である。９１０はエラーを通知する紙を印刷する指示である。

図８や図９のような制御情報は、それぞれ署名者の意図によって画像の処理の内容が決定される。よって、例えば図１４のような制御情報設定画面を電子文書生成装置３０１に設け、署名者であるユーザが、上記制御情報設定画面により制御情報を作成すればよい。或いは、複数種類の制御情報を蓄積しておき、署名者であるユーザがそれらから一つを選択して電子文書に付加するようにしてもよい。

次に情報付加部３０８について図６を用いて説明する。

本実施形態では、図５の画像データの写真領域５０３に対する伝達情報と文字領域５０６に対する伝達情報に電子署名を付加する例を示す。なお、本発明はこれに限らず、すべての伝達情報と構造情報に電子署名を付加してもよい。

６０１は、図５（Ｂ）の写真領域５０３の伝達情報であり、６０２は文字領域５０６の伝達情報である。６０３は電子文書全体（１画面分の画像全体）の構造情報である。６０４は署名生成部３０７で生成された写真領域５０３に対する伝達情報の電子署名であり、６０５は文字領域５０６に対する伝達情報の電子署名である。電子署名には、被署名データにあたる伝達情報や構造情報を指し示すポインタ情報を埋め込む。図６では、電子署名６０４内には被署名データである伝達情報６０１を指し示すポインタ情報６０６を埋め込む。電子署名と被署名データは一対一対応でなくてもよく、例えば、電子署名６０５には被署名データである伝達情報６０２を指し示すポインタ情報６０７や、電子文書全体の構造を表す構造情報６０３を指し示すポインタ６０８の両方を埋め込んでもよい。

また情報付加部３０８では、図６における伝達情報６０１，６０２のそれぞれに対し、制御情報生成部３１８で生成された制御情報６０９，６１０を付加する。

制御情報は図６のように伝達情報のそれぞれを対象とするように個別に付加されていても、一つの制御情報で複数の伝達情報を対象とするように付加されていてもよい。或いは、電子文書全体に対して一つの制御情報が付加されていて、前記制御情報は、電子文書内のすべて或いは一部の伝達情報を対象としてもよい。

次に、電子文書統合部３０９について図６および図７を用いて説明する。

図６の構造化データの情報６０１、６０２、６０３、および電子署名６０４、６０５、更に制御情報６０９、６１０は、それぞれ個別のＸＭＬデータ、あるいは画像のバイナリデータの集合体である。電子文書統合部３０９は前記個別のデータをひとつに統合した電子文書を生成する。具体的な統合方法として公知のアーカイブ技術、例えばＺＩＰ方式などを用いればよい。

図７は電子文書統合部３０９により構造化データ、電子署名、制御情報を統合したときの模式図である。

なお、統合データは、図７に示される様なひとつのファイルに限らず、上記個別のデータを夫々別個の互いにリンクが貼られた別ファイルであってもよい。また統合する上記個別のデータをユーザに選択させてもよい。

電子文書送信部３１０は、電子文書統合部３０９が統合したデータを電子文書３１１として装置外へと送信する。

次に、電子文書操作装置３０２について説明する。

電子文書受信部３１２は、電子文書送信部３１０により送信された電子文書３１１を受信する。

電子文書展開部３１３は、図７の７０８のように統合された電子文書３１１内の各要素７０１〜７０７を図６のように伝達情報、構造情報、電子署名、および制御情報の個々データへと展開する。

次に、署名検証部３１５について図３，図７，図１８を用いて説明する。

署名検証部３１５は、電子署名検証技術を用いて、電子文書３１１に含まれる被署名領域に対応する電子署名検証を行う。

図１８の署名検証処理フローに従うと、入力データ１８０７となる図７の電子文書７０８中の被署名データである伝達情報ａ７０２に対し、ハッシュ処理１８０８を施して固定長データであるダイジェスト値１８０９を算出する。

そして上記ダイジェスト値１８０９と、公開鍵１８１１でよって復号された署名データ１８１０とが、一致するかどうかを検出する。なお、公開鍵情報はあらかじめ電子文書操作装置３０２に保存されているものとする。

次に、制御情報解釈部３１６および操作実行部３１７について説明する。

制御情報解釈部３１６は、電子文書内に含まれる制御情報を参照し、対象である被署名領域に対し実際に行うことのできる操作を決定する。操作実行部３１７は上記決定された操作を実行する。

以下具体例を示す。図５の電子文書生成装置３０１によって生成された電子文書３１１をプリンタが印刷する際に、図８に示す制御情報を適用する例を、図１１のフローチャートを用いて説明する。なお、図８の制御を適用する対象８０１が示す伝達情報ａは、図５の写真領域５０３の部分画像（カラーラスタデータ）が対応している。また本例では、写真領域５０３にのみ電子署名が施されているものとする。

ステップＳ１１０１において、電子文書を印刷する際にプリンタに送られる画像データとして白紙のページを表す画像データが生成される。

ステップＳ１１０２において、電子文書３１１から、その構造情報が取得される。構造情報に記述される部分領域が順にステップＳ１１０３以降の処理対象となる。

ステップＳ１１０３において、注目する部分領域に対応付けられた伝達情報に電子署名を生成する処理が施されているかどうかを調べる。電子署名が生成されている場合はステップＳ１１０４に進み、電子署名が生成されていない場合はステップＳ１１０５へ進む。

ステップＳ１１０４において、注目する部分領域に対応付けられた伝達情報が、制御の対象になっているかどうかを調べる。制御の対象である場合はステップＳ１１０６に進み、制御の対象でない場合はステップＳ１１０５へ進む。

ステップＳ１１０５では、注目する部分領域に対応付けられた伝達情報に対する、制御非対象領域の処理を行う。

本実施形態では、伝達情報の内容が、プリンタに送られるページ画像情報上にレンダリングされる。例えば、伝達情報がカラーラスタデータの場合は、そのラスタ画素を１ページの画像内の対応領域内にコピーする。また伝達情報がベクタデータの場合は、そのデータに従って１ページの画像上にベクタの描画を行う。

ステップＳ１１０６において、注目する部分領域に関する電子署名の検証を行う。

ステップＳ１１０７において、前記ステップＳ１１０６の電子署名の検証が成功の場合はステップＳ１１０８に進む。電子署名の検証が失敗した場合はステップＳ１１０９へ進む。

ステップＳ１１０８において、制御情報に記述されるその伝達情報に対する電子署名の検証が成功した時の処理を実行する。

図８中の、電子署名の検証が成功した場合の制御８０４に従う処理として、その部分領域が通常に印刷される様、ステップＳ１１０５と同様のレンダリング処理が行われる。

ステップＳ１１０９において、制御情報に記述されるその伝達情報に対する電子署名の検証が失敗した場合の処理を実行する。

図８中の、電子署名の検証が失敗した場合の制御８０６に従う処理として、その部分領域が黒塗りされるようなレンダリング処理が行われる。

ステップＳ１１１０において、全ての部分領域を処理した場合は終了する。まだ未処理の部分領域がある場合はステップＳ１１０３に戻って繰り返す。

これにより、もし電子文書に改ざんがなかった場合には、図５（Ａ）と同じ見た目の印刷物が得られる。一方、電子文書中の写真領域５０３のデータに改ざんがあった場合には、この部分領域に対する署名検証ステップＳ１１０６が失敗し、ステップＳ１１０９の検証が失敗した場合の処理として領域内の黒塗り操作が行われる。よって得られる印刷物は図１２のようになる。すなわち、電子署名の検証が成功した場合と、失敗した場合のいずれにおいても、その署名の後処理として、署名者の意図したとおりの処理が実行される。

同様に、図５（Ａ）の電子文書生成装置３０１によって生成された電子文書３１１を、プリンタによって印刷する操作を行う際に、図９の制御情報を適用した場合の例を示す。

もし電子文書に改ざんがなかった場合は、９０４の指示である「認証マークを付けて印刷」と９０５の指示である通常の「印刷」のどちらを行うかをユーザに選択させる選択画面を表示する。この表示は上述した様に、電子文書操作装置３０２にホストコンピュータ２０１を適用した場合には、モニタ２０２によって実現できるであろう。図１９は、その表示画面の一例である。図１９では、電子署名の検証が成功した場合の操作のみ、ユーザが選択できる様に表示する。本発明はこれに限らず、ユーザが選択できる操作のみ表示してもよい。

次に、ユーザによって選択された印刷を行う。図１３に認証マーク付きでの印刷を選択した場合の印刷結果の例を示す。１３０１が認証マークの例である。

一方、例えば写真領域５０３のデータに改ざんがあった場合、図９の制御情報は電子文書全体の被署名領域に適用され、検証が失敗した場合の制御記述９０６に従った処理が実行される。この場合、操作をおこなおうとする機器（主に電子文書操作装置３０２）の処理能力が調べられ、９０７〜９１０の中で実際に機器が実行可能なものが選択される。まず機器の出力部がカッターを備え、出力用紙の一部を切り取る能力の有無が調べられ、能力がある場合は１番目の指示９０７が実行される。機器がカッターを持たない場合は、２番目の黒塗り能力の有無、３番目の空白にする能力の有無が調べられ、可能なものが見つかり次第、その能力による操作が選択される。それらのすべてが不可能な場合には、上記不正処理に相当する文書の印刷の代わりとして、エラー通知を印刷してユーザに報知する。

以上、電子署名の検証が成功した場合にも、失敗した場合にも、署名検証の後処理として、署名者の意図したとおりの処理を行わせることができる。

以上の実施形態においては、署名者が電子文書（複数の部分画像から構成される画像等）に電子署名を施す際に、この電子署名を検証した結果に対し署名者が希望する電子文書の操作の選択肢（制御情報）を、電子文書（部分画像及び電子署名）に付加させる。そしてこの電子文書に対して操作を行う装置は、電子署名の検証後、上記選択肢（制御情報）に基づいて、署名者の意図に沿った処理の制御が可能になる。

＜実施形態２＞
図１５は、本発明の実施形態２を適応させたシステムのイメージを示す図である。１５０１はデジタルカメラであり、デジタルカメラに内蔵のメモリカード等に撮影した画像をデジタルデータとして保存することができる。１５０２はプリンタであり、１５０１デジタルカメラを優先ケーブル１５０３、または無線などで接続することで、デジタルカメラ中の画像データを印刷することが可能である。

図１６は本発明の実施形態２に適用するシステムの機能構成を示す図である。

撮像装置１６０１内部の撮像部１６０３が被写体を撮影した画像データを生成する。そして署名生成部１６０４が、秘密鍵１６０５を用いて上記画像データに対する電子署名を生成する。ここで秘密鍵１６０５は撮像装置内部にて保持されていてもよいし、外部の記憶媒体等から撮像装置内に取り込んでもよい。

制御情報生成部１６０６は、上記画像データおよび、その電子署名を検証した結果に応じた操作の制御情報を入力する。情報付加部１６０７は画像データに電子署名と制御情報を付加する。データ統合部１６０８は画像データ、電子署名、制御情報を実施形態１同様に統合する。

データ保存部１６０９は、データ統合部１６０８で統合された統合データを保存する。データ送信部１６１０は統合データを印刷装置１６０２に送信する。統合データ受信部１６１２は、データ送信部１６１０と通信して統合データを取得する。

統合データ展開部は統合データ受信部で取得した統合データを展開して画像データ、電子署名、制御情報を取り出す。署名検証部１６１５は公開鍵１６１４を用いて電子署名を検証する。

制御情報解釈部１６１６は、制御情報を解釈して、画像データに対応した電子署名を検証した結果に沿った操作を指示する。印刷出力部１６１７は、制御解釈部１６１６の指示に沿って画像データを印刷する。もしくは表示部１６１８が、制御情報解釈部１６１６の指示に沿って表示を行う。

例えば、本発明の実施形態２の撮像装置１６０１で撮影された画像に対し、撮影者（署名者）による電子署名、および図１７の制御情報が入力されたものとする。それらを統合したデータは撮像装置１６０１内蔵のメモリカード等に蓄積される。

次に、任意のユーザが撮像装置１６０１内のデータを印刷装置１６０２で印刷するために、撮像装置１６０１と印刷装置１６０２を接続する。そして撮像装置１６０１または印刷装置１６０２の表示部で印刷を指示すると、データが印刷装置１６０２へと読み込まれ、画像データに付加された電子署名の検証と制御情報の解釈がおこなわれる。

画像データに改ざんがない場合は、図１７に示す、電子署名の検証が成功した場合の制御記述に従って、通常の印刷が実行される。一方画像データに改ざんがあった場合、電子署名の検証が失敗すると共に、図１７に示す、電子署名の検証が失敗した場合の制御記述から、以下のような制御がおこなわれる。
１．印刷装置１６０２が表示部を備えていれば、その表示部に電子署名の検証が失敗した旨を示す通知を表示する
２．接続された撮像装置の表示部が使用可能であれば、撮像装置の表示部に電子署名の検証が失敗した旨を示す通知を表示する
３．いずれも不可能であれば、印刷装置で電子署名の検証が失敗した旨を示す通知を印刷する
以上、電子署名の検証が成功した場合にも、失敗した場合にも、署名検証の後処理として、署名者の意図したとおりの処理を行わせることができる。

以上の実施形態においては、撮影者（署名者）が、撮像装置によって撮影された画像データに電子署名を施す際に、この電子署名を検証した結果に対し撮影者が希望する画像データの操作の選択肢（制御情報）を、画像データに付加させる。そしてこの画像データに対して操作を行う装置は、電子署名の検証後、上記選択肢（制御情報）に基づいて、撮影者の意図に沿った処理の制御が可能になる。

＜実施形態３＞
本発明の実施形態１および２において、制御情報に対しても電子署名を施し、その電子署名を検証した結果に応じても、電子文書の操作の制御を行うようにしてもよい。

例えば、制御情報に基づいて電子署名の施された電子文書に重大な操作を行う場合には、制御情報自体の信頼性が重要となる。よって制御情報にも電子署名を施すことでその信頼性を確保することができる。

そしてこの制御情報に対する電子署名の検証が成功した場合は、重大な操作でも実施させる。電子署名の検証が失敗した場合は、比較的重大ではない操作を実施させるような記述を制御情報に含めるようにする。

これにより、電子文書を操作する装置において、署名検証の後処理として、署名者の意図したとおりの処理を行わせることができる。

＜他の実施形態＞
本発明における画像データとは、文書と写真画像が存在する電子文書だけでなく、ＪＰＥＧ等で圧縮処理された画像のみのデータや、アスキーコード等で記述された文書のみのデータでもよい。

また、本発明における画像データの操作とは、表示や印刷だけでなく、読み出し或いは編集等の操作でもよい。

また、本発明における関連付けて保持するということは、制御情報、電子署名、構造情報などが夫々の位置情報等で関連付けられてればよく、図７の様に、ひとつもしくは複数のファイルに統合しなくてもよい。

また、本発明は上記実施形態を実現する為の装置及び方法のみに限定されるものではない。上記システム又は装置内のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上記実施形態を実現する為のソフトウェアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させる。これにより上記実施形態を実現する場合も本発明の範疇に含まれる。

またこの場合、ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。つまり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される。またこの場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

更に、この供給されたプログラムコードの指示に基づいてコンピュータの機能拡張ボードやコンピュータに接続された機能格納ユニットに備わるＣＰＵ等が処理の一部又は全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。

実施形態１のシステム概観を示す図 電子文書生成装置３０１及び電子文書操作装置３０２のハードウェア構成を示す図 実施形態１のシステムの機能構成を示す図 図４中の構造化データ生成部３０５のフローを示す図 電子文書化される紙文書および領域分割の例 情報付加部３０８を説明する図 電子文書統合部により統合された電子文書３１１の模式図の例 実施形態１を説明する制御情報の例 実施形態１を説明する別の制御情報の例 構造化データのツリー構造の例 制御情報解釈部３１６および操作実行部３１７を示すフローチャート 図８の制御情報に基づく署名検証失敗時の出力例 図９の制御情報に基づく署名検証成功時の出力例 制御情報設定ＵＩの例 実施形態２のシステム概観図 実施形態２のシステムの機能構成を示す図 実施形態２を説明する制御情報の例 署名作成処理および署名検証処理を表す模式図 操作方法を選択させる選択ＵＩの例

符号の説明

３０５ 構造化データ生成部
３０７ 署名生成部
３１８ 制御情報生成部
３０８ 情報付加部

Claims (8)

1. 情報取得手段、署名検証手段、処理能力取得手段、制御手段を備える画像処理装置の制御方法であって、
   前記情報取得手段が、画像データと、前記画像データの電子署名と、前記画像データの電子署名を検証した結果に応じてどのように該画像データの操作を制御するかを示す制御情報を取得する情報取得工程と、
   前記署名検証手段が、前記電子署名を検証する署名検証工程と、
   前記処理能力取得手段が、前記画像処理装置の処理能力を取得する処理能力取得工程と、
   前記制御手段が、前記電子署名を検証した結果と前記制御情報に基づいて、前記画像データの操作を制御する制御工程とを備え、
   前記制御情報には、電子署名の検証が成功した場合に実行できる操作を表す第１の操作情報と、電子署名の検証が失敗した場合に実行できる操作を表す複数の第２の操作情報とを含み、
   前記制御工程は、前記署名検証工程による電子署名の検証が失敗した場合、前記複数の第２の操作情報のうち、前記処理能力取得工程が取得した画像処理装置で処理可能な操作を選択して、実行することを特徴とする画像処理装置の制御方法。
2. 前記制御工程は、前記電子署名を検証した結果と前記制御情報に基づいて、前記画像データが表す画像の印刷、または、表示を制御することを特徴とする請求項１に記載の画像処理装置の制御方法。
3. 前記第１の操作情報は、認証マーク付き印刷、通常印刷、通常表示のいずれかであり、かつ、前記第２の操作情報は、黒塗り印刷、空白印刷、非表示、エラー通知印刷のいずれかであることを特徴とする請求項１又は請求項２に記載の画像処理装置の制御方法。
4. 画像処理装置であって、
   画像データの電子署名を検証した結果に応じてどのように該画像データの操作を制御するかを示す制御情報を取得する情報取得手段と、
   前記電子署名を検証する署名検証手段と、
   前記画像処理装置の処理能力を取得する処理能力取得工程と、
   前記電子署名を検証した結果と前記制御情報に基づいて、前記画像データの操作を制御する制御手段とを備え、
   前記制御情報には、電子署名の検証が成功した場合に実行できる操作を表す第１の操作情報と、電子署名の検証が失敗した場合に実行できる操作を表す複数の第２の操作情報とを含み、
   前記制御手段は、前記署名検証手段による電子署名の検証が失敗した場合、前記複数の第２の操作情報のうち、前記処理能力取得工程が取得した画像処理装置で処理可能な操作を選択して、実行することを特徴とする画像処理装置。
5. 前記制御手段は、前記電子署名を検証した結果と前記制御情報に基づいて、前記画像データが表す画像の印刷、または、表示を制御することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の操作情報は、認証マーク付き印刷、通常印刷、通常表示のいずれかであり、かつ、前記第２の操作情報は、黒塗り印刷、空白印刷、非表示、エラー通知印刷のいずれかであることを特徴とする請求項４又は請求項５に記載の画像処理装置。
7. コンピュータを、請求項４乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納し、コンピュータが読み込み可能な記憶媒体。

Images