JP4712635B2 - データ補正方法および装置並びにプログラム - Google Patents

Description

本発明は、画像および文字を含むページを表すページ記述データを、印刷用のラスターデータに変換する際に補正するデータ補正装置および方法並びにデータ補正方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、印刷の分野において、コンピュータを利用して編集の作業を行うＤＴＰ（DeskTop Publishing）が広範に適用されている。ＤＴＰは、WYSIWYG（What You See Is What You Get＝見たままに出力する）という思想を実現するものであり、オペレータは、表示画面を見ながら文字や画像の編集を行い、印刷物のイメージを確認してから、画像等をプリンタ等で印刷することができる。

このＤＴＰにおいて、オペレータが文字や画像を編集する際に使用するソフトウェアは、一般にＤＴＰソフトウェアとよばれている。ＤＴＰソフトウェアは、オペレータによって編集された文字や画像を基に、ページごとのイメージを表現するページ記述データとよばれる形式のデータを生成する。このページ記述データは、このままではプリンタ等の出力デバイスで出力することができないため、ＲＩＰ（Raster Image Processor）でページ記述データを出力デバイスで出力可能なラスターデータに変換し、出力デバイスでは、このラスターデータに基づく出力画像が出力される。

ところで、デジタルカメラの普及に伴い、デジタルカメラで撮影した撮影画像を印刷用の画像として使用することが広範に行われている。撮影画像には、例えば、逆光で撮影した撮影画像は全体的に白すぎる等という不都合が生じていることがあり、このような場合、画像を修正するためのレタッチソフトウェアが用いられて各撮影画像ごとに色の補正が施される。マウス等を用いて手動で画像の色を補正するのは、熟練した技術を要するものであるが、近年では、色の階調等のような画像の色の特性を解析し、その特性に応じた色補正処理を自動的に画像に施すオートセットアップ機能が備えられたレタッチソフトウェアも知られている。オペレータは、レタッチソフトウェアのオートセットアップ機能を使って、セットアップ条件を自動で算出し、これに基づいて画像に色補正処理を施し、この色補正処理が施された見た目に好ましい色合いの画像を、ＤＴＰソフトウェアを使って、ページ記述データにより表現されるページに貼り付けることができる。

ところが、多数の撮影画像を印刷用の画像として使用する場合、レタッチソフトウェアを立ち上げ、各撮影画像に逐一色補正処理を施し、さらに各画像をページに貼り付ける作業は、上述したオートセットアップ機能を利用しても大変煩雑で時間のかかる作業である。

このような煩雑さは、とくに、オンデマンドプリンタと称される印刷用のプリンタをＲＩＰに接続して印刷物を作成する際に問題となる。オンデマンドプリンタは、印刷機とは異なって製版作業を行う必要がなく、印刷コストや画像の出力処理時間を大幅に抑えることができるため、近年では、ビジネス文書等を作成する際に広く用いられている。ここで、オンデマンドプリンタで作成される印刷物は、印刷機での大掛かりな作業を経て作成される印刷物と比べて、厳密な画質を求められるものではないため、上述した色補正処理を含む一連の編集作業は、多くの時間をかけずに手軽に行いたいという要望が強い。とくに、ビジネス文書にデジタルカメラでの撮影画像を貼り込みたいという要望は高まっており、上述した煩雑な作業の軽減が望まれている。

このため、ページ記述データによって表現されたページ中の画像を認識し、認識した個々の画像に対してオートセットアップ機能を利用して補正処理を施す手法が提案されている（特許文献１参照）。この手法によれば、画像補正処理が施された画像を含む出力画像を作成するための手間を軽減することができることとなる。
特開２００４−２７４７２０号公報

ところで、ページ中にデジタルカメラにより取得した自然画像が複数含まれる場合、含まれている人物が同一である、あるいは色味が似ている等、自然画像同士が互いに類似する場合がある。上記特許文献１の手法によれば、このような互いに類似する類似自然画像についても個別にオートアップ機能により画像補正処理が施される。しかしながら、個別に画像補正処理を施すと、互いに類似するにもかかわらず、類似する画像の明るさや色調等の画質が異なるものとなり、ページに含まれる画像に違和感が生じてしまう場合がある。

本発明は上記事情に鑑みなされたものであり、類似する自然画像を自然な見え方となるようにすることを目的とする。

本発明によるデータ補正装置は、画像および文字のうち少なくとも該画像を含むページを記述するページ記述データによって表現されたページ中の前記画像を認識する画像認識手段と、
前記画像認識手段により認識された個々の画像が自然画像であるか否かを判別する自然画像判別手段と、
前記自然画像判別手段により判別された自然画像について、複数の自然画像が前記ページに含まれる場合における互いに類似する類似自然画像を判別する類似判別手段と、
前記自然画像に対する画像補正処理のためのセットアップ条件を算出する画像解析手段と、
すべての前記類似自然画像について、画質を略一定とするための補正条件を算出する補正条件算出手段と、
前記セットアップ条件および前記補正条件に基づく画像補正処理を、前記類似自然画像に施す画像補正手段とを備えたことを特徴とするものである。

「画質を略一定とする」とは、類似自然画像の明るさ、色味および階調等、画像の見え方に影響を与える画像の特徴を略一致させることを意味する。

本発明によるデータ補正方法は、画像および文字のうち少なくとも該画像を含むページを記述するページ記述データによって表現されたページ中の前記画像を認識し、
該認識された個々の画像が自然画像であるか否かを判別し、
該判別された自然画像について、複数の自然画像が前記ページに含まれる場合における互いに類似する類似自然画像を判別し、
前記自然画像に対する画像補正処理のためのセットアップ条件を算出し、
すべての前記類似自然画像について、画質を略一定とするための補正条件を算出し、
前記セットアップ条件および前記補正条件に基づく画像補正処理を、前記類似自然画像に施すことを特徴とするものである。

なお、本発明によるデータ補正方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、認識された個々の画像が自然画像であるか否か判別され、自然画像のうち、互いに類似する類似自然画像について、画質を略一定とするための補正条件が算出される。そして、セットアップ条件および補正条件に基づく画像補正処理が、類似自然画像に対して施される。このため、類似自然画像の画質を略一定とすることができ、これにより、自然画像の見え方を略一致させて違和感のないページを得ることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態によるデータ補正装置を適用した画像処理システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像処理システムは、コンピュータを使って印刷物を作成するＤＴＰが適用されており、オペレータがパーソナルコンピュータ（ＰＣ）１００を使って編集した文字および画像を含むページを、カラープリンタ２００で出力するシステムである。

不図示のカラースキャナにおいて原稿画像が読み取られて生成された画像データ、およびデジタルカメラにより取得された画像データ等は、ＰＣ１００に入力される。

ＰＣ１００においては、オペレータにより、文字および入力された画像データに基づく画像を含むページが電子的に編集され、編集されたページを表すページ記述データが生成される。このページ記述データは、いわゆるＰＤＬ（Page Description Language）で記述された言語データであり、このままでは、カラープリンタ２００で出力することはできない。したがって、このページ記述データはＲＩＰ１０１に入力され、ＲＩＰ１０１において、カラープリンタ２００により出力可能なラスターデータに変換される。変換後のラスターデータは、カラープリンタ２００に入力され、カラープリンタ２００では、入力されたラスターデータに基づく出力画像２０１が作成される。

ここで、図１に示す画像処理システムにおける、本発明の一実施形態としての特徴は、ＰＣ１００のＲＩＰ１０１で実行される処理内容にある。以下、このＲＩＰ１０１の機能について説明する。なお、ＲＩＰ１０１の機能を実行するためのプログラムはＣＤおよびＤＶＤ等の記録媒体に記録されており、ＰＣ１００にインストールすることによりＲＩＰ１０１の機能を実行することができるものである。

図２はＲＩＰの機能を示すブロック図である。なお、以下では、ＲＩＰ１０１の構成要素と、それらの構成要素による作用の概略について説明する。

図２に示すようにＲＩＰ１０１は、画像認識部１０、自然画像判別部１１、画像解析部１２、画質調整情報算出部１３、第１の補正条件算出部１４、第２の補正条件算出部１５、画像補正部１６、画像合成部１７および画像変換部１８を備える。また、ＲＩＰ１０１がインストールされたＰＣ１００の機能として、キーボードおよびマウス等からなる入力部１９およびモニタ等からなる画像表示部２０を備える。

画像認識部１０には、オペレータによって編集されたページを表すページ記述データが入力される。このページ記述データにおいては、ページに含まれる画像は画像オブジェクトというまとまりで扱われるとともに、ページに含まれる文字は文字オブジェクトというまとまりで扱われる。画像認識部６１０は、入力されたページ記述データが表すページ中に含まれる画像オブジェクトＧ０および文字オブジェクトＴ０を認識する。また、画像オブジェクトＧ０および文字オブジェクトＴ０のページ上のレイアウトを表すレイアウト情報Ｌ０も認識する。なお、１ページに複数の画像が含まれる場合には、個々の画像が個々に画像オブジェクトＧ０として認識される。

自然画像判別部１１は、画像オブジェクトＧ０が自然画像であるか、イラスト画像であるかを判別する。具体的には、例えば特開２０００−３２２８７号公報に記載されたように、画像オブジェクトの輝度分布および色数を求め、輝度の分布範囲が広く、かつ色数が所定数以上である場合に画像オブジェクトＧ０が自然画像オブジェクトＮ０、それ以外の場合に画像オブジェクトＧ０がイラスト画像オブジェクトＩ０であると判別する。なお、画像オブジェクトＧ０が自然画像かイラスト画像であるかを判別する手法は、上記手法に限定されるものではなく、公知の各種手法を用いることができる。

画像解析部１２は、自然画像オブジェクトＮ０について、画像補正部１６においてその自然画像オブジェクトＮ０に画像補正処理を施すために、自然画像オブジェクトＮ０を解析してセットアップ条件を算出する。具体的には、自然画像オブジェクトＮ０の画質が最適となるように補正するためのＡＥ／ＡＷＢ補正値、明るさ補正値、階調補正値、色補正値、およびシャープネス補正値等をセットアップ条件として算出する。

画質調整情報算出部１３は、自然画像オブジェクトＮ０について画像解析部１２が算出したセットアップ条件を補正するために必要な情報を画質調整情報として算出する。このため、画質調整情報算出部１３は、自然画像オブジェクトＮ０が表すシーンに基づいてページ記述データの用途を推定してシーンに基づく用途情報を画質調整情報として取得する画像用途取得部１３Ａ、文字オブジェクトＴ０に基づいてページ記述データの用途を推定することにより文字に基づく用途情報を画質調整情報として取得する文字用途取得部１３Ｂ、自然画像オブジェクトＮ０の周囲にイラスト画像オブジェクトＩ０が背景として付与されている場合におけるイラスト画像オブジェクトＩ０の明るさ情報を画質調整情報として取得する色対比情報取得部１３Ｃ、および複数の自然画像オブジェクトＮ０のシーンが類似する場合における、類似する自然画像オブジェクトＮ０を特定する類似シーン情報を画質調整情報として取得する類似シーン情報取得部１３Ｄとからなる。

画像用途取得部１３Ａは、自然画像オブジェクトＮ０からシーンの特徴を表す特徴量を抽出し、あらかじめ作成された用途を判別するための判別器に特徴量を入力して用途情報を取得する。なお、シーンの特徴を表す特徴量としては、自然画像オブジェクトＮ０のサイズを正規化し、正規化した画像上においてあらかじめ定められた位置の画素値または画素値の組合せを用いることができる。

判別器は、用途があらかじめ定められた画像を正解データ、用途が定められていない画像を不正解データとして、ニューラルネットワーク、ブースティング等のマシンラーニングの手法により学習することにより作成されてなるものである。ここで、用途が定められた画像として、例えば金属製品や自動車等のカタログ、花の写真集等を用いることにより、自然画像オブジェクトＮ０の用途が、金属製品のカタログ、自動車のカタログ、花の写真集等の用途であるか否かを表す情報を用途情報として取得することができる。なお、判別器に学習させた用途のみでは用途が特定できない場合には、シーンに基づく用途は未定である旨の用途情報が取得される。

文字用途取得部１３Ｂは、文字オブジェクトＴ０の文字認識を行い、文字オブジェクトＴ０に含まれる用語を抽出する。ここで、文字用途取得部１３Ｂは、各種用語とその用途とを対応づけたデータベースを有している。このデータベースは、例えば、ＣＰＵ、メモリおよびハードディスク等の用語がコンピュータカタログ、薔薇および胡蝶蘭等の用語が花写真集というように、用語と用途とが対応づけられている。したがって、抽出した用語に基づいてデータベースを参照することにより、文字に基づく用途情報を取得することができる。なお、抽出した用語がデータベースに登録されていない場合には、文字に基づく用途は、未定である旨の用途情報が取得される。

色対比情報取得部１３Ｃは、自然画像オブジェクトＮ０およびレイアウト情報Ｌ０に基づいて、図３に示すように自然画像オブジェクトＮ０の周囲にイラスト画像オブジェクトＩ０が背景として付与されているか否かを判断し、周囲にイラスト画像オブジェクトＩ０が背景として付与されている背景付き自然画像オブジェクトＮ０′について、背景として付与されているイラスト画像オブジェクトＩ０のＲＧＢ各値からイラスト画像オブジェクトＩ０の明るさ、色相および彩度を算出する。具体的には、ＲＧＢ各値をＩＥＣ、ＣＩＥ準拠の演算式に基づきＬ^*ａ^*ｂ^*色空間に変換することにより算出した各Ｌ^*，Ｈａｂ^*，Ｃａｂ^*値を、イラスト画像オブジェクトＩ０の全画素について平均化したＬｍ，Ｈｍ，Ｃｍ値を明るさ情報、色相情報および彩度情報として取得する。

類似シーン情報取得部１３Ｄは、自然画像オブジェクトＮ０およびレイアウト情報Ｌ０に基づいて、ページ記述データに複数の自然画像オブジェクトＮ０が含まれる場合において、複数の自然画像オブジェクトＮ０のすべての組み合わせにおいて類似するか否かを判断し、類似する組み合わせの画像のＩＤを類似シーン情報として取得する。

類否の判断は、具体的には、２つの自然画像オブジェクトＮ０に含まれる被写体の判別等を行い、同一の被写体が含まれる場合には２つの自然画像オブジェクトＮ０は類似すると判断する、あるいは２つの自然画像オブジェクトＮ０について、明るさおよび色等の特徴量を算出し、この特徴量の差の絶対値が所定の範囲内にある場合に２つの自然画像オブジェクトＮ０が類似すると判断する、あるいはこの特徴量を用いてニューラルネットワーク、ブースティング等のマシンラーニングの手法により判別器を作って判断する等、既知の種々の手法を用いることができる。

第１の補正条件算出部１４は、画質調整情報算出部１３から入力される画質調整情報のうち、用途情報に応じて画像解析部１２が求めたセットアップ条件を補正するための第１の補正条件を算出する。具体的には、第１の補正条件算出部１４は、用途と補正条件とを対応づけたデータベースを備えており、画像用途取得部１３Ａまたは文字用途取得部１３Ｂが取得した用途情報に基づいて、このデータベースを参照して補正条件を取得し、画像補正部１６に入力する。例えば、用途が金属製品カタログであれば、シャープネスの強調度を高くする補正条件を、用途が花写真集であればコントラストを高くする補正条件を取得する。なお、用途が未定である場合には、第１の補正条件算出部１４は補正条件を算出しない。

第２の補正条件算出部１５は、色対比情報取得部１３Ｃが取得した明るさ情報、色相情報、彩度情報（明るさ情報、色相情報および彩度情報を色対比情報と称する）および類似シーン情報取得部１３Ｄが取得した類似シーン情報に基づいて、画像解析部１２が求めたセットアップ条件を補正するための第２の補正条件を算出する。例えば、第２の補正条件算出部１５は、明るさ情報と明るさの調整値とを対応づけたテーブルを記憶しており、明るさ情報に基づく補正条件については、色対比情報取得部１３Ｃから入力された明るさ情報に基づいて、明るさの調整値を第２の補正条件として算出する。また、類似シーン情報に基づく補正条件については、後述するように算出する。なお、色対比情報および類似シーン情報が入力されなかった場合には、第２の補正条件算出部１５は補正条件を算出しない。

以下、色対比情報に基づく調整値の算出について説明する。図４は色対比情報のうち明るさ情報に基づく調整値を算出するためのテーブルを示す図である。図４に示すように、このテーブルは、明るさ情報Ｌｍ値が大きいほど明るさを大きくするように調整値ＣＬを算出するものである。なお、図４においては＋が暗くする、−が明るくするための調整値を表す。ここで、自然画像オブジェクトＮ０の周囲にイラスト画像オブジェクトＩ０が背景として付与されている場合、自然画像オブジェクトＮ０の見え方がイラスト画像オブジェクトＩ０の明るさに影響される。例えば、イラスト画像オブジェクトＩ０が明るければ自然画像オブジェクトＮ０は暗く見え、イラスト画像オブジェクトＩ０が暗ければ自然画像オブジェクトＮ０は明るく見える。したがって、図４に示すテーブルを参照して明るさの調整値を算出することにより、イラスト画像オブジェクトＩ０が明るければ自然画像オブジェクトＮ０をより明るくし、イラスト画像オブジェクトＩ０が暗ければ自然画像オブジェクトＮ０をより暗くするように明るさの調整値が算出される。

なお、色対比現象は、明るさだけでなく（明度対比）、色相（色相対比）、彩度（彩度対比）等においても起こる。例えば、色相対比では、自然画像オブジェクトＮ０の周りがＧ（グリーン）色である場合、自然画像オブジェクトＮ０はＧ色の補色のＭ色（マゼンタ）に見え、自然画像オブジェクトＮ０の周りがＭ色の配色の場合、自然画像オブジェクトＮ０はＭ色の補色のＧ色に見える。また彩度対比では、自然画像オブジェクトＮ０の周りが高彩度色である場合、自然画像オブジェクトＮ０はより彩度が低く見え、自然画像オブジェクトＮ０の周りが低彩度色である場合、自然画像オブジェクトＮ０はより彩度が高く見える。したがって、自然画像オブジェクトＮ０の見え方が明るさだけでなく、色相および彩度にも影響され、それぞれ上記図４に相当する色相および彩度についてあらかじめ設定されたテーブルを使用して、イラスト画像オブジェクトＩ０の色相情報Ｈｍ、彩度情報Ｓｍに基づいて、色相調整値ＣＨおよび彩度調整値ＣＳが算出される。

次いで、類似シーン情報および色対比整情報に基づく補正条件の算出について説明する。この補正条件は、類似する自然画像オブジェクトＮ０の画質を略一定とするとともに、自然画像オブジェクトＮ０′の見えを周囲にあるイラスト画像オブジェクトＩ０の色に依存して一定とするための補正条件である。第２の補正条件算出部１５は類似シーン情報が入力されると、類似シーン情報に基づいて、類似する画像について、画像解析部１２が算出したセットアップ条件に含まれるＡＥ／ＡＷＢ補正値を取得し、各補正値の平均値を算出する。ここでＡＥ／ＡＷＢ補正値の平均値を平均値Ｍａとし、類似シーン情報に基づく類似する自然画像オブジェクトＮ０が表す画像をＰ１，Ｐ２とし、画像Ｐ１，Ｐ２のＡＥ／ＡＷＢ補正値をＡ１，Ａ２とすると、第２の補正条件算出部１５は、画像Ｐ１，Ｐ２のＡＥ／ＡＷＢ調整値Ａｐ１，Ａｐ２を下記の式（１），（２）により算出する。ここで、各ＡＥ／ＡＷＢ補正値は濃度値であり、ＡＥ／ＡＷＢ補正値はＲＧＢ３色に対し、それぞれ独立に設定される。

Ａｐ１＝Ｍａ−Ａ１ （１）
Ａｐ２＝Ｍａ−Ａ２ （２）
このように算出したＡＥ／ＡＷＢ調整値Ａｐ１，Ａｐ２により画像Ｐ１，Ｐ２に対してＡＥ／ＡＷＢ処理を施すことにより、補正後の画像Ｐ１，Ｐ２の明るさおよび色味を略一致させることができる。

次に、自然画像オブジェクトＮ０′が表す画像をｑとした場合、第２の補正条件算出部１５は、画像ｑのＡＥ／ＡＷＢ調整値Ａｑを下記の式（３）〜（５）により算出する。

Ａｑｒ＝ｆ（ＣＬ，ＣＨ，ＣＳ） （３）
Ａｑｇ＝ｆ（ＣＬ，ＣＨ，ＣＳ） （４）
Ａｑｂ＝ｆ（ＣＬ，ＣＨ，ＣＳ） （５）
但し、ｆ（）はＩＥＣ、ＣＩＥ準拠の演算式に基づき、Ｌ^*，Ｈａｂ^*，Ｃａｂ^*値からＲＧＢ値を求め、濃度空間へ変換する関数である。

画像補正部１６は、画像解析部１２が算出したセットアップ条件、並びに第１および第２の補正条件算出部１４，１５が算出した第１および第２の補正条件に基づいて、自然画像オブジェクトＮ０に画像補正処理を施して、補正済み自然画像オブジェクトＮ１を取得する。ここで、画像補正処理は、ＡＥ／ＡＷＢ補正処理、明るさ補正処理、階調補正処理、色補正処理およびシャープネス処理等、画像解析部１２が算出したセットアップ条件に基づくものである。なお、後述するように表示された補正済みのページ記述データに対する入力部１９からのマニュアル修正指示により、補正済み自然画像オブジェクトＮ１の微調整を行うことも可能である。

なお、画像補正部１６は、イラスト画像オブジェクトＩ０が背景として付与されておらず、また他に類似する自然画像オブジェクトＮ０がない自然画像オブジェクトＮ０については、セットアップ条件にのみ基づいて画像補正を行う。背景付き自然画像オブジェクトＮ０′および／または他に類似する自然画像オブジェクトＮ０がある自然画像オブジェクトＮ０については、セットアップ条件および第２の補正条件に基づいて画像補正を行う。また、用途が推定された自然画像オブジェクトＮ０については、さらに第１の補正条件にも基づいて画像補正を行う。

画像合成部１７は、補正済み自然画像オブジェクトＮ１、文字オブジェクトＴ０およびレイアウト情報Ｌ０に基づいてページ記述データを合成して補正済みページ記述データを取得する。

画像変換部１７は補正済みページ記述データをラスターデータに変換し、カラープリンタ２００に出力する。

次いで、本実施形態の動作について説明する。図５は本実施形態において行われる処理を示すフローチャートである。ページ記述データの補正の指示が入力部１９から入力されることによりＲＩＰ１０１が処理を開始し、画像認識部１０が、ページ記述データが表すページ中に含まれる画像オブジェクトＧ０および文字オブジェクトＴ０、並びに画像オブジェクトＧ０および文字オブジェクトＴ０のページ上のレイアウトを表すレイアウト情報Ｌ０を認識する（ステップＳＴ１）。

そして、自然画像判別部１１が、すべての画像オブジェクトＧ０について自然画像であるかイラスト画像であるか否かを判別する（ステップＳＴ２）。そして、画像解析部１２が、自然画像オブジェクトＮ０のセットアップ条件を算出する（ステップＳＴ３）。一方、画質調整情報算出部１３が、自然画像オブジェクトＮ０について画像解析部１２が算出したセットアップ条件を補正するために必要な情報を画質調整情報として算出する（ステップＳＴ４）。なお、ステップＳＴ３，４の処理を並列に行ってもよく、ステップＳＴ４の処理を先に行ってもよい。

そして、第１および第２の補正条件算出部１４，１５が画質調整情報に基づいて第１および第２の補正条件を算出する（ステップＳＴ５）。続いて、画像補正部１６がセットアップ条件並びに第１および第２の補正条件に基づいて自然画像オブジェクトＮ０を補正して補正済み自然画像オブジェクトＮ１を取得し（ステップＳＴ６）、さらに、画像合成部１７が、補正済み自然画像オブジェクトＮ１、文字オブジェクトＴ０およびレイアウト情報Ｌ０に基づいてページ記述データを合成して補正済みページ記述データを取得し（ステップＳＴ７）、補正済みページ記述データを画像表示部２０に表示する（ステップＳＴ８）。

そして、画像補正部１６は、入力部１９から修正の指示がなされたか否かを判断し（ステップＳＴ９）、修正指示がなされると修正指示に基づいてセットアップ条件の修正値を算出し、算出した修正値により補正済み自然画像オブジェクトＮ１を修正して修正された補正済み自然画像オブジェクトＮ２を取得する（ステップＳＴ１０）。そして、ステップＳＴ７に戻り、ステップＳＴ７以降の処理を繰り返す。すなわち、修正された補正済み自然画像オブジェクトＮ２、文字オブジェクトＴ０およびレイアウト情報Ｌ０に基づいてページ記述データを合成して新たな補正済みページ記述データを取得し、新たな補正済みページ記述データを画像表示部２０に表示する。

ステップＳＴ９が否定されると、入力部１９からプリント指示がなされたか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が否定されるとステップＳＴ９に戻る。ステップＳＴ１１が肯定されると、画像変換部１８が補正済みページ記述データをラスターデータに変換し（ステップＳＴ１２）、カラープリンタ２００がラスターデータをプリント出力し（ステップＳＴ１３）、処理を終了する。

このように、本実施形態においては、互いに類似する自然画像オブジェクトＮ０について、画質を略一定とするための補正条件を算出し、セットアップ条件および補正条件に基づいて類似する自然画像オブジェクトＮ０に画質補正処理を施すようにしたため、類似する自然画像オブジェクトＮ０の画質を略一定とすることができ、これにより、自然画像の見え方を略一致させて違和感のないページを得ることができる。

なお、上記実施形態においては、複数の画像を含むページ記述データから得た補正済みページ記述データを画像表示部２０に表示した際に、下記のように補正を行うことが可能である。図６は補正済みページ記述データのさらなる補正を行うための修正画面を示す図である。図６に示すように修正画面３０は、ページ記述データにより表されるページ画像を表示するページ表示領域３０Ａ、明るさを補正するための明るさ補正ボタン３０Ｂおよび色を補正するための色補正ボタン３０Ｃが表示されている。なお、図６においては、ページ記述データにより記述されるページには３つの自然画像オブジェクトＮ０により表される画像Ｐ１１，Ｐ１２，Ｐ１３が含まれているものとする。

そして、オペレータが入力部１９を用いて、ページ画像における所望とする場所（第１の場所とする）を指定する。ここでは、図６に示す画像Ｐ１３内の点Ｏ１を指定したものとする。次に、第１の場所とは異なる第２の場所を指定する。ここでは、図６に示す画像Ｐ１２内の点Ｏ２を指定したものとする。続いて明るさ補正ボタン３０Ｂをクリックすることにより、点Ｏ１および点Ｏ２の明るさの差から、点Ｏ２の明るさを点Ｏ１の明るさと一致させるための補正量を算出し、算出した補正量により画像Ｐ１２を補正する。

具体的には、点Ｏ１のＲＧＢ値をそれぞれＲｏ１，Ｇｏ１，Ｂｏ１、点Ｏ２のＲＧＢ値をＲｏ２，Ｇｏ２，Ｂｏ２とした場合、点Ｏ１のＲＧＢ値の平均値Ｍｏ１および点Ｏ２のＲＧＢ値の平均値Ｍｏ２を下記の式（６），（７）により算出する。

Ｍｏ１＝（Ｒｏ１＋Ｇｏ１＋Ｂｏ１）／３ （６）
Ｍｏ２＝（Ｒｏ２＋Ｇｏ２＋Ｂｏ２）／３ （７）
そして、Ｍｏ１−Ｍｏ２を補正量として算出し、画像Ｐ１２の全画素のＲＧＢ値から補正量（Ｍｏ１−Ｍｏ２）を減算することにより画像Ｐ１２を補正する。これにより、点Ｏ２の明るさが点Ｏ１の明るさと一致するように画像Ｐ１２の明るさが補正される。

一方、色補正を行う場合には、点Ｏ１，Ｏ２の指定後に色補正ボタン３０Ｂをクリックすることにより、点Ｏ２の色を点Ｏ１の色と一致させるための補正量を算出し、算出した補正量により画像Ｐ１２を補正する。

具体的には、点Ｏ１のＲＧＢ値をそれぞれＲｏ１，Ｇｏ１，Ｂｏ１、点Ｏ２のＲＧＢ値をＲｏ２，Ｇｏ２，Ｂｏ２とした場合、ＲＧＢ各値の差分値Ｒｓｕｂ，Ｇｓｕｂ，Ｂｓｕｂを下記の式（８）〜（１０）により補正量として算出する。

Ｒｓｕｂ＝Ｒｏ１−Ｒｏ２ （８）
Ｇｓｕｂ＝Ｇｏ１−Ｇｏ２ （９）
Ｂｓｕｂ＝Ｂｏ１−Ｂｏ２ （１０）
そして、画像Ｐ１２の全画素のＲＧＢ値にＲｓｕｂ，Ｇｓｕｂ，Ｂｓｕｂを加算することにより画像Ｐ１２を補正する。これにより、点Ｏ２の色が点Ｏ１の色と一致するように画像Ｐ１２の色が補正される。

また、上記実施形態においては、イラスト画像オブジェクトＩ０の明るさ、色相および彩度に基づいて、自然画像オブジェクトＮ０明るさ、色相および彩度を補正しているが、イラスト画像オブジェクトＩ０の明るさ、色相および彩度の少なくとも１つに基づいて、自然画像オブジェクトＮ０明るさ、色相および彩度の少なくとも１つを補正するようにしてもよい。

本発明の実施形態によるデータ補正装置を適用した画像処理システムの構成を示す概略ブロック図 ＲＩＰの機能を示すブロック図 背景としてイラスト画像オブジェクトが付与された自然画像オブジェクトを示す図 明るさ情報に基づく調整値を算出するためのテーブルを示す図 本実施形態において行われる処理を示すフローチャート 補正済みのページ記述データのさらなる補正を行うための修正画面を示す図

符号の説明

１０ 画像認識部
１１ 自然画像判別部
１２ 画像解析部
１３ 画質調整情報算出部
１３Ａ 画像用途取得部
１３Ｂ 文字用途取得部
１３Ｃ 色対比情報取得部
１３Ｄ 類似シーン情報取得部
１４ 第１の補正条件算出部
１５ 第２の補正条件算出部
１６ 画像補正部
１７ 画像合成部
１８ 画像変換部
１９ 入力部
２０ 画像表示部
１００ ＰＣ
１０１ ＲＩＰ
２００ カラープリンタ

Claims (5)

1. 画像および文字のうち少なくとも該画像を含むページを記述するページ記述データによって表現されたページ中の前記画像を認識する画像認識手段と、
   前記画像認識手段により認識された個々の画像が自然画像であるか否かを判別する自然画像判別手段と、
   複数の前記自然画像が前記ページに含まれる場合において、該複数の自然画像に含まれる被写体または該複数の自然画像の特徴量の類否に基づいて、互いに類似する類似自然画像を判別する類似判別手段と、
   前記自然画像に対する画像補正処理のためのセットアップ条件を算出する画像解析手段と、
   すべての前記類似自然画像について、前記セットアップ条件に含まれる明るさおよび色味の補正値を取得し、該補正値を一致させるための調整値を補正条件として算出する補正条件算出手段と、
   前記セットアップ条件および前記補正条件に基づく画像補正処理を、前記類似自然画像に施す画像補正手段とを備えたことを特徴とするデータ補正装置。
2. 前記ページにおいて、前記自然画像の周囲にイラスト画像が背景として付与されている場合に、該イラスト画像の明るさ、色相および彩度の少なくとも１つを表す色対比情報を取得する色対比情報取得手段をさらに備え、
   前記補正条件算出手段は、前記自然画像の見え方を前記イラスト画像に依存して一定とするために、前記色対比情報に基づいて前記自然画像の明るさ、色相および彩度の少なくとも１つを調整する他の調整値を、前記補正条件としてさらに算出する手段であることを特徴とする請求項１記載のデータ補正装置。
3. 前記自然画像の用途を表す用途情報を取得する用途取得手段と、
   前記用途情報に応じて前記セットアップ条件を補正するための他の補正条件をさらに算出する他の補正条件算出手段をさらに備え、
   前記画像補正手段は、前記セットアップ条件、前記補正条件および前記他の補正条件に基づく画像補正処理を、前記類似自然画像に施す手段であることを特徴とする請求項１または２記載のデータ補正装置。
4. 画像および文字のうち少なくとも該画像を含むページを記述するページ記述データによって表現されたページ中の前記画像を認識し、
   該認識された個々の画像が自然画像であるか否かを判別し、
   複数の前記自然画像が前記ページに含まれる場合において、該複数の自然画像に含まれる被写体または該複数の自然画像の特徴量の類否に基づいて、互いに類似する類似自然画像を判別し、
   前記自然画像に対する画像補正処理のためのセットアップ条件を算出し、
   すべての前記類似自然画像について、前記セットアップ条件に含まれる明るさおよび色味の補正値を取得し、該補正値を一致させるための調整値を補正条件として算出し、
   前記セットアップ条件および前記補正条件に基づく画像補正処理を、前記類似自然画像に施すことを特徴とするデータ補正方法。
5. 画像および文字のうち少なくとも該画像を含むページを記述するページ記述データによって表現されたページ中の前記画像を認識する手順と、
   複数の前記自然画像が前記ページに含まれる場合において、該複数の自然画像に含まれる被写体または該複数の自然画像の特徴量の類否に基づいて、互いに類似する類似自然画像を判別する手順と、
   前記自然画像に対する画像補正処理のためのセットアップ条件を算出する手順と、
   すべての前記類似自然画像について、前記セットアップ条件に含まれる明るさおよび色味の補正値を取得し、該補正値を一致させるための調整値を補正条件として算出する手順と、
   前記セットアップ条件および前記補正条件に基づく画像補正処理を、前記類似自然画像に施す手順とを有することを特徴とするデータ補正方法をコンピュータに実行させるためのプログラム。

Images