しかしながら、上記図1に示す技術は、オブジェクトベースのコマンドなどのコマンド構造に区分化されているドキュメントデータに対しては有効であるが、ビットマップデータ、ラスタデータおよび他の形を取っている、非オブジェクトベースのデータに対しては無効である。さらに、利用可能な方法は、アルゴリズムに関連する複雑度要因を作成するためのアルゴリズムデータの処理とは組み合わされていなかった。
また、上記各技術では、デジタル画像の複雑度に応じて、当該画像に対する画像処理の改善度合いや方法を変更する点については充分な記載がなく、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上することが求められている。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像処理の品質をさらに向上するための複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システムを提供することにある。
本発明に係る複雑度測定方法は、上記課題を解決するために、デジタル画像の複雑度測定方法であって、画像をラスタ画像として表現する工程aと、上記ラスタ画像における各画素の属性を決定する工程bと、上記属性に基づいて画像複雑度測度を計算する工程cとを含んでいることを特徴としている。
また、上記構成において、上記属性は、セグメンテーションに関する特徴であってもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴は、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴は、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴は、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴は、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴は、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴は、背景領域のクロミナンス統計を含んでいてもよい。さらに、上記構成において、上記属性は、変換データ関連特徴であってもよい。
これらの構成によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上するための画像の複雑度(複雑度測度)を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
一方、本発明に係る複雑度測定方法は、デジタル画像の複雑度測定方法であって、上記課題を解決するために、画像をラスタ画像として表現する工程aと、上記ラスタ画像の属性を決定する工程bと、画像処理方法の複雑度関連特徴を決定する工程cと、上記属性および上記特徴に基づいて画像複雑度測度を計算する工程dとを含んでいることを特徴としている。また、上記構成において、画像複雑度測度の上記計算のために、属性に基づいて、および、コンテンツ種別に関連する情報を使用して、上記ラスタ画像における上記コンテンツ種別を識別する工程をさらに含んでいてもよい。さらに、上記構成において、上記属性は、ヒストグラム特徴であってもよい。また、上記構成において、上記属性は、変換データ関連特徴であってもよい。
これらの構成によれば、上記各方法と同様、種々の画像処理の品質を、さらに向上するための画像の複雑度(複雑度測度)を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
さらに、上記各構成では、画像の複雑度測度を計算する際、ラスタ画像の属性だけではなく、画像処理方法の複雑度関連特徴も参照しているので、当該複雑度関連特徴を参照せずに計算する構成とは異なって、例えば、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースの領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかなど、画像処理方法の特徴も複雑度測度に反映させることができ、より画像処理の品質向上に適した複雑度測度を計算できる。
また、本発明に係る処理選択方法は、上記課題を解決するために、デジタル画像を処理するための処理選択方法であって、画像をラスタ画像として表現する工程aと、上記ラスタ画像の属性を決定する工程bと、第1処理と第2処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程cと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程dと、上記複雑度が閾値を上回っていれば第1処理を実施する工程eと、上記複雑度が、上記閾値を上回っていなければ第2処理を実施する工程fとを含んでいることを特徴としている。
当該構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、第1処理を実施するか第2処理を実施するかが選択されるため、上記各方法と同様、種々の画像処理の品質をさらに向上できる。
また、上記構成において、上記第1処理が、全体的画質改善(image enhancement)であり、上記第2処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
ここで、セグメンテーションに基づく画質改善は、領域の分析が正確であれば、セグメンテーションされた各領域をより適切な方法で画像処理できる一方で、領域の分析に失敗すれば、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。これに対して、全体的な画質改善は、領域の分析が正確な場合には、セグメンテーションに基づく画質改善よりも画像処理の品質向上が難しい一方で、領域の分析が正確でない場合でも、領域の分析に起因する画像処理の品質低下が発生しない。
上記各構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、セグメンテーションに基づく改善を行うか、全体的な改善を行うかが決定されるので、この結果、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
さらに、本発明に係る処理選択方法は、上記構成において、デジタル画像を処理するための処理選択方法であって、画像の複雑度関連属性を決定する工程aと、セグメンテーションに基づく画質改善処理のための処理性能データを取得する工程bと、全体的な画質改善処理のための処理性能データを取得する工程cと、上記属性および上記性能データに基づいて画像複雑度測度を計算する工程dと、上記複雑度が閾値を上回っていれば全体的画質改善を実施する工程eと、上記複雑度が上記閾値を上回っていなければセグメンテーションに基づく画質改善を実施する工程fとを含んでいることを特徴としている。
上記構成によれば、属性および上記性能データに基づいて計算された画像複雑度測度に応じて、全体的画質改善か、あるいは、セグメンテーションに基づく画質改善が実施されるので、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
一方、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴としている。なお、上記構成において、上記デジタル画像のレイアウトを示す情報は、当該デジタル画像を領域分割する際に生成されるセグメンテーションマップであってもよい。
ここで、デジタル画像の領域毎に特有の方法で画像処理する場合、領域の分析が正確であれば、各領域をより適切な方法で画像処理できる。したがって、例えば、画質向上を目的とした画像処理であれば、より画質を向上でき、例えば、圧縮率向上を目的とした画像処理であれば、より圧縮率を向上できる。
ただし、この場合は、領域に特有の方法で画像処理するため、領域の分析に失敗すると、その部分には、不適切な画像処理が行われる。これにより、逆に、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。なお、当該品質低下は、画質向上を目的とした画像処理であれば、画質の低下として、また、圧縮率向上を目的とした画像処理であれば、圧縮率の低下として顕れてしまう。
一方、デジタル画像全体を同一の方法で画像処理する場合は、各領域毎で見れば、上記領域毎に特有の画像処理よりも、画像処理の品質向上を見込むことができない。ただし、領域分割(セグメンテーション)を行わないので、領域分割の失敗に起因する画質低下が発生しない。
上記構成によれば、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度が計算され、上記いずれの画像処理を行うかが、上記計算された複雑度に応じて決定される。したがって、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を行い、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、領域毎に特有の画像処理を行うなど、複雑度に応じた画像処理を行うことができる。この結果、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程は、上記各セグメンテーションマップ毎に基づいた複雑度をそれぞれ計算し、それらの各複雑度に基づいて、上記処理方法決定工程にて使用される総合的な複雑度を計算してもよい。
上記構成では、互いに異なる複数の方法で領域分割が行われ、それらの結果に基づいて、総合的な複雑度が計算されるので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を領域分割して、その結果を示すセグメンテーションマップを生成するセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施され、上記画像処理システムが上記セグメンテーションマップの改善処理を行うマップ改善工程とを含んでいてもよい。
上記構成では、セグメンテーションマップの生成処理が、複雑度計算工程の前に行われるセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施されるマップ改善工程とに分けられている。したがって、セグメンテーション工程におけるセグメンテーションマップの生成方法を、領域毎に特有の方法で画像処理する際に必要な程度よりも簡単で、複雑度の計算に必要な程度の方法にすることができ、当該方法を実施する際の演算量を削減できる。
また、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成工程とを含んでいることを特徴としている。
当該構成では、デジタル画像全体を同一の方法で画像処理した結果とデジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせるので、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を合成結果に反映させる程度を大きく設定し、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、全体的な画像処理を合成結果に反映させる程度を小さく設定するなど、上記両画像処理の結果を、複雑度に応じて合成できる。この結果、上記両画像処理の一方を選択する構成と同様に、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
また、上記構成に加え、上記複雑度計算工程は、上記画像処理システムが、上記各領域毎に特有の方法に関連して設定された当該方法の信頼度に応じ、信頼度が低い程、デジタル画像の複雑度が低くなるように、上記複雑度を調整する調整工程を含んでいてもよい。
当該構成では、各領域毎に特有の方法の信頼度が低くなる程、すなわち、領域分割の失敗が、総合的な画像処理の品質を低下させやすいもの程、デジタル画像の複雑度が高くなるように、上記複雑度を調整する。したがって、各領域毎に特有の方法の信頼度に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
さらに、上記構成において、上記複雑度計算工程は、上記画像処理システムが、上記各領域のコンテンツ種別に応じて上記複雑度を調整する調整工程を含んでいてもよい。
当該構成では、例えば、各領域毎に特有の方法の信頼度が低くなることが推測されるコンテンツ種別であれば、複雑度を上昇させるなど、各領域のコンテンツ種別に応じて複雑度が調整される。この結果、各領域毎のコンテンツ種別に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
また、上記構成において、上記複雑度計算工程は、上記各領域毎に特有の方法に関連して設定され、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記画像処理システムが、上記複雑度を調整する調整工程を含んでいてもよい。
当該構成では、例えば、あるデバイスが特定の領域(例えば、ハーフトーンエリアなど)を効果的に処理し、改善できることを、上記処理能力データが示している場合は、その領域に関連する複雑度を低く調整するなど、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記複雑度が調整されるので、各領域に対する画像処理システムの処理能力に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整工程とを含んでいることを特徴としている。
当該構成では、例えば、より複雑なデジタル画像、すなわち、より高い改善度合い(例えば、セグメンテーションに基づいた画像処理など)で改善しようとすると誤った改善が発生して総合的な画像処理の品質を低下させる虞れがあるデジタル画像であれば、より低い改善度合い(例えば、全体的な改善処理や中間的な画像処理など)で改善するなど、複雑度に応じてデジタル画像を改善する際の改善度合いを調整できる。この結果、常に一定の改善度合いでデジタル画像を処理する構成と比較して、画像処理の品質を向上できる。
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程では、上記画像処理システムは、上記各セグメンテーションマップを含む画像情報毎に、当該デジタル画像の複雑度をそれぞれ計算し、それらの中から上記改善度合い調整工程で調整に使用する複雑度を選択してもよい。
当該構成では、互いに異なる複数の方法で領域分割し、その結果に基づいて算出された複雑度のいずれかによって、改善度合いを調整するので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程および上記調整工程は、各セグメンテーションマップ毎に実施されると共に、上記画像処理システムが、上記各セグメンテーションマップ毎に調整された改善度合いで実施された上記デジタル画像の改善処理の結果同士を、上記各セグメンテーションマップと、上記各複雑度との少なくとも一方に応じて組み合わせる合成工程とを含んでいてもよい。
当該構成では、互いに異なる複数の方法で領域分割して、その結果に応じて改善度合い調整された改善処理結果同士が、上記各セグメンテーションマップと上記各複雑度との少なくとも一方に応じて合成される。したがって、単一の方法で領域分割する構成よりも画像処理の品質を向上できる。
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいてもよい。
上記構成では、デジタル画像を統計処理した画像特徴に基づいて、デジタル画像の複雑度が概算され、それに応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかが決定される。したがって、上記複雑度が、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて計算される場合と同様、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、ラスタ画像における各画素の属性を決定する属性決定手段と、上記属性に基づいて画像複雑度測度を計算する複雑度測定手段とを備えていることを特徴としている。さらに、上記構成において、上記複雑度測定手段は、画像処理方法に関連して予め設定された、複雑度に関連する画像処理方法の特徴に応じて、上記複雑度を調整してもよい。また、上記構成において、上記複雑度測定手段は、第1および第2プロセスに関連して、予め設定された複雑度に関連する各プロセスの処理性能データに応じて、上記複雑度を調整すると共に、上記画像処理システムには、上記複雑度が閾値を上回っていれば上記第1プロセスを実施し、上回っていなければ上記第2プロセスを実施する処理手段が設けられていてもよい。
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、上記デジタル画像の複雑度関連属性を決定する属性決定手段と、セグメンテーションに基づく画質改善処理のための処理性能データ、および、全体的な画質改善処理のための処理性能データを取得する処理性能データ取得手段と、上記複雑度関連属性および処理性能データに基づいて、上記デジタル画像の複雑度測度を計算する複雑度計算手段と、上記複雑度度が閾値を上回っていれば、上記全体的な画質改善処理を実施し、上回っていなければ、上記セグメンテーションに基づく画質改善処理を実施する処理手段とを備えていることを特徴としている。
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成手段とを備えていることを特徴としている。
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整手段とを備えていることを特徴としている。
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
上記各画像処理システムは、上記各方法のいずれかを実施できるので、各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像の属性を決定する工程aと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程cと、上記複雑度が基準を満たしている場合だけ、上記分析処理に基づいて画質改善処理を実施する工程dとを含んでいる。また、上記構成において、上記改善処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記改善処理が、全体的画質改善であってもよい。また、上記構成において、上記分析処理性能データが、エラーの尤度に関連していてもよい。さらに、上記構成において、上記分析処理性能データが、目に見えるエラーの尤度に関連していてもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程aと、上記属性に基づいて上記画像の複雑度を推定する工程bと、上記複雑度が基準を満たしている場合は、上記画像を処理する工程cとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であってもよい。
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、画像の属性を決定する工程aと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定する工程cと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施する工程dとを含んでいる。また、上記構成において、上記処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記処理が、全体的画質改善であってもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程aと、上記属性に基づいて上記画像データセットについての複雑度測度を推定する工程bと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程cとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であり、上記処理がセグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴が、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴が、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴が、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴が、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴が、背景領域のクロミナンス統計を含んでいてもよい。
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程aと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記処理性能データに基づいて上記画像データセットについての複雑度測度を推定する工程cと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程dとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果を生じる、複数の画像分析処理を画像に実施する工程aと、上記分析処理によって生成された上記独立した結果に基づいて、上記画像についての複数の複雑度測度を測定する工程bと、上記セグメンテーション処理の1つを、それに関連付けられた複雑度測度に基づいて選択する工程cと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程dとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程aと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程bと、上記セグメンテーション処理の1つを、それに関連付けられた複雑度測度に基づいて選択する工程cと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程dとを含んでいる。さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、複数のセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程aと、画像データセットの属性、上記セグメンテーション処理および上記処理性能データに基づいて、非オブジェクトベースの画像データセットについての複数の複雑度測度を測定する工程bと、上記セグメンテーション処理の1つを、それに関連付けられた複雑度測度に基づいて選択する工程cと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画像データセットの改善を実施する工程dとを含んでいる。また、上記構成において、上記選択された改善処理の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。さらに、上記構成において、上記属性が、変換データ関連特徴であってもよい。また、上記構成において、上記属性が、ヒストグラム特徴であってもよい。
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程aと、上記セグメンテーション処理によって生じる、上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定する工程bと、上記各画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の画質改善された画像を生じさせる工程cと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程dとを含んでいる。
さらに、上記構成において、上記組み合わせ工程が、改善された画像をそれらの複雑度測度に比例して組み合わせる工程を含んでいてもよい。また、上記構成において、上記画像分析処理の少なくとも1つが、全体的分析処理であってもよい。さらに、上記構成において、上記画像が、非オブジェクトベースのデータを示していてもよい。また、上記構成において、上記の複雑度測度は、それに関連付けられた画像分析処理のための処理性能データに関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリア境界に関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリア形状に関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリアサイズに関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリアのトポロジカルプロパティに関連していてもよい。さらに、上記構成において、上記複雑度測度が、非矩形な接続された構成要素の数に関連していてもよい。また、上記構成において、上記複雑度測度が、全画素数に対するハーフトーン画素の数の比率に関連していてもよい。さらに、上記構成において、上記複雑度測度が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域の輝度統計に関連していてもよい。さらに、上記構成において、上記複雑度測度が、前景領域の輝度統計に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域のクロミナンス統計に関連していてもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程aと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定する工程bと、上記セグメンテーション処理に関する複数の画質改善処理を上記画像データセットに実施して、複数の改善された画像を生じさせる工程cと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程dとを含んでいる。また、上記構成において、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得てもよい。
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程aと、上記画像分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記画像分析処理によって生成される独立した結果と上記処理性能データとの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程cと、上記画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の改善された画像を生じさせる工程dと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程eとを含んでいる。
さらに、上記構成において、上記画質改善処理の各々の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。また、上記構成において、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも1つに比例して変更してもよい。
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程aと、第1処理と第2処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定する工程cと、上記画像に上記第1処理を実施する工程dと、上記画像に上記第2処理を実施する工程eと、上記複雑度が基準を満たしていれば、上記第1処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像を形成する工程fと、上記複雑度が上記基準を満たしていなければ、上記第2処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像を形成する工程gとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程aと、複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程cと、上記画像に上記複数の処理を実施する工程dと、上記複数の処理の少なくとも1つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程eとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程aと、上記画像データセットに上記第1処理を実施する工程bと、上記画像データセットに上記第2処理を実施する工程cと、上記複雑度が基準を満たしていれば、上記第1処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像データセットを形成する工程dと、上記複雑度が上記基準を満たしていなければ、上記第2処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像を形成する工程eとを含んでいる。
さらに、上記構成において、上記第1処理が、全体的画質改善であり、上記第2処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記基準は、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程aと、上記属性に基づいて上記画像の複雑度を推定する工程bと、上記画像に複数の処理を実施する工程cと、上記複数の処理の少なくとも1つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程dとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程aと、第1処理と第2処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程cと、上記画像に上記第1処理を実施する工程dと、上記画像に上記第2処理を実施する工程eと、上記複雑度が閾値を上回っていれば、上記第1処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像を形成する工程fと、上記複雑度が上記閾値を上回っていなければ、上記第2処理の効果がより大きくなるように、上記第1処理と上記第2処理との結果を混合して、混合処理された画像を形成する処理gとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程aと、第1処理と第2処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程cと、上記画像に上記複数の処理を実施する工程dと、上記複数の処理の少なくとも1つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程eとを含んでいる。
さらに、上記構成において、上記複数の処理の少なくとも1つが、全体的画質改善を含んでいてもよい。また、上記構成において、上記複数の処理の少なくとも1つが、セグメンテーションに基づく画質改善を含んでいてもよい。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程aと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての複雑度測度を推定する工程bと、上記複雑度測度が基準を満たしていれば、上記画像データセットに高精度なセグメンテーション処理を実施する工程cとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、画像に初期段階のセグメンテーション処理を実施する工程aと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像についての複雑度測度を推定する工程cと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施する工程dとを含んでいる。
また、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果を使用して、セグメンテーションに基づく画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記複雑度測度が代替基準を満たしていれば、全体的な画質改善を実施する工程をさらに含んでいてもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーションを実施する工程aと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像データセットについての複雑度測度を推定する工程cと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施し、上記高精度なセグメンテーション処理の結果を使用してセグメンテーションに基づく画質改善を実施する工程dとを含んでいる。
また、上記構成において、上記複雑度測度が上記基準を満たしていなければ、全体的な画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記基準が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。また、上記構成において、上記基準には、上記複雑度が閾値未満に留まっていることが含まれていてもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程aと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程bと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程cと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程dと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて画質改善処理を実施する工程eとを含んでいる。また、上記構成において、上記高精度な複雑度測度が、高精度な代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が、初期段階の代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程aと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて上記画像についての初期段階の複雑度測度を推定する工程cと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程dと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像についての高精度な複雑度測度を推定する工程eと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程fとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程aと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程cと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程dと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程eと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程fとを含んでいる。
また、上記構成において、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が上記初期段階の測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程aと、上記セクションのある1つのセクションにセグメンテーションを実施する工程bと、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定する工程cと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程dと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程b〜工程dを繰り返す工程eと、上記累積複雑度測度が上記基準を満たしていれば、上記工程eを終了し、第1画質改善処理を実施する工程fと、上記累積複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施する工程gとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程aと、第1画質改善処理と第2画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記セクションのある1つのセクションにセグメンテーションを実施する工程cと、上記セグメンテーションの結果および上記処理性能データに基づいて上記セクションについての複雑度測度を推定する工程dと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程eと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程c〜工程eを繰り返す工程fと、上記累積複雑度測度が上記基準を満たしていれば、上記工程fを終了し、上記第1画質改善処理を実施する工程gと、上記累積複雑度測度が上記基準を満たしていなければ、上記第2画質改善処理を実施する工程hとを含んでいる。
また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、セグメンテーションを実施する上記工程、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程aと、上記セクションのある1つのセクションにセグメンテーションを実施する工程bと、第1画質改善処理と第2画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程cと、上記セグメンテーションの結果および上記処理性能データに基づいて、上記セクションについての複雑度測度を推定する工程dと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程eと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程b〜工程eを繰り返す工程fと、上記累積複雑度測度が上記基準を満たしていれば、上記工程fを終了し、上記第1画質改善処理を実施する工程gと、上記累積複雑度測度が上記基準を満たしていなければ、上記第2画質改善処理を実施する工程hとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像を複数のセクションに分割する工程aと、上記セクションの少なくとも1つについての複雑度測度を推定する工程bと、推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定する工程cと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程bおよび工程cを繰り返す工程dと、上記累積複雑度測度が上記基準を満たしていれば、第1画質改善処理を実施する工程eとを含んでいる。さらに、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程bおよび累積複雑度測度を決定する上記工程cを、上記各セクションに対して連続的に実施してもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程aと、上記セクションの少なくとも1つについての複雑度測度を推定する工程bと、上記推定が既に実施された各セクションの累積複雑度を示す累積複雑度測度を決定する工程cと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程bおよび工程cを繰り返す工程dと、上記累積複雑度測度が上記基準を満たしていれば、上記第1画質改善処理を実施する工程eとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程aと、少なくとも1つの第1画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記セクションの少なくとも1つについての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定する工程cと、上記推定が既に実施された各セクションの複雑度を示す累積複雑度測度を決定する工程dと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程cおよび工程dを繰り返す工程eと、上記累積複雑度測度が上記基準を満たしていれば、上記第1画質改善処理を実施する工程fとを含んでいる。
さらに、上記構成において、上記累積複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、上記累積複雑度測度が閾値を上回れば上記基準が満たされてもよい。さらに、上記構成において、上記第1画質改善処理が、全体的画質改善であってもよい。また、上記構成において、上記第2画質改善処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。さらに、上記構成において、上記セクションを、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序で処理してもよい。
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程aと、第1画質改善処理と第2画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記処理性能データに基づいて、上記セクションの1つについての複雑度測度を推定する工程cと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程dと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程cおよび工程dを繰り返す工程eと、上記累積複雑度測度が上記基準を満たしていれば、上記第1画質改善処理を実施する工程fと、上記累積複雑度測度が上記基準を満たしていなければ、上記第2画質改善処理を実施する工程gとを含んでいる。
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程aと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程bと、上記複雑度測度が基準を満たしている場合だけ、領域に画質改善処理を実施する工程cとを含んでいる。
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像データセットをコンテンツ領域に分割する工程aと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記領域の各々についての複雑度であって、上記処理性能データに関連している複雑度を推定する工程cと、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施する工程dとを含んでいる。また、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記画像に全体的画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、複数の上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が第2基準を満たしていれば、上記領域に代替画質改善処理を実施する工程をさらに含んでいてもよい。
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程aと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程bと、上記画質改善処理の様相が領域についての上記複雑度測度に比例して可変するように、可変の画質改善処理を当該領域に実施する工程cとを含んでいる。
上記各画像処理方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
また、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程aと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程cと、上記複雑度が基準を満たしていれば、上記分析処理に基づいて上記画像に画質改善処理を実施する工程dとを含んでいる。
さらに、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程aと、第1処理と第2処理とを含む複数の分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程bと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程cと、上記複雑度が閾値を上回っていれば、上記第1処理に基づいた画質改善を実施する工程dと、上記複雑度が、上記閾値を上回っていなければ、上記第2処理に基づいた画質改善処理を実施する工程eとを含んでいる。また、上記構成において、上記第1処理が、全体的画質改善であり、上記第2処理が、セグメンテーションに基づく画質改善であってもよい。上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
上記各処理選択方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の処理を行う際に、複雑度を計算し、それに応じた処理を選択できるので、処理の品質を向上できる。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)非オブジェクトベースの画像の属性を決定するための画像分析器と、b)上記属性に基づいて上記画像の複雑度を推定するための推定器と、c)上記複雑度が基準を満たしている場合に、上記画像に画質改善処理を実施するための処理器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)画像の属性を決定するための画像分析器と、b)分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、c)上記属性および上記分析処理性能データに基づいて上記画像の複雑度を推定するための推定器と、d)上記複雑度が基準を満たしている場合は上記分析処理に基づいて画質改善処理を実施するための処理器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、a)画像についての非オブジェクトベースの画像データの属性を決定するための画像分析器と、b)上記属性に基づいて上記画像の複雑度を推定するための推定器と、c)上記画像に複数の処理を実施するための処理器と、d)上記複数の処理の少なくとも1つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、a)画像の属性を決定するための画像分析器と、b)処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、c)上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定するための推定器と、d)上記画像に複数の処理を実施するための処理器と、e)上記複数の処理の少なくとも1つが上記複数の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、a)画像を示す非オブジェクトベースのデータに、初期段階のセグメンテーション処理を実施するための初期段階セグメンテーション処理器と、b)上記初期段階のセグメンテーション処理の結果に基づいて、上記画像についての複雑度測度を推定するための推定器と、c)上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器とを備えている。さらに、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器をさらに備えてもよい。
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)初期段階のセグメンテーション処理を画像に実施するための初期段階セグメンテーション処理器と、b)高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、c)上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、d)上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器と、e)上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器とを備えている。
また、上記構成において、上記基準には、上記複雑度測度が閾値未満に留まっていることが含まれていてもよい。
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記セクションのある1つのセクションにセグメンテーションを実施するセグメンテーション処理器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション処理器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累算複雑度測度が上記基準を満たしていれば、第1画質改善処理を実施し、上記累算複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施するための処理器を備えている。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記セクションのある1つのセクションにセグメンテーションを実施するセグメンテーション器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対してそれぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、上記セグメンテーション器、上記推定器および上記累計器による処理を終了して、第1画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施するための処理器を備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記複数のセクションのある1つのセクションについての複雑度測度を推定するための推定器と、上記推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、全てのセクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第1画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施するための処理器を備えている。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記複数のセクションの1つについての複雑度測度を推定するための推定器と、上記推定が実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、セクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第1画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第2画質改善処理を実施するための処理器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、a)画像の属性を決定するための属性抽出器と、b)処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、c)上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、d)上記複雑度測度に比例して可変する効果を有する上記処理を、上記画像に実施するための処理器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、a)非オブジェクトベースの画像データセットの属性を決定するための属性抽出器と、b)上記属性に基づいて上記画像データセットについての複雑度測度を推定するための推定器と、c)上記複雑度測度に比例して可変する効果を有する処理を上記画像データセットに実施するための処理器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、b)上記分析処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、c)上記セグメンテーション処理の1つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、d)上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための改善器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するためのセグメンテーション処理器と、上記セグメンテーション処理によって作成される上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を推定するための推定器と、上記セグメンテーション処理の1つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための処理器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、b)上記セグメンテーション処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、c)上記画像分析処理に関連している複数の画質改善処理を上記画像に実施するための改善器と、d)上記改善された画像を、最終的な改善された画像になるように組み合わせるための結合器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するための処理器と、上記セグメンテーション処理によって生成された上記独立したセグメンテーションの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定するための測定器と、上記画像データセットに複数の画質改善処理を実施して、複数の改善された画像を生成するための改善器と、上記改善された画像を組み合わせて、最終的な改善された画像を得るための結合器とを備えている。
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、a)画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、b)上記領域の各々について、上記領域属性に基づく複雑度測度を推定するための推定器と、c)上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、上記領域の各々についての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定するための推定器と、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
上記各画像処理装置は、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
ところで、上記画像処理システムは、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記複雑度測定方法、処理選択方法、あるいは、画像処理システムによって実施される上記画像処理方法のいずれかの各工程をコンピュータに実行させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
これらのプログラムがコンピュータによって実行されると当該コンピュータによって上記各方法が実施される。したがって、上記各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
本発明によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際、画像処理の品質を向上させるための複雑度を計算したり、画像処理の品質を向上できる。
本発明の実施形態は、画像複雑度推定(complexity estimation)および複雑度に基づく画像処理のための方法およびシステム、並びに、ドキュメント画像の複雑度を推定し、複雑度の推定を画像処理決定(例えば、処理の選択)の基本として使用するためのシステムおよび方法を含んでいる。これらのシステムおよび方法には、複雑度推定および複雑度に基づく選択方法、および、それを行うシステムが含まれている。本発明の目的、特徴(features)および利点は、添付の図に関連した以下の本発明の詳しい説明を考慮すれば、より簡単に理解されるであろう。
まず、最初に、本明細書で参照する図面について簡単に説明する。すなわち、図1は、従来技術の複雑度演算方法を示す図面である。
図2は、画像複雑度が増すに従ってセグメントベースの改善(セグメンテーションに基づく改善;segmentation-based enhancement)が画像品質に及ぼす効果を示すグラフである。
図3は、本発明の実施形態を示すものであり、ラスタベースの(ラスタに基づいた;raster-based)の複雑度決定方法を示す図面である。
図4は、本発明の実施形態を示すものであり、アルゴリズムの特徴(algorithm characteristics)を用いたラスタベースの複雑度決定方法を示す図面である。
図5は、本発明の実施形態を示すものであり、変換領域データを採用したラスタベースの複雑度決定方法を示すチャートである。
図6は、本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたオブジェクトベースの(オブジェクトに基づいた;object-based)複雑度決定方法を示す図面である。
図7は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御するために使用するシステムを示す線図である。
図8は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御し、全体的な改善とセグメントベースの改善との組み合わせを制御するために使用するシステムを示す線図である。
図9は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な(refined )セグメンテーションを実施するシステムを示す線図である。
図10は、本発明の実施形態を示すものであり、連続した画像セクションのための、セグメントベースの複雑度測度を決定し、画質改善を制御するために累積複雑度測度を採用するシステムを示す線図である。
図11は、本発明の実施形態を示すものであり、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定するシステムを示す線図である。
図12は、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定し、連続した画像セクションを使用して複雑度を計算するシステムを示す線図である。
図13は、本発明の実施形態を示すものであり、複雑度測度を決定し、これらの測度を、改善処理における利得制御として使用するシステムを示す線図である。
図14は、複数(multiple )のフィルター構成方法を示す表の図面である。
図15は、本発明の実施形態を示すものであり、領域特有の(region-specific )複雑度測度を決定するシステムを示す線図である。
図16は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定するシステムを示す線図である。
図17は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定し、最終的な改善された画像に組み合わせてもよい複数の調整された改善を実施するシステムを示す線図である。
図18は、本発明の実施形態を示すものであり、複数の、初期の、大まかなセグメンテーション方法を使用して、複数の複雑度測度を決定するシステムを示す線図である。
図19は、計算された複雑度測度を、人間の観察者による主観的複雑度決定と共にプロットした図面である。
図20は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な(refined )セグメンテーションおよび高精度な複雑度決定を実施するシステムを示す線図である。
上記の図を参照すれば、本発明の各実施形態の説明を最もよく理解できるであろう。なお、上記の図では、全体にわたり、類似部分には類似番号が付けられている。上記の図は、この発明を実施するための最良の形態の一部に確実に含まれている。
全体として説明されると共に本願の図に示された本発明の構成要素が幅広く様々な異なった形態にアレンジし設計できるということは、簡単に理解されるであろう。したがって、本発明の方法およびシステムの実施形態についての以下のより詳しい説明は、本発明の範囲を制限するものではなく、単に、本発明の実施例を表すものである。
この明細書で説明する実施形態の多くは、複写(コピー;copying)および画像複製(reprographics)の分野からの例であって、これらの実施形態において、セグメンテーションは、最適化された、ページ要素の選択的な改善によって、画像品質を向上するために使用されている。しかしながら、これらは、単なる実施例であり、決して、セグメンテーション主導型の(segmentation-guided)処理(例えば、圧縮、アーカイブ(保管;archiving)、検索(retrieval)、および、その他)を利用する他の分野(domain)へ、本発明の範囲を広げることを制限するものではない。
本発明の各実施形態の要素は、ハードウェア、ファームウェアおよび/またはソフトウェアに実施されていてもよい。より詳細には、各実施形態のシステムの構成要素は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit )、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである各実施形態のシステムの構成要素となる装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、各実施形態のシステムの構成要素となる装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、テープ系、ディスク系、カード系、あるいは、半導体メモリ系などを用いることができる。上記テープ系の記録媒体には、磁気テープやカセットテープ等が含まれる。また、ディスク系の記録媒体としては、磁気ディスク、または、光ディスクが挙げられる。より詳細には、上記磁気ディスクとしては、フロッピー(登録商標)ディスク、または、ハードディスク等が挙げられ、上記光ディスクとしては、CD−ROM、MO、MD、DVD、CD−R等が挙げられる。さらに、上記カード系の記録媒体としては、ICカード(メモリカードを含む)または光カード等が挙げられる。また、上記半導体メモリ系の記録媒体としては、マスクROM、EPROM、EEPROMまたはフラッシュROM等が挙げられる。
また、各実施形態のシステムの構成要素となる装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、WAN(Wide Area Network )、ISDN(Integrated Service Digital Network)、VAN(Value Added Network )、CATV(Cable Television)通信網、仮想専用網(virtual private network )、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
ここで開示する実施例は、これらの形態の1つだけについて説明するものであるが、当業者は、これらの要素を、本発明の範囲内に留まりつつ、これらの形態のいずれかとして実施できる。
セグメンテーション処理が適切な場合か否かを決定するという問題には(言い換えると、セグメンテーションの信頼性(reliability)および/またはコスト効率性には)、あまり関心が持たれていなかった。
本発明の各実施形態は、セグメンテーションアルゴリズムの信頼性および/または有益性(benefit )を算出するという問題、および、続いて処理を適切に適合させるという問題に言及している。これらの実施形態の中には、セグメンテーション処置が、非常にエラーを引き起こしやすい、または、完成させるのにコストがかかりすぎるといったケースを明確に識別する実施形態もある。
印刷や画像複製や、その他の多くのアプリケーションでは、ドキュメントの複雑度が中程度の場合に、画像品質に対するセグメンテーションの有益性が最大(maximum )となる。図2に示すように、略点P2までは、ページレイアウトの複雑度が増すにつれて、有益性も増大する。その後は、セグメンテーションエラーの可能性が高くなり、セグメンテーションタスク自体がより困難となるので、有益性は低減する。より具体的には、このようなエラーにより、多くの場合、アーティファクト(artifacts;人工生成物)が出力ページに現れ、このことは、セグメンテーションによって得られる任意の有益性を否定する可能性がある。なお、アーティファクトとは、ディジタル画像処理時に生ずる歪みの総称である。
図2に、セグメンテーションされた改善の有益性が「セグメンテーションされていない」または全体的な改善の有益性を下回る概算点を、画像品質曲線と垂直な線L4との交差点で示す。この概算点は、ページレイアウトの複雑度と、セグメンテーションアルゴリズムの正確な特質(nature)との双方に依存するものである。一般的に、この点は、実験的に決定されている。
セグメンテーションを有益性のある場合だけに限定するため、または、セグメンテーションをより最適な処理に調整するため、本発明の各実施形態は、ページレイアウトの複雑度の測度を演算してもよい。このような測度は、ページレイアウトを含めた、ドキュメントのページの全体的な複雑度を決定できる。
「ページ複雑度」、「ページレイアウト複雑度」および「画像複雑度」という用語は、本願の明細書および請求項の全体に渡って同意語として使用されている。これら全ての用語は、ドキュメントの要素またはコンテンツ種別(例えば、テキスト、グラフィックス、ハーフトーン(halftone)要素、ビットマップ要素および他の要素のエリア)の量、サイズ、幾何学的関係、および、他の属性(attributes)に関連(refer )しており、画像の複雑度測度は、これらの特徴や属性に基づいて算出される。
すなわち、複雑度を計算する際に参照する画素の属性(画像の複雑度関連属性)として好適に使用される属性には、例えば、セグメンテーションに関する特徴が含まれている。また、当該セグメンテーションに関する特徴としては、例えば、セグメンテーションエリア境界、セグメンテーションエリア形状、セグメンテーションエリアサイズ、セグメンテーションエリアのトポロジカルプロパティ(segmentation area topological properties )、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対するハーフトーンにおけるテキスト画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、背景領域の輝度統計、前景領域の輝度統計、背景領域のクロミナンス(chrominance;色度)統計、あるいは、それらの組み合わせなどが好適に使用される。ここで、いずれの特徴または属性を用いて複雑度を算出するかは、画像処理部を搭載するシステムなどの必要に応じて適切に選択され、当該システムにおいて、複雑と判断するために必要なものを使用すればよい。
なお、セグメンテーションエリアのサイズを示す情報としては、例えば、構成要素のサイズ、全画素数に対する領域画素数の割合などが挙げられる。また、上記セグメンテーションエリアのトポロジカルプロパティを示す情報としては、幾何学的な関係、領域の形状(regional geometry )、領域の連続性などが挙げられ、さらに詳細には、ハミング距離、与えられたコンテンツタイプの結合された2つの領域の重心間の距離などが挙げられる。また、上記あるいは後述する、非矩形な接続された構成要素の数、前景での接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、および、全画素数に対するハーフトーンにおけるテキスト画素の数の比率などは、上記ドキュメントの要素またはコンテンツ種別の量に関する特徴または属性でもある。また、上記量に関する特徴または属性としては、例えば、(1) ハーフトーンで構成された矩形領域の数・連続階調領域より構成される矩形領域の数、(2) ハーフトーンで構成された非矩形領域の数・連続階調領域より構成される非矩形領域の数、(3) ハーフトーン画素のドキュメントサイズに対する比率、(4) 非矩形領域におけるハーフトーン画素のドキュメントサイズに対する比率、(5) 下地ハーフトーン・ベタ上の文字画素の数なども好適に使用できる。さらに、上記背景領域の輝度統計、前景領域の輝度統計、および、背景領域のクロミナンス統計は、濃度に関する特徴または属性でもあり、それらを示す情報としては、例えば、テキストエリアのある場合、および/または、無い場合の背景領域の輝度統計の情報、テキストエリアのある場合、および/または、無い場合の前景領域の輝度統計の情報、並びに、テキストエリアのある場合、および/または、無い場合の背景領域のクロミナンス統計の情報などが挙げられる。
より詳細に説明すると、上記セグメンテーションエリアの境界またはセグメンテーションエリアの形状を、予め定められた境界または形状で近似したときの誤差が高い程、または、近似したときの近似度合いが低い程、あるいは、上記境界または形状の滑らかさが低い程、上記複雑度をより高く算出する方法が、好ましく使用される。なお、近似方法の一例としては、例えば、多項式やスプラインによって、領域の境界を近似する方法、あるいは、矩形化処理によって領域を近似する方法などが挙げられる。また、上記滑らかさの測度としては、例えば、上記誤差などを好適に使用できる。さらに、矩形化処理によって領域を近似したときの近似度合いに応じた複雑度算出方法としては、例えば、各構成要素に対する矩形または非矩形の特徴から、非矩形の構成要素数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。なお、複雑度が大きいとは、より複雑であることを意味しており、以下では、一例として、複雑度が大きい程、複雑度を示す値を大きくする場合を例にして説明する。
例えば、上記誤差が高くなれば、あるいは、上記領域の境界または形状が滑らかさでなくなれば、ジャギー境界を滑らかなものだとみなし、正確に境界ピクセルを拡張することが難しくなる。したがって、この場合、例えば、多項式やスプラインによって実際の境界に近似し、実際の境界と近似されたものとの間の誤差が高い程、複雑度を高く設定することが好ましい。
また、ある改善プロセスでは、その領域が凸状ではないならば、改善プロセスはさらに難しく、計算的にもさらに複雑になることがある。したがって、その場合、上記セグメンテーションエリアの境界、あるいは、セグメンテーションエリアの境界が凸状でなければ、上記複雑度をより高く設定する方法も、好適に使用できる。
一方、上記セグメンテーションエリアのサイズに応じた複雑度の算出方法としては、例えば、全画素数に対して非矩形領域におけるハーフトーン画素数をカウントし、全画素数に対する非矩形領域におけるハーフトーン画素数の割合を計算することで、割合が大きくなる程、複雑度を大きく設定する方法などが挙げられる。
また、上記セグメンテーションエリアのトポロジカルプロパティに応じた複雑度の算出方法としては、例えば、画素を横方向に見ていったときに、頻繁にセグメンテーション結果が変化しているものは、多くの構成要素が存在しているということを表しているので、この変化の回数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。また、例えば、矩形のハーフトーン領域の配置が、ほぼ等間隔に横に1列に並んでいるとすると、ドキュメントのレイアウトとしては、単純な部類に入る。逆に、不規則に散らばっていたりすると、テキストの配置も考慮した場合、複雑なドキュメントレイアウトと考えられる。したがって、各コンテンツにおける構成要素の配置の直線性および/または間隔を計算し、直線や等間隔の値からの標準偏差の和を求め、当該和が大きくなるほど複雑度が大きくする方法も好適に使用できる。
また、上記量に応じた複雑度の算出方法としては、非矩形に接続された構成要素の数、および/または、前景での接続された構成要素の数が大きくなるに従って、複雑度を大きくする方法が挙げられる。また、全画素数に対するハーフトーン画素の数の比率、および/または、全画素数に対する非矩形領域におけるハーフトーン画素数の割合が大きくなるほど、複雑度を大きくする方法も好適に使用できる。
同様に、上記全画素数に対するハーフトーンにおけるテキスト画素の数の比率に応じた複雑度の算出方法としては、例えば、全画素数に対して、ハーフトーン上のテキスト画素数をカウントし、全画素数に対するハーフトーン上のテキスト画素数の割合を計算すると共に、当該割合が大きくなる程複雑度を大きくする方法が挙げられる。
さらに、上記濃度に応じた複雑度の算出方法としては、例えば、輝度情報の標準偏差が高ければ、複雑度の値を高くする方法が挙げられる。例えば、背景領域が輝度の勾配を持つならば、標準偏差は非常に高くなり、そのような背景領域を改善することは難しい。このように、テキストあり、および/または、なしでの背景領域における輝度値の標準偏差は、この領域に大きな変化があるか否かを示しているので、背景領域の輝度値の標準偏差が高い場合、複雑度の値を高くする方法が好適に使用される。
一方、上記濃度に応じた複雑度の算出方法としては、輝度ヒストグラムに応じて複雑度の値を変更する方法も挙げられる。例えば、テキストを持つ背景領域の場合、輝度ヒストグラムが双峰的なら、それはシングルカラーテキストキャラクタの存在を意味していると考えられる。一方、そのヒストグラムが一様に分散されるなら、それは、多くの異なるカラーテキストがドキュメントに存在すると結論を下すことができる。したがって、輝度ヒストグラムに応じて複雑度の値を算出することによって、ドキュメントの複雑度を好適に算出できる。
なお、このプロパティを測定するために使われ得る1つの特徴はエントロピーである。ここで、エントロピーとは、ヒストグラムから計測される特徴量の1つであり、多くの輝度(色度)レベルの画素が多く存在するほど、大きな値となる。また、当該輝度のエントロピーEは、輝度をL、各輝度レベルの度数をP(L)とするとき、E=ΣP(L)logP(L)により算出できる。
また、複雑度測度(complexity measure)は、セグメンテーションアルゴリズム、または、可能なアルゴリズムの設定などの代替処理技術(alternative processing techniques )のエラー尤度(error likelihood)を考慮してもよい。いったん決定したら、この測度を、「セグメンテーションなどの処理工程を後続の改善処理に適用したほうがよいかどうか」を決定するために使用してもよい。その結果、エンハンスメント・アーティファクト(enhancement artifacts )が回避される。複雑度測度を使用して、特定のアプリケーションに対して使用する処理の種別または範囲を決定してもよい。なお、当該処理には、セグメンテーションが含まれていてもよく、他の分析処理であってもよいが、これに制限されるものではない。なお、複雑度測度を測定または推定する際に考慮される処理性能データは、上記エラー尤度に関連するものであってもよいし、目に見えるエラーの尤度に関連しているもの、あるいは、他の処理性能データであってもよい。
「コンテンツ領域(region)」または「領域」という用語は、エリア(area;区域)、または、単一のコンテンツ種別を含むエリアのグループを指している。例えば、ハーフトーン領域は、画像の全てのハーフトーン要素を含んでいてもよい。この全てのハーフトーン要素は、複数の連続する、または、断続するエリアに渡って分布していてもよい。
本願の明細書および特許請求の範囲で使用されている、「ラスタデータ」、「ビットマップデータ」および「画素データ」という用語は、基本的な絵素(picture elements)または画素(pixels)に関連して、文書または画像を定義する、文書または画像データを指している。これらの用語、および、より一般的な用語である「非オブジェクトベースの(non-boject-based)データ」は、所定のコンフィギュレーションに複数の画素を含むオブジェクトよりもむしろ基本的な画像画素に直接関連する画像または文書データを指すために使用してもよい。非オブジェクトベースのデータは、画素ベースの画像または文書に関連する、ストリーミングデータ、および、変換係数などの変換ドメインデータを含んでいる。プリンタジョブ言語コマンドおよびグラフィックエンジンレンダリング言語コマンドは、典型的には、オブジェクトベースのデータである。
ページセグメンテーションなどの画像処理技術の効果は、ページおよびページのレイアウトの複雑度と、処理(例えば、セグメンテーション)のアルゴリズムの正確な特質との双方に依存している。要因(factors)は、時間およびメモリーに関する資源コスト(resource costs)、および、分類タスク自体の成功または失敗率を含んでいる。
しかしながら、セグメンテーションの場合には、特定のアルゴリズムに関係なく、レイアウト複雑度があるレベルに達したら、セグメンテーションの有益性が減少する。有益性の減少は、単に、分類タスク自体が徐々に困難になるために生じることもある。また、有益性の減少は、境界アーティファクト(boundary artifacts)が画像品質を著しく劣化させる程、セグメンテーションエリア境界が数多くなる場合に生じることもある。収益(returns )を減少する理由とは関係無く、ページまたはページレイアウトの複雑性が、あるレベルを超えて増加するにつれて、セグメンテーションの有益性は、減少し始める。
したがって、セグメンテーションアルゴリズムまたはアルゴリズムのグループなどの、与えられた処理では、ページレイアウトの複雑性の点から、特定のアルゴリズムまたはグループのアプリケーションが有益となる場合であるか、および、画像品質を向上しない場合であるかを決定できる。
本発明の実施形態を、図3を参考にしながら説明する。当該実施形態に係るシステムは、上述した各分野において画像処理のために使用される画像処理システムであって、当該システムに含まれる画像処理部は、ページまたはセクション(section;部分)に対する、非オブジェクトベースの(NOB)データ(例えば、ラスタデータ)を受信し、読み込む(S20)。次に、上記画像処理部は、このNOBデータ(ラスタデータなど)を分析して、コンテンツ種別、または、ページまたはセクション中にコンテンツ種別が存在する尤度を識別する(S22)。様々なコンテンツ種別が、最終的な複雑度要因に対して、様々に影響を及ぼしてもよい。この工程S22では、各種別またはその存在の尤度が識別される。さらに、上記画像処理部は、各コンテンツ種別領域を決定し、各コンテンツ種別領域の特徴を決定する(S24)。コンテンツ種別が識別されているので、上記S24において、上記画像処理部は、各種別の要素を画像のエリアに関連付けると共に、指定のコンテンツ種別のために累積されたエリアを、コンテンツ種別領域へ編成してもよい。また、上記画像処理部は、各種別の要素を画像のエリアに関連付け、それらのエリアを各コンテンツ種別領域としてもよい。さらに、上記S24において、後述するS26における画像複雑度測度の上記計算のために、上記ラスタデータの属性に基づいて、および、上記コンテンツ種別に関連する情報を使用して、上記ラスタデータにおけるコンテンツ種別を識別してもよい。また、上記画像処理部は、各コンテンツ種別領域の特徴を、これらの領域の分析によって決定してもよい。次に、S26において、上記画像処理部は、複雑度要因を、領域特徴および他のデータに基づいて計算する。
複雑度要因は、典型的には、コンテンツ種別領域特徴に関連している。当該コンテンツ種別領域特徴としては、例えば、領域サイズ、形状、量、濃度、領域幾何学、領域連続性、および、他の領域特徴などが挙げられる。また、複雑度要因は、他のページ、セクションまたは画像の特徴、および、複雑度要因を参照して選択または制御される処理の特徴にも関連していてもよい。ラスタデータから計算される複雑度要因を、ラスタ関連複雑度要因と呼ぶこともある。
ここで、複雑度要因は、複雑度要因が影響を及ぼすであろう処理またはアルゴリズムに関連していてもよい。関連している場合の実施形態を図4に示す。当該実施形態に係るシステムに含まれる画像処理部は、ラスタのページまたはセクションのデータを読み込み(S30)、コンテンツ種別を識別する(S32)。また、上記画像処理部は、コンテンツ領域を識別し、領域特徴を決定する(S34)。さらに、上記画像処理部によって、複雑度要因の影響を受けるであろうアルゴリズムまたは処理の特徴が決定され(S36)、当該特徴は、複雑度要因計算法(complexity factor calculus)で使用される。これらのアルゴリズムの特徴は、コンテンツ種別または種別に関する特定アルゴリズムの信頼性、または、他のデータを含んでいてもよい。アルゴリズムおよび領域特徴をいったん決定したら、上記画像処理部は、アルゴリズム関連複雑度要因を計算できる(S38)。
一例として、網点上文字(例えば、印刷部の写真上の文字や地図の文字部など)検出アルゴリズムの信頼性が、ドキュメント内における網点領域の大きさや数に依存しているとする。この場合、例えば、一般的な雑誌などのように、大きな網点領域(印刷物の写真領域や、上記着色された領域(網点下地))が少量存在する場合には、比較的良好な検出結果を出力できる一方、例えば、地図などのように、小さな網点領域が多数存在する場合には、誤検出が多くなる虞れがある。ここで、良好な検出結果に対して画質向上処理を行えば、高画質な出力画像が得られるが、誤検出された結果に対して画質向上処理を行うと、逆に画質劣化に繋がる虞れがある。
このような場合、このアルゴリズムの信頼性の視点で見ると、網点領域が多数存在しているほど、このアルゴリズムにとっては、処理が複雑なドキュメントになる。したがって、上記画像処理部において、ドキュメント内における網点領域の数を1つの特徴として用い、網点領域が多数存在しているほど、複雑度が高く設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
本発明の他の実施形態では、図5に示すように、複雑度を、変換領域データ(transform domain data )に関連して計算している。変換データ関連特徴としての変換領域データは、変換係数または関連データを含んでいてもよい。画像処理において一般的に行われる変換は、離散コサイン変換(Discrete Cosine Transform;DCT)であるが、多くの他の変換を使用してもよい。例えば、離散コサイン変換に関連する特徴(上記変換領域データ)としては、DCT変換係数の高周波部分などが挙げられる。
ここで、例えば、AC成分の高周波データが多く存在する場合には、その領域に細かい輝度や色の変化があることを表し、高周波データがあまり存在しない場合には、輝度や色の変化の少ない領域であることを示している。
したがって、変換領域データに関連して上記複雑度を算出する方法として、例えば、この高周波データをカウントしたり、値の総和を取るなどすることで、その領域が複雑なデータであるかどうかを判定し、この判定結果をカウントすると共に、当該カウントが多ければ、複雑度を大きくする方法などを好適に使用できる。
当該実施形態に係るシステムの画像処理部は、変換領域データを読み込み(S40)、それを使用して、コンテンツ種別を識別する(S42)。次に、画像処理部は、コンテンツ種別領域を構成し、領域特徴を決定する(S44)。さらに、画像処理部は、画像処理方法の複雑度関連特徴として、アルゴリズムまたは処理の特徴を決定する(S46)。領域特徴、並びに、アルゴリズムまたは処理の特徴をいったん決定したら、画像処理部は、これらの特徴を用いて、複雑度要因を計算する(S48)。この複雑度要因は、図4と同様に、アルゴリズム関連複雑要因である。なお、図5では、一例として、図4に示す実施形態と同様に、アルゴリズムまたは処理特徴を決定する工程(S46)を実施している場合を例示しているが、この工程を設けず、上記S48において、図2と同様に領域特徴および他のデータに基づいて複雑度要因を計算してもよい。また、S46を実施するか否かに拘わらず、変換領域データを用いて計算された複雑度要因を、変換データ関連複雑度要因と呼ぶこともある。
また、本発明の他の実施形態に係るシステムの画像処理部は、図6に示すように、レンダリングストリームオブジェクトデータを読み出し(S50)、それを用い、既知の方法のいずれか、または、それらの組み合わせにおいて行われているようにコンテンツ種別を識別する(S52)。さらに、画像処理部は、このオブジェクトデータを使用して、コンテンツ領域特徴を決定する(S54)。また、画像処理部は、複雑度要因によって影響を受けるアルゴリズムまたは処理の特徴も決定する(S56)。次に、画像処理部は、画像複雑度と、アルゴリズムまたは処理との双方に依存している複雑度要因を計算する(S58)。画像複雑度と、アルゴリズムまたは処理の結果に対する画像複雑度の影響との双方に関連する複雑度要因を、処理効果複雑度要因と呼ぶこともある。
本発明の他の実施形態を、図7に関連して説明する。本実施形態に係るシステムの画像処理部は、図7に示すように、セグメンテーション処理部110と、複雑度測定部112と、判定部114と、全体改善処理部116と、適合改善処理部118とを備えている。
例えば、上記セグメンテーション処理部110が入力ドキュメント画像Iを受信したり、読み込むなどして、上記セグメンテーション処理部110が入力ドキュメント画像Iの入力を受け付けると、当該セグメンテーション処理部110は、入力ドキュメント画像を、その構成要素の領域にセグメンテーションする。なお、図7では、一例として、セグメンテーション処理部110が、セグメンテーション処理の結果として、コンテンツ種別または各画素に対する種別を識別するセグメンテーションマップを生成する構成を例示している。続いて、複雑度測定部112は、このマップを使用して、セグメンテーションマップが示すレイアウトを考慮しつつ、ドキュメントの複雑度を測定する。なお、上記複雑度測定部112は、使用可能な特定のセグメンテーション方法のプロパティ(property)を、複雑度推定に対して影響させてもよい。結果として生じる複雑度値(complexity value)Cxは、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースのセグメントベースで領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかの推定(概算;estimate)になっている。
また、判定部114は、上記複雑度測定部112の測定した複雑度Cxが所定の閾値σを上回っているか否かを判定し、複雑度Cxが所定の閾値σを上回ると、セグメンテーションマップが破棄され、全体改善処理部116は、出力画像における潜在的なアーティファクトを回避するために、標準の全体的改善をドキュメントに実施する。そうでない場合は、適合改善処理部118は、セグメンテーションマップに基づいてドキュメントを改善する。これにより、各コンテンツ種別に対して最適化された処理が行えるようになる。
本発明の他の実施形態を、図8を参照しながら説明する。この図8は、セグメントベースのドキュメントの改善に利用できる複雑度測定を含む実施例を示すものである。当該実施形態に係るシステムの画像処理部は、セグメントベースの改善および全体的改善を独立して行い、それらの結果を、演算されたドキュメントの複雑度に基づいて組み合わせることができる。
具体的には、上記画像処理部は、図8に示すように、セグメンテーション処理部122と、複雑度測定部130と、全体改善処理部124と、適合改善処理部126と、組み合わせ処理部128とを備えている。
セグメンテーション処理部122は、入力画像Iを、セグメンテーションアルゴリズムを使用して処理し、セグメンテーションマップ125を作成する。適合改善処理部126は、このマップ125を使用して、セグメントベースの改善を実施する。一方、全体改善処理部124は、入力画像Iを、全体的改善を実施することによって直接処理する。なお、両処理部124・126は、これらの改善処理を、並行して行っても、連続して行っても、または、その他のやり方で行ってもよい。
セグメンテーション処理部122がマップ125を作成した後、複雑度測定部130は、画像Iの複雑度を測定し、複雑度値Cxを計算する。組み合わせ処理部128は、ドキュメントの複雑度Cxが低い場合、適合改善処理部126によって行われたセグメントベースの改善結果I''をより重く重み付けする。一方、複雑なドキュメントに対しては、組み合わせ処理部128は、全体改善処理部124による全体的改善結果I' をより強調する。組み合わせ処理部128は、2つの改善を様々な方法で組み合わせてもよい。
例えば、複雑度測定Cxがスカラーである場合、
(1−Cx)・SegEnh + Cx・GlobalEnh
などの簡単な線形組み合わせ方法(linear combination method)を採用できる。上記SegEnhおよびGlobalEnhは、適合改善処理部126によって行われたセグメントベースの改善結果I''と、全体改善処理部124による全体的改善結果I' とを、それぞれ表している。
このように、組み合わせ処理部128は、上記組み合わせ方法として、改善された画像をそれらの複雑度測度に比例して組み合わせる方法、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得る方法、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも1つに比例して変更する方法、あるいは、上記複数の処理の少なくとも1つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する方法を好適に使用できる。なお、この場合、本実施形態に係る組み合わせ処理部128、全体改善処理部124および適合改善処理部126は、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施している。
あるいは、組み合わせ処理部128は、領域主導型(region-driven)の組み合わせ規則、すなわち、セグメンテーションおよび改善アルゴリズムの性能に基づいてコンテンツの様々な種別を検出および向上するための組み合わせ規則を採用してもよい。ドキュメントの複雑度を、ページ全体というよりもむしろ領域毎に規定すれば、全体的改善、領域改善またはデフォルト改善を行う方法は、セグメンテーションの確実性(segmentation confidence)が低いエリアにおいて好ましいであろう。
図9に示す、他の実施形態では、セグメンテーション補正がさらに行われている。当該実施形態では、ドキュメントの複雑度が所定の閾値σを下回っていることが分かった場合、または、ドキュメントの複雑度が何らかの他の基準を満たしていることが分かった場合に、セグメンテーションの改善(refinement)工程をさらに行う。この方法では、最初に生成され、複雑度分析のために使用される初期段階の(initial)セグメンテーションマップを大まかな(coarse)ものにすることができるので、実施のために必要になる演算要求(computation requirements;必要とされる演算能力)を少なくすることができる。
具体的には、本実施形態に係るシステムの画像処理部は、図9に示すように、セグメンテーション処理部132と、複雑度測定部136と、判定部140と、全体改善処理部142と、高性能セグメンテーション処理部144、適合改善処理部148とを備えている。
当該実施形態では、入力画像Iが処理される。入力画像Iが入力されると、上記セグメンテーション処理部132は、初期段階のセグメンテーションを実施し、初期段階のセグメンテーションマップ134を作成する。複雑度測定部136は、他の実施形態でのように、画像Iの複雑度を測定し、複雑度値Cxを計算する。さらに、判定部140は、複雑度値Cxと閾値σとを比較し、複雑度値Cxが閾値σを上回っていれば、全体改善処理部142は、画像Iに対して全体的改善を実施し、全体的に改善された画像I' が生成される。複雑度値Cxが閾値σを下回っている場合、高性能セグメンテーション処理部144は、より洗練された(高精度な)セグメンテーション処理(finer segmentation process)を行う。これにより、高精度なセグメンテーションマップ(洗練されたセグメンテーションマップ)146が作成される。
一例として、上記高性能セグメンテーション処理部144は、初期段階のセグメンテーションマップ134を改善して、当該セグメンテーションマップを更新し、上記高精度なセグメンテーションマップ146を生成してもよい。この場合、上記初期段階のセグメンテーションマップ134は、画質改善処理に使用するために、高性能セグメンテーション処理部144へ送られる。また、代替の実施形態として、上記高性能セグメンテーション処理部144は、初期段階のセグメンテーションマップを使用せず、高精度なセグメンテーション処理を独立して行ってもよい。
次に、適合改善処理部148は、上記高精度なマップ146に基づいて、セグメントベースの改善を行い、画像Iを改善する。処理の、この部分により、高精度なセグメントベースの改善によって改善された画像I''が生成される。
なお、上記では、判定部140が複雑度値Cxと閾値σとの比較結果に基づいて、全体改善処理部142および適合改善処理部148のいずれが改善処理するかを決定する場合を例示したが、判定部140は、複雑度値Cxが何らかの他の基準を満たしているか否かに基づいて決定してもよい。
本発明の実施形態では、図20に示すように、代替の、高精度なセグメンテーションアプローチを使用してもよい。具体的には、本実施形態に係るシステムの画像処理部は、図20に示すように、セグメンテーション処理部442と、複雑度測定部446と、判定部450と、全体改善処理部452と、高性能セグメンテーション処理部454と、複雑度再測定部458と、再判定部462と、適合改善処理部464とを備えている。
当該実施形態では、入力画像Iが処理される。入力画像Iが入力されると、上記セグメンテーション処理部442は、初期段階のセグメンテーション処理を実施して、初期段階のセグメンテーションマップ444を生成する。複雑度測定部446は、この初期段階のマップ444を用いて、画像Iの複雑度値Cxを測定し、この処理によって、複雑度値Cxが決定される。
さらに、判定部450は、複雑度値Cxが与えられた基準を満たしているか否かを判定し、複雑度値Cxが与えられた基準を満たしていたら、全体改善処理部452は、全体的な改善を行う。これにより、結果として、全体的に改善された画像I' が生成される。
一方、上記基準が満たされていない場合、または、それに代わる基準が満たされている場合、高性能セグメンテーション処理部454は、より洗練されたセグメンテーション処理を行う。高性能セグメンテーション処理部454は、その高精度な処理のための基礎として、上記初期段階のセグメンテーションマップ445を使用してもよいし、または、上記セグメンテーション処理部442による、初期段階のセグメンテーション処理からは独立して、より洗練されたセグメンテーション処理を行ってもよい。この高性能セグメンテーション処理部454による、より洗練されたセグメンテーション処理によって、より高精度なセグメンテーションマップ456が生成される。
高精度なマップ456がいったん生成されたら、複雑度再測定部458は、高精度なマップ456に基づいて画像複雑度を再び測定する。これにより、高精度な複雑度値C’xが決定される。
さらに、再判定部462は、例えば、この高精度な複雑度値C’xが閾値σ’を上回るかなど、複雑度値C’xが与えられた基準を満たしているか否かを判定し、この高精度な複雑度値C’xが基準を満たしている場合、全体改善処理部452は、全体的な改善を行う。
一方、この基準が満たされていない場合、または、それに代わる基準が満たされている場合、適合改善処理部464は、代替の改善処理を行い、それにより、改善された画像I''が生成される。
既に説明した本発明の実施形態では、複雑度測定を、ドキュメント画像全体のセグメンテーションマップを使用して演算してもよい。以下では、その一例として、図10を参照しながら、画像セクションまたはストリップを使用して複雑度測度を計算し、アップデートまたは漸次累算する実施形態について説明する。
この明細書および請求項では、セクションという用語は、以下の任意の部分分割(sub-division)または一部、すなわち、ドキュメント、ドキュメント画像、または、画像のいずれかの任意の部分分割(sub-division)または一部を指すものとする。画像を幾何学的に分割すること、画像を色特徴によって分割すること、画像を変換値(transform values)によって分割すること、または、画像を任意の他の方法によって分割することによって、セクションを形成してもよい。「ストリップ」という用語は、画像の細長い(elongated )幾何学的な部分を指しており、典型的には、当該部分は、ページの一方の端または側から反対の端または側へと延びている。「ストリップ」という用語は、「セクション」という、より広い範囲の用語の意味に含まれている。
具体的には、本実施形態に係るシステムの画像処理部は、図10に示すように、画像取得部160と、セクションセグメンテーション処理部162と、セクション複雑度測定部164と、複雑度更新部166と、判定部170と、全体改善処理部172と、適合改善処理部174と、ページ終了判定部176と、セグメンテーションマップ更新部180とを備えている。なお、1セクションが複数のストリップから構成されていてもよいが、以下では、一例として、1セクションが1ストリップである場合について説明する。
上記実施形態に係る画像処理部は、入力画像Iを、セクションまたはストリップ毎に漸増的に(incrementally )処理する。本実施形態では、この漸増的な処理は、画像取得部160によって、次の画像セクションが取得され、当該画像セクション(最初は、第1セクション)が分析される処理と、そのうえに(thereon )、セクションセグメンテーション処理部162によってセグメンテーションが行われる処理との繰り返しによって実現されている。
上記セクションセグメンテーション処理部162が1つのセクションに対していったんセグメンテーションを実施したら、上記セクションセグメンテーション処理部162は、セグメンテーション処理の結果として、セクションセグメンテーションマップ182を作成する。セクション複雑度測定部164は、セグメンテーション処理の結果に基づいて、画像セクションの複雑度も計算し、複雑度更新部166は、例えば、当該複雑度を累積するなどして、累積された複雑度値または複雑度測度Cxをアップデートして、複雑度値または複雑度測度Cxを定める(establish)。ここで、1回目の処理の場合は、複雑度値または複雑度測度Cxが累積されていないので、複雑度更新部166は、例えば、セクション複雑度測定部164の算出した第1セクションの複雑度に基づくなどして、複雑度値または複雑度測度Cxを定める。なお、以下では、複雑度値または複雑度測度Cxを、複雑度測度Cxと略称する。
判定部170は、複雑度測度Cxと閾値σとを比較し、複雑度測度Cxが閾値σを超えると、上記セクションセグメンテーション処理部162によるセグメンテーション処理(より詳細には、上記繰り返し処理)が終了され、全体改善処理部172が全体的改善を実施する。
上記判定部170の判定により、複雑度測度Cxが閾値σ未満であれば、上記画像取得部160は、次の画像セクションを取得し、当該他の画像セクションが処理される。後続のセクションを分析するとき、上記セクションセグメンテーション処理部162は、セクションセグメンテーションマップ182を作成し、セグメンテーションマップ更新部180は、当該セクションセグメンテーションマップ182に基づいて、セグメンテーションマップ178をアップデートする。また、セクション複雑度測定部164は、そのセクションについての複雑度測度を計算し、複雑度更新部166は、累算された複雑度測度Cxを、新しいセクションにおいて集められた情報を反映するようにアップデートする。上記判定部170の判定により、累算された複雑度測度Cxが閾値σを上回る場合、全体改善処理部172は、全体的改善を実施する。一方、上記判定部170の判定により、累算された複雑度測度Cxが閾値σ未満のままであれば、別のセクションが処理される。この処理は、複雑度測度Cxが閾値σを上回るまで、または、ページ全体が処理されるまで(例えば、上記ページ終了判定部176がページ終了を検出するまで)続けられる。閾値σを超えずに、ページ全体が処理されたら、適合改善処理部174は、適合された(tuned)セグメントベースの改善によって、画像I全体を処理する。
なお、本実施形態では、n個の列(ただし、n≧1)を含む非重複画像ストリップを使用してもよい。また、上記画像取得部160がセクションまたはストリップを取得する順番は、ページの先頭から末尾への順番であってもよいし、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序であってもよい。
図11に示す、本発明の他の実施形態では、ページ複雑度を、明確なセグメンテーションマップなしで決定している。当該実施形態では、ヒストグラム分析および変換ドメイン処理など(ただし、これに制限はされていない)の、入力ドキュメントから直接抽出された他の画像またはページ特性を、ドキュメントの複雑度を推定(estimate)するために利用している。続いて、セグメンテーションマップの生成と、このドキュメントに対する、適合された改善の実施とを行う価値があるかどうかが、この初期段階の分析および複雑度推定を用いて決定される。
具体的には、図11に示すように、本実施形態に係るシステムの画像処理部は、画像特性演算部184と、複雑度測定部186と、判定部190と、全体改善処理部192と、セグメンテーション処理部194と、適合改善処理部198とを備えている。
当該実施形態に係る画像特性演算部184は、入力画像Iを処理し、分析して、画像またはページ特性を演算する。複雑度測定部186は、ページ複雑度を、これらの特性に基づいて推定し、複雑度測度Cxを計算する。さらに、判定部190は、複雑度測度Cxと閾値σとを比較し、複雑度測度Cxが閾値σを上回る場合、全体改善処理部192は、全体的な改善を実施する。複雑度測度Cxが閾値σを下回る場合、セグメンテーション処理部194は、セグメンテーションを実施し、セグメンテーションマップ196を作成する。次に、適合改善処理部198は、当該セグメンテーションマップに基づいて、上記画像Iを改善する。
本発明の他の実施形態を、図12を参照しながら説明する。当該実施形態では、入力画像Iがストリップまたはセクションで処理される。なお、上記実施形態と同様に、以下では、一例として、1セクションが1ストリップである場合について説明し、セクションおよびストリップ、並びに、セクションのストリップを、セクションと称する。
具体的には、本実施形態に係るシステムの画像処理部は、図12に示すように、画像取得部190と、セクション複雑度測定部192と、複雑度更新部194と、判定部198と、全体改善処理部200と、ページ終了判定部202と、セグメンテーション処理部204と、適合改善処理部208とを備えている。
画像取得部190は、入力画像Iの次の画像セクション(最初は、第1セクション)を取得して分析し、セクション複雑度測定部192は、そのセクションの複雑度を、入力画像Iから抽出されたページに関する特性を使用して決定する。本実施形態に係る当該ページに関する特性は、例えば、ヒストグラム分析および変換ドメイン処理を含んでいるが、これに制限されるものではない。複雑度更新部194は、例えば、初回は、セクション複雑度測定部192からの複雑度を格納するなどして、累積ページ複雑度測度Cxを格納する。さらに、判定部198は、累積ページ複雑度測度Cxと閾値σとを比較し、累積ページ複雑度測度Cxが閾値σを上回っていれば、全体改善処理部200は、全体的画質改善を実施する。累積ページ複雑度測度Cxが閾値σを下回り、ページ終了判定部202の判定などによって、未だドキュメント全体が処理されていなければ、セクションの取得処理以降の処理が繰り返され、上記画像取得部190は、次の画像セクションを分析する。さらに、複雑度更新部194は、セクション複雑度測定部192によって推定された、セクションの次の画像ストリップの複雑度を使用して、累積ページ複雑度測度Cxをアップデートする。判定部198は、この測度Cxを、再度閾値σと比較する。測度Cxが閾値σを上回っていれば、全体改善処理部200は、全体的画質改善を実施する。なお、当該画像I全体に対する全体的な処理は、直ぐに実施してもよい。閾値σを上回っておらず、しかも、未だドキュメント全体が処理されていなければ、他のセクションを上記のように処理する。
この反復処理は、測度Cxが閾値σを上回るまで、または、ページ終了判定部202の判定などによって、画像(ドキュメント)全体が処理されるまで続けられる。閾値σを上回ることなく画像全体が処理されたら、セグメンテーション処理部204は、画像全体にセグメンテーションを実施し、適合改善処理部208は、セグメントベースの改善によって画像Iを改善する。なお、本実施形態では、セグメンテーション処理部204によって生成されたセグメンテーションマップ206を、この最終的なセグメントベースの処理で使用する。しかしながら、複雑度測度Cxがドキュメント全体について閾値σを下回っていなければ、セグメンテーション処理部204は、セグメンテーションマップ206を作成する必要はない。
本発明の他の実施形態では、推定された複雑度測度を使用して、入力画像に適用される改善の度合いを調整してもよい。この場合、複雑度測度が利得制御の一種として機能し、複雑度測度は、セグメントベースの改善を、どの程度積極的に実行するかを決定できる。この場合、2種別の別個の改善(すなわち、全体的改善とセグメントベースの改善との)間の二分決定が強要されるというよりは、むしろ改善の強さが調節(regulate)される。この改善強度の調節は、連続的に(on a continuous scale)、または、段階的に(step-wise basis)実施してもよいし、あるいは、他の調整方法(adjustment scheme)によって実施してもよい。
典型的な実施形態を、図13を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、図13に示すように、セグメンテーション処理部220と、複雑度測定部224と、改善処理部228とを備えている。
上記実施形態では、入力画像Iが入力されると、セグメンテーション処理部220は、入力画像Iを分析し、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ222が作成される。次に、複雑度測定部224は、画像Iの複雑度を測定し、複雑度測度Cxを決定する。この複雑度測度Cxに基づいて、改善処理部228は、適合された改善を、複雑度測度Cxに応じて変化する改善度合いで実施する。
セグメントベースの改善(上記適合された改善)は、様々な方法で調整できる。図14に、係数の異なる複数のフィルター種別を含む実施例を示す。この例では、これらのフィルターおよび係数を、図示したように、複雑度評価の値に基づいて利用している。ここでは、小数点第3位を四捨五入した数値例を示している。
具体的には、図14の例では、改善処理部228は、改善時に使用するフィルターF1〜F5を切り換え可能である。当該フィルターF1〜F5は、フィルターの処理方法または係数が異なっている。図14の例では、複雑度測度Cxの低いもの(余り複雑でないもの)から順番に、フィルターF1〜F5を使用するように設定されているので、フィルターF1〜F5のフィルターの処理方法または係数は、例えば、より複雑な画像に使用するもの程、余り大幅には画像品質を向上できなくても、セグメンテーション処理時の誤りに起因する画質低下が起こりにくいように(例えば、より全体改善処理に近い処理など)、しかも、より簡単な画像に使用するもの程、セグメンテーション処理結果が正しければ、より高い改善度合いで画像品質を向上可能なように(例えば、より適合改善処理に近い処理など)設定されている。さらに、改善処理部228では、複雑度測度Cxの取り得る範囲が各フィルターF1〜F5に対応して予め分割されており、改善処理部228は、複雑度測定部224からの複雑度測度Cxがいずれのフィルターに対応する範囲に属しているかを判定し、その範囲に対応するフィルターを使用する。
あるいは、処理方法または係数の互いに異なるフィルターを用意しておくのではなく、改善フィルター係数のセットを1つ用意しておき、改善処理部228は、複雑度測度Cx、または、その評価値間で同一の改善フィルター係数のセットを、複雑度測度Cx、または、その評価値の値に基づいて補正してもよい。なお、本明細書および特許請求の範囲では、複雑度測度Cx、または、その評価(estimate)の値も、複雑度測度Cxと略称する。例えば、改善処理部228は、フィルター応答を、複雑度測度Cxに基づき、ドキュメントの複雑度が増すにつれてフィルターの改善がより控えめな傾向となるように調整してもよい。また、他の実装において、改善処理部228は、改善フィルター係数または改善結果を、様々な領域種別(例えば、テキスト、ハーフトーンなど)に対して組み合わせるために、複雑度測度Cxを使用して、入力画像に対して積極的過ぎる処理を適用しないことを確実にしてもよい。一例として、改善処理部228は、上記複雑度測度Cxに比例して可変する効果を有する処理を、上記画像に実施してもよい。
本発明の上記各実施形態のいくつかでは、ドキュメントの複雑度を、画像全体のために定義してきたが、それに代えて、複雑度測度を複数の値からなるもの(多価;multi-valued)としてもよい。例えば、複雑度測度Cxを、ベクトルによって表してもよい。なお、このベクトルの構成要素は、セグメンテーションマップ内の特定のコンテンツ領域の複雑度を反映している。マップがあれば、個々の領域、領域のセットまたは検出された領域の各々に対して、別々の複雑度測度を演算できる。次に、結果として生じる多価複雑度測度Cx(1,2,…,M)を分析して、各領域に対して実施される改善の種別および量を決定してもよい。
領域特有の複雑度測度を決定するとき、異なる組(set )の特性を使用して、別々の領域に対して異なるように、複雑度を演算してもよい。例えば、ドキュメント画像において、ハーフトーンタイプの領域に対する複雑度測度は、領域におけるテキスト画素の数に基づいていてもよい。一方、連続階調(contone )領域では、エントロピー状の特性(entropy-like feature)を使用して決定してもよい。これにより、利用可能な領域種別に対して、最も適切な複雑度測度を定義でき、より目的を絞ってセグメントベースの改善を適用できる。
領域特有の処理を行う実施形態を、図15を参考しながら説明する。当該実施形態に係るシステムの画像処理部は、セグメンテーション処理部240と、複雑度測定部244と、改善処理部248とを備えている。当該実施形態では、セグメンテーション処理部240は、入力画像Iを読み込み、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ242が作成される。複雑度測定部244は、このセグメンテーションマップ242を使用して、各領域特有の複雑度測度Cxを測定する。これらの測定の結果、多価複雑度測度Cx(1,2,…,M)が生じる。次に、改善処理部248は、この多価複雑度測度Cx(1,2,…,M)を使用して、画像の領域特有の改善を制御したり、調整したりする。
ところで、ドキュメントの複雑度を推定するときに、1つ以上のセグメンテーション方法を使用することが望ましい場合もある。複数のセグメンテーションアルゴリズムを採用する1つの理由は、単一のセグメンテーション方法が全ての種別の入力データに対してうまく作用するわけではないかもしれないからである。例えば、有色情報(chromatic information)に依存したセグメンテーション技術は、無色の(achromatic )入力画像に対しては無効である。ページ上のハーフトーンとテキスト領域とを正確に分類できるが連続階調エリアではエラーとなるアルゴリズムは、スキャンした写真をセグメンテーションするためには最適ではない。同様に、不適切なセグメンテーション方法を使用して演算された複雑度測度は、どの種別の改善を適用すべきかについての誤った結論を導き出すこととなる。
このような問題を避けるために、入力画像を、まず、複数の異なるセグメンテーション方法を使用してセグメンテーションしてもよい。これらの方法は、それらが利用するデータの種別または特性、それらが実施する(follow)セグメンテーションアプローチ、あるいは、これら双方が異なっていてもよい。例えば、同じセグメンテーションアルゴリズムを、入力画像の構成要素の各々に別々に適用してもよい。他の実施形態では、クラスタ化技術、領域拡大(region growing)技術、ファジーセグメンテーション方法、または、他の技術または方法を使用して、入力画像をその成分領域にセグメンテーションしてもよい。N個の別個のセグメンテーションマップをセグメンテーションモジュールによって生成した後、各マップに対して複雑度測度を演算する。その結果、入力画像に対するN個の複雑度推定が生じる。次に、与えられた入力画像のために最良のセグメンテーションマップ(および、セグメンテーション方法)が、これらの複雑度測度に基づいて選択される。
複雑度演算は、セグメンテーション方法のエラー尤度およびドキュメントレイアウトを考慮してもよいので、結果として生じる複雑度測度のセットは、この画像に対して、どのセグメンテーション技術が最適であるかを示すことができる。この選択は、様々な方法で実施できる。例えば、最小複雑度推定を生じるセグメンテーションマップを、さらなる改善のために選択できる。
複数のセグメンテーション方法を含む処理を行う実施形態について、図16を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部252・254・256を含むセグメンテーション処理モジュール250と、各セグメンテーション処理部252・254・256に対応する複雑度測定部262・264・266を含む複雑度測定モジュール(複雑度分析モジュール)260と、判定部268と、セグメンテーションマップ処理部258と、改善処理部270とを備えている。
当該実施形態では、入力画像Iが受信されると、各セグメンテーション処理部252・254・256(セグメンテーション処理モジュール250)によって、複数のセグメンテーション方法が画像Iに実施される。これらの結果、複数のセグメンテーションマップ272〜276が生成される。複雑度測定モジュール260(複雑度測定部262・264・266)は、これらのマップ272〜276を使用して、各セグメンテーション処理部252・254・256による、セグメンテーション方法の各々に関して、画像Iの複雑度を決定する。これにより、多価の複雑度測度(C1 x,C2 x,CN x)が各セグメンテーション方法に関連して決定される。判定部268は、これらの複雑度測度(C1 x,C2 x,CN x)を分析して、上記特定の画像Iに対して、各セグメンテーション処理部252・254・256による各セグメンテーション方法のいずれが、より良好に作用するかを決定する。セグメンテーション方法がいったん選択されると、セグメンテーションマップ処理部258は、適切なセグメンテーションマップを選択し、改善処理部270は、それを用いて、入力画像Iに対し、適合された改善を実施する。
なお、上記では、一例として、セグメンテーションマップ処理部258がセグメントマップを選択する場合を例にして説明したが、それに代えて、改善処理部270が上記複雑度測度(C1 x,C2 x,CN x)、あるいは、判定部268により選択された複雑度測度Cxに基づいて、上記各セグメンテーション処理部252・254・256からのセグメントマップの中から、適切なセグメンテーションマップを選択してもよい。一例として、改善処理部270は、選択されたセグメンテーションマップに基づく改善処理の可変パラメータを、それに関連付けられた複雑度測度(選択された複雑度測度Cx)に比例して変更してもよい。
複数のセグメンテーション方法を用いたアプローチに関する、他の実施形態を、図17を参照しながら説明する。当該実施形態では、複数の代替可能な方法の各々を使用して、入力画像Iを改善し、結果として生じる画像を組み合わせて、単一の改善画像を生成する。
具体的には、実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部252・254・256を含むセグメンテーション処理モジュール250と、各セグメンテーション処理部252・254・256に対応する複雑度測定部262・264・266を含む複雑度測定モジュール(複雑度分析モジュール)260と、各複雑度測定部262・264・266に対応する改善処理部282・284・286と、組み合わせ処理部288とを備えている。なお、上記セグメンテーション処理部252、複雑度測定部262および改善処理部282と、上記セグメンテーション処理部254、複雑度測定部264および改善処理部284と、上記セグメンテーション処理部256、複雑度測定部266および改善処理部286とのうちのいずれかは、セグメンテーション処理を含む画像分析処理として、全体的分析処理を行ってもよい。
当該画像処理部では、入力画像Iが受信されると、各セグメンテーション処理部252・254・256による複数のセグメンテーション方法を使用して、当該入力画像Iが処理される。その結果、複数のセグメンテーションマップ272〜276が作成される。次に、複雑度測定モジュール260は、これらの多重セグメンテーションマップ272〜276を使用して、各セグメンテーション方法に関連する画像Iの複雑度を測定する。その結果、多価の複雑度測度(C1 x,C2 x,CN x)が生成されることとなる。次に、各改善処理部282・284・286は、各複雑度測度(C1 x,C2 x,CN x)に応じて、画像Iに対する適合された改善を、それぞれ実施する。次に、組み合わせ処理部288は、各改善処理部282・284・286によって実施された、各適合された改善方法の結果を組み合わせて、単一の改善画像を生成する。
上記実施形態に係る組み合わせ処理部288は、セグメンテーションモジュール250(252・254・256)において得られた全てのマップ(272〜276)を、最終的な改善結果I' を生成するために使用できる。また、上記各改善処理部282・284・286による適合された改善は、セグメンテーションマップ272〜276の各々のために実施される。各改善処理部282・284・286は、それぞれの場合の改善の量または種別を、それぞれに対応する複雑度推定の値(複雑度測度C1 x,C2 x,CN x)によって決定してもよい。次に、組み合わせ処理部288によって、出力画像Iを形成するために、改善結果が組み合わされる。組み合わせ処理部288による、最終的な併合工程(merging step)は、各セグメンテーションアルゴリズム(セグメンテーション方法)の複雑度推定(複雑度測度C1 x,C2 x,CN x)を考慮して、各改善結果が最終結果Iにどのように寄与するかを決定してもよい。さらに、組み合わせ処理部288は、各セグメンテーション方法の強みを利用するため、併合時にセグメンテーション技術の特別なプロパティ(particular properties)を考慮してもよい。
図18に示すように、他の実施形態に係るシステムの画像処理部は、セグメンテーション処理モジュールに設けられる複数のセグメンテーション処理部300・302・304と、複雑度測定モジュール(複雑度分析モジュール)に設けられ、上記各セグメンテーション処理部300・302・304に対応する複雑度測定部306・308・310と、算出部324と、判定部326と、全体改善処理部328と、高性能セグメンテーション処理部330と、適合改善処理部334とを備えている。
当該実施形態では、上記各セグメンテーション処理部300〜304において得られたマップの複数は、高性能セグメンテーション処理部330によって、最終的なセグメンテーションマップを生成するために使用されている。また、複数のセグメンテーション方法結果に基づいて算出された多価の複雑度測度に基づいて、ドキュメントIの複雑度が評価され、その評価結果が閾値を超えているか否かによって、全体的な改善処理を行うか、適合された改善処理を行うかが決定されている。
当該実施形態では、図17に示す画像処理部と同様に、複数のセグメンテーションマップ312〜316、並びに、多価の複雑度測度(C1 x,C2 x,CN x)が生成される。さらに、算出部324は、各セグメンテーションマップ312〜316用の複雑度推定(複雑度測度C1 x,C2 x,CN x)を、関数F(Cx)を使用して組み合わせる。典型的には、関数F(Cx)としては、最小(min(.))および平均(mean(.) )が選択されるが、他の関数を使用できることは明らかである。
判定部326は、上記関数F(Cx)の値と与えられた閾値σとを比較し、上記関数F(Cx)の値が当該与えられた閾値σを上回る場合、全体改善処理部328は、全体的改善を入力画像Iに適用する。そうでない場合、高性能セグメンテーション処理部330は、上記各セグメンテーションマップ312〜316を組み合わせて、高精度なセグメンテーションマップ332を生成する。また、適合改善処理部334は、この最終的なマップ332に基づいて、セグメントベースの改善を入力画像Iに適用する。
なお、算出部324は、比較的低い複雑度を有する、最も信頼性のあるセグメンテーションマップだけを併合して、最終的なセグメンテーションを得てもよい。また、セグメントベースの改善が適切であるか否かを決定するために、最終的なセグメンテーション結果を使用して、入力ドキュメントの複雑度を再評価する工程(あるいは部材)を、さらに追加してもよい。
上記で開示した実施例の中には、一般的に、ドキュメント画像の複雑度を推定するためのセグメンテーションマップに明らかに依存しているものもある。また、複雑度測度を演算するためにはセグメンテーションマップが不要な実施形態もある。これらの実施形態に係る画像処理部は、入力画像から直接抽出された他の特性を利用できる。これらの特性は、ヒストグラムなどの全体的な画像特徴あるいは画像の統計処理をした画像特徴から引き出されたものであってもよい。例えば、エッジ量、画像ヒストグラムの滑らかさ(smoothness)または均一性(uniformity)は、ドキュメントの複雑度の単純な指標(simple indicator)として使用できる。あるいは、画素近傍(pixel neighborhoods)に渡って演算された局部的特性(local features )は、必要な複雑度情報を提供できる。このような局部的特性は、ブロックベースの(ブロックに基づく;block-based)方法で決定された属性(例えば、高周波数変換DCT係数の振幅(magnitude )など)、均一測定(例えば、局部分散)、および、他の方法などを含んでいてもよい。画像処理部は、その後、画像に対する複雑度推定(複雑度測度)を決定するために、これらの属性を組み合わせることができる。画像処理部は、ドキュメント、または、ドキュメントの領域またはドキュメントのセクションに対して適用される改善の種別を決定し適合するために、当該複雑度測度を使用してもよい。これらの実施形態では、改善がセグメンテーション主導型(segmentation-driven )でなくてもよい。すなわち、画像処理部は、複雑度測度の値に応じて調整された同じ種別の改善を、ドキュメント画像全体に適用してもよい。画像処理部は、複雑度測度Cxに基づく改善パラメータの調整を、上記各実施形態で説明したように様々な方法で実施できる。
画像処理部は、様々なドキュメントプロパティおよびセグメンテーションに関する特性を、当該ドキュメントのセグメンテーションマップから当該ドキュメントの複雑度を推定するために使用できる。画像処理部は、セグメンテーション時に使用される特定のセグメンテーションアルゴリズムの属性およびアプリケーションの必要条件に応じて、複雑度推定時に考慮する、特定の特性の集合(set )を変更してもよい。
あるコンテンツ種別は、演算的にコストがかかり、与えられたデバイスまたはアプリケーションが改善するのに難しいこともある。さらに、ユーザにとっては、いくつかの領域に生じる改善エラーが目立つものであり、その結果、明らかに、より好ましくないものである可能性がある。
例えば、あるデバイスは、ハーフトーンエリアを効果的に処理し、改善できるかもしれないが、連続階調領域を同じように向上させる能力には欠けていることもある。このようなデバイスのためには、明らかに、セグメンテーションマップにおける連続階調領域の分布率(prevalence)を考慮する複雑度測度が適切だろう。また、画像処理部は、複雑度を算出する際に、上記属性だけではなく、デバイスの処理性能データに基づいて、上記画像の複雑度を推定してもよい。
より詳細には、例えば、上記のように、あるデバイスが、網点領域に特化した画質向上処理は優れているが、連続階調領域(例えば、銀塩写真などの印画紙写真)に特化した画質向上処理は優れていないとする。この場合、連続階調領域が多く存在するほど、セグメンテーション結果を利用した画質向上処理において、連続階調の画質劣化が目立つ虞れがある。
このような場合、このデバイスにとっては、連続階調領域が多く存在するドキュメントほど、セグメンテーション結果を利用した処理が難しく、複雑なドキュメントということになる。したがって、このように連続階調領域が多く存在する場合には、例えば、全体的に画質向上させるような、あまり構成要素に特化しない処理をする方が、ドキュメント全体の画質を向上させる上では好ましい。
したがって、このような場合、上記画像処理部は、連続階調領域の数を1つの特徴として用い、連続階調領域が多く存在するほど、複雑度を大きく設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
さらに、画像処理部は、セグメンテーション時に、いくつかの画素を複数のラベル(例えば、ハーフトーン背景にあるテキスト文字の場合、テキストおよびハーフトーン)に割り当ててもよい。このような画素の改善は、改善アルゴリズムにとって、特に処理するのが困難なこともある。したがって、複雑度分析は、可能性のある特性として、セグメンテーション方法によって生成された領域の多数の特徴(例えば、形状、エリア、トポロジカルなプロパティなど)を考慮する方が望ましい。このような特性は、前景での接続された構成要素の数(number of foreground connected components)、非矩形に(non-rectangular)接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素の数の比率、全画素数に対するハーフトーン上のテキスト画素の数の比率、テキストエリアのある場合または無い場合の背景領域および/または前景領域の輝度および/またはクロミナンスの統計などを含んでいてもよいが、これらに制限されるものではない。
上記演算された特性fiは、続いて、様々な方法で組み合わせられ、ドキュメント全体のための単一の複雑度測度Cxが生成されていてもよい。一例として、以下の式(1)のように、
Cx=Σ(ωi・fi) …(1)
重み付け合計(weighted sum)をスカラーの複雑度測度Cxを生成するために使用できる。なお、Σ()は、iを1〜Nまで変化させながら、()内の値を合計した値を示している。また、ωiは、特性に対する重み付けを表しており、様々な方法で(例えば、回帰分析などによって実験的に)決定できる。
一例として、本実施形態に係る画像処理部が、(1) ドキュメント内におけるハーフトーン領域の総数、(2) ドキュメント内における非矩形のハーフトーン領域の総数、(3) ドキュメントサイズに対するハーフトーン領域の比率、(4) ドキュメントサイズに対する非矩形ハーフトーン領域の比率、および、(5) ドキュメント内におけるハーフトーン下地上文字(例えば、パンフレットやポスターなどで、着色された領域(ハーフトーン下地)に印刷されている文字など)の画素数という5つの特徴を用いて、複雑度測度Cxを計算する場合で、当該画像処理部が、その処理上で、非矩形のハーフトーン領域の処理を不得意とする場合、上記(2) および(4) の重みを他の重みよりも大きく設定し、複雑度測度が非矩形の影響を受け易くする。これにより、上記画像処理部が不得意な領域、すなわち、非矩形のハーフトーン領域を含むドキュメントが、より複雑なドキュメントであると認識され、上記画像処理部は、より適切に、その後の処理を選択または調節できる。なお、演算された特性から複雑度測度Cxを得るために、上記とは異なる組み合わせ方法を使用してもよい。
図19に、サンプルセットのためのドキュメントの複雑度分析の実施例の結果を示す。なお、図19中、実線は、演算されたドキュメントの複雑度測度を示しており、破線は、人間によって主観的に分類された複雑度等級(Class Complexity )を示している。この実施例においてドキュメントの複雑度を演算するために使用される特性は、前景での接続された構成要素の数、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素数の比率、および、全画素数に対するハーフトーン上のテキスト画素の数の比率である。特性値は、その後、重み付け合計を使用して組み合わされて、この入力ドキュメントに対する単一スカラー複雑度測度Cxが生成される。テストセットにおけるドキュメントは、人間である観察者によって、6セットの等しい複雑度に分割されており、自動的に演算された複雑度測度は、主観的順位と比較されている。図19から分かるように、演算された複雑度測度は、主観的順位に厳密に従ったものであり、相違は、等級境界(クラス境界;class boundaries)でのみ観察される。
ここまでの明細書で使用してきた用語および表現は、ここでは限定のためではなく説明の用語として使用されるものであり、このような用語および表現を使用することは、図示し説明した特徴の均等物、および、その一部を排除することを意図するものではなく、特許請求の範囲に記載によって、本発明の範囲が定義され、制限される。