JPH09212677A

JPH09212677A - 画像領域分割方法及びその装置

Info

Publication number: JPH09212677A
Application number: JP8344308A
Authority: JP
Inventors: Yan Zuu Jiyurii; ヤンズージュリー
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-12-21
Filing date: 1996-12-24
Publication date: 1997-08-15
Also published as: US6195459B1; AUPN727295A0

Abstract

(57)【要約】【課題】画像のテキスト部分と自然部分の識別を効果
的に行なえない。【解決手段】画像のテキストらしき部分と非テキスト
らしき部分とを識別するためのファジー検出ルールセッ
トを確立し、これを複数セグメントに分割した画像に適
用して、各セグメントを分類する。このファジー検出ル
ールセットを確立する際、画像の異なる部分を差別化す
る複数の画像特徴を識別する。また、複数のファジー検
出ルールを最小化して、所定量の学習用画像によってサ
ポートされないルールを除き、除かれなかったルールを
セットに割り当てる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、「ビデオ」型ディスプ
レイ装置等の電子表示装置による画像表示に関し、特
に、効果的な表示更新が可能な画像領域分割方法及びそ
の装置に関するものである。

【０００２】

【従来の技術】例えば、パーソナルコンピュータ、コン
ピュータ化されたワークステーション、ディスクトップ
出版システムは、一般に１つかそれ以上の電子ディスプ
レイを統合しており、それによりユーザに画像が提供さ
れるので、ユーザは、ある機能を実行するためにそのシ
ステムの操作が可能になり、また、単なる情報提供のた
めに画像が提供される。従来より、そのようなディスプ
レイは、ビデオディスプレイとして、より一般的に知ら
れた陰極管（ＣＲＴ）装置からなり、そこでは、インタ
ーレースされた時系列フィールドか、または非インター
レースにて、イメージデータがラスター化された形式で
表示される。そのような装置は、一般には、使用される
特定の標準に依存した、１秒間に２５から３０フレーム
（即ち、１秒間に５０から６０フィールド）の画像表示
速度を持っている。そのような構成はまた、テレビジョ
ン表示や他のビデオタイプの信号の表示に用いられる。

【０００３】そのような装置で表示される画像は、一般
にはテキスト、グラフィックオブジェクトアニメーショ
ンやシンボル、自然（写真）タイプの画像からなる。ビ
デオディスプレイが相対的に高いリフレシュ速度を有し
ているため、連続した滑らかな画像表示のために、その
ようなシステムにおいては、一般的には異なる画像要素
間を識別する必要はない。そのような構成は、表示を規
則的に維持したり、そこでの画像部分の更新が確実に行
なわれるように、一般には、かなりの計算的なオーバヘ
ッドを必要とする。

【０００４】しかしながら、より低リフレッシュ速度で
動作し、また表示処理動作を低い計算オーバヘッドです
ることができる表示装置がある。そのようなディスプレ
イの例として、１秒間に６フレームと低いリフレッシュ
速度で動作可能な強誘電液晶フィールド（ＦＬＣＤ）が
あり、人間の目で検出可能な潜像を越えるイメージ潜像
を可能にする。そのような低リフレッシュ速度は、表示
処理に関する計算的なオーバヘッドをＣＲＴ装置に比較
して削減することができる。

【０００５】しかし、そのような低リフレッシュ速度
を、例えば、最近の演算やディスクトップ出版の用途に
使うことは難しい。特に、画像の一部がテキストである
場合、画像のその部分が、１秒間に６フレームというよ
うな低リフレッシュ速度でも十分適応できるような、相
対的に低速度で更新されるだけであるということは、よ
くあるケースである。

【０００６】アニメーション画像と自然（写真タイプ）
画像のような複合画像を表示する場合には、低リフレッ
シュ速度では、重大な画像品質の悪化を招く。このこと
は、特に、そのような装置で動画を表示する場合に起こ
るが、相対的な複合静止画を表示する場合にも起こる。

【０００７】この困難性を克服するいくつかの方法が提
案されており、それには、異なる方法にて画像を中間調
処理したり、ディザ処理することが含まれる。しかしな
がら、そのような方法は、例えば、自然画像に対して適
切な結果をもたらすことができる一方、そのようなシス
テムは、テキスト画像に対して、それほど有利には働か
ず、その逆もまた同じである。また、表示の一部分での
動きを検出する構成も提案されており、これは、高速度
でリフレッシュされる必要がある表示の一部分を識別で
きる、しきい値技術を用いている。

【０００８】

【発明が解決しようとする課題】しかしながら、中間調
処理とディザ処理は、表示画像にノイズを引き起こし
て、動きとして誤解される可能性がある。そのために、
不必要な表示の更新をさせ、表示処理システムを過度に
使用することになる可能性がある。従来の白地に黒や黒
地に白のテキスト表示とは対照的に、テキストがカラー
の背景にカラー表示される場合には、これらの困難性も
また悪化する。

【０００９】従って、そのようなディスプレイを低リフ
レッシュ速度にて最適な利用をするためには、画像のテ
キスト部分と自然部分を検出し識別する、より効果的な
手段が必要とされる。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の第１の態様によれば、画像中におけるテキ
ストらしき部分と非テキストらしき部分を検出する方法
であって、（ａ）前記画像のテキストらしき部分と前記
画像の非テキストらしき部分とを識別するためのファジ
ー検出ルールセットを確立する確立工程と、（ｂ）前記
画像を複数セグメントに分割する工程と、（ｃ）前記フ
ァジー検出ルールセットを前記画像の各セグメントに適
用して、該各セグメントをテキストらしき部分と非テキ
ストらしき部分として分類する工程とを備える。

【００１１】好ましくは、前記確立工程は、画像の異な
る部分を区別する複数の画像特徴を識別する工程と、前
記特徴の異なる組み合わせをテキストらしき学習用画像
と非テキストらしき学習用画像とに適用することによっ
て、複数のファジー検出ルールを生成する工程と、前記
複数のファジー検出ルールを最小化して、所定量の前記
学習用画像によってサポートされないルールを除き、除
かれなかったルールを前記セットに割り当てる工程とを
備える。

【００１２】さらには、前記生成工程は、各画像特徴を
０から１の範囲の値に正規化する工程と、各入力特徴空
間を複数の等間隔領域に仕切る工程と、各入力特徴を前
記領域の１つのラベルに割り当てて、前記領域の１つの
ラベルのメンバーシップ値を最大化する工程と、前記領
域の各々に対して、前記特徴の各々のための最大化され
たラベルを選択して、それぞれのファジールールを形成
する工程とを備える。

【００１３】本発明の第２の態様によれば、画像中にお
けるテキストらしき部分と非テキストらしき部分を検出
する装置であって、画像のテキストらしき部分と画像の
非テキストらしき部分とを識別するためのファジー検出
ルールセットを確立する手段と、前記画像を複数セグメ
ントに分割する手段と、前記ファジー検出ルールセット
を前記画像の各セグメントに適用して、前記各セグメン
トをテキストらしき部分と非テキストらしき部分の一つ
として分類する手段とを備える。

【００１４】本発明の第３の態様によれば、各々が所定
数の画素を有する複数ブロックとして処理されるデジタ
ル画像を表示手段に表示するために区域分割する方法に
おいて、前記ブロックに対する特徴ベクトルを生成する
ために各ブロックから特徴セットを抽出する工程と、フ
ァジールールセットを用いて、前記ブロックに対する前
記特徴ベクトルによって、前記ブロックをテキストタイ
プの画像かまたは自然タイプの画像のいづれかに分類す
る工程とを備える。

【００１５】本発明の第４の態様によれば、各々が所定
数の画素を有する複数ブロックとして処理されるデジタ
ル画像を表示手段に表示するために区域分割する装置に
おいて、前記ブロックに対する特徴ベクトルを生成する
ために各ブロックから特徴セットを抽出する手段と、フ
ァジールールセットを用いて、前記ブロックに対する前
記特徴ベクトルによって、前記ブロックをテキストタイ
プの画像かまたは自然タイプの画像のいづれかに分類す
る手段とを備える。

【００１６】本発明の第５の態様によれば、入力ビデオ
信号に対応して表示装置に表示させるための表示信号を
生成する表示方法であって、前記入力ビデオ信号のフレ
ームを複数ブロックに区分けする工程であって、各ブロ
ックが所定数の画素からなる工程と、前記ブロックに対
する特徴ベクトルを生成するために各ブロックから特徴
セットを抽出する工程と、ファジールールを用い、前記
ブロックに対する前記特徴ベクトルに依存して、各ブロ
ックがテキストらしき画像あるいは自然らしき画像のい
ずれであるかを識別する工程と、識別されたブロックを
メモリに格納する工程と、前記識別されたブロックに依
存して、前記入力ビデオ信号よりも低いデータ速度で前
記表示信号を生成する工程であって、多数の識別された
テキストらしきブロックからなる前記フレームの第１の
領域は、多数の識別された自然らしき画像ブロックから
なる前記フレームの第２の領域とは異なるように生成さ
れる工程とを備える。

【００１７】本発明の第６の態様によれば、入力ビデオ
信号に対応して表示デバイスに表示させるための表示信
号を生成する表示装置であって、前記入力ビデオ信号の
フレームを複数ブロックに区分けする手段であって、各
ブロックが所定数の画素からなる手段と、前記ブロック
に対する特徴ベクトルを生成するために各ブロックから
特徴セットを抽出する手段と、ファジールールを用い、
前記ブロックに対する前記特徴ベクトルに依存して、各
ブロックがテキストらしき画像あるいは自然らしき画像
のいずれであるかを識別する手段と、前記識別手段に結
合して、識別されたブロックを格納するメモリと、前記
識別されたブロックに依存して、前記入力ビデオ信号よ
りも低いデータ速度で前記表示信号を生成する手段であ
って、多数の識別されたテキストらしきブロックからな
る前記フレームの第１の領域は、多数の識別された自然
らしき画像ブロックからなる前記フレームの第２の領域
とは異なるように生成される手段とを備える。

【００１８】

【発明の実施の形態】以下、添付図面を参照して、本発
明に係る実施の形態を詳細に説明する。

【００１９】本発明は、ディスプレイスクリーンを異な
る領域に分類するのに使用さわる領域分割(zone segmen
tation)の方法と装置を提供する。これは、最適な中間
調処理/色つけを可能とし、表示処理と再生品質を最適
化するために部分的な更新方法をそれらの領域に適用す
ることを可能とする。

【００２０】特に、本発明の実施の形態では、ゾーンセ
グメント表示信号に対するファジー分類技術を用いる。
他の好適な実施の形態における特異な作業は、画像を２
つのタイプの領域に分けることである。これらの内、第
１の領域はテキストに対する領域であり、第２の領域
は、自然画像を含む他の全ての画像に対する領域であ
る。表示される特定画像、あるいは表示される画像（例
えば、異なるページ）に適応可能なルールが必要とな
る。例えば、複数ページの書類は、書類全体を通して適
用される所定のルールセットを持っている。別の方法で
は、複数ページの書類は、各ページ内容に依存する、異
なるページに適用される異なるルールを持つことができ
る。

【００２１】本発明による領域分割で使われる解決方法
は、個々の画素と、それらとその近傍画素間の関係が、
特徴セットで完全に説明されることを想定している。さ
らに、与えられた画像中の異なる要素は、中間調レベル
（カラー）、テクスチャ、またはその両方によって異な
る。従って、本発明に係る実施の形態の領域分割は、特
徴抽出、それに続く分割という、２つの重要な局面を備
える。重要なことは、特徴セットが、自然画像領域から
テキスト領域を区別するのに適しているとされ、また、
ハードウエアによる実行に適している。

【００２２】ハードウエアによる実行は、好適には、後
述する図２のディスプレイシステム２０３で実行可能な
用途特定集積回路（ＡＳＩＣ）の形態を取る。しかしな
がら、次に説明する別の好適な実施の形態に鑑みた場
合、当業者にとっては、本発明の他の実施の形態が本発
明の範囲とその思想から逸脱しない範囲で実施可能であ
ることは明らかである。

【００２３】特徴選択は、最初は多くの特徴（視覚的な
特徴）を含んでいる画像データを次元的に減らすという
問題と関係する。画像データ内のサブ構造を、コンピュ
ータ化して検出するのに必須となる情報を保持する、当
初からの特徴について最適な部分集合(subset)を選択
し、他方、多くの特徴を用いることに起因する計算上の
負荷を減らすことが必要となる。

【００２４】特徴抽出を行なうことによって、パターン
分類のための計算上の複雑さを、画像データの低次元空
間での扱いにて減らすことが可能である。さらに、クラ
ス条件付き濃度関数の推定値を、画像データについての
所定数のトレーニングサンプルに対して得ることができ
る。このようにして、実際の画像上で使われる決定ルー
ルを得ることができる。

【００２５】決定ルールが、観測空間に適用される他の
ルールよりも実際に良好に働くかどうかは、特徴変換で
どのくらいの情報が失われるかによる。いくつかのケー
スでは、分類に必要な情報を１つも無駄にすることなく
特徴を獲得できる可能性がある。

【００２６】画像に対して特徴を獲得する方法はたくさ
んある。好適な実施の形態では、特徴セットは空間領域
特徴からなる。別の実施の形態では、線形変換が画像ブ
ロックに適用される。好適には、この別の実施の形態中
でウエーブレット変換を用いて特徴セットを獲得する。
しかしながら、例えば、アダマール変換とフーリエ変換
を含む他の変換が、選択的に適用される。

【００２７】テキストクラスと自然画像クラスの特徴は
部分的に重なる。輪郭をはっきりさせる(crisp)しきい
値技術を用いた従来（先行技術）の問題解決方法には、
画像の２つのクラス（例えば、テキストと自然）間に境
界を定める効率的な方法がないために、領域分割に対し
て十分ではない。

【００２８】本発明の実施の形態では、ファジー分類技
術を用いて、画像データのあいまいさを取り扱う方法を
提供する。そのような技術は、２つの近傍クラス間の境
界が連続で、部分的に重なる領域であるとして、その領
域内では、対象が各クラスの部分的メンバーシップを有
する。この見方は、領域分割におけるカテゴリ間での境
界をうまく設定できていないという現実を反映してい
る。

【００２９】好適な実施の形態及び別の好適な実施の形
態に係るファジールールを基盤とした方法は、過渡的領
域でのあいまいさを扱うことで、人間らしい性能を達成
する。実行される特定の方法は、２つの基本フェーズか
ら構成される。

【００３０】第１の基本フェーズはトレーニングフェー
ズであり、ここでは、トレーニングセットの全サンプル
にラベルがつけられ、特徴セットが計算される。これに
より、ファジールールがトレーニングセットに基づいて
生成される。これに関連して、ルールを基盤とした方法
の最終目標は、小（Ｓ）、中（Ｍ）、大（Ｌ）のような
ラベルに基づくルールを用いて、画像の分割を行なうこ
とである。ルールは普通、以下の形態をとる。

【００３１】ＩＦ（条件セットが満たされれば）ＴＨ
ＥＮ（結果のセットを推論できる）従って、ファジール
ールは、前提と結論がファジー概念（メンバーシップ関
数をもつ表現のような）と関連するものである。

【００３２】第２の基本フェーズは、特徴が各テスティ
ングブロック（決定される特定画像ブロック）に対して
計算されるランフェーズ(run phase)である。そして、
上記のトレーニングフェーズで生成されたルールに従っ
て、入力（画像）ブロックが対象１（テキスト）か対象
２（自然画像）であるかが決定される。以下の説明で
は、“ブロック”という用語は、所定サイズ（例えば、
９ｘ９画素）の画素グループを説明するために使われ
る。他には、そのようなブロックは“タイル”あるいは
“セグメント”と呼ばれる。

【００３３】図５Ａと図５Ｂは、好適な実施の形態及び
他の実施の形態に係るトレーニングフェーズとランフェ
ーズを示す、ハイレベルのフロー図である。図５Ａで
は、トレーニング画像５０２は、ブロック単位に処理さ
れる。ここでは、各ブロックは所定数の画素から構成さ
れる。好適な実施の形態では、ステップ５０４にて、ト
レーニング画像５０２の各ブロックにおいて、空間領域
での特徴抽出が実行される。括弧書きで示しているが、
別の実施の形態では、ウエーブレット領域特徴が各ブロ
ックから抽出される。そして、ステップ５０６では、抽
出された特徴を用いてファジールールが生成され、自然
画像あるいはテキスト画像として、ブロックを分類する
のに使われる。このステップ５０６の出力は、ファジー
ルールセット５０８である。

【００３４】図５Ｂは、本好適な実施の形態に係るルー
ルベースの分割方法のランフェーズを示す、ハイレベル
のフロー図である。テスト画像５３２は、ブロック単位
に処理される。ここでも、各ブロックが所定のサイズを
有する。ステップ５３４では、空間領域特徴の抽出が実
行される。別の実施の形態では、ウエーブレット領域特
徴が抽出される。ステップ５３６では、ルールベースの
分類が、ステップ５３４で抽出された各ブロックの特徴
に対して実行される。これとの関連において、ファジー
ルールセットがステップ５３６にて提供され、ルールベ
ースの分類が実行される。

【００３５】各ブロックに対するステップ５３６での出
力は、そのブロックが自然画像か、あるいはテキスト画
像であるかの指標５３８となる。選択的にランフェーズ
方法は、さらに個々の画像ブロックの誤分類を補償する
か訂正するため、テスト画像ブロックを後処理するステ
ップ５４０を備える。この選択的なステップ５４０での
出力は、１つかそれ以上の自然画像かテキスト画像の領
域５４２となる。

【００３６】本発明の実施の形態に係る領域分割ユニッ
トについて説明する前に、領域分割ユニットを内蔵する
ディスプレイシステムを簡単に説明する。＜全ディスプレイシステムの構成＞図１は、デバイス１
０１とディスプレイコントローラ１０４との間に接続さ
れたディスプレイシステム１０３の構成を示す図であ
る。ディスプレイコントローラ１０４は、次にディスプ
レイ１０５に接続される。以下に説明するが、好適な実
施の形態に係る領域分割ユニットはディスプレイシステ
ム１０３に供給される。

【００３７】ディスプレイシステム１０３は、コンピュ
ータ等のデバイス１０１から、ケーブル１０２経由で画
像出力を受信する構成となるように示されている。画像
は、好適には同期情報だけでなく、赤、緑、青の画像情
報に分離されたカラーチャネルの形態をとる。しかしな
がら、ＹＩＱ，ＨＳＶ，ＨＬＳ，ＬＡＢを含む他のカラ
ーモデルでもよい。

【００３８】本好適の実施の形態では、ディスプレイシ
ステム１０３は、強誘電液晶ディスプレイ（ＦＬＣＤ）
及び対応するＦＬＣＤディスプレイコントローラとの組
み合わせで用いられる。画像は、ディスプレイコントロ
ーラ１０４を経由してディスプレイデバイス１０５上に
表示され、その画像は、デバイス１０１が予期している
ものよりも低いフレーム速度を有している。しかしなが
ら、本好適な実施の形態をＦＬＣＤディスプレイとＦＬ
ＣＤディスプレイコントローラを用いて実施する一方
で、カラー再現デバイス、通常の画像レンダリング技
術、他のタイプのディスプレイシステムを含む非常に他
の多くの分野にて応用できることは、当業者には十分に
理解できることである。＜ファジールールベースの領域
分割を組み込んだディスプレイシステム＞図２は、領域
分割ユニットを実施できるディスプレイシステム１０３
を示している。以下の説明では、本発明のさらなる完全
な説明のため、多くの具体的な詳細説明がなされる。本
発明がこれらの具体的な詳細説明がなくても実施できる
ということは、当業者にとっては明らかなことである。
他の例では、本発明を不明瞭にしないために、周知の特
徴についての詳細説明は行なわない。

【００３９】ディスプレイシステム１０３は、本好適な
実施の形態による領域分割ユニット２２１と、ゾーンテ
ーブル格納部２０８、フレームストア部２０６、中間調
処理（ハーフトーン）ユニット２１７、部分更新（Ｐ
Ｕ）ユニット２１４を備える。また、入力デバイダ、ア
ナログ・デジタル変換ユニット２１２、動き検出ユニッ
ト２１６、モデル特定パラメータユニット２１９、初期
化／コントロールユニット２１３、図１のＦＬＣＤディ
スプレイコントローラ１０４に対応するディスプレイコ
ントローラ２０４を備える。

【００４０】アナログ入力は、ケーブル２０２（図１の
ケーブル１０２に対応する）を介して、ディスプレイシ
ステム１０３に供給される。アナログ入力の同期情報
は、入力デバイダ２０９によって分割、即ちカラー情報
から分離される。カラー情報２１１と同期情報２１０
は、次にアナログ・デジタル変換（ＡＤＣ）ユニット２
１２に送られる。デバイダ２０９からの赤、緑、青のア
ナログ入力チャネル情報は、アナログーデジタル（Ａ／
Ｄ）変換ユニット２１２内の３つのアナログ・デジタル
（Ａ／Ｄ）コンバータ（不図示）に送られる。各Ａ／Ｄ
コンバータは、そのアナログチャネル入力情報を、対応
するデジタル値に変換する。

【００４１】同期化、すなわち制御のための情報２１
０，２１１はまた、アナログ・デジタル変換ユニット２
１２に送られる。そして、そこで復号化され、デジタル
化されて、画素クロック（ＰＣＬＫ）信号、ライン再ト
レース信号、フレーム再トレース信号（これらは個別に
示されていない）等のシステムコントロール情報を生成
する。

【００４２】コントロール情報は、ディスプレイシステ
ム２０３の残りの部分に、双方向コントロールチャネル
２１８経由で供給され、画素カラー情報と共に出力され
る。コントロールチャネル２１８は、これらの信号を、
初期化・コントロールユニット２１３、本好適な実施の
形態による領域分割ユニット２２１、中間調処理ユニッ
ト２１７、ゾーンテーブル格納部２０８、部分更新ユニ
ット２１４、フレームストア部２０６、動き検出ユニッ
ト２１６、ディスプレイコントローラ２０４を含むシス
テム１０３全体のさまざまな部分に伝達する。初期化・
コントロールユニット２１３は、好適には、マイクロプ
ロセッサを用いて実施される。

【００４３】アナログ・デジタル変換ユニット２１２
は、３つのアナログ入力チャネルだけでなく、モデル特
定パラメータ、クリスタルタイミング入力情報、入力コ
ントロール同期情報を利用して、モデル特定パラメータ
にて決定された画素クロック速度にて、各入力画素に対
して、対応する２値の出力画素を生成する。これらのパ
ラメータは、格納デバイスとしてのモデル特定パラメー
タユニット２１９に格納され、好ましくは、初期化・コ
ントロールユニット２１３によるスタートアップ時にア
ナログーデジタル変換ユニット２１２にロードされる。
モデル特定パラメータユニット２１９は、好ましくは、
シリアルのＥＥＰＲＯＭである。

【００４４】アナログ入力の代わりに、ケーブル２０２
は、入力信号をデジタル形式で直接、アナログ・デジタ
ル変換ユニット２１２の代わりとなる入力バッファ（図
示していないが、周知の技術である）に伝送することが
できる。

【００４５】単独のディスプレイシステムが多くの異な
るコンピュータシステムに接続されるために、ケーブル
アセンブリ２０２は、好ましくはモード特定クリスタル
に適合し、及び／または、初期化・コントロールユニッ
ト２１３は、格納デバイスとしてのモデル特定パラメー
タユニット２１９からモデル特定パラメータを、スター
トアップ時にディスプレイシステムコントローラにロー
ドする。

【００４６】システム毎に変わる傾向があるモデル特定
パラメータには、コンピュータデバイス１０１の画素出
力クロックの周波数、ライン当たりの画素数、フレーム
当たりのライン数、水平帰線消去時間、垂直帰線消去時
間、アナログ・デジタル利得、オフセットパラメータ等
が含まれる。これらのパラメータは、異なるコンピュー
タデバイス１０１にとって利用可能な異なるケーブルを
有するケーブル２０２に供給することができ、これによ
って、ディスプレイシステム２０３の多能性と実用性を
向上させることができる。

【００４７】ビット数とそれによる解像度と共にアナロ
グ・デジタル変換ユニット２１２からは、デジタル値が
出力されるが、これらビット数と解像度は、使用される
Ａ／Ｄ変換器のコストと速度等の要素によって変わる。
本実施の形態では、アナログ・デジタル変換ユニット２
１２の各Ａ／Ｄ変換器は、その各々の入力カラーに対す
る８ビット情報をＡ／Ｄ出力バス２２０に出力する。従
って、Ａ／Ｄ出力バス２２０は、少なくとも２４ビット
幅であり、ディスプレイ情報の単一の画素を表現する。
さらに、アナログ・デジタル変換ユニット２１２は、画
素クロック、フレーム、他の同期情報をＡ／Ｄ出力バス
２２０に出力する。

【００４８】ディスプレイシステム１０３に対する代表
的なアナログ入力速度は、６０Ｈｚであり、他方、ディ
スプレイデバイス１０５のスクリーン更新速度は、およ
そ１５Ｈｚである。結果として、Ａ／Ｄバス２２０から
の出力によって供給された画素ディスプレイ情報は、フ
レームバッファであるフレーム格納部２０６に動き検出
ユニット２１６を介して送られる。フレームストア２０
６の出力２０７は、フレームに中間調処理を適用するハ
ーフトーン処理ユニット２１７に伝送される。動き検出
ユニット２１６の出力２２５と、ハーフトーン処理ユニ
ット２１７の出力は、画像フレームの部分的な更新処理
を実行する部分更新ユニット（ＰＵ）２１４に出力され
る。この部分更新ユニット２１４の出力２１５は、ディ
スプレイコントローラ２０４に送られる。実質的には、
前フレームから変更された現フレームの画素ディスプレ
イ情報は、ディスプレイデバイス１０５上で更新され
る。従って、スクリーン更新速度が低下する。

【００４９】本好適な実施の形態に係る領域分割ユニッ
ト２２１は、Ａ／Ｄ出力バス２２０から画素ディスプレ
イ情報２２２を受信する。領域分割ユニット２２１は、
入力画像シーケンスのフレーム内において複数領域の各
々に対する領域タイプを決定する。ここで、入力画像領
域は、所定の画像フォーマットからなる。特に、領域分
割ユニット２２１は、入力画像を、実質的に“テキスト
文字”や“自然画像”（すなわち、“テキスト文字”以
外）を含む領域に分割する。領域タイプは、例えば、少
なくとも１ビットの識別子で表現される。ここで、ゼロ
(0)のビットは、領域分割ユニット２２１で分割された
画像領域は、“自然画像”を示し、１のビットは、実質
的に“テキスト文字”領域を示す。

【００５０】図２の実施の形態では、領域分割ユニット
２２１は、複数領域各々の領域タイプの他に加えて、全
入力画像に関連する領域の座標セットを決定するように
なっている。座標セットと領域タイプは、領域分割ユニ
ット２２１によって、大きな動き領域を好適に更新する
部分更新ユニット２１４と通信を行なう。

【００５１】ゾーンテーブル格納部２０８は、領域分割
ユニット２２１に接続され、入力画像の複数領域の各々
に対する座標セットと領域タイプを格納する。ゾーンテ
ーブル格納部２０８は、領域分割ユニット２２１によっ
て、双方向データバス２２３経由で絶えず更新される、
つまり、書き込みや読み出しが行なわれるランダムアク
セスメモリ（ＲＡＭ）デバイスである。

【００５２】ゾーンテーブル格納部２０８はまた、動き
検出ユニット２１６とハーフトーン処理ユニット２１７
に情報を提供するが、それらは、それぞれのユニット
（２１６，２１７）によって処理される入力画像領域の
領域タイプと座標位置とについての知識が進化すること
により利益を得る。本好適な実施の形態による領域分割
ユニットについては、以後、詳細に説明する。＜空間的
領域特徴を用いたルールベースの領域分割＞上述したよ
うに、領域分割技術は、２段階の工程を有する。図６
は、領域分割技術のトレーニングフェーズを詳細に説明
するフロー図である。処理はステップ６０２から始ま
る。ステップ６０４では、ファジー分類ルールを生成に
使われる特徴セットが選択される。ステップ６０６で
は、処理のために画像を所定サイズのブロックに分割す
る。以下の説明は単一つの画像に関するものであるが、
実際には多数の画像を、システムをトレーニングするた
めに使い、分類のためのファジールールを生成する。ス
テップ６０８では、画像の第１のブロックが、処理のた
めに選択される。

【００５３】判定ブロック６１０では、全ブロックが処
理されたかどうかをチェックする。もし、決定ブロック
６１０が真（ＹＥＳ）を返したならば、処理はステップ
６２０で終了する。この段階では、分類のための最終的
なファジールールが出力される。また、判定ブロック６
１０が偽（ＮＯ）を返したならば、処理はステップ６１
２に進む。このステップ６１２では、特徴セットが注目
ブロックから抽出される。ステップ６１４では、抽出さ
れた特徴をもとにブロックに対して特徴ベクトルが生成
される。ステップ６１６では、分類用のファジールール
を生成するために特徴ベクトルが使用される。ステップ
６１８では、次の画像ブロックが処理のために選択され
る。そして、処理は、次に判定ブロック６１０に進む。

【００５４】上述したように、本好適な実施の形態で
は、空間領域から直接、得られた特徴を用い、これによ
り、直接、画像画素上で処理を行なう。表１に記載の空
間領域の特徴セットを、画像のセグメントやブロックに
適用することができる。ここでの特徴は、領域分割に適
していることがわかる。《表１》特徴説明記号￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣１ブロックの平均グレイレベルＭＩ２ブロックのグレイレベルの分散（または、標準偏差）ＳＩ３勾配の絶対値Ｇ４ブロックでのオンゼロ勾配の平均絶対値ＭＧ５ブロックでの非ゼロ勾配の最大絶対値ＧＧ６ブロックでのオンゼロ勾配の絶対値の標準偏差ＳＧ７局部コントラストの絶対値Ｃ８非ゼロの局部コントラストの絶対値の平均ＭＣ９ブロックでの非ゼロの局部コントラストの最大絶対値ＣＣ１０ブロックでの非ゼロのコントラストの絶対値のＳＣ標準偏差１１背景に対して暗い画素のコントラストＣＢ１２支配的な局部オリエンテーションＤＯ１３ブロック内でのグレイレベルの数ＮＧ１４最大グレイレベルを持つブロックでの画素数Ｐ１５ブロックの平均グレイレベルより大きいグレイレベルＮＬを有するブロック内の画素数１６ブロックの平均グレイレベルより小さいグレイレベルＮＳを有するブロック内の画素数１７方向勾配 x,y,45° 及び135° １８領域特徴変換ＦＦＴ，ハー(Haar) ＤＣＴ、アダマール２０ｘ，ｙ方向射影表１中の特徴は、グレイレベルの画像に基づいて得られ
たものである。カラー画像では、式（１）に定義されて
いるように画像の輝度が使われる。

【００５５】Ｉ(x,y)=0.299R(x,y) + 0.587G(x,y) + 0.114B(x,y) （１）空間領域の特徴の分析では、多くの異なる特徴を決定す
ることが必要となる。例えば、表１で示される勾配（特
徴１７）は、以下のように計算される。

【００５６】

【数２】

【００５７】ここで、ソーベルオペレータ(Sobel opera
tor)は、以下のように定義される。

【００５８】

【数３】

【００５９】局部コントラストは、近傍の画素と比較さ
れた画素のコントラストとして、以下に示すように定義
される。

【００６０】

【数４】

【００６１】ここで、δは、注目画素に対する近傍の距
離である。

【００６２】コントラストＣ（ｘ，ｙ）は、画素輝度と
その画素から距離δ以内の４つの近傍画素の平均輝度と
の差を測定するものである。もし、δ＝２ならば、Ｉ
（ｘ，ｙ）のラプラシアンとなる。

【００６３】表２に、表１の多数の特徴に対する検出確
率の属性を示す。《表２》記号説明属性／属性／コメントテキスト自然￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ＭＩブロック内の平均グレイレベルＮ／ＡＮ／Ａ領域とブロックを併合するＳＩブロック内のグレイレベル分散ハイローコンスタントブロックの検出Ｇ勾配の絶対値ハイロー必要なしきい値処理ＭＧブロックの非ゼロ勾配の平均値ハイローしきい値処理なしＳＧブロックの非ゼロ勾配の標準ハイローしきい値処理なし偏差Ｃ局部コントラストの絶対値ハイロー必要なしきい値処理ＭＣブロックの非ゼロコントラストハイロー狭いテキストライの平均値ンに対して真ＳＣブロックの非ゼロコントラストハイローしきい値処理なしの標準偏差ＣＢ背景に対する暗い画素のコントハイロー周囲より暗いテキラストトに対してＤＯ支配的な局部オリエンテーハイロー方向づけられたタションイルＮＧブロック内のグレイレベル数ローハイＰ最大グレイレベルを持つハイローブロック内の画素数表２を参照すると、特徴の幾つかは、高いテキスト属性
値（または、結果）と、対応する低い自然画像属性値を
持つことがわかる。興味深いことには、表２の唯一つの
特徴だけが、高い自然画像属性値と低いテキスト属性値
を持つ。

【００６４】画像分割に対してブロックを基盤とした
（タイルによる）問題解決方法が使われ、そこでは、ト
レーニング用画像及びテスト用画像等の各画像が、ま
ず、等しいサイズのブロック等のセグメントや領域に分
割され、各ブロックは入力データとして扱われる。ブロ
ック当たり４ｘ４乃至３２ｘ３２画素の範囲の正方形ブ
ロックを使うことができる。好ましくは、いずれか１つ
のブロックにおいて十分な複雑さを達成し、また、いず
れか１つの画像内のブロック数をも管理可能な割合内に
維持するために、９ｘ９のブロックを使うことができ
る。しかしながら、本発明の範囲とその主旨を逸脱する
ことなく、他の形のブロックを用いることができる。

【００６５】画像をブロックに分割することによって、
表２の特徴セットが各ブロックのデータから抽出され
る。

【００６６】図３は、本好適な実施の形態に係るルール
ベースの領域分割を実行するために構成されたプロセッ
サの構造を示す。画像３０２が入力され、多数の画像ブ
ロック３０１に分割される。各画像ブロック３０１は、
各ブロックに対する特徴ベクトルを計算するために、多
数の特徴ｆ１〜ｆｎ３０３に関して測定される。好まし
く、６つの特徴要素が使われるが（表３を参照して、以
下に説明する）、本発明の範囲と主旨から逸脱すること
なく、その他の数の特徴を使うこともできる。特徴ベク
トルは、特徴ベクトルレジスタ３０４に保持される。レ
ジスタ３０４の出力がルール分類レジスタ３０５に供給
され、レジスタ３０５は、対象メンバーシップの度合い
の関数として画像に適用される特定のルールを出力す
る。好ましくは、ファジールール分類に続いて後処理工
程が始まり、画像ブロックを画像領域に併合する。

【００６７】ファジールール分類のために、一様に分布
した三角形のメンバーシップ関数が選択される。図４Ａ
と図４Ｂは、異なるファジー領域を有する１次元のメン
バーシップ関数を示している。図４Ａは、０と１を含め
た０と１の間の範囲にある特徴値に対するラベルＳ，
Ｍ，Ｌ（小、中、大）のための３つのメンバーシップ関
数を有する、３つのファジー領域を示す。これとは対照
的に、図４Ｂは、ラベルＳ，Ｌが付された２つのファジ
ー領域を示す。

【００６８】図８にファジールールの生成について、そ
の詳細が示されている。ステップ８０２では、各入力特
徴ベクトルは、０から１の範囲の値を持つように正規化
される。ステップ８０４では、各入力特徴空間は、異な
る重畳部分を持つ、いくつかの等間隔領域に分割され
る。ステップ８０６では、トレーニングデータから学習
することによって、ファジールールが生成される。

【００６９】各入力特徴は、最大のメンバーシップ値が
得られる領域のラベルに割り当てられる。ステップ８０
８では、多数の学習サンプルによってサポートされるル
ールだけを許容することにより、ファジールールが最小
化される。ステップ８１０では、デファジー処理の段階
においてセントロイドデファジー処理(centroid defuzz
ification) が適用される。ｐ番目の入力パターンに対
するセントロイドデファジー処理の出力Ｏｐは、

【００７０】

【数５】

【００７１】で与えられる。ここで、Ｋはルールの数、
Ｏｉは、ルールｉで生成されるクラスであり、Ｄｉｐ
は、ｐ番目のパターンがｉ番目のルールのＩＦ条件にど
のように適合するかを測定するものである。

【００７２】測定Ｄｉｐは、ｉ番目のルールで使われる
ラベルに対する、特徴ベクトルのメンバーシップ値の積
によって与えられる。すなわち、

【００７３】

【数６】

【００７４】ここで、ｎは特徴の数であり、ｍｉｊは、
ｉ番目のルールが用いるラベルに対する特徴ｊのメンバ
ーシップ値である。

【００７５】“０”をテキスト画像ブロックに、そし
て、“１”を自然画像ブロックに割り当てることによっ
て、出力がＯｐ＜０．５であるならば、入力パターン
（画像ブロック）は、テキスト画像ブロックとして分類
される。そうでなければ、そのブロックは自然画像ブロ
ックとして分類される。

【００７６】例えば、ｐ番目の入力パターンは、特徴ベ
クトル（０.０，０.１，０.２５，０.３，０.２，０.８
５）を有する。ルール１（表４）で使われるラベルに対
するメンバーシップ値は、ｍ11=１.０，ｍ21=０.７３
３，ｍ31=０.333，ｍ41=０.２，ｍ51=０.４６６７，ｍ6
1=０.６である。ルール１６で使われるラベルに対する
メンバーシップ値は、ｍ1,16=１.０，ｍ2,16=０.７３
３，ｍ3,16=０.333，ｍ4,16=０.２，ｍ5,16=０.４６６
７，ｍ6,16=０.０６７である。適合するパターンは、次
式で与えられる。

【００７７】

【数７】

【００７８】と、

【００７９】

【数８】

【００８０】ルール１とルール１６のみに基づいた場
合、ｐ番目の入力パターンは、

【００８１】

【数９】

【００８２】となる。Ｏｐ ≦０．５であるので、ｐ番
目の入力がテキストに割り当てられる。このことは、特
徴ベクトル（０.０，０.１，０.２５，０.３，０.２，
０.８５）を有する入力パターン（画像ブロック）は、
表４のルール１とルール１６に基づいて、テキスト画像
ブロックとして分類される。

【００８３】本好適な実施の形態のファジールールベー
スのシステムで使われる特徴は、表３に示されている。《表３》見出し説明値の範囲領域数とそのラベル￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣Ｆ１非ゼロ画素勾配の平均値（ＭＧ）［０，１］（大、中、小）Ｆ２非ゼロ画素勾配の標準偏差（ＳＧ）［０，１］（大、中、小）Ｆ３非ゼロ局部コントラストの平均値［０，１］（大、中、小）（ＭＣ）Ｆ４非ゼロ局部コントラストの標準偏差［０，１］（大、中、小）（ＳＣ）Ｆ５ブロック内で際立つグレイレベルの数［０，１］（大、中、小）（ＮＧ）または、（大、小）Ｆ６ブロックグレイレベルヒストグラム［０，１］（大、中、小）のピーク値（Ｐ）または、（大、小）このような特徴セットの性能を測定するために、５６７
個のテキストブロックと１２９６個の自然画像ブロック
を有する１８６３個のサンプルを、８つのトレーニング
画像から抽出した。トレーニング画像は、６４ｘ６４，
６４ｘ６４，６４ｘ６４，１２８ｘ１２８画素の４つの
テキスト画像と、各々が１２８ｘ１２８画素の“自然”
画像からなる。

【００８４】使用されたトレーニング画像９０２，９０
４の２つは、図９Ａ，図９Ｂに示されており、それぞれ
がテキスト画像９０２、自然画像９０４を示している。
これら２つの画像に対して、テスト用として３５６４個
のテキストブロックと７１８４個の自然画像ブロックか
らなる１０７４８個のサンプルを採取した。図４Ａに示
す３つのファジー領域を選択することによって、各特徴
領域では、５６個のルールがトレーニングサンプルから
生成された。それらの内、１０個より少ないトレーニン
グサンプルにてサポートされるルールを取り除くことに
よって、もとの５６個のルールの内、２５個のルールが
得られ、それらは、表４に掲げてある。《表４》ルールＩＦＴＨＥＮサポートＦ１とＦ２とＦ３とＦ４とＦ５とＦ６とサンプル数￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣１ＳＳＳＳＳＬテキスト１６０２ＬＬＭＭＳＬテキスト３０３ＭＭＭＭＳＬテキスト３３４ＭＭＳＳＳＬテキスト１１５ＬＭＭＭＳＬテキスト５９６ＬＬＬＬＳＭテキスト１５７ＬＭＭＬＳＬテキスト４６８ＬＭＭＬＳＭテキスト１３９ＬＬＭＬＳＭテキスト１０１０ＬＬＭＬＳＬテキスト１４１１ＬＭＭＳＳＬテキスト１５１２ＬＭＳＳＳＬテキスト１７１３ＭＭＭＳＳＬテキスト２２１４ＬＭＬＬＳＭテキスト１５１５ＳＳＳＳＭＳ自然９１６１６ＳＳＳＳＳＭ自然９９１７ＳＳＳＳＬＳ自然１０５１８ＳＳＳＳＳＳ自然１６１９ＳＭＭＳＬＳ自然２３２０ＳＭＭＳＭＳ自然２３２１ＳＭＳＳＭＳ自然２０２２ＳＭＳＳＬＳ自然２６２３ＳＳＳＳＭＭ自然３０２４ＳＭＳＳＳＭテキスト１３２５ＭＭＭＭＳＭテキスト１８表４は、２５個のルールを与え、各々は、表３の６つの
特徴の論理ＡＮＤを取った組み合わせを有しており、こ
れにより、画像の、ある部分がテキストか、あるいは自
然かを識別することができる。例えば、ルール１は： (F1=S) AND (F2=S) AND (F3=S) AND (F4=S) AND (F5=S)
AND (F6=L)である。もし、この条件が満足されると、
分割されたブロックはテキストとして識別される。

【００８５】図７を参照してランモードを詳細に説明す
る。処理はステップ７０２から始まる。ステップ７０４
では、画像は所定サイズの多数のブロックに分割され
る。ステップ７０６では、最初のブロックが処理のため
に選択される。

【００８６】判定ブロック７０８では、全ブロックが処
理されたかどうかをチェックする。この判定ブロック７
０８が偽（ＮＯ）を返すと、処理はステップ７１０に進
む。ステップ７１０では、特徴セットが注目ブロックか
ら抽出される。ステップ７１２では、抽出された特徴を
用いて、ブロックに対する特徴ベクトルが生成される。
ステップ７１４では、特徴ベクトルについてのルール分
類が実行され、そのブロックに対してテキスト画像か、
または自然画像かのクラスが決定される。そして、ステ
ップ７１６では、次のブロックが選択され、処理は判定
ブロック７０８に進む。

【００８７】判定ブロック７０８が真（ＹＥＳ）を返す
と、処理はステップ７１８に進む。ステップ７１８で
は、画像ブロックを画像特徴に併合することで、後処理
が選択的に画像ブロックについて実行され、テキストブ
ロックと自然画像ブロックの誤分類が画像の近傍ブロッ
クに基づいて訂正される。このことは、以下に詳細に説
明する。

【００８８】表５は、表４に掲げられたルールを用いた
トレーニングとテストに対する性能の測定結果を示す。
特に、成功率は、例えば、テキストをテキストとして検
出する成功率に関連づけられる。失敗率は、全画像の
内、未知の部分の合計数に関連づけられる。《表５》画像タイプトレーニングに対する成功率テストに対する成功率失敗率￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣テキスト９９.８２６％９９.５２３％６.３７％自然９８.８４３％９７.３７％０.０９７％表３に掲げられた最初の４つの特徴に対する３つのファ
ジー領域（図４Ａに示されている）と、最後の２つの特
徴（Ｆ５とＦ６）に対する２つのファジー領域（図４Ｂ
に示されている）を選択することによって、選択的に、
合計４３個のルール（第２のルールセット）が、トレー
ニングサンプルから生成される。表５で使われたものと
同じ画像に対して、第２のルールセットを用いた性能測
定結果が表６に示されている。《表６》画像タイプトレーニングに対する成功率テストに対する成功率失敗率￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣テキスト９８.９４２％９９.４７６％６.３４％自然９５.２９３％９１.８０％０.４４５％好適な実施の形態についての性能を、図１０Ａ，図１０
Ｂと図１１Ａ，図１１Ｂとを比較して示す。図１０Ａと
図１０Ｂはそれぞれ、検出の目的でテストされるテキス
ト画像１００２と自然画像１００４を示す。

【００８９】図１１Ａと図１１Ｂはそれぞれ、テスト画
像１００２，１００４に対する分割結果１１０２，１１
０４を示す。ここでは、その結果１１０２，１１０４
は、グレイの３つの陰影で示されている。図１１Ａと図
１１Ｂでは、明るい陰影１１１０が、検出された自然の
シーンに相当し、最も暗い陰影１１１２が、検出された
テキスト画像ブロックに相当する。そして、中間グレイ
の陰影１１１４が、自然またはテキストとしては、不定
あるいは未知のブロックに相当する。

【００９０】好適な実施の形態の性能についての質的な
指標は、自然画像に際立つ黒エッジ１０１０を含む図１
０Ｂの左下端と、好適な実施の形態の構成がエッジ１１
２０をほとんどテキストであるとして検出した図１１Ｂ
とを比較することによって示される。図１０Ｂに見られ
る際だった変化は、テキストを明示するものとして解釈
される。それと対照して、モデルの頭髪の生え際におけ
るような、図１０Ｂ内での他の変化は、自然画像として
検出される。視覚的な検査と、図１０Ａと図１１Ａの比
較とにより、対応する結果を質的に決定することができ
る。

【００９１】上記より、テスト画像を用いたオフライン
方法で検出ルールを決定することによって、テキスト／
自然画像検出に対するファジールールベースの方法が決
定でき、簡単に実行できることが明らかであろう。＜ウエーブレット変換を用いたルールベースの領域分割
＞本発明の他の実施の形態では、好ましくは、領域分割
に関する特徴抽出／分析のための混合画像（即ち、画像
がテキスト画像領域と自然画像領域からなる）の分析
に、ウエーブレット変換が使われる。ディスクリートウ
エーブレット変換（ＤＷＴ）は、フーリエ級数係数に似
た態様で使うことができる係数マトリクスの形で、多解
像度分析を表わすものである。このＤＷＴ表現を用い
て、元画像についての特徴抽出を実行する。上述のよう
に、アダマール変換やフーリエ変換を含む他の線形変換
を、周波数領域特徴を得るために選択的に実行してもよ
い。

【００９２】他の実施の形態では、ブロックベースのウ
エーブレット変換が、ファジールールベースシステムに
先行する特徴抽出器としての標準及び非標準の２Ｄ分解
を用いて実行される。標準の２Ｄ分解には、列ごと、そ
の次に行ごとに分解を実行することが含まれ、その逆も
実行される。非標準の２Ｄ分解は、行ごとと列ごとの両
方、即ち、２Ｄ方法での分解の実行を含む。

【００９３】本発明に係る他の実施の形態では、４つの
タップＤ４と８つのタップＤ８を有する、ハー(Haar)ウ
エーブレットフィルタとドーベチス(Daubechies)ウエー
ブレットフィルタを選択的に用いる。しかしながら、考
えられる他のウエーブレットベースを選択的に使用して
もよい。

【００９４】以下の説明では、ピラミッドウエーブレッ
ト変換での多解像度レベルについての指標は、図１２と
図１３に示される最も高い解像度より始まるものとす
る。括弧内の表記は、多解像度レベル（０〜３）、それ
ぞれ水平、垂直、または、対角方向を有する高（Ｈ）周
波数サブバンド、そして、各レベルでの低（Ｌ）周波数
サブバンドを示す。

【００９５】図１２には、８ｘ８画素ブロックの３レベ
ル分解が示されている。ウエーブレット変換されたブロ
ック１２０２は、スケールまたはレベルにおいて０の
Ｌ，Ｈｈ，Ｈｖ，Ｈｄサブバンドである、４つのサブバ
ンド１２１０，１２１２，１２１４，１２１６からな
る。好ましくは、ウエーブレット変換ブロック１２０２
を作るために変換された画像ブロックは、両方向矢印で
示された８ｘ８画素ブロックである。

【００９６】スケールゼロでのＬサブバンド１２１０
は、再度、低解像度にウエーブレット変換され、スケー
ル１でのＬ，Ｈｈ，Ｈｖ，Ｈｄサブバンド１２２０，１
２２２，１２２４，１２２６を与える。サブバンド１２
２０をさらにウエーブレット変換すると、スケール２で
のＬ，Ｈｈ，Ｈｖ，Ｈｄサブバンド１２３０，１２３
２，１２３４，１２３６を生み出す。当業者には理解で
きることであるが、図１２におけるスケール２のサブバ
ンドの場合のように、ウエーブレット変換は、結果とし
て得られるサブバンドが１ｘ１画素である最低の解像度
にスケールが達するまで、サブバンドに対して繰り返し
適用できる。

【００９７】図１３において、８ｘ８画素の入力画像ブ
ロック１２００が、ピラミッド形ウエーブレット変換構
造の最上部に示されている。第１のウエーブレット変換
で作られたサブバンドの各々は、画像１２００から、そ
れぞれがサブバンド指示記号ＬＬ，ＬＨ，ＨＬ，ＨＨで
ラベル付けされた、対応するサブバンド１２１０，１２
１２，１２１４，１２１６まで延びる矢印で示されてい
る。同様に、低解像度スケール１を作るために、ウエー
ブレット変換をＬサブバンド１２１０に適用すること
が、レベル０でのＬサブバンド１２１０から、各々がＬ
ＬＬＬ，ＬＬＬＨ，ＬＬＨＬ，ＬＬＨＨとラベル付けさ
れたサブバンド１２２０，１２２２，１２２４，１２２
６まで延びる矢印によって示されている。

【００９８】Ｉの深さを有する２次元ウエーブレット変
換によって、Ｎ＝１＋３Ｉのサブバンドが生み出され
る。従って、図１２には、計１０個のサブバンドがあ
る。他の実施の形態では、特徴抽出に対して高解像度サ
ブバンドを用いる。

【００９９】特に、他の実施の形態では、ピラミッド形
ウエーブレット変換特徴とエネルギーベースのウエーブ
レット特徴を、基本選択のためのクラス分離度ベースの
アルゴリズムとして用いる。ウエーブレット領域の特徴
セットは、最も低い解像度（即ち、図１２のＬサブバン
ド）でのサブバンドを除く変換ピラミッドのサブバンド
またはレベルのような、注目領域Ｒでの変換係数から得
られた局部エネルギー測定を含む。

【０１００】好ましくは、注目領域Ｒでのｌ1ノルム、
ｌ2ノルム、そして係数分散を含む３つのエネルギー測
定が使われる。

【０１０１】Ｒでの係数のｌ1ノルムは、次式で与えら
れる。

【０１０２】

【数１０】

【０１０３】ここで、ｘiは、ｎ個の係数を有する領域
Ｒのｉ番目に変換された係数である。Ｒでの係数のｌ2
ノルムは、次式で与えられる。

【０１０４】

【数１１】

【０１０５】Ｒでの絶対係数の分散は、次式で与えられ
る。

【０１０６】

【数１２】

【０１０７】式（１２）で、ｘのバーは、Ｒでの係数の
平均絶対値である。２つの正規化方法が、（１）平均エネルギー；Ｒでの係数の全数ｎで除算さ
れたＲでのエネルギー（２）相対エネルギー；全係数での総エネルギーで除
算されたＲでのエネルギーを得るために使われる。上述
のエネルギー特徴の表記法は、表７に示されている。《表７》エネルギー注目領域レベルサブバンド￣￣￣￣￣￣￣￣￣￣￣￣￣ｌ1ノルムｅl1 ｅs1 ｌ2ノルムｅl2 ｅs2 分散ｅlv ｅsv ８ｘ８ブロックベースのフルスケールウエーブレット変
換の場合、レベルエネルギーセットに３つの特徴が、サ
ブバンドベースのエネルギーセットに９つの特徴があ
る。

【０１０８】ここで、クラス分離度測定と特徴選択につ
いて説明する。優れた分類性能を達成するために、特徴
空間で良好にデータクラスタが分離されるよう、異なる
クラス間で顕著な違いを示すのに最も効果的な特徴が選
択されなければならない。特徴空間において互いに重な
り合う特徴ベクトルのクラスがほとんどないならば、特
徴ベクトルはよく分離できる。その結果、分類段階で、
よりよい性能を達成できる。

【０１０９】クラス内距離測定とクラス間距離測定に基
づくクラス分離度の基準が特徴評価のために使われる。
クラス内距離測定は、

【０１１０】

【数１３】

【０１１１】として定義される。ここで、｜Ｃ｜は、ク
ラスＣ内の特徴ベクトル数であり、ｄは、（ユークリッ
ド）距離測定であり、ｘハットはクラスの代表：

【０１１２】

【数１４】

【０１１３】である。

【０１１４】選択的に、クラスの平均ベクトルは、クラ
ス代表として使われる。クラス間距離Ｄｂは、

【０１１５】

【数１５】

【０１１６】として定義される。ここでＫは、データセ
ット内の異なるクラスの数である。

【０１１７】クラス内距離Ｄｗは、代表クラスメンバー
ｘハットまでの、クラスＣの特徴ベクトルの平均距離を
計算することによって、クラスの簡潔さの評価を与え
る。クラス間距離Ｄｂは、他のクラス個々の最も近い代
表ｘハットＣｊに対するクラス代表ｘハットＣｊの距離
ｄを合計する。

【０１１８】分類について良好な分離度を有するため
に、大きなクラス間測定結果Ｄｗと小さなクラス間測定
結果Ｄｂが同時に必要とされる。他の実施の形態では、
クラス分離度の測定を、

【０１１９】

【数１６】

【０１２０】と定義することで、両方の測定が組み合わ
される。ここで、Ｃバー＝｛Ｃ１，Ｃ２，．．．，Ｃ
ｋ｝は、代表値ｘハットＣｊを有する１組のクラスであ
る。

【０１２１】１周りのＪ値は、全て考慮に入れたクラス
に渡る平均オーバラップが非常に低いことを示してお
り、他方、ゼロに近い値は、テストデータサンプルの分
類が選択された特徴セットでは難しいことを示してい
る。

【０１２２】クラス分離度の基準としてＪを用いて、異
なるフィルタと変換方法を用いたウエーブレット領域で
得られたエネルギー特徴は、表８〜表１１に示された結
果を生み出す。トレーニングデータセットに対して、ブ
ロックベースのウエーブレット変換（特に示さない限
り、８ｘ８ブロックが使われる）を実行することによっ
て、全特徴セットを抽出した。

【０１２３】表８には、上記で定義された異なるエネル
ギー特徴セットから推定されたクラス分離度測定結果を
掲げてある。８ｘ８のハー変換を、トレーニングセット
内の各画像に対して実行した。全て特徴は、変換ピラミ
ッドの各レベルにて獲得される。

【０１２４】表９のクラス分離度測定結果は、平均分散
エネルギー特徴セットｅｖが、上記で定義されたウエー
ブレット領域の特徴セット間で、最適な分類性能を与え
ることを示している。以下の説明では、ｅｖを選択し、
ウエーブレット領域特徴セットと呼ぶ。《表８》特徴セットクラス分離度￣￣￣￣￣￣￣￣￣￣￣￣￣平均ｅｖ０．９１１７０６平均ｅ１０．８８００３３相対ｅ１０．６２７９７５平均ｅ２０．８５１６０６相対ｅ２０．７１５５９４表９は、異なる型のフィルタを第２のトレーニングセッ
トに適用することによって得られた、クラス分離度測定
結果を示す。それによれば、異なるフィルタが似たよう
な結果を与えることがある一方、サブバンドベースのフ
ィルタが、レベルベースの特徴よりもわずかに良好な性
能を与えることがある。《表９》フィルタの型フィルタ長特徴数クラス分離度￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ドーベチス４２（レベルエネルギー）０．７８００７１６（サブバンドエネルギー）０．８６９７６５ドーベチス８１（レベルエネルギー）０．８０５３２６２３（サブバンドエネルギー）０．８２２３５７４ハー２３（レベルエネルギー）０．７７６４１６９（サブバンドエネルギー）０．８６３８５０表１０，表１１には、２Ｄ変換方法について考えられる
いくつかの組み合わせの結果と、ブロックサイズの効果
が示されている。《表１０》２Ｄ方法３レベル特徴９サブバンド特徴￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣標準０．７６６９４８０．７９６４４１非標準０．７７６４１６０．８６３８５０表１０は、非標準２Ｄ方法が良好な結果を生み出し、計
算の複雑さについては要求が低いことを示している。従
って、非標準２Ｄ方法の方が好ましい。

【０１２５】表１１は、ブロックサイズが大きくなるに
つれてクラス分離度が増大することを示している。《表１１》ブロックサイズ８ｘ８１６ｘ１６３２ｘ３２￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣クラス分離度０．７７６４１６０．８４３５４４０．８８６９０１他の実施の形態がサンプル画像を用いて考案されたが、
そのサンプル画像は、２つの画像クラス、即ち、テキス
ト画像と自然画像からなる。第１の画素セットは１６個
の８ビット画像からなり、第２の画像セットは、１６個
の２４ビット画像からなる。各セットの画像の半分はト
レーニングセットとして使われ、残りの半分はランフェ
ーズに使われた。６４ｘ６４，１２８ｘ１２８，２５６
ｘ２５６画素の画像サイズは、テキストに使われ、３２
ｘ３２，１２８ｘ１２８，２５４ｘ３９２，４２０ｘ５
９４画素の画像サイズが、自然画像に使われた。

【０１２６】全てのトレーニングデータサンプルが、上
述したトレーニング画像より生成された。分類器をトレ
ーニングするための大量のデータを獲得するために、オ
ーバラップによるサンプリング方法を採用し、ＮｘＮサ
イズ（即ち、ここでは、特定しない限り８ｘ８が使われ
る）のサブブロックを、５画素から９画素の範囲のオー
バラップ量を有する各トレーニング画像から抽出した。
約１００００個のトレーニングサンプルが、各画像クラ
スに対して生成された。

【０１２７】以下、ルールベースの分割のためのファジ
ールールの生成について説明する。上記図５Ａ，図５
Ｂ，図６，図７，図８の記載に鑑みた場合、以下の説明
は実施の形態における相違を示すものとなる。ルールベ
ースシステムが行なうのは、トレーニングサンプルセッ
トから学習したルールを用いて、画像をテキスト画像領
域と自然画像領域という異なる領域に分割することであ
る。分割は、ブロック統合の前に、各画像ブロックの局
部処理によって実行される。表示スクリーンのように大
きな画像データを処理する場合のハードウエアの制約が
あるため、ブロックベースの問題解決方法が好ましい。

【０１２８】上述のウエーブレット領域特徴セットは、
ルールベースシステムに統合される。図５Ａと図５Ｂを
参照して、他の実施の形態に係る領域分割ユニットの主
要な工程を説明する。トレーニング段階では、トレーニ
ング画像ブロックが、２Ｄウエーブレット変換を用いて
分解され、エネルギー特徴が、各トレーニングサンプル
に対する変換係数から計算される（ステップ５０４）。
ステップ５０６では、入力領域の顕著な特徴がトレーニ
ングサンプルから学習され、ファジールールセットとし
て表現される。

【０１２９】その後、テスト（またはランフェーズ）画
像ブロックは、図５Ｂのステップ５３４、ステップ５３
６に従って、生成されたルール５０８を用いて分類され
る。図４Ａに示されているように、一様に分布した三角
形メンバーシップ関数が選択される。各ピラミッドレベ
ルでウエーブレット領域特徴を抽出するために、ハー変
換を使した。

【０１３０】表１２に示すように、ウエーブレット領域
特徴セットを用いた分割は、自然画像に対する空間領域
特徴よりも高い分類正解率を有する。《表１２》特徴領域特徴数自然画像ブロックテキストブロックに対する正解率に対する正解率￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ウエーブレット３９９．３４１２％６４．７５％（ハー）空間６９８．９３５％９８．６９８％空間領域特徴を用いると、９８％を超える正しい分類が
できた。ウエーブレット領域特徴を用いると、自然画像
ブロックの分類に対しては性能が改善されたが、テキス
トブロックに対しては、正確な結果が得られなかった。
ウエーブレット領域特徴は、テキストブロックを画像ブ
ロックとして誤分類する傾向がある。

【０１３１】３つの異なるウエーブレットフィルタから
得られたウエーブレット特徴を用いた分類が、第２のラ
ンフェーズのデータセットに基づいて実行された。表１
３は、異なるウエーブレットフィルタが同じような性能
を持っている一方、サブバンドベースのエネルギー特徴
では、わずかに良好な結果をもたらしたことを示してい
る。《表１３》特徴領域特徴数自然画像ブロックテキストブロックに対する正解率に対する正解率￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ドーベチスＤ４２９９．９５７％５２．７３４％６９９．８２６％６２．１９６％ドーベチスＤ８１９９．９７８％５１．８１２％３９９．９７８％５９．９８３％ハー３９９．９４６％５７．０９６％９９９．５２３％６４．５５１％空間６９４．４６６％９１．７７５％表１４に、分類性能におけるブロックサイズの効果が示
されている。ブロックベースのウエーブレット変換に対
してブロックサイズを大きくすることは、テキストに対
する正しい認識率を急速に向上させる一方、自然画像に
対する性能は変わらないという結果を有する。《表１４》ブロックサイズ特徴数自然画像ブロックテキストブロックに対する正解率に対する正解率￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣８ｘ８３９９．９４６％５７．０９６％１６ｘ１６４９９．９５７％７５．０９％３２ｘ３２５９９．７８５％８０．３３２％表１５に、他の実施の形態でのファジールールベースの
システムで使われる特徴を示す。《表１５》指標説明値の範囲領域数とそのラベル￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣Ｆ１レベル０の平均ｅv ［０，１］（大、中、小）Ｆ２レベル１の平均ｅv ［０，１］（大、中、小）Ｆ３レベル２の平均ｅv ［０，１］（大、中、小）好ましくは、特徴セットＦ１，Ｆ２，Ｆ３は、それぞれ
レベル０，１，２の平均ｅｖを有する。選択的には、特
徴セットは、３レベル分解において各サブバンドの分散
ｅｖである、９つの特徴を有する。

【０１３２】他の実施の形態のルールは、表１５に示さ
れた特徴に基づいており、１４７２個のトレーニングサ
ンプルを用いて決定された。３個以下のトレーニングサ
ンプルによってサポートされるルールを排除することに
よって、表１６に示す１１個のルールが得られた。《表１６》ルールＩＦＴＨＥＮサポートサンプル数Ｆ１とＦ２とＦ３と￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣１ＭＳＳテキスト５１２ＳＳＳ自然１０１８３ＭＭＳテキスト１２４４ＬＳＳテキスト５５ＭＭＭテキスト８６ＬＬＳテキスト４７ＭＳＭテキスト４８ＬＭＳテキスト８９ＭＬＳテキスト５１０ＳＭＳテキスト１８１１ＳＳＭ自然３テキスト領域を特徴づける空間的な変化を捕らえるため
に、ブロックサイズを大きくすることができる。テキス
ト分類にウエーブレット領域特徴を用いたことに関連し
て認識率が不十分になることは、ウエーブレット変換に
対して大きなブロックサイズを使用することで改善でき
る。

【０１３３】分類された画像からは、テキスト領域のほ
とんどが正確に分類される。大きなフォントサイズのテ
キストと、テキストとパラグラフ間のギャップを含む領
域は、誤分類される傾向にある。これは、テキスト領域
に対して認識率が低いことが、時折、誤分類された領域
をまばらに作る、ブロックベースの分割の局部性に一部
起因するものである、ということを指し示している。例
えば、スクリーンのテキスト領域での２つのパラグラフ
間のギャップの特性が、局部的に自然画像に似ており、
それゆえ、イメージブロックとして分類されることがあ
る。＜後処理＞上記のまばらな誤分類領域は、ブロック統合
処理を用いて減らすことが可能である。この処理では、
“小さな”非直線状の領域(non-colinear area)が誤分
類されたとして、再ラベル付けできる。図５Ｂと図７に
おいてステップ５４０、ステップ７１８で示されている
ように、画像中において、誤分類されたブロック数を減
らすために、後処理を実行することが可能である。この
ブロックには、画像中で重なり合うディスプレイウイン
ドウに起因する不規則な形状領域を持つものを含む。

【０１３４】図１４は、上述のステップ５４０またはス
テップ７１８で実行される後処理またはブロック統合処
理を説明するフロー図である。説明の目的のため、後処
理の方法を、図１５〜図１９を参照して述べる。特に、
図１５は、テキスト１５０６，１５０８，１５１０と、
自然画像１５０２，１５０４とが重なり合う領域を含む
混合画像１５００を示す。

【０１３５】図１６に、図１４の２値画像１４００のそ
れに対応する、混合画像１５００を領域分割して得た２
値画像１６００を示す。その２値画像は、各画素が１か
０の２値を有するところへ入力される。値１は、自然画
像ブロック（明るいグレイの画素として描かれている
（例えば、画素１６０４，１６１０））を表現する白画
素を示し、値０は、非自然画像ブロックかまたはテキス
ト画像ブロック（暗いグレイの画素として描かれている
（例えば、１６０２，１６１２））を表現する黒画素を
示す。

【０１３６】画像中のごま塩ノイズを減らすために、選
択的にkFillフィルタが、まず、２値画像に適用され
る。好ましくは、小さな孤立穴を２つ以下のブロックで
埋めるために、ｋ＝２の値が使われる。図１７は、図
１５の混合画像１５００に対して２値画像１６００をkF
illフィルタ処理した結果１７００示す。図１６の１６
０２，１６１０，１６１２のような誤分類されたブロッ
クが取り除かれたことがわかる。

【０１３７】ステップ１４０２では、文字、テキスト
行、パラグラフを接続領域へ加えることによって、テキ
スト（非自然）領域が平滑化される。ランレングス平滑
化ステップ１４０２は、２値画像１７００上で処理を行
ない、その下では、所定のしきい値Ｔに等しいか、ある
いはそれ以下離れた、どの２つの黒画素（０が非自然ブ
ロックに対応する）も、黒画素の連続した流れと併合さ
れる。従って、例えば、入力シーケンスが、 0001100001011111100010000011111111110000 であり、しきい値Ｔが３であれば、上述のシーケンスの
ランレングス平滑化処理の結果は、 0000000000011111100000000011111111110000 となる。

【０１３８】ランレングス平滑化ステップ１４０２は、
列ごとと行ごとに適用されて、２つの別個のビットマッ
プが作られる。そして、各画素位置に論理ＡＮＤを適用
することによって、これら２つの結果が合成される。２
方向へのしきい値は、同じである必要はない。

【０１３９】多くの自然ブロックを、高解像度の小フォ
ントテキストを含むテスト領域を除くテキスト領域内に
ばらまいてもよい。平滑化処理１４０２では、非常に接
近したテキストブロックを加えることによって、これら
ばらまかれた自然ブロックを取り除くので、文字、テキ
ストライン、テキストパラグラフが、１つの型の画像ク
ラス、即ちテキストのみを含む、より大きな領域に併合
される。図１８に、ランレングス平滑化処理結果１８０
０が示されている。

【０１４０】平滑化処理１４０２はまた、接続したコン
ポーネントの全数を徹底的に削減することによって、次
の、接続されたコンポーネントの生成処理ステップ１４
０４を簡単にする。

【０１４１】ステップ１４０６では、白画素が前景画素
(foreground pixel)であるとして、接続されたコンポー
ネントの生成処理が適用され、自然画像領域に対応す
る、前景が接続されたコンポーネントを識別する（ラベ
ル付けする）。各コンポーネントの周囲の長方形の座標
は測定され、保持される。このようにして、各長方形
は、相接する自然画像領域に対応する単一の接続された
コンポーネントを識別する。そして、フィルタセットが
適用され、直感的な制約に基づいて、誤分類された自然
画像ブロックを取り除く。

【０１４２】接続されたコンポーネントの生成ステップ
１４０６の出力は、接続されたコンポーネント周囲の長
方形の最大及び最小座標、各接続されたコンポーネント
のトップ及びボトムシード(top and bottom seed)の座
標、及び各コンポーネントの前景画素数を特定する情報
列である。

【０１４３】この情報に基づいてステップ１４０８で
は、各コンポーネントに対して属性セットが測定され
る。即ち：ブロック周囲の長方形のｘ，ｙサイズΔｘ，
Δｙ；周囲の長方形領域：Ａ＝Δｘ，Δｙ；各ブロック内の前景画素数ＮＦ；前景画素密度：Ｄ＝ＮＦ／Ａ、これは、Ｄが１に近けれ
ば、ブロックはだいたい長方形であることを反映してい
る；各ブロック周囲の長方形の寸法的な定量（離心率）：Ｅ
＝Δｘ／Δｙである。

【０１４４】接続されたコンポーネントを前景領域のメ
ンバーとして拒否するか、あるいは受け入れるために、
その属性に基づいて、差別化の適用が行なわれる。小領
域の削除、長く狭い領域の削除、まばらな自然画像領域
処理を含む、直感的な制約が使用される。

【０１４５】ステップ１４１０では、最小の受容可能な
自然画像上の制約が、実際の領域：Ａ＜ＭＩＮＩＭＵＭ
＿ＡＲＥＡではなさそうな、小さな自然画像領域を削減するか、ま
たは取り去るために適用される。

【０１４６】しきい値ＭＩＮＩＭＵＭ＿ＡＲＥＡが、最
も一般的な自然画像領域の下に確実に設定されているこ
とにより、自然画像領域の有効なメンバーを破棄する可
能性がなくなる。

【０１４７】ステップ１４１２では、非常に薄いブロッ
クは自然画像領域にはなりそうにないので、そのような
ブロックは破棄される。次の制約が使われる。

【０１４８】Ｅ＞ＤＩＭＥＮＳＩＯＮＡＬ＿ＲＡＴＩＯここで、ＤＩＭＥＮＳＩＯＮＡＬ＿ＲＡＴＩＯは０．
１となるように設定されるので、１：１０以下か、１
０：１以上の寸法率ＤＩＭＥＮＳＩＯＮＡＬ＿ＲＡＴＩ
Ｏを有する、接続されたコンポーネントは破棄される。

【０１４９】ステップ１４１４では、接続されたコンポ
ーネントが次の制約を満足させると、まばらなブロック
として分類される。

【０１５０】Ｓ＜ＭＩＮＩＭＵＭ＿ＤＥＮＳＩＴＹここでＳは、ブロックのまばらさ（密度）である。この
まばらさは、領域中の全ブロック数に対する、領域内の
テキストブロックまたは自然ブロックいづれかの数の割
合を示す。まばらなブロックは、重なり合う自然画像と
テキスト画像を含む。自然画像領域となりそうもないと
し、テキストとして再分類する代わりに、重なり合う領
域を識別するための、さらなる処理が必要である。まば
らな領域の処理は、次の工程からなる。即ち：Ａ．その領域中で、接続された非自然コンポーネントを
生成する；Ｂ．その領域内で、小さく不規則に接続された非自然コ
ンポーネントを取り除く；Ｃ．大きく、規則的に接続された非自然コンポーネント
の周囲長方形を決定し、その長方形領域を非自然に設定
する。

【０１５１】Ｄ．その領域中での残り領域を自然と設定
する。

【０１５２】図１９に、図１５の画像１５００について
の後処理の最終結果１９００を示す。ここには、明瞭に
定義されたテキスト領域（暗いグレイ）１９０６と、自
然画像領域（明るいグレイ）１９０２，１９０４とが示
されている。従って、図１４で示されている後処理の手
続きを、ウエーブレット変換ベースの領域分割技術にお
いて、テキストブロックの誤分類の数を著しく減らすた
めに使うことができる。この後処理は、空間領域技術に
よるブロックの適切な分類を改善するために選択的に使
うようにしてもよい。

【０１５３】本発明の実施の形態は、空間領域特徴と周
波数空間特徴に関して説明されているが、この２つのタ
イプの特徴の組み合わせを用いても本発明を実施でき
る。

【０１５４】以上において、本発明について少数の実施
の形態のみ説明したが、本発明の範囲を逸脱せずに、そ
の発明について、当業者には明らかな変形を行なうこと
が可能である。なお、本発明は、複数の機器（例えば、
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタ等）から構成されるシステムに適用しても、一つ
の機器からなる装置（例えば、複写機，ファクシミリ装
置等）に適用してもよい。

【０１５５】本発明の目的は、上述の実施形態の機能を
実現するソフトウェアのプログラムコードを記録した記
憶媒体を、システムあるいは装置に供給し、そのシステ
ムあるいは装置のコンピュータ（またはＣＰＵやＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読み出
し実行することによっても、達成されることは言うまで
もない。

【０１５６】この場合、記憶媒体から読み出されたプロ
グラムコード自体が、前述した実施形態の機能を実現す
ることになり、そのプログラムコードを記憶した記憶媒
体は本発明を構成することになる。

【０１５７】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭ等
を用いることができる。

【０１５８】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているＯＳ（オペ
レーティングシステム）等が実際の処理の一部または全
部を行ない、その処理によって、前述した実施形態の機
能が実現される場合も含まれることは言うまでもない。

【０１５９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボードや機能拡張ユニットに備
わるＣＰＵ等が、実際の処理の一部または全部を行な
い、その処理によって、前述した実施形態の機能が実現
される場合も含まれることは言うまでもない。

【０１６０】

【発明の効果】以上説明したように、本発明によれば、
画像のテキストらしき部分と非テキストらしき部分とを
識別するためのファジー検出ルールセットを確立して、
複数セグメントに分割した画像に適用することで、画像
のテキスト部分と自然部分を適切に検出し、識別でき
る。

【０１６１】

【図面の簡単な説明】

【図１】本発明が実施される表示システム全体の構成を
示す図である。

【図２】好適な実施の形態に係る、領域分割ユニットを
含む図１の表示システム１０３の構成を示す図である。

【図３】好適な実施の形態で使われるファジールールベ
ースの領域分割のための構造を示すブロック図である。

【図４Ａ】３つのファジー領域に対する１次元の三角形
メンバーシップ関数を示す図である。

【図４Ｂ】２つのファジー領域に対する１次元の三角形
メンバーシップ関数を示す図である。

【図５Ａ】好適な実施の形態（他の実施の形態）に係る
ルールベースの領域分割のトレーニングフェーズを示す
高レベルのフロー図である。

【図５Ｂ】好適な実施の形態（他の実施の形態）に係る
ルールベースの領域分割のランフェーズを示す高レベル
のフロー図である。

【図６】好適な実施の形態に係る領域分割のトレーニン
グフェーズを詳細に示すフロー図である。

【図７】好適な実施の形態に係る領域分割方法のランフ
ェーズの詳細を描いたフロー図である。

【図８】ブロック分類のためのファジールールを生成す
る工程を説明する詳細フロー図である。

【図９Ａ】テスト画像からなるトレーニングテスト画像
を示す図である。

【図９Ｂ】自然画像からなるトレーニングテスト画像を
示す図である。

【図１０Ａ】テスト画像からなるテスト（ランフェー
ズ）画像を示す図である。

【図１０Ｂ】自然画像からなるテスト（ランフェーズ）
画像を示す図である。

【図１１Ａ】図１０Ａのテスト画像に対して好適な実施
の形態を用いた領域分割結果を示す図である。

【図１１Ｂ】図１０Ｂのテスト画像に対して好適な実施
の形態を用いた領域分割結果を示す図である。

【図１２】ウエーブレット変換を用いて得られた画像の
画素ブロックの分解を示す図である。

【図１３】図１２の分解についての各レベルのサブバン
ドのピラミッド構造を示す図である。

【図１４】他の実施の形態に係る後処理を示すフロー図
である。

【図１５】重なり合うテキスト画像と自然画像領域から
なる混合画像を示す図である。

【図１６】他の実施の形態に係る領域分割の結果であ
る、図１５に示す画像に対応する２値マップを示す図で
ある。

【図１７】他の実施の形態に係る後処理に従って、図１
５の画像をkfillフィルタ処理した結果を示す図であ
る。

【図１８】図１７に示された結果をランレングススムー
ジングした結果を示す図である。

【図１９】図１５の画像を後処理した最終結果を示す図
である。

Claims

【特許請求の範囲】

【請求項１】画像中におけるテキストらしき部分と非
テキストらしき部分を検出する方法であって、（ａ）前記画像のテキストらしき部分と前記画像の非テ
キストらしき部分とを識別するためのファジー検出ルー
ルセットを確立する確立工程と、（ｂ）前記画像を複数セグメントに分割する工程と、（ｃ）前記ファジー検出ルールセットを前記画像の各セ
グメントに適用して、該各セグメントをテキストらしき
部分と非テキストらしき部分として分類する工程とを備
えることを特徴とする方法。
【請求項２】前記確立工程（ａ）は、さらに、（ａ
ａ）画像の異なる部分を区別する複数の画像特徴を識別
する工程と、（ａｂ）前記特徴の異なる組み合わせをテ
キストらしき学習用画像と非テキストらしき学習用画像
とに適用することによって、複数のファジー検出ルール
を生成する工程と、（ａｃ）前記複数のファジー検出
ルールを最小化して、所定量の前記学習用画像によって
サポートされないルールを除き、除かれなかったルール
を前記セットに割り当てる工程とを備えることを特徴と
する請求項１に記載の方法。
【請求項３】前記生成工程（ａｂ）は、（ａｂａ）各
画像特徴を０から１の範囲の値に正規化する工程と、
（ａｂｂ）各入力特徴空間を複数の等間隔領域に仕切る
工程と、（ａｂｃ）各入力特徴を前記領域の１つのラベ
ルに割り当てて、前記領域の１つのラベルのメンバーシ
ップ値を最大化する工程と、（ａｂｄ）前記領域の各々
に対して、前記特徴の各々のための最大化されたラベル
を選択して、それぞれのファジールールを形成する工程
とを備えることを特徴とする請求項２に記載の方法。
【請求項４】前記等間隔領域の近傍領域は重なり合う
ことを特徴とする請求項３に記載の方法。
【請求項５】前記ファジールールのそれぞれは、前記
画像特徴の論理ＡＮＤが取られた組み合わせからなるこ
とを特徴とする請求項３に記載の方法。
【請求項６】前記工程（ａｂｄ）は、ｐ番目の入力パ
ターンに対する出力値Ｏｐ【数１７】を決定する工程を備え、ここで、Ｋはルール数、Ｏiは
ルールｉで生成されたクラス、Ｄipはｐ番目パターンが
ｉ番目のルールのＩＦ条件にどのように適合するかを測
定するものであり、Ｄipは、【数１８】のような、ｉ番目のルールで使われるラベルに対する特
徴ベクトルのメンバーシップ値の積によって与えられ、
ここで、ｎは特徴数、ｍijはｉ番目のルールが用いるラ
ベルに対する特徴ｊのメンバーシップ値であることを特
徴とする請求項３に記載の方法。
【請求項７】前記画像特徴は空間領域特徴からなるこ
とを特徴とする請求項２に記載の方法。
【請求項８】前記画像特徴は、（ｉ）領域の平均グレイレベル；（ｉｉ）領域の平均グレイレベルの分散（または標準偏
差）；（ｉｉｉ）勾配の絶対値；（ｉｖ）領域でのオンゼロ(on-zero)勾配の平均絶対
値；（ｖ）領域での非ゼロ(non-zero)勾配の最大絶対値；（ｖｉ）領域でのオンゼロ勾配の絶対値の標準偏差；（ｖｉｉ）局部コントラスト(local contrast)の絶対
値；（ｖｉｉｉ）非ゼロ局部コントラストの絶対値の平均；（ｉｘ）領域での非ゼロ局部コントラストの最大絶対
値；（ｘ）領域での非ゼロ局部コントラストの絶対値の標準
偏差；（ｘｉ）暗い画素のその背景に対するコントラスト；（ｘｉｉ）支配的な局部オリエンテーション；（ｘｉｉｉ）領域内のグレイレベル数；（ｘｉｖ）領域内で最大グレイレベルを有するブロック
内の画素数；（ｘｖ）領域内で平均グレイレベルより大きいグレイレ
ベルを有するブロック内の画素数；（ｘｖｉ）領域内で平均グレイレベルより小さいグレイ
レベルを有するブロック内の画素数；（ｘｖｉｉ）変換領域特徴；（ｘｉｘ）ｘ，ｙ方向射影からなるグループより選択されることを特徴とする請求
項７に記載の方法。
【請求項９】前記画像特徴は、各セグメントに含まれ
る前記画像の一部の周波数特性情報に依存することを特
徴とする請求項２に記載の方法。
【請求項１０】前記画像特徴は、前記各セグメントを
分解することによって得られたエネルギー特徴からなる
ことを特徴とする請求項９に記載の方法。
【請求項１１】前記各セグメントの分解は、前記各セ
グメントに少なくとも１度、ウエーブレット(wavelet)
変換を適用することによって実行されることを特徴とす
る請求項１０に記載の方法。
【請求項１２】前記領域は、テスト画像の前記セグメ
ントに対応することを特徴とする請求項３に記載の方
法。
【請求項１３】前記セグメントは前記画像に渡って規
則的配列を構成し、セグメントの近傍は重なり合うこと
を特徴とする請求項１に記載の方法。
【請求項１４】前記セグメントは、４ｘ４画素から３
２ｘ３２画素の範囲のサイズのブロックからなり、該ブ
ロックは、好ましくは９ｘ９画素であることを特徴とす
る請求項１に記載の方法。
【請求項１５】画像中におけるテキストらしき部分と
非テキストらしき部分を検出する装置であって、画像のテキストらしき部分と画像の非テキストらしき部
分とを識別するためのファジー検出ルールセットを確立
する手段と、前記画像を複数セグメントに分割する手段と、前記ファジー検出ルールセットを前記画像の各セグメン
トに適用して、前記各セグメントをテキストらしき部分
と非テキストらしき部分の一つとして分類する手段とを
備えることを特徴とする装置。
【請求項１６】前記確立手段は、さらに、画像の異なる部分を区別する複数の画像特徴を識別する
手段と、前記特徴の異なる組み合わせをテキストらしき学習用画
像と非テキストらしき学習用画像とに適用することによ
って、複数のファジー検出ルールを生成する手段と、前記ルールを最小化して、所定量の前記学習用画像によ
ってサポートされないルールを除き、除かれなかったル
ールを前記セットに割り当てる手段とを備えることを特
徴とする請求項１５に記載の装置。
【請求項１７】前記生成手段は、さらに、各画像特徴を０から１の範囲の値に正規化する手段と、各入力特徴空間を複数の等間隔領域に仕切る手段と、各入力特徴を前記領域の１つのラベルに割り当てて、前
記領域の１つのラベルのメンバーシップ値を最大化する
手段と、前記領域の各々に対して、前記特徴の各々のための最大
化されたラベルを選択して、それぞれのファジールール
を形成する手段とを備えることを特徴とする請求項１６
に記載の装置。
【請求項１８】前記等間隔領域の近傍領域は重なり合
うことを特徴とする請求項１７に記載の装置。
【請求項１９】前記ファジールールのそれぞれは、前
記画像特徴の論理ＡＮＤが取られた組み合わせからなる
ことを特徴とする請求項１７に記載の装置。
【請求項２０】前記選択手段は、ｐ番目の入力パター
ンに対する出力値Ｏｐ【数１９】を決定する手段を備え、ここで、Ｋはルール数、Ｏiは
ルールｉで生成されたクラス、Ｄipはｐ番目パターンが
ｉ番目のルールのＩＦ条件にどのように適合するかを測
定するものであり、Ｄipは、【数２０】のような、ｉ番目のルールで使われるラベルに対する特
徴ベクトルのメンバーシップ値の積によって与えられ、
ここで、ｎは特徴数、ｍijはｉ番目のルールが用いるラ
ベルに対する特徴ｊのメンバーシップ値であることを特
徴とする請求項１７に記載の装置。
【請求項２１】前記画像特徴は空間領域特徴からなる
ことを特徴とする請求項１６に記載の装置。
【請求項２２】前記画像特徴は、（ｉ）領域の平均グレイレベル；（ｉｉ）領域の平均グレイレベルの分散（または標準偏
差）；（ｉｉｉ）勾配の絶対値；（ｉｖ）領域でのオンゼロ(on-zero)勾配の平均絶対
値；（ｖ）領域での非ゼロ(non-zero)勾配の最大絶対値；（ｖｉ）領域でのオンゼロ勾配の絶対値の標準偏差；（ｖｉｉ）局部コントラスト(local contrast)の絶対
値；（ｖｉｉｉ）非ゼロ局部コントラストの絶対値の平均；（ｉｘ）領域での非ゼロ局部コントラストの最大絶対
値；（ｘ）領域での非ゼロ局部コントラストの絶対値の標準
偏差；（ｘｉ）暗い画素のその背景に対するコントラスト；（ｘｉｉ）支配的な局部オリエンテーション；（ｘｉｉｉ）領域内のグレイレベル数；（ｘｉｖ）領域内で最大グレイレベルを有するブロック
内の画素数；（ｘｖ）領域内で平均グレイレベルより大きいグレイレ
ベルを有するブロック内の画素数；（ｘｖｉ）領域内で平均グレイレベルより小さいグレイ
レベルを有するブロック内の画素数；（ｘｖｉｉ）変換領域特徴；（ｘｉｘ）ｘ，ｙ方向射影からなるグループより選択されることを特徴とする請求
項２１に記載の装置。
【請求項２３】前記画像特徴は、各セグメントに含ま
れる前記画像の一部の周波数特性情報に依存することを
特徴とする請求項１６に記載の装置。
【請求項２４】前記画像特徴は、前記各セグメントを
分解することによって得られたエネルギー特徴からなる
ことを特徴とする請求項２３に記載の装置。
【請求項２５】前記各セグメントの分解は、前記各セ
グメントに少なくとも１度、ウエーブレット(wavelet)
変換を適用することによって実行されることを特徴とす
る請求項２４に記載の装置。
【請求項２６】各々が所定数の画素を有する複数ブロ
ックとして処理されるデジタル画像を表示手段に表示す
るために区域分割する方法において、前記ブロックに対する特徴ベクトルを生成するために各
ブロックから特徴セットを抽出する工程と、ファジールールセットを用いて、前記ブロックに対する
前記特徴ベクトルによって、前記ブロックをテキストタ
イプの画像かまたは自然タイプの画像のいづれかに分類
する工程とを備えることを特徴とする方法。
【請求項２７】前記特徴セットは、各ブロックの画素
値から抽出された空間領域特徴からなることを特徴とす
る請求項２６に記載の方法。
【請求項２８】さらに、Ｍ個の可能な特徴からＮ個の
特徴を選択する工程を備え、ＭとＮは、Ｎ≦Ｍの関係を
有する整数であることを特徴とする請求項２７に記載の
方法。
【請求項２９】トレーニング画像データを用いて前記
ファジールールを生成するために、さらに、前記トレーニング画像データの各ブロックから前記Ｎ個
の特徴を抽出する工程と、前記Ｎ個の特徴のそれぞれの値に基づいて、それぞれの
ラベルを前記Ｎ個の特徴のそれぞれに割り当てる工程
と、前記Ｎ個の可能な特徴のラベルに依存するＱ個のファジ
ールールを決定する工程であって、前記Ｑ個のファジー
ルールのそれぞれは、前記トレーニング画像データの前
記ブロックに基づく、対応する量のサポートを有する工
程と、前記ファジールールセットとして、前記Ｑ個の可能なフ
ァジールールからＰ個のファジールールを選択する工程
であって、Ｐ，ＱはＰ≦Ｍの整数で、所定のしきい値を
超える前記Ｐ個のファジールールそれぞれについての対
応するサポート量に依存するものである工程とを備える
ことを特徴とする請求項２８に記載の方法。
【請求項３０】前記特徴セットは、各ブロックに対す
る注目領域内の係数から抽出されたエネルギー測定特徴
からなることを特徴とする請求項２６に記載の方法。
【請求項３１】前記係数は、少なくとも１度、各ブロ
ックをウエーブレット変換することによって得られるこ
とを特徴とする請求項３０に記載の方法。
【請求項３２】前記エネルギー測定特徴は、各ブロッ
クに対する前記注目領域に渡る前記係数の分散からなる
ことを特徴とする請求項３０に記載の方法。
【請求項３３】前記エネルギー測定特徴は、前記注目
領域内の前記係数の２つかそれ以上のスケールの解像度
に基づいて獲得されることを特徴とする請求項３２に記
載の方法。
【請求項３４】さらに、誤分類されたブロック数を減
らすために、分類されたブロックをタイル統合する(til
e integrating)工程を備えることを特徴とする請求項３
１に記載の方法。
【請求項３５】各々が所定数の画素を有する複数ブロ
ックとして処理されるデジタル画像を表示手段に表示す
るために区域分割する装置において、前記ブロックに対する特徴ベクトルを生成するために各
ブロックから特徴セットを抽出する手段と、ファジールールセットを用いて、前記ブロックに対する
前記特徴ベクトルによって、前記ブロックをテキストタ
イプの画像かまたは自然タイプの画像のいづれかに分類
する手段とを備えることを特徴とする装置。
【請求項３６】前記特徴セットは、各ブロックの画素
値から抽出された空間領域特徴からなることを特徴とす
る請求項３５に記載の装置。
【請求項３７】さらに、Ｍ個の可能な特徴からＮ個の
特徴を選択する手段を備え、ＭとＮは、Ｎ≦Ｍの関係を
有する整数であることを特徴とする請求項３６に記載の
装置。
【請求項３８】トレーニング画像データを用いて前記
ファジールールを生成するために、さらに、前記トレーニング画像データの各ブロックから前記Ｎ個
の特徴を抽出する手段と、前記Ｎ個の特徴のそれぞれの値に基づいて、それぞれの
ラベルを前記Ｎ個の特徴のそれぞれに割り当てる手段
と、前記Ｎ個の可能な特徴のラベルに依存するＱ個のファジ
ールールを決定する手段であって、前記Ｑ個のファジー
ルールのそれぞれは、前記トレーニング画像データの前
記ブロックに基づく、対応する量のサポートを有する手
段と、前記ファジールールセットとして、前記Ｑ個の可能なフ
ァジールールからＰ個のファジールールを選択する手段
であって、Ｐ，ＱはＰ≦Ｍの整数で、所定のしきい値を
超える前記Ｐ個のファジールールそれぞれについての対
応するサポート量に依存するものである手段とを備える
ことを特徴とする請求項３７に記載の装置。
【請求項３９】前記特徴セットは、各ブロックに対す
る注目領域内の係数から抽出されたエネルギー測定特徴
からなることを特徴とする請求項３５に記載の装置。
【請求項４０】前記係数は、少なくとも１度、各ブロ
ックをウエーブレット変換することによって得られるこ
とを特徴とする請求項３９に記載の装置。
【請求項４１】前記エネルギー測定特徴は、各ブロッ
クに対する前記注目領域に渡る前記係数の分散からなる
ことを特徴とする請求項３９に記載の装置。
【請求項４２】前記エネルギー測定特徴は、前記注目
領域内の前記係数の２つかそれ以上のスケールの解像度
に基づいて獲得されることを特徴とする請求項４１に記
載の装置。
【請求項４３】さらに、誤分類されたブロック数を減
らすために、分類されたブロックをタイル統合する(til
e integrating)手段を備えることを特徴とする請求項４
０に記載の装置。
【請求項４４】入力ビデオ信号に対応して表示装置に
表示させるための表示信号を生成する表示方法であっ
て、前記入力ビデオ信号のフレームを複数ブロックに区分け
する工程であって、各ブロックが所定数の画素からなる
工程と、前記ブロックに対する特徴ベクトルを生成するために各
ブロックから特徴セットを抽出する工程と、ファジールールを用い、前記ブロックに対する前記特徴
ベクトルに依存して、各ブロックがテキストらしき画像
あるいは自然らしき画像のいずれであるかを識別する工
程と、識別されたブロックをメモリに格納する工程と、前記識別されたブロックに依存して、前記入力ビデオ信
号よりも低いデータ速度で前記表示信号を生成する工程
であって、多数の識別されたテキストらしきブロックか
らなる前記フレームの第１の領域は、多数の識別された
自然らしき画像ブロックからなる前記フレームの第２の
領域とは異なるように生成される工程とを備えることを
特徴とする表示方法。
【請求項４５】前記表示信号のデータ速度は、前記入
力ビデオ信号のデータ速度よりも低いことを特徴とする
請求項４４に記載の表示方法。
【請求項４６】さらに、画像の異なる部分を区別する
複数の特徴を識別する工程と、前記特徴の、異なる組み合わせをテキストらしき学習用
画像と非テキストらしき学習用画像に適用して、複数の
ファジー検出ルールを生成する工程と、前記複数のルールを最小化して、所定量の前記学習用画
像によってサポートされないルールを排除し、排除され
なかったルールを前記ファジールールセットに割り当て
る工程とを備えることを特徴とする請求項４４に記載の
表示方法。
【請求項４７】前記適用工程は、さらに、各画像特徴を０から１の範囲の値に正規化する工程と、各入力特徴空間を複数の等間隔領域に区分けする工程
と、各入力特徴を前記領域の１つのラベルに割り当て、前記
領域の１つの前記ラベルのメンバーシップ値を最大化す
る工程と、前記領域の各々に対して、前記特徴の各々について最大
化されたラベルを選択して、それぞれのファジールール
を形成する工程とを備えることを特徴とする請求項４６
に記載の表示方法。
【請求項４８】入力ビデオ信号に対応して表示デバイ
スに表示させるための表示信号を生成する表示装置であ
って、前記入力ビデオ信号のフレームを複数ブロックに区分け
する手段であって、各ブロックが所定数の画素からなる
手段と、前記ブロックに対する特徴ベクトルを生成するために各
ブロックから特徴セットを抽出する手段と、ファジールールを用い、前記ブロックに対する前記特徴
ベクトルに依存して、各ブロックがテキストらしき画像
あるいは自然らしき画像のいずれであるかを識別する手
段と、前記識別手段に結合され、識別されたブロックを格納す
るメモリと、前記識別されたブロックに依存して、前記入力ビデオ信
号よりも低いデータ速度で前記表示信号を生成する手段
であって、多数の識別されたテキストらしきブロックか
らなる前記フレームの第１の領域は、多数の識別された
自然らしき画像ブロックからなる前記フレームの第２の
領域とは異なるように生成される手段とを備えることを
特徴とする表示装置。
【請求項４９】前記表示信号のデータ速度は、前記入
力ビデオ信号のデータ速度よりも低いことを特徴とする
請求項４８に記載の表示装置。
【請求項５０】さらに、画像の異なる部分を区別する
複数の特徴を識別する手段と、前記特徴の、異なる組み合わせをテキストらしき学習用
画像と自然らしき学習用画像に適用して、複数のファジ
ー検出ルールを生成する手段と、前記複数のルールを最小化して、所定量の前記学習用画
像によってサポートされないルールを排除し、排除され
なかったルールを前記ファジールールセットに割り当て
る手段とを備えることを特徴とする請求項４８に記載の
表示装置。
【請求項５１】前記適用手段は、さらに、各画像特徴を０から１の範囲のベクトルに正規化する手
段と、各入力特徴空間を複数の等間隔領域に区分けする手段
と、各入力特徴を前記領域の１つのラベルに割り当て、前記
領域の１つの前記ラベルのメンバーシップ値を最大化す
る手段と、前記領域の各々に対して、前記特徴の各々について最大
化されたラベルを選択して、それぞれのファジールール
を形成する手段とを備えることを特徴とする請求項５０
に記載の表示装置。