JP3165589B2

JP3165589B2 - 画像分類装置

Info

Publication number: JP3165589B2
Application number: JP12368194A
Authority: JP
Inventors: 敦史小野; 督士天野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-06-06
Filing date: 1994-06-06
Publication date: 2001-05-14
Anticipated expiration: 2016-05-14
Also published as: JPH07334616A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はファクシミリなどの通
信機器や画像データベースの入力や、文字と写真の混在
した文書画像を領域分割した後の領域の属性判定に用い
られる画像分類装置に関し、特に画像入力手段を用いて
入力された画像をその特徴を計算することにより文書画
像と非文書画像とに分類する画像分類装置に関する。

【０００２】

【従来の技術】この発明に興味のある画像分類装置がた
とえば、特開平４−３１６１８０号公報に開示されてい
る。同公報によれば、入力された画像を２値化し、白黒
反転回数や黒画素の割合により入力された画像中の特定
領域が文字か写真かといった属性が判定されている。

【０００３】また、同様の装置が特開昭６２−７１３７
９号公報に開示されている。同公報によれば、入力され
た画像を２値化し、ランレングス特徴により入力された
画像中の特定領域が文字か写真かといった属性が判定さ
れている。いずれも入力画像そのものが文書画像である
か否かを判定する方法は示されていない。

【０００４】

【発明が解決しようとする課題】上記のような従来の方
法では、文書画像を対象にして画像内部で領域分割され
た個々の領域の属性を判定するのみであり、文書画像に
限らずさまざまな画像が入力されるマルチメディアデー
タベースにおいては、まず入力された画像が文書画像で
あるかどうかを予め判定してからそれらの方法を適応し
なければならない。

【０００５】この発明は上記のような課題を解決するた
めになされたもので、入力された画像が文書画像である
かどうかを自動的に判定して分類、登録することがで
き、また傾いた画像に対しても精度よく判定できる画像
分類装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１に係る画像分類
装置は、画像を入力する画像入力手段と、入力された画
像を基に微分画像データを作成する微分画像データ作成
手段と、微分画像データから濃度投影ヒストグラムを作
成する濃度投影ヒストグラム作成手段と、濃度投影ヒス
トグラムの分散値を計算する分散値計算手段と、計算さ
れた分散値を基に入力された画像が文書画像であるか非
文書画像であるかを判別する判別手段とを含む。

【０００７】請求項２に係る画像分類装置は、画像を入
力する画像入力手段と、入力された画像から微分画像デ
ータを作成する微分画像データ作成手段と、作成された
微分画像データから濃度投影ヒストグラムを作成する濃
度投影ヒストグラム作成手段と、作成された濃度投影ヒ
ストグラムの微分値を計算する濃度投影ヒストグラム微
分手段と、計算された微分値の分散値を計算する分散値
計算手段と、計算された分散値を基に入力された画像が
文書画像であるか非文書画像であるかを判別する判別手
段とを含む。

【０００８】

【０００９】請求項３に係る画像分類装置は、画像を入
力する画像入力手段と、入力された画像を２値化する２
値画像作成手段と、作成された２値画像を基に同一属性
を有する領域を連結して最初の連結領域を作成する手段
と、最初の連結領域中の不要な領域を除去して有効な連
結領域だけを抽出する不要領域除去手段と、最初の連結
領域の数に対する有効な連結領域の数の割合を計算する
有効領域割合計算手段と、計算された有効領域割合を基
に入力された画像が文書画像であるか非文書画像である
かを判別する手段とを含む。

【００１０】

【作用】請求項１に係る画像分類装置においては、入力
された画像の微分画像データを作成し、その濃度投影ヒ
ストグラムを作成し、その分散値を計算してそれに基づ
いて入力された画像が文書画像であるか非文書画像かを
判別している。

【００１１】すなわち、入力画像を微分することによ
り、画像内のエッジ（濃度変化の大きい部分）が検出さ
れる。一般画像であればエッジが無秩序に存在するが、
文書画像の場合は文字が大部分を占めており、その文字
の輪郭部分にエッジが存在する。そのため、濃度投影ヒ
ストグラムを作成すると文字の存在する行部分は大きな
値（山）、文字のない行間部分は小さな値（谷）とな
り、明確な山と谷が表れる。この山と谷を定量化するた
めに分散値を計算している。すなわち、分散値は平均値
からのばらつきを表す量であるため、山と谷の差が大き
いほど分散値が大きくなる。以上のように請求項１に係
る発明によれば、入力画像に対し文字の並びを考慮して
文書画像の行間を反映させることができる。

【００１２】請求項２に係る画像分類装置においては、
入力された画像の微分画像を作成し、その濃度投影ヒス
トグラムの微分値を計算し、濃度投影ヒストグラムの微
分値の分散値に基づいて入力された画像が文書画像か非
文書画像であるかを判別している。濃度投影ヒストグラ
ムを一旦微分して文字の並びに基づく山と谷の変化を強
調してからその分散値に基づいて画像の反転を行なって
いるため、文書画像の行間をよりよく反映することがで
きる。

【００１３】

【００１４】請求項３に係る画像分類装置によれば、入
力された画像を２値化し、それを基に同一特性を有する
領域を連結してその中の有効な連結領域と有効でない領
域との割合を算出している。文書画像では文字が多く並
んでいるため、不要な領域が少なく、非文書画像では文
字が少ないため不要な領域が多い。したがってこの割合
を算出することによって文書画像が非文書画像かの判別
が可能になる。

【００１５】

【実施例】以下この発明の実施例を図を参照して説明す
る。なお、以下の説明において、画像の座標系の原点は
左上であり、右向きをｘ軸の正方向、下向きをｙ軸の正
方向であるとする。また、濃淡画像は２５６階調である
ものとし、黒画素の輝度値を０とする。画像の大きさは
ｘＳＩＺＥ×ｙＳＩＺＥであるとする。

【００１６】（１）第１実施例図１はこの発明の第１実施例における画像分類装置の機
能を説明する機能ブロック図である。図１を参照して、
第１実施例に係る画像分類装置はカメラやスキャナなど
の画像を入力するための画像入力手段１１と、画像入力
手段１１から入力された濃淡画像を記憶する多値画像メ
モリ１２と、多値画像メモリ１２から読出した濃淡画像
の微分画像を作成する微分画像作成器１３と、微分画像
作成器１３により作成された微分画像を記憶する微分画
像メモリ１４と、微分画像メモリ１４から読出した微分
画像の濃度投影ヒストグラムを作成する濃度投影ヒスト
グラム作成器１５と、濃度投影ヒストグラム作成器１５
で作成された濃度投影ヒストグラムを記憶するヒストグ
ラムメモリ１６と、そのヒストグラムの分散値を計算す
る分散値計算器１７と、分散値計算器１７により計算さ
れた分散値を特徴量として画像入力手段１１から入力さ
れた画像が文書画像か非文書画像であるかを分類する画
像分類器１８とを含む。

【００１７】図２は図１に示した画像分類装置の動作を
説明するフローチャートである。図２を参照して、この
発明の第１実施例に係る画像分類装置においては、まず
画像入力ステップＳ６１で画像を入力し、微分画像作成
ステップＳ６２では入力された画像に空間微分を施し微
分画像を作成する。次に微分画像作成ステップＳ６２の
詳細について説明する。

【００１８】図３は図２のＳ６２で示した微分画像作成
ステップの詳細を示すフローチャートである。この実施
例においては、ソーベルオペレータを用いて微分画像を
作成するものとする。ソーベルオペレータは図４の
（ａ），（ｂ）に示すような２種類の３×３の大きさの
オペレータであり、このオペレータを画像原点から操作
し、画像の輝度値に対して演算を行なう。なおここでｆ
（ｘ，ｙ）は画像入力ステップＳ６１から入力された画
像の座標（ｘ，ｙ）での輝度値を表し、ｇ（ｘ，ｙ）は
作成された微分画像の座標（ｘ，ｙ）での輝度値を表す
ものとする。

【００１９】図３を参照して、まずソーベルオペレータ
の処理する座標を原点に設定する（Ｓ６１１）。そして
このオペレータを画像原点から操作し、画像の輝度値に
対して式（１）、式（２）に示す演算を行なう。ここに
Ａ〜Ｉは図３（Ｂ）に示す輝度値である（Ｓ６１２）。
これにより微分画像の輝度値を演算する（Ｓ６１３）。
個々の演算結果を加算し、微分画像の輝度値とするが、
輝度値の最大値である２５５を越える場合はその輝度値
は２５５とする（Ｓ６１４，Ｓ６１５）。このオペレー
タは３×３の大きさのため、微分画像の周囲１画素の値
が演算不能となるが０に固定する（Ｓ６１７〜Ｓ６１
９）。このようにして微分画像の作成を行なう。

【００２０】次に図２へ戻って濃度投影ヒストグラム作
成ステップＳ６３で微分画像作成ステップＳ６２により
作成された微分画像をｘ，ｙ軸に対して濃度を投影し、
濃度投影ヒストグラムを作成する。濃度投影ヒストグラ
ム作成ステップＳ６３の詳細は図５のフローチャートを
参照して説明する。

【００２１】図５を参照し、画像原点から操作を行ない
輝度値を読出す（Ｓ６３１）。次いで式（３），式
（４）に基づいて各軸への投影ヒストグラムを作成する
（Ｓ６３２）。ただし、ｘ＿ｈｉｓｔ，ｙ＿ｈｉｓｔは
それぞれｘ軸とｙ軸への濃度投影ヒストグラムを表し、
ｇ（ｘ，ｙ）は微分画像作成ステップＳ６２により作成
された微分画像を表すものとする。このようにして画像
の全域にわたって濃度投影ヒストグラムを作成する（Ｓ
６３１〜Ｓ６３６）。

【００２２】なお、ここで投影ヒストグラムとしては、
たとえば円の投影ヒストグラムであれば、図６に示すよ
うな濃度投影ヒストグラムが作成される。

【００２３】次に再び図２へ戻って、分散計算ステップ
Ｓ６４で濃度投影ヒストグラム作成ステップＳ６３によ
って作成されたｘ，ｙへの軸濃度投影ヒストグラムの分
散値を式（５）および式（６）に基づいて計算する。

【００２４】上式により得られたそれぞれの分散値ｘ＿
ｖａｒ，ｙ＿ｖａｒを特徴量とし、画像分類ステップＳ
６５で所定のしきい値と比較することにより画像を分類
する。

【００２５】

【数１】

【００２６】次に文書画像と風景画像の濃度投影ヒスト
グラムの具体的な例について説明する。たとえば図７に
示すような文書画像と図８に示すような風景画像の濃度
投影ヒストグラムはたとえば図９および図１０に示すよ
うに作成される。図から明らかなように、文書画像の場
合は、行間や文字間が反映されることから、文字の存在
する位置に対してペアーとなる山のピークと谷のピーク
が明確に表れている。

【００２７】次に実際の分類結果を図１１に示す。図１
１のグラフのｘ軸は入力された画像のｘ軸に対する濃度
投影ヒストグラムの分散値（ｘ＿ｖａｒ）であり、グラ
フのｙ軸は画像のｙ軸に対する濃度投影ヒストグラムの
分散値（ｙ＿ｖａｒ）である。グラフを見てわかるとお
り、文書画像の分散値は大きく非文書画像の分散値は小
さくなっている。なお、この例において、先に述べた画
像分類ステップＳ６５での所定のしきい値はｘ軸および
ｙ軸に対してともに１．００に設定している。

【００２８】以上のようにこの発明によれば、画像の分
類において、文書画像の特徴である「文字の並び」を考
慮したため精度の高い画像の分類装置が提供できる。し
たがってこのような画像分類装置は画像データベースや
ファックスの入力装置として用いることができる。たと
えば画像データベースの入力装置として用いた場合は、
文書と非文書を分類することにより、入力された画像に
対し「文書」または「非文書」というキーワードを人手
を介することなく自動的に付与することが可能になる。
さらに、文書画像と分類された場合には文字認識などに
より自動的にキーワードを抽出し付加することが可能と
なる。本発明の画像分類装置を画像データベースの入力
装置として用いることにより、ユーザは１つのシステム
に対し文書画像と非文書画像を意識することなく入力で
き、検索時には文書画像と非文書画像を個別に検索する
ことが可能となる。また、ファックスの入力装置として
用いた場合は、入力画像を分類することによりモードの
自動選択が可能になる。また、本発明に係る画像分類装
置は領域分割された文書と写真や図などの混合画像の各
領域の属性判定にも用いることが可能である。

【００２９】（２）第２実施例次にこの発明の第２実施例について説明する。図１２は
この発明の第２実施例に係る画像分類装置の各ブロック
の機能を説明する機能ブロック図である。図１２を参照
して、第２実施例に係る画像分類装置はカメラやスキャ
ナなどの画像を入力するための画像入力手段２１と、画
像入力手段２１により入力された濃淡画像を記憶する多
値画像メモリ２２と、多値画像メモリ２２から読出した
画像の微分画像を作成する微分画像作成器２３と、微分
画像作成器２３により作成された微分画像を記憶する微
分画像メモリ２４と、微分画像メモリ２４から読出した
微分画像の濃度投影ヒストグラムを作成する濃度投影ヒ
ストグラム作成器２５と、濃度投影ヒストグラム作成器
２５により作成された濃度投影ヒストグラムを記憶する
ヒストグラムメモリ２６と、ヒストグラムメモリ２６か
ら読出した濃度投影ヒストグラムの微分値を計算する濃
度投影ヒストグラム微分器２７とを含む。微分した結果
はヒストグラムメモリ２６に記憶される。画像分類装置
はさらに、ヒストグラムメモリ２６から読出したヒスト
グラムの微分値の分散値を計算する分散値計算器２８
と、分散値計算器２８により計算された分散値を特徴量
として画像入力手段２１から入力された画像が文書画像
か非文書画像かであるかを分類する画像分類器２９とを
含む。

【００３０】図１３は第２実施例に係る画像分類装置の
動作を説明するフローチャートである。図１３を参照
し、まず画像入力ステップＳ７１で画像を入力し、微分
画像作成ステップＳ７２では画像入力ステップＳ７１か
ら入力された画像に空間微分を施し微分画像を作成す
る。微分画像作成ステップＳ７２の詳細は第１実施例で
説明した微分画像作成ステップＳ６２と同じであるので
ここでは省略する。濃度投影ヒストグラム作成ステップ
Ｓ７３では微分画像作成ステップＳ７２により作成され
た微分画像をｘ，ｙ軸に対して濃度投影し、濃度投影ヒ
ストグラムを作成する。濃度投影ヒストグラム作成ステ
ップＳ７３の詳細は第１実施例で説明したのと同じであ
るのでここでは省略する。濃度投影ヒストグラム微分計
算ステップＳ７４では濃度投影ヒストグラム作成ステッ
プＳ７３により作成されたｘ，ｙ軸への濃度投影ヒスト
グラムに対しそれぞれ微分値を式（７）、式（８）によ
り計算する。

【００３１】本実施例では微分に中心差分を用いたが、
前進差分や後退差分を用いてもよい。なおここで中心差
分、前進差分および後退差分とは離散値を微分（差分）
するための手法の種類で、ｆ（ｘ）の微分には次のよう
なものがある。

【００３２】中心差分：ｆ′（ｘ）＝（ｆ（ｘ＋１）−
ｆ（ｘ−１））／２前進差分：ｆ′（ｘ）＝ｆ（ｘ＋１）−ｆ（ｘ）後退差分：ｆ′（ｘ）＝ｆ（ｘ）−ｆ（ｘ−１）次に分散値計算ステップＳ７５では、濃度投影ヒストグ
ラム微分計算ステップＳ７４により計算されたｘ，ｙへ
の軸濃度投影ヒストグラムの微分値ｘ＿ｈｉｓｔ′
［ｘ］，ｙ＿ｈｉｓｔ′［ｙ］の分散値を式（９）およ
び式（１０）により計算する。

【００３３】上式により得られたそれぞれの分散値ｘ＿
ｖａｒ，ｙ＿ｖａｒを特徴量とし画像分類ステップＳ７
６で所定のしきい値と比較することにより画像を分類す
る。

【００３４】

【数２】

【００３５】文書画像と風景画像の濃度投影ヒストグラ
ムの微分値の例を図１４および図１５に示す。どちらも
谷が表れているが、文書画像の方が行間や文字間が反映
されることから、山と谷のペアーの変化の割合が大きい
ことが図をみれば明らかである。実際の分類結果を図１
６に示す。図１６のグラフのｘ軸は入力された画像のｘ
軸に対する濃度投影ヒストグラムの微分値の分散値であ
り、グラフのｙ軸は画像のｙ軸に対する濃度投影ヒスト
グラムの微分値の分散値である。グラフを見てわかると
おり、文書画像の分散値は大きく非文書画像の分散値は
小さくなっている。また、分類の度合いは第１の実施例
に比べて大きくなっている。なお、図１６においてｘ
軸，ｙ軸に対する濃度投影の微分の分散のしきい値をと
もに３０．０に設定することにより画像の分類が可能で
ある。

【００３６】（３）第３実施例図１７は第３実施例における画像分類装置の各ブロック
の機能を説明する機能ブロック図である。図１７を参照
して、第３実施例に係る画像分類装置は、カメラやスキ
ャナなどの画像を入力するための画像入力手段３１と、
画像入力手段３１により入力された濃淡画像を記憶する
多値画像メモリ３２と、多値画像メモリ３２から読出さ
れた画像の微分画像を作成する微分画像作成器３３と、
微分画像作成器３３により作成された微分画像を記憶す
る微分画像メモリ３４と、微分画像メモリ３４から読出
された微分画像の濃度投影ヒストグラムを作成する濃度
投影ヒストグラム作成器３５と、濃度投影ヒストグラム
作成器３５により作成された濃度投影ヒストグラムを記
憶するヒストグラムメモリ３６と、ヒストグラムメモリ
３６から読出された濃度投影ヒストグラムの最大値に対
する最小値の割合を計算する割合計算器３７と、割合計
算器３７で計算された値を特徴量として画像入力手段３
１から入力された画像が文書画像か非文書画像であるか
を分類する画像分類器３８とを含む。

【００３７】図１８は第３実施例に係る画像分類装置の
動作を説明するフローチャートである。まず画像入力ス
テップＳ８１で画像を入力し、微分画像作成ステップＳ
８２では画像入力ステップＳ８１から入力された画像に
空間微分を施し微分画像を作成する。微分画像作成ステ
ップＳ８２の詳細は第１実施例で説明した微分画像作成
ステップＳ６２と同様であるのでその説明は省略する。
濃度投影ヒストグラム作成ステップＳ８３では微分画像
作成ステップＳ８２により作成された微分画像をｘ，ｙ
軸に対して濃度投影し、濃度投影ヒストグラムを作成す
る。濃度投影ヒストグラム作成ステップＳ８３の詳細は
第１実施例で説明した濃度投影ヒストグラム作成ステッ
プＳ６３と同様であるためその説明は省略する。割合計
算ステップＳ８４では濃度投影ヒストグラム作成ステッ
プＳ６３により作成されたｘ，ｙ軸への濃度投影ヒスト
グラムの最大値に対する最小値の割合を式（１１）およ
び式（１２）により計算する。

【００３８】ここでｘ＿ｍｉｎ，ｘ＿ｍａｘは濃度投影
ヒストグラム作成ステップＳ８３により作成されたｘ軸
への濃度投影ヒストグラムの最小値と最大値である。ｙ
＿ｍｉｎ，ｙ＿ｍａｘは濃度投影ヒストグラム作成ステ
ップＳ８３により作成されたｙ軸への濃度投影ヒストグ
ラムの最小値と最大値である。上式により計算されたｘ
＿ｒａｔｉｏ，ｙ＿ｒａｔｉｏを特徴量とし画像分類ス
テップＳ８５で所定のしきい値と比較することにより画
像を分類する。

【００３９】

【数３】

【００４０】この実施例における文書画像と風景画像の
濃度投影ヒストグラムの微分値の例を図１４および図１
５に示す。文書画像には明確な谷が表れているため、最
大値に対する最小値の割合は文書画像の方が小さくなる
ことがわかる。実際の分類結果を図１９に示す。図１９
のグラフのｘ軸は入力された画像のｘ軸に対する濃度投
影ヒストグラムの最大値に対する最小値の割合であり、
グラフのｙ軸は画像のｙ軸に対する濃度投影ヒストグラ
ムの最大値に対する最小値の割合である。グラフを見て
わかるとおり、文書画像の割合は小さく、非文書画像の
割合は大きくなっている。

【００４１】（４）第４実施例図２０は第４実施例に係る画像分類装置の各ブロックの
機能を説明する機能ブロック図である。図２０を参照し
て、第４実施例に係る画像分類装置は、カメラやスキャ
ナ等の画像を入力するための画像入力手段４１と、画像
入力手段４１により入力された濃淡画像を記憶する多値
画像メモリ４１３と、多値画像メモリ４１３から読出さ
れた画像の２値画像を作成する２値画像作成器４２と、
２値画像作成器４２により作成された２値画像を記憶す
る２値画像メモリ４１４と、２値画像メモリ４１４に記
憶されている２値画像の背景画素値を判定する背景画素
値判定器４３と、背景画素値判定器４３により背景色が
白と判定された場合に２値画像メモリ４１４に記憶され
ている画像の反転画像を作成して２値画像メモリに記憶
させる反転画像作成器４４と、２値画像メモリに記憶さ
れている２値画像の連結領域をラベリングするラベリン
グ器４５と、ラベリング器４５により作成されたラベル
画像を記憶するラベル画像メモリ４１５とを含む。

【００４２】画像分類装置はさらに、画像メモリ４１５
から読出されたラベル画像を用いて２値画像メモリに記
憶されている２値画像の連結領域のフィレ座標と面積を
計算するフィレ座標計算器４６と、フィレ座標計算器４
６により計算されたフィレ座標と面積を記憶するフィレ
座標メモリ４１６と、フィレ座標メモリ４１６から読出
した連結領域の面積とフィレ座標の値を用いて不要な領
域を除去する不要領域除去器４７と、不要領域除去器４
７により不要領域を除去する前と除去した後の領域の割
合を計算し有効領域の割合を計算する有効領域割合計算
器４８と、フィレ座標メモリ４１６から読出された連結
領域のフィレ座標から重心点を計算する重心点計算器４
９と、重心点計算器４９により計算された重心点の座標
を記憶する重心メモリ４１７と、重心メモリ４１７から
読出した重心点を用いて各重心点から最も近い重心点を
探索し、その方向を計算する最近重心点探索器４１０
と、最近重心点探索器４１０により計算された方向を適
当な数に量子化し方向頻度ヒストグラムを作成し、最も
頻度の高い方向の割合を計算する特徴量計算器４１１
と、特徴量計算器４１１により計算された特徴量と有効
領域割合計算器４８により計算された特徴量を用いて画
像入力手段３１から入力された画像が文書画像か非文書
画像であるかを分類する画像分類器４１２とを含む。

【００４３】次に第４実施例における画像分類装置の動
作を図２１に示すフローチャートを参照して説明する。
図２１を参照して、まず画像入力ステップＳ９１で画像
を入力し、２値画像作成ステップＳ９２では画像入力ス
テップＳ９１から入力された画像を２値化し、２値画像
を作成する。２値画像作成ステップＳ９２の詳細を図２
２を用いて説明する。

【００４４】まず画像原点から走査し、輝度値を読取り
所定のしきい値と比較ししきい値未満であれば０、しき
い値以上であれば１として２値画像を作成する（ステッ
プＳ９２１，Ｓ９２２）。ただしこの実施例では所定の
しきい値を判別分析法により求め固定しきい値により２
値化を行なっているが、ｐ−タイル法、モード法などの
他の方法によりしきい値を算出してもよいし、動的しき
い値法によりしきい値を場所によって変化させて２値化
を行なってもよい。なおここで、判別分析法とはしきい
値ｔｈにより２つに分割されたクラスタのクラスタ間分
散が最大になるｔｈを求める方法であり、ｐ−タイル法
はパーセンテージｐを与え、一方のクラスタの割合がｐ
％となるようにしきい値を求める方法であり、モード法
とは、双峰性のあるヒストグラムから谷を検出し、その
谷の位置をしきい値とする方法であり、動的しきい値法
とはしきい値を部分領域ごとに変化させる方法である。

【００４５】なお、ここで２値画像の連結領域とは、白
画素を対象にし、ある白画素に注目した場合にその白画
素に接する白画素を次々に連結していき、最終的に連結
されたそれぞれの領域を言う。また、フィレ座標とは、
連結領域を内部に含む最小の矩形の始点と終点の座標を
言う。始点座標とはｘ，ｙ座標のうちの小さい方、終点
座標とはｘ，ｙ座標の大きい方を言う。

【００４６】次に図２１に戻り、背景画素値判定ステッ
プＳ９３では２値画像作成ステップＳ９２により作成さ
れた２値画像の白画素の割合を全画素数に対して求め、
所定のしきい値以上であれば背景画素値は白、しきい値
未満であれば背景画素値を黒と見なす。反転画像作成ス
テップＳ９４では、背景画素値判定ステップＳ９３によ
り背景画素値が白であると判定された場合に２値画像作
成ステップＳ９２により作成された２値画像の輝度値を
反転させる。ラベリングステップＳ９５では上記の処理
により背景画素値を黒とした２値画像（以下対象２値画
像と呼ぶ）に対してラベリングを行なう。ラベリングス
テップＳ９５の詳細は図２３を用いて説明する。図中
（Ａ）はラベリングステップＳ９５のフローチャートで
あり、（Ｂ）はフローチャート中のＰｉの位置を表わ
す。

【００４７】図２３を参照して、画像（フローチャート
中ではｆ（ｘ，ｙ）と表す）の原点から走査していき、
非０画素に対して以下の処理を行なう。非０画素と同位
置のラベル画像（フローチャートではｇ（ｘ，ｙ）と表
す）の８近傍のうち、すでに走査済の位置（フローチャ
ート中ではｐｉと表す）のラベルを検査する（ステップ
Ｓ９５０１〜ステップＳ９５０６）。すでにラベルの付
けられた画素がない場合はその位置に新たなラベルを付
加し、テーブルとラベル番号を更新する（ステップＳ９
５１４〜ステップＳ９５１５）。すでにラベルの付けら
れた画素が複数存在する場合は、同じラベルであればそ
のラベルを付加し、違うラベルであればそれらのラベル
のうち最小のラベルを付加し、テーブル中のその他のラ
ベル番号を最小のラベル番号に置換える（ステップＳ９
５０７〜ステップ９５１１）。ただし、フローチャート
中のｍｉｎ（），ｍａｘ（）は最小値、最大値を求める
関数であるとする。これらの処理をすべての画素に対し
て行なう。以上の処理が終了すると、テーブルのラベル
番号の隙間が生じているのでその隙間を埋め（ステップ
Ｓ９５２０）、このテーブルを用いてラベルの付け直し
を行なう（ステップＳ９５２１）。なお、本実施例では
８近傍でラベリングを行なったが、４近傍で行なっても
よい。

【００４８】再び図２１に戻り、フィレ座標計算ステッ
プＳ９６ではラベリングステップＳ９５によりラベリン
グ処理された対象２値画像の連結領域のフィレ座標と面
積を求める。フィレ座標計算ステップＳ９６の詳細は図
２４を用いて説明する。

【００４９】ここでフィレ座標とは、画像中の１つの連
結成分に外接する最小の矩形の左上と右下の座標であ
り、左上と右下の座標を図２５に示すようにとる。ラベ
ル画像（フローチャート中ではｇ（ｘ，ｙ）と表す）の
原点から走査し、非０画素が見つかると式（１３）〜式
（１６）によりフィレ座標を計算する（ステップＳ９６
０１〜ステップＳ９６０７）。

【００５０】また、面積は式（１７）により計算する。
この処理をすべての画素に対して行なう。

【００５１】再び図２１に戻って、不要領域除去ステッ
プＳ９７ではフィレ座標計算ステップＳ９６により求め
られた連結領域の面積とフィレ座標を用いて文字の領域
らしくない、微小領域、巨大領域、細長い領域を除去す
る。微小領域は求めた面積が所定のしきい値より小さい
場合に、巨大領域はフィレ座標により生成される外接矩
形の各辺が所定のしきい値より大きい場合に、また細長
い領域は前記の外接矩形が縦横比または横縦比が所定の
しきい値より大きい場合に除去する。有効領域割合計算
ステップＳ９８では対象２値画像の領域数に対する不要
領域除去ステップＳ９７で除去されずに残った領域数
（以下有効領域数と呼ぶ）の割合を特徴量の１つとして
計算する。重心点計算ステップＳ９９ではフィレ座標計
算ステップＳ９６によって計算されたフィレ座標の中点
を式（１８）により計算し重心位置とする。

【００５２】最近重心点探索ステップＳ９１０では、重
心点計算ステップＳ９９により計算された各重心から最
も近い重心を探索し、その方向を求める。さらに求めら
れた方向を適当な数に量子化し、頻度ヒストグラムを作
成する。本実施例では方向をｔａｎ−１（−π／２≦
ｔａｎ−１≦π／２）により求め、４方向に量子化し頻
度ヒストグラムを求めている。この詳細を以下に説明す
る。

【００５３】図２６は最近重心点探索ステップＳ９１０
のフローチャートであり、フローチャート中のｎｕｍは
有効領域数であるとする。ある重心点（ｇｒａｖ
［ｉ］）に注目し、その重心点から最も近い重心点（ｇ
ｒａｖ［ｊ］）を以下の手順により探索する。まずｓｉ
ｚｅ＝１とし、ｗｓ＝ｓｉｚｅ×ｓｉｚｅ＋１を計算す
る（ステップＳ９１００１〜Ｓ９１００３）。注目した
重心点を中心とする１辺の長さがｗｓの矩形を考え、そ
の矩形上に他の重心点があるか否かを判定する（ステッ
プＳ９１００４）。このとき辺上に複数個の重心点が存
在する場合は、すべての重心点を考慮に入れる（Ｓ９１
００５）。存在した場合はｇｒａｖ［ｉ］からｇｒａｖ
［ｊ］への方向を式（１９）により計算する。

【００５４】ただし、ｇｒａｖ［ｉ］からｇｒａｖ
［ｊ］への方向ベクトルを（ｄｘ，ｄｙ）とする。

【００５５】

【数４】

【００５６】探索の様子は図２７に示す。本実施例では
求めた方向を図２８のような４つの領域に分割し、それ
ぞれの領域について頻度ヒストグラムを作成する。ま
た、ｇｒａｖ［ｊ］が存在しない場合はｓｉｚｅをイン
クリメントして新しい矩形を考える（ステップＳ９１０
０５，Ｓ９１００１０，Ｓ９１００１１）。ｓｉｚｅが
所定のしきい値ＭＡＸ＿ＳＩＺＥ以上になると近傍重心
点はなしとし新しい重心点に移る（ステップＳ９１０１
１からＳ９１００８へ）。以上の処理をすべての重心点
に対して行ない、頻度ヒストグラムを作成する。

【００５７】再び図２１へ戻って、特徴量計算ステップ
Ｓ９１１では最近重心点探索ステップＳ９１０より求め
られた頻度ヒストグラムの最頻値を検出し有効領域数に
対する割合を計算し、これらの値を特徴量とし画像分類
ステップＳ９１２で所定のしきい値と比較することによ
り画像を分類する。

【００５８】入力された画像を２値化し、背景画素値を
判定し背景画素値を黒画素に反転することにより文書画
像の場合は文字領域が白画素となる。この白画素の連結
領域中で文字の領域らしくない領域を除去することによ
り文字領域だけが残される。非文書画像の場合はここま
での処理によりほとんどの領域が文字らしくないと判断
されて除去される。また文字と写真などが混在している
場合は写真領域が除去され、文字領域だけが残される。
この残った領域の重心の整列の仕方を求めると文書画像
の場合は一定方向に領域が整列し、非文書画像の場合に
は規則性のある並び方にはならない。実際の分類結果を
図２９に示す。

【００５９】図２９を参照してｘ軸は有効領域割合であ
り、ｙ軸は方向頻度ヒストグラムの最頻度割合である。
グラフを見てわかるとおり、文書画像では有効領域割合
が大きく方向の割合も大きくなっており、非文書画像で
は有効領域割合が小さく方向の割合も小さくなってい
る。

【００６０】（５）第５実施例図３０はこの発明の第５実施例に係る画像分類装置の各
ブロックの機能を説明する機能ブロック図である。図３
０を参照して、第５実施例に係る画像分類装置は、カメ
ラやスキャナなどの画像を入力するための画像入力手段
５１と、上記した第１実施例から第４実施例において用
いた特徴量の中の任意の複数個の特徴量を計算する特徴
量計算器５２と、特徴量計算器５２により計算された特
徴量を用いて画像入力手段５１から入力された画像が文
書画像か非文書画像であるかを分類する画像分類器５３
とを含む。

【００６１】図３１は第５実施例における画像分類装置
の動作を示すフローチャートである。図３１を参照し、
画像入力ステップＳ１０１で画像を入力し特徴量計算ス
テップＳ１０２では上記した第１実施例から第４実施例
において用いる特徴量のうちの任意の複数個を計算す
る。画像分類ステップＳ１０３では特徴量計算ステップ
Ｓ１０２により計算された特徴量を用いて画像入力ステ
ップＳ１０１から入力された画像を分類する。

【００６２】

【発明の効果】以上のようにこの発明の請求項１に係る
画像分類装置においては、入力された画像の微分画像を
作成し、その投影ヒストグラムの分散値を計算し、それ
に基づいて入力された画像が文書画像か非文書画像かを
判別したため、文書画像の行間を反映させることができ
る。その結果、判定精度の高い画像分類装置が提供でき
る。

【００６３】請求項２に係る画像分類装置においては、
入力された画像の微分画像を作成し、その濃度投影ヒス
トグラムを作成しその微分値の分散値に基づいて文書の
判別を行なっているため、ヒストグラムを一旦微分して
山と谷の変化を強調してから分散を調べているため、よ
り文書画像の特徴をとらえることができる。その結果、
より判定精度の高い画像分類装置が提供できる。

【００６４】

【００６５】請求項３に係る画像分類装置においては、
入力画像の２値画像を作成し、それを基に同一特性を有
する領域を連結してその中の有効な連結領域と有効でな
い領域との割合を算出している。文書画像においては文
字が多く並んでいるため不要な領域が少なく、非文書画
像では不要な領域が多い。したがって、この割合を算出
することによって文書画像か非文書画像かの判定ができ
る。その結果、精度よく画像の分類ができる画像分類装
置が提供できる。

【図面の簡単な説明】

【図１】第１実施例に係る画像分類装置の機能ブロック
図である。

【図２】第１実施例における画像分類装置のフローチャ
ートである。

【図３】微分画像作成ステップのサブルーチンを示すフ
ローチャートである。

【図４】ソーベルオペレータを示す図である。

【図５】濃度投影ヒストグラム作成ステップを示すフロ
ーチャートである。

【図６】濃度投影ヒストグラムを示す図である。

【図７】文書画像の一例を示す図である。

【図８】風景画像の一例を示す図である。

【図９】文書画像の濃度投影ヒストグラムの例を示す図
である。

【図１０】風景画像の濃度投影ヒストグラムを示す図で
ある。

【図１１】第１の実施例における実際の分類結果を示す
図である。

【図１２】第２の実施例に係る画像分類装置のブロック
図である。

【図１３】第２の実施例に係る画像分類装置のフローチ
ャートである。

【図１４】第２の実施例における文書画像の濃度投影ヒ
ストグラム微分値の例を示す図である。

【図１５】第２の実施例における風景画像の濃度投影ヒ
ストグラムの微分値の例を示す図である。

【図１６】第２の実施例における実際の分類結果を示す
図である。

【図１７】第３実施例に係る画像分類装置の機能ブロッ
ク図である。

【図１８】第３実施例における画像分類装置の動作を示
すフローチャートである。

【図１９】第３の実施例における実際の分類結果を示す
図である。

【図２０】第４実施例に係る画像分類装置の機能ブロッ
ク図である。

【図２１】第４実施例における画像分類装置の動作を示
すフローチャートである。

【図２２】２値画像作成ステップの詳細を示すフローチ
ャートである。

【図２３】ラベリングステップの詳細を示すフローチャ
ートである。

【図２４】フィレ座標計算ステップの詳細を示すフロー
チャートである。

【図２５】フィレ座標の内容を示す図である。

【図２６】最近重心点方向計算ステップの内容を示すフ
ローチャートである。

【図２７】第４実施例における探索の様子を示す図であ
る。

【図２８】第４実施例における探索方向を示す図であ
る。

【図２９】第４実施例の実際の分類結果を示す図であ
る。

【図３０】第５実施例に係る画像分類装置の機能ブロッ
ク図である。

【図３１】第５実施例における画像分類装置の動作を示
すフローチャートである。

【符号の説明】

１１画像入力手段１２多値画像メモリ１３微分画像作成器１４微分画像メモリ１５濃度投影ヒストグラム作成器１６ヒストグラムメモリ１７分散値計算器１８画像分類器

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/20 H04N 1/40

Claims

(57)【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、前記入力された画像を基に微分画像データを作成する微
分画像データ作成手段と、前記作成された微分画像データを基に濃度投影ヒストグ
ラムを作成する濃度投影ヒストグラム作成手段と、前記作成された濃度投影ヒストグラムの分散値を計算す
る分散値計算手段と、前記計算された分散値を基に前記入力された画像が文書
画像であるか非文書画像であるかを判別する判別手段と
を含む、画像分類装置。
【請求項２】画像を入力する画像入力手段と、前記入力された画像から微分画像データを作成する微分
画像データ作成手段と、前記作成された微分画像データを基に濃度投影ヒストグ
ラムを作成する濃度投影ヒストグラム作成手段と、前記作成された濃度投影ヒストグラムの微分値を計算す
る濃度投影ヒストグラム微分手段と、前記計算された微分値の分散値を計算する分散値計算手
段と、前記計算された分散値を基に前記入力された画像が文書
画像であるか非文書画像であるかを判別する判別手段と
を含む、画像分類装置。
【請求項３】画像を入力する画像入力手段と、前記入力された画像を２値化する２値画像作成手段と、前記作成された２値画像を基に同一属性を有する領域を
連結して最初の連結領域を作成する手段と、前記最初の連結領域中の不要な領域を除去して有効な連
結領域だけを抽出する不要領域除去手段と、前記最初の連結領域の数に対する有効な連結領域の数の
割合を計算する有効領域割合計算手段と、前記計算された有効領域割合を基に前記入力された画像
が文書画像であるか非文書画像であるかを判別する手段
とを含む、画像分類装置。