JPH09186858A - 画像処理方法及び装置、及びコンピュータ制御装置 - Google Patents

Abstract

(57)【要約】 【課題】文字の大きさに関らない安定した領域切り出し
を行うとともに、文字領域の抽出率を向上させることを
可能とする。 【解決手段】読み込まれた画像はステップＳ１０１にお
いて複数種類の解像度の画像に変換される。続いて、解
像度変換された画像について、所定画素数を含むブロッ
ク毎に特徴量を求め、文字の属性を有する領域を抽出
し、この抽出された領域に相当する原画像上の領域を候
補領域とする。更にこの候補領域を小ブロックに分割し
て、各小ブロック毎に文字の属性を有するか否かを判定
する（ステップＳ１０２、１０３）する。これを、複数
種類の解像度の全てについて行う（ステップＳ１０
４）。そして、文字の属性を有していないと判定された
小ブロックを上記候補領域より除去して候補領域を決定
し、これを文字抽出結果として出力する（ステップＳ１
０５、Ｓ１０６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データの像域
分離を行う画像処理方法及び装置、及びコンピュータ制
御装置に関する。

【０００２】

【従来の技術】従来より、複写機やＯＣＲ機器等におい
て、画像を空間周波数軸上のデータに変換し、当該画像
中より写真領域や網点画像領域、文字領域を分離する方
法が考えられている。以下にその例を示す。

【０００３】（１）画像電子学会研究会予稿９３−０１
−０２においては、文字画像と網点画像の周波数特性の
違いに着目して像域分離する方法が開示されている。こ
の方法では、まず、画像データを８×８サイズの小ブロ
ックに分割し、離散コサイン変換（ＤＣＴ変換）を行な
う。ＤＣＴ変換は、ＪＰＥＧ標準などの画像符号化方式
に広く利用されており、画像データを周波数軸上のデー
タに変換するものである。

【０００４】この結果として、各ブロックの係数は、１
行１列がブロックの直流成分、列方向は水平方向の周波
数、行方向は垂直方向の周波数を表すようになる。各方
向とも、行（列）の番号が増えるにしたがって、より高
い周波数の強さを示している。上記のＤＣＴ変換に続い
て、ジグザグスキャン処理を行ない、２次元のブロック
データを１次元に変換する。これもＪＰＥＧ標準で用い
られている処理方法であり、図１３に示すように、低周
波部分から高周波部分へ斜め方向にスキャンを行なう。

【０００５】次のステップとして、式（１）に従って、
「ジグザグレート」を計算する。ここで、式（１）は、 ZigZag_Rate[i]=ZigZag[i]×2-ZigZag[i-1]-ZigZag[i+1] (i:1…63) … 式(１) で表される。

【０００６】続いて、ジグザグレートの低周波部分と高
周波部分での積算を行ない、それぞれ、ZZ_Rate_moji、
ZZ_Rate_HTとする。そして、以下に示す式（２）の判定
条件が成り立つときは文字画像、式（３）の判定条件が
成り立つときは網点画像と判定する。これは、ジグザグ
レートについて、文字画像では低周波部分の値が大きく
なり、網点画像では高周波部分の値が大きくなるという
性質を利用したものである。

【０００７】式（２）及び式（３）は、 ZZ_Rate_moji + key ≧ 定数１ 式（２） ZZ_Rate_HT + key ≧ 定数２ 式（３） で表される。

【０００８】ここで、定数１、２は実験的に設定される
値であり、ｋｅｙは周囲４ブロックの判定結果を以下の
式（４）に従って計算したものを用いる。さらに、式
（４）中のｆｌａｇは、判定結果が文字ならば負、網点
ならば正の値をとる。式（４）は、 key = 0.25(flag(上)+flag(左)) + 0.125(flag(二つ左)+flag(斜め上)) … 式（４） となる。

【０００９】（２）また、別の手法として、画像電子学
会誌第２０巻５号の「適応的量子化を用いたＤＣＴ符号
化」における処理を説明する。これは、文字画像と網点
画像を分離して画像圧縮の量子化テーブルを切り換える
ことで、文字画像の劣化防止と網点画像の圧縮率向上を
図ることを目的とする。同方式においても、初めに画像
データを８×８サイズのブロックに分割し、ＤＣＴ変換
を行なう。次に、図１４の（ａ）〜（ｅ）に示されてい
る領域９０〜９４に含まれる係数の絶対値の和をそれぞ
れ算出する。そして、領域９１〜９４の係数和の最大値
が領域９０の係数和より大きく、且つ、領域９１〜９４
の係数和の最大値が所定の閾値Ａより大きいときに、当
該ブロックを網点画像であると判定する。また、図１４
の（ｆ）において、領域９５に含まれる係数の絶対値の
和が閾値Ｂより大きく、且つ、網点画像ブロックと判定
されなかった場合に、文字画像ブロックであると判定す
る。

【００１０】（３）更に、特開平２−２０２７７１号の
「ファクシミリ装置」における処理を以下に説明する。
これは、二値画像領域と中間調領域の分離の明確化を目
的とする。同方式における像域分離パラメータ決定部で
は、画像データを４×４サイズのブロックに分割し、二
次元アダマール変換を行なう。像域分離パラメータＬ
は、Ｙｉｊをアダマール変換の係数要素とすると、 Ｌ＝ΣΣ(Ｙij)^2 （ｉ＋ｊ＝３、４、５、６） … 式（５) （但し、(Ｙij)^2 は、(Ｙij)の２乗を示す）で計算さ
れる。

【００１１】そして、Ｌの値に従って、二値化のスライ
スレベルが決定する。これは、「二値画像領域に仮定し
た変換結果の方が空間周波数の高域に対してエネルギー
が大で」あることによっている。すなわち、二値画の領
域はＬが大きな値に、中間調画の領域はＬが小さな値に
なることを示している。

【００１２】

【発明が解決しようとする課題】しかしながら、以上の
（１）〜（３）で説明した従来の像域分離手法では、画
像を所定の大きさのブロックに分割して、各ブロックに
ついて特徴量を獲得して部分画像の属性を判定してい
る。このため、判定対象となる画像に大きな文字が含ま
れていた入りすると、その大きな文字の領域が文字領域
として認識されず、写真画像等として誤認識されてしま
う。

【００１３】本発明は上記問題に鑑みてなされたもので
あり、文字の大きさに関らない安定した領域切り出しを
行うとともに、文字領域の抽出率を向上させた画像処理
方法及び装置、及びコンピュータ制御装置を提供するこ
とを目的とする。

【００１４】

【課題を解決するための手段】上記の課題を解決するた
めの本発明の画像処理装置は以下の構成を備えている。
即ち、原画像を複数種類の解像度の画像に変換する変換
手段と、前記複数種類の解像度の画像の各々について、
所定画素数を含むブロック毎に特徴量を求め、所定の属
性を有する領域を抽出する抽出手段と、前記原画像上に
おいて前記抽出手段で抽出された領域に相当する領域を
候補領域とし、該候補領域を小ブロックに分割する分割
手段と、前記小ブロックのそれぞれが前記所定の属性を
有するか否かを判定する判定手段と、前記判定手段にお
いて前記所定の属性を有していないと判定された小ブロ
ックを前記候補領域より除去して候補領域を決定する決
定手段とを備える。

【００１５】また、好ましくは、前記所定の属性を有す
る領域は文字画像を含む領域である。文字画像を含む領
域を抽出することで、文書ファイリングシステム等にお
ける検索データを構成する等、本発明の適用範囲が広が
る。

【００１６】また、好ましくは、前記判定手段は、前記
候補領域の主要な色相を検出し、該主要な色相が前記小
ブロックに含まれる度合に基づいて、該小ブロックが前
記所定の属性を有するか否かを判定する。一般に、文字
画像等は単色で構成されることが多く、主要な色相を検
出して属性を判定することで、効率良く、しかも精度よ
く属性の判定を行える。

【００１７】また、好ましくは、前記判定手段は、前記
候補領域の中央部にある色相が前記小領域に含まれる度
合に基づいて、該小ブロックが前記所定の属性を有する
か否かを判定する。例えば文字領域の場合、候補領域の
中央に文字が存在する可能性が高い。よって、候補領域
の中央部に特に注目して色相を検出し、これを用いて小
ブロックの属性判定を行うことで、効率良く、しかも精
度よく属性の判定を行える。

【００１８】また、好ましくは、前記判定手段は、前記
小ブロック毎に輪郭検出を行なって、輪郭を含む度合に
基づいて該小ブロックが前記所定の属性を有するか否か
を判定する。例えば文字領域の場合、小ブロック内に輪
郭部が含まれる可能性が高い。よって、このような輪郭
部の存在の度合に基づいて小ブロックの属性を判定する
ことで、効率良く、しかも精度よく属性の判定が行え
る。

【００１９】また、好ましくは、前記分割手段は、前記
原画像に対して１／ｎの解像度を有する画像から抽出さ
れた候補領域のブロックをｎ×ｎ個の小ブロックに分割
する。得られる小ブロックは原画像の属性判断のブロッ
クに相当するものとなり、候補領域からのブロックの除
去等の処理が容易となる。

【００２０】また、好ましくは、原画像の１／ｎの解像
度の画像より、前記抽出手段によって抽出された領域に
含まれる各ブロックの属性の判定値を、ｎ×ｎ個の小ブ
ロックのデータとして記憶する記憶手段を更に備える。
原画像上の各ブロックに対応して判定値が格納されるこ
とになるので、記憶手段によって記憶された各小ブロッ
クの判定値を用いれば、原画像よりの候補領域の抽出が
容易に行えるようになる。

【００２１】また、好ましくは、前記抽出手段は、前記
複数種類の解像度の画像の各々について、所定画素数を
含むブロック毎に直交変換を行い、直交変換画像から特
徴量を計算して所定の属性を有するブロックを検出し、
該検出結果に基づいて所定の属性を有する領域を抽出す
る。

【００２２】

【発明の実施の形態】以下、添付図面を参照して、本発
明に係る好適な実施形態を詳細に説明する。

【００２３】［実施形態１］ ＜実施形態による処理の概要＞本実施形態では、入力さ
れた画像を複数の解像度の画像に変換し、各画像に直交
変換を施し、各解像度の直交変換画像から特徴量を計算
して像域分離を行う。このように複数解像度のとく跳梁
を用いることで、文字外形の大きさに関らない領域抽出
が可能となる。

【００２４】以下に図１５、図１６、図１７を参照して
更に説明する。例えば図１５の（ａ）に示す原画像を、
１／２、１／４に縮小して、図１５の（ａ）〜（ｃ）の
３枚の画像を獲得する。そして、それぞれの画像につい
て直交変換画像を求め、像域分離を行う。この結果、図
１５の（ａ）に示される「特報！」という大きな文字
が、図１５の（ｃ）（１／４の縮小画像）において文字
として検出されることになる。この結果、図１６に示す
ような文字領域を抽出できる。

【００２５】ここで、図１６からもわかるが、複数の解
像度の画像より得られた直交変換画像を用いて像域分離
を行った場合には、次のような問題が考えられる。即
ち、低解像度画像から検出した領域には文字画像を含ま
ない部分が含まれており、解像度の変換倍率を上げると
文字抽出率が悪化してしまうということである。例え
ば、図１６において、１／４の解像度画像から得られた
候補領域８６において、文字を含まないブロックが多
数、文字領域の候補として検出されてしまっている。こ
のように過剰抽出されたブロックを示すと、図１７にお
いて網点で示された領域８７のようになる。これらの過
剰抽出ブロックが存在するために、画像全体の文字抽出
率は低いものとなってしまう。

【００２６】従って、本実施形態では、複数解像度の画
像を用いて、文字外形の大きさに関らない安定した文字
領域の抽出を可能とすると共に、上述のようなブロック
過剰抽出を防止し、文字抽出率を向上させる画像処理装
置を説明する。

【００２７】＜装置構成の説明（図１）＞本実施形態の
画像処理装置は、外部インターフェースから画像を入力
し、これを蓄積する機能を設けたパーソナルコンピュー
タである。そして、本コンピュータは、蓄積された入力
画像から文字領域を切り出して保存しておき、これを用
いて画像検索を行なう機能を備えるものである。

【００２８】図１は、本実施形態の画像処理装置の概略
構成を示すブロック図である。図中、１は装置全体の制
御を行なうＣＰＵであり、メモリ部３に格納されたプロ
グラムに従って演算、Ｉ／Ｏ制御などの処理を実行す
る。２は周辺機器コントローラであり、ＣＰＵ１とセッ
トで用いられ、周辺機器を制御するのに必要なＩ／Ｏ
（シリアル通信、パラレル通信、リアルタイムロック、
タイマ、割り込み、ＤＭＡ等）の制御を行なう。

【００２９】３はメモリ部であり、ＣＰＵ１の主記憶装
置としてのＤＲＡＭ、キャッシュＲＡＭ、ＲＯＭ等のメ
モリを含む。また、画像領域検出処理におけるワークエ
リアも兼ねる。４は、ユーザデータや装置の設定、画像
データの記憶を行なうハードディスクドライブ（ＨＤ
Ｄ）である。５はＦＤＤ制御部であり、６はフロッピー
ディスクドライブ（ＦＤＤ）である。７はキーボード制
御部であり、８はキーボードである。

【００３０】表示ユニット９において、１０は表示制御
部であり、ＶＲＡＭ１１から表示データを順次読み出
し、階調変換等を行ないながら、液晶パネル（ＬＣＤ）
１２へデータを転送する。また、表示制御部１０は、Ｃ
ＰＵ１からＶＲＡＭ１１へのアクセスと、ＶＲＡＭ１１
からＬＣＤ１２へのデータ転送の調停を行なう。本実施
形態においては、ＬＣＤ１２は、各種ファイルの情報を
表示すると共に、画像データを表示する。

【００３１】また、通信ユニット１３において、１５は
通信インターフェースであり、１４は通信制御部であ
る。通信規格は、ＲＳ−２３２Ｃ、イーサネット等のシ
リアル通信、セントロニクス、ＳＣＳＩ等のパラレル通
信のインターフェースであり、テキスト等の各種データ
や画像データの入出力を行なう。また、ＮＴＳＣ方式な
どのテレビ信号を入するインターフェースも備える。

【００３２】１６は、画像データから文字領域を抽出す
る画像領域検出部である。以下に、画像領域検出部１６
について詳細に説明する。

【００３３】＜画像領域検出部の説明（図２）＞図２は
本実施形態の画像領域検出部の構成を表すブロック図で
ある。図２を参照して、本実施形態の画像領域検出部１
６の動作について説明する。

【００３４】図中、２０は解像度変換部であり、入力し
た原画像を設定された解像度に変換する。本実施形態で
は、原画像からｎ画素おきに画素を取り出すことで、１
／ｎの解像度の画像を得る。なお、解像度変換の方法は
これに限られるものではなく、例えば、原画像の隣接す
るｎ画素について平均を計算して１画素の値とする方法
や、ウェーブレット変換処理を行なうなど、様々な演算
方法を利用することができる。

【００３５】２９は一画面演算部であり、各解像度に変
換された画像から候補領域を検出する。２６は判定結果
格納部であり、各解像度毎に像域分離の判定結果を格納
する。なお、判定結果格納部２６は、各解像度毎に格納
領域が分割されている。そして、それぞれの領域におい
て、原画像の解像度に対応するブロック数が確保されて
いる。即ち、原画像の一ブロック判定結果は格納領域の
１個の単位が対応し、１／ｎ解像度画像の一ブロック判
定結果は格納領域のｎ^2個の単位が対応することにな
る。

【００３６】例えば、判定結果格納部２６における１／
４解像度画像の判定結果を格納する領域では、１ブロッ
ク（原画像では１６ブロックに相当する）判定する毎
に、１６ブロックに同じ値が記録されることになる。そ
して、判定結果格納部２６を順にスキャンすることで、
後述するように、低解像度画像の候補領域を小ブロック
に分割したのと等価な動作が行なえるようになる。

【００３７】次に、一画面演算部２９の構成を説明す
る。２２はブロック分割部であり、入力された画像デー
タを８×８の小ブロックに分割する。２８は一ブロック
演算部であり、ブロック分割部２２で得られたブロック
毎に、文字領域であるか否かを判定し、その判定結果を
判定結果格納部２６に出力する。

【００３８】一ブロック演算部２８の構成を説明する
と、２３はＤＣＴ変換部、２４は係数演算部である。Ｄ
ＣＴ変換部２３と係数演算部２４は、上記従来技術の
（３）で説明した像域パラメータ分離部を構成する。本
実施形態においては、ブロックサイズが８×８サイズで
あることと、直交変換の方法として離散コサイン変換を
用いる点が異なる。なお、ＤＣＴ変換部２２、係数演算
部２３は、ＪＰＥＧやＭＰＥＧ方式などの標準規格で使
用されている技術と同様であり、詳細な原理の説明は省
略する。

【００３９】従来技術でも説明したように、像域パラメ
ータ分離部によって、文字領域と画像領域を分離する特
徴パラメータＬが計算される。しかし、本実施形態で用
いる像域パラメータ分離方式としては、文字領域の特徴
が検出できるものであれば、他の方式であってももちろ
んよい。２５は属性判定部であり、係数演算部２４より
出力される特徴パラメータを閾値と比較して、当該ブロ
ックが文字領域候補であるかの判定を行なう。

【００４０】次に、以上のような画像領域検出部１６の
抽出作業の流れについて概要を説明する。

【００４１】まず、原画像を一画面演算部２９に入力し
て直交変換し、候補領域を抽出する。次に、原画像の解
像度を変えた画像を作成し、これを一画面演算部２９に
入力して直交変換して候補領域を抽出する。この操作を
指定された解像度の画像まで繰り返し行なう。この処理
では、画像に類似した性質が表れて誤抽出しやすい中〜
大サイズの文字で構成される文字領域を、解像度変換で
縮小することによって抽出可能とする。結果として、原
画像からは小サイズ文字、１／２解像度画像からは中サ
イズ文字、１／４解像度画像からは大サイズ文字という
ように抽出が行えるようになる。この各解像度画像から
の抽出結果を合成することで、画像中の文字領域が抽出
できる。

【００４２】例えば、図１５の（ａ）は抽出処理の対象
となる原画像であり、文字８０〜８２、写真８３の４つ
の要素で構成されている。図中のマス目は、８×８サイ
ズのブロック境界を表わすもので、説明の都合で示した
ものであり、実際の画像としては表示されていない。文
字８０はタイトル文字で３×３ブロック分の大きさ（縦
横それぞれ１６〜２４ドットの大きさ）である。また、
文字８１は２×２ブロック分の大きさ（縦横それぞれ８
〜１６ドット）で構成される。文字８２は文書中の標準
外形文字であり、ブロック１つ分の大きさ（〜８ドッ
ト）である。図１５の（ｂ）は、図１５の（ａ）の画像
の解像度を１／２に変換した画像であり、図１５の
（ｃ）は１／４に変換した画像である。図１５の
（ｂ）、（ｃ）においても、図中のマス目は８×８サイ
ズのブロック境界を表わしている。

【００４３】以上のような画像から文字領域を抽出する
と、図１５の（ａ）からは文字８２を含む領域が、
（ｂ）からは文字８１を含む領域が、（ｃ）からは文字
８０を含む領域が抽出されることになる。

【００４４】また、上記処理の結果、図１６に示すよう
に文字領域８４、８５、８６が抽出されるが、文字領域
８６には、図１７に示すように過剰抽出ブロック（領域
８７内のブロック）が含まれている。本実施形態では、
更にこのような過剰抽出ブロックを除去して、文字領域
の抽出率を向上する。以下に、本実施形態の特徴的な処
理を詳細に説明する。

【００４５】＜文字抽出処理の説明（図３）＞図３は、
画像領域検出部１６を用いたＣＰＵ１の処理の流れを示
すフローチャートである。以下、同図を用いて文字領域
抽出処理の説明を行なう。

【００４６】本実施形態では、原画像から１／ｎ解像度
の画像を作成し、ＤＣＴ変換した係数の分布から候補領
域を抽出する。次に、候補領域を小ブロックに分割し、
小ブロック単位で文字属性を持つか判定する。ここでの
判定方法は、候補領域の主要な色相を検出して、小ブロ
ックが主要色相を含むか否かで判定するものである。以
上の処理を、解像度を変換した全画像について繰り返し
実行する。本実施形態では、原画像から１／２画像、１
／４画像を作成し、この３枚から文字領域の抽出を行な
うものとする。続いて、各解像度画像の抽出結果の重複
部分（過剰抽出されたブロック）を整理した文字抽出画
像を作成し、出力を行なう。

【００４７】図３において、ステップＳ１００では、メ
モリ部３やＨＤＤ４から画像データの読み込みを行な
う。続くステップＳ１０１では、解像度変換部２０を用
いて、１／ｎに解像度変換した画像を作成する。ステッ
プＳ１０２では一画面演算部２９を用いて、１／ｎ解像
度の画像に対する候補領域の抽出処理を行なう。ステッ
プＳ１０３では、後述する小領域属性判定処理に従っ
て、候補領域を小ブロック分割して属性判定を行ない、
その結果を判定結果格納部２６中に格納する。

【００４８】ステップＳ１０４では、設定された解像度
までの処理が終了したか判定し、肯定であればステップ
Ｓ１０５へ、否定であればステップＳ１０１へ進む。本
実施形態では、ｎを１、２、４に変化させてステップＳ
１０１〜ステップＳ１０３の処理を行うものとする。

【００４９】ステップＳ１０５では、判定結果格納部２
６の各解像度画像の結果を比較する重複領域判定を行な
う。ここでは、判定結果格納部２６に格納された各解像
度の画像の判定結果をブロック単位で順にスキャンす
る。このときに、いずれかの解像度画像で文字領域と判
定されていた場合は、出力ファイルの対応位置に文字領
域であることを記録する。全ブロックのスキャンが終了
したら、同処理を終了する。この結果、ステップＳ１０
３において文字領域と判定されなかった小領域が候補領
域より除去される。

【００５０】なお、出力ファイルは、ブロックごとの判
定結果のみを出力するものであってもよいし、文字領域
の画像のみを取り出した出力画像ファイルを作成しても
良い。ステップＳ１０６では、文字領域抽出した結果を
ＨＤＤ４などに出力して、処理を終了する。

【００５１】＜小領域属性判定処理の説明（図４〜図
７）＞以下では、図４〜図７を用いて小領域属性判定処
理の流れを説明する。この小領域属性判定処理により、
複数の解像度画像の候補領域中で、過剰抽出された部分
（文字を含まない部分）を除去するものである。

【００５２】処理の概要について説明すると、まず、判
定結果格納部２６に格納されているブロック毎の判定結
果に基づいて候補領域を統合し、原画像より統合領域を
抽出する。そして、抽出された統合領域内で使用されて
いる主要な色相を検出する。次に、候補領域を小ブロッ
クに分割し、各小ブロック単位が上記の主要色相を含む
かを判定する。ここで、主要色相を含む小ブロックは文
字領域であると判定され、その判定結果が判定結果格納
部２６に格納される。

【００５３】図４は小領域属性判定処理の全体の流れを
示すフローチャートである。ステップＳ１２０では、判
定結果格納部２６の記憶内容を検索して、隣接する候補
領域を統合する。領域統合の手法については公知のアル
ゴリズムが利用でき、ここではその説明を省略する。こ
れにより、一つの文字画像を構成する候補領域が一つの
統合領域に統合される。例えば、文字の大きさに比べて
粗いブロックサイズを用いるために隣接した文字はつな
がって検出される。この結果、文字列の場合は、当該文
字列中の全ての文字がつながった形で検出され、これを
統合領域という。一方、文字列と文字列との間にはある
程度の隙間があるために、この部分のブロックは検出さ
れない。従って、処理後の画像をみると、つながったブ
ロックがほぼ文字列の数だけ存在することになる。即
ち、一つの解像度画像につき、ほぼ含まれている文字列
の数だけ、統合領域が作成されることになる。

【００５４】ステップＳ１２１では、後述する色相検出
処理によって、候補領域に含まれる主要な色相の検出を
行なう。ステップＳ１２２では、候補領域を８×８画素
で構成される小ブロックに分割する。

【００５５】上述したように判定結果格納部２６では、
１／ｎの解像度の画像における８×８画素ブロック毎の
属性の判定結果をｎ×ｎ個の小ブロックに持たせてい
る。従って、各小ブロックは原画像の１ブロック（原画
像の８×８画素ブロック）に相当する。即ち、各解像度
の画像について行ったブロック単位の属性判定結果は、
原画像内の各ブロックに対応するように判定結果格納部
２６に格納される。

【００５６】ステップＳ１２３では、後述する小ブロッ
ク判定処理を行なって、各小ブロックが文字領域である
か否かを判定し、その判定結果を判定結果格納部２６に
記録する。ステップＳ１２４では、候補領域に含まれる
全小ブロックについて判定が終了したかを判定し、否定
であればステップＳ１２３へ進んで次の小ブロックの判
定を行なう。一方、ステップＳ１２４において全ての小
ブロックについて処理を終えたと判定されればステップ
Ｓ１２５へ進む。ステップＳ１２５では、処理中の解像
度画像に含まれる統合領域の処理が全て終了したか判定
し、肯定であれば処理を終了し、否定であればステップ
Ｓ１２１へ進んで次の統合領域の処理を行なう。

【００５７】次に、図５のフローチャートを用いて、上
述のステップＳ１２１における色相検出処理の流れを説
明する。一般に、文字画像は単一色で構成されることが
多く、候補領域内では文字色が最も高い頻度で出現する
と考えられる。従って、候補領域の色相度数テーブルを
作成し、最頻色を検出することで文字の色相が検出でき
る。

【００５８】まず、ステップＳ１４１では、候補領域の
色相度数テーブルを作成する。色相度数テーブルを作成
した例を図７に示す。色相度数テーブルは、ＵＶ成分の
値を分割してマトリクスにしたもので、各要素には対応
するＵＶ成分値をもつ画素の頻度数が格納される。同図
の例では、例えば、（Ｕ，Ｖ）＝（８．１）の画素が５
００画素、（５，４）が４００画素あることがわかる。

【００５９】図５のフローチャートに戻って、ステップ
Ｓ１４２では、色相度数テーブルを用いてブロック内の
色相を検出する。具体的には、色相度数テーブルを検索
して、度数の最も多い要素を検出する。図７の例では、
（８，１）の要素７１が最頻色として検出される。ステ
ップＳ１４３では、ステップＳ１４２の結果を、統合領
域の文字色として設定し、本処理を終了する。

【００６０】続いて、ステップＳ１２３における小ブロ
ック判定の処理を説明する。図６は小ブロック判定処理
の全体の流れを示すフローチャートである。ここでの処
理は、各小ブロックが文字色として設定された色相を含
むか比較し、各小ブロック毎に文字領域であるか否かを
判定する。

【００６１】ステップＳ１６０では、小ブロックの代表
色相の検出を行なう。本実施形態では、代表色相は、小
ブロックをＤＣＴ変換した結果の直流係数を用いる。こ
れは、小ブロック内の平均の色相を表すものである。

【００６２】ステップＳ１６１では、ブロックが文字色
の色相を含むか判定し、肯定であればステップＳ１６２
へ進み、否定であれば処理を終了する。ここで、小ブロ
ックの代表色はブロックの平均色相であり、そのブロッ
クが文字色を含んでいても、上で設定した文字色と完全
には一致しない。従って、ここでの判定では、ブロック
色相が、文字色の色相から一定の範囲内に入っているか
を判定する。ステップＳ１６２では、判定結果格納部２
６中の位置に当該ブロックが文字領域であることを記録
し、処理を終了する。本実施形態では、各小ブロックに
対して文字フラグをセットすることで、当該小ブロック
が文字領域であることを示す。

【００６３】以上の処理によって、低解像度の画像の候
補領域中で文字を含まない部分を除去することができ
る。なお、上述の実施形態中では、文字色を判定するの
に色相を用いたが、輝度を用いてもよい。また、色相の
検出方法として出現度数を積算する例を説明したが、こ
れに限られるものでもない。さらに、積算単位を画素単
位でなく、ブロックの平均色、代表色を用いるようにし
てもよい。また、ブロックが主要色相を含むかの判定
に、直流係数でなく、ブロック内の平均色、代表色を用
いるようにしてもよい。

【００６４】＜文字領域抽出の動作例（図８）＞次に、
文字領域抽出の動作例を図８を用いて説明する。図８に
は、本実施形態のＬ文字抽出処理を行った結果の画像例
を示す。

【００６５】図８の（ａ）は１／４解像度画像から検
出、抽出した候補領域である。同図においては、「大文
字！」と書かれたブロックが、３ブロック連続して検出
されている。これを小ブロックに分割したものが、図８
の（ｂ）である。図８の（ｂ）では、図８の（ａ）の１
ブロックが、１６個の小ブロックに分割されている。各
小ブロックの大きさは、原画像のブロックサイズと同じ
８×８画素である。図８の（ｂ）の各小ブロックに対し
て小領域属性判定処理を行った結果が図８の（ｃ）であ
る。

【００６６】図８の（ｃ）において、領域５３内の各小
ブロックは、主要色相を含んでおり、文字領域と判定さ
れている。一方の領域５２は、文字色相を含んでいない
ため、文字領域から排除されている。結果として、低解
像度画像の候補領域５０から、文字を含まない小領域５
２が排除され、文字画像を含む小領域５３のみが抽出結
果として出力されている。なお、例えば「大」という文
字の左側の３個の小ブロックには、大という文字がわず
かしかかかっていないので、主要色として文字色相を含
まない可能性がある。このような場合、文字の周辺のブ
ロックについてはドット単位で文字色相を有するか否か
を調べて、小ブロックが文字領域か否かを判定するよう
にしてもよい。

【００６７】以上、説明したように本実施形態によれ
ば、複数の解像度画像から抽出された候補領域を、原画
像のブロック単位である小領域に分割して属性判定する
ことで、候補領域中の文字を含まないブロックを削除す
ることができる。従って、文字外形の大きさに関らない
安定した領域切出しを行ないながら、文字領域の抽出率
を向上させることが可能となる。

【００６８】なお、本発明は、上述の実施形態に限られ
ることなく、幅広く応用することができる。例えば、本
実施形態では、直交変換の方法としてＤＣＴを使用した
例を説明したが、フーリエ変換やアダマール変換であっ
てもよい。また、像域パラメータ分離方式は、本実施形
態ではパラメータＬの値を計算して閾値と比較する方式
で説明したが、文字領域の特徴を検出する他の方式であ
ってももちろんよい。さらに、作成する画像の解像度と
階層数は、任意のものでよい。また、判定処理を行なう
ブロックサイズも任意のサイズでよい。

【００６９】［実施形態２］前述の実施形態１では、小
ブロックの判定条件として、統合領域内で使用頻度の多
い色相を用いた例について説明を行なった。本実施形態
２では、判定条件として、統合領域内で中央部に分布す
る色相を用いた例について説明する。これは、候補領域
を統合したときに、その中央部は文字画像を含む可能性
が高いことを利用するものである。

【００７０】本実施形態２における画像処理装置等の装
置全体構成、画像領域検出部１６の構成は、前述の実施
形態１で説明したもの（図１、図２）と同様であり、説
明を省略する。また、文字抽出処理（図３）、小領域判
定処理（図４）、小ブロック判定処理（図６）の流れ
も、前述の実施形態で説明したものと同様であるので、
説明を省略する。

【００７１】＜色相検出処理の説明（図９、図１０）＞
以下では、本実施形態２の色相検出処理の流れについて
説明する。文字候補領域を統合した場合に、その中央部
は文字画像を含む可能性が高い。本実施形態では、統合
領域内の位置によって画素の重み係数を変化させる。即
ち、結合領域の中央部の重み係数を大きく設定している
ので、色相度数テーブルに高い度数として加算されるこ
とになる。その後に、色相度数テーブルを用いて主要色
相の判定を行なう。

【００７２】図９は、重み付け係数の設定例を示す図で
ある。図９（ａ）は、候補領域を統合した例を示す。図
９（ｂ）は、統合領域内の位置による重み付け係数の例
である。この例では、統合領域の輪郭に接するブロック
が、係数「１」となり、内側に行くに従って係数が増加
する。なお、重み付け係数の設定は、本実施形態で説明
したもの以外であってももちろんよい。

【００７３】以下では、図１０のフローチャートを用い
て、色相検出処理の流れについて説明する。まず、ステ
ップＳ２４０では、候補領域の形状から色相の重み付け
テーブルを作成する。この内容は図９で説明したものと
同様である。ステップＳ２４１では、統合領域の画素を
読みだして、色相度数テーブルを作成する。色相度数テ
ーブルの構成は前述の実施形態１で説明したものと同様
である。このときに加算する値は、画素位置の重み付け
テーブルの数値を用いる。ステップＳ２４２からステッ
プＳ２４３は、前述の実施形態のステップＳ１４２から
ステップＳ１４３の処理と同様であり、ここでは説明を
省略する。

【００７４】以上のように処理を行なうことで、統合領
域の中央部に分布する色相を判定条件として用いること
が可能となる。

【００７５】以上、説明したように本実施形態２によれ
ば、前述した実施形態１と同様な効果を得ることができ
るとともに、結合領域の中央部の色相を用いるので、よ
り文字に対応した色相を獲得できる。

【００７６】［実施形態３］前述の実施形態１、２で
は、小ブロックの判定条件として、統合領域内の色相を
用いた例について説明を行なった。本実施形態３では、
候補領域内でエッジ検出を行ない、判定条件としてブロ
ックがエッジを含む度合を用いた例を説明する。画像中
の文字部分は、キャプション文字など、鋭いエッジを持
っている。本実施形態３ではこれを利用し、候補領域内
のエッジを検出することで、文字ブロックを抽出する。
キャプション文字とは、例えばテレビ等で、カメラ画像
上に合成されるテロップ文字が挙げられる。ニュース番
組等のヘッドライン、時刻表示がこれにあたる。

【００７７】本実施形態における画像処理装置の装置全
体構成、画像領域検出部１６の構成は、実施形態１で説
明したもの（図１、図２）と同様であり、説明を省略す
る。また、文字抽出処理（図３）の流れも、実施形態１
で説明したものと同様であるので、説明を省略する。

【００７８】＜小領域属性判定処理の説明（図１１、図
１２）＞図１１は実施形態３における小領域属性判定処
理の流れを示すフローチャートである。同図を用いて実
施形態３における小領域属性判定処理の動作を説明す
る。処理の概要を説明すると、まず、候補領域を小ブロ
ックに分割し、小ブロック毎にエッジ検出して文字領域
か判定する。以上の処理を、候補領域内の全ての小ブロ
ックが終了するまで繰り返す、という動作を行なう。

【００７９】図中、ステップＳ３２２では、書く解像度
の画像より抽出された候補領域を８×８画素で構成され
る小ブロックに分割する。ステップＳ３２３では、後述
する小ブロック判定処理を行なって、各小ブロックが文
字領域であるか判定し、判定結果を判定結果格納部２６
に記録する。ステップＳ３２４では、候補領域に含まれ
る小ブロックの判定が全て終了したか判定し、否定であ
ればステップＳ３２３へ進んで次の小ブロックの判定を
行なう。一方、ステップＳ３２４において全ての小ブロ
ックについて処理を終えていればステップＳ３２５に進
む。ステップＳ３２５では、処理中の解像度画像に含ま
れる統合領域の処理が全て終了したか判定し、肯定であ
れば処理を終了し、否定であればステップＳ３２２へ戻
って次の統合領域の処理を行なう。

【００８０】続いて、小ブロック毎の判定処理（ステッ
プＳ３２３の処理）について説明する。図１２は小ブロ
ック判定処理の全体の流れを示すフローチャートであ
る。本実施形態の小ブロック判定処理では、各小ブロッ
クのエッジ検出を行ない、エッジを構成する画素数を閾
値と比較して、文字領域であるか判定する処理を行な
う。

【００８１】ステップＳ３６０では、小ブロック内のエ
ッジ検出を行なう。エッジ検出の方法は、公知の技術を
利用することができ、ここでの説明は省略する。ステッ
プＳ３６１では、小ブロック内でエッジを構成している
画素数を算出する。ステップＳ３６２では、エッジを構
成する画素数が閾値より大きいか比較し、肯定でされば
ステップＳ３６３へ進み、否定であれば処理を終了す
る。ステップＳ３６３では、判定結果格納部２６に当該
ブロックが文字領域であることを記録し、本処理を終了
する。

【００８２】以上、説明したように本実施形態３によれ
ば、前述した実施形態と全く同様な効果を得ることがで
きる。さらに、本実施形態の処理は色相情報を用いない
ため、白黒画像からの抽出も可能となるという効果があ
る。

【００８３】以上のように、上記実施形態によれば、複
数の解像度画像で抽出された候補領域を小領域（元の解
像度の画像におけるブロック）に分割して属性判定をす
るので、候補領域周辺部の文字画像を含まない部分（過
剰抽出ブロック）を削除することができる。従って、文
字外形の大きさに関らない安定した領域切出しを行ない
ながら、文字領域の抽出率を向上させることができる、
という効果がある。

【００８４】なお、上記実施形態では、候補領域として
文字領域を抽出するが、他の属性の候補領域であっても
良い。

【００８５】上記装置の機能もしくは方法の機能によっ
て達成される本発明の目的は、前述の実施形態のプログ
ラムを記憶させた記憶媒体によっても達成できる。例え
ば、図１の装置において、フロッピーディスク等の記憶
媒体を装着し、ＦＤＤ６、ＦＤＤ制御部５によって該フ
ロッピーディスクによりプログラムをメモリ部３にロー
ドし、ＣＰＵ１によって実行させる。この場合、その記
憶媒体から読み出したプログラム自体が本発明の新規な
機能を達成することになる。このための、本発明にかか
るプログラムの構造的特徴は、図１８に示す通りであ
る。

【００８６】図１８の（ａ）は、本実施形態のプログラ
ムを実行することによって実現される処理の手順を表す
図である。１８１は変換処理であり、原画像を複数種類
の解像度の画像に変換する。本処理には図３のステップ
Ｓ１０１が相当する。１８２は抽出処理であり、前記複
数種類の解像度の画像の各々について、所定画素数を含
むブロック毎に特徴量を求め、所定の属性を有する領域
を抽出する。また、１８３は分割処理であり、前記原画
像上において抽出処理１８２で抽出された領域に相当す
る領域を候補領域とし、該候補領域を小ブロックに分割
する。１８４は判定処理であり、前記小ブロックのそれ
ぞれが前記所定の属性を有するか否かを判定する。

【００８７】以上の抽出処理１８２、分割処理１８３、
判定処理１８４には、図３のステップＳ１０２、Ｓ１０
３が相当している。

【００８８】また、１８５は決定処理であり、判定処理
１８４工程において前記所定の属性を有していないと判
定された小ブロックを前記候補領域より除去して候補領
域を決定する。本処理には、図３のステップＳ１０５が
相当する。

【００８９】図１８の（ｂ）は、本実施形態の記憶媒体
（例えばフロッピーディスク、ＣＤ−ＲＯＭ等いかなる
媒体でもよい）におけるメモリマップを表す図である。
変換処理モジュール１８１’、抽出処理モジュール１８
２’、分割処理モジュール１８３’、判定処理モジュー
ル１８４’、決定処理モジュール１８５’のそれぞれ
は、変換処理１８１、抽出処理１８２、分割処理１８
３、判定処理１８４、決定処理１８５を実行するための
プログラムモジュールである。

【００９０】また、本発明は、複数の機器から構成され
るシステムに適用しても、１つの機器からなる装置に適
用してもよい。また、本発明はシステム或は装置にプロ
グラムを供給することによって達成される場合にも適用
できることは言うまでもない。この場合、本発明に係る
プログラムを格納した記憶媒体が、本発明を構成するこ
とになる。そして、該記憶媒体からそのプログラムをシ
ステム或は装置に読み出すことによって、そのシステム
或は装置が、予め定められた仕方で動作する。

【００９１】

【発明の効果】以上、説明したように本発明によれば、
文字の大きさに関らない安定した領域切り出しを行うと
ともに、文字領域の抽出率を向上させることが可能とな
る。

【００９２】

【図面の簡単な説明】

【図１】本実施形態の画像処理装置の概略構成を示すブ
ロック図である。

【図２】本実施形態の画像領域検出部の構成を表すブロ
ック図である。

【図３】画像領域検出部１６を用いたＣＰＵ１の処理の
流れを示すフローチャートである。

【図４】小領域属性判定処理の全体の流れを示すフロー
チャートである。

【図５】色相検出処理の流れを説明するフローチャート
である。

【図６】小ブロック判定処理の全体の流れを示すフロー
チャートである。

【図７】色相度数テーブルを作成した例を示す図であ
る。

【図８】は、本実施形態のＬ文字抽出処理を行った結果
の画像例を示す図である。

【図９】重み付け係数の設定例を示す図である。

【図１０】実施形態２における色相検出処理の流れを説
明するフローチャートである。

【図１１】実施形態３における小領域属性判定処理の流
れを示すフローチャートである。

【図１２】小ブロック判定処理の全体の流れを示すフロ
ーチャートである。

【図１３】従来技術におけるジグザグスキャン処理の順
序を説明する図である。

【図１４】従来技術における係数の積算領域を説明する
図である。

【図１５】解像度変換画像の例を示す図である。

【図１６】文字抽出処理結果の例を説明する図である。

【図１７】誤抽出領域の例を説明する図である。

【図１８】本実施の形態の制御を実現するための制御プ
ログラムを格納した記憶媒体の構成を説明する図であ
る。

【符号の説明】

１ ＣＰＵ ２ 周辺コントローラ ３ メモリ部 ４ ハードディスクドライブ ５ ＦＤＤ制御部 ６ ＦＤＤドライブ ７ キーボード制御部 ８ キーボード ９ 表示ユニット １０ 表示制御部 １１ ＶＲＡＭ １２ 液晶ディスプレイ １３ 通信ユニット １４ 通信制御部 １５ 通信インターフェース １６ 画像領域検出部 ２０ 解像度変換部 ２２ ブロック分割部 ２３ ＤＣＴ変換部 ２４ 係数演算部 ２５ 属性判定部 ２６ 判定結果格納部 ２８ ブロック演算部 ２９ 位置画面演算部

Claims (17)

【特許請求の範囲】
1. 【請求項１】 原画像を複数種類の解像度の画像に変換
   する変換手段と、 前記複数種類の解像度の画像の各々について、所定画素
   数を含むブロック毎に特徴量を求め、所定の属性を有す
   る領域を抽出する抽出手段と、 前記原画像上において前記抽出手段で抽出された領域に
   相当する領域を候補領域とし、該候補領域を小ブロック
   に分割する分割手段と、 前記小ブロックのそれぞれが前記所定の属性を有するか
   否かを判定する判定手段と、 前記判定手段において前記所定の属性を有していないと
   判定された小ブロックを前記候補領域より除去して候補
   領域を決定する決定手段とを備えることを特徴とする画
   像処理装置。
2. 【請求項２】 前記所定の属性を有する領域は文字画像
   を含む領域であることを特徴とする請求項１に記載の画
   像処理装置。
3. 【請求項３】 前記判定手段は、前記候補領域の主要な
   色相を検出し、該主要な色相が前記小ブロックに含まれ
   る度合に基づいて、該小ブロックが前記所定の属性を有
   するか否かを判定することを特徴とする、請求項１また
   は２に記載の画像処理装置。
4. 【請求項４】 前記判定手段は、前記候補領域の中央部
   にある色相が前記小領域に含まれる度合に基づいて、該
   小ブロックが前記所定の属性を有するか否かを判定する
   ことを特徴とする、請求項１または２に記載の画像処理
   装置。
5. 【請求項５】 前記判定手段は、前記小ブロック毎に輪
   郭検出を行なって、輪郭を含む度合に基づいて該小ブロ
   ックが前記所定の属性を有するか否かを判定することを
   特徴とする、請求項１または２に記載の画像処理装置。
6. 【請求項６】 前記分割手段は、前記原画像に対して１
   ／ｎの解像度を有する画像から抽出された候補領域のブ
   ロックをｎ×ｎ個の小ブロックに分割することを特徴と
   する請求項１に記載の画像処理装置。
7. 【請求項７】 原画像の１／ｎの解像度の画像より、前
   記抽出手段によって抽出された領域に含まれる各ブロッ
   クの属性の判定値を、ｎ×ｎ個の小ブロックのデータと
   して記憶する記憶手段を更に備えることを特徴とする請
   求項６に記載の画像処理装置。
8. 【請求項８】 前記抽出手段は、前記複数種類の解像度
   の画像の各々について、所定画素数を含むブロック毎に
   直交変換を行い、直交変換画像から特徴量を計算して所
   定の属性を有するブロックを検出し、該検出結果に基づ
   いて所定の属性を有する領域を抽出することを特徴とす
   る請求項１に記載の画像処理装置。
9. 【請求項９】 原画像を複数種類の解像度の画像に変換
   する変換工程と、 前記複数種類の解像度の画像の各々について、所定画素
   数を含むブロック毎に特徴量を求め、所定の属性を有す
   る領域を抽出する抽出工程と、 前記原画像上において前記抽出工程で抽出された領域に
   相当する領域を候補領域とし、該候補領域を小ブロック
   に分割する分割工程と、 前記小ブロックのそれぞれが前記所定の属性を有するか
   否かを判定する判定工程と、 前記判定工程において前記所定の属性を有していないと
   判定された小ブロックを前記候補領域より除去して候補
   領域を決定する決定工程とを備えることを特徴とする画
   像処理方法。
10. 【請求項１０】 前記所定の属性を有する領域は文字画
    像を含む領域であることを特徴とする請求項９に記載の
    画像処理方法。
11. 【請求項１１】 前記判定工程は、前記候補領域の主要
    な色相を検出し、該主要な色相が前記小ブロックに含ま
    れる度合に基づいて、該小ブロックが前記所定の属性を
    有するか否かを判定することを特徴とする、請求項９ま
    たは１０に記載の画像処理方法。
12. 【請求項１２】 前記判定工程は、前記候補領域の中央
    部にある色相が前記小領域に含まれる度合に基づいて、
    該小ブロックが前記所定の属性を有するか否かを判定す
    ることを特徴とする、請求項９または１０に記載の画像
    処理方法。
13. 【請求項１３】 前記判定工程は、前記小ブロック毎に
    輪郭検出を行なって、輪郭を含む度合に基づいて該小ブ
    ロックが前記所定の属性を有するか否かを判定すること
    を特徴とする、請求項９または１０に記載の画像処理方
    法。
14. 【請求項１４】 前記分割工程は、前記原画像に対して
    １／ｎの解像度を有する画像から抽出された候補領域の
    ブロックをｎ×ｎ個の小ブロックに分割することを特徴
    とする請求項９に記載の画像処理方法。
15. 【請求項１５】 原画像の１／ｎの解像度の画像より、
    前記抽出工程によって抽出された領域に含まれる各ブロ
    ックの属性の判定値を、ｎ×ｎ個の小ブロックのデータ
    として記憶する記憶工程を更に備えることを特徴とする
    請求項１４に記載の画像処理方法。
16. 【請求項１６】 前記抽出工程は、前記複数種類の解像
    度の画像の各々について、所定画素数を含むブロック毎
    に直交変換を行い、直交変換画像から特徴量を計算して
    所定の属性を有するブロックを検出し、該検出結果に基
    づいて所定の属性を有する領域を抽出することを特徴と
    する請求項９に記載の画像処理方法。
17. 【請求項１７】 メモリ媒体から所定のプログラムを読
    みこんでコンピュータを制御するコンピュータ制御装置
    であって、前記メモリ媒体は、 原画像を複数種類の解像度の画像に変換する変換工程の
    手順コードと、 前記複数種類の解像度の画像の各々について、所定画素
    数を含むブロック毎に特徴量を求め、所定の属性を有す
    る領域を抽出する抽出工程の手順コードと、 前記原画像上において前記抽出工程で抽出された領域に
    相当する領域を候補領域とし、該候補領域を小ブロック
    に分割する分割工程の手順コードと、 前記小ブロックのそれぞれが前記所定の属性を有するか
    否かを判定する判定工程の手順コードと、 前記判定工程において前記所定の属性を有していないと
    判定された小ブロックを前記候補領域より除去して候補
    領域を決定する決定工程の手順コードとを備えることを
    特徴とするコンピュータ制御装置。