JP3774498B2

JP3774498B2 - 画像処理方法とその装置

Info

Publication number: JP3774498B2
Application number: JP00053096A
Authority: JP
Inventors: 一弘松林; 伸一砂川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-08
Filing date: 1996-01-08
Publication date: 2006-05-17
Anticipated expiration: 2016-01-08
Also published as: JPH09186861A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法とその装置、特に、画像から文字領域を抽出する画像処理方法とその装置に関する。
【０００２】
【従来の技術】
従来、画像から文字領域を抽出する装置として、画像をたとえば８×８画素で構成されるブロックに分割し、各ブロックごとにＤＣＴ（離散コサイン変換）処理を行ない、文字領域と他の領域との空間周波数成分の特徴の違いによって、文字領域を抽出するものが知られている。
【０００３】
一般に、文字画像は非文字画像に比べて、輝度成分ＹにおけるＤＣＴ係数の低周波領域の値の絶対値が大きい傾向がある。画像電子学会誌第２０巻５号の「適応的量子化を用いたＤＣＴ符号化法」によると、各ブロックごとに、図１に示すように、低周波領域の特定のＤＣＴ係数について絶対値の和を求め、文字らしさを表す点数とし、点数が所定の閾値より大きければ文字画像ブロック、そうでなければ非文字画像ブロックと判定する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の文字抽出装置においては、画像の空間周波数成分のみに基づいて文字抽出を行なうため、文字と同程度の空間周波数をもつ背景パターンを文字として誤抽出してしまうという問題点があった。
本発明の目的は、上記問題点を解決し、文字画像を良好に抽出することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理方法は以下の工程を備える。即ち、
画像に対して所定サイズのブロックごとに直交変換を行うことによって得られる各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から文字領域の候補となると判定された候補ブロックを分類する文字候補ブロック分類工程と、
前記文字候補ブロック分類工程で分類された候補ブロックの周囲に存在する複数の周囲ブロックを抽出する周囲ブロック抽出工程と、
前記周囲ブロック抽出工程で抽出された周囲ブロックに関して、各周囲ブロックのＡＣ成分が所定の閾値より小さく、且つ、各周囲ブロックのＤＣ成分が互いにほぼ等しい場合、前記文字候補ブロック分類工程で分類された候補ブロックが文字領域であると判定し、そうでない場合には前記文字候補ブロック分類工程で分類された候補ブロックは文字領域でないと判定する判定工程と、
を備えることを特徴とする。
【０００６】
また別の発明は、
画像に対して所定サイズのブロックごとに直交変換を行うことによって得られる各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から文字領域の候補となると判定された候補ブロックを分類する文字候補ブロック分類手段と、
前記文字候補ブロック分類手段で分類された候補ブロックの周囲に存在する複数の周囲ブロックを抽出する周囲ブロック抽出手段と、
前記周囲ブロック抽出手段で抽出された周囲ブロックに関して、各周囲ブロックのＡＣ成分が所定の閾値より小さく、且つ、各周囲ブロックのＤＣ成分が互いにほぼ等しい場合、前記文字候補ブロック分類手段で分類された候補ブロックが文字領域であると判定し、そうでない場合には前記文字候補ブロック分類手段で分類された候補ブロックは文字領域でないと判定する判定手段とを備えることを特徴とする。
【０００８】
【発明の実施の形態】
はじめに、本発明の実施の形態の画像処理方法とその装置のポイントを要約した後に、その詳細な説明に入るものとする。
本発明の実施の形態の画像処理方法とその装置は、画像から文字領域の候補を抽出し、該領域の周囲の領域を抽出し、該周囲の領域の色が単一色とみなせるかどうかを判定する。これにより、該周囲の領域の色が単一色とみなせれば、もとの領域は文字領域であると判定する。
【０００９】
以下、本発明の実施の形態の画像処理方法とその装置の詳細な説明を行う。
（第１の実施の形態）
本実施の形態では、まず画像を８×８画素のブロックに分け、各ブロックの空間周波数成分の特徴に基づき、文字画像の候補となるブロックを求め、さらに候補となったブロックの周辺のブロックの色が単一色と見なせるかどうかによって文字画像かどうかを判断する。
【００１０】
一般に、文字の周辺は、文字を見やすくするために無地になっているのが普通である。一方、文字でない背景パターンの場合は、周辺が無地であるという傾向をもたない。
【００１１】
画像の空間周波数成分を得るためには、画像データにＤＣＴ処理を行なう方法と、すでにＤＣＴを用いて圧縮された画像データを利用する方法とがある。本実施の形態では、後者について説明するが、前者の方法によってもよいことは言うまでもない。
ＤＣＴを用いた画像圧縮方法として、ＪＰＥＧやＭＰＥＧなどのアルゴリズムが知られている。符号化は、図２で示すように、画像入力、ＤＣＴ、量子化、可変長符号化の順で行なわれ、復号化は図３に示すように、圧縮画像入力、可変長復号化、逆量子化、逆ＤＣＴの順で行われる。逆量子化が終了した段階では、各ブロックごとの空間周波数成分が得られる。カラー画像においては、輝度成分Ｙ，色差成分Ｃｂ，Ｃｒの各成分ごとに空間周波数成分が得られる。
【００１２】
図４は、本発明の第１の実施の形態の文字抽出装置のハードウェアブロック図である。
２１は、圧縮された画像データを記憶するためのハードディスク、２２は、画像や情報を表示するカラー液晶表示器、２３は画像演算を行なうための演算部、２４は処理途中のデータなどを記憶するためのＲＡＭ（ランダムアクセスメモリ）、２５はプログラムに基づいて処理を行なう制御部（ＣＰＵ）である。
【００１３】
図５は、本発明の第１の実施の形態の文字抽出装置の処理手順を示すブロック図である。ここでの基本的な動作について、図６のフローチャートを用いて説明する。
まず、ステップＳ５０１では、圧縮画像入力部１によって入力された圧縮画像データを、可変長復号化部２によって、可変長符号化部３４と逆手順によって復号化する。
【００１４】
ステップＳ５０２では、逆量子化部３によって、量子化部３３と逆手順によって逆量子化することにより、各ブロックごとのＤＣＴ係数を求める。
ステップＳ５０３では、文字画像候補抽出部４によって、各ブロックを、文字画像候補ブロックと非文字画像ブロックとに分類し、分類結果を属性記憶部５へ出力する。
【００１５】
文字画像候補ブロックは、文字画像ブロックを含むが、文字と同程度の空間周波数をもつ背景パターンのブロックも含む場合がある。そこで、さらにステップＳ５０４において、各文字画像候補ブロックについて、文字画像ブロック、非文字画像ブロックに分類し、分類結果を属性記憶部５へ出力する。
次に、ステップＳ５０３の処理について、図７のフローチャートを用いて詳しく説明する。
【００１６】
ステップＳ６０１では、輝度成分Ｙに対するＤＣＴ係数の分布に基づき、文字らしさを点数化する。一般に、文字画像は非文字画像に比べて、ＤＣＴ係数の低周波領域の値の絶対値が大きい傾向がある。そこで、各ブロックごとに、図１に示す特定のＤＣＴ係数について絶対値の和を求め、文字らしさを表す点数とする。ステップＳ６０２では、前記点数が所定の閾値より大きいかどうか判定し、大きければステップＳ６０３へ進み、文字画像候補ブロックという属性を出力する。そうでなければ、ステップＳ６０４へ進み、非文字画像ブロックという属性を出力する。
【００１７】
次に、ステップＳ５０４の処理について、図７のフローチャートを用いて詳しく説明する。
ステップＳ７０１では、図９に示すように連結された文字画像候補ブロックで構成される領域１２１に対して、それを囲むブロックで構成される領域１２２に着目し、以下の処理を行なう。
【００１８】
ステップＳ７０２では、領域１２２の各ブロックＡＣ（交流）成分がすべて小さければステップＳ７０３へ進み、そうでなければステップＳ７０５へ進む。
ブロックＡＣ成分は、ブロック内の輝度や色の変化を表わすので、図１０Ａ、図１０Ｂ、図１０Ｃのようにブロック内のＡＣ成分が所定の閾値より小さければ、ブロック内が単一色であるとみなせる。
【００１９】
なお、図１０Ａ、図１０Ｂ、図１０Ｃ各の横軸は本来、水平周波数０〜７、垂直周波数０〜７の二次元で表すべきものであるが、便宜上、一次元で表わしている。
ステップＳ７０３において、領域１２２の各ブロックのＤＣ（直流）成分が領域１２２の全ブロックについてほぼ等しければ、ステップＳ７０４へ進み、そうでなければＳ７０５へ進む。ほぼ等しいかどうかは、値の分散が所定の閾値より小さいかどうかで判定できる。ブロックのＤＣ成分は、ブロック内の画素の輝度や色の平均を表すので、図１１Ａ、図１１Ｂ、図１１Ｃに示すように領域１２２の全ブロックについてほぼ等しければ、領域１２２内の全ブロックは同一色で構成されるとみなせる。
【００２０】
ステップＳ７０４において、ブロック内が単一色であり、しかも全ブロックが同一色であるので、領域１２２は単一色で構成されている。したがって、文字候補領域１２１は文字と判定することができる。
他方、ステップＳ７０５においては、文字でないと判定する。
本実施の形態では、文字画像候補の抽出（ステップＳ５０３）、及び候補に対する判定（ステップＳ５０４）のいずれも空間周波数成分の特徴を利用するため処理を共通にでき、コストや処理速度が増大することがなく、抽出の正解率を向上させることができるという特有の効果がある。
（第２の実施の形態）
周辺ブロックが単一色かどうかを判定する方法として、第１の実施の形態では空間周波数成分を用いたが、第２の実施の形態では、画素の色の値を直接調べることで判定する方法を提供する。
【００２１】
図１２Ａ、図１２Ｂ、図１２Ｃで示すように、図９の領域１２２内の全画素に対するＲＧＢ値の分散が所定の閾値より小さいかどうかによって、単一色であるかどうかを判定できる。
この方法では、周辺の領域をブロック単位でなく、自由な形に設定してよい。たとえば、文字候補領域１２１の周辺ｎ画素ずつを用いるとすると、ｎの値を目的の画像に合わせて調整することで、よりきめ細かな抽出をおこなうことができる。
【００２２】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００２３】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００２４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００２５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００２６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１３のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも、圧縮画像を入力する「圧縮画像入力モジュール」、入力した圧縮画像を可変長復号化する「可変長復号化処理モジュール」、復号化された画像を逆量子化する「逆量子化モジュール」、逆量子化された画像から文字候補領域を抽出する「文字画像候補抽出モジュール」、その周辺領域の色を抽出する「周辺色抽出モジュール」、その周辺色に基づいて、文字画像領域を決定する「文字画像判定モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。尚、上述の各モジュールは、図５の各処理ブロックでの各ユニットに対応する。
【００２７】
以上述べたように、画像から文字領域の候補を抽出し、該領域の周囲の領域を抽出し、該周囲の領域の色が単一とみなせるかどうかを判定して、該周囲の領域の色が単一色とみなせれば、もとの領域は文字領域であると判定することで、文字画像を良好に抽出することができる。
【００２８】
【発明の効果】
以上説明したように本発明によれば、文字画像を良好に抽出することができる。
【図面の簡単な説明】
【図１】文字らしさの点数を求めるための、特定のＤＣＴ係数の位置を示した図である。
【図２】画像圧縮符号化処理のブロック図である。
【図３】画像圧縮複号化処理のブロック図である。
【図４】本発明の第１の実施の形態の文字抽出装置のハードウェアブロック図である。
【図５】本発明の第１の実施の形態の文字抽出装置の処理概念を示すブロック図である。
【図６】本発明の第１の実施の形態の文字抽出装置の基本的な動作を示したフローチャートである。
【図７】ステップＳ５０３の文字画像候補、非文字画像に分類する処理を示したフローチャートである。
【図８】文字画像候補を文字画像または非文字画像に分類する処理を示したフローチャートである。
【図９】ある文字列における、おける文字候補領域と周辺領域の例を示す図である。
【図１０Ａ】ブロック内のＡＣ成分の分布を示したグラフである。
【図１０Ｂ】ブロック内のＡＣ成分の分布を示したグラフである。
【図１０Ｃ】ブロック内のＡＣ成分の分布を示したグラフである。
【図１１Ａ】各ブロックのＤＣ成分の分布を示したグラフである。
【図１１Ｂ】各ブロックのＤＣ成分の分布を示したグラフである。
【図１１Ｃ】各ブロックのＤＣ成分の分布を示したグラフである。
【図１２Ａ】周辺領域の画素の値の分布を示したグラフである。
【図１２Ｂ】周辺領域の画素の値の分布を示したグラフである。
【図１２Ｃ】周辺領域の画素の値の分布を示したグラフである。
【図１３】各処理モジュールのレイアウトの一例を示す図である。
【符号の説明】
１圧縮画像入力部
２可変長複合化部
３逆量子化部
４文字画像候補抽出部
５属性記憶部
６周辺色抽出部
７文字画像判定部

Claims

画像に対して所定サイズのブロックごとに直交変換を行うことによって得られる各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から文字領域の候補となると判定された候補ブロックを分類する文字候補ブロック分類工程と、
前記文字候補ブロック分類工程で分類された候補ブロックの周囲に存在する複数の周囲ブロックを抽出する周囲ブロック抽出工程と、
前記周囲ブロック抽出工程で抽出された周囲ブロックに関して、各周囲ブロックのＡＣ成分が所定の閾値より小さく、且つ、各周囲ブロックのＤＣ成分が互いにほぼ等しい場合、前記文字候補ブロック分類工程で分類された候補ブロックが文字領域であると判定し、そうでない場合には前記文字候補ブロック分類工程で分類された候補ブロックは文字領域でないと判定する判定工程と、
を備えることを特徴とする画像処理方法。
前記文字候補ブロック分類工程は、
前記画像を所定サイズのブロックに分割する分割工程と、
前記分割工程で分割されたブロックごとに所定の直交変換を行い、前記各ブロックの空間周波数分布を獲得する直交変換工程とを備え、
前記直交変換工程で得られた各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から前記文字領域の候補となる候補ブロックを分類することを特徴とする請求項１に記載の画像処理方法。
前記文字候補ブロック分類工程では、前記直交変換工程で得られた各ブロックに対する空間周波数分布について、低空間周波数領域のパワーが所定の閾値より大きいブロックを前記候補ブロックとして分類することを特徴とする請求項２に記載の画像処理方法。
画像に対して所定サイズのブロックごとに直交変換を行うことによって得られる各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から文字領域の候補となると判定された候補ブロックを分類する文字候補ブロック分類手段と、
前記文字候補ブロック分類手段で分類された候補ブロックの周囲に存在する複数の周囲ブロックを抽出する周囲ブロック抽出手段と、
前記周囲ブロック抽出手段で抽出された周囲ブロックに関して、各周囲ブロックのＡＣ成分が所定の閾値より小さく、且つ、各周囲ブロックのＤＣ成分が互いにほぼ等しい場合、前記文字候補ブロック分類手段で分類された候補ブロックが文字領域であると判定し、そうでない場合には前記文字候補ブロック分類手段で分類された候補ブロックは文字領域でないと判定する判定手段と、
を備えることを特徴とする画像処理装置。
前記文字候補ブロック分類手段は、
前記画像を所定サイズのブロックに分割する分割手段と、
前記分割手段で分割されたブロックごとに所定の直交変換を行い、前記各ブロックの空間周波数分布を獲得する直交変換手段とを備え、
前記直交変換手段で得られた各ブロックの空間周波数分布に基づいて、前記画像における複数のブロックの中から前記文字領域の候補となる候補ブロックを分類することを特徴とする請求項４に記載の画像処理装置。
前記文字候補ブロック分類手段は、前記直交変換手段で得られた各ブロックに対する空間周波数分布について、低空間周波数領域のパワーが所定の閾値より大きいブロックを前記候補ブロックとして分類することを特徴とする請求項５に記載の画像処理装置。