JP4029316B2 - 画像種別識別方法および装置と画像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像種別識別方法および装置と画像処理プログラムに関し、例えば文字や線描画された図形などの画像とそれ以外の画像の種類を識別する画像種別識別方法および装置と画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、コンピュータ用モニターはワープロソフトや表計算ソフトなどのコンピュータの画像だけではなく、テレビ放送されている映像を出力したり、ＤＶＤから再生した映像を出力できるようになってきている。このような用途に用いられるコンピュータ用モニターは、様々な表示画像毎に最適な画質で表示を行えるよにするための表示モードが用意されている。
【０００３】
例えば、このコンピュータ用モニターにコンピュータ上で用いられているワープロソフトや表計算ソフトなどのテキスト画像を表示するときにはノーマルモードで表示を行い、また同じコンピュータ用モニターでデジカメやスキャナなどで取り込んだ写真などの画像やテレビ放送されている映像やＤＶＤの映像を見るときは、実際の風景や人物などを撮影した自然画像を最適な画質で見ることができる高画質モードに切り替えて表示を行う。従来、この表示モードは、使用者が画像ソース毎に手動で表示モードを選択することにより、適切な画質で画像を表示できていた。
また、画像がテキスト画像なのか自然画像なのかを識別する手法としては、特開平６−２８４２８１号公報に開示された画像処理装置がある。
【０００４】
【発明が解決しようとする課題】
従来の画像出力装置の問題点は、表示モードの切り替えが煩雑であったことである。その理由は、従来のシステムでは表示モードの切り替えを表示画像に応じて使用者が手動で切り替えなければならなかったからである。表示モードを切り替えるには、モニターやプロジェクターなどを含む画像出力装置が、表示する画像の種類についてテキスト画像なのか自然画像なのかを識別しなければならない。しかし、従来の画像出力装置は画像種類を識別する機能を有していないという課題があった。
【０００５】
そこで、本発明の目的は、画像の種類を精度よく識別できる画像種別識別方法および装置と画像処理プログラムを提供することにある。
【０００６】
【課題を解決するための手段】
本発明に係る画像種別識別方法は、データ処理装置の画像種類識別手段が、時間的に連続する２つの画像の差分画像を求める差分画像作成ステップと、前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成ステップと、前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類ステップとを備えたことを特徴とする。
【００１０】
本発明に係る画像種別識別装置は、時間的に連続する２つの画像を画像記憶部へ記憶する記憶手段と、前記２つの画像の差分画像を求める差分画像作成手段と、前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成手段と、前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類手段とを備えたことを特徴とする。
【００１４】
本発明に係る画像処理プログラムは、コンピュータに画像の種類を識別させるための画像処理プログラムであって、時間的に連続する２つの画像を画像記憶部へ記憶する記憶手順と、前記２つの画像の差分画像を求める差分画像作成手順と、前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成手順と、前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類手順とを備えたことを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の一形態について説明する。
図１は、この発明の第１の実施の形態の画像種別識別方法が適用される画像出力装置の構成を示すブロック図である。この画像出力装置は、画像を入力する画像入力手段１と、プログラム制御により動作するデータ処理装置２と、画像を記憶する記憶装置３と、画像出力手段４とを含んでいる。
【００１９】
画像入力手段１は、画像の種類を識別するための画像を入力するためのものである。これは、ＤＶＤプレーヤやコンピュータ、ＴＶチューナ、ゲーム機器など様々な機器を用いることが出来る。画像出力手段４は、データ処理装置２から出力された画像をモニターやプロジェクターなどにより外部に出力する。
【００２０】
記憶装置３は、画像記憶部３１と画像特徴量記憶部３２とを備えている。画像記憶部３１は、画像入力手段１から入力された画像を記憶している。画像特徴量記憶部３２には、画像から抽出された特徴量が記憶される。この特徴量には画像のヒストグラムなどがある。
【００２１】
データ処理装置２は、画像特徴量抽出手段２１と画像種類識別手段２２と画質調整手段２３とを備えている。画像特徴量抽出手段２１は、画像記憶部３１に記憶されている画像から特徴量を抽出して画像特徴量記憶部３２に記憶させる。画像特徴量抽出手段２１で行われる処理は様々なものがあるが、例えば特徴量を画像のヒストグラムとしたときにはその特徴量は以下のようにして求められる。
先ず、画像記憶部３１に記憶されている画像を取り出す。次に画素のＲＧＢ値を示すＲ，Ｇ，Ｂと次式、Ｖ＝ｍａｘ（ Ｒ，ｍａｘ（Ｇ，Ｂ）)を用いて各画素の輝度値Ｖを求める。
【００２２】
このようにして求められた輝度値Ｖは０から２５５の値を取る。この輝度値Ｖに基づいて２５６階調を持つヒストグラムを作成する。これを特徴量として、画像特徴量記憶部３２に記憶して終了する。
【００２３】
画像種類識別手段２２は、画像特徴量記憶部３２に記憶されている画像の特徴量を読み込み、その特徴量に基づいて画像の種類を識別する。入力画像はこの画像種類識別手段により、（１）コンピュータ上で用いられているワープロソフトや表計算ソフトなどのテキスト画像、（２）デジカメやスキャナなどで取り込んだ写真などの画像やＴＶやＤＶＤの画像など、実際の風景や人物などを撮影した自然画像に識別される。例えば、画像入力手段１がＤＶＤプレーヤーであった場合は、特徴量から画像種類を識別し、入力画像の種類が自然画像であることを識別する。画像種類識別手段２２で行われる処理には画像ヒストグラムの内、しきい値以上の頻度を持つ階調数の数を用いるものや、ヒストグラムのエントロピーを用いるもの、あるいは時間的に隣接する２フレーム画像の差分画像のヒストグラムを用いる手法など様々な手法がある。
【００２４】
画像種類識別手段２２で行われる処理の例として、以下に３手法を示す。
第１の方法は、しきい値以上の頻度を持つ階調数を用いる手法である。第１の手法は、テキスト画像と自然画像とでそのヒストグラムの形状が異なることを利用して識別を行う。テキスト画像は図４(a)のようにある特定の階調の頻度が多くなる傾向があるのに対して、自然画像は図４(ｂ)のように全体的に頻度が分布する傾向がある。そのため、図５のようにあるしきい値より多い頻度を持つ階調数を数える事で、テキスト画像と自然画像を識別できる。図５の場合で言うと、階調数が所定値以下ならばテキスト画像、所定値より多ければ自然画像となる。
【００２５】
第２の方法は、ヒストグラムのエントロピーを用いる手法である。この第２の手法も、テキスト画像と自然画像とでそのヒストグラムの形状が異なることを利用して識別を行う。ヒストグラムのエントロピーＥは階調ｎの要素の頻度割合をＰｎとすると次式、Ｅ＝−ΣＰｎ×ｌｏｇ（Ｐｎ）で求められる。このエントロピーはヒストグラムの頻度が一箇所に集中するとその値は小さくなり、頻度が各階調値に広がって分布するとその値は大きくなる。このため、図４（ａ）のように集中的にヒストグラムが分布するとエントロピーが低くなり、図４（ｂ）のうにヒストグラムが分散して分布するとエントロピーが高くなるので、この値を利用してテキスト画像と自然画像を識別することが出来る。
【００２６】
第３の方法は、表示画像の時間的な差分画像を作成し、差分画像のヒストグラムを用いる手法である。ビデオカメラで撮影した自然画像は動きがあり、画面に新しい画像を表示するたびに少しずつ画像が異なっている。一方、テキスト画像は時間的に大きく変化することがあまりない。この性質を利用したのがこの第３の手法である。モニターなどでは、テキスト画像、自然画像に関わらず、毎秒６０枚ほどの画像を表示することにより画像を出力している。この画像の1枚1枚をフレーム画像と呼ぶとすると、この第３の手法では、先ず、連続するフレーム画像の差分画像を作成する。次に差分画像のヒストグラムを作成する。そして、このヒストグラムの内、あるしきい値より多い頻度を持つ階調数を計数する。入力画像がテキスト画像であると、画像の変化がほとんどないので、差分画像はほぼ一様になり、その結果、前記階調数の計数結果は小さくなる。一方、ビデオカメラで撮影した自然画像は画像の変化が大きいので、差分画像は一様ではなくなり、結果として、前記階調数の計数結果は多くなる。このことから、前記階調数の計数結果を用いることで画像の識別が可能となる。
【００２７】
以上説明した三つの手法は、入力画像がカラー画像やモノクロ画像のどちらであっても、手法を変えることなくテキスト画像と自然画像を識別することが出来る。これは、３手法が式（１）などにより算出した輝度ヒストグラムを用いるためである。輝度ヒストグラムは画像中の画素の輝度値に基づいて作成したヒストグラムである。入力画像がカラーであってもモノクロであっても、その輝度ヒストグラムの形状はテキスト画像、自然画像ともに類似している。そのため、これら三つの手法を改変することなく、画像識別を行うことが出来る。
また、これら三つの手法は、計算コストが低く、簡易に処理できるため、高速に画像識別を行うことが可能であるという利点もある。
【００２８】
画質調整手段２３は、画像種類識別手段２２から得られた識別結果を基に、画像記憶部３１から画像を取り込み、この画像の画質を調整する。例えば、画像種類識別手段２２で画像がテキスト画像と識別された場合は、画質調整手段２３はテキスト画像に適した画質に画像を改善する。一方、自然画像と識別された場合は、画質調整手段２３は自然画像に適した画質に画像を改善する。これは、例えば以下のように処理される。入力画像が自然画像と識別されたときは、その入力画像のコントラストを高め、彩度を強調し、鮮鋭度を高めることにより、入力画像の画質を改善する。一方、入力画像がテキスト画像と識別された場合は、入力画像に対して何の画像処理も施さず、そのままの画質で出力を行う。このようにすることにより、自然画の画質だけを改善できる。
【００２９】
次に、図１と図２のフローチャートを参照してこの第１の実施の形態の全体の動作について詳細に説明する。
先ず、初期設定として様々な変数を初期値化する（ステップＳ２０１）。続いて、画像入力手段１から画像を入力し、画像記憶部３１に画像を記憶する（ステップＳ２０２）。画像が記憶されると、画像特徴量抽出手段２１は入力された画像の特徴量を抽出し、画像特徴量記憶部３２に抽出した特徴量を記憶する（ステップＳ２０３）。次に、画像種類識別手段２２により画像より抽出された特徴量を画像特徴量記憶部３２から読み出し、この特徴量に基づき画像種類を識別する（ステップＳ２０４）。この画像種類の識別の手法は、前記第１の手法、第２の手法、第３の手法などがある。続いて、画質調整手段２３により、前記画像種類の識別結果に応じて入力画像の画質を調整する（ステップＳ２０５）。最後に、調整後の画像を外部に出力し、ステップＳ２０２に戻る（ステップＳ２０６）。
【００３０】
図３は、図１の画像種類識別手段２２が前記第１の手法により画像種類の識別を行うときの詳細な動作例を示すフローチャートである。先ず、図１の画像特徴量記憶部３２から特徴量であるヒストグラムを取り出す（ステップＳ６０１）。ここでは、このヒストグラムを入力画像から得られた輝度ヒストグラムと考える。次に、図６に示したように輝度ヒストグラムのうち、あらかじめ画像サイズごとに設定されている頻度しきい値を越える頻度を持つ階調数を計数する（ステップＳ６０２）。そして、前記計数した階調数があらかじめ設定されている計数値を超えるか否かを判定する（ステップＳ６０３）。この結果、超えた場合は自然画像と識別して処理を終了する（ステップＳ６０５）。また、超えなかった場合はテキスト画像と識別して処理を終了する（ステップＳ６０４）。
【００３１】
以上のように、この第１の実施の形態によれば、文字や線描画された図形の画像とそれ以外の画像とでは、画像サイズごとに設定されている頻度しきい値を越える頻度を持つ階調数の計数結果に差が生じるため、前記計数結果をもとに文字や線描画された図形の画像とそれ以外の画像とを高い信頼性で識別できる画像種別識別方法を提供できる効果がある。
【００３２】
また、この第１の実施の形態によれば、文字や線描画された図形の画像とそれ以外の画像とでは、ヒストグラムのエントロピーに明確な違いが現れるため、画像種類識別手段２２が前記第２の手法により画像種類の識別を行うことで、識別対象となっている画像の種類について、前記ヒストグラムのエントロピーの値をもとに高い信頼性で識別できる画像種別識別方法を提供できる効果がある。
【００３３】
また、この第１の実施の形態によれば、連続する２つの画像の差分画像の画像データから得られた階調数についてのヒストグラムにおいて、文字や線描画された図形の画像とそれ以外の画像とでは、所定の頻度を超える階調数の計数結果には明確な違いが現れるため、画像種類識別手段２２が前記第３の手法により画像種類の識別を行うことで、前記識別対象となっている画像の種類を前記所定の頻度を超える階調数の計数結果をもとに高い信頼性で識別できる画像種別識別方法を提供できる効果がある。
【００３４】
また、入力された画像が文字や線描画された図形などの画像であるか、またはそれ以外の画像であるかなど、ヒストグラムのエントロピーの値にもとづき識別した前記画像の種類に応じて、画質の調整を自動的に行える画像出力装置を提供できる効果がある。
【００３５】
また、入力された画像が文字や線描画された図形などの画像であるか、またはそれ以外の画像であるかなど、連続する２つの画像の差分画像の画像データから得られたヒストグラムの所定の頻度以上の階調数の計数結果にもとづき前記画像の種類を識別し、その識別結果に応じてその画質の調整を自動的に行える画像出力装置を提供できる効果がある。
【００３６】
また、入力された画像がカラー画像であるかモノクロ画像であるかにかかわらず前記画像の種類を識別でき、その識別結果に応じてその画質の調整を自動的に行える画像出力装置を提供できる効果がある。
【００３７】
また、計算コストのかからない手法により画像識別を行うため、高速で画像の種類を識別でき、その識別結果に応じてその画質の調整を自動的に行える画像出力装置を提供できる効果がある。
【００３８】
次に、本発明の第２の実施の形態である画像処理プログラムを記憶した記憶媒体について説明する。
図６は、この第２の実施の形態による画像出力装置の構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付し説明を省略する。この画像出力装置は、画像入力手段１、データ処理装置２、記憶装置３、画像出力手段４を備え、さらに、画像処理プログラム４１を記憶した記憶媒体６を備える。この記憶媒体６は磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭその他の記憶媒体であってよい。前記画像処理プログラム４１は記憶媒体６からデータ処理装置２に読み込まれ、データ処理装置２の動作を制御し、記憶装置３に画像記憶部３１、画像特徴量記憶部３２を生成する。データ処理装置２は前記画像処理プログラム４１の制御により上述の第1の実施の形態におけるデータ処理装置による処理と同一の処理を実行する。
【００３９】
この画像処理プログラム４１は、前記前記第１の実施の形態で説明した第２の手法が適用される場合には、図７のフローチャートに示すように、画像種類について識別対象となっている画像の画像データを取り込み（ステップＳ７０１）、前記取り込んだ画像の画像データを画像記憶部３１へ保存し（ステップＳ７０２）、前記保存した画像データから階調数についてのヒストグラムを生成し（ステップＳ７０３，第１の手順）、前記生成した前記ヒストグラムを画像特徴量記憶部３２へ保存し（ステップＳ７０４）、前記保存したヒストグラムについてそのエントロピーを求め（ステップＳ７０５，第２の手順）、さらに前記エントロピーの値にもとづいて画像の種類を識別する（ステップＳ７０６，第３の手順）。この場合、例えば文字や線描画された図形などの画像とそれ以外の画像で記エントロピーに明確な違いが現れることになり、前記識別対象となっている画像の種類についての識別が高い信頼性で実現できる。そして、前記識別結果に応じて前記画像記憶部３１に保存した画像の画質の調整を行う（ステップＳ７０７）。
【００４０】
あるいはまた、前記画像処理プログラム４１は、前記前記第１の実施の形態で説明した第３の手法が適用される場合には、図８のフローチャートに示すように、識別対象となっている連続する画像の画像データを取り込み（ステップＳ７１１）、前記取り込んだ画像データを画像記憶部３１へ記憶し（ステップＳ７１２）、前記記憶した連続する２つの画像間の差分画像を求め（ステップＳ７１３，第４の手順）、前記差分画像の画像データから階調数についてのヒストグラムを生成し（ステップＳ７１４，第５の手順）、前記生成したヒストグラムを画像特徴量記憶部３２へ記憶し（ステップＳ７１５）、前記ヒストグラムをもとに所定の頻度を超える階調数を計数し（ステップＳ７１６，第６の手順）、前記階調数の計数結果に基づき画像の種類を識別する（ステップＳ７１７，第７の手順）。この場合、例えば文字や線描画された図形などの画像とそれ以外の画像とでは、前記所定の頻度を超える階調数の計数結果には明確な違いが現れることになり、前記識別対象となっている画像の種類についての識別が高い信頼性で実現可能になる。そして、前記識別した画像種別に応じた画質調整を行う（ステップＳ７１８）。
【００４１】
従って、この第２の実施の形態によれば、画像から得られるヒストグラムがテキスト画像と自然画像でその形状が大きく異なることを利用できるため、テキスト画像と自然画像の識別を高い信頼性で実現でき、さらにその識別結果に応じてその画質の調整を自動的に行える画像処理プログラムと、その画像処理プログラムを利用した画像種別識別方法および装置を提供できる効果がある。
【００４２】
また、連続する２つの画像の差分画像の画像データから得られたヒストグラムの所定の頻度以上の階調数の計数結果にもとづき、入力された画像がテキスト画像であるか自然画像であるかなど、前記画像の種類を識別し、その識別結果に応じてその画質の調整を自動的に行える画像処理プログラムと、その画像処理プログラムを利用した画像種別識別方法および装置を提供できる効果がある。
【００４３】
次に、本発明の第３の実施の形態である画像種別識別方法が適用される画像種別識別装置について説明する。
図９は、この画像種別識別装置の構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付し説明を省略する。この画像種別識別装置は、画像入力手段１、データ処理装置８、記憶装置３、出力端７を備えている。画像入力手段１、記憶装置３は上述の第１の実施の形態におけるものと同一の処理を実行する。データ処理装置８は、画像特徴量抽出手段２１と画像種類識別手段２２とを備えている。画像特徴量抽出手段２１と画像種類識別手段２２の処理は上述の第１の実施の形態におけるものと同一の処理を実行する。ただし、画像種類識別手段２２の出力である画像種類の識別結果が出力端７に送られる点で異なる。
【００４４】
この第３の実施の形態では、テキスト画像と自然画像の識別を高い信頼性で実現でき、さらにその識別結果を出力できる画像種別識別装置を提供できる効果がある。
【００４５】
【発明の効果】
以上のように、本発明によれば、識別対象となっている画像の種類について高い信頼性で識別できる効果がある。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態の画像種別識別方法が適用される画像出力装置の構成を示すブロック図である。
【図２】この発明の第１の実施の形態の画像出力装置の全体動作を示すフローチャートである。
【図３】この発明の第１の実施の形態の画像出力装置における画像種類識別手段が第１の手法により画像種類の識別を行うときの詳細な動作例を示すフローチャートである。
【図４】この発明の第１の実施の形態におけるテキスト画像と自然画像から抽出したヒストグラムの形態の違いを示す説明図である。
【図５】この発明の第１の実施の形態において所定値を越える頻度を持つ階級数を求めることでテキスト画像と自然画像の種類を識別するときの説明図である。
【図６】この発明の第２の実施の形態による画像出力装置の構成を示すブロック図である。
【図７】画像種類の識別に第２の手法が適用される場合の画像処理プログラムの構成を示すフローチャートである。
【図８】画像種類の識別に第３の手法が適用される場合の画像処理プログラムの構成を示すフローチャートである。
【図９】本発明の第３の実施の形態である画像種別識別方法が適用される画像種別識別装置の構成を示すブロック図である。
【符号の説明】
１……画像入力手段、２、８……データ処理装置（コンピュータ）、４……画像出力手段、２１……画像特徴量抽出手段、２２……画像種類識別手段、２３……画質調整手段、４１……画像処理プログラム。

Claims (6)

1. データ処理装置の画像種類識別手段が、
   時間的に連続する２つの画像の差分画像を求める差分画像作成ステップと、
   前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成ステップと、
   前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類ステップと、
   を備えたことを特徴とする画像種別識別方法。
2. 前記画像分類ステップが、前記差分画像ヒストグラムにおいて、頻度が所定の閾値を超える階調数を計数する頻出階調数計数ステップと、該階調数の数に基づき画像を分類する頻出階調数画像分類ステップとを備えたことを特徴とする請求項１記載の画像種別識別方法。
3. 時間的に連続する２つの画像を画像記憶部へ記憶する記憶手段と、
   前記２つの画像の差分画像を求める差分画像作成手段と、
   前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成手段と、
   前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類手段と、
   を備えたことを特徴とする画像種別識別装置。
4. 前記画像分類手段は、前記差分画像ヒストグラムにおいて、頻度が所定の閾値を超える階調数を計数する頻出階調数計数手段と、該階調数の数に基づき画像を分類する頻出階調数画像分類手段とを備えたことを特徴とする請求項３記載の画像種別識別装置。
5. コンピュータに画像の種類を識別させるための画像処理プログラムであって、
   時間的に連続する２つの画像を画像記憶部へ記憶する記憶手順と、
   前記２つの画像の差分画像を求める差分画像作成手順と、
   前記差分画像の階調数に関する差分画像ヒストグラムを算出する差分画像ヒストグラム作成手順と、
   前記差分画像ヒストグラムの形状に基づき画像を分類する画像分類手順と、
   を備えたことを特徴とする画像処理プログラム。
6. 前記画像分類手順は、前記差分画像ヒストグラムにおいて、頻度が所定の閾値を超える階調数を計数する頻出階調数計数手順と、該階調数の数に基づき画像を分類する頻出階調数画像分類手順とを備えたことを特徴とする請求項５記載の画像処理プログラム。

Images