JP4453202B2 - 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4453202B2 JP4453202B2 JP2000584431A JP2000584431A JP4453202B2 JP 4453202 B2 JP4453202 B2 JP 4453202B2 JP 2000584431 A JP2000584431 A JP 2000584431A JP 2000584431 A JP2000584431 A JP 2000584431A JP 4453202 B2 JP4453202 B2 JP 4453202B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- unit
- image
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【技術分野】
【０００１】
この発明は、例えばオブジェクトの抽出、オブジェクト毎の動き補償を利用した画像圧縮等のために画像領域分割を行う画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
画像の領域分割（オブジェクトの検出）の一つの方法であるスネークにおいては、幾何学的に変形する閉曲線をオブジェクトに当てはめることにより、オブジェクトのおおよその位置や形状を推定することができる（特開平９−５０５２６号参照）。
【０００３】
また、領域分割の他の方法としては、画像の中のエッジを抽出し、エッジで囲まれる範囲を領域とする方法がある。
【０００４】
しかしながら、前者の方法では、初期設定を行う処理を自動化することが困難であると共に、単純な形状のオブジェクトだけしか検出できないという課題があった。
【０００５】
また、後者の方法では、複雑な形状のオブジェクトも検出できるが、境界線が切れていたり、グラデーションが続くようなエッジが明確ではないオブジェクトを正確に検出できないという課題があった。
【０００６】
この発明の目的は、例えば複雑な形状やエッジが明確でない領域をも正確に検出し得る画像処理装置等を提供することにある。
【発明の開示】
【０００７】
この発明に係る画像処理装置は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報生成部と、前記頻度関連情報生成部により生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定部と、前記代表値決定部で決定された代表値を記憶する代表値記憶部と、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換部と、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成部と、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報生成部、前記代表値決定部、前記代表値記憶部、前記置換部および前記誤差情報生成部が繰り返し動作するように制御する制御部とを備え、前記置換部は、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像を出力する。
【０００８】
この発明に係る画像処理方法は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される。
【０００９】
また、この発明に係るコンピュータ読み取り可能な記録媒体は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される処理をコンピュータに実行させるためのプログラムが記録されたものである。
【００１０】
本発明においては、原画像を構成する複数の画素の画素値の頻度が検出され、頻度と、原画像の各画素値に対応して生成される誤差情報とが対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報が生成される。そして、生成された頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値が、画素値の代表値として決定され、決定された代表値が代表値記憶部に記憶される。原画像を構成する複数の画素の画素値が、代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換されることで、出力画像が生成される。さらに、原画像が取りうる全画素値のそれぞれについて、代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離が誤差情報として生成され、誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、上記の処理を繰り返し行うように制御され、所定の条件を満たし、繰り返し動作が終了したと判定されたときの出力画像が出力される。
【００１３】
上述した一連の動作が繰り返し行われることで、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が得られる。この発明においては、複雑な形状やエッジが明確でない領域をも正確に分割できる。
【００１４】
図１は、実施の形態１としての画像処理装置１００の構成を示している。
【００１５】
この画像処理装置１００は、原画像を処理して領域内の画素の画素値が全て同一とされた複数領域からなる出力画像を得る画像領域分割部１１０と、この画像領域分割部１１０で得られた出力画像を処理することで隣接し、かつ画素値が同じ画素の集合をオブジェクトとして抽出するオブジェクト抽出部１２０と、原画像の各画素がそれぞれオブジェクト抽出部１２０で抽出された複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）を記憶するフレームメモリ１３０とを有している。
【００１６】
また、画像処理装置１００は、原画像の各画素の画素値とフレームメモリ１３０に記憶されたラベル情報とから、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値を平均して、そのオブジェクトの画素値を求める画素値平均化部１４０を有している。フレームメモリ１５０には、各オブジェクトに対応する原画像の全て画素の画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。つまり、フレームメモリ１５０には、画素値平均化画像が記憶される。
【００１７】
また、画像処理装置１００は、原画像の各画素の画素値とフレームメモリ１３０に記憶されたラベル情報とから、原画像の動きを領域毎、例えば画素毎に検出し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均して、そのオブジェクトの動きを求める動き検出・平均化部１６０と、この動き検出・平均化部１６０で得られた各オブジェクトの動きを格納する動き格納用レジスタ１７０とを有している。
【００１８】
図１に示す画像処理装置１００の動作を説明する。
【００１９】
原画像は画像領域分割部１１０に供給され、フレームメモリ１１１に格納される。そして、この画像領域分割部１１０では、フレームメモリ１１１に格納された原画像が処理されて、領域内の画素の画素値が全て同一とされた複数領域からなる出力画像が得られる。
【００２０】
この出力画像はオブジェクト抽出部１２０に供給される。このオブジェクト抽出部１２０では、上述の出力画像が処理されて、隣接し、かつ画素値が同じ画素の集合がオブジェクトとして抽出される。そして、このオブジェクトの抽出結果に基づいて、フレームメモリ１３０に、原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）が記憶される。
【００２１】
また、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが画素値平均化部１４０に供給される。そして、この画素値平均化部１４０では、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値が平均され、そのオブジェクトの画素値が求められる。そして、フレームメモリ１５０には、各オブジェクトに対応する原画像の全ての画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。
【００２２】
また、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが動き検出・平均化部１６０に供給される。そして、この動き検出・平均化部１６０では、フレームメモリ１１１に格納された原画像とその１フレーム前の画像とから原画像の動きが領域毎、例えば画素毎に検出された後、オブジェクト毎に、そのオブジェクトに含まれる領域の動きが平均され、そのオブジェクトの動きが求められる。このように求められる各オブジェクトの動きは、動き格納用レジスタ１７０に格納される。
【００２３】
図２は、画像領域分割部１１０の構成例を示している。この画像領域分割部１１０は、制御部１１０Ａと、フレームメモリ１１１と、ヒストグラム生成部１１２と、ヒストグラム変更部１１３と、代表値決定部１１４と、代表値メモリ１１５と、置換部１１６と、フレームメモリ１１７と、誤差演算部１１８と、誤差メモリ１１９とを有して構成される。
【００２４】
フレームメモリ１１１は、入力される原画像を記憶し、ヒストグラム生成部１１２、置換部１１６、さらには図１に示す画素値平均化部１４０および動き検出・平均化部１６０からの要求に対応して記憶している原画像を供給する。なお、入力される原画像は、例えばＲＧＢ信号あるいはＹＵＶ信号からなる画素で構成される。以下、原画像はＲＧＢ信号からなる画素で構成されているものとして説明する。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色信号成分は、４ビット（１６階調）で表されているものとする。この場合、原画像を構成する画素の画素値（色）ベクトルの種類は１６3＝４０９６となる。
【００２５】
ヒストグラム生成部１１２は、原画像に使用されている画素値の使用頻度を示すヒストグラムを生成してヒストグラム変更部１１３に出力する。つまり、ヒストグラム生成部１１２では、原画像が取りうる全画素値のそれぞれに対して、原画像を構成する複数の画素の画素値の頻度が検出される。この場合、画素値ベクトルがｉであるときの、頻度Ｈ(i)は、（１）式によって検出される。この（１）式において、f(x,y)は、水平方向にｘ番目、垂直方向にｙ番目の画素の画素値を示している。
【００２６】
【数１】
ヒストグラム変更部１１３は、ヒストグラム生成部１１２から入力されたヒストグラムと、誤差メモリ１１９から読み出した誤差を乗算し、その乗算結果を頻度関連情報として代表値決定部１１４に出力する。つまり、ヒストグラム変更部１１３では、ヒストグラム生成部１１２において原画像が取りうる全画素値のそれぞれに対して検出された原画像を構成する複数の画素の画素値の頻度と、各画素値に対応した誤差とが対応する画素値毎に乗算されて、原画像が取りうる全画素値のそれぞれに対応した頻度関連情報が得られる。この場合、画素値ベクトルがｉであるときの、頻度関連情報Ｈ′(i)は、（２）式によって得られる。この（２）式において、ｄiは、画素値ベクトルｉに対応した誤差である。上述したヒストグラム生成部１１２およびヒストグラム変更部１１３により頻度関連情報生成部が構成されている。
【００２７】
【数２】
代表値決定部１１４は、入力された頻度関連情報に基づき、最も大きい値を有する頻度関連情報に対応する画素値を代表値として決定し、この代表値を累積部を構成する代表値メモリ１１５に出力する。
【００２８】
置換部１１６は、フレームメモリ１１１から読み出した原画像を構成する各画素の画素値を、代表値メモリ１１５に記憶されている少なくとも１つの代表値のうち、誤差が最も小さい代表値に置換して出力画像を得、この出力画像をフレームメモリ１１７に記憶させる。ここで、代表値メモリ１１５にｎ個の代表値（Ｃ1，Ｃ2，・・，Ｃk，・・Ｃn）が記憶されているとき、原画像の水平方向にｘ番目、垂直方向にｙ番目の画素の画素値f(x,y)は、（３）式によって、ｆ′(x,y)に置換される。なお、f(x,y)＝（ｒ(x,y)，ｇ(x,y)，ｂ(x,y))、Ｃk＝（ｒk，ｇk，ｂk)である。
【００２９】
【数３】
誤差演算部１１８は、誤差情報生成部を構成するものであり、原画像が取りうる全画素値のそれぞれと、代表値メモリ１１５から読み出した代表値との誤差を検出し、各画素値に対応した誤差を求め、この誤差を誤差情報として誤差メモリ１１９に出力する。例えば、代表値メモリ１１５にｎ個の代表値（Ｃ1，Ｃ2，・・，Ｃk，・・Ｃn）が記憶されているとき、画素値ベクトルｉに対応した誤差ｄiは、（４）式によって求められる。この場合、原画像が取りうる全画素値のそれぞれについて、ｎ個の代表値（Ｃ1，Ｃ2，・・，Ｃk，・・Ｃn）のうち最も距離の小さい代表値との距離が誤差として検出されることとなる。なお、ｉ＝（ｒi，ｇi，ｂi）、Ｃk＝（ｒk，ｇk，ｂk)である。
【００３０】
【数４】
制御部１１０Ａは、上述した各部の動作を制御する。この制御部１１０Ａは、所定の条件を満たすまで、ヒストグラム変更部１１３、代表値決定部１１４、置換部１１６および誤差演算部１１８等が繰り返し動作するように制御する。例えば、制御部１１０Ａは、誤差演算部１１８で求められた各画素値に対応した誤差の最大値が第１の閾値未満となるまで、上述の繰り返し動作が行われるように制御する。
【００３１】
また例えば、制御部１１０Ａは、誤差演算部１１８で求められた各画素値に対応した誤差の総和が第２の閾値未満となるまで、上述の繰り返し動作が行われるように制御する。また例えば、制御部１１０Ａは、誤差演算部１１８で求められた各画素値に対応した誤差の最大値が第１の閾値未満となり、かつ上記誤差の総和が第２の閾値未満となるまで、上述の繰り返し動作が行われるように制御する。さらに例えば、制御部１１０Ａは、繰り返し動作の回数が第３の閾値以上となるまで、上述の繰り返し動作が行われるように制御する。
【００３２】
誤差メモリ１１９には、原画像が取りうる全画素値のそれぞれに対応する誤差の初期値として、ヒストグラム変更部１１３で得られる頻度関連情報への影響（代表値を決定する上での影響）を無視できる値が記憶されている。例えば、誤差メモリ１１９に初期値として記憶される全画素値のそれぞれに対応する誤差は、全て同一の値、本実施の形態では１とされる。
【００３３】
誤差メモリ１１９には上述の初期値が記憶されていることから、ヒストグラム変更部１１３では、上述の繰り返し動作の最初の動作時には、（２）式の演算を行うことなく、ヒストグラム生成部１１２で検出された頻度Ｈ(i)を、そのまま頻度関連情報Ｈ′(i)として出力できる。したがってこの場合には、原画像を構成する複数の画素の画素値に基づいて頻度関連情報Ｈ′(i)が生成されることとなる。
【００３４】
次に、図２に示す画像領域分割部１１０の動作を、図３のフローチャートを使用して説明する。
【００３５】
ステップＳ１において、ヒストグラム生成部１１２は、既にフレームメモリ１１１に記憶されている、例えば図４に示すような原画像を読み出し、例えば図５Ａに示すように、原画像に使用されている画素の画素値の使用頻度を示すヒストグラムを生成して、ヒストグラム変更部１１３に出力する。つまり、ヒストグラム生成部１１２では、（１）式の演算が行われる。なお、図５Ａ〜Ｆにおいては、図示を簡略化するために、横軸の目盛りを９としているが、実際の横軸の目盛りは、画素値の種類の数、本実施の形態では４０９６だけ存在する。
【００３６】
ヒストグラム変更部１１３は、ヒストグラム生成部１１２から入力されたヒストグラムと、誤差メモリ１１９から読み出した誤差を乗算し、その乗算結果を頻度関連情報として代表値決定部１１４に出力する。誤差メモリ１１９には原画像が取りうる全画素値のそれぞれに対応する誤差の初期値として全て１が記憶されており、ヒストグラム変更部１１３では、ヒストグラム生成部１１２で検出された頻度Ｈ(i)をそのまま頻度関連情報Ｈ′(i)として出力する。
【００３７】
ステップＳ２において、代表値決定部１１４は、入力された頻度関連情報に基づき、最も大きい値を有する頻度関連情報に対応する画素値を代表値として決定し、この代表値を代表値メモリ１１５に出力する。この場合、入力された頻度関連情報が図５Ａに示すものであるとき、画素値Ｃ１が代表値に決定され、これが代表値メモリ１１５に記憶される。
【００３８】
ステップＳ３において、置換部１１６は、フレームメモリ１１１から読み出した原画像を構成する各画素の画素値を、代表値メモリ１１５に記憶されている少なくとも１つの代表値のうち、誤差が最も小さい代表値に置換して出力画像を得、この出力画像をフレームメモリ１１７に記憶させる。つまり、置換部１１６では（３）式の演算が行われる。いまの場合、代表値がＣ１だけであるので、原画像の全ての画素の画素値がＣ１に置換されてフレームメモリ１１７に記憶される。
【００３９】
ステップＳ４において、誤差演算部１１８は、原画像が取りうる全画素値のそれぞれと、代表値メモリ１１５から読み出した代表値との誤差を検出し、各画素値に対応した誤差を求め、この誤差を誤差情報として誤差メモリ１１９に出力する。つまり、誤差演算部１１８では（４）式の演算が行われる。いまの場合、図５Ｂに示すように、画素値Ｃ１に対応する誤差の値が最小値０とされる。
【００４０】
ステップＳ５において、制御部１１０Ａは、終了条件を満たすか否かを判定する。終了条件は、上述したように各画素値に対応した誤差の最大値が第１の閾値未満となること、または各画素値に対応した誤差の総和が第２の閾値未満となること、あるいは繰り返し動作の回数が第３の閾値以上となること等である。終了条件をどれにするか、および閾値の設定は予め行われる。制御部１１０Ａは、終了条件を満たすときは、各部の動作を止めて領域分割処理を終了させ、一方終了条件を満たさないときは、ステップＳ６に進むように制御する。
【００４１】
ステップＳ６において、ヒストグラム変更部１１３は、誤差メモリ１１９から各画素値に対応する誤差の値を読み出し、自己が記憶しているヒストグラムの各画素値に対応する頻度を乗算して、その乗算結果を頻度関連情報として代表値決定部１１４に出力する。つまり、ヒストグラム変更部１１３では、（２）式の演算が行われる。いまの場合、図５Ｂに示す誤差が読み出され、図５Ａに示すヒストグラムの各画素値に対応する頻度に乗算される。そして、乗算結果、すなわち各画素値に対応した頻度関連情報は、図５Ｃに示すものとなる。
【００４２】
次に、再びステップＳ２において、代表値決定部１１４により、上述した説明と同様の処理が実行される。いまの場合、画素値Ｃ２が代表値に決定され、これが代表値メモリ１１５に追加記憶される。したがって、代表値メモリ１１５には、代表値として２個の画素値Ｃ１，Ｃ２が記憶されることになる。
【００４３】
ステップＳ３において、置換部１１６により、上述した説明と同様の処理が実行される。いまの場合、原画像の各画素の画素値が、画素値Ｃ１または画素値Ｃ２のうち、誤差が最も小さい代表値に置換されてフレームメモリ１１７に記憶される。
【００４４】
ステップＳ４において、誤差演算部１１８により、上述した説明と同様の処理が実行される。いまの場合、図５Ｄに示すように、画素値Ｃ１，Ｃ２に対応する誤差の値が最小値０とされる。
【００４５】
ステップＳ５において、誤差演算部１１８により、上述した説明と同様の処理が実行される。すなわち、制御部１１０Ａは、終了条件を満たすときは、各部の動作を止めて領域分割処理を終了させ、一方終了条件を満たさないときは、ステップＳ６に進むように制御する。
【００４６】
ステップＳ６において、ヒストグラム変更部１１３により、上述したと同様の処理が実行される。いまの場合、誤差メモリ１１９には、図５Ｄに示す誤差が記憶され、自己は図５Ａに示すヒストグラムを記憶しているので、乗算結果として得られる各画素値の頻度関連情報は、図５Ｅに示すものとなる。図５Ｆは、図５Ｅの頻度関連情報に対応する誤差を示している。図５Ｂ、図５Ｄ、図５Ｆから明らかなように、ステップＳ２〜Ｓ６の動作の処理が繰り返される毎に、誤差の最大値や誤差の総和は減少する。
【００４７】
上述したように、ステップＳ５において、制御部１１０Ａが終了条件を満たすと判定するとき、画像領域分割部１１０における領域分割処理が終了する。この場合、フレームメモリ１１７には、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が格納された状態となる。
【００４８】
このように、画像領域分割部１１０では、頻度関連情報より代表値が決定され、原画像を構成する画素の画素値が代表値に置換されて出力画像が得られ、さらに誤差を用いて新たな頻度関連情報が得られるようにしているので、エッジが明確でない領域を正確に分割できる。
【００４９】
次に、図１に示すオブジェクト抽出部１２０を説明する。このオブジェクト抽出部１２０は、上述のフレームメモリ１１７に格納された出力画像を処理して、隣接し、かつ画素値が同じ画素の集合をオブジェクトとして抽出する。そして、このオブジェクト抽出部１２０は、オブジェクトの抽出結果に基づいて、原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）をフレームメモリ１３０に記憶する。
【００５０】
図６は、このオブジェクト抽出部１２０で抽出された各オブジェクトを示す画像である。この図６では、画像が５３４のオブジェクト（領域）に分割されている。ただし、この図６においては、各オブジェクトの境界を明確に図示するため、色調を変更している。
【００５１】
オブジェクト抽出部１２０のオブジェクト抽出処理の詳細について、図７に示す画像Ａからオブジェクトとしての領域ａを抽出する場合を例にとって説明する。
【００５２】
画像Ａの領域ａ〜領域ｃは、複数の画素から構成されており、例えば領域ａの各画素は、図８に示すように配置されている。また、領域ａ〜領域ｃの各画素は、それぞれ領域毎に異なる画素値を保持している。
【００５３】
図９は、画像Ａから領域ａを識別する場合の処理手順を説明するフローチャートである。フレームメモリ１１７（図２参照）に記憶されている出力画像が入力されると、オブジェクト抽出部１２０は、ステップＳ１１において、画像Ａに前処理を施す。ここで、オブジェクト抽出部１２０は、領域識別処理の対象となる画像Ａの領域ａ〜領域ｃの各画素の属性を“NULL”とし、そして全ての画素に通し番号を設定する。
【００５４】
この例の場合、図１０に示すように、画像Ａの左上端の画素から右方向に順次通し番号が設定される。右端の画素に通し番号が設定されると、次に、１つ下の段（ライン）の左端の画素から右方向に、さらに通し番号が設定される。このように、画像Ａの全ての画素に通し番号が設定されると、前処理が完了し、ステップＳ１２に進む。
【００５５】
ステップＳ１２において、オブジェクト抽出部１２０は、識別する領域の画素に設定する属性を表す“COUNTER”に、所定の値（属性）を設定する。以下の処理では、領域ａの画素に“COUNTER”の値を設定するのであるが、各画素に“COUNTER”の値を設定する処理を、以下、ペイントと称する。
【００５６】
ステップＳ１３において、オブジェクト抽出部１２０は、認識すべき領域を指定するために、画像Ａの任意の画素を指定する（いまの場合、領域ａに含まれる画素が指定されたものとする）。ステップＳ１４において、オブジェクト抽出部１２０は、指定された画素をカレントポイントとする。次に、ステップＳ１５において、オブジェクト抽出部１２０は、カレントポイントとされた画素が保持する画素値をカレントカラーとする。例えば、いまの場合、図１１に示す領域ａの通し番号Ｍ番（以下、「＃Ｍ」と記述する）の画素がカレントポイントとされたものとする。
【００５７】
次に、ステップＳ１６において、オブジェクト抽出部１２０は、カレントポイントの属性を“NULL”から“B”に変更する。いまの場合、＃Ｍの点の属性が“NULL”から“B”に変更される。
【００５８】
ステップＳ１７において、オブジェクト抽出部１２０は、画像Ａの画素のうち、カレントカラーと同じ値の画素値を保持する画素、すなわち領域ａの画素であって、属性が“B”とされている画素が存在するか否かを判定し、このような条件を満たす画素が存在する場合、ステップＳ１８に進む。いまの場合、＃Ｍの画素がこの条件を満たしている。
【００５９】
ステップＳ１８において、オブジェクト抽出部１２０は、ステップＳ１７での条件を満たす画素のうち、通し番号が最も小さい画素を選択し、その属性を“COUNTER”とする。いまの場合、＃Ｍの画素の属性が“B”から“COUNTER”に変更される。このことより、図１２に示すように、＃Ｍの画素が例えば黒色にペイントされる。
【００６０】
次に、ステップＳ１９において、オブジェクト抽出部１２０は、カレントポイントに隣接する８個の画素（上下に隣接する２個の画素、左右に隣接する２個の画素、そして右上、右下、左上及び左下に隣接する１個の画素の合計８個の画素であり、以下、これらの画素を隣接画素と称する）のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている隣接画素が存在するか否かを判定し、このような条件を満たす隣接画素が存在する場合、ステップＳ２０に進む。
【００６１】
ステップＳ２０において、オブジェクト抽出部１２０は、ステップＳ１９での条件を満たす隣接画素の属性を“B”に変更する。例えば、いまの場合、図１２に示すように、＃（Ｌ−１）〜＃（Ｌ＋１），＃（Ｍ−１），＃（Ｍ＋１），＃（Ｎ−１）〜＃（Ｎ＋１）の画素の属性が“B”に変更される。なお、図１２において、属性が“B”とされた画素は、ハッチング（斜線表示）されている。
【００６２】
ステップＳ２１において、オブジェクト抽出部１２０はカレントポイントの通し番号の次の通し番号を有し、カレントカラーと同じ値の画素値を保持し、さらに属性が“NULL”または“B”とされている画素が存在するか否かを判定し、このような条件を満たす画素が存在する場合、ステップＳ２２に進む。いまの場合、＃（Ｍ＋１）の画素がその条件を満たす。
【００６３】
ステップＳ２２において、オブジェクト抽出部１２０は、ステップＳ２１での条件を満たす画素を次のカレントポイントとし、ステップＳ２３において、オブジェクト抽出部１２０は、その画素の属性を“COUNTER”に変更する。いまの場合、図１３に示すように、＃（Ｍ＋１）の画素が新しくカレントポイントとされ、黒色にペイントされる。
【００６４】
次に、ステップＳ２４において、オブジェクト抽出部１２０は、カレントポイントの８個の隣接画素のうち、カレントカラーと同じ値の画素の値を保持し、かつ属性が“NULL”とされている画素が存在するか否かを判定し、そのような条件を満たす隣接画素が存在する場合、ステップＳ２５に進む。
【００６５】
ステップＳ２５において、オブジェクト抽出部１２０は、ステップＳ２４での条件を満たす隣接画素の属性を“B”に変更する。例えば、いまの場合、図１４に示すように、カレントポイントである＃（Ｍ＋１）の画素の隣接画素のうち、＃（Ｌ＋２），＃（Ｍ＋２），＃（Ｎ＋２）の画素の属性が“B”に変更される。
【００６６】
ステップＳ２５の処理が完了すると、ステップＳ２１に戻り、以下、ステップＳ２１での条件を満たす画素が存在しなくなるまで、ステップＳ２１〜ステップＳ２５における処理が繰り返し実行される。
【００６７】
ステップＳ２４で、カレントポイントの隣接画素のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている画素が存在しないと判定された場合、ステップＳ２１に戻る。ステップＳ２１で、カレントポイントの通し番号の次の通し番号を有し、属性が“NULL”または“B”とされている画素が存在しないと判定された場合、ステップＳ１７に戻る。また、ステップＳ１９で、カレントポイントの隣接画素のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている画素が存在しないと判定された場合、ステップＳ１７に戻る。
【００６８】
例えば、ステップＳ２２で、領域ａの＃（Ｍ＋５）の画素がカレントポイントとされ、ステップＳ２３でその属性が“COUNTER”に変更され、図１５に示すように、黒色でペイントされた場合、＃（Ｍ＋５）の隣接画素のうち、図示しない＃（Ｌ＋６），＃（Ｍ＋６），＃（Ｎ＋６）の画素は、領域ｃの画素であり、これらが保持する画素値は、カレントカラー（いまの場合、領域ａの画素が保持する画素値）と異なる。また、他の隣接画素、＃（Ｌ＋４），＃（Ｌ＋５），＃（Ｎ＋４），＃（Ｎ＋５）の画素は属性が“B”であり、他の隣接画素の＃（Ｍ＋４）の画素の属性は“COUNTER”である。すなわち、ステップＳ２４での条件を満たす隣接画素が存在しなくなる。
【００６９】
そこで、ステップＳ２１に戻るが、＃（Ｍ＋６）の画素は領域ｃの画素であり、ステップＳ２１での条件を満たさないので、さらにステップＳ１７に戻る。いまの場合、ステップＳ１７およびステップＳ１８において、＃（Ｌ−１）の画素が抽出され、図１６に示すように、その属性が“B”から“COUNTER”に変更され、＃（Ｌ−１）の画素が黒色にペイントされる。
【００７０】
このように、ステップＳ１７〜ステップＳ２５における処理が繰り返し実行され、領域ａの全ての画素がペイントされると、ステップＳ１７で、画像Ａの画素のうち、カレントカラー（領域ａの画素が保持する画素値）と同じ画素値を保持し、属性が“B”とされる画素が存在しないと判定され、処理が終了する。
【００７１】
図１７Ａ〜Ｏ、図１８Ａ〜Ｌは、画像Ａの領域ａの各画素が黒色にペイントされる様子を表している。このように、領域ａの各画素は順次ペイントされ、他の領域ｂおよび領域ｃから識別される。つまり、オブジェクトとしての領域ａが抽出されることとなる。
【００７２】
なお、オブジェクト（領域）を構成する画素数が所定数（例えば、３０個）以下の場合、それをオブジェクトと見なさないことにより、オブジェクトの数が増加することを抑制でき、例えば画素値平均化部１４０や動き検出・平均化部１６０等における処理を軽減させることができる。
【００７３】
上述したように、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが画素値平均化部１４０に供給され、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値が平均されて、そのオブジェクトの画素値が求められる。そして、フレームメモリ１５０には、各オブジェクトに対応する原画像の全て画素の画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。図１９は、フレームメモリ１５０に記憶されている画素値平均化画像を示している。この画像により、オブジェクト抽出部１２０でオブジェクトの抽出が適切に行われたことを確認できる。
【００７４】
次に、動き検出・平均化部１６０について説明する。図２０は、動き検出・平均化部１６０の構成例を示している。この動き検出・平均化部１６０は、フレームメモリ１６１と、コーナ検出部１６２と、コーナメモリ１６３と、動き検出部１６４と、動きメモリ１６５と、動き平均化部１６６とを有して構成される。
【００７５】
フレームメモリ１６１は、入力される原画像を記憶し、動き検出部１６４に出力する。画像領域分割部１１０のフレームメモリ１１１（図１参照）に記憶されている原画像がＪフレームの画像であるとき、フレームメモリ１６１に記憶される原画像は、例えば１フレーム前の（Ｊ−１）フレームの画像である。コーナ検出部１６２は、画像領域分割部１１０のフレームメモリ１１１より読み出される原画像内のコーナ部分を検出し、画像の各画素毎に、コーナであるか否かを示す情報をコーナメモリ１６３に記憶させる。
【００７６】
動き検出部１６４は、画像領域分割部１１０のフレームメモリ１１１およびフレームメモリ１６１より読み出される２フレームの画像を用いて、フレームメモリ１１１より読み出される原画像の各画素毎の動きを検出する。ただし、この動き検出部１６４は、コーナメモリ１６３に記憶されている情報を読み出し、原画像の中のコーナ部分の画素だけに対して、ブロックマッチング処理を実行して動きを検出し、その検出された動きを動きメモリ１６５に記憶させる。
【００７７】
動き平均化部１６６は、フレームメモリ１３０（図１参照）に記憶されているラベル情報（原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報）および動きメモリ１６５に記憶されている動きを使用し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均し、そのオブジェクトの動きを求める。
【００７８】
次に、図２０に示す動き検出・平均化部１６０の処理を、図２１のフローチャートを参照して説明する。
【００７９】
ステップＳ３１にいおいて、コーナ検出部１６２は、ブロックマッチング処理において正確な動きを検出できるコーナ部分を、入力された画像から検出する。このコーナ検出処理について、図２２のフローチャートを参照して説明する。
【００８０】
ステップＳ４１において、コーナ検出部１６２は、入力された画像ｆ（例えば、図２３に示すトラックの画像）にソーベル演算子（図２４Ａ，図２４Ｂ）を作用させて、画像ｆのｘ方向微分画像ｆｘ、およびｙ方向微分画像ｆｙを生成する。
【００８１】
すなわち、コーナ検出部１６２は、画像ｆの全ての画素を、順次、注目画素とし、その注目画素（例えば、図２５の画素Ｐ1）を中心とする９（＝３×３）個の画素の画素値Ｐ1〜Ｐ9と、図２４Ａに示したソーベル演算子の対応する値との積の総和
０×Ｐ1＋２×Ｐ2＋１×Ｐ3＋０×Ｐ4−１×Ｐ5−２×Ｐ6−１×Ｐ7＋０×Ｐ8＋１×Ｐ9
を、注目画素に対応するｘ方向微分画像ｆｘの画素の画素値として、ｘ方向微分画像ｆｘを生成し、同様に９個の画素の画素値Ｐ1〜Ｐ9と、図２４Ｂに示したソーベル演算子の対応する値との積の総和
０×Ｐ1＋０×Ｐ2＋１×Ｐ3＋２×Ｐ4＋１×Ｐ5＋０×Ｐ6−１×Ｐ7−２×Ｐ8−１×Ｐ9
を、注目画素に対応するｙ方向微分画像ｆｙの画素の画素値として、ｙ方向微分画像ｆｙを生成する。
【００８２】
ここで、微分画像ｆｘ，ｆｙについて説明する。画像ｆの座標（ｘ，ｙ）に位置する画素に対応するｘ方向微分画像ｆｘの画素の画素値ｆｘ（ｘ，ｙ）と、ｙ方向微分画像ｆｙの画素の画素値ｆｙ（ｘ，ｙ）を、それぞれ、ｘ成分、ｙ成分とするベクトル（ｆｘ（ｘ，ｙ），ｆｙ（ｘ，ｙ））を考える。このベクトルは、図２６Ａ、図２６Ｂに示すように、画像ｆの座標（ｘ，ｙ）における画素値（例えば、輝度）の最大傾斜の方向ベクトル（画像ｆの等画素値線から構成される曲面と直交する方向ベクトル）のｘｙ平面への写像である。
【００８３】
したがって、画像ｆの座標（ｘ，ｙ）の画素に対応するベクトル（ｆｘ（ｘ，ｙ），ｆｙ（ｘ，ｙ））と、その近傍の座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素に対応するベクトル（ｆｘ（ｘ＋Δｘ，ｙ＋Δｙ），ｆｙ（ｘ＋Δｘ，ｙ＋Δｙ））との外積の値
ｆｘ（ｘ，ｙ）ｆｙ（ｘ＋Δｘ，ｙ＋Δｙ）
−ｆｙ（ｘ，ｙ）ｆｘ（ｘ＋Δｘ，ｙ＋Δｙ）
を用いることにより、画像ｆの座標（ｘ，ｙ）の近傍の画素値の平坦性を判定することが可能となる。
【００８４】
ステップＳ４２において、コーナ検出部１６２は、画素の座標を示すパラメータ（ｉ，ｊ）を、開始画素（ピクセル）に対応した（０，０）に初期化する。ただし、ｉ＝０〜ｘmax−１(ｘmaxは画像ｆの横幅）であり、ｊ＝０〜ｊmax−１（ｊmaxは画像ｆの縦幅）である。そして、ステップＳ４３において、コーナ検出部１６２は、パラメータ（ｉ，ｊ）が終了画素に対応した（ｘmax−１，ｊmax−１）を越えたか否かを判定し、（ｘmax−１，ｊmax−１）を越えていないと判定した場合、ステップＳ４４に進む。
【００８５】
ステップＳ４４において、コーナ検出部１６２は、次式のように、画像ｆの座標（ｉ，ｊ）に位置する画素（例えば、図２５の画素Ｐ1）に対応するベクトル（ｆｘ（ｉ，ｊ），ｆｙ（ｉ，ｊ））と、その近傍の２４個の画素（画素Ｐ2〜Ｐ25）に対応するベクトル（ｆｘ（ｉ＋α，ｊ＋β），ｆｙ（ｉ＋α，ｊ＋β））との外積の絶対値の総和からなる評価値を演算する。ただし、α，β＝−２〜２である。
【００８６】
評価値＝Σ｜ｆｘ（ｉ，ｊ）・ｆｙ（ｉ＋α，ｊ＋β）
−ｆｙ（ｉ，ｊ）・ｆｘ（ｉ＋α，ｊ＋β）｜
例えば、画像ｆの座標（ｉ，ｊ）に位置する画素に対応するベクトルと、その近傍の２４個の画素に対応するベクトルが全て平行である場合、上述の評価値は０となる。
【００８７】
ステップＳ４５において、コーナ検出部１６２は、ステップＳ４４で演算した評価値が予め設定される閾値よりも大きいか否かを判定する。評価値が閾値よりも大きいと判定した場合、ステップＳ４６に進む。
【００８８】
ステップＳ４６において、コーナ検出部１６２は、画像ｆの座標（ｉ，ｊ）の画素をコーナ部分に識別し、座標（ｉ，ｊ）と評価値を対応づけてコーナメモリ１６３に記憶させる。
【００８９】
ステップＳ４７において、コーナ検出部１６２は、座標を示すパラメータ（ｉ，ｊ）を次の画素に対応するようにインクリメントして、ステップＳ４３に戻り、上述したと同様の処理を繰り返す。
【００９０】
ステップＳ４５において、コーナ検出部１６２は、評価値が閾値よりも大きくないと判定した場合、ステップＳ４８に進む。ステップＳ４８において、コーナ検出部１６２は、画像ｆの座標（ｉ，ｊ）の画素を平坦部分に識別し、その情報をコーナメモリ１６３に記憶させる。
【００９１】
図２７は、コーナメモリ１６３に記憶された評価値を使用した画像を示している。この図２７からも明らかなように、コーナメモリ１６３には、原画像のコーナ部分だけに対応する評価値が記憶されることとなる。なお、コーナメモリ１６３には、評価値そのものではなく、２値化後の評価値を記憶するようにしてもよい。図２８は、２値化後の評価値を使用した画像を示している。
【００９２】
ステップＳ４３において、パラメータ（ｉ，ｊ）が終了画素に対応した（ｘmax−１，ｊmax−１）を越えていると判定した場合、図２１のステップＳ３２にリターンする。
【００９３】
ステップＳ３２において、動き検出部１６４は、コーナメモリ１６３に座標と対応づけて記憶されている評価値を参照し、フレームメモリ１１１より読み出された原画像のうち、コーナ部分と識別された画素に対してだけ、フレームメモリ１６１に記憶されている１フレーム前の画像とのブロックマッチング処理を実行して、その結果を動きメモリ１６５に記憶させる。
【００９４】
そして、ステップＳ３３において、動き平均化部１６６は、フレームメモリ１３０（図１参照）に記憶されているラベル情報（原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報）および動きメモリ１６５に記憶されている動きを使用し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均し、そのオブジェクトの動きを求め、動き格納用レジスタ１７０（図１参照）に記憶させる。
【００９５】
このように、動き検出・平均化部１６０は、動き検出の精度が低いと思われる平坦部分を除外して動きを検出し、その検出された動きのみを用いて各オブジェクトの動きを求めるものであり、各オブジェクトの動きを制度よく検出することができる。また、この動き検出・平均化部１６０は、平坦部分を除外して動きを検出するものであり、全ての画素に対してブロックマッチング処理を実行して動きを検出する場合に比べて、動き検出に要する時間を大幅に短縮できる。また、このようにオブジェクト毎の動きを検出できるので、オブジェクト単位の動き補償を利用した画像圧縮に適用することができる。
【００９６】
なお、動き検出・平均化部１６０の動き検出部１６４ではブロックマッチング処理により１画素の領域毎に動きが検出されるが、例えば複数画素の領域毎に動きが検出されるものであってもよい。
【００９７】
次に、画像領域分割部１１０の他の構成例について説明する。
【００９８】
図２９は、画像領域分割部１１０の他の構成例を示している。この図２９において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００９９】
この画像領域分割部１１０は、制御部２１０Ａと、フレームメモリ１１１と、頻度関連情報生成部２１３と、代表値決定部１１４と、代表値メモリ１１５と、置換部１１６と、フレームメモリ１１７と、誤差演算部２１８と、誤差メモリ２１９とを有して構成される。
【０１００】
頻度関連情報生成部２１３は、原画像に使用されている画素値の使用頻度に、その画素値に対応する誤差を乗算し、原画像が取りうる全画素値のそれぞれに対応した頻度関連情報を代表値決定部１１４に出力する。この場合、画素値がｉであるときの、頻度関連情報Ｈ′(i)は、（５）式によって得られる。この（５）式において、f(x,y)は、水平方向にｘ番目、垂直方向にｙ番目の画素の画素値を示し、ｄ(x,y)は画素値f(x,y)に対応した誤差である。この頻度関連情報生成部２１３で生成される頻度関連情報は、図２のヒストグラム変更部１１３で生成される頻度関連情報と同一のものとなる。
【０１０１】
【数５】
誤差演算部２１８は、誤差情報生成部を構成するものであり、原画像を構成する各画素毎に、フレームメモリ１１７に記憶された出力画像の対応する画素との画素値の誤差を求め、この誤差を誤差情報として誤差メモリ２１９に出力する。例えば、水平方向にｘ番目、垂直方向にｙ番目の画素の画素値ｆ(x,y)に対応する誤差ｄ(x,y)は、（６）式によって得られる。なお、ｆ(x,y)＝（ｒ(x,y)，ｇ(x,y)，ｂ(x,y)）であり、またこの画素値ｆ(x,y)に対応する出力画像の画素値はｆ′(x,y)＝（ｒ′(x,y)，ｇ′(x,y)，ｂ′(x,y)）である。
【０１０２】
【数６】
制御部２１０Ａは、上述した各部の動作を制御する。この制御部２１０Ａは、所定の条件を満たすまで、頻度関連情報生成部２１３、代表値決定部１１４、置換部１１６および誤差演算部２１８等が繰り返し動作するように制御する。この制御部２１０Ａで判定される所定の条件は、図２の制御部１１０Ａで判定される所定の条件と同様である。
【０１０３】
誤差メモリ２１９には、原画像を構成する各画素の画素値ｆ(x,y)に対応した誤差ｄ(x,y)の初期値として、頻度関連情報への影響を無視できる値が記憶されている。例えば、誤差メモリ２１９に初期値として記憶される誤差ｄ(x,y)は全て同一の値、例えば１とされる。
【０１０４】
誤差メモリ２１９には上述の初期値が記憶されていることから、ヒストグラム変更部１１３では、上述の繰り返し動作の最初の動作時には、（５）式において、ｄ(x,y)の乗算を省略することができる。
【０１０５】
図２９に示す画像領域分割部１１０のその他は、図２に示す画像領域分割部１１０と同様に構成される。そして、図２９に示す画像領域分割部１１０も、図２に示す画像領域分割部１１０と同様の動作をし、最終的に、フレームメモリ１１７には、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が格納されることとなる。
【０１０６】
なお、上述した図３等の各処理を行うコンピュータプログラムは、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体よりなる提供媒体の他、インターネット、ディジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１０７】
また、上述では原画像がカラー画像であるものを示したが、この発明は原画像が白黒画像であるものにも同様に適用できる。
【産業上の利用可能性】
【０１０８】
以上のように、この発明に係る画像処理装置等は、例えば画像からのオブジェクトの抽出、オブジェクト毎の動き補償を利用した画像圧縮等のために画像領域を分割する際に適用して好適なものとなる。
【図面の簡単な説明】
図１は、実施の形態としての画像処理装置の構成を示すブロック図である。図２は、画像領域分割部の構成例を示すブロック図である。図３は、画像領域分割部の動作を説明するためのフローチャートである。図４は、原画像を示す図である。図５Ａ〜Ｆは、画像領域分割部における処理を説明するためのするための図である。図６は、オブジェクト抽出部で抽出された各オブジェクトに対応した画像を示す図である。図７は、画像Ａの表示例を示す図である。図８は、画像Ａの領域ａの画素の配列を示す図である。図９は、領域抽出処理を説明するためのフローチャートである。図１０は、通し番号の設定方法を説明するための図である。図１１は、画像Ａの領域ａの画素の通し番号の設定例を示す図である。図１２は、領域ａの画素のペイント状況を示す図である。図１３は、領域ａの画素の他のペイント状況を示す図である。図１４は、領域ａの画素の他のペイント状況を示す図である。図１５は、領域ａの画素の他のペイント状況を示す図である。図１６は、領域ａの画素の他のペイント状況を示す図である。図１７Ａ〜Ｏは、領域ａの各画素がペイントされていく様子を示す図である。図１８Ａ〜Ｌは、領域ａの各画素がペイントされていく様子を示す図である。図１９は、画素値平均化画像を示す図である。図２０は、動き検出・平均化部の構成例を示すブロック図である。図２１は、動き検出・平均化部の処理を説明するためのフローチャートである。図２２は、コーナ検出処理を説明するためのフローチャートである。図２３は、原フレームの画像を示す図である。図２４Ａ，Ｂは、ソーベル演算子を示す図である。図２５は、画素の配置を示す図である。図２６Ａ，Ｂは、最大傾斜の方向ベクトルを説明するための図である。図２７は、コーナメモリに記憶された評価値を使用した画像を示す図である。図２８は、２値化後の評価値を使用した画像を示す図である。図２９は、画像領域分割部の他の構成例を示すブロック図である。
【０００１】
この発明は、例えばオブジェクトの抽出、オブジェクト毎の動き補償を利用した画像圧縮等のために画像領域分割を行う画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
画像の領域分割（オブジェクトの検出）の一つの方法であるスネークにおいては、幾何学的に変形する閉曲線をオブジェクトに当てはめることにより、オブジェクトのおおよその位置や形状を推定することができる（特開平９−５０５２６号参照）。
【０００３】
また、領域分割の他の方法としては、画像の中のエッジを抽出し、エッジで囲まれる範囲を領域とする方法がある。
【０００４】
しかしながら、前者の方法では、初期設定を行う処理を自動化することが困難であると共に、単純な形状のオブジェクトだけしか検出できないという課題があった。
【０００５】
また、後者の方法では、複雑な形状のオブジェクトも検出できるが、境界線が切れていたり、グラデーションが続くようなエッジが明確ではないオブジェクトを正確に検出できないという課題があった。
【０００６】
この発明の目的は、例えば複雑な形状やエッジが明確でない領域をも正確に検出し得る画像処理装置等を提供することにある。
【発明の開示】
【０００７】
この発明に係る画像処理装置は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報生成部と、前記頻度関連情報生成部により生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定部と、前記代表値決定部で決定された代表値を記憶する代表値記憶部と、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換部と、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成部と、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報生成部、前記代表値決定部、前記代表値記憶部、前記置換部および前記誤差情報生成部が繰り返し動作するように制御する制御部とを備え、前記置換部は、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像を出力する。
【０００８】
この発明に係る画像処理方法は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される。
【０００９】
また、この発明に係るコンピュータ読み取り可能な記録媒体は、原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される処理をコンピュータに実行させるためのプログラムが記録されたものである。
【００１０】
本発明においては、原画像を構成する複数の画素の画素値の頻度が検出され、頻度と、原画像の各画素値に対応して生成される誤差情報とが対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報が生成される。そして、生成された頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値が、画素値の代表値として決定され、決定された代表値が代表値記憶部に記憶される。原画像を構成する複数の画素の画素値が、代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換されることで、出力画像が生成される。さらに、原画像が取りうる全画素値のそれぞれについて、代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離が誤差情報として生成され、誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、上記の処理を繰り返し行うように制御され、所定の条件を満たし、繰り返し動作が終了したと判定されたときの出力画像が出力される。
【００１３】
上述した一連の動作が繰り返し行われることで、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が得られる。この発明においては、複雑な形状やエッジが明確でない領域をも正確に分割できる。
【００１４】
図１は、実施の形態１としての画像処理装置１００の構成を示している。
【００１５】
この画像処理装置１００は、原画像を処理して領域内の画素の画素値が全て同一とされた複数領域からなる出力画像を得る画像領域分割部１１０と、この画像領域分割部１１０で得られた出力画像を処理することで隣接し、かつ画素値が同じ画素の集合をオブジェクトとして抽出するオブジェクト抽出部１２０と、原画像の各画素がそれぞれオブジェクト抽出部１２０で抽出された複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）を記憶するフレームメモリ１３０とを有している。
【００１６】
また、画像処理装置１００は、原画像の各画素の画素値とフレームメモリ１３０に記憶されたラベル情報とから、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値を平均して、そのオブジェクトの画素値を求める画素値平均化部１４０を有している。フレームメモリ１５０には、各オブジェクトに対応する原画像の全て画素の画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。つまり、フレームメモリ１５０には、画素値平均化画像が記憶される。
【００１７】
また、画像処理装置１００は、原画像の各画素の画素値とフレームメモリ１３０に記憶されたラベル情報とから、原画像の動きを領域毎、例えば画素毎に検出し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均して、そのオブジェクトの動きを求める動き検出・平均化部１６０と、この動き検出・平均化部１６０で得られた各オブジェクトの動きを格納する動き格納用レジスタ１７０とを有している。
【００１８】
図１に示す画像処理装置１００の動作を説明する。
【００１９】
原画像は画像領域分割部１１０に供給され、フレームメモリ１１１に格納される。そして、この画像領域分割部１１０では、フレームメモリ１１１に格納された原画像が処理されて、領域内の画素の画素値が全て同一とされた複数領域からなる出力画像が得られる。
【００２０】
この出力画像はオブジェクト抽出部１２０に供給される。このオブジェクト抽出部１２０では、上述の出力画像が処理されて、隣接し、かつ画素値が同じ画素の集合がオブジェクトとして抽出される。そして、このオブジェクトの抽出結果に基づいて、フレームメモリ１３０に、原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）が記憶される。
【００２１】
また、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが画素値平均化部１４０に供給される。そして、この画素値平均化部１４０では、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値が平均され、そのオブジェクトの画素値が求められる。そして、フレームメモリ１５０には、各オブジェクトに対応する原画像の全ての画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。
【００２２】
また、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが動き検出・平均化部１６０に供給される。そして、この動き検出・平均化部１６０では、フレームメモリ１１１に格納された原画像とその１フレーム前の画像とから原画像の動きが領域毎、例えば画素毎に検出された後、オブジェクト毎に、そのオブジェクトに含まれる領域の動きが平均され、そのオブジェクトの動きが求められる。このように求められる各オブジェクトの動きは、動き格納用レジスタ１７０に格納される。
【００２３】
図２は、画像領域分割部１１０の構成例を示している。この画像領域分割部１１０は、制御部１１０Ａと、フレームメモリ１１１と、ヒストグラム生成部１１２と、ヒストグラム変更部１１３と、代表値決定部１１４と、代表値メモリ１１５と、置換部１１６と、フレームメモリ１１７と、誤差演算部１１８と、誤差メモリ１１９とを有して構成される。
【００２４】
フレームメモリ１１１は、入力される原画像を記憶し、ヒストグラム生成部１１２、置換部１１６、さらには図１に示す画素値平均化部１４０および動き検出・平均化部１６０からの要求に対応して記憶している原画像を供給する。なお、入力される原画像は、例えばＲＧＢ信号あるいはＹＵＶ信号からなる画素で構成される。以下、原画像はＲＧＢ信号からなる画素で構成されているものとして説明する。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色信号成分は、４ビット（１６階調）で表されているものとする。この場合、原画像を構成する画素の画素値（色）ベクトルの種類は１６3＝４０９６となる。
【００２５】
ヒストグラム生成部１１２は、原画像に使用されている画素値の使用頻度を示すヒストグラムを生成してヒストグラム変更部１１３に出力する。つまり、ヒストグラム生成部１１２では、原画像が取りうる全画素値のそれぞれに対して、原画像を構成する複数の画素の画素値の頻度が検出される。この場合、画素値ベクトルがｉであるときの、頻度Ｈ(i)は、（１）式によって検出される。この（１）式において、f(x,y)は、水平方向にｘ番目、垂直方向にｙ番目の画素の画素値を示している。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
置換部１１６は、フレームメモリ１１１から読み出した原画像を構成する各画素の画素値を、代表値メモリ１１５に記憶されている少なくとも１つの代表値のうち、誤差が最も小さい代表値に置換して出力画像を得、この出力画像をフレームメモリ１１７に記憶させる。ここで、代表値メモリ１１５にｎ個の代表値（Ｃ1，Ｃ2，・・，Ｃk，・・Ｃn）が記憶されているとき、原画像の水平方向にｘ番目、垂直方向にｙ番目の画素の画素値f(x,y)は、（３）式によって、ｆ′(x,y)に置換される。なお、f(x,y)＝（ｒ(x,y)，ｇ(x,y)，ｂ(x,y))、Ｃk＝（ｒk，ｇk，ｂk)である。
【００２９】
【数３】
【００３０】
【数４】
【００３１】
また例えば、制御部１１０Ａは、誤差演算部１１８で求められた各画素値に対応した誤差の総和が第２の閾値未満となるまで、上述の繰り返し動作が行われるように制御する。また例えば、制御部１１０Ａは、誤差演算部１１８で求められた各画素値に対応した誤差の最大値が第１の閾値未満となり、かつ上記誤差の総和が第２の閾値未満となるまで、上述の繰り返し動作が行われるように制御する。さらに例えば、制御部１１０Ａは、繰り返し動作の回数が第３の閾値以上となるまで、上述の繰り返し動作が行われるように制御する。
【００３２】
誤差メモリ１１９には、原画像が取りうる全画素値のそれぞれに対応する誤差の初期値として、ヒストグラム変更部１１３で得られる頻度関連情報への影響（代表値を決定する上での影響）を無視できる値が記憶されている。例えば、誤差メモリ１１９に初期値として記憶される全画素値のそれぞれに対応する誤差は、全て同一の値、本実施の形態では１とされる。
【００３３】
誤差メモリ１１９には上述の初期値が記憶されていることから、ヒストグラム変更部１１３では、上述の繰り返し動作の最初の動作時には、（２）式の演算を行うことなく、ヒストグラム生成部１１２で検出された頻度Ｈ(i)を、そのまま頻度関連情報Ｈ′(i)として出力できる。したがってこの場合には、原画像を構成する複数の画素の画素値に基づいて頻度関連情報Ｈ′(i)が生成されることとなる。
【００３４】
次に、図２に示す画像領域分割部１１０の動作を、図３のフローチャートを使用して説明する。
【００３５】
ステップＳ１において、ヒストグラム生成部１１２は、既にフレームメモリ１１１に記憶されている、例えば図４に示すような原画像を読み出し、例えば図５Ａに示すように、原画像に使用されている画素の画素値の使用頻度を示すヒストグラムを生成して、ヒストグラム変更部１１３に出力する。つまり、ヒストグラム生成部１１２では、（１）式の演算が行われる。なお、図５Ａ〜Ｆにおいては、図示を簡略化するために、横軸の目盛りを９としているが、実際の横軸の目盛りは、画素値の種類の数、本実施の形態では４０９６だけ存在する。
【００３６】
ヒストグラム変更部１１３は、ヒストグラム生成部１１２から入力されたヒストグラムと、誤差メモリ１１９から読み出した誤差を乗算し、その乗算結果を頻度関連情報として代表値決定部１１４に出力する。誤差メモリ１１９には原画像が取りうる全画素値のそれぞれに対応する誤差の初期値として全て１が記憶されており、ヒストグラム変更部１１３では、ヒストグラム生成部１１２で検出された頻度Ｈ(i)をそのまま頻度関連情報Ｈ′(i)として出力する。
【００３７】
ステップＳ２において、代表値決定部１１４は、入力された頻度関連情報に基づき、最も大きい値を有する頻度関連情報に対応する画素値を代表値として決定し、この代表値を代表値メモリ１１５に出力する。この場合、入力された頻度関連情報が図５Ａに示すものであるとき、画素値Ｃ１が代表値に決定され、これが代表値メモリ１１５に記憶される。
【００３８】
ステップＳ３において、置換部１１６は、フレームメモリ１１１から読み出した原画像を構成する各画素の画素値を、代表値メモリ１１５に記憶されている少なくとも１つの代表値のうち、誤差が最も小さい代表値に置換して出力画像を得、この出力画像をフレームメモリ１１７に記憶させる。つまり、置換部１１６では（３）式の演算が行われる。いまの場合、代表値がＣ１だけであるので、原画像の全ての画素の画素値がＣ１に置換されてフレームメモリ１１７に記憶される。
【００３９】
ステップＳ４において、誤差演算部１１８は、原画像が取りうる全画素値のそれぞれと、代表値メモリ１１５から読み出した代表値との誤差を検出し、各画素値に対応した誤差を求め、この誤差を誤差情報として誤差メモリ１１９に出力する。つまり、誤差演算部１１８では（４）式の演算が行われる。いまの場合、図５Ｂに示すように、画素値Ｃ１に対応する誤差の値が最小値０とされる。
【００４０】
ステップＳ５において、制御部１１０Ａは、終了条件を満たすか否かを判定する。終了条件は、上述したように各画素値に対応した誤差の最大値が第１の閾値未満となること、または各画素値に対応した誤差の総和が第２の閾値未満となること、あるいは繰り返し動作の回数が第３の閾値以上となること等である。終了条件をどれにするか、および閾値の設定は予め行われる。制御部１１０Ａは、終了条件を満たすときは、各部の動作を止めて領域分割処理を終了させ、一方終了条件を満たさないときは、ステップＳ６に進むように制御する。
【００４１】
ステップＳ６において、ヒストグラム変更部１１３は、誤差メモリ１１９から各画素値に対応する誤差の値を読み出し、自己が記憶しているヒストグラムの各画素値に対応する頻度を乗算して、その乗算結果を頻度関連情報として代表値決定部１１４に出力する。つまり、ヒストグラム変更部１１３では、（２）式の演算が行われる。いまの場合、図５Ｂに示す誤差が読み出され、図５Ａに示すヒストグラムの各画素値に対応する頻度に乗算される。そして、乗算結果、すなわち各画素値に対応した頻度関連情報は、図５Ｃに示すものとなる。
【００４２】
次に、再びステップＳ２において、代表値決定部１１４により、上述した説明と同様の処理が実行される。いまの場合、画素値Ｃ２が代表値に決定され、これが代表値メモリ１１５に追加記憶される。したがって、代表値メモリ１１５には、代表値として２個の画素値Ｃ１，Ｃ２が記憶されることになる。
【００４３】
ステップＳ３において、置換部１１６により、上述した説明と同様の処理が実行される。いまの場合、原画像の各画素の画素値が、画素値Ｃ１または画素値Ｃ２のうち、誤差が最も小さい代表値に置換されてフレームメモリ１１７に記憶される。
【００４４】
ステップＳ４において、誤差演算部１１８により、上述した説明と同様の処理が実行される。いまの場合、図５Ｄに示すように、画素値Ｃ１，Ｃ２に対応する誤差の値が最小値０とされる。
【００４５】
ステップＳ５において、誤差演算部１１８により、上述した説明と同様の処理が実行される。すなわち、制御部１１０Ａは、終了条件を満たすときは、各部の動作を止めて領域分割処理を終了させ、一方終了条件を満たさないときは、ステップＳ６に進むように制御する。
【００４６】
ステップＳ６において、ヒストグラム変更部１１３により、上述したと同様の処理が実行される。いまの場合、誤差メモリ１１９には、図５Ｄに示す誤差が記憶され、自己は図５Ａに示すヒストグラムを記憶しているので、乗算結果として得られる各画素値の頻度関連情報は、図５Ｅに示すものとなる。図５Ｆは、図５Ｅの頻度関連情報に対応する誤差を示している。図５Ｂ、図５Ｄ、図５Ｆから明らかなように、ステップＳ２〜Ｓ６の動作の処理が繰り返される毎に、誤差の最大値や誤差の総和は減少する。
【００４７】
上述したように、ステップＳ５において、制御部１１０Ａが終了条件を満たすと判定するとき、画像領域分割部１１０における領域分割処理が終了する。この場合、フレームメモリ１１７には、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が格納された状態となる。
【００４８】
このように、画像領域分割部１１０では、頻度関連情報より代表値が決定され、原画像を構成する画素の画素値が代表値に置換されて出力画像が得られ、さらに誤差を用いて新たな頻度関連情報が得られるようにしているので、エッジが明確でない領域を正確に分割できる。
【００４９】
次に、図１に示すオブジェクト抽出部１２０を説明する。このオブジェクト抽出部１２０は、上述のフレームメモリ１１７に格納された出力画像を処理して、隣接し、かつ画素値が同じ画素の集合をオブジェクトとして抽出する。そして、このオブジェクト抽出部１２０は、オブジェクトの抽出結果に基づいて、原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報（ラベル情報）をフレームメモリ１３０に記憶する。
【００５０】
図６は、このオブジェクト抽出部１２０で抽出された各オブジェクトを示す画像である。この図６では、画像が５３４のオブジェクト（領域）に分割されている。ただし、この図６においては、各オブジェクトの境界を明確に図示するため、色調を変更している。
【００５１】
オブジェクト抽出部１２０のオブジェクト抽出処理の詳細について、図７に示す画像Ａからオブジェクトとしての領域ａを抽出する場合を例にとって説明する。
【００５２】
画像Ａの領域ａ〜領域ｃは、複数の画素から構成されており、例えば領域ａの各画素は、図８に示すように配置されている。また、領域ａ〜領域ｃの各画素は、それぞれ領域毎に異なる画素値を保持している。
【００５３】
図９は、画像Ａから領域ａを識別する場合の処理手順を説明するフローチャートである。フレームメモリ１１７（図２参照）に記憶されている出力画像が入力されると、オブジェクト抽出部１２０は、ステップＳ１１において、画像Ａに前処理を施す。ここで、オブジェクト抽出部１２０は、領域識別処理の対象となる画像Ａの領域ａ〜領域ｃの各画素の属性を“NULL”とし、そして全ての画素に通し番号を設定する。
【００５４】
この例の場合、図１０に示すように、画像Ａの左上端の画素から右方向に順次通し番号が設定される。右端の画素に通し番号が設定されると、次に、１つ下の段（ライン）の左端の画素から右方向に、さらに通し番号が設定される。このように、画像Ａの全ての画素に通し番号が設定されると、前処理が完了し、ステップＳ１２に進む。
【００５５】
ステップＳ１２において、オブジェクト抽出部１２０は、識別する領域の画素に設定する属性を表す“COUNTER”に、所定の値（属性）を設定する。以下の処理では、領域ａの画素に“COUNTER”の値を設定するのであるが、各画素に“COUNTER”の値を設定する処理を、以下、ペイントと称する。
【００５６】
ステップＳ１３において、オブジェクト抽出部１２０は、認識すべき領域を指定するために、画像Ａの任意の画素を指定する（いまの場合、領域ａに含まれる画素が指定されたものとする）。ステップＳ１４において、オブジェクト抽出部１２０は、指定された画素をカレントポイントとする。次に、ステップＳ１５において、オブジェクト抽出部１２０は、カレントポイントとされた画素が保持する画素値をカレントカラーとする。例えば、いまの場合、図１１に示す領域ａの通し番号Ｍ番（以下、「＃Ｍ」と記述する）の画素がカレントポイントとされたものとする。
【００５７】
次に、ステップＳ１６において、オブジェクト抽出部１２０は、カレントポイントの属性を“NULL”から“B”に変更する。いまの場合、＃Ｍの点の属性が“NULL”から“B”に変更される。
【００５８】
ステップＳ１７において、オブジェクト抽出部１２０は、画像Ａの画素のうち、カレントカラーと同じ値の画素値を保持する画素、すなわち領域ａの画素であって、属性が“B”とされている画素が存在するか否かを判定し、このような条件を満たす画素が存在する場合、ステップＳ１８に進む。いまの場合、＃Ｍの画素がこの条件を満たしている。
【００５９】
ステップＳ１８において、オブジェクト抽出部１２０は、ステップＳ１７での条件を満たす画素のうち、通し番号が最も小さい画素を選択し、その属性を“COUNTER”とする。いまの場合、＃Ｍの画素の属性が“B”から“COUNTER”に変更される。このことより、図１２に示すように、＃Ｍの画素が例えば黒色にペイントされる。
【００６０】
次に、ステップＳ１９において、オブジェクト抽出部１２０は、カレントポイントに隣接する８個の画素（上下に隣接する２個の画素、左右に隣接する２個の画素、そして右上、右下、左上及び左下に隣接する１個の画素の合計８個の画素であり、以下、これらの画素を隣接画素と称する）のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている隣接画素が存在するか否かを判定し、このような条件を満たす隣接画素が存在する場合、ステップＳ２０に進む。
【００６１】
ステップＳ２０において、オブジェクト抽出部１２０は、ステップＳ１９での条件を満たす隣接画素の属性を“B”に変更する。例えば、いまの場合、図１２に示すように、＃（Ｌ−１）〜＃（Ｌ＋１），＃（Ｍ−１），＃（Ｍ＋１），＃（Ｎ−１）〜＃（Ｎ＋１）の画素の属性が“B”に変更される。なお、図１２において、属性が“B”とされた画素は、ハッチング（斜線表示）されている。
【００６２】
ステップＳ２１において、オブジェクト抽出部１２０はカレントポイントの通し番号の次の通し番号を有し、カレントカラーと同じ値の画素値を保持し、さらに属性が“NULL”または“B”とされている画素が存在するか否かを判定し、このような条件を満たす画素が存在する場合、ステップＳ２２に進む。いまの場合、＃（Ｍ＋１）の画素がその条件を満たす。
【００６３】
ステップＳ２２において、オブジェクト抽出部１２０は、ステップＳ２１での条件を満たす画素を次のカレントポイントとし、ステップＳ２３において、オブジェクト抽出部１２０は、その画素の属性を“COUNTER”に変更する。いまの場合、図１３に示すように、＃（Ｍ＋１）の画素が新しくカレントポイントとされ、黒色にペイントされる。
【００６４】
次に、ステップＳ２４において、オブジェクト抽出部１２０は、カレントポイントの８個の隣接画素のうち、カレントカラーと同じ値の画素の値を保持し、かつ属性が“NULL”とされている画素が存在するか否かを判定し、そのような条件を満たす隣接画素が存在する場合、ステップＳ２５に進む。
【００６５】
ステップＳ２５において、オブジェクト抽出部１２０は、ステップＳ２４での条件を満たす隣接画素の属性を“B”に変更する。例えば、いまの場合、図１４に示すように、カレントポイントである＃（Ｍ＋１）の画素の隣接画素のうち、＃（Ｌ＋２），＃（Ｍ＋２），＃（Ｎ＋２）の画素の属性が“B”に変更される。
【００６６】
ステップＳ２５の処理が完了すると、ステップＳ２１に戻り、以下、ステップＳ２１での条件を満たす画素が存在しなくなるまで、ステップＳ２１〜ステップＳ２５における処理が繰り返し実行される。
【００６７】
ステップＳ２４で、カレントポイントの隣接画素のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている画素が存在しないと判定された場合、ステップＳ２１に戻る。ステップＳ２１で、カレントポイントの通し番号の次の通し番号を有し、属性が“NULL”または“B”とされている画素が存在しないと判定された場合、ステップＳ１７に戻る。また、ステップＳ１９で、カレントポイントの隣接画素のうち、カレントカラーと同じ値の画素値を保持し、かつ属性が“NULL”とされている画素が存在しないと判定された場合、ステップＳ１７に戻る。
【００６８】
例えば、ステップＳ２２で、領域ａの＃（Ｍ＋５）の画素がカレントポイントとされ、ステップＳ２３でその属性が“COUNTER”に変更され、図１５に示すように、黒色でペイントされた場合、＃（Ｍ＋５）の隣接画素のうち、図示しない＃（Ｌ＋６），＃（Ｍ＋６），＃（Ｎ＋６）の画素は、領域ｃの画素であり、これらが保持する画素値は、カレントカラー（いまの場合、領域ａの画素が保持する画素値）と異なる。また、他の隣接画素、＃（Ｌ＋４），＃（Ｌ＋５），＃（Ｎ＋４），＃（Ｎ＋５）の画素は属性が“B”であり、他の隣接画素の＃（Ｍ＋４）の画素の属性は“COUNTER”である。すなわち、ステップＳ２４での条件を満たす隣接画素が存在しなくなる。
【００６９】
そこで、ステップＳ２１に戻るが、＃（Ｍ＋６）の画素は領域ｃの画素であり、ステップＳ２１での条件を満たさないので、さらにステップＳ１７に戻る。いまの場合、ステップＳ１７およびステップＳ１８において、＃（Ｌ−１）の画素が抽出され、図１６に示すように、その属性が“B”から“COUNTER”に変更され、＃（Ｌ−１）の画素が黒色にペイントされる。
【００７０】
このように、ステップＳ１７〜ステップＳ２５における処理が繰り返し実行され、領域ａの全ての画素がペイントされると、ステップＳ１７で、画像Ａの画素のうち、カレントカラー（領域ａの画素が保持する画素値）と同じ画素値を保持し、属性が“B”とされる画素が存在しないと判定され、処理が終了する。
【００７１】
図１７Ａ〜Ｏ、図１８Ａ〜Ｌは、画像Ａの領域ａの各画素が黒色にペイントされる様子を表している。このように、領域ａの各画素は順次ペイントされ、他の領域ｂおよび領域ｃから識別される。つまり、オブジェクトとしての領域ａが抽出されることとなる。
【００７２】
なお、オブジェクト（領域）を構成する画素数が所定数（例えば、３０個）以下の場合、それをオブジェクトと見なさないことにより、オブジェクトの数が増加することを抑制でき、例えば画素値平均化部１４０や動き検出・平均化部１６０等における処理を軽減させることができる。
【００７３】
上述したように、フレームメモリ１１１に格納された原画像と、フレームメモリ１３０に記憶されたラベル情報とが画素値平均化部１４０に供給され、オブジェクト毎に、そのオブジェクトに属する複数の画素の画素値が平均されて、そのオブジェクトの画素値が求められる。そして、フレームメモリ１５０には、各オブジェクトに対応する原画像の全て画素の画素値が、それぞれそのオブジェクトの画素値に置換されて記憶される。図１９は、フレームメモリ１５０に記憶されている画素値平均化画像を示している。この画像により、オブジェクト抽出部１２０でオブジェクトの抽出が適切に行われたことを確認できる。
【００７４】
次に、動き検出・平均化部１６０について説明する。図２０は、動き検出・平均化部１６０の構成例を示している。この動き検出・平均化部１６０は、フレームメモリ１６１と、コーナ検出部１６２と、コーナメモリ１６３と、動き検出部１６４と、動きメモリ１６５と、動き平均化部１６６とを有して構成される。
【００７５】
フレームメモリ１６１は、入力される原画像を記憶し、動き検出部１６４に出力する。画像領域分割部１１０のフレームメモリ１１１（図１参照）に記憶されている原画像がＪフレームの画像であるとき、フレームメモリ１６１に記憶される原画像は、例えば１フレーム前の（Ｊ−１）フレームの画像である。コーナ検出部１６２は、画像領域分割部１１０のフレームメモリ１１１より読み出される原画像内のコーナ部分を検出し、画像の各画素毎に、コーナであるか否かを示す情報をコーナメモリ１６３に記憶させる。
【００７６】
動き検出部１６４は、画像領域分割部１１０のフレームメモリ１１１およびフレームメモリ１６１より読み出される２フレームの画像を用いて、フレームメモリ１１１より読み出される原画像の各画素毎の動きを検出する。ただし、この動き検出部１６４は、コーナメモリ１６３に記憶されている情報を読み出し、原画像の中のコーナ部分の画素だけに対して、ブロックマッチング処理を実行して動きを検出し、その検出された動きを動きメモリ１６５に記憶させる。
【００７７】
動き平均化部１６６は、フレームメモリ１３０（図１参照）に記憶されているラベル情報（原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報）および動きメモリ１６５に記憶されている動きを使用し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均し、そのオブジェクトの動きを求める。
【００７８】
次に、図２０に示す動き検出・平均化部１６０の処理を、図２１のフローチャートを参照して説明する。
【００７９】
ステップＳ３１にいおいて、コーナ検出部１６２は、ブロックマッチング処理において正確な動きを検出できるコーナ部分を、入力された画像から検出する。このコーナ検出処理について、図２２のフローチャートを参照して説明する。
【００８０】
ステップＳ４１において、コーナ検出部１６２は、入力された画像ｆ（例えば、図２３に示すトラックの画像）にソーベル演算子（図２４Ａ，図２４Ｂ）を作用させて、画像ｆのｘ方向微分画像ｆｘ、およびｙ方向微分画像ｆｙを生成する。
【００８１】
すなわち、コーナ検出部１６２は、画像ｆの全ての画素を、順次、注目画素とし、その注目画素（例えば、図２５の画素Ｐ1）を中心とする９（＝３×３）個の画素の画素値Ｐ1〜Ｐ9と、図２４Ａに示したソーベル演算子の対応する値との積の総和
０×Ｐ1＋２×Ｐ2＋１×Ｐ3＋０×Ｐ4−１×Ｐ5−２×Ｐ6−１×Ｐ7＋０×Ｐ8＋１×Ｐ9
を、注目画素に対応するｘ方向微分画像ｆｘの画素の画素値として、ｘ方向微分画像ｆｘを生成し、同様に９個の画素の画素値Ｐ1〜Ｐ9と、図２４Ｂに示したソーベル演算子の対応する値との積の総和
０×Ｐ1＋０×Ｐ2＋１×Ｐ3＋２×Ｐ4＋１×Ｐ5＋０×Ｐ6−１×Ｐ7−２×Ｐ8−１×Ｐ9
を、注目画素に対応するｙ方向微分画像ｆｙの画素の画素値として、ｙ方向微分画像ｆｙを生成する。
【００８２】
ここで、微分画像ｆｘ，ｆｙについて説明する。画像ｆの座標（ｘ，ｙ）に位置する画素に対応するｘ方向微分画像ｆｘの画素の画素値ｆｘ（ｘ，ｙ）と、ｙ方向微分画像ｆｙの画素の画素値ｆｙ（ｘ，ｙ）を、それぞれ、ｘ成分、ｙ成分とするベクトル（ｆｘ（ｘ，ｙ），ｆｙ（ｘ，ｙ））を考える。このベクトルは、図２６Ａ、図２６Ｂに示すように、画像ｆの座標（ｘ，ｙ）における画素値（例えば、輝度）の最大傾斜の方向ベクトル（画像ｆの等画素値線から構成される曲面と直交する方向ベクトル）のｘｙ平面への写像である。
【００８３】
したがって、画像ｆの座標（ｘ，ｙ）の画素に対応するベクトル（ｆｘ（ｘ，ｙ），ｆｙ（ｘ，ｙ））と、その近傍の座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素に対応するベクトル（ｆｘ（ｘ＋Δｘ，ｙ＋Δｙ），ｆｙ（ｘ＋Δｘ，ｙ＋Δｙ））との外積の値
ｆｘ（ｘ，ｙ）ｆｙ（ｘ＋Δｘ，ｙ＋Δｙ）
−ｆｙ（ｘ，ｙ）ｆｘ（ｘ＋Δｘ，ｙ＋Δｙ）
を用いることにより、画像ｆの座標（ｘ，ｙ）の近傍の画素値の平坦性を判定することが可能となる。
【００８４】
ステップＳ４２において、コーナ検出部１６２は、画素の座標を示すパラメータ（ｉ，ｊ）を、開始画素（ピクセル）に対応した（０，０）に初期化する。ただし、ｉ＝０〜ｘmax−１(ｘmaxは画像ｆの横幅）であり、ｊ＝０〜ｊmax−１（ｊmaxは画像ｆの縦幅）である。そして、ステップＳ４３において、コーナ検出部１６２は、パラメータ（ｉ，ｊ）が終了画素に対応した（ｘmax−１，ｊmax−１）を越えたか否かを判定し、（ｘmax−１，ｊmax−１）を越えていないと判定した場合、ステップＳ４４に進む。
【００８５】
ステップＳ４４において、コーナ検出部１６２は、次式のように、画像ｆの座標（ｉ，ｊ）に位置する画素（例えば、図２５の画素Ｐ1）に対応するベクトル（ｆｘ（ｉ，ｊ），ｆｙ（ｉ，ｊ））と、その近傍の２４個の画素（画素Ｐ2〜Ｐ25）に対応するベクトル（ｆｘ（ｉ＋α，ｊ＋β），ｆｙ（ｉ＋α，ｊ＋β））との外積の絶対値の総和からなる評価値を演算する。ただし、α，β＝−２〜２である。
【００８６】
評価値＝Σ｜ｆｘ（ｉ，ｊ）・ｆｙ（ｉ＋α，ｊ＋β）
−ｆｙ（ｉ，ｊ）・ｆｘ（ｉ＋α，ｊ＋β）｜
例えば、画像ｆの座標（ｉ，ｊ）に位置する画素に対応するベクトルと、その近傍の２４個の画素に対応するベクトルが全て平行である場合、上述の評価値は０となる。
【００８７】
ステップＳ４５において、コーナ検出部１６２は、ステップＳ４４で演算した評価値が予め設定される閾値よりも大きいか否かを判定する。評価値が閾値よりも大きいと判定した場合、ステップＳ４６に進む。
【００８８】
ステップＳ４６において、コーナ検出部１６２は、画像ｆの座標（ｉ，ｊ）の画素をコーナ部分に識別し、座標（ｉ，ｊ）と評価値を対応づけてコーナメモリ１６３に記憶させる。
【００８９】
ステップＳ４７において、コーナ検出部１６２は、座標を示すパラメータ（ｉ，ｊ）を次の画素に対応するようにインクリメントして、ステップＳ４３に戻り、上述したと同様の処理を繰り返す。
【００９０】
ステップＳ４５において、コーナ検出部１６２は、評価値が閾値よりも大きくないと判定した場合、ステップＳ４８に進む。ステップＳ４８において、コーナ検出部１６２は、画像ｆの座標（ｉ，ｊ）の画素を平坦部分に識別し、その情報をコーナメモリ１６３に記憶させる。
【００９１】
図２７は、コーナメモリ１６３に記憶された評価値を使用した画像を示している。この図２７からも明らかなように、コーナメモリ１６３には、原画像のコーナ部分だけに対応する評価値が記憶されることとなる。なお、コーナメモリ１６３には、評価値そのものではなく、２値化後の評価値を記憶するようにしてもよい。図２８は、２値化後の評価値を使用した画像を示している。
【００９２】
ステップＳ４３において、パラメータ（ｉ，ｊ）が終了画素に対応した（ｘmax−１，ｊmax−１）を越えていると判定した場合、図２１のステップＳ３２にリターンする。
【００９３】
ステップＳ３２において、動き検出部１６４は、コーナメモリ１６３に座標と対応づけて記憶されている評価値を参照し、フレームメモリ１１１より読み出された原画像のうち、コーナ部分と識別された画素に対してだけ、フレームメモリ１６１に記憶されている１フレーム前の画像とのブロックマッチング処理を実行して、その結果を動きメモリ１６５に記憶させる。
【００９４】
そして、ステップＳ３３において、動き平均化部１６６は、フレームメモリ１３０（図１参照）に記憶されているラベル情報（原画像の各画素がそれぞれ複数のオブジェクトのいずれに属するかを示す情報）および動きメモリ１６５に記憶されている動きを使用し、オブジェクト毎に、そのオブジェクトに含まれる領域の動きを平均し、そのオブジェクトの動きを求め、動き格納用レジスタ１７０（図１参照）に記憶させる。
【００９５】
このように、動き検出・平均化部１６０は、動き検出の精度が低いと思われる平坦部分を除外して動きを検出し、その検出された動きのみを用いて各オブジェクトの動きを求めるものであり、各オブジェクトの動きを制度よく検出することができる。また、この動き検出・平均化部１６０は、平坦部分を除外して動きを検出するものであり、全ての画素に対してブロックマッチング処理を実行して動きを検出する場合に比べて、動き検出に要する時間を大幅に短縮できる。また、このようにオブジェクト毎の動きを検出できるので、オブジェクト単位の動き補償を利用した画像圧縮に適用することができる。
【００９６】
なお、動き検出・平均化部１６０の動き検出部１６４ではブロックマッチング処理により１画素の領域毎に動きが検出されるが、例えば複数画素の領域毎に動きが検出されるものであってもよい。
【００９７】
次に、画像領域分割部１１０の他の構成例について説明する。
【００９８】
図２９は、画像領域分割部１１０の他の構成例を示している。この図２９において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００９９】
この画像領域分割部１１０は、制御部２１０Ａと、フレームメモリ１１１と、頻度関連情報生成部２１３と、代表値決定部１１４と、代表値メモリ１１５と、置換部１１６と、フレームメモリ１１７と、誤差演算部２１８と、誤差メモリ２１９とを有して構成される。
【０１００】
頻度関連情報生成部２１３は、原画像に使用されている画素値の使用頻度に、その画素値に対応する誤差を乗算し、原画像が取りうる全画素値のそれぞれに対応した頻度関連情報を代表値決定部１１４に出力する。この場合、画素値がｉであるときの、頻度関連情報Ｈ′(i)は、（５）式によって得られる。この（５）式において、f(x,y)は、水平方向にｘ番目、垂直方向にｙ番目の画素の画素値を示し、ｄ(x,y)は画素値f(x,y)に対応した誤差である。この頻度関連情報生成部２１３で生成される頻度関連情報は、図２のヒストグラム変更部１１３で生成される頻度関連情報と同一のものとなる。
【０１０１】
【数５】
【０１０２】
【数６】
【０１０３】
誤差メモリ２１９には、原画像を構成する各画素の画素値ｆ(x,y)に対応した誤差ｄ(x,y)の初期値として、頻度関連情報への影響を無視できる値が記憶されている。例えば、誤差メモリ２１９に初期値として記憶される誤差ｄ(x,y)は全て同一の値、例えば１とされる。
【０１０４】
誤差メモリ２１９には上述の初期値が記憶されていることから、ヒストグラム変更部１１３では、上述の繰り返し動作の最初の動作時には、（５）式において、ｄ(x,y)の乗算を省略することができる。
【０１０５】
図２９に示す画像領域分割部１１０のその他は、図２に示す画像領域分割部１１０と同様に構成される。そして、図２９に示す画像領域分割部１１０も、図２に示す画像領域分割部１１０と同様の動作をし、最終的に、フレームメモリ１１７には、それぞれの領域内の画素の画素値が同一とされた複数領域からなる出力画像が格納されることとなる。
【０１０６】
なお、上述した図３等の各処理を行うコンピュータプログラムは、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体よりなる提供媒体の他、インターネット、ディジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１０７】
また、上述では原画像がカラー画像であるものを示したが、この発明は原画像が白黒画像であるものにも同様に適用できる。
【産業上の利用可能性】
【０１０８】
以上のように、この発明に係る画像処理装置等は、例えば画像からのオブジェクトの抽出、オブジェクト毎の動き補償を利用した画像圧縮等のために画像領域を分割する際に適用して好適なものとなる。
【図面の簡単な説明】
図１は、実施の形態としての画像処理装置の構成を示すブロック図である。図２は、画像領域分割部の構成例を示すブロック図である。図３は、画像領域分割部の動作を説明するためのフローチャートである。図４は、原画像を示す図である。図５Ａ〜Ｆは、画像領域分割部における処理を説明するためのするための図である。図６は、オブジェクト抽出部で抽出された各オブジェクトに対応した画像を示す図である。図７は、画像Ａの表示例を示す図である。図８は、画像Ａの領域ａの画素の配列を示す図である。図９は、領域抽出処理を説明するためのフローチャートである。図１０は、通し番号の設定方法を説明するための図である。図１１は、画像Ａの領域ａの画素の通し番号の設定例を示す図である。図１２は、領域ａの画素のペイント状況を示す図である。図１３は、領域ａの画素の他のペイント状況を示す図である。図１４は、領域ａの画素の他のペイント状況を示す図である。図１５は、領域ａの画素の他のペイント状況を示す図である。図１６は、領域ａの画素の他のペイント状況を示す図である。図１７Ａ〜Ｏは、領域ａの各画素がペイントされていく様子を示す図である。図１８Ａ〜Ｌは、領域ａの各画素がペイントされていく様子を示す図である。図１９は、画素値平均化画像を示す図である。図２０は、動き検出・平均化部の構成例を示すブロック図である。図２１は、動き検出・平均化部の処理を説明するためのフローチャートである。図２２は、コーナ検出処理を説明するためのフローチャートである。図２３は、原フレームの画像を示す図である。図２４Ａ，Ｂは、ソーベル演算子を示す図である。図２５は、画素の配置を示す図である。図２６Ａ，Ｂは、最大傾斜の方向ベクトルを説明するための図である。図２７は、コーナメモリに記憶された評価値を使用した画像を示す図である。図２８は、２値化後の評価値を使用した画像を示す図である。図２９は、画像領域分割部の他の構成例を示すブロック図である。
Claims (13)
- 原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報生成部と、
前記頻度関連情報生成部により生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定部と、
前記代表値決定部で決定された代表値を記憶する代表値記憶部と、
前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換部と、
前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成部と、
前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報生成部、前記代表値決定部、前記代表値記憶部、前記置換部および前記誤差情報生成部が繰り返し動作するように制御する制御部とを備え、
前記置換部は、前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像を出力する
ことを特徴とする画像処理装置。 - 前記所定の条件は、前記誤差情報の最大値が所定の閾値未満となること、または、前記誤差情報の総和が所定の閾値未満となることである
ことを特徴とする請求項１記載の画像処理装置。 - 前記所定の固定値は１である
ことを特徴とする請求項１記載の画像処理装置。 - 前記置換部が出力する出力画像に基づいて、前記原画像に含まれるオブジェクトを抽出する抽出部をさらに備える
ことを特徴とする請求項１記載の画像処理装置。 - 前記抽出部は、隣接し、かつ、画素値が同じ画素の集合を、前記オブジェクトとして抽出する
ことを特徴とする請求項４記載の画像処理装置。 - 前記原画像の動きを前記原画像内の領域毎に検出する動き検出部と、
前記抽出部で抽出されたオブジェクト内に含まれる前記領域の動きに基づいて、前記オブジェクトの動きを検出するオブジェクト動き検出部とをさらに備える
ことを特徴とする請求項４記載の画像処理装置。 - 前記領域は１画素または複数画素で構成される
ことを特徴とする請求項６記載の画像処理装置。 - 前記オブジェクト動き検出部は、前記抽出部で抽出されたオブジェクト内に含まれる前記領域の動きを平均することで、前記オブジェクトの動きを検出する
ことを特徴とする請求項６記載の画像処理装置。 - 前記原画像は、カラー画像である
ことを特徴とする請求項１記載の画像処理装置。 - 原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、
前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、
前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、
前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、
前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、
前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、
前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される
ことを特徴とする画像処理方法。 - 原画像を構成する複数の画素の画素値の頻度を検出し、前記頻度と、前記原画像の各画素値に対応して生成される誤差情報とを対応する画素値毎に乗算することにより、各画素値の頻度に関連する頻度関連情報を生成する頻度関連情報ステップと、
前記頻度関連情報生成ステップにおいて生成された前記頻度関連情報のうち、最も大きい値を有する頻度関連情報に対応する画素値を、画素値の代表値として決定する代表値決定ステップと、
前記決定された代表値を代表値記憶部に記憶させる代表値記憶ステップと、
前記原画像を構成する複数の画素の画素値を、前記代表値記憶部に記憶されている１以上の代表値のうち、誤差が最も小さい代表値にそれぞれ置換することで、出力画像を生成する置換ステップと、
前記原画像が取りうる全画素値のそれぞれについて、前記代表値記憶部に記憶されている代表値のうち最も距離の小さい代表値との距離を前記誤差情報として生成する誤差情報生成ステップと、
前記誤差情報の初期値として所定の固定値が設定されている状態から、所定の条件を満たすまで、前記頻度関連情報ステップ、前記代表値決定ステップ、前記代表値記憶ステップ、前記置換ステップおよび前記誤差情報生成ステップを繰り返し行うように制御する制御ステップとを備え、
前記所定の条件を満たし、繰り返し動作が終了したと判定されたときの前記出力画像が出力される
処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。 - 前記プログラムは、上記コンピュータに、前記繰り返し動作が終了したと判定されたときの前記出力画像に基づいて、前記原画像に含まれるオブジェクトを抽出する抽出ステップを、さらに実行させるためのものである
ことを特徴とする請求項１１記載のコンピュータ読み取り可能な記録媒体。 - 前記プログラムは、上記コンピュータに、前記原画像の動きを前記原画像内の領域毎に検出する動き検出ステップと、前記抽出されたオブジェクト内に含まれる前記領域の動きに基づいて、前記オブジェクトの動きを検出するオブジェクト動き検出ステップとを、さらに実行させるためのものである
ことを特徴とする請求項１２記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35077098 | 1998-11-25 | ||
| PCT/JP1999/006585 WO2000031688A1 (fr) | 1998-11-25 | 1999-11-25 | Dispositif et procede de traitement d'image, et support enregistre lisible par ordinateur |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4453202B2 true JP4453202B2 (ja) | 2010-04-21 |
Family
ID=18412757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000584431A Expired - Fee Related JP4453202B2 (ja) | 1998-11-25 | 1999-11-25 | 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6611562B1 (ja) |
| EP (1) | EP1050848A4 (ja) |
| JP (1) | JP4453202B2 (ja) |
| KR (1) | KR100591491B1 (ja) |
| WO (1) | WO2000031688A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100393125C (zh) * | 2005-02-05 | 2008-06-04 | 威盛电子股份有限公司 | 处理图像帧的方法 |
| US20070069980A1 (en) * | 2005-07-18 | 2007-03-29 | Macinnis Alexander | Method and sysem for estimating nosie in video data |
| CN100461865C (zh) * | 2005-10-21 | 2009-02-11 | 广达电脑股份有限公司 | 运动矢量估计系统 |
| EP2188978A2 (en) * | 2007-09-10 | 2010-05-26 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
| CN102301395B (zh) * | 2009-01-29 | 2014-08-06 | 日本电气株式会社 | 特征选择设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| JPH06168328A (ja) * | 1992-12-01 | 1994-06-14 | Matsushita Electric Ind Co Ltd | 画像信号の領域分割装置 |
| JP3268953B2 (ja) * | 1995-02-27 | 2002-03-25 | 三洋電機株式会社 | 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置 |
| JP2822007B2 (ja) | 1995-03-24 | 1998-11-05 | 株式会社エイ・ティ・アール通信システム研究所 | 画像中の輪郭の抽出・追跡方法 |
| JPH0950526A (ja) * | 1995-08-08 | 1997-02-18 | Sony Corp | 領域分割処理装置及び領域分割処理方法 |
| JP3456617B2 (ja) | 1995-11-24 | 2003-10-14 | ソニー株式会社 | 領域分割装置 |
| US5838828A (en) * | 1995-12-12 | 1998-11-17 | Massachusetts Institute Of Technology | Method and apparatus for motion estimation in a video signal |
| US6078688A (en) | 1996-08-23 | 2000-06-20 | Nec Research Institute, Inc. | Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region |
| JP3226020B2 (ja) * | 1997-05-28 | 2001-11-05 | 日本電気株式会社 | 動きベクトル検出装置 |
-
1999
- 1999-11-25 KR KR1020007008106A patent/KR100591491B1/ko not_active IP Right Cessation
- 1999-11-25 EP EP99972764A patent/EP1050848A4/en not_active Withdrawn
- 1999-11-25 JP JP2000584431A patent/JP4453202B2/ja not_active Expired - Fee Related
- 1999-11-25 US US09/600,899 patent/US6611562B1/en not_active Expired - Fee Related
- 1999-11-25 WO PCT/JP1999/006585 patent/WO2000031688A1/ja active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| EP1050848A1 (en) | 2000-11-08 |
| WO2000031688A1 (fr) | 2000-06-02 |
| KR100591491B1 (ko) | 2006-06-20 |
| US6611562B1 (en) | 2003-08-26 |
| KR20010034364A (ko) | 2001-04-25 |
| EP1050848A4 (en) | 2003-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3540637B1 (en) | Neural network model training method, device and storage medium for image processing | |
| EP1843294B1 (en) | Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device | |
| US7936950B2 (en) | Apparatus for creating interpolation frame | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP5333440B2 (ja) | 処理システム、画像処理方法および画像処理用プログラム | |
| JP2006311480A (ja) | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム | |
| US8903195B2 (en) | Specification of an area where a relationship of pixels between images becomes inappropriate | |
| JP5751254B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| WO2015198368A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP5617841B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| US7840068B2 (en) | System and method for video processing by image segmentation | |
| US8472756B2 (en) | Method for producing high resolution image | |
| KR101038690B1 (ko) | 화상 신호 처리 장치 및 방법, 및 기록 매체 | |
| WO2011074121A1 (ja) | 動きベクトル検出装置及び方法 | |
| JP4453202B2 (ja) | 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 | |
| JP4496595B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| WO2013011797A1 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| US20210150723A1 (en) | Image processing device, image processing method, and program | |
| JP2010157877A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
| JPWO2015198368A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP5634494B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| WO2023017723A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| JP2010074416A (ja) | 画像データ処理方法、画像データ処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090916 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100112 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |