JP4329331B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4329331B2 JP4329331B2 JP2002327269A JP2002327269A JP4329331B2 JP 4329331 B2 JP4329331 B2 JP 4329331B2 JP 2002327269 A JP2002327269 A JP 2002327269A JP 2002327269 A JP2002327269 A JP 2002327269A JP 4329331 B2 JP4329331 B2 JP 4329331B2
- Authority
- JP
- Japan
- Prior art keywords
- class code
- pixel
- bit
- generated
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、時間的に連続する画像対の画素同士をマッチングさせる場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
例えば、MPEG2(Moving Picture Experts Group)方式等の画像信号を圧縮符号化する処理においては、隣接する2フレーム間の相関関係に基づく符号化処理、いわゆる動き補償フレーム間予測が用いられている。動き補償フレーム間予測では、隣接する2フレーム(一方を対象フレーム、他方を参照フレームと記述する)の間における各画素単位または所定サイズの画素ブロック単位の動きベクトルを検出する処理が必要となる。
【0003】
動きベクトルを検出する方法としては、従来、ブロックマッチングアルゴリズムと称される方法が用いられている(例えば、特許文献1参照)。
【0004】
図1は、ブロックマッチングアルゴリズムに従って動きベクトルを検出する動きベクトル検出装置の構成例を示している。この動きベクトル検出装置1は、入力される画像信号を1フレーム分だけ保持して後段に出力するフレームメモリ2,3、およびフレームメモリ2,3からそれぞれ1フレームずつ入力される画像信号に基づき、フレームメモリ2から入力される画像信号の画像内の動きベクトルを検出する検出部4から構成される。
【0005】
フレームメモリ2は、入力された画像信号を1フレームだけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号をフレームメモリ3および検出部4に出力する。フレームメモリ3は、フレームメモリ2から入力された画像信号を1フレーム分だけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号を検出部4に出力する。
【0006】
したがって、検出部4には、前後する2フレームの画像信号が入力されることになる。以下、フレームメモリ2から検出部4に入力された1フレームの画像信号の画像を、対象フレームFcと記述する。また、フレームメモリ3から検出部4に入力された、対象フレームFcよりも1フレームだけ以前の画像信号の画像を、参照フレームFrと記述する。
【0007】
検出部4は、ブロックマッチングアルゴリズムに従い、対象フレームFc内の動きベクトルを算出する。ブロックマッチングアルゴリズムについて、対象フレームFcと参照フレームFrの対応関係を示す図2および処理に順序を示す図3のフローチャートを参照して説明する。
【0008】
ブロックマッチングアルゴリズムでは、対象フレームFc内の全ての画素が、順次、注目画素に指定され、注目画素を中心とする所定サイズ(L×L画素)の基準ブロックと、参照フレームFrに設けられたサーチエリアSR内で移動される参照ブロック(基準ブロックと同じサイズ)との対応する画素対の画素値の差分絶対値和が次式(1)に従って演算される。
ΣiΣj=|Fc(i,j)−Frn(i,j)| ・・・(1)
【0009】
ただし、Fc(i,j)は基準ブロックの画素の画素値であり、Frn(i,j)は識別番号nの参照ブロックの画素の画素値である。また、Σiはiを1からLまで1ずつインクリメントしたときの総和演算を意味し、Σjはjを1からLまで1ずつインクリメントしたときの総和演算を意味するものとする。
【0010】
そして、基準ブロックと参照ブロックとの対応する画素対の画素値の差分絶対値和が最小となるときの参照ブロックの中心座標と注目画素の座標との差分ベクトルが動きベクトルとして算出される。
【0011】
具体的には、対象フレームFcの注目画素に対して、以下の処理が実行される。ステップS1において、検出部4は、参照フレームFcに、対象フレームFcの注目画素の座標と同じ座標を中心として、基準ブロックよりも大きなサイズのサーチエリアSRを設定する。
【0012】
ステップS2において、検出部4は、差分絶対値和の最小値を格納する変数minを、その最大値に初期化する。例えば、1画素の画素値が8ビット、基準ブロックのサイズが4×4画素である場合、変数minが、4096(=28×16)に初期化される。
【0013】
ステップS3において、検出部4は、サーチエリアSR内で移動させる参照ブロックの識別番号nを1に初期化する。ステップS4において、検出部4は、差分絶対値和の演算結果を格納する変数sumを0に初期化する。
【0014】
ステップS5において、検出部4は、対象フレームFcの基準ブロックと、参照フレームFrに設定したサーチエリアSR内の識別番号nの参照ブロックとの対応する場所に位置する画素対の画素値の差分絶対値和を演算して、変数sumに代入する。ステップS6において、検出部4は、ステップS5の演算結果である変数sumと変数minを比較し、変数sumが変数minよりも小さいか否かを判定する。変数sumが変数minよりも小さいと判定された場合、処理はステップS7に進む。
【0015】
ステップS7において、検出部4は、変数minを、変数sumで置換する。また、検出部4は、いまの参照ブロックの識別番号nを、動きベクトル番号として記憶する。
【0016】
ステップS8において、検出部4は、参照ブロックの識別番号nが最大値であるか否か、すなわち、サーチエリアSRの全域に参照ブロックを移動し終えたか否かを判定する。参照ブロックの識別番号nが最大値ではないと判定された場合、処理はステップS9に進む。ステップS9において、検出部4は、参照ブロックの識別番号nを1だけインクリメントし、ステップS4の処理に戻って、それ以降の処理を繰り返す。
【0017】
なお、ステップS6において、変数sumが変数minよりも小さくないと判定された場合、処理はステップS7の処理はスキップされる。
【0018】
その後、ステップS8において、参照ブロックの識別番号nが最大値ではないと判定された場合、すなわち、サーチエリアSRの全域に参照ブロックを移動し終えた場合、処理はステップS10に進む。
【0019】
ステップS10において、検出部4は、動きベクトル番号として記憶している識別番号nに対応する参照ブロックの中心座標と、対象フレームFcの注目画素の座標との差分ベクトルを、対象フレームFcの注目画素の動きベクトルとして算出する。以上で、ブロックマッチングアルゴリズムの説明を終了する。
【0020】
【特許文献1】
特許第3277417号公報
【0021】
【発明が解決しようとする課題】
上述したブロックマッチングアルゴリズムは、ステップS5の処理における画素対の画素値の差分絶対値和の演算量が非常に膨大となっており、画像圧縮処理に要する時間の大半がこの演算に費やされてしまうという課題があった。
【0022】
本発明はこのような状況に鑑みてなされたものであり、僅かな演算量だけで画像間のマッチングを行うことができ、しかも動きベクトル等を精度良く検出できるようにすることを目的とする。
【0023】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像を構成する各画素を順次注目画素として、注目画素と注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定する設定手段と、設定されたクラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRCにより0または1に符号化することにより、注目画素に対して1種類のクラスコードを生成する生成手段と、サンプルとなる複数の画像の各画素に対して、クラスコード用タップが設定され、設定されたクラスコード用タップに対応するクラスコードが生成され、生成されたクラスコードと、クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、クラスコードの各ビット位置におけるビット反転の発生頻度と、クラスコードとが対応付けられた対応テーブルを保持する保持手段とを含み、生成手段は、注目画素に対して生成した1種類の前記クラスコードを、さらに、保持されている対応テーブルに基づき、クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類のクラスコードに拡張する。
【0024】
前記生成手段は、保持されている対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に所定の数のビットを、場合分けビットに決定するようにすることができる。
【0025】
前記生成手段は、保持されている対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に各ビットの発生頻度を加算した値が所定の値を超えるビットまでを、場合分けビットに決定するようにすることができる。
【0026】
前記生成手段は、保持されている対応テーブルに基づき、全てのクラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に所定の数のビットを、場合分けビットに決定するようにすることができる。
【0027】
前記生成手段は、保持されている対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、ビット反転の発生頻度が所定の値以上のビットを、場合分けビットに決定するようにすることができる。
【0028】
本発明の画像処理装置は、対象フレームの画像の各画素に対して生成された前記クラスコードと、前記対象フレームと時間的に前後する参照フレームの画像の各画素に対して生成された前記クラスコードとを比較することにより、前記対象フレームの画像の画素と前記参照フレームの画像の画素とをマッチングさせるマッチング手段をさらに含むことができる。
【0031】
本発明の画像処理方法は、入力された画像を構成する各画素を順次注目画素として、注目画素と注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、設定されたクラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRCにより0または1に符号化することにより、注目画素に対して1種類のクラスコードを生成し、サンプルとなる複数の画像の各画素に対して、クラスコード用タップが設定され、設定されたクラスコード用タップに対応するクラスコードが生成され、生成されたクラスコードと、クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、クラスコードの各ビット位置におけるビット反転の発生頻度と、クラスコードとが対応付けられた対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを、さらに、クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類のクラスコードに拡張するステップを含む。
【0032】
本発明の記録媒体は、入力された画像を構成する各画素を順次注目画素として、注目画素と注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、設定されたクラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRCにより0または1に符号化することにより、注目画素に対して1種類のクラスコードを生成し、サンプルとなる複数の画像の各画素に対して、クラスコード用タップが設定され、設定されたクラスコード用タップに対応するクラスコードが生成され、生成されたクラスコードと、クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、クラスコードの各ビット位置におけるビット反転の発生頻度と、クラスコードとが対応付けられた対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを、さらに、クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類のクラスコードに拡張するステップを含む処理を画像処理装置のコンピュータに実行させるプログラムが記録されている。
【0033】
本発明のプログラムは、入力された画像を構成する各画素を順次注目画素として、注目画素と注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、設定されたクラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRCにより0または1に符号化することにより、注目画素に対して1種類のクラスコードを生成し、サンプルとなる複数の画像の各画素に対して、クラスコード用タップが設定され、設定されたクラスコード用タップに対応するクラスコードが生成され、生成されたクラスコードと、クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、クラスコードの各ビット位置におけるビット反転の発生頻度と、クラスコードとが対応付けられた対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードを、さらに、クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類のクラスコードに拡張するステップを含む処理を画像処理装置のコンピュータに実行させる。
【0034】
本発明においては、入力された画像を構成する各画素を順次注目画素として、注目画素と注目画素の近傍に位置する複数の画素からなるクラスコード用タップが設定され、設定されたクラスコード用タップに含まれる複数の画素の各画素値が、1ビットADRCにより0または1に符号化されることにより、注目画素に対して1種類のクラスコードが生成される。さらに、サンプルとなる複数の画像の各画素に対して、クラスコード用タップが設定され、設定されたクラスコード用タップに対応するクラスコードが生成され、生成されたクラスコードと、クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、クラスコードの各ビット位置におけるビット反転の発生頻度と、クラスコードとが対応付けられた対応テーブルに基づき、注目画素に対して生成した1種類のクラスコードが、さらに、クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットが決定され、注目画素に対して生成した1種類のクラスコードを構成する複数のビットのうち、場合分けビットに決定した各ビットが、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類のクラスコードに拡張される。
【0035】
【発明の実施の形態】
本発明を適用した動きベクトル検出装置の構成例について、図4を参照して説明する。この動きベクトル検出装置11は、フレームメモリ12,13、クラスコード生成部14、テーブルメモリ15、MEメモリ16、および動きベクトル演算部17から構成される。
【0036】
フレームメモリ12は、入力された画像信号を1フレームだけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号をフレームメモリ13およびクラスコード生成部14に出力する。フレームメモリ13は、入力された画像信号を1フレームだけ保持し、次のフレームの画像信号がフレームメモリ12から入力されたとき、保持していた画像信号をクラスコード生成部14に出力する。
【0037】
したがって、クラスコード生成部14には、時間的に前後する2フレームの画像信号が入力されることになる。以下、フレームメモリ12からクラスコード生成部14に入力される1フレームの画像信号の画像を、対象フレームFcと記述する。また、フレームメモリ13からクラスコード生成部14に入力される、対象フレームFcよりも1フレームだけ以前の画像信号の画像を、参照フレームFrと記述する。
【0038】
クラスコード生成部14は、対象フレームFcの全ての画素に対し、それぞれ、近傍の画素の画素値を用いた空間的な特徴を示すクラスコードを1種類だけ生成して、動きベクトル演算部17に出力する。具体的には、対象フレームFcの全ての画素を、順次、注目画素に設定し、注目画素を中心とする所定サイズのクラスコード用タップ(例えば、図5に示すような3×3画素)を決定して、クラスコード用タップに含まれる複数の画素(図5の場合、9画素)の画素値を、1ビットADRC(Adaptive Dynamic Range Coding)によってそれぞれ0また1に符号化して、所定のビット数(図5の場合、9ビット)のクラスコードを生成する。
【0039】
また、クラスコード生成部14は、参照フレームFrの全ての画素に対し、それぞれ、近傍の画素の画素値を用いた空間的な特徴を示すクラスコードを1種類だけ生成する。ただし、参照フレームFrは、1回前のタイミングにおいて対象フレームFcであったものであるので、参照フレームFrの各画素に対する1種類のクラスコードは、既に1回前のタイミングにおいて生成されている。よって、1回前のタイミングにおいて対象フレームFcの各画素に対して生成されたクラスコードを保持するようにして、今回のタイミングにおける参照フレームFrの各画素に対するクラスコードとして流用するようにしてもよい。
【0040】
さらに、クラスコード生成部14は、テーブルメモリ15に予め保持されている、第1または第2のテーブルに基づいて、生成した1種類のクラスコードを構成する複数のビットのうち、所定のビットをそれぞれ0にした場合と1にした場合の2通りを場合分けして、1種類以上のクラスコードを生成し、MEメモリ16に出力する。なお、参照フレームFrの画素に対してクラスコードを生成する処理については後述する。
【0041】
テーブルメモリ15には、クラスコードと、0と1の2通りに場合分けして符号化させるビット数との対応を示す第1のテーブルと、クラスコードとクラスコード用タップにおける各画素位置のビット反転の発生の頻度を示す第2のテーブルが記憶されている。なお、第1および第2のテーブルは、サンプルとなる複数の画像信号を用いて予め統計的に生成されて、テーブルメモリ15に予め記憶されているものとする。
【0042】
第1のテーブルを生成する処理について、図6乃至図8を参照して説明する。まず、サンプルとなる複数の画像信号の各画素に対して、クラスコード用タップが設定されて、ADRCによりクラスコードが生成される。次に、生成された全てのクラスコードがそれぞれ元となったクラスコード用タップ内の複数の画素値と比較されて、クラスコードの中でビット反転が生じているビットが判定され、そのビット数が計数される。そして、その計数結果に基づき、図6に示すような、横軸にビット数、縦軸に正規化されたビット反転の発生頻度を示すヒストグラムが生成される。
【0043】
なお、図6には、4種類のクラスコードに対する計数結果を示す折れ線a乃至dが示されているが、実際には、例えば、クラスコードが9ビットである場合、512(=29)種類のクラスコードに対する計数結果をそれぞれ示す512本の折れ線が得られることになる。さらに、各クラスコードについて、ビット反転の発生頻度の累計が所定の値となるようにビット数Kが決定されて、第1のテーブルに書き込まれる。なお、当該所定の値は、全てのクラスコードに対して共通の値が用いられる。
【0044】
例えば、当該所定の値が40%と定められた場合、折れ線dに対応するクラスコードに対しては、図7に示すように、ビット数K=1が決定される。また、例えば、当該所定の値が80%と定められた場合、折れ線dに対応するクラスコードに対しては、図8に示すように、ビット数K=3が決定される。
【0045】
図9は、図5のクラスコード用タップが用いられて生成された9ビットのクラスコードに対応する第1のテーブルの一例を示している。この例では、クラスコード100011111とビット数K=3が対応付けられていることを示している。また、クラスコード101001111とビット数K=2が対応付けられていることを示している。
【0046】
次に、第2のテーブルを生成する処理について、図10を参照して説明する。まず、複数のサンプルの画像信号の各画素に対して、クラスコード用タップが設定されて、ADRCによりクラスコードが生成される。次に、生成された全てのクラスコードがそれぞれ元となったクラスコード用タップ内の複数の画素値と比較されて、クラスコードの中でビット反転が生じているビットが判定され、ビット反転が生じているビットに対する画素のクラスコード用タップにおける位置が判定される。そして、その判定結果に基づき、図10に示すような、横軸にクラスコード用タップにおける画素の位置、縦軸に正規化されたビット反転の頻度を示すヒストグラムが生成されて、第2のテーブルが生成される。
【0047】
なお、図10には、3種類のクラスコードに対する判定結果が折れ線e乃至gを用いて示されているが、実際には、例えば、クラスコードが9ビットである場合、512(=29)種類のクラスコードに対する判定結果をそれぞれ示す512本の折れ線が得られることになる。
【0048】
図11は、図5のクラスコード用タップが用いられて生成された9ビットのクラスコードに対応する第2のテーブルの一例を示している。第2のテーブルには、9ビットの各クラスコードにそれぞれ対応して、9カ所の画素位置のビット反転の発生頻度が格納されることになる。
【0049】
例えば、クラスコード000000000については、注目画素の左上の画素値P1を符号化した際のビット反転の発生頻度が0であり、注目画素の真上の画素値P2を符号化した際のビット反転の発生頻度が0.05であり、注目画素の右上の画素値P3、真左の画素値P4、および注目画素の画素値P5を符号化した際のビット反転の発生頻度が0であり、注目画素の真右の画素値P6を符号化した際のビット反転の発生頻度が0.06であり、注目画素の左下の画素値P7、真下の画素値P8、および右下の画素値P9を符号化した際のビット反転の発生頻度が0であることを示している。
【0050】
また、例えば、クラスコード101000110については、注目画素の左上の画素値P1を符号化した際のビット反転の発生頻度が0.09であり、注目画素の真上の画素値P2を符号化した際のビット反転の発生頻度が0.55であり、注目画素の右上の画素値P3を符号化した際のビット反転の発生頻度が0.04であり、注目画素の真左の画素値P4を符号化した際のビット反転の発生頻度が0.3であり、注目画素の画素値P5を符号化した際のビット反転の発生頻度が0.1であり、注目画素の真右の画素値P6を符号化した際のビット反転の発生頻度が0.09であり、注目画素の左下の画素値P7を符号化した際のビット反転の発生頻度が0.15であり、注目画素の真下の画素値P8および右下の画素値P9を符号化した際のビット反転の発生頻度が0.08であることを示している。
【0051】
図4に戻る。MEメモリ16は、クラスコード生成部14から入力される参照フレームFrの各画素に対する1種類以上のクラスコードを、クラスコードに各画素の座標を対応付けて記憶する。
【0052】
図12は、MEメモリ16の構造を示している。MEメモリ16は、特徴量アドレス0乃至aと、フラグアドレス0乃至bによって示される(a+1)×(b+1)個のセルにより構成される。以下、例えば、特徴量アドレス1、フラグアドレス2のセルをセル(1,2)と記述する。
【0053】
特徴量アドレスは、クラスコード生成部14によって生成される参照フレームFrの各画素に対して生成されたクラスコードに対応する。例えば、クラスコードが9ビットである場合、特徴量アドレスの最大値a=29となる。
【0054】
特徴量アドレス0のフラグアドレス1以降のセルには、クラスコード生成部14によってクラスコード0が生成された参照フレームFrの画素の座標がラスタ順に格納される。特徴量アドレス0のフラグアドレス0のセル(0,0)には、クラスコード0の画素の座標が既に格納されている、特徴量アドレス0のフラグアドレス1以降のセル、すなわち、使用済のセルの数が格納される。例えば、参照フレームFrの画素のうち、3画素に対してそれぞれクラスコード0が生成された場合、セル(0,1)、セル(0,2)、セル(0,3)に3画素それぞれの座標が格納され、セル(0,0)に座標が格納されているセルの数である3が格納される。
【0055】
特徴量アドレス1のフラグアドレス1以降のセルには、クラスコード生成部14によってクラスコード1が生成された参照フレームFrの画素の座標がラスタ順に格納される。特徴量アドレス1のフラグアドレス0のセル(1,0)には、クラスコード1の画素の座標が格納されている、特徴量アドレス0のフラグアドレス1以降のセルの数が格納される。例えば、参照フレームFrの画素のうち、10画素に対して同一のクラスコード1が生成された場合、セル(1,1)、…、セル(1,10)に10画素それぞれの座標が格納され、セル(1,0)に、座標が格納されているセルの数である10が格納される。特徴量アドレス2以降のセルについても同様であるので、その説明は省略する。
【0056】
また、例えば、参照フレームFrのある画素に対して3種類のクラスコードが生成された場合、当該画素の座標が、3種類のクラスコードに対応する特徴量アドレスの3つのセルに格納されることになる。
【0057】
図4に戻る。動きベクトル演算部17は、対象フレームFcの各画素について、同じクラスコードが生成された参照フレームFrの画素の座標を、MEメモリ16から検索し、検索された画素のうち、注目画素の座標に最も距離が近い座標の画素を、対象フレームFcの注目画素に対応する参照フレームFrの画素に決定して、注目画素の動きベクトルを算出する。
【0058】
なお、MEメモリ16の構造、および動きベクトル演算部17による処理の詳細については、本出願人が特願2002−222044号として既に提案済である。
【0059】
次に、クラスコード生成部14による第1のテーブルを用いたクラスコード生成処理について、図13のフローチャートを参照して説明する。この処理は、参照フレームFrの各画素が、順次、注目画素に指定され、注目画素に対して実行されるものである。
【0060】
ステップS11において、クラスコード生成部14は、注目画素を中心とする所定サイズのクラスコード用タップを設定し、クラスコード用タップに含まれる複数の画素の画素値を取得する。以下においては、図5に示されたように、クラスコード用タップのサイズを3×3画素とし、注目画素の左上、真上、右上、真左、注目画素自身、真右、左下、真下、右下の画素の画素値を、それぞれP1乃至P9として説明を継続する。
【0061】
ステップS12において、クラスコード生成部14は、画素値P1乃至P9の最大値PMAXと最小値PMINを判定する。ステップS13において、クラスコード生成部14は、画素値P1乃至P9のダイナミックレンジDR(=|最大値PMAX−最小値PMIN|)を算出する。ステップS14において、クラスコード生成部14は、次式(2)のように、画素値P1乃至P9の最小値PMINに、ダイナミックレンジDR/2を加算して閾値Thを算出する。
Th=PMIN+DR/2 ・・・(2)
【0062】
ステップS15において、クラスコード生成部14は、画素値P1乃至P9を、それぞれ閾値Thと比較し、閾値Thよりも大きい場合には1に符号化し、閾値Thよりも小さい場合には0に符号化して画素の配置の順に並べ、9ビットのクラスコードを生成する。
【0063】
なお、ステップS11乃至S15の処理は、対象フレームFcの各画素に対してクラスコードを生成する処理として、現在の参照フレームFrが1回前のタイミングにおいて対象フレームFcであったときに実行されているので、その結果を流用してもよい。
【0064】
ステップS16において、クラスコード生成部14は、テーブルメモリ15に記憶されている第1のテーブルを参照して、ステップS15の処理で生成したクラスコードに対応するビット数Kを取得する。なお、ここで取得したビット数K=0である場合、以下に述べるステップS17の処理は省略される。
【0065】
ステップS17において、クラスコード生成部14は、画素値P1乃至P9のうち、閾値Thに最も近いK個の画素値については、それぞれ0に符号化する場合と1に符号化する場合の2通りに場合分けして、その他の画素値については、ステップS15の処理と同様に、閾値Thとの比較により、0または1に符号化して、注目画素に対する2K種類のクラスコードを生成する。なお、当該その他の画素値の符号化については、ステップ15の結果を流用するようにしてもよい。
【0066】
例えば、クラスコード用タップに含まれる9画素の画素値P1乃至P9が図14に示すような状態である場合、ステップS15の処理により9ビットのクラスコード100011111が生成される。そして、ステップS16の処理により、第1のテーブルから、9ビットのクラスコード100011111に対応するビット数K=3が取得される。さらに、ステップS17において、閾値Thに最も近い3個の画素値P3,P6,P8について、それぞれ0に符号化する場合と1に符号化する場合の2通りに場合分けされ、8(=23)種類の9ビットのクラスコード100010101,100010111,100011101,100011111,101010101,101010111,101011101,101011111が生成される。
【0067】
また例えば、クラスコード用タップに含まれる9画素の画素値P1乃至P9が図15に示すような状態である場合、ステップS15の処理により9ビットのクラスコード101001111が生成される。そして、ステップS16の処理により、第1のテーブルから、9ビットのクラスコード101001111に対応するビット数K=2が取得される。さらに、ステップS17において、閾値Thに最も近い2個の画素値P6,P8について、それぞれ0に符号化する場合と1に符号化する場合の2通りに場合分けされ、4(=22)種類の9ビットのクラスコード101000101,101000111,101001101,101001111が生成される。
【0068】
以上で、クラスコード生成部14による第1のテーブルを用いたクラスコード生成処理の説明を終了する。
【0069】
次に、クラスコード生成部14による第2のテーブルを用いたクラスコード生成処理について、図16を参照して説明する。この処理は、参照フレームFrの各画素が、順次、注目画素に指定され、注目画素に対して実行されるものである。
【0070】
ステップS21において、クラスコード生成部14は、注目画素を中心とする所定サイズのクラスコード用タップを設定し、クラスコード用タップに含まれる複数の画素の画素値を取得する。以下においては、図5に示されたように、クラスコード用タップのサイズを3×3画素とし、注目画素の左上、真上、右上、真左、注目画素自身、真右、左下、真下、右下の画素の画素値を、それぞれP1乃至P9として説明を継続する。
【0071】
ステップS22において、クラスコード生成部14は、画素値P1乃至P9の最大値PMAXと最小値PMINを判定する。ステップS23において、クラスコード生成部14は、画素値P1乃至P9のダイナミックレンジDR(=|最大値PMAX−最小値PMIN|)を算出する。ステップS24において、クラスコード生成部14は、式(2)のように、画素値P1乃至P9の最小値PMINに、ダイナミックレンジDR/2を加算して閾値Thを算出する。
【0072】
ステップS25において、クラスコード生成部14は、画素値P1乃至P9を、それぞれ閾値Thと比較し、閾値Thよりも大きい場合には1に符号化し、閾値Thよりも小さい場合には0に符号化して画素の配置の順に並べ、9ビットのクラスコードを生成する。
【0073】
なお、ステップS21乃至S25の処理は、対象フレームFcの各画素に対してクラスコードを生成する処理として、現在の参照フレームFrが1回前のタイミングにおいて対象フレームFcであったときに実行されているので、その結果を流用してもよい。
【0074】
ステップS26において、クラスコード生成部14は、テーブルメモリ15に記憶されている第2のテーブルを参照して、ステップS25の処理で生成したクラスコードのうち、0と1の2通りに場合分けするビットの画素位置を、以下の4種類の方法のうち、予め定められている方法を用いて決定する。
【0075】
第1の方法は、各クラスコードについて、ビット反転の発生頻度が高い方の上位の所定の数カ所(例えば、2カ所)の画素位置を、0と1の2通りに場合分けするビットの画素位置に決定する方法である。
【0076】
第2の方法は、各クラスコードについて、ビット反転の発生頻度の累計が所定の値になるまで、発生頻度が高い方から順に数カ所の画素位置を、0と1の2通りに場合分けするビットの画素位置に決定する方法である。
【0077】
第3の方法は、第2のテーブルの全てのクラスコードにそれぞれ対応する合計29×9カ所の発生頻度のうち、ビット反転の発生頻度が高い方の上位の所定の数カ所(例えば、100カ所)の画素位置を、0と1の2通りに場合分けするビットの画素位置に決定する方法である。
【0078】
第4の方法は、各クラスコードについて、ビット反転の発生頻度が所定の値(例えば、0.4)以上である画素位置を、0と1の2通りに場合分けするビットの画素位置に決定する方法である。
【0079】
ステップS26において、ステップS25の処理で生成したクラスコードのうち、0と1の2通りに場合分けするビットの画素位置が決定された後、処理はステップS27に進む。なお、ステップS26において、ステップS25の処理で生成したクラスコードのうち、いずれのビットも0と1の2通りに場合分けするビットに決定されなかった場合、以下に述べるステップS27の処理は省略される。
【0080】
ステップS27において、クラスコード生成部14は、画素値P1乃至P9のうち、ステップS26の処理で0と1の2通りに場合分けするビットの画素位置に決定された画素位置の画素値については、それぞれ0に符号化する場合と1に符号化する場合の2通りを設定し、その他の画素値については、ステップS25の処理と同様に、閾値Thとの比較により、0または1に符号化して、注目画素に対する1種類以上のクラスコードを生成する。なお、当該その他の画素値の符号化については、ステップ25の結果を流用するようにしてもよい。
【0081】
例えば、クラスコード用タップに含まれる9画素の画素値P1乃至P9が図17に示すような状態である場合、ステップS25の処理により9ビットのクラスコード101000110が生成される。そして、ステップS26の処理により、第2のテーブルに基づいて、注目画素の真上の画素が、0と1の2通りに場合分けするビットの画素位置に決定されたとすれば、ステップS27において、注目画素の真上の画素の画素値P2が、0に符号化する場合と1に符号化する場合の2通りの場合分けされて、2種類の9ビットのクラスコード101000110,111000110が生成される。
【0082】
以上で、クラスコード生成部14による第1のテーブルを用いたクラスコード生成処理の説明を終了する。
【0083】
このように、クラスコード用タップに含まれる全画素をADRCによって符号化し、クラスコードを生成した際、ビット反転が生じ易いと統計的に判断できるビットについては、0に符号化した場合と1に符号化した場合の2通りに場合分けして、参照フレームFrの各画素に対して1種類以上のクラスコードを生成するようにしたので、クラスコードのロバスト性を向上させることができる。
【0084】
なお、クラスコード用タップを構成する画素の数、すなわち、クラスコードのビット数は、上述した例に限るものではなく任意である。
【0085】
以上説明したように、本実施の形態によれば、クラスコード生成部14は、参照フレームFrの各画素に対し、1ビットADRCという容易な演算により、高いロバスト性を有するクラスコードを生成することができる。よって、対象フレームFcの画素と参照フレームFrの画素とを、高い精度でマッチングさせることができる。したがって、動きベクトルを精度良く検出することが可能となる。
【0087】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図18に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0088】
このパーソナルコンピュータは、CPU(Central Processing Unit)31を内蔵している。CPU31にはバス34を介して、入出力インタフェース35が接続されている。バス34には、ROM(Read Only Memory)32およびRAM(Random Access Memory)33が接続されている。
【0089】
入出力インタフェース35には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部36、操作画面や処理結果を示す画面などを表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等よりなる出力部37、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部38、およびモデム、LAN(Local Area Network)アダプタなどよりなりインタネットに代表されるネットワークを介した通信処理を実行する通信部39が接続されている。また、磁気ディスク41、光ディスク42、光磁気ディスク43、および半導体メモリ44などの記録媒体に対してデータを読み書きするドライブ40が接続されている。
【0090】
CPU31に上述した一連の処理を実行させるプログラムは、磁気ディスク41(フレキシブルディスクを含む)、光ディスク42(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク43(MD(Mini Disc)を含む)、もしくは半導体メモリ44に格納された状態でパーソナルコンピュータに供給され、ドライブ40によって読み出されて記憶部38に内蔵されるハードディスクドライブにインストールされている。記憶部38にインストールされているプログラムは、入力部36に入力されるユーザからのコマンドに対応するCPU31の指令によって、記憶部38からRAM33にロードされて実行される。
【0091】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0092】
【発明の効果】
以上のように、本発明によれば、僅かな演算量のみで画像間のマッチングを行うことができる。また、本発明によれば、動きベクトル等を精度良く検出することが可能となる。
【図面の簡単な説明】
【図1】従来の動きベクトル検出装置の構成例を示すブロック図である。
【図2】対象フレームFcと参照フレームFrの対応関係を示す図である。
【図3】ブロックマッチングアルゴリズムを説明するフローチャートである。
【図4】本発明の一実施の形態である動きベクトル検出装置の構成例を示すブロック図である。
【図5】3×3画素のクラスコード用タップを示す図である。
【図6】第1のテーブルを生成する処理を説明するための図である。
【図7】第1のテーブルを生成する処理を説明するための図である。
【図8】第1のテーブルを生成する処理を説明するための図である。
【図9】第1のテーブルの一例を示す図である。
【図10】第2のテーブルを生成する処理を説明するための図である。
【図11】第2のテーブルの一例を示す図である。
【図12】図4のMEメモリの構造を示す図である。
【図13】図4のクラスコード生成部による第1のテーブルを利用したクラスコード生成処理を説明するフローチャートである。
【図14】第1のテーブルを利用したクラスコード生成処理の一例を示す図である。
【図15】第1のテーブルを利用したクラスコード生成処理の一例を示す図である。
【図16】図4のクラスコード生成部による第2のテーブルを利用したクラスコード生成処理を説明するフローチャートである。
【図17】第2のテーブルを利用したクラスコード生成処理の一例を示す図である。
【図18】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
11 動きベクトル検出装置, 12,13 フレームメモリ, 14 クラスコード生成部, 15 テーブルメモリ, 16 MEメモリ, 17 動きベクトル演算部, 31 CPU, 41 磁気ディスク, 42 光ディスク,
43 光磁気ディスク, 44 半導体メモリ
Claims (9)
- 画像の空間的な特徴量を示すクラスコードを生成し、生成した前記クラスコードに基づき、前記画像を構成する画素の画素値を処理する画像処理装置において、
入力された画像を構成する各画素を順次注目画素として、前記注目画素と前記注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定する設定手段と、
設定された前記クラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRC(Adaptive Dynamic Range Coding)により0または1に符号化することにより、前記注目画素に対して1種類の前記クラスコードを生成する生成手段と、
サンプルとなる複数の画像の各画素に対して、前記クラスコード用タップが設定され、設定された前記クラスコード用タップに対応する前記クラスコードが生成され、生成された前記クラスコードと、前記クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、前記クラスコードの各ビット位置におけるビット反転の発生頻度と、前記クラスコードとが対応付けられた対応テーブルを保持する保持手段とを含み、
前記生成手段は、前記注目画素に対して生成した1種類の前記クラスコードを、さらに、保持されている前記対応テーブルに基づき、前記クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、前記場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類の前記クラスコードに拡張する
画像処理装置。 - 前記生成手段は、保持されている前記対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に所定の数のビットを、前記場合分けビットに決定する
請求項1に記載の画像処理装置。 - 前記生成手段は、保持されている前記対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に各ビットの前記発生頻度を加算した値が所定の値を超えるビットまでを、前記場合分けビットに決定する
請求項1に記載の画像処理装置。 - 前記生成手段は、保持されている前記対応テーブルに基づき、全ての前記クラスコードを構成する複数のビットのうち、ビット反転の発生頻度が高い方から順に所定の数のビットを、前記場合分けビットに決定する
請求項1に記載の画像処理装置。 - 前記生成手段は、保持されている前記対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、ビット反転の発生頻度が所定の値以上のビットを、前記場合分けビットに決定する
請求項1に記載の画像処理装置。 - 対象フレームの画像の各画素に対して生成された前記クラスコードと、前記対象フレームと時間的に前後する参照フレームの画像の各画素に対して生成された前記クラスコードとを比較することにより、前記対象フレームの画像の画素と前記参照フレームの画像の画素とをマッチングさせるマッチング手段を
さらに含む請求項1に記載の画像処理装置。 - 画像の空間的な特徴量を示すクラスコードを生成し、生成した前記クラスコードに基づき、前記画像を構成する画素の画素値を処理する画像処理装置の画像処理方法において、
入力された画像を構成する各画素を順次注目画素として、前記注目画素と前記注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、
設定された前記クラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRC(Adaptive Dynamic Range Coding)により0または1に符号化することにより、前記注目画素に対して1種類の前記クラスコードを生成し、
サンプルとなる複数の画像の各画素に対して、前記クラスコード用タップが設定され、設定された前記クラスコード用タップに対応する前記クラスコードが生成され、生成された前記クラスコードと、前記クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、前記クラスコードの各ビット位置におけるビット反転の発生頻度と、前記クラスコードとが対応付けられた対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを、さらに、前記クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、
前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、前記場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類の前記クラスコードに拡張する
ステップを含む画像処理方法。 - 画像の空間的な特徴量を示すクラスコードを生成し、生成した前記クラスコードに基づき、前記画像を構成する画素の画素値を処理する画像処理装置の制御用のプログラムであって、
入力された画像を構成する各画素を順次注目画素として、前記注目画素と前記注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、
設定された前記クラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRC(Adaptive Dynamic Range Coding)により0または1に符号化することにより、前記注目画素に対して1種類の前記クラスコードを生成し、
サンプルとなる複数の画像の各画素に対して、前記クラスコード用タップが設定され、設定された前記クラスコード用タップに対応する前記クラスコードが生成され、生成された前記クラスコードと、前記クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、前記クラスコードの各ビット位置におけるビット反転の発生頻度と、前記クラスコードとが対応付けられた対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを、さらに、前記クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、
前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、前記場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類の前記クラスコードに拡張する
ステップを含む処理を画像処理装置のコンピュータに実行させるプログラムが記録されている記録媒体。 - 画像の空間的な特徴量を示すクラスコードを生成し、生成した前記クラスコードに基づき、前記画像を構成する画素の画素値を処理する画像処理装置の制御用のプログラムであって、
入力された画像を構成する各画素を順次注目画素として、前記注目画素と前記注目画素の近傍に位置する複数の画素からなるクラスコード用タップを設定し、
設定された前記クラスコード用タップに含まれる複数の画素の各画素値を、1ビットADRC(Adaptive Dynamic Range Coding)により0または1に符号化することにより、前記注目画素に対して1種類の前記クラスコードを生成し、
サンプルとなる複数の画像の各画素に対して、前記クラスコード用タップが設定され、設定された前記クラスコード用タップに対応する前記クラスコードが生成され、生成された前記クラスコードと、前記クラスコード用タップに含まれる複数の画素値との比較により統計的に予め得られている、前記クラスコードの各ビット位置におけるビット反転の発生頻度と、前記クラスコードとが対応付けられた対応テーブルに基づき、前記注目画素に対して生成した1種類の前記クラスコードを、さらに、前記クラスコードを構成する複数のビットのうち、0に符号化する場合と1に符号化する場合の2通りを設定する場合分けビットを決定し、
前記注目画素に対して生成した1種類の前記クラスコードを構成する複数のビットのうち、前記場合分けビットに決定した各ビットを、それぞれ、0に符号化した場合と1に符号化した場合との全ての組み合わせからなる複数種類の前記クラスコードに拡張する
ステップを含む処理を画像処理装置のコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002327269A JP4329331B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002327269A JP4329331B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004164116A JP2004164116A (ja) | 2004-06-10 |
JP4329331B2 true JP4329331B2 (ja) | 2009-09-09 |
Family
ID=32805961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002327269A Expired - Fee Related JP4329331B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4329331B2 (ja) |
-
2002
- 2002-11-11 JP JP2002327269A patent/JP4329331B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004164116A (ja) | 2004-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9516336B2 (en) | Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit | |
EP1587032B1 (en) | Image processing apparatus and method, recording medium, and program | |
US6987866B2 (en) | Multi-modal motion estimation for video sequences | |
US7050502B2 (en) | Method and apparatus for motion vector detection and medium storing method program directed to the same | |
JP2006014343A (ja) | 画像の符号化および復号化 | |
WO2020181456A1 (en) | Inter coding for adaptive resolution video coding | |
JP2001086507A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置 | |
US20040190616A1 (en) | Segmented motion estimation with no search for smalll block sizes | |
KR100984953B1 (ko) | 데이터 검색 방법과 장치 및 이를 포함하는 비디오 재생장치 | |
JP2007527126A (ja) | 画像部分の圧縮方法および装置 | |
JP4329331B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4129788B2 (ja) | 画像データ処理装置および方法、記録媒体、並びにプログラム | |
JP4239557B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2006020217A (ja) | 画像符号化装置 | |
JP4144316B2 (ja) | 画像データ処理装置および方法、記録媒体、並びにプログラム | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JP2004229150A (ja) | 動きベクトル探索方法および装置 | |
US20040105495A1 (en) | Experimental design for motion estimation | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JP4300787B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4207763B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2001086387A (ja) | 動き検出装置および動き検出方法、並びに媒体 | |
KR100966494B1 (ko) | 적응적 대표값을 이용한 영상 데이터 감축 방법 및 장치, 그 기록매체 | |
JP4175073B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |