JP3684148B2 - 画像処理方法及びその装置、記憶媒体 - Google Patents
画像処理方法及びその装置、記憶媒体 Download PDFInfo
- Publication number
- JP3684148B2 JP3684148B2 JP2000321492A JP2000321492A JP3684148B2 JP 3684148 B2 JP3684148 B2 JP 3684148B2 JP 2000321492 A JP2000321492 A JP 2000321492A JP 2000321492 A JP2000321492 A JP 2000321492A JP 3684148 B2 JP3684148 B2 JP 3684148B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficients
- feature amount
- dct
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像を処理可能な画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
画像を変倍し、生成された変倍画像に対して公知の離散コサイン変換（ＤＣＴ）処理と量子化処理を行い、その結果得られた係数のうち低周波成分側から幾つかの係数を取り出し、取り出した係数を原画像の特徴量とし、例えば画像検索に用いるデータとする方式が知られている（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ３５２２”ＭＰＥＧ−７ Ｖｉｓｕａ１ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４．Ｏ”（〔ＶＷＤ４．０〕）、あるいは、ＩＳ０／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ３５２２”ＭＰＥＧ−７ Ｖｉｓｕａ１ ｐａｒｔ ｏｆ ｅＸｐｅｒｉｍｅｎｔａｔｉｏｎＭｏｄｅ１ Ｖｅｒｓｉｏｎ ７．０”（〔ＶＸＭ７．Ｏ〕））。
【０００３】
図１は〔ＶＷＤ４．０〕もしくは〔ＶＸＭ７．０１〕に記載されている、Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒにおける、特徴データ取り出し処理を表す図である。また、図８はその処理の流れを示す流れ図である。
【０００４】
原画像１０００１を８ラ８画素に変倍し（Ｓ１０４０１）、生成した８ｘ８画素画像（１００１１，１００１２，１００１３）の各画素をＹＣｂＣｒ色空間データ（１００２１，１００２２，１００２３）に変換する（Ｓ１０４０２）。次に、Ｙ，Ｃｂ，Ｃｒの各成分データ１００２１，１００２２，１００２３に対してＤＣＴを行って（Ｓ１０４０３）ＤＣＴ係数１００３１，１００３２，１００３３を得、さらにＤＣＴ係数１００３１，１００３２，１００３３に対して量子化（Ｓ１０４０４）を行う。
【０００５】
画像変倍処理、色変換処理、ＤＣＴ変換処理は公知のものでよい。
【０００６】
量子化処理は、例えば〔ＶＷＤ４．０〕によれば、以下のプログラムコード１００〜１０３の示すような処理で実現することができる。プログラムコード１００００〜１０００３は公知のＣ言語を用いて記述されている。同文書によれば量子化処理は、Ｙ成分とＣｂ／Ｃｒ成分それぞれについて、ＤＣ成分とＡＣ成分で異なる処理を施すので、同文書には量子化処理としてプログラムコード１００００〜１０００３の４通りが提示されている。
【０００７】
【外１】
【０００８】
【外２】
【０００９】
【外３】
【００１０】
【外４】
【００１１】
プログラムコード１００００，１０００１による量子化処理の結果、ＹもしくはＣｂ／Ｃｒ成分の量子化されたＤＣＴ係数（以下、量子化ＤＣＴ係数）は０〜６４の値になる。またプログラムコード１０００２，１０００３による量子化処理の結果ＹもしくはＣｂ／Ｃｒ成分の量子化ＤＣＴ係数は０〜３２の値となる。したがって、量子化ＤＣＴ係数のＤＣ成分は符号無し６ｂｉｔ，ＡＣ成分は符号無し５ｂｉｔで表現することができる。
【００１２】
さらに量子化処理の結果得られた、量子化ＤＣＴ係数１００４１，１００４２，１００４３のうち低周波数成分側から幾つかの係数を選択する（Ｓ１０４０５）。図４の場合は例として、Ｙ成分の係数に関しては６個、Ｃｂ／Ｃｒ成分の係数に関しては３個ずつ選択している例である。係数選択は、実際は図１０１に示すジグザグスキャンによって８ラ８と二次元に配置された係数を一次元に並び替え、その先頭から幾つかを選択することによって実現される。図５の１０１０１は、ジグザグスキャンを表す図である。１０１０１各ブロックに書かれている１から６４の数字は、一次元に並びかえられた後にその係数が先頭から何番目に配置されるかを示す数字である。
【００１３】
最後に、得られた係数の低周波成分側から幾つかの係数を取り出す。〔ＶＷＤ４．０〕によれば、ここで取り出す係数の数は１，３，６，１０，１５，２１，２８，６４のいずれかである。また、係数の数は、Ｃｂ成分係数とＣｒ成分係数に関しては同数であるが、Ｙ成分係数の数とＣｂ／Ｃｒ成分係数の数には別々の数を設定可能である。〔ＶＷＤ４．０〕によれば、デフォルトではＹ成分係数に関して６個、Ｃｂ／Ｃｒ成分係数に関しては３個を選択する。図５では、例としてこのデフォルト時の係数選択である、Ｙ成分係数に関して６個（１００５１）、Ｃｂ／Ｃｒ成分係数に関しては３個（１００５２，１００５３）を選択している。
【００１４】
選択された係数１００５１，１００５２，１００５３をもって原画像１０００１の特徴データ、すなわちＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒデータとする。
【００１５】
また、〔ＶＷＤ４．０〕によれば、このＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒは図６や図７に示すようなバイナリ構造で格納される。図６の１０２０１や図７の１０３０１において、正方形は１ｂｉｔを表現している。また、１０２０１や１０３０１では、説明の便利のためフィールド毎に区切って書いているが、実際は同図に破線の矢印で示しているような順序で連続して格納されている。
【００１６】
図６はＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒがデフォルトの場合、すなわち、Ｙの量子化ＤＣＴ係数６個、Ｃｂ／Ｃｒの量子化ＤＣＴ係数が各３個の場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには“０”が格納されている。さらにそれに後続して、Ｙの量子化ＤＣＴ係数が６個、Ｃｂの量子化ＤＣＴ係数が３個、Ｃｒの量子化ＤＣＴ係数が３個の順に格納されている。量子化ＤＣＴ係数は前述したように量子化の結果ＤＣ成分については符号無し６ｂｉｔ，ＡＣ成分については符号無し５ｂｉｔで表現できるので、ＤＣ成分については６ｂｉｔ，ＡＣ成分については５ｂｉｔの領域に格納される。
【００１７】
一方、図７はＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒがデフォルトでないの場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには“１”が格納されている。それに後続して、３ｂｉｔのフィールドが２つ後続する。この３ｂｉｔのフィールドはそれぞれＹの量子化ＤＣＴ係数の数、Ｃｂ／Ｃｒの量子化ＤＣＴ係数の数を表すのに用いられる。
【００１８】
【外５】
【００１９】
さらに、この２つの３ｂｉｔの係数指定フィールドに後続してＹ，Ｃｂ，Ｃｒの順に量子化ＤＣＴ係数が格納される。Ｙ，Ｃｂ，Ｃｒの係数の数は、前述の係数指定フィールドで指定した係数の数である。図７の１０３０１では例としてＹの量子化ＤＣＴ係数が６個、Ｃｂ／Ｃｒの量子化ＤＣＴ係数がそれぞれ６個の場合を示している。
【００２０】
また、この特徴データ間の類似度については、〔ＶＸＭ７．０〕によれば以下の式により算出される。例えば、２つのＣｏ１ｏｒＬａｙｏｕ ｄｅｓｃｒｉｐｔｏｒ，ＣＬＤ１（ＹＣｏｅｆｆ，ＣｂＣｏｅｆｆ，ＣｒＣｏｅｆｆ）とＣＬＤ２（ＹＣｏｅｆｆ'，ＣｂＣｏｅｆｆ'，ＣｒＣｏｅｆｆ'）の間の類似度Ｄは式１０００１で算出される。
【００２１】
【外６】
【００２２】
式１０００１Ｃｏ１ｏｒＬａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの類似度算出式
式１０００１において、λは各係数に関する重み付けであり、〔ＶＸＭ７．０〕には次の表１０００２のような重み付け値が示されている。ここで示されていないものについては、重み付け値は１である。
【００２３】
【外７】
【００２４】
また、２つのｄｅｓｃｒｉｐｔｏｒの持つ係数の数が異なる場合には、少ない係数に合わせて式１０００１を適用するか、あるいは不足している係数は１６をその値として補い、多い係数に合わせて式１０００１を適用するということが示されている。
【００２５】
【発明が解決しようとする課題】
Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの持つ量子化ＤＣＴ係数の数の選択は、デフォルトとしてはＹについては６個、Ｃｂ／Ｃｒについては３個となっている。通常、この係数の選択の方式はシステムによって予め定めるなどして、システム内で一様に決定されているか、あるいは１件１件に対してユーザが指定するなどの方法をとる必要があった。
【００２６】
しかしながら、デフォルトの係数選択方式は必ずしも万能ではなく、全ての画像についてその特徴を表現するために十分であるとはいえない。不十分な場合には、検索システム全体の検索精度にも悪影響を与えることになる。
【００２７】
一方これを回避するために、係数データを多めにとるように係数選択を行ったり、あるいは全ての係数データを保持するといった方法も考えられるが、必然的に特徴量データサイズが大きくなる。これは対象となる画像の数が極端に多かったり、あるいは記憶領域や通信路によってデータ容量が厳しく制限されたりするなど、必ずしも好ましくない場合も存在する。
【００２８】
したがって、検索精度に悪影響を与えず、また効率よくＣｏ１ｏｒＬａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを使うためには、各画像に対して保持する量子化ＤＣＴ係数の数を好適に決定する必要がある。
【００２９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出手段と、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出手段と、前記第１の抽出手段より抽出された第１の画像特徴量と前記第２の抽出手段により抽出された第２の画像特徴量との類似度を判定する判定手段と、前記判定手段により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択手段とを有することを特徴とする画像処理装置を提供する。
【００３０】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理手段と、前記ＤＣＴ処理手段によりＤＣＴ処理されたデータを量子化する量子化手段と、前記量子化手段により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択手段と、前記係数選択手段により選択された数の量子化係数を画像特徴量として設定する設定手段とを有することを特徴とする画像処理装置を提供する。
【００３１】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出工程と、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程と、前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程と、前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程とを有することを特徴とする画像処理方法を提供する。
【００３２】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理工程と、前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程と、前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程と、前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程とを有することを特徴とする画像処理方法を提供する。
【００３３】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出工程のプログラムコードと、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程のプログラムコードと、前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程のプログラムコードと、前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程のプログラムコードとを有することを特徴とする記憶媒体を提供する。
【００３４】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理工程のプログラムコードと、前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程のプログラムコードと、前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程のプログラムコードと、前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程のプログラムコードとを有することを特徴とする記憶媒体を提供する。
【００３７】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。
【００３８】
＜第１の実施形態＞
図９は、第１の実施形態における画像特徴量抽出処理が可能な画像処理装置の構成を示すブロック図である。
【００３９】
図９において、データ入出力部９００は、静止画像データと動画像データの両方を入力可能な画像入力装置である。具体的には、スチル撮影可能なデジタルビデオ装置がある。また、メモリーカード、ＰＣカード等から、ＵＳＢなどを通して、デジタルカメラなどで撮影した画像等のデータを読み込むことも可能である。また、逆に、画像等のデータをメモリーカードヘ書き込むことも行う。
【００４０】
入力部９０１は、ユーザーからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、タブレット等が挙げられる。入力部９０１の具体的な例としては、画像の入カモードや撮影モードを設定するモード設定手段があげられる。
【００４１】
蓄積部９０２は、画像データや画像特徴量データを蓄積する装置で、通常は、ハードディスクなどが用いられる。表示部９０３は、ＧＵＩ等の画像を表示する装置で、一般的に、ＣＲＴや、液晶ディスプレイなどが用いられる。
【００４２】
９０４は、ＣＰＵであり、上述した各構成の処理の全てに関わる。ＲＯＭ９０５と、ＲＡＭ９０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ９０４に提供する。また、図３、図８のフローチャートで示される処理に必要な制御プログラムは、蓄積部９０２に格納されているか、ＲＯＭ９０５に格納されているものとする。なお、制御プログラムが蓄積部９０２に格納されている場合は、一旦ＲＡＭ９０６に読み込まれてから実行される。なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００４３】
以下に、上記画像処理装置を用いた画像特徴量抽出方式について、図を参照して説明する。
【００４４】
まず、Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの画像特徴量抽出のおおまかな流れは、従来技術および図４、図５、図６に示した通りであるので、ここでは割愛する。
【００４５】
従来技術においては原画像を縮小した後に色変換をほどこしYCbCrデータを得ているが、本発明による方式においてはDCT処理に対する入力として8x8画素分のYCbCrの画像データがあればよく、例えば原画像全体に対して色変換をほどこし、その後に公知の画像変倍方式によって8x8画素分のYCbCr画像データを得るのであっても、本発明による方式の意図するところである。さらには、原画像が元々YCbCr方式の画像データであるような場合には、色変換処理は冗長であって、省略しても本発明の意図するところと変わらない。
【００４６】
以下説明の簡便のため、Ｙ成分の量子化ＤＣＴをｘ個、Ｃｂ成分の量子化ＤＣＴをｙ個、Ｃｒ成分の量子化ＤＣＴをｚ個保持するＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを、ｘ／ｙ／ｚ ｄｅｓｃｒｉｐｔｏｒと略記することとする。
【００４７】
今、ある画像のＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを作成する場合を考える。例えば、図１に示すように、６／３／３と６／６／６の２つの係数選択方式を候補とし、それらのうち一つを選択するとする。
【００４８】
図１は、ある画像に対する画像特徴量データのための係数選択を示す図である。図１において、１０１はＹ成分の量子化ＤＣＴ係数（の一部）、１０２はＣｂ成分の量子化ＤＣＴ係数（の一部）、１０３はＣｒ成分の量子化ＤＣＴ係数（の一部）を表している。原画像から、１０１〜１０３の量子化ＤＣＴ係数を得る方法は、図４に示してある。
【００４９】
これらの係数は、図５にあるようなジグザグスキャン処理により、図１の１１１〜１１３に示すように一次元に配置される。
【００５０】
次に、一次元に配置された量子化ＤＣＴ係数から係数選択を行う。ここで、例えば６／３／３で選択を行うと、図１の１２１で示すような係数の組が抽出される。またあるいは６／６／６で選択を行うと、図１の１２２で示すような係数の組が選択される。
【００５１】
もし、量子化係数の組１２１と量子化係数の組１２２の表す原画像の特徴が、十分に近いならば、量子化係数の組１２１の方が、データ量が小さいという利点がある。しかし逆に、これらがあまり近くないならば、量子化係数の組１２１は原画像の特徴を一部損なっている可能性がある。したがって、なんらかの基準によって、これを選択することとなる。
【００５２】
この選択をするために、本実施例では、量子化係数の組１２１と量子化係数の組１２２の間の距離を考える。〔ＶＸＭ７．０〕によれば、ｄｅｓｃｒｉｐｔｏｒの距離計算において、比較する２つのｄｅｓｃｒｉｐｔｏｒの係数の数が異なる場合には、係数の数の少ないｄｅｓｃｒｉｐｔｏｒに合わせて係数の数が多いｄｅｓｃｒｉｐｔｏｒの一部係数を無視するか、あるいは係数の数の多いｄｅｓｃｒｉｐｔｏｒに合わせて、係数の数の少ないｄｅｓｃｒｉｐｔｏｒが持っていない係数部分には１６を補う、という方法が示されている。
【００５３】
前者の場合、１２１と１２２の一部係数を取り除いて係数の数が同じになるようにしたものは、常に同一であるが、後者の場合、１２２のＣb4〜Ｃb6，Ｃr4〜Ｃr6の値によっては、１２１と１２２は一致しない。図２の１２１′は、１２１に対して、その不足している係数成分に１６を補ったものを表している。
【００５４】
本実形態では、この１２１'と１２２の間の距離を考える。両者の距離が非常に近いならば、両者が表す原画像の特徴は近く、すなわち１２１と１２２の特徴が近いと考えられる。その場合には、データ量的に有利な１２１（６／３／３）を選択し、そうでないならば、１２２を選択する。
【００５５】
１２１′と１２２の間の距離には様々な方法が考えられるが、本実施例では１２１′と１２２の対応する係数の絶対差の合計を考える。すなわち、次式で与えられるｄを考える。
【００５６】
【外８】
【００５７】
式１：本発明による、２つのｄｅｓｃｒｉｐｔｏｒの距離を測る式の例（１）
ここで、１２１′と１２２の場合、
・Ｙｉ＝Ｙｉ′（１≦ｉ≦６）
・Ｃｂｊ＝Ｃｂ′ｊ （１≦ｊ≦３）
・Ｃｒｋ＝Ｃｒ′ｋ （１≦ｋ≦３）
・Ｃｂ′ｊ＝Ｃｒ′ｋ＝１６ （４≦ｋ≦６）
が成立する。ここで、Ｙ'ｉ，Ｃｂ'ｊ，Ｃｒ'ｋは１２２の係数を、Ｙ'ｉ，Ｃｂ'ｊ，Ｃｒ'ｋは１２１'の係数を表しているものとする。これを、代入すると、式１は次のようになる。
【００５８】
【外９】
【００５９】
式２：本発明による、２つのｄｅｓｃｒｉｐｔｏｒの距離を測る式の例（２）
次に、このｄの値を、予め定めておいたしきい値Ｔｈと比較する。もし、ｄがＴｈより小さいならば、１２１'と１２２は十分に近いと判断し、１２１、すなわち６／３／３の量子化ＤＣＴ係数を選択する。そうでない場合には、１２２、すなわち６／６／６の量子化ＤＣＴ係数を選択する。ここで、しきい値Ｔｈの値は任意の正の値で良い。また、何らかの条件によって動的に決定するのでも良いし、あるいは経験的な方法などで予め定めておいた値であっても良い。
【００６０】
本実施形態では、２つのｄｅｓｃｒｉｐｔｏｒの距離を判定するのに、対応する係数の絶対差の合計を用いたが、この他の距離定義であっても構わない。例えば〔ＶＸＭ７．０〕の式１０００１によるような距離定義であっても構わない。また、単一の式で判定を行ったが、例えばＹ，Ｃｂ，Ｃｒ色成分各々について判定処理を行い、そのａｎｄ条件、ｏｒ条件によって判定するのでも良い。
【００６１】
本実施形態では、量子化ＤＣＴ係数の数の候補として、６／６／６と６／３／３を候補とする場合のみを説明したが、他のパターンであっても良い。
【００６２】
図３は上記係数選択判断処理の処理の流れを示す図である。
【００６３】
まず、Ｓ３０１で、第一の画像特徴量データを取り出す。これは本実施例の場合例えば１２１を取り出す処理に相当する。次にＳ３０２で、第二の画像特徴量データを取り出す。これは本実施例の場合例えば１２２を取り出す処理に相当する。
【００６４】
次に、Ｓ３０３では、２つの画像特徴量データの間の距離を算出する。すなわち本実施例においては、量子化ＤＣＴ係数１２１より１２１'を作成し、１２１'と１２２の間の距離ｄを、例えば式１もしくは式２によるような式によって算出する。
【００６５】
さらに、算出された距離ｄはＳ３０４においてしきい値と比較される。このしきい値より距離ｄが小さかった場合は、データ量的に小さくて有利なほうの、より係数の数の少ない画像特徴量データを選択し（Ｓ３０５）、そうでなかった場合は、処理はＳ３０６に流れ、より係数の数が多い特徴量データを選択する。
【００６６】
このようにして選択された係数の数による量子化ＤＣＴ係数を用いてＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを作成する。
【００６７】
＜第２の実施形態＞
第一の実施形態では、ｄｅｓｃｒｉｐｔｏｒデータの値に応じて量子化ＤＣＴ係数の数を決定したが、この他にも、例えばその画像の撮影条件などで変更するのであっても良い。
【００６８】
例えば、経験的に動画像データはダイナミックレンジが比較的小さく、６／３／３で十分に表現可能である場合があることがわかっている。一方静止画像は高精細な画像も多く、６／６／６でないと十分に表現されない場合が多いことがわかっている。
【００６９】
そこで、本実施例では６／３／３と６／６／６の選択の場合に、原画像の撮影条件によって変更する。すなわち、
・原画像が動画像ならば、６／３／３
・原画像が静止画像ならば、６／６／６
の量子化ＤＣＴ係数を保持するようにする。原画像が動画像か静止画像かというのは、例えば原画像データのＭＩＭＥ−Ｔｙｐｅやファイル名の拡張子等から判断するのでもよいし、例えば本発明を動画像と静止画像の両方を撮影可能な例えば公知のデジタルビデオ撮影装置に適用したような場合には、その撮影モード（例えばダイヤルなどによってユーザが指定する）から判定するのでも良い。
【００７０】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
以上、説明したように、８画素×８画素の画像に対して、公知の離散コサイン変換と、さらに量子化処理を施して得られる、量子化されたＤＣＴ係数のうち、低周波数成分側から幾つかの係数を選択して取り出し、取り出された係数を原画像の特徴量とする画像特徴量抽出方式において、原画像に応じて抽出する係数の数を変更させることによって、好適な係数の数を選択可能となる。
【００７７】
【発明の効果】
検索精度に悪影響を与えず、また効率よく画像を検索するための画像特徴量を決定することが可能になった。
【図面の簡単な説明】
【図１】特徴データ取り出し処理を表す図である。
【図２】係数の数が異なるｄｅｓｃｒｉｐｔｏｒ比較の時の処理を示す図である。
【図３】係数選択判断処理の処理の流れを示す図である。
【図４】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの特徴抽出処理を示す図である。
【図５】ジグザグスキャン処理を示す図である。
【図６】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒのバイナリ格納方式（デフォルト）を示す図である。
【図７】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒのバイナリ格納方式を示す図である。
【図８】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの特徴抽出処理の流れを示す流れ図である。
【図９】本発明の画像処理装置の構成を示すブロック図である。
【発明の属する技術分野】
本発明は画像を処理可能な画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
画像を変倍し、生成された変倍画像に対して公知の離散コサイン変換（ＤＣＴ）処理と量子化処理を行い、その結果得られた係数のうち低周波成分側から幾つかの係数を取り出し、取り出した係数を原画像の特徴量とし、例えば画像検索に用いるデータとする方式が知られている（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ３５２２”ＭＰＥＧ−７ Ｖｉｓｕａ１ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４．Ｏ”（〔ＶＷＤ４．０〕）、あるいは、ＩＳ０／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ３５２２”ＭＰＥＧ−７ Ｖｉｓｕａ１ ｐａｒｔ ｏｆ ｅＸｐｅｒｉｍｅｎｔａｔｉｏｎＭｏｄｅ１ Ｖｅｒｓｉｏｎ ７．０”（〔ＶＸＭ７．Ｏ〕））。
【０００３】
図１は〔ＶＷＤ４．０〕もしくは〔ＶＸＭ７．０１〕に記載されている、Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒにおける、特徴データ取り出し処理を表す図である。また、図８はその処理の流れを示す流れ図である。
【０００４】
原画像１０００１を８ラ８画素に変倍し（Ｓ１０４０１）、生成した８ｘ８画素画像（１００１１，１００１２，１００１３）の各画素をＹＣｂＣｒ色空間データ（１００２１，１００２２，１００２３）に変換する（Ｓ１０４０２）。次に、Ｙ，Ｃｂ，Ｃｒの各成分データ１００２１，１００２２，１００２３に対してＤＣＴを行って（Ｓ１０４０３）ＤＣＴ係数１００３１，１００３２，１００３３を得、さらにＤＣＴ係数１００３１，１００３２，１００３３に対して量子化（Ｓ１０４０４）を行う。
【０００５】
画像変倍処理、色変換処理、ＤＣＴ変換処理は公知のものでよい。
【０００６】
量子化処理は、例えば〔ＶＷＤ４．０〕によれば、以下のプログラムコード１００〜１０３の示すような処理で実現することができる。プログラムコード１００００〜１０００３は公知のＣ言語を用いて記述されている。同文書によれば量子化処理は、Ｙ成分とＣｂ／Ｃｒ成分それぞれについて、ＤＣ成分とＡＣ成分で異なる処理を施すので、同文書には量子化処理としてプログラムコード１００００〜１０００３の４通りが提示されている。
【０００７】
【外１】
【外２】
【外３】
【外４】
プログラムコード１００００，１０００１による量子化処理の結果、ＹもしくはＣｂ／Ｃｒ成分の量子化されたＤＣＴ係数（以下、量子化ＤＣＴ係数）は０〜６４の値になる。またプログラムコード１０００２，１０００３による量子化処理の結果ＹもしくはＣｂ／Ｃｒ成分の量子化ＤＣＴ係数は０〜３２の値となる。したがって、量子化ＤＣＴ係数のＤＣ成分は符号無し６ｂｉｔ，ＡＣ成分は符号無し５ｂｉｔで表現することができる。
【００１２】
さらに量子化処理の結果得られた、量子化ＤＣＴ係数１００４１，１００４２，１００４３のうち低周波数成分側から幾つかの係数を選択する（Ｓ１０４０５）。図４の場合は例として、Ｙ成分の係数に関しては６個、Ｃｂ／Ｃｒ成分の係数に関しては３個ずつ選択している例である。係数選択は、実際は図１０１に示すジグザグスキャンによって８ラ８と二次元に配置された係数を一次元に並び替え、その先頭から幾つかを選択することによって実現される。図５の１０１０１は、ジグザグスキャンを表す図である。１０１０１各ブロックに書かれている１から６４の数字は、一次元に並びかえられた後にその係数が先頭から何番目に配置されるかを示す数字である。
【００１３】
最後に、得られた係数の低周波成分側から幾つかの係数を取り出す。〔ＶＷＤ４．０〕によれば、ここで取り出す係数の数は１，３，６，１０，１５，２１，２８，６４のいずれかである。また、係数の数は、Ｃｂ成分係数とＣｒ成分係数に関しては同数であるが、Ｙ成分係数の数とＣｂ／Ｃｒ成分係数の数には別々の数を設定可能である。〔ＶＷＤ４．０〕によれば、デフォルトではＹ成分係数に関して６個、Ｃｂ／Ｃｒ成分係数に関しては３個を選択する。図５では、例としてこのデフォルト時の係数選択である、Ｙ成分係数に関して６個（１００５１）、Ｃｂ／Ｃｒ成分係数に関しては３個（１００５２，１００５３）を選択している。
【００１４】
選択された係数１００５１，１００５２，１００５３をもって原画像１０００１の特徴データ、すなわちＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒデータとする。
【００１５】
また、〔ＶＷＤ４．０〕によれば、このＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒは図６や図７に示すようなバイナリ構造で格納される。図６の１０２０１や図７の１０３０１において、正方形は１ｂｉｔを表現している。また、１０２０１や１０３０１では、説明の便利のためフィールド毎に区切って書いているが、実際は同図に破線の矢印で示しているような順序で連続して格納されている。
【００１６】
図６はＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒがデフォルトの場合、すなわち、Ｙの量子化ＤＣＴ係数６個、Ｃｂ／Ｃｒの量子化ＤＣＴ係数が各３個の場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには“０”が格納されている。さらにそれに後続して、Ｙの量子化ＤＣＴ係数が６個、Ｃｂの量子化ＤＣＴ係数が３個、Ｃｒの量子化ＤＣＴ係数が３個の順に格納されている。量子化ＤＣＴ係数は前述したように量子化の結果ＤＣ成分については符号無し６ｂｉｔ，ＡＣ成分については符号無し５ｂｉｔで表現できるので、ＤＣ成分については６ｂｉｔ，ＡＣ成分については５ｂｉｔの領域に格納される。
【００１７】
一方、図７はＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒがデフォルトでないの場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには“１”が格納されている。それに後続して、３ｂｉｔのフィールドが２つ後続する。この３ｂｉｔのフィールドはそれぞれＹの量子化ＤＣＴ係数の数、Ｃｂ／Ｃｒの量子化ＤＣＴ係数の数を表すのに用いられる。
【００１８】
【外５】
さらに、この２つの３ｂｉｔの係数指定フィールドに後続してＹ，Ｃｂ，Ｃｒの順に量子化ＤＣＴ係数が格納される。Ｙ，Ｃｂ，Ｃｒの係数の数は、前述の係数指定フィールドで指定した係数の数である。図７の１０３０１では例としてＹの量子化ＤＣＴ係数が６個、Ｃｂ／Ｃｒの量子化ＤＣＴ係数がそれぞれ６個の場合を示している。
【００２０】
また、この特徴データ間の類似度については、〔ＶＸＭ７．０〕によれば以下の式により算出される。例えば、２つのＣｏ１ｏｒＬａｙｏｕ ｄｅｓｃｒｉｐｔｏｒ，ＣＬＤ１（ＹＣｏｅｆｆ，ＣｂＣｏｅｆｆ，ＣｒＣｏｅｆｆ）とＣＬＤ２（ＹＣｏｅｆｆ'，ＣｂＣｏｅｆｆ'，ＣｒＣｏｅｆｆ'）の間の類似度Ｄは式１０００１で算出される。
【００２１】
【外６】
式１０００１Ｃｏ１ｏｒＬａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの類似度算出式
式１０００１において、λは各係数に関する重み付けであり、〔ＶＸＭ７．０〕には次の表１０００２のような重み付け値が示されている。ここで示されていないものについては、重み付け値は１である。
【００２３】
【外７】
また、２つのｄｅｓｃｒｉｐｔｏｒの持つ係数の数が異なる場合には、少ない係数に合わせて式１０００１を適用するか、あるいは不足している係数は１６をその値として補い、多い係数に合わせて式１０００１を適用するということが示されている。
【００２５】
【発明が解決しようとする課題】
Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの持つ量子化ＤＣＴ係数の数の選択は、デフォルトとしてはＹについては６個、Ｃｂ／Ｃｒについては３個となっている。通常、この係数の選択の方式はシステムによって予め定めるなどして、システム内で一様に決定されているか、あるいは１件１件に対してユーザが指定するなどの方法をとる必要があった。
【００２６】
しかしながら、デフォルトの係数選択方式は必ずしも万能ではなく、全ての画像についてその特徴を表現するために十分であるとはいえない。不十分な場合には、検索システム全体の検索精度にも悪影響を与えることになる。
【００２７】
一方これを回避するために、係数データを多めにとるように係数選択を行ったり、あるいは全ての係数データを保持するといった方法も考えられるが、必然的に特徴量データサイズが大きくなる。これは対象となる画像の数が極端に多かったり、あるいは記憶領域や通信路によってデータ容量が厳しく制限されたりするなど、必ずしも好ましくない場合も存在する。
【００２８】
したがって、検索精度に悪影響を与えず、また効率よくＣｏ１ｏｒＬａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを使うためには、各画像に対して保持する量子化ＤＣＴ係数の数を好適に決定する必要がある。
【００２９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出手段と、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出手段と、前記第１の抽出手段より抽出された第１の画像特徴量と前記第２の抽出手段により抽出された第２の画像特徴量との類似度を判定する判定手段と、前記判定手段により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択手段とを有することを特徴とする画像処理装置を提供する。
【００３０】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理手段と、前記ＤＣＴ処理手段によりＤＣＴ処理されたデータを量子化する量子化手段と、前記量子化手段により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択手段と、前記係数選択手段により選択された数の量子化係数を画像特徴量として設定する設定手段とを有することを特徴とする画像処理装置を提供する。
【００３１】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出工程と、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程と、前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程と、前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程とを有することを特徴とする画像処理方法を提供する。
【００３２】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理工程と、前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程と、前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程と、前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程とを有することを特徴とする画像処理方法を提供する。
【００３３】
上記課題を解決するために、本発明は、画像から第１の画像特徴量を抽出する第１の抽出工程のプログラムコードと、該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程のプログラムコードと、前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程のプログラムコードと、前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程のプログラムコードとを有することを特徴とする記憶媒体を提供する。
【００３４】
上記課題を解決するために、本発明は、画像をＤＣＴ処理するＤＣＴ処理工程のプログラムコードと、前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程のプログラムコードと、前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程のプログラムコードと、前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程のプログラムコードとを有することを特徴とする記憶媒体を提供する。
【００３７】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。
【００３８】
＜第１の実施形態＞
図９は、第１の実施形態における画像特徴量抽出処理が可能な画像処理装置の構成を示すブロック図である。
【００３９】
図９において、データ入出力部９００は、静止画像データと動画像データの両方を入力可能な画像入力装置である。具体的には、スチル撮影可能なデジタルビデオ装置がある。また、メモリーカード、ＰＣカード等から、ＵＳＢなどを通して、デジタルカメラなどで撮影した画像等のデータを読み込むことも可能である。また、逆に、画像等のデータをメモリーカードヘ書き込むことも行う。
【００４０】
入力部９０１は、ユーザーからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、タブレット等が挙げられる。入力部９０１の具体的な例としては、画像の入カモードや撮影モードを設定するモード設定手段があげられる。
【００４１】
蓄積部９０２は、画像データや画像特徴量データを蓄積する装置で、通常は、ハードディスクなどが用いられる。表示部９０３は、ＧＵＩ等の画像を表示する装置で、一般的に、ＣＲＴや、液晶ディスプレイなどが用いられる。
【００４２】
９０４は、ＣＰＵであり、上述した各構成の処理の全てに関わる。ＲＯＭ９０５と、ＲＡＭ９０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ９０４に提供する。また、図３、図８のフローチャートで示される処理に必要な制御プログラムは、蓄積部９０２に格納されているか、ＲＯＭ９０５に格納されているものとする。なお、制御プログラムが蓄積部９０２に格納されている場合は、一旦ＲＡＭ９０６に読み込まれてから実行される。なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００４３】
以下に、上記画像処理装置を用いた画像特徴量抽出方式について、図を参照して説明する。
【００４４】
まず、Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの画像特徴量抽出のおおまかな流れは、従来技術および図４、図５、図６に示した通りであるので、ここでは割愛する。
【００４５】
従来技術においては原画像を縮小した後に色変換をほどこしYCbCrデータを得ているが、本発明による方式においてはDCT処理に対する入力として8x8画素分のYCbCrの画像データがあればよく、例えば原画像全体に対して色変換をほどこし、その後に公知の画像変倍方式によって8x8画素分のYCbCr画像データを得るのであっても、本発明による方式の意図するところである。さらには、原画像が元々YCbCr方式の画像データであるような場合には、色変換処理は冗長であって、省略しても本発明の意図するところと変わらない。
【００４６】
以下説明の簡便のため、Ｙ成分の量子化ＤＣＴをｘ個、Ｃｂ成分の量子化ＤＣＴをｙ個、Ｃｒ成分の量子化ＤＣＴをｚ個保持するＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを、ｘ／ｙ／ｚ ｄｅｓｃｒｉｐｔｏｒと略記することとする。
【００４７】
今、ある画像のＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを作成する場合を考える。例えば、図１に示すように、６／３／３と６／６／６の２つの係数選択方式を候補とし、それらのうち一つを選択するとする。
【００４８】
図１は、ある画像に対する画像特徴量データのための係数選択を示す図である。図１において、１０１はＹ成分の量子化ＤＣＴ係数（の一部）、１０２はＣｂ成分の量子化ＤＣＴ係数（の一部）、１０３はＣｒ成分の量子化ＤＣＴ係数（の一部）を表している。原画像から、１０１〜１０３の量子化ＤＣＴ係数を得る方法は、図４に示してある。
【００４９】
これらの係数は、図５にあるようなジグザグスキャン処理により、図１の１１１〜１１３に示すように一次元に配置される。
【００５０】
次に、一次元に配置された量子化ＤＣＴ係数から係数選択を行う。ここで、例えば６／３／３で選択を行うと、図１の１２１で示すような係数の組が抽出される。またあるいは６／６／６で選択を行うと、図１の１２２で示すような係数の組が選択される。
【００５１】
もし、量子化係数の組１２１と量子化係数の組１２２の表す原画像の特徴が、十分に近いならば、量子化係数の組１２１の方が、データ量が小さいという利点がある。しかし逆に、これらがあまり近くないならば、量子化係数の組１２１は原画像の特徴を一部損なっている可能性がある。したがって、なんらかの基準によって、これを選択することとなる。
【００５２】
この選択をするために、本実施例では、量子化係数の組１２１と量子化係数の組１２２の間の距離を考える。〔ＶＸＭ７．０〕によれば、ｄｅｓｃｒｉｐｔｏｒの距離計算において、比較する２つのｄｅｓｃｒｉｐｔｏｒの係数の数が異なる場合には、係数の数の少ないｄｅｓｃｒｉｐｔｏｒに合わせて係数の数が多いｄｅｓｃｒｉｐｔｏｒの一部係数を無視するか、あるいは係数の数の多いｄｅｓｃｒｉｐｔｏｒに合わせて、係数の数の少ないｄｅｓｃｒｉｐｔｏｒが持っていない係数部分には１６を補う、という方法が示されている。
【００５３】
前者の場合、１２１と１２２の一部係数を取り除いて係数の数が同じになるようにしたものは、常に同一であるが、後者の場合、１２２のＣb4〜Ｃb6，Ｃr4〜Ｃr6の値によっては、１２１と１２２は一致しない。図２の１２１′は、１２１に対して、その不足している係数成分に１６を補ったものを表している。
【００５４】
本実形態では、この１２１'と１２２の間の距離を考える。両者の距離が非常に近いならば、両者が表す原画像の特徴は近く、すなわち１２１と１２２の特徴が近いと考えられる。その場合には、データ量的に有利な１２１（６／３／３）を選択し、そうでないならば、１２２を選択する。
【００５５】
１２１′と１２２の間の距離には様々な方法が考えられるが、本実施例では１２１′と１２２の対応する係数の絶対差の合計を考える。すなわち、次式で与えられるｄを考える。
【００５６】
【外８】
式１：本発明による、２つのｄｅｓｃｒｉｐｔｏｒの距離を測る式の例（１）
ここで、１２１′と１２２の場合、
・Ｙｉ＝Ｙｉ′（１≦ｉ≦６）
・Ｃｂｊ＝Ｃｂ′ｊ （１≦ｊ≦３）
・Ｃｒｋ＝Ｃｒ′ｋ （１≦ｋ≦３）
・Ｃｂ′ｊ＝Ｃｒ′ｋ＝１６ （４≦ｋ≦６）
が成立する。ここで、Ｙ'ｉ，Ｃｂ'ｊ，Ｃｒ'ｋは１２２の係数を、Ｙ'ｉ，Ｃｂ'ｊ，Ｃｒ'ｋは１２１'の係数を表しているものとする。これを、代入すると、式１は次のようになる。
【００５８】
【外９】
式２：本発明による、２つのｄｅｓｃｒｉｐｔｏｒの距離を測る式の例（２）
次に、このｄの値を、予め定めておいたしきい値Ｔｈと比較する。もし、ｄがＴｈより小さいならば、１２１'と１２２は十分に近いと判断し、１２１、すなわち６／３／３の量子化ＤＣＴ係数を選択する。そうでない場合には、１２２、すなわち６／６／６の量子化ＤＣＴ係数を選択する。ここで、しきい値Ｔｈの値は任意の正の値で良い。また、何らかの条件によって動的に決定するのでも良いし、あるいは経験的な方法などで予め定めておいた値であっても良い。
【００６０】
本実施形態では、２つのｄｅｓｃｒｉｐｔｏｒの距離を判定するのに、対応する係数の絶対差の合計を用いたが、この他の距離定義であっても構わない。例えば〔ＶＸＭ７．０〕の式１０００１によるような距離定義であっても構わない。また、単一の式で判定を行ったが、例えばＹ，Ｃｂ，Ｃｒ色成分各々について判定処理を行い、そのａｎｄ条件、ｏｒ条件によって判定するのでも良い。
【００６１】
本実施形態では、量子化ＤＣＴ係数の数の候補として、６／６／６と６／３／３を候補とする場合のみを説明したが、他のパターンであっても良い。
【００６２】
図３は上記係数選択判断処理の処理の流れを示す図である。
【００６３】
まず、Ｓ３０１で、第一の画像特徴量データを取り出す。これは本実施例の場合例えば１２１を取り出す処理に相当する。次にＳ３０２で、第二の画像特徴量データを取り出す。これは本実施例の場合例えば１２２を取り出す処理に相当する。
【００６４】
次に、Ｓ３０３では、２つの画像特徴量データの間の距離を算出する。すなわち本実施例においては、量子化ＤＣＴ係数１２１より１２１'を作成し、１２１'と１２２の間の距離ｄを、例えば式１もしくは式２によるような式によって算出する。
【００６５】
さらに、算出された距離ｄはＳ３０４においてしきい値と比較される。このしきい値より距離ｄが小さかった場合は、データ量的に小さくて有利なほうの、より係数の数の少ない画像特徴量データを選択し（Ｓ３０５）、そうでなかった場合は、処理はＳ３０６に流れ、より係数の数が多い特徴量データを選択する。
【００６６】
このようにして選択された係数の数による量子化ＤＣＴ係数を用いてＣｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒを作成する。
【００６７】
＜第２の実施形態＞
第一の実施形態では、ｄｅｓｃｒｉｐｔｏｒデータの値に応じて量子化ＤＣＴ係数の数を決定したが、この他にも、例えばその画像の撮影条件などで変更するのであっても良い。
【００６８】
例えば、経験的に動画像データはダイナミックレンジが比較的小さく、６／３／３で十分に表現可能である場合があることがわかっている。一方静止画像は高精細な画像も多く、６／６／６でないと十分に表現されない場合が多いことがわかっている。
【００６９】
そこで、本実施例では６／３／３と６／６／６の選択の場合に、原画像の撮影条件によって変更する。すなわち、
・原画像が動画像ならば、６／３／３
・原画像が静止画像ならば、６／６／６
の量子化ＤＣＴ係数を保持するようにする。原画像が動画像か静止画像かというのは、例えば原画像データのＭＩＭＥ−Ｔｙｐｅやファイル名の拡張子等から判断するのでもよいし、例えば本発明を動画像と静止画像の両方を撮影可能な例えば公知のデジタルビデオ撮影装置に適用したような場合には、その撮影モード（例えばダイヤルなどによってユーザが指定する）から判定するのでも良い。
【００７０】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
以上、説明したように、８画素×８画素の画像に対して、公知の離散コサイン変換と、さらに量子化処理を施して得られる、量子化されたＤＣＴ係数のうち、低周波数成分側から幾つかの係数を選択して取り出し、取り出された係数を原画像の特徴量とする画像特徴量抽出方式において、原画像に応じて抽出する係数の数を変更させることによって、好適な係数の数を選択可能となる。
【００７７】
【発明の効果】
検索精度に悪影響を与えず、また効率よく画像を検索するための画像特徴量を決定することが可能になった。
【図面の簡単な説明】
【図１】特徴データ取り出し処理を表す図である。
【図２】係数の数が異なるｄｅｓｃｒｉｐｔｏｒ比較の時の処理を示す図である。
【図３】係数選択判断処理の処理の流れを示す図である。
【図４】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの特徴抽出処理を示す図である。
【図５】ジグザグスキャン処理を示す図である。
【図６】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒのバイナリ格納方式（デフォルト）を示す図である。
【図７】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒのバイナリ格納方式を示す図である。
【図８】Ｃｏ１ｏｒ Ｌａｙｏｕｔ ｄｅｓｃｒｉｐｔｏｒの特徴抽出処理の流れを示す流れ図である。
【図９】本発明の画像処理装置の構成を示すブロック図である。
Claims (16)
- 画像から第１の画像特徴量を抽出する第１の抽出手段と、
該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出手段と、
前記第１の抽出手段より抽出された第１の画像特徴量と前記第２の抽出手段により抽出された第２の画像特徴量との類似度を判定する判定手段と、
前記判定手段により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択手段と、
を有することを特徴とする画像処理装置。 - 前記画像特徴量は、前記画像を変倍し、生成された変倍画像に対してＤＣＴ処理と量子化処理を行い、その結果を得られた係数のうち低周波成分側から幾つかの係数を取り出したものであることを特徴とする請求項１に記載の画像処理装置。
- 前記第１の抽出手段と前記第２の抽出手段は、前記係数の取り出す数が異なることを特徴とする請求項２に記載の画像処理装置。
- 画像をＤＣＴ処理するＤＣＴ処理手段と、
前記ＤＣＴ処理手段によりＤＣＴ処理されたデータを量子化する量子化手段と、
前記量子化手段により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択手段と、
前記係数選択手段により選択された数の量子化係数を画像特徴量として設定する設定手段と、
を有することを特徴とする画像処理装置。 - 前記係数選択手段により選択された量子化ＤＣＴ係数の数に基づいて、低周波数成分側から量子化ＤＣＴ係数を取り出す取り出し手段とを有することを特徴とする請求項４に記載の画像処理装置。
- 前記設定手段は、Ｙ／Ｃｂ／Ｃｒ成分の量子化された量子化ＤＣＴ係数をジグザグスキャンによって並び替え、原画像が静止画像である場合はＹ／Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数の低周波数成分側から各々先頭６個ずつを選択し、原画像が動画像である場合は、Ｙ成分の量子化ＤＣＴ係数を低周波数成分側から先頭６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数を低周波数成分側から各々先頭３個ずつを選択することを特徴とする請求項４に記載の画像処理装置。
- 静止画像データと動画像データの両方を入力可能な画像入力手段と、
画像入力モードに応じて、入力された画像が静止画像であるか動画像のあるフレーム画像であるかを判定する判定手段を有することを特徴とする請求項４に記載の画像処理装置。 - 画像から第１の画像特徴量を抽出する第１の抽出工程と、
該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程と、
前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程と、
前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程と、
を有することを特徴とする画像処理方法。 - 前記画像特徴量は、前記画像を変倍し、生成された変倍画像に対してＤＣＴ処理と量子化処理を行い、その結果を得られた係数のうち低周波成分側から幾つかの係数を取り出したものであることを特徴とする請求項８に記載の画像処理方法。
- 前記第１の抽出工程と前記第２の抽出工程は、前記係数の取り出す数が異なることを特徴とする請求項９に記載の画像処理方法。
- 画像をＤＣＴ処理するＤＣＴ処理工程と、
前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程と、
前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程と、
前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程と、
を有することを特徴とする画像処理方法。 - 前記係数選択工程により選択された量子化ＤＣＴ係数の数に基づいて、低周波数成分側から量子化ＤＣＴ係数を取り出す取り出し工程とを有することを特徴とする請求項１１に記載の画像処理方法。
- 前記設定工程は、Ｙ／Ｃｂ／Ｃｒ成分の量子化された量子化ＤＣＴ係数をジグザグスキャンによって並び替え、原画像が静止画像である場合はＹ／Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数の低周波数成分側から各々先頭６個ずつを選択し、原画像が動画像である場合は、Ｙ成分の量子化ＤＣＴ係数を低周波数成分側から先頭６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数を低周波数成分側から各々先頭３個ずつを選択することを特徴とする請求項１１に記載の画像処理方法。
- 静止画像データと動画像データの両方を入力可能な画像入力工程と、
画像入力モードに応じて、入力された画像が静止画像であるか動画像のあるフレーム画像であるかを判定する判定工程を有することを特徴とする請求項４に記載の画像処理装置。 - 画像から第１の画像特徴量を抽出する第１の抽出工程のプログラムコードと、
該画像から、前記第１の画像特徴量よりデータ量の多い第２の画像特徴量を抽出する第２の抽出工程のプログラムコードと、
前記第１の抽出工程より抽出された第１の画像特徴量と前記第２の抽出工程により抽出された第２の画像特徴量との類似度を判定する判定工程のプログラムコードと、
前記判定工程により類似していると判定された場合、前記第１の画像特徴量を、類似していないと判定された場合、前記第２の画像特徴量を前記画像の特徴量として選択する選択工程のプログラムコードと、
を有することを特徴とする記憶媒体。 - 画像をＤＣＴ処理するＤＣＴ処理工程のプログラムコードと、
前記ＤＣＴ処理工程によりＤＣＴ処理されたデータを量子化する量子化工程のプログラムコードと、
前記量子化工程により量子化された量子化ＤＣＴ係数の中から抽出する量子化ＤＣＴ係数の数を、原画像が動画像であるか静止画像であるかに応じて選択する係数選択工程のプログラムコードと、
前記係数選択工程により選択された数の量子化係数を画像特徴量として設定する設定工程のプログラムコードと、
を有することを特徴とする記憶媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000321492A JP3684148B2 (ja) | 2000-10-20 | 2000-10-20 | 画像処理方法及びその装置、記憶媒体 |
| US09/977,318 US7149363B2 (en) | 2000-10-20 | 2001-10-16 | Image processing method, apparatus therefor and storing medium |
| AU81453/01A AU785095B2 (en) | 2000-10-20 | 2001-10-18 | Image processing method, apparatus therefor and storing medium |
| EP20010308920 EP1199650A3 (en) | 2000-10-20 | 2001-10-19 | Image indexing method |
| KR10-2001-0064591A KR100464224B1 (ko) | 2000-10-20 | 2001-10-19 | 화상처리방법 및 그 장치, 기억매체 |
| US11/491,265 US7394928B2 (en) | 2000-10-20 | 2006-07-24 | Selection of coefficients for quantization processing based on whether an original image is a still image or a moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000321492A JP3684148B2 (ja) | 2000-10-20 | 2000-10-20 | 画像処理方法及びその装置、記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002133414A JP2002133414A (ja) | 2002-05-10 |
| JP3684148B2 true JP3684148B2 (ja) | 2005-08-17 |
Family
ID=18799608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000321492A Expired - Fee Related JP3684148B2 (ja) | 2000-10-20 | 2000-10-20 | 画像処理方法及びその装置、記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US7149363B2 (ja) |
| EP (1) | EP1199650A3 (ja) |
| JP (1) | JP3684148B2 (ja) |
| KR (1) | KR100464224B1 (ja) |
| AU (1) | AU785095B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3684148B2 (ja) | 2000-10-20 | 2005-08-17 | キヤノン株式会社 | 画像処理方法及びその装置、記憶媒体 |
| JP5239367B2 (ja) * | 2007-03-19 | 2013-07-17 | 富士通株式会社 | 情報提供システム、情報提供プログラムおよび情報提供方法 |
| JP5096776B2 (ja) | 2007-04-04 | 2012-12-12 | キヤノン株式会社 | 画像処理装置及び画像検索方法 |
| CN102349091B (zh) * | 2009-03-13 | 2014-08-06 | 日本电气株式会社 | 图像签名匹配设备 |
| TWI561060B (en) * | 2015-01-15 | 2016-12-01 | Mstar Semiconductor Inc | Signal processing apparatus and signal processing method including quantization or inverse-quantization process |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0214672A (ja) * | 1988-06-30 | 1990-01-18 | Dainippon Screen Mfg Co Ltd | 画像データ圧縮方法 |
| US5063608A (en) * | 1989-11-03 | 1991-11-05 | Datacube Inc. | Adaptive zonal coder |
| JPH06333046A (ja) | 1993-05-18 | 1994-12-02 | Nippon Avionics Co Ltd | 画像の特徴量抽出装置 |
| JPH0778256A (ja) * | 1993-06-17 | 1995-03-20 | Omron Corp | 特徴量選択方法及び装置 |
| JP2531106B2 (ja) * | 1993-08-17 | 1996-09-04 | 日本電気株式会社 | 動画像符号化制御方式 |
| US5712809A (en) * | 1994-10-31 | 1998-01-27 | Vivo Software, Inc. | Method and apparatus for performing fast reduced coefficient discrete cosine transforms |
| WO1998009436A1 (en) * | 1996-08-30 | 1998-03-05 | Sony Corporation | Device, method, and medium for recording still picture and animation |
| JPH10108121A (ja) * | 1996-09-25 | 1998-04-24 | Nikon Corp | 電子カメラ |
| JPH10254993A (ja) * | 1997-03-12 | 1998-09-25 | Canon Inc | 文字抽出装置及び文字抽出方法 |
| JP3209171B2 (ja) * | 1998-01-08 | 2001-09-17 | 日本電気株式会社 | 動画像符号化装置 |
| JPH11212993A (ja) | 1998-01-27 | 1999-08-06 | Minolta Co Ltd | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 |
| US6720971B1 (en) * | 1998-05-29 | 2004-04-13 | Canon Kabushiki Kaisha | Image processing method and apparatus, and storage medium |
| US6633685B1 (en) * | 1998-08-05 | 2003-10-14 | Canon Kabushiki Kaisha | Method, apparatus, and storage media for image processing |
| JP3496559B2 (ja) * | 1999-01-06 | 2004-02-16 | 日本電気株式会社 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| US6665090B1 (en) * | 2000-03-13 | 2003-12-16 | Hewlett-Packard Development Company, L.P. | System and method for creating and printing a creative expression |
| JP3684148B2 (ja) | 2000-10-20 | 2005-08-17 | キヤノン株式会社 | 画像処理方法及びその装置、記憶媒体 |
-
2000
- 2000-10-20 JP JP2000321492A patent/JP3684148B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-16 US US09/977,318 patent/US7149363B2/en not_active Expired - Fee Related
- 2001-10-18 AU AU81453/01A patent/AU785095B2/en not_active Ceased
- 2001-10-19 EP EP20010308920 patent/EP1199650A3/en not_active Withdrawn
- 2001-10-19 KR KR10-2001-0064591A patent/KR100464224B1/ko not_active IP Right Cessation
-
2006
- 2006-07-24 US US11/491,265 patent/US7394928B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR100464224B1 (ko) | 2005-01-03 |
| US7149363B2 (en) | 2006-12-12 |
| US20020071609A1 (en) | 2002-06-13 |
| AU785095B2 (en) | 2006-09-14 |
| KR20020031069A (ko) | 2002-04-26 |
| US7394928B2 (en) | 2008-07-01 |
| EP1199650A2 (en) | 2002-04-24 |
| JP2002133414A (ja) | 2002-05-10 |
| US20060257035A1 (en) | 2006-11-16 |
| EP1199650A3 (en) | 2011-07-20 |
| AU8145301A (en) | 2002-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8159550B2 (en) | Presenting images as mosaics | |
| US8134578B2 (en) | Hybrid importance maps for content aware digital image resizing | |
| JP4738943B2 (ja) | 画像処理装置およびその方法 | |
| JP2005235175A (ja) | コンテンツエンジンのためのｅｘｉｆに基づく画像の特徴セット | |
| JP2002535751A (ja) | 領域に基づいた画像の保管及び検索システム | |
| US20060274081A1 (en) | Image retrieving apparatus, image retrieving method, program, and storage medium | |
| US20080219563A1 (en) | Configuration of a plurality of images for multi-dimensional display | |
| JP4078085B2 (ja) | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 | |
| US6718075B1 (en) | Image search method and apparatus | |
| US6928186B2 (en) | Semantic downscaling and cropping (SEDOC) of digital images | |
| EP1574991A1 (en) | Similar image extraction device, similar image extraction method, and similar image extraction program | |
| JP2003006643A (ja) | 画像処理装置及びその方法、プログラム | |
| JP3684148B2 (ja) | 画像処理方法及びその装置、記憶媒体 | |
| JP2010102502A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2004334341A (ja) | 文書検索装置、文書検索方法及び記録媒体 | |
| JP4001446B2 (ja) | 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2001134765A (ja) | 画像検索方法及び装置 | |
| JP3774498B2 (ja) | 画像処理方法とその装置 | |
| JP4290080B2 (ja) | 画像処理装置および画像処理方法およびコンピュータプログラム | |
| JP3814499B2 (ja) | 画像処理装置及びその方法、プログラム | |
| US8395819B2 (en) | Image processing device, image processing method and computer readable medium | |
| US7515306B2 (en) | Document display method and apparatus | |
| JPH11187231A (ja) | 画像検索装置及び画像検索方法 | |
| JPH0774966A (ja) | 画像処理装置 | |
| JP2004236170A (ja) | 画像データ処理方法、画像データ処理装置ならびにプログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050113 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050527 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110603 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130603 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |