JP3979590B2 - オブジェクト抽出・領域分割結果の類似度測定法 - Google Patents
オブジェクト抽出・領域分割結果の類似度測定法 Download PDFInfo
- Publication number
- JP3979590B2 JP3979590B2 JP2002261573A JP2002261573A JP3979590B2 JP 3979590 B2 JP3979590 B2 JP 3979590B2 JP 2002261573 A JP2002261573 A JP 2002261573A JP 2002261573 A JP2002261573 A JP 2002261573A JP 3979590 B2 JP3979590 B2 JP 3979590B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- object extraction
- area
- region division
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、オブジェクト抽出・領域分割結果の類似度測定法に関し、特に、静止画像や動画像から各種のオブジェクト抽出手法および領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる、オブジェクト抽出・領域分割結果の類似度測定法に関する。
【０００２】
【従来の技術】
MPEG-4 の Visual Part[1]（ISO/IEC 14496-2:2001“Coding of audio-video objects Part2:Visual”）でオブジェクト符号化に関する枠組みが採用されたことにより、それを行うためのオブジェクト抽出あるいは領域分割技術の発展が望まれている。
【０００３】
画像伝送の技術分野では、２次元映像信号を入力としたオブジェクト符号化を行うための汎用的なオブジェクト抽出手法が検討されており、また、コンピュータビジョンの技術分野でも、オブジェクト抽出や画面全体の領域分割に関する検討が数多くなされている。
【０００４】
さらに、対象や用途を特化したオブジェクト抽出や領域分割に関しては特に深く検討が進められており、それに関する製品も極めて精錬されたものが市場に存在している。
【０００５】
従来の各種のオブジェクト抽出手法および領域分割手法により得られた結果を比較し、それら結果の類似度を測定することは、各オブジェクト抽出手法および領域分割手法を評価し、精度の点で最適な汎用のオブジェクト抽出手法を構築する上で有効なものである。
【０００６】
これまでに、ある画像から抽出したオブジェクト同士を比較するものは存在しており、例えば、双方の位置を比較したり、抽出されたオブジェクトの形状を比較するものなど様々な方式が提案されている。オブジェクトの類似度を測定する最も簡易な方法は、画像から抽出された形状信号のＬ１（Ｌ２）ノルムを取る方法である。
【０００７】
一方、近年、マルチメディアコンテンツのメタデータ（特徴量）を構造的に記述するための国際標準として MPEG-7 が注目を集めている。特に、その中の Visual Part[2]（ISO/IEC 15938-3:2001“Multimedia content description interface Part3:Visual”）では、映像信号の様々な信号特性を効率的に記述するツールを規定しており、これを用いれば、主に大量のデータベースから意にかなった映像を検索したり、映像を識別したりするなどの機能を実現することが可能である。
【０００８】
また、非標準ではあるが、メタデータの抽出方法、その類似度の算出方法なども検討されており（ISO/IEC JTC1/SC29/WG11 N4579,“Text of ISO/IEC 15938-8 DTR(Extraction and Use of MPEG-7 Descriptions),”2002.3）、ここで検討されている記述子によれば、画像における位置情報の類似度および形状表現の類似度を算出することができる。
【０００９】
また、“オーディオビジュアル複合情報処理シンポジウム２００１論文集”2001.9 にも、画像における位置情報の類似度および形状表現の類似度を求める手法が提案されている。
【００１０】
このような検討、提案されている方法で求められる、画像における位置情報の類似度および形状表現の類似度は、以前からの画像検索・識別の検討で培われてきた技術をふんだんに活用しているものであるため、画像の類似度を測定するには極めて有効なものであると言える。
【００１１】
【発明が解決しようとする課題】
しかしながら、画像から抽出された形状信号のＬ１（Ｌ２）ノルムを取ってオブジェクトの類似度とする方法は、形状全体のバランスなどの画像の特徴を全く考慮していないため、この方法により得られる類似度をもってオブジェクトの類似度と呼ぶにはふさわしくない。
【００１２】
また、前記検討、提案されている方法によれば、オブジェクト抽出結果の類似度を得ることができるが、オブジェクト抽出結果の比較を対象としているため、画像全体をある属性で分割する領域分割手法による領域分割結果とオブジェクト抽出結果とを直接比較することができず、従来提案されている領域分割手法による領域分割結果を含めて比較するためには何らかの工夫が必要となる。
【００１３】
また、これらの方法は、オブジェクト符号化に対する考慮が一切なされておらず、オブジェクト符号化への適用をも考えた場合の類似度としては不十分なものとなる。
【００１４】
本発明の目的は、静止画像や動画像から各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができ、また、オブジェクト符号化をも見込んで類似度を得ることができる、オブジェクト抽出・領域分割結果の類似度測定法を提供することにある。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、
オブジェクト抽出・領域分割結果を統合する第１のステップと、前記第１のステップで統合された結果の類似度を算出する第２のステップとからなり、前記第１のステップは、ある特定の画像に対し、２つの異なる手法で得られた、２つのオブジェクト抽出結果、あるいはオブジェクト抽出結果と領域分割結果、あるいは２つの領域分割結果を入力とし、
（１）２つのオブジェクト抽出結果が入力された場合には、領域数に基づく指標Ｄを０とし、
（２）オブジェクト抽出結果Ｘと領域分割結果Ａｉ（ｉ＝１〜Ｎ）とが入力された場合には、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ａｉ）＞Ｔｈ、または、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ｘ）＞Ｔｈ、（ここで、Ａｒｅａ（Ｋ）：領域Ｋの面積、Ｔｈ：１未満かつ１に近い値をとる閾値である。）となるＡｉの数をｎとしたとき、Ｄ＝ｎ／Ｎにより領域数に基づく指標Ｄを算出し、
（３）２つの領域分割結果Ａｉ、Ｂｊが入力された場合には、着目する部分における領域分割結果Ａｉ、Ｂｊに関し、領域分割数の小さい方の各領域分割結果、大きい方の各領域分割結果を、前記（２）の場合のＸとＡｉとにそれぞれ対応させて同様の操作を行うことにより各領域分割結果Ｘについての領域数に基づく指標Ｄを算出し、
前記第２のステップは、第１のステップにより算出された領域数に基づく指標Ｄ、位置情報の類似度および形状表現の類似度を入力とし、それらの関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出するものであって、前記（１）および（２）の場合には、第１のステップで算出された領域数に基づく指標Ｄを用いて類似度を算出し、前記（３）の場合には、前記第１のステップで算出された領域数に基づく指標Ｄにより各領域分割結果Ｘについての類似度を算出し、さらに該類似度を平均化して総合の類似度を算出する点に第１の特徴がある。
【００１６】
また、本発明は、前記第２のステップが、さらに符号化難易度の類似度を入力とし、前記領域数に基づく指標Ｄ、位置情報の類似度、形状表現の類似度および符号化難易度の類似度の関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出する点に第２の特徴がある。
【００１８】
さらに、本発明は、領域数に基づく指標をＤ、位置情報の類似度をＬ、形状表現の類似度をＳ、符号化難易度の類似度をＣとしたとき、前記類似度関数Ｅを次式とした点に第３の特徴がある。
Ｅ＝ｗｌＬ＋ｗｓＳ＋ｗｃＣ＋ｗｄＤ
ここで、ｗｌ、ｗｓ、ｗｃ、ｗｄ：適宜設定されるすべて正の値の重み係数であり、かつｗｌ＋ｗｓ＋ｗｃ＋ｗｄ ＝１である。
【００１９】
前記特徴によれば、位置情報の類似度と形状表現の類似度のみでなく、領域数に基づく指標をも入力として類似度を測定するので、各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる。
【００２０】
また、符号化難易度の類似度を入力して類似度を測定することにより、オブジェクト符号化をも見込んで類似度を得ることができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。以下では簡単のために２種類の手法で得られた結果の類似度の測定について説明するが、２種類の手法で得られた結果の類似度を順次測定し、それら類似度の測定結果を総合することにより、それ以上の手法の結果の類似度の測定に拡張することができる。
【００２２】
本発明に係るオブジェクト抽出・領域分割結果の類似度測定法は、図１にその一実施形態を機能ブロック図として示すように、オブジェクト抽出・領域分割結果統合部１と類似度算出部２とに大別される。
【００２３】
オブジェクト抽出・領域分割結果統合部１は、ある特定の画像に対し、２つの異なる手法で得られた、２つのオブジェクト抽出結果、あるいはオブジェクト抽出と領域分割結果、あるいは２つの領域分割結果を入力とし、両結果の対応関係を調べ、領域数に基づく指標Ｄを算出して出力する。この詳細については後述する。
【００２４】
類似度算出部２は、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃ、およびオブジェクト抽出・領域分割結果統合部１により算出された領域数に基づく指標Ｄを入力とし、それらの関数である類似度関数を用いて、オブジェクト抽出・領域分割結果の類似度Ｅを算出する。
【００２５】
この類似度関数として、例えば以下の式を用いることができる。
Ｅ＝ｗｌＬ＋ｗｓＳ＋ｗｃＣ＋ｗｄＤ
ここで、ｗｌ、ｗｓ、ｗｃ、ｗｄ：重み係数である。なお、類似度関数の取り得る値はすべて［０，１］で正規化されているものとし、重み係数ｗｌ、ｗｓ、ｗｃ、ｗｄは適宜設定する。ただし、ｗｌ、ｗｓ、ｗｃ、ｗｄ はすべて正の値、かつｗｌ＋ｗｓ＋ｗｃ＋ｗｄ ＝１である。
【００２６】
図１の類似度算出部２には、この類似度関数により類似度を算出する構成を図示しており、乗算器３、４、５、６は、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃ、領域数に基づく指標Ｄにそれぞれ、重み係数 ｗｌ、ｗｓ、ｗｃ、ｗｄ を乗算する。加算器７は、これら乗算器３〜６の出力を加算して類似度Ｅを出力する。
【００２７】
位置情報の類似度Ｌおよび形状表現の類似度Ｓとしては、例えば、前記検討、提案されている類似度を用いることができる。また、符号化難易度の類似度Ｃとしては、形状情報符号量を用いることができる。この形状情報符号量は、本来ならば実際に符号量を求めるのが理想であるが、これが困難な場合は、例えば、形状の複雑度をフラクタル次元等を用いて、あるいは「2000映情全大、2000,8 “動画像の高効率領域分割符号化方式”高木他」（特開２００１−３２６９３７号公報）で提案されている、形状情報見積もり法を用いて求めることができる。
【００２８】
この形状情報見積もり法については、上記文献に説明されているので詳細な説明は省略するが、概略を説明すれば以下の通りである。まず、横方向の領域形状の有無を１ラインずつ検査する。次に、この検査により得られた領域形状の有無データを線長データに変換し、この線長データの整数符号化および単位線長への分配処理を施して単位線長分配データを作成する。続いて、単位線長符号化データから横の画素毎領域符号化データを作成する。縦方向についても同様にして縦の画素毎領域符号化データを作成する。以上のようにして作成した横の画素毎領域符号化データと縦の画素毎領域符号化データとを加算して局所画面の領域形状符号化データを得る。
【００２９】
次に、オブジェクト抽出・領域分割結果統合部１における、領域数に基づく指標Ｄおよび類似度Ｅの算出について説明する。領域数に基づく指標Ｄは、２つの異なる手法で得られた結果の対応関係の領域数に基づいて求められるものであり、オブジェクト抽出をＯＥ、領域分割をＲＳ、領域分割ＲＳの結果をＡｉ、Ｂｉ（ただし、ｉは領域のインデックス）、で表すと、以下の（１）〜（３）の場合に分けて求められる。
（１）ＯＥの結果とＯＥの結果を比較する場合
【００３０】
前記式におけるＤを０として、両者の類似度Ｅを算出する。
（２）ＯＥの結果ＸとＲＳの結果Ａｉを比較する場合
【００３１】
Ｙ＝Φ（空集合）とする。Ｘ∩Ａｉ≠ΦとなるすべてのＡｉに対し、ＸとＡｉの共通部分がＸあるいはＡｉの大部分を占める場合を抽出し、Ｙに加える。すなわち、
Area（Ｘ∩Ａｉ）／ Area（Ａｉ）＞Ｔｈ、または
Area（Ｘ∩Ａｉ）／ Area（Ｘ）＞Ｔｈ
となるＡｉに対し、Ｙ＝Ｙ＋Ａｉとする。
ここで、Area（Ｋ）：領域Ｋの面積
【００３２】
Ｔｈ：１未満かつ１に近い値をとる閾値
である。図２（ａ）、（ｂ）は、この抽出過程の一例を示し、図２（ａ）の場合には、 Area（Ｘ）の大部分をArea（Ｘ∩Ａｉ）が占めているので、このようなＡｉは抽出される。しかし。図２（ｂ）の場合には、Area（Ｘ）の中でArea（Ｘ∩Ａｉ）が占める割合、および Area（Ａｉ）の中でArea（Ｘ∩Ａｉ）が占める割合が共に小さいので、このＸに対しＡｉは抽出されない。
【００３３】
次に、Ｄ＝（Ｙに含まれる領域Ａｉの個数）／（全領域数（つまりＡｉの全個数））とし、前記式により両者の類似度Ｅを算出する。このＤの値は、ＯＥの結果ＸとＲＳの結果Ａｉとの対応部分において、両者の結果が数的に一致していれば小さい値となって、類似度が大であることを示し、ＯＥの結果の中に含まれるＲＳの結果が多くなれば大きい値となって、類似度が小であることを示す指標となっている。すなわち、同じように分割されていれば、類似度が大になるように作用する。
（３）ＲＳの結果ＡｉとＲＳの結果Ｂｉを比較する場合
【００３４】
画面全体をＺとする。もし、画面Ｚ中に注目すべき領域（特に類似度を測定したい部分）があったら、まず、その部分を囲み、ここで囲まれた領域をＺと置く。なお、注目すべき領域は適当に囲めばよい。
【００３５】
次に、Ａｉ∩Ｚ≠ΦとなるＡｉの個数αとＢｊ∩Ｚ≠ΦとなるＢｊの個数βを比較し、α＜βの場合、ＡｉとＢｊをすべて入れ替える。この操作を施すことにより、Ｚと領域を共にするＡｉの個数よりＢｊの個数の方が少なくなる。
【００３６】
そして、Ｂｊ∩Ｚ≠ΦとなるすべてのＢｊに対し、Ｂｊ＝Ｘと置き、前記（２）と同じ操作を施す。この操作により全Ｂｊに対するＡｉの類似度Ｅが求められるので、これら類似度Ｅの平均値をＡｉとＢｊの総合の類似度として出力する。
【００３７】
以下、具体的な例を用いて指標Ｄの算出過程について説明する。
図３（ａ）、（ｂ）は、ある画像に対して、オブジェクト抽出手法で得られた結果Ｘと領域分割手法で得られた結果Ａ１〜Ａ８を示している。この例は、オブジェクト抽出ＯＥの結果Ｘと領域分割ＲＳの結果Ａｉの類似度の測定であるので、前記（２）に従って類似度を算出する。
【００３８】
ここで、Ｔｈ＝０.９と置くと、Area（Ｘ∩Ａｉ）／ Area（Ａｉ）＞Ｔｈ、または、Area（Ｘ∩Ａｉ）／ Area（Ｘ）＞Ｔｈを満たすＡｉは、Ａ５とＡ６であるので、Ｙ＝Ａ５＋Ａ６となる。したがって、Ｄ＝２／８＝０.２５となる。
【００３９】
図４（ａ）、（ｂ）は、ある画像に対して、ある手法で得られた領域分割結果Ａ１〜Ａ８と他の手法で得られた領域分割の結果Ｂ１〜Ｂ４を示している。本例は、領域分割ＲＳの結果と領域分割ＲＳの結果の類似度の測定であるので、前記（３）に従って類似度を算出する。
【００４０】
ここで、注目すべき領域は特に指定されず、画像全体についての類似度を測定するものとすると、α＝８、β＝４であり、α＜βでないので、ＡｉとＢｊとの入れ替えを行わずそのまま次の操作に移行する。もちろんαとβとが逆の場合にはＡｉ→Ｂｉ、Ｂｊ→Ａｊの入れ替え操作を行う。
【００４１】
すべてのｊ（ｊ＝１，２，３，４）に対し、Ｘ＝Ｂｊと置き、前記（２）と同じ操作を行う。すなわち、まず、Ｘ＝Ｂ１とし、Ｂ１との共通部分の多い領域Ａｉ、本例ではＡ１とＡ４を抽出し、Ｂ１と（Ａ１＋Ａ４）に関してのＤ（＝２／８＝０.２５）を算出し、類似度Ｅを算出する。同様に、Ｘ＝Ｂ２、Ｂ３、Ｂ４としてそれらと共通部分の多い領域Ａｉを抽出し、Ｄを算出して類似度Ｅを算出する。次に、このようにして算出された類似度Ｅの平均値をとって、画像全体についての総合の類似度とする。
【００４２】
図５は、本発明の一実施形態におけるフローチャートを示し、まず、２種類のオブジェクト抽出ＯＥの結果の類似度の測定であるか否かを判定し（ステップＳ１）、ここでＹＥＳと判定すれば前記（１）に従ってＤ＝０として（ステップＳ２）類似度Ｅを算出する（ステップＳ３）。
【００４３】
ステップＳ１でＮＯと判定すれば、オブジェクト抽出ＯＥの結果と領域分割ＲＳの結果の類似度の測定であるか否かを判定し（ステップＳ４）、ここでＹＥＳと判定すれば前記（２）に従ってＤを算出し（ステップＳ５）、算出されたＤを用いて類似度Ｅを算出する（ステップＳ３）。
【００４４】
ステップＳ４でＮＯと判定した場合は、２種類の領域分割ＯＥの結果のの類似度の測定であるので、前記（３）に従って全Ｂｊに対するＡｉの類似度Ｅを算出し（ステップＳ６）、さらに、これら類似度Ｅの平均値をＡｉとＢｊの総合の類似度とする（ステップ（Ｓ３）。
【００４５】
なお、以上では、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃおよび領域数に基づく指標Ｄが、類似度が大であるほど小さい値を示し、したがって、類似度Ｅは、類似しているほど０に近い値を示すものとして説明したが、位置情報の類似度Ｌ、形状表現の類似度Ｓおよび符号化難易度の類似度Ｃが、類似度が大であるほど小さい値を示すものの場合には、１からその値を引いた値にすれば同様に操作することができ、前記式に汎用性を持たせることができる。また、逆に、類似度が大であるほど小さい値を示す類似度Ｅを出力するようにすることもできる。
【００４６】
また、以上では符号化難易度の類似度Ｃをも入力する実施形態について説明したが、これを除くことにより、あるいは符号化難易度の類似度Ｃの重み係数ｗｃを０とすることにより、符号化を除いた一般的なオブジェクト抽出・領域分割結果の類似度を評価することもできる。
【００４７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、静止画像や動画像から各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる。
【００４８】
また、オブジェクト符号化をも見込んで類似度を得ることもでき、例えば、ある映像信号に対し、それをオブジェクト符号化するための極めて良好なオブジェクト抽出・領域分割手法およびその結果が分かっている場合、その結果と別のオブジェクト抽出手法あるいは領域分割手法による結果との類似度を算出し、算出された類似度を、該手法でのパラメータ設定の際の指標とすることができる。
【図面の簡単な説明】
【図１】 本発明に係るオブジェクト抽出・領域分割結果の類似度測定法の一実施形態を示す機能ブロック図である。
【図２】 領域数に基づく指標の算出過程の説明図である。
【図３】 領域数に基づく指標の算出過程の一例の説明図である。
【図４】 領域数に基づく指標の算出過程の他の例の説明図である
【図５】 本発明係るオブジェクト抽出・領域分割結果の類似度測定法の一実施形態のフローチャートである。
【符号の説明】
１・・・オブジェクト抽出・領域分割結果統合部、２・・・類似度算出部、３〜６・・・乗算器、７・・・加算器
【発明の属する技術分野】
本発明は、オブジェクト抽出・領域分割結果の類似度測定法に関し、特に、静止画像や動画像から各種のオブジェクト抽出手法および領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる、オブジェクト抽出・領域分割結果の類似度測定法に関する。
【０００２】
【従来の技術】
MPEG-4 の Visual Part[1]（ISO/IEC 14496-2:2001“Coding of audio-video objects Part2:Visual”）でオブジェクト符号化に関する枠組みが採用されたことにより、それを行うためのオブジェクト抽出あるいは領域分割技術の発展が望まれている。
【０００３】
画像伝送の技術分野では、２次元映像信号を入力としたオブジェクト符号化を行うための汎用的なオブジェクト抽出手法が検討されており、また、コンピュータビジョンの技術分野でも、オブジェクト抽出や画面全体の領域分割に関する検討が数多くなされている。
【０００４】
さらに、対象や用途を特化したオブジェクト抽出や領域分割に関しては特に深く検討が進められており、それに関する製品も極めて精錬されたものが市場に存在している。
【０００５】
従来の各種のオブジェクト抽出手法および領域分割手法により得られた結果を比較し、それら結果の類似度を測定することは、各オブジェクト抽出手法および領域分割手法を評価し、精度の点で最適な汎用のオブジェクト抽出手法を構築する上で有効なものである。
【０００６】
これまでに、ある画像から抽出したオブジェクト同士を比較するものは存在しており、例えば、双方の位置を比較したり、抽出されたオブジェクトの形状を比較するものなど様々な方式が提案されている。オブジェクトの類似度を測定する最も簡易な方法は、画像から抽出された形状信号のＬ１（Ｌ２）ノルムを取る方法である。
【０００７】
一方、近年、マルチメディアコンテンツのメタデータ（特徴量）を構造的に記述するための国際標準として MPEG-7 が注目を集めている。特に、その中の Visual Part[2]（ISO/IEC 15938-3:2001“Multimedia content description interface Part3:Visual”）では、映像信号の様々な信号特性を効率的に記述するツールを規定しており、これを用いれば、主に大量のデータベースから意にかなった映像を検索したり、映像を識別したりするなどの機能を実現することが可能である。
【０００８】
また、非標準ではあるが、メタデータの抽出方法、その類似度の算出方法なども検討されており（ISO/IEC JTC1/SC29/WG11 N4579,“Text of ISO/IEC 15938-8 DTR(Extraction and Use of MPEG-7 Descriptions),”2002.3）、ここで検討されている記述子によれば、画像における位置情報の類似度および形状表現の類似度を算出することができる。
【０００９】
また、“オーディオビジュアル複合情報処理シンポジウム２００１論文集”2001.9 にも、画像における位置情報の類似度および形状表現の類似度を求める手法が提案されている。
【００１０】
このような検討、提案されている方法で求められる、画像における位置情報の類似度および形状表現の類似度は、以前からの画像検索・識別の検討で培われてきた技術をふんだんに活用しているものであるため、画像の類似度を測定するには極めて有効なものであると言える。
【００１１】
【発明が解決しようとする課題】
しかしながら、画像から抽出された形状信号のＬ１（Ｌ２）ノルムを取ってオブジェクトの類似度とする方法は、形状全体のバランスなどの画像の特徴を全く考慮していないため、この方法により得られる類似度をもってオブジェクトの類似度と呼ぶにはふさわしくない。
【００１２】
また、前記検討、提案されている方法によれば、オブジェクト抽出結果の類似度を得ることができるが、オブジェクト抽出結果の比較を対象としているため、画像全体をある属性で分割する領域分割手法による領域分割結果とオブジェクト抽出結果とを直接比較することができず、従来提案されている領域分割手法による領域分割結果を含めて比較するためには何らかの工夫が必要となる。
【００１３】
また、これらの方法は、オブジェクト符号化に対する考慮が一切なされておらず、オブジェクト符号化への適用をも考えた場合の類似度としては不十分なものとなる。
【００１４】
本発明の目的は、静止画像や動画像から各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができ、また、オブジェクト符号化をも見込んで類似度を得ることができる、オブジェクト抽出・領域分割結果の類似度測定法を提供することにある。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、
オブジェクト抽出・領域分割結果を統合する第１のステップと、前記第１のステップで統合された結果の類似度を算出する第２のステップとからなり、前記第１のステップは、ある特定の画像に対し、２つの異なる手法で得られた、２つのオブジェクト抽出結果、あるいはオブジェクト抽出結果と領域分割結果、あるいは２つの領域分割結果を入力とし、
（１）２つのオブジェクト抽出結果が入力された場合には、領域数に基づく指標Ｄを０とし、
（２）オブジェクト抽出結果Ｘと領域分割結果Ａｉ（ｉ＝１〜Ｎ）とが入力された場合には、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ａｉ）＞Ｔｈ、または、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ｘ）＞Ｔｈ、（ここで、Ａｒｅａ（Ｋ）：領域Ｋの面積、Ｔｈ：１未満かつ１に近い値をとる閾値である。）となるＡｉの数をｎとしたとき、Ｄ＝ｎ／Ｎにより領域数に基づく指標Ｄを算出し、
（３）２つの領域分割結果Ａｉ、Ｂｊが入力された場合には、着目する部分における領域分割結果Ａｉ、Ｂｊに関し、領域分割数の小さい方の各領域分割結果、大きい方の各領域分割結果を、前記（２）の場合のＸとＡｉとにそれぞれ対応させて同様の操作を行うことにより各領域分割結果Ｘについての領域数に基づく指標Ｄを算出し、
前記第２のステップは、第１のステップにより算出された領域数に基づく指標Ｄ、位置情報の類似度および形状表現の類似度を入力とし、それらの関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出するものであって、前記（１）および（２）の場合には、第１のステップで算出された領域数に基づく指標Ｄを用いて類似度を算出し、前記（３）の場合には、前記第１のステップで算出された領域数に基づく指標Ｄにより各領域分割結果Ｘについての類似度を算出し、さらに該類似度を平均化して総合の類似度を算出する点に第１の特徴がある。
【００１６】
また、本発明は、前記第２のステップが、さらに符号化難易度の類似度を入力とし、前記領域数に基づく指標Ｄ、位置情報の類似度、形状表現の類似度および符号化難易度の類似度の関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出する点に第２の特徴がある。
【００１８】
さらに、本発明は、領域数に基づく指標をＤ、位置情報の類似度をＬ、形状表現の類似度をＳ、符号化難易度の類似度をＣとしたとき、前記類似度関数Ｅを次式とした点に第３の特徴がある。
Ｅ＝ｗｌＬ＋ｗｓＳ＋ｗｃＣ＋ｗｄＤ
ここで、ｗｌ、ｗｓ、ｗｃ、ｗｄ：適宜設定されるすべて正の値の重み係数であり、かつｗｌ＋ｗｓ＋ｗｃ＋ｗｄ ＝１である。
【００１９】
前記特徴によれば、位置情報の類似度と形状表現の類似度のみでなく、領域数に基づく指標をも入力として類似度を測定するので、各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる。
【００２０】
また、符号化難易度の類似度を入力して類似度を測定することにより、オブジェクト符号化をも見込んで類似度を得ることができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。以下では簡単のために２種類の手法で得られた結果の類似度の測定について説明するが、２種類の手法で得られた結果の類似度を順次測定し、それら類似度の測定結果を総合することにより、それ以上の手法の結果の類似度の測定に拡張することができる。
【００２２】
本発明に係るオブジェクト抽出・領域分割結果の類似度測定法は、図１にその一実施形態を機能ブロック図として示すように、オブジェクト抽出・領域分割結果統合部１と類似度算出部２とに大別される。
【００２３】
オブジェクト抽出・領域分割結果統合部１は、ある特定の画像に対し、２つの異なる手法で得られた、２つのオブジェクト抽出結果、あるいはオブジェクト抽出と領域分割結果、あるいは２つの領域分割結果を入力とし、両結果の対応関係を調べ、領域数に基づく指標Ｄを算出して出力する。この詳細については後述する。
【００２４】
類似度算出部２は、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃ、およびオブジェクト抽出・領域分割結果統合部１により算出された領域数に基づく指標Ｄを入力とし、それらの関数である類似度関数を用いて、オブジェクト抽出・領域分割結果の類似度Ｅを算出する。
【００２５】
この類似度関数として、例えば以下の式を用いることができる。
Ｅ＝ｗｌＬ＋ｗｓＳ＋ｗｃＣ＋ｗｄＤ
ここで、ｗｌ、ｗｓ、ｗｃ、ｗｄ：重み係数である。なお、類似度関数の取り得る値はすべて［０，１］で正規化されているものとし、重み係数ｗｌ、ｗｓ、ｗｃ、ｗｄは適宜設定する。ただし、ｗｌ、ｗｓ、ｗｃ、ｗｄ はすべて正の値、かつｗｌ＋ｗｓ＋ｗｃ＋ｗｄ ＝１である。
【００２６】
図１の類似度算出部２には、この類似度関数により類似度を算出する構成を図示しており、乗算器３、４、５、６は、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃ、領域数に基づく指標Ｄにそれぞれ、重み係数 ｗｌ、ｗｓ、ｗｃ、ｗｄ を乗算する。加算器７は、これら乗算器３〜６の出力を加算して類似度Ｅを出力する。
【００２７】
位置情報の類似度Ｌおよび形状表現の類似度Ｓとしては、例えば、前記検討、提案されている類似度を用いることができる。また、符号化難易度の類似度Ｃとしては、形状情報符号量を用いることができる。この形状情報符号量は、本来ならば実際に符号量を求めるのが理想であるが、これが困難な場合は、例えば、形状の複雑度をフラクタル次元等を用いて、あるいは「2000映情全大、2000,8 “動画像の高効率領域分割符号化方式”高木他」（特開２００１−３２６９３７号公報）で提案されている、形状情報見積もり法を用いて求めることができる。
【００２８】
この形状情報見積もり法については、上記文献に説明されているので詳細な説明は省略するが、概略を説明すれば以下の通りである。まず、横方向の領域形状の有無を１ラインずつ検査する。次に、この検査により得られた領域形状の有無データを線長データに変換し、この線長データの整数符号化および単位線長への分配処理を施して単位線長分配データを作成する。続いて、単位線長符号化データから横の画素毎領域符号化データを作成する。縦方向についても同様にして縦の画素毎領域符号化データを作成する。以上のようにして作成した横の画素毎領域符号化データと縦の画素毎領域符号化データとを加算して局所画面の領域形状符号化データを得る。
【００２９】
次に、オブジェクト抽出・領域分割結果統合部１における、領域数に基づく指標Ｄおよび類似度Ｅの算出について説明する。領域数に基づく指標Ｄは、２つの異なる手法で得られた結果の対応関係の領域数に基づいて求められるものであり、オブジェクト抽出をＯＥ、領域分割をＲＳ、領域分割ＲＳの結果をＡｉ、Ｂｉ（ただし、ｉは領域のインデックス）、で表すと、以下の（１）〜（３）の場合に分けて求められる。
（１）ＯＥの結果とＯＥの結果を比較する場合
【００３０】
前記式におけるＤを０として、両者の類似度Ｅを算出する。
（２）ＯＥの結果ＸとＲＳの結果Ａｉを比較する場合
【００３１】
Ｙ＝Φ（空集合）とする。Ｘ∩Ａｉ≠ΦとなるすべてのＡｉに対し、ＸとＡｉの共通部分がＸあるいはＡｉの大部分を占める場合を抽出し、Ｙに加える。すなわち、
Area（Ｘ∩Ａｉ）／ Area（Ａｉ）＞Ｔｈ、または
Area（Ｘ∩Ａｉ）／ Area（Ｘ）＞Ｔｈ
となるＡｉに対し、Ｙ＝Ｙ＋Ａｉとする。
ここで、Area（Ｋ）：領域Ｋの面積
【００３２】
Ｔｈ：１未満かつ１に近い値をとる閾値
である。図２（ａ）、（ｂ）は、この抽出過程の一例を示し、図２（ａ）の場合には、 Area（Ｘ）の大部分をArea（Ｘ∩Ａｉ）が占めているので、このようなＡｉは抽出される。しかし。図２（ｂ）の場合には、Area（Ｘ）の中でArea（Ｘ∩Ａｉ）が占める割合、および Area（Ａｉ）の中でArea（Ｘ∩Ａｉ）が占める割合が共に小さいので、このＸに対しＡｉは抽出されない。
【００３３】
次に、Ｄ＝（Ｙに含まれる領域Ａｉの個数）／（全領域数（つまりＡｉの全個数））とし、前記式により両者の類似度Ｅを算出する。このＤの値は、ＯＥの結果ＸとＲＳの結果Ａｉとの対応部分において、両者の結果が数的に一致していれば小さい値となって、類似度が大であることを示し、ＯＥの結果の中に含まれるＲＳの結果が多くなれば大きい値となって、類似度が小であることを示す指標となっている。すなわち、同じように分割されていれば、類似度が大になるように作用する。
（３）ＲＳの結果ＡｉとＲＳの結果Ｂｉを比較する場合
【００３４】
画面全体をＺとする。もし、画面Ｚ中に注目すべき領域（特に類似度を測定したい部分）があったら、まず、その部分を囲み、ここで囲まれた領域をＺと置く。なお、注目すべき領域は適当に囲めばよい。
【００３５】
次に、Ａｉ∩Ｚ≠ΦとなるＡｉの個数αとＢｊ∩Ｚ≠ΦとなるＢｊの個数βを比較し、α＜βの場合、ＡｉとＢｊをすべて入れ替える。この操作を施すことにより、Ｚと領域を共にするＡｉの個数よりＢｊの個数の方が少なくなる。
【００３６】
そして、Ｂｊ∩Ｚ≠ΦとなるすべてのＢｊに対し、Ｂｊ＝Ｘと置き、前記（２）と同じ操作を施す。この操作により全Ｂｊに対するＡｉの類似度Ｅが求められるので、これら類似度Ｅの平均値をＡｉとＢｊの総合の類似度として出力する。
【００３７】
以下、具体的な例を用いて指標Ｄの算出過程について説明する。
図３（ａ）、（ｂ）は、ある画像に対して、オブジェクト抽出手法で得られた結果Ｘと領域分割手法で得られた結果Ａ１〜Ａ８を示している。この例は、オブジェクト抽出ＯＥの結果Ｘと領域分割ＲＳの結果Ａｉの類似度の測定であるので、前記（２）に従って類似度を算出する。
【００３８】
ここで、Ｔｈ＝０.９と置くと、Area（Ｘ∩Ａｉ）／ Area（Ａｉ）＞Ｔｈ、または、Area（Ｘ∩Ａｉ）／ Area（Ｘ）＞Ｔｈを満たすＡｉは、Ａ５とＡ６であるので、Ｙ＝Ａ５＋Ａ６となる。したがって、Ｄ＝２／８＝０.２５となる。
【００３９】
図４（ａ）、（ｂ）は、ある画像に対して、ある手法で得られた領域分割結果Ａ１〜Ａ８と他の手法で得られた領域分割の結果Ｂ１〜Ｂ４を示している。本例は、領域分割ＲＳの結果と領域分割ＲＳの結果の類似度の測定であるので、前記（３）に従って類似度を算出する。
【００４０】
ここで、注目すべき領域は特に指定されず、画像全体についての類似度を測定するものとすると、α＝８、β＝４であり、α＜βでないので、ＡｉとＢｊとの入れ替えを行わずそのまま次の操作に移行する。もちろんαとβとが逆の場合にはＡｉ→Ｂｉ、Ｂｊ→Ａｊの入れ替え操作を行う。
【００４１】
すべてのｊ（ｊ＝１，２，３，４）に対し、Ｘ＝Ｂｊと置き、前記（２）と同じ操作を行う。すなわち、まず、Ｘ＝Ｂ１とし、Ｂ１との共通部分の多い領域Ａｉ、本例ではＡ１とＡ４を抽出し、Ｂ１と（Ａ１＋Ａ４）に関してのＤ（＝２／８＝０.２５）を算出し、類似度Ｅを算出する。同様に、Ｘ＝Ｂ２、Ｂ３、Ｂ４としてそれらと共通部分の多い領域Ａｉを抽出し、Ｄを算出して類似度Ｅを算出する。次に、このようにして算出された類似度Ｅの平均値をとって、画像全体についての総合の類似度とする。
【００４２】
図５は、本発明の一実施形態におけるフローチャートを示し、まず、２種類のオブジェクト抽出ＯＥの結果の類似度の測定であるか否かを判定し（ステップＳ１）、ここでＹＥＳと判定すれば前記（１）に従ってＤ＝０として（ステップＳ２）類似度Ｅを算出する（ステップＳ３）。
【００４３】
ステップＳ１でＮＯと判定すれば、オブジェクト抽出ＯＥの結果と領域分割ＲＳの結果の類似度の測定であるか否かを判定し（ステップＳ４）、ここでＹＥＳと判定すれば前記（２）に従ってＤを算出し（ステップＳ５）、算出されたＤを用いて類似度Ｅを算出する（ステップＳ３）。
【００４４】
ステップＳ４でＮＯと判定した場合は、２種類の領域分割ＯＥの結果のの類似度の測定であるので、前記（３）に従って全Ｂｊに対するＡｉの類似度Ｅを算出し（ステップＳ６）、さらに、これら類似度Ｅの平均値をＡｉとＢｊの総合の類似度とする（ステップ（Ｓ３）。
【００４５】
なお、以上では、位置情報の類似度Ｌ、形状表現の類似度Ｓ、符号化難易度の類似度Ｃおよび領域数に基づく指標Ｄが、類似度が大であるほど小さい値を示し、したがって、類似度Ｅは、類似しているほど０に近い値を示すものとして説明したが、位置情報の類似度Ｌ、形状表現の類似度Ｓおよび符号化難易度の類似度Ｃが、類似度が大であるほど小さい値を示すものの場合には、１からその値を引いた値にすれば同様に操作することができ、前記式に汎用性を持たせることができる。また、逆に、類似度が大であるほど小さい値を示す類似度Ｅを出力するようにすることもできる。
【００４６】
また、以上では符号化難易度の類似度Ｃをも入力する実施形態について説明したが、これを除くことにより、あるいは符号化難易度の類似度Ｃの重み係数ｗｃを０とすることにより、符号化を除いた一般的なオブジェクト抽出・領域分割結果の類似度を評価することもできる。
【００４７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、静止画像や動画像から各種オブジェクト抽出手法や領域分割手法により得られた結果がどの程度類似しているかの類似度を得ることができる。
【００４８】
また、オブジェクト符号化をも見込んで類似度を得ることもでき、例えば、ある映像信号に対し、それをオブジェクト符号化するための極めて良好なオブジェクト抽出・領域分割手法およびその結果が分かっている場合、その結果と別のオブジェクト抽出手法あるいは領域分割手法による結果との類似度を算出し、算出された類似度を、該手法でのパラメータ設定の際の指標とすることができる。
【図面の簡単な説明】
【図１】 本発明に係るオブジェクト抽出・領域分割結果の類似度測定法の一実施形態を示す機能ブロック図である。
【図２】 領域数に基づく指標の算出過程の説明図である。
【図３】 領域数に基づく指標の算出過程の一例の説明図である。
【図４】 領域数に基づく指標の算出過程の他の例の説明図である
【図５】 本発明係るオブジェクト抽出・領域分割結果の類似度測定法の一実施形態のフローチャートである。
【符号の説明】
１・・・オブジェクト抽出・領域分割結果統合部、２・・・類似度算出部、３〜６・・・乗算器、７・・・加算器
Claims (3)
- オブジェクト抽出・領域分割結果を統合する第１のステップと、
前記第１のステップで統合された結果の類似度を算出する第２のステップとからなり、
前記第１のステップは、ある特定の画像に対し、２つの異なる手法で得られた、２つのオブジェクト抽出結果、あるいはオブジェクト抽出結果と領域分割結果、あるいは２つの領域分割結果を入力とし、
（１）２つのオブジェクト抽出結果が入力された場合には、領域数に基づく指標Ｄを０とし、
（２）オブジェクト抽出結果Ｘと領域分割結果Ａｉ（ｉ＝１〜Ｎ）とが入力された場合には、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ａｉ）＞Ｔｈ、または、Ａｒｅａ（Ｘ∩Ａｉ）／ Ａｒｅａ（Ｘ）＞Ｔｈ、（ここで、Ａｒｅａ（Ｋ）：領域Ｋの面積、Ｔｈ：１未満かつ１に近い値をとる閾値である。）となるＡｉの数をｎとしたとき、Ｄ＝ｎ／Ｎにより領域数に基づく指標Ｄを算出し、
（３）２つの領域分割結果Ａｉ、Ｂｊが入力された場合には、着目する部分における領域分割結果Ａｉ、Ｂｊに関し、領域分割数の小さい方の各領域分割結果、大きい方の各領域分割結果を、前記（２）の場合のＸとＡｉとにそれぞれ対応させて同様の操作を行うことにより各領域分割結果Ｘについての領域数に基づく指標Ｄを算出し、
前記第２のステップは、第１のステップにより算出された領域数に基づく指標Ｄ、位置情報の類似度および形状表現の類似度を入力とし、それらの関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出するものであって、前記（１）および（２）の場合には、第１のステップで算出された領域数に基づく指標Ｄを用いて類似度を算出し、前記（３）の場合には、前記第１のステップで算出された領域数に基づく指標Ｄにより各領域分割結果Ｘについての類似度を算出し、さらに該類似度を平均化して総合の類似度を算出することを特徴とするオブジェクト抽出・領域分割結果の類似度測定法。 - 前記第２のステップは、さらに符号化難易度の類似度を入力とし、前記領域数に基づく指標Ｄ、位置情報の類似度、形状表現の類似度および符号化難易度の類似度の関数である類似度関数を用いてオブジェクト抽出・領域分割結果の類似度を算出することを特徴とする請求項１に記載のオブジェクト抽出・領域分割結果の類似度測定法。
- 領域数に基づく指標をＤ、位置情報の類似度をＬ、形状表現の類似度をＳ、符号化難易度の類似度をＣとしたとき、前記類似度関数Ｅを次式としたことを特徴とする請求項２に記載のオブジェクト抽出・領域分割結果の類似度測定法。
Ｅ＝ｗｌＬ＋ｗｓＳ＋ｗｃＣ＋ｗｄＤ
ここで、ｗｌ、ｗｓ、ｗｃ、ｗｄ：適宜設定されるすべて正の値の重み係数であり、かつｗｌ＋ｗｓ＋ｗｃ＋ｗｄ ＝１である。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002261573A JP3979590B2 (ja) | 2002-09-06 | 2002-09-06 | オブジェクト抽出・領域分割結果の類似度測定法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002261573A JP3979590B2 (ja) | 2002-09-06 | 2002-09-06 | オブジェクト抽出・領域分割結果の類似度測定法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102515A JP2004102515A (ja) | 2004-04-02 |
| JP3979590B2 true JP3979590B2 (ja) | 2007-09-19 |
Family
ID=32261910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002261573A Expired - Lifetime JP3979590B2 (ja) | 2002-09-06 | 2002-09-06 | オブジェクト抽出・領域分割結果の類似度測定法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3979590B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4506409B2 (ja) * | 2004-10-27 | 2010-07-21 | 株式会社デンソー | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
-
2002
- 2002-09-06 JP JP2002261573A patent/JP3979590B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004102515A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Point cloud quality assessment: Dataset construction and learning-based no-reference metric | |
| CN108460338B (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
| Deng et al. | Unsupervised segmentation of color-texture regions in images and video | |
| US8203554B2 (en) | Method and apparatus for identifying visual content foregrounds | |
| Halit et al. | Multiscale motion saliency for keyframe extraction from motion capture sequences | |
| CN107545276B (zh) | 联合低秩表示和稀疏回归的多视角学习方法 | |
| US20040240734A1 (en) | Method for generating a block-based image histogram | |
| JP2000222586A (ja) | 累積モ―ションヒストグラムを利用したモ―ションディスクリプタ生成装置およびその方法 | |
| CN107590505B (zh) | 联合低秩表示和稀疏回归的学习方法 | |
| KR20060055534A (ko) | 다중-장면 비디오 코딩을 위한 의미론에 기초한 동작 평가 | |
| JP2006513468A (ja) | 画像内のピクセルをセグメント化する方法 | |
| CN104661037B (zh) | 压缩图像量化表篡改的检测方法和系统 | |
| US20040233987A1 (en) | Method for segmenting 3D objects from compressed videos | |
| KR100950617B1 (ko) | 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법 | |
| CN106375771B (zh) | 图像特征匹配方法和装置 | |
| CN110457996B (zh) | 基于vgg-11卷积神经网络的视频运动对象篡改取证方法 | |
| JP2005513929A6 (ja) | 画像のシーケンスにおける主要な動きを推定する方法 | |
| CN114969417A (zh) | 图像重排序方法、相关设备及计算机可读存储介质 | |
| CN110188625B (zh) | 一种基于多特征融合的视频精细结构化方法 | |
| Doulamis et al. | Generalized nonlinear relevance feedback for interactive content-based retrieval and organization | |
| Bhartiya et al. | Forgery detection using feature-clustering in recompressed JPEG images | |
| KR20010039811A (ko) | 디지털 영상 텍스쳐 분석 방법 | |
| JP3979590B2 (ja) | オブジェクト抽出・領域分割結果の類似度測定法 | |
| CN110390336B (zh) | 一种提高特征点匹配精度的方法 | |
| Kohrs et al. | Using color and texture indexing to improve collaborative filtering of art paintings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070622 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |