JP3406587B2 - 物体像識別方法 - Google Patents

物体像識別方法

Info

Publication number
JP3406587B2
JP3406587B2 JP2001261504A JP2001261504A JP3406587B2 JP 3406587 B2 JP3406587 B2 JP 3406587B2 JP 2001261504 A JP2001261504 A JP 2001261504A JP 2001261504 A JP2001261504 A JP 2001261504A JP 3406587 B2 JP3406587 B2 JP 3406587B2
Authority
JP
Japan
Prior art keywords
image
object image
point
normal vector
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001261504A
Other languages
English (en)
Other versions
JP2002150304A (ja
Inventor
覚 渋谷
Original Assignee
技研トラステム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 技研トラステム株式会社 filed Critical 技研トラステム株式会社
Priority to JP2001261504A priority Critical patent/JP3406587B2/ja
Publication of JP2002150304A publication Critical patent/JP2002150304A/ja
Application granted granted Critical
Publication of JP3406587B2 publication Critical patent/JP3406587B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、2次元画像から物
体像を背景像と区別する物体像識別方法の技術分野に属
し、例えば、物体像の輪郭部に対する法線方向を求め、
実時間で人間、車、野菜等を分別や認識するのに好適に
用いられる物体像識別方法に関するものである。
【0002】
【従来の技術】従来から、テクスチャ処理をするために
2次元の濃淡画像を解析するべくフーリエ変換が利用さ
れ、この2次元画像に対するフーリエ変換は、通常、画
像に映された物体像の表面状態を解析するために利用さ
れる。この場合、前記2次元画像を正方形の領域に分割
し、各正方形領域の画像データに対しフーリエ変換を実
行し、得られた位相に基づいて物体像の結晶格子の方向
や欠陥等を解析するものである。このものでは、正方形
領域に対しフーリエ変換を実行するから、得られる位相
はその正方形領域の垂直方向あるいは水平方向のベクト
ルとなる。よって、この方法を利用して2次元画像中に
ある不特定形状の物体像を認識するために物体像の輪郭
部に対する法線方向を求めるには、更に多大な計算が必
要となる。また、画像を正方形で区切るため、正方形の
配置する位置と画像の境界の位置によっては物体像の法
線ベクトルが正確に得られないことがあるため、この影
響を軽減するのに外周部の正方形領域に対して加重を減
らすべく窓関数を用いる必要がある。そのため、計算時
間が長くなる不都合が生じる。
【0003】一方、実時間での画像処理において、例え
ば、人間のような不定形形状の移動する物体像を認識す
るには、現画像と前画像(現画像の1フレーム前の画
像)との差分画像あるいは位相差分が利用される。この
従来の方法は、前記差分画像等よりある一定値以上の濃
度差が検出された領域の面積を基に、人数等を推測する
ために用いられる。しかしながら、この方法では、面積
を基に物体像の認識が行われることから、大きい人間1
人を2人と認識したり、小さい人間2人が同方向に並ん
で移動するとこれを1人と認識する等、誤認識してしま
うことが避けられない。
【0004】
【発明が解決しようとする課題】本発明は、『画像内の
物体像を背景像との濃度差を利用して識別する物体像識
別方法』において、前記物体像を高速かつ容易にその位
置、数量、種類を識別できるようにすることを課題とす
る。
【0005】
【課題を解決するための手段】前記課題を解決するため
に講じた技術的手段は、次のようである。『前記画像上
で等間隔に処理点を配置し、前記各処理点についてその
処理点を中心点とする円の円周上での各ピクセル値に対
し基本波フーリエ変換を実行し、前記基本波フーリエ変
換にて得られる位相を前記処理点における前記物体像の
輪郭に対する法線ベクトルとして得る方法を用い、ま
ず、前記背景像が映された画像上の任意の1点を配置点
として当該配置点を基準に標準物体像を前記画像上に配
置し、前記標準物体像と前記背景像との濃度差より前記
標準物体像の輪郭部における法線ベクトル群を求め、前
記配置点から前記法線ベクトル群の各法線ベクトルまで
の位置情報および各法線ベクトルでの角度情報を求め、
これら位置情報および角度情報を当該配置点における標
準データとして記憶し、次いで、認識すべき物体像が映
されている画像に対して物体像と背景像との濃度差より
物体像の輪郭部における法線ベクトル群を求め、これら
法線ベクトル群から前記標準データに基づいて前記配置
点に相当する正解点群を求め、前記正解点群により形成
された焦点領域の評価を行うことを特徴とする。』
【0006】前記技術的手段は、次のように作用する。
前記法線ベクトル群は、前記標準物体像と前記背景像と
の濃度差より求めるから、この法線ベクトル群が前記標
準物体像を現したものとなる。そして、前記標準データ
は、前記標準物体での前記配置点から前記法線ベクトル
群の各法線ベクトルまでの位置情報および各法線ベクト
ルでの角度情報よりなるから、この標準データが画像上
の前記配置点における前記標準物体像を特定したデータ
となる。
【0007】次いで、認識すべき物体像における法線ベ
クトル群から前記標準データに基づいて前記配置点に相
当する正解点群を求める。すなわち、前記物体像におけ
る法線ベクトル群の各法線ベクトルに対して前記標準デ
ータの位置情報および角度情報から前記配置点に相当す
る正解点を求める。すると、前記配置点を中心とする領
域に前記各法線ベクトルごとの複数の正解点が形成され
る。
【0008】そして、前記複数の正解点により形成され
た焦点領域の評価として、前記焦点領域に集まった正解
点の割合等が一定値以上であれば、前記標準物体像と同
一性を有した物体像が認識される。更には、このような
法線ベクトルを用いることにより、画像全体の明暗度が
変化しても前記物体像と前記背景像との相対的な濃度差
が変わらないから、前記物体像と前記背景像との区別を
正確かつ確実に行える。
【0009】また、前記技術的手段において、『前記標
準物体像を2以上に分割し、この分割した標準物体像ご
とに前記標準データを前記分割数分作成し、次いで、認
識すべき物体像に対して前記各々の標準データごとに正
解点群を求め、この標準データごとに正解点群を求めた
MAP画面を前記分割数分作成し、そして、前記各MA
P画面を1つに合成した評価画面を作成し、この評価画
面における正解点群により形成された焦点領域の評価を
行うようにした』ものでは、標準物体像を2以上に分割
するから、形状が異なる部位ごとに前記標準物体像を分
割した前記標準データを作成できる。そして、形状が異
なる部位に対応して複数の標準データごとに認識すべき
物体像が映された画像の処理を行うことで、認識すべき
物体像全体の輪郭部形状が標準物体像全体のそれと不整
合があっても各部位での整合性が向上する。これによ
り、前記物体像においては分割した標準物体像がすべて
識別されるから、前記物体像に分割した標準物体像がす
べて存在すれば、結果として前記標準物体像と同一性を
有した物体像の存在が確実に認識される。例えば、人間
について言えば、頭部と上半身で輪郭部形状は異なって
おり、また、実際の人間(認識物体像)は標準物体像よ
りも太かったり細かったり等して輪郭部形状が標準物体
像と完全に整合し難い。このような場合でも、形状が異
なる部位ごとに分割したものの標準データに基づけば、
多少の不整合があっても、物体像において頭部を有し且
つ上半身を有すると認識されれば前記標準物体像と同一
性を有した物体像が識別されることとなる。
【0010】さらに、前記技術的手段において、『背景
像における法線ベクトルを求めると共にこの背景像に起
因する法線ベクトル群情報を記憶し、画像から得られる
法線ベクトル群のうち前記背景像に起因する法線ベクト
ル群をすべて取り除いた残りの法線ベクトル群から前記
正解点群を求めるようにする』ものでは、前記標準物体
像が映された画像および前記認識すべき物体像が映され
ている画像からは背景処理がなされて物体像にのみ起因
する法線ベクトルが得られる。これにより、背景からの
ノイズを削減し、高精度で物体識別ができ、また、物体
像データの作成時は計算時間の短縮、記憶容量の削減が
でき、さらには正解点群の計算時間の短縮を図れる。
【0011】
【発明の効果】以上のように、本発明によると、物体像
の輪郭部に対する法線ベクトル群の正解点群を標準物体
像の配置点における標準データに応じて求め、正解点群
を評価するから、前記標準物体像として人間、車、野菜
等の固有の輪郭部を有する特定物とすれば、高速且つ容
易に画像内における前記物体像の位置、数量、種類を識
別することができる。また、複数のMAP画面ごとに前
記正解点群の評価を行うと認識すべき物体像の各部位ご
とに解析できるから、一層確実に前記画像内の物体像の
位置、数量、種類を識別できる。さらに、予め前記背景
像における法線ベクトル群あるいは接線群を取り除くこ
とで、物体像データの計算時間の短縮、記憶容量の削
減、および正解点群の計算時間の短縮を図れる。
【0012】
【発明の実施の形態】以下に、本発明の実施の形態を説
明する。 実施の形態1.実施の形態1による物体像識別方法は、
デジタルデータに変換された2次元画像中の物体像を周
囲の背景像との濃度差を利用して前記物体像の輪郭部の
法線ベクトルを求め、この求めた法線ベクトルに基づい
て物体像を識別する方法である。
【0013】1.法線ベクトルの求め方 まず、前記法線ベクトルの求め方から説明する。図1に
示すように、画像1上において等間隔に処理点pを配置
する。すなわち、画像1上の必要な領域10(通常は全
画像領域)に対し、例えば、水平、垂直ともに2ピクセ
ル単位に処理点を配置する。これら処理点pは予め決め
られた固定点でも良い。なお、図1中、d,d1〜d1
2,pはいずれもピクセルを示す。前記画像として、例
えば、水平320ピクセル、垂直240ピクセルの画面
等でも良い。これら各ピクセルにおいては、ある物体像
が映されている2次元画像にあっては、例えば輝度が0
〜255(256階調)等のように画像濃度が異なって
いる。
【0014】次に、前記2ピクセル単位に配置した各処
理点pについてその処理点pを中心点とする円11の円
周上での各ピクセルのピクセル値に対し基本波フーリエ
変換を実行する。例えば、前記円11の半径を2ピクセ
ルとして円を描き、その円周上の点d1〜d12の12
箇所に対し、基本波フーリエ変換を実行していく。この
場合、前記円周上の点d1〜d12の採り方として、例
えば、円周上に沿って所定の基準位置から反時計回りま
たは時計回りに順次に採って行っても良いし、あるいは
縦横に配置された点を横方向、縦方向にすべて採ってか
ら最終的に円周上のものを残すようにするなど、任意に
できる。前記の隣り合う処理点pの間隔が2ピクセルで
あって、円11は半径を2ピクセルとするから、隣り合
う各円11においては2ピクセルずつ重なりあったもの
となる。前記基本波フーリエ変換としては、下記式
(1)に示すように、前記12箇所の処理点d1〜d1
2に対して、フーリエ変換の基本波の正弦波を積和した
ときの値(SV)、フーリエ変換の基本波の余弦波を積
和したときの値(CV)を用いてそのアークタンジェン
ト(ATAN)から位相(sita)を求める。なお、
前記基本波とは、前記処理点pを中心点とする円周の長
さが1周期の長さとなる正弦波および余弦波を意味す
る。
【0015】
【数1】
【0016】ここで、SV及びCVは、次の式で求めら
れる。
【数2】 (但し、及び式において、Σnはn=1〜Nまでの
和を意味する。)前記式(1)により得られた位相(s
ita)が、この処理点pにおける法線方向(法線ベク
トル)になる。この位相(sita)を前記等間隔に配
置されたすべての処理点pにおいて求める。
【0017】今、図2(a)に示すように円11が物体
像Bにかかった状態のとき、同図(a)中に示す基準位
置から反時計方向に回転させた正弦波および余弦波に各
点d1〜d12を積算した波形は、図2(b)に示すよ
うになる。つまり、図2(b)に示すように、正弦波と
ピクセル値と積算した波形s・pは、物体像Bのかかっ
ている90度付近で所定の正のピークが現れたものとな
り、余弦波とピクセル値と積算した波形c・pは、90
度前後で正のピークと負のピークとが現れたものとな
る。そして、波形s・pの和となるSV値にあっては9
0度のところで正のピークが現れるものとなり、一方、
波形c・pは90度前後で正負が異なるだけの互いに等
しいピークであるからこのピークは打ち消されて、波形
c・pの和となるCV値にあっては平坦なものとなる。
その結果、前記式(1)による基本波フーリエ変換で得
られる位相は、図2(c)に示すように90度のところ
に現れ、これは丁度物体像Bの輪郭部に対する法線ベク
トルとなる。
【0018】但し、均一な濃度の画像のときはその法線
ベクトルは無効であるから(そこに物体像Bは存在しな
い周囲の背景像Aあるいは物体像B中の画像と認識でき
る。)、ある一定量以下の処理点pを除くため、下記式
(2)に示すように、前記SVおよび前記CVの二乗和
の平方根の値(pow)が一定値以下のときはこの処理
点pには法線ベクトルは無いとして扱う。例えば、輝度
値が0〜255(256階調)の範囲で得られる画像の
場合では、8〜10の輝度値の差に相当する値以下のと
きに前記一定値以下として当該処理点pの法線ベクトル
を無いものとして扱うのが好ましい。
【0019】
【数3】
【0020】これによると、均一な濃度の当該処理点p
での前記式(1)による法線ベクトルの計算を行わなく
てよくなり、より速くかつ正確に画像中の物体像を認識
できる。前記式(1)(2)から得られた結果は、例え
ば、図3に示すような法線ベクトルbが得られる。
【0021】前記画像上で配置する処理点pは、水平、
垂直ともに2ピクセル単位に配置し、前記各処理点pを
中心とする円11は、半径2ピクセルの円11を描き、
前記円11の円周上の12点のピクセル値に対し基本波
フーリエ変換を実行するので、隣り合う各円11におい
ては2ピクセルずつ重なりあったものとなるから、法線
ベクトルbの欠けがない状態で、高解像度に物体像の認
識が行える。
【0022】このようにして前記等間隔に配置されたす
べての処理点pでの法線ベクトルbの集合である法線ベ
クトル群から2次元領域での物体像Bと背景像Aとの境
界Kの存在が認識される。つまり、前記方法において、
円形の基本波フーリエ変換を実行して得られる法線ベク
トルbでは、画像1上の物体像Bの厳密な境界Kを求め
るのではなく、ある処理点pに隣接する処理点pの法線
ベクトル群が同一方向を示している場合、この多数の処
理点のある領域の輝度傾斜は前記法線ベクトル群の方向
であると解釈される(図3を参照)。従って、前記円形
状に基本波フーリエ変換した結果の位相、すなわち、法
線ベクトルbを利用するから、高速かつ容易に計算でき
る。
【0023】なお、前記画像1上に等間隔に配置される
処理点pとして、2ピクセル単位としたが、これに限ら
ず3ピクセル、4ピクセル等の整数単位としても良い。
但し、当該処理点を中心点とする円は、隣り合う円と重
なり合ったものとなるように半径を設定して描く必要が
ある。また、前記式(1)より位相を求めるが、SV値
とCV値の比に基づいた表を参照して近似値を求めるよ
うに計算しても、十分な精度が得られる。さらに、前記
式(2)では、SV値とCV値の二乗和の平方根とする
が、これらSV値とCV値の絶対値の和を用いて前記p
owの代用としても良い。
【0024】2.物体像識別 次に、前記法線ベクトルの求め方を用いて実際の物体像
を識別する方法を説明する。この物体像識別方法におい
ては、まず、認識すべき特定の物体像のモデルとなる標
準物体像に対する標準データを作成し(標準データ作成
過程)、次いで、この標準データを基にして画像内の物
体像に対し評価を行う(物体像識別過程)。なお、以下
では、前記標準物体像として人間を対象とする。
【0025】(a)標準データ作成過程 図4のフローチャートに示すように、前記標準データ作
成過程として、ステップS101において、背景像のみ
映っている画像1a(図5(a)を参照。)に対して前
記1.法線ベクトルの求め方に従って画像処理を行う。
すると、背景像における法線ベクトル群が求まる。な
お、前記背景像の映された画像1aは、ほとんどが固定
の画像であり(一部において例えば扉の開閉動作が映さ
れた動画像等も存在する)、様々な物体像が存在してい
るか、何も物体像の存在しない均一な画像かは問わな
い。そして、この背景像の法線ベクトル群情報をメモリ
ーに登録しておく。
【0026】次いで、ステップS102において、前記
背景像の映った画像1aに対して人間をかたどった標準
物体像Sを1つ置く(図5(b)を参照。)。すなわ
ち、前記背景像が映された画像1a上の任意の1点を配
置点Qとして当該配置点Qを基準に前記標準物体像Sを
前記画像1a上に配置する。なお、この標準物体像S
は、人間を上方から見た状態を示す。また、この標準物
体像Sは、計算上作成された模式的な画像データであっ
ても良いし、実際にカメラ等から写し取った実物の画像
データであっても良い。そして、この標準物体像Sの挿
入画像1b(図5(b)を参照。)に対して前記1.法
線ベクトルの求め方に従った画像処理を行う。すると、
標準物体像Sの挿入画像1bでは、背景像における法線
ベクトル群と、標準物体像Sにおける法線ベクトル群と
が得られる。
【0027】次いで、ステップS103において、前記
標準物体像Sにのみ起因する法線ベクトル群(以下、適
宜「標準法線ベクトル群」という。)を算出する。これ
は、前記ステップS101でメモリーに登録した背景像
の法線ベクトル群情報を用いた背景処理を行うことによ
る。つまり、標準物体像Sの挿入画像1bに対して、前
記背景像の法線ベクトル群とほぼ一致する法線ベクトル
群をすべて取り除く。すると、例えば図5(b)に示す
標準物体像Sの挿入画像1bからは、背景像に起因する
法線ベクトル群がすべて取り除かれ、その結果、図6の
模式図に示すような前記標準物体像Sにのみ起因する標
準法線ベクトル群b1〜b19が得られる。なお、図6
においては、画面の外枠は省略して標準物体像Sのみを
現しており、また、座標軸として紙面上下がY軸方向を
示し紙面左右がX軸方向を示している。また、図6中、
処理点での法線ベクトルは、説明のためその一部(b1
〜b19)しか表示していない(以下、図7、図10〜
図13も同様である。)。
【0028】次いで、ステップS104において、前記
標準法線ベクトル群b1〜b19の各標準法線ベクトル
の位置情報および角度情報を求める。位置情報として
は、標準物体像Sの前記配置点Qから各標準法線ベクト
ルb1〜b19の処理点p1〜p19までの座標により
あらわす。一方、角度情報としては、例えば、X軸方向
に対する各標準法線ベクトルb1〜b19での傾斜角度
によりあらわす。ただし、この角度情報は、180度以
上であれば180度を減算した角度とする。これは、認
識すべき物体像において例えば左右の濃度が大きく異な
っていると背景像との濃度差が物体像の左右で反転する
ことがある。このことは、例えば、背景が例えば床の色
とそこに敷かれたマットの色が左右で異なること等によ
る。法線ベクトル群は、通常、物体像と背景像との濃度
差により物体像より外向きあるいは内向きのベクトル方
向となるので物体像の左右では法線ベクトルのベクトル
方向が反対向きとなる。しかしながら、上記の場合では
例えば、右半分では外向き、左半分では内向きとなって
法線ベクトル群のベクトル方向が左右で同方向となって
しまうから、角度情報としては180度までの角度とし
て把握するようにしている。
【0029】以下、具体的に、前記位置情報および前記
角度情報の求め方を説明する。図6に示した標準法線ベ
クトル群b1〜b19のうち、例えば、角度情報として
0度(水平方向あるいは図6中のX軸方向)を選ぶ。こ
の場合、180度方向に指向する標準法線ベクトルは、
前述のとおり180度減算されるので、0度に指向する
標準法線ベクトルとして扱われる。その結果、0度の標
準法線ベクトルは、b1,b5,b9,b14の4つ存
在することとなる。
【0030】次に、前記各標準法線ベクトルb1,b
5,b9,b14の位置情報を求める。すなわち、標準
法線ベクトルb1は、配置点Qからその処理点p1まで
+X方向に3ピクセル移動した地点(X=3、Y=0)
にあり、標準法線ベクトルb5は、配置点Qからその処
理点p5まで−X方向に3ピクセル移動した地点(X=
−3、Y=0)にあり、標準法線ベクトルb9は、配置
点Qからその処理点p9まで−Y方向に2ピクセル、+
X方向に10ピクセル移動した地点(X=10、Y=−
2)にあり、そして、標準法線ベクトルb14は、配置
点Qからその処理点p14まで−Y方向に2ピクセル、
−X方向に10ピクセル移動した地点(X=−10、Y
=−2)にある。
【0031】以上の結果から、角度情報として0度の標
準法線ベクトルb1,b5,b9,b14に対しては、
(X=3、Y=0)、(X=−3、Y=0)、(X=1
0、Y=−2)および(X=−10、Y=−2)の4つ
の位置情報が存在する。そして、この0度の角度情報
と、(X=3、Y=0)、(X=−3、Y=0)、(X
=10、Y=−2)および(X=−10、Y=−2)の
4つの位置情報とが関連付けられた情報となる。
【0032】以下、同様に前記要領にて180度までの
角度情報に対する標準法線ベクトル群の位置情報を求
め、そのときの角度情報と位置情報とを関連付けてお
く。このようにして得られた角度情報と共に当該角度情
報と関連付けられた位置情報とが標準データとなる。次
いで、ステップS105において、前記ステップS10
4で求めた角度情報とこれと関連付けられた位置情報と
からなる標準データをメモリーに登録する。以上で標準
データ作成過程が終了する。なお、前記角度情報として
は、例えば、0度から180度までを15度ごとに12
分割した範囲であらわす等のように一定範囲の値として
扱っても良い。
【0033】(b)物体像識別過程 次に、物体像識別過程は、図4のフローチャートに示す
ように、ステップS201において、識別すべき物体像
Oが映されている画像をコンピュータのメモリー内に取
り込む。
【0034】次いで、ステップS202において、前記
入力画像内の前記物体像Oにのみ起因する法線ベクトル
群を求める。これは、入力画像から得られる法線ベクト
ル群のうち、長時間(例えば、2分程度)そのベクトル
方向が変化しない法線ベクトルは背景像に起因するとみ
なし、これら長時間(例えば、2分程度)変化しない法
線ベクトル群をすべて取り除く。すなわち、背景像はほ
とんど変化しない静止画像として得られるから、背景像
に起因する法線ベクトル群の各々は長時間そのベクトル
方向が変化しないことによる。これにより、入力画像か
らは、背景像に起因する法線ベクトル群がすべて取り除
かれ、その結果、図7の模式図に示すような前記物体像
Oにのみ起因する法線ベクトル群b1〜b19が得られ
る。
【0035】次いで、ステップS203において、前記
物体像Oにのみ起因する法線ベクトル群における正解点
群を算出する。ここで、正解点とは、前記標準データを
算出した際の前記配置点Qに相当するものであり、正解
点群の算出は、前記標準データの演算処理を逆演算する
ことにより行う。具体的には、前記ステップS105で
登録した標準データの角度情報および位置情報に従って
演算処理する。
【0036】以下に、角度情報として0度(水平方向あ
るいは図7中のX軸方向)の法線ベクトルb1,b5,
b9,b14における各々の正解点の算出を例に挙げて
説明する。この0度の角度情報と関連付けられた位置情
報は、上述したとおり(X=3、Y=0)、(X=−
3、Y=0)、(X=10、Y=−2)および(X=−
10、Y=−2)の4つ存在する。従って、図7に示す
物体像Oの法線ベクトル群b1〜b19における水平方
向(0度方向および180度方向を指向)のものすべて
に対して、前記4つの位置情報の逆演算を行って正解点
群を求める。つまり、図7に示す物体像Oにおいて、0
度の法線ベクトルは、上述の場合と同様に180度方向
を指向するものも含めてb1,b5,b9,b14の4
つ存在する。これら、4つの法線ベクトルb1,b5,
b9,b14の処理点p1,p5,p9,p14の各々
に対して前記4つの位置情報(X=3、Y=0)、(X
=−3、Y=0)、(X=10、Y=−2)および(X
=−10、Y=−2)の逆演算を行って正解点群を求め
る。つまり、各処理点p1,p5,p9,p14の各々
に対して、−(X=3、Y=0)、−(X=−3、Y=
0)、−(X=10、Y=−2)および−(X=−1
0、Y=−2)の各地点(各正解点)を求める。
【0037】具体的には、法線ベクトルb1において
は、その処理点p1からそれぞれ、−(X=3、Y=
0)に応じた−X方向に3ピクセル移動した地点A1、
−(X=−3、Y=0)に応じた+X方向に3ピクセル
移動した地点A2、−(X=10、Y=−2)に応じた
−X方向に10ピクセル、+Y方向に2ピクセル移動し
た地点A3、そして、−(X=−10、Y=−2)に応
じた+X方向に10ピクセル、+Y方向に2ピクセル移
動した地点A4の、合計4点に正解点を付す。
【0038】また、法線ベクトルb5は、その処理点p
5からそれぞれ、−(X=3、Y=0)に応じた地点B
2、−(X=−3、Y=0)に応じた地点B1、−(X
=10、Y=−2)に応じた地点B3、−(X=−1
0、Y=−2)に応じた地点B4に正解点を付す。法線
ベクトルb9は、その処理点p9からそれぞれ、−(X
=3、Y=0)に応じた地点C3、−(X=−3、Y=
0)に応じた地点C4、−(X=10、Y=−2)に応
じた地点C1、−(X=−10、Y=−2)に応じた地
点C2に正解点を付す。法線ベクトルb14は、その処
理店p14からそれぞれ、−(X=3、Y=0)に応じ
た地点D3、−(X=−3、Y=0)に応じた地点D
4、−(X=10、Y=−2)に応じた地点D2、−
(X=−10、Y=−2)に応じた地点D1に正解点を
付す。なお、前記各正解点の付し方としては、当該地点
の輝度値を1段階上げる等すれば良い。
【0039】以上で、角度情報として0度を持つ法線ベ
クトルb1,b5,b9,b14のすべてに対して各々
の正解点の演算が終了する。以下、同様にして180度
までの角度情報に対する各法線ベクトルのすべてに対し
て、その角度情報と関連付けられた位置情報から正解点
群の演算を行う。
【0040】次いで、ステップS204において、前記
正解点群の評価を行う。この評価は、前記配置点Qを中
心に例えば2ピクセル分間隔有する領域(以下、適宜
「ベクトル焦点領域」という。)内に、前記正解点が法
線ベクトル群の処理点の数(この例の場合は19個)の
4割以上集まった状態が得られたか否かによって行う。
そして、この評価結果でベクトル焦点領域内の正解点が
4割以上であると判断されると、認識物体像Oが前記標
準物体像Sと同一性を有すると認められ、一方、前記4
割未満であると判断されると、認識物体像Oが前記標準
物体像Sと同一性を有しないと認められる。これによ
り、認識物体像Oと標準物体像Sとの同一性が認められ
れば、物体像Oの挿入画像において前記標準物体像Sと
同一性を有した物体像が識別される。一方、物体像Oと
標準物体像Sとの同一性が認められなければ、物体像O
の挿入画像には前記標準物体像Sと同一性を有した物体
像が存在しないと認められる。更には、前記ベクトル焦
点領域の存在数自体をカウントすることで、前記入力画
像内に存在する物体像Oの数量もカウントすることがで
きる。なぜならば、前記ステップS203での正解点群
の算出は、入力画像内の全処理点pに対して実行される
から、この入力画像内にその位置を問わず複数の物体像
Oが存在すれば、その数に応じた前記ベクトル焦点領域
が形成されることとなるからである。
【0041】実施の形態2.ところで、通常、実際の物
体像は各部位ごとに異なる形状を有しているため前記ベ
クトル焦点領域がうまく形成されなかったり、また、実
際に画像内に映された物体像Oの輪郭部形状には様々な
ノイズ情報が含まれており、必ずしも標準物体像Sと厳
密に整合せず、不整合となる。その不整合状態次第で
は、前記ステップS204での評価において標準物体像
Sと同一性を有する物体像Oが存在するにもかかわら
ず、入力画像内には前記物体像Oが識別されないという
こともあり得る。例えば、前記実施の形態1の場合のよ
うに、認識物体像Oとして人間を指定した場合、頭部と
上半身では輪郭部形状が異なり、また、現実の人間は太
め・細め等の体格の相違やバック等の手荷物を所持して
いたり等して標準物体像Sとは必ずしも整合しない。一
方、これらの現実の人間におけるノイズ状態を考慮して
前記標準データを作成することも可能ではあるが、デー
タ量が膨大となり且つ物体像の画像処理に時間がかかっ
てしまうおそれがある。
【0042】そこで、実施の形態2では、標準物体像S
を2以上に分割し、この分割標準物体像のそれぞれにつ
いて前記標準データを作成し、1つの入力画像に対し各
標準データごとに正解点群を求め、その総合評価から物
体像の識別を行うようにする。
【0043】(a)標準データ作成過程 図8のフローチャートに示すように、標準データ作成過
程において前記実施の形態1と同様に、背景像の登録
(S301)、標準物体像の配置(S302)、標準法
線ベクトル群の算出(S303)が行われる。
【0044】次いで、ステップS304において、前記
標準物体像Sを2以上に分割する。例えば、図9に示す
ように、人間の頭部をかたどった部分の分割標準物体像
S1(図9(a)を参照。)と、人間の上半身をかたど
った部分の分割標準物体像S2(図9(b)を参照。)
とに2分割する。なお、この標準物体Sの分割は、デー
タ処理上の仮想状態で行われる。
【0045】次いで、ステップS305において、分割
標準物体S1,S2の各々につき各標準法線ベクトル群
の位置情報、角度情報を求める。この位置情報および角
度情報の求め方自体は前記実施の形態1で説明したやり
方と同じである。すなわち、位置情報としては、標準物
体Sの配置点Qから各標準法線ベクトルb1,b2,・
・・の処理点p1,p2,・・・までの座標によりあら
わし、角度情報としては、例えば、X軸方向に対する各
標準法線ベクトルb1,b2,・・・での傾斜角度によ
りあらわすが、180度以上であれば180度を減算し
た角度とする。具体的に、図10(a)における人間の
頭部を示す分割標準物体S1では、例えば、角度情報と
して0度(水平方向あるいは図10中のX軸方向)を選
ぶと、b1,b5の2つの標準法線ベクトルが存在す
る。標準法線ベクトルb1は、配置点Qからその処理点
p1まで+X方向に3ピクセル移動した地点(X=3、
Y=0)にあり、標準法線ベクトルb5は、配置点Qか
らその処理点p5まで−X方向に3ピクセル移動した地
点(X=−3、Y=0)にあるので、このような(X=
3、Y=0)、(X=−3、Y=0)の2つの位置情報
が0度の角度情報と関連付けられた情報となる。
【0046】以下、同様に前記要領にて180度までの
角度情報に対する各標準法線ベクトルの位置情報を求
め、そのときの角度情報と位置情報とを関連付けてお
く。このようにして得られた角度情報と共に当該角度情
報と関連付けられた位置情報とが前記分割標準物体S1
に対する標準データとなる。
【0047】一方、図10(b)における人間の上半身
を示す分割標準物体では、例えば、角度情報として0度
(水平方向あるいは図10中のX軸方向)を選ぶと、b
9,b14の2つの標準法線ベクトルが存在する。標準
法線ベクトルb9は、配置点Qからその処理点p9まで
−Y方向に2ピクセル、+X方向に10ピクセル移動し
た地点(X=10、Y=−2)にあり、標準法線ベクト
ルb14は、配置点Qからその処理点p14まで−Y方
向に2ピクセル、−X方向に10ピクセル移動した地点
(X=−10、Y=−2)にあるので、このような(X
=10、Y=−2)(X=−10、Y=−2)の2つの
位置情報が0度の角度情報と関連付けられた情報とな
る。
【0048】以下、同様に前記要領にて180度までの
角度情報に対する各標準法線ベクトルの位置情報を求
め、そのときの角度情報と位置情報とを関連付けてお
く。このようにして得られた角度情報と共に当該角度情
報と関連付けられた位置情報とが前記分割標準物体S2
に対する標準データとなる。次いで、ステップS306
において、前記ステップS305で求めた分割標準物体
S1,S2各々の角度情報とこれと関連付けられた位置
情報とからなる各標準データをメモリに登録する。以上
で標準データ作成過程が終了する。なお、前記角度情報
としては、例えば、0度から180度までを15度ごと
に12分割した範囲であらわす等のように一定範囲の値
として扱っても良い。
【0049】(b)物体像識別過程 次に、物体像識別過程は、図8のフローチャートに示す
ように、前記実施の形態1と同様に、画像入力(S40
1)、法線ベクトル群算出(S402)が行われる。
【0050】次いで、ステップS403において、前記
物体像Oに対して前記各々の標準データごとに正解点群
を求め、この標準データごとに正解点群を求めた画面
(以下、「MAP画面」という。)を前記分割数分作成
する。この正解点群の求め方自体は前記実施の形態1で
説明したやり方と同じである。すなわち、前記ステップ
S306で登録した各標準データの演算処理を逆演算す
ることにより行う。なお、図11は、物体像の入力画像
において人間の頭部部分に注目して模式的に示した仮想
図(MAP画面1)であり、図12は、物体像の入力画
像において人間の上半身部分に注目して模式的に示した
仮想図(MAP画面2)である。図11に示す人間の頭
部における物体像O1において、前記正解点群の算出
は、例えば、角度情報として0度(水平方向あるいは図
11中のX軸方向)の法線ベクトルb1,b5(0度方
向および180度方向を指向)のものすべてに対して、
2つの位置情報(X=3、Y=0)、(X=−3、Y=
0)の逆演算を行うことによる。つまり、法線ベクトル
b1においては、その処理点p1からそれぞれ、−(X
=3、Y=0)に応じた−X方向に3ピクセル移動した
地点A1、−(X=−3、Y=0)に応じた+X方向に
3ピクセル移動した地点A2の、合計2点に正解点を付
し、また、法線ベクトルb5は、その処理点p5からそ
れぞれ、−(X=3、Y=0)に応じた−X方向に3ピ
クセル移動した地点B2、−(X=−3、Y=0)に応
じた+X方向に3ピクセル移動した地点B1、合計2点
に正解点を付す。これで、角度情報として0度を持つ法
線ベクトルb1,b5のすべてに対して正解点群の演算
が終了するが、同様にして180度までの角度情報に対
する各法線ベクトルのすべてに対してその角度情報と関
連付けられた位置情報から正解点群の演算を行う。そし
て、このようにして人間の頭部に対して前記正解点群を
あらわしたMAP画面1を作成する(図11を参照、な
お、実際のMAP画面1では頭部のほか上半身部分も映
されていても良い。)。
【0051】一方、図12に示す人間の上半身における
物体像O2において、前記正解点群の算出は、例えば、
角度情報として0度(水平方向あるいは図12中のX軸
方向)の法線ベクトルb9,b14(0度方向および1
80度方向を指向)のものすべてに対して、2つの位置
情報(X=10、Y=−2)、(X=−10、Y=−
2)の逆演算を行うことによる。つまり、法線ベクトル
b9においては、その処理点p9からそれぞれ、−(X
=10、Y=−2)に応じた−X方向に10ピクセル、
+Y方向に2ピクセル移動した地点C1、−(X=−1
0、Y=−2)に応じた+X方向に10ピクセル、+Y
方向に2ピクセル移動した地点C2の、合計2点に正解
点を付し、また、法線ベクトルb14は、その処理点p
14からそれぞれ、−(X=10、Y=−2)に応じた
−X方向に10ピクセル、+Y方向に2ピクセル移動し
た地点D2、−(X=−10、Y=−2)に応じた+X
方向に10ピクセル、+Y方向に2ピクセル移動した地
点D1の、合計2点に正解点を付す。これで、角度情報
として0度を持つ法線ベクトルb9,b14のすべてに
対して正解点群の演算が終了するが、同様にして180
度までの角度情報に対する各法線ベクトルのすべてに対
してその角度情報と関連付けられた位置情報から正解点
群の演算を行う。そして、このようにして人間の上半身
に対して正解点群をあらわしたMAP画面2を作成する
(図12を参照、なお、実際のMAP画面2では上半身
のほか頭部部分も映されていても良い。)。
【0052】次いで、ステップS404において、前記
各MAP画面1,2を1つの評価画面に合成する。する
と、頭部のMAP画面1にてあらわされた正解点群と、
上半身のMAP画面2にてあらわされた正解点群とが重
なった状態の画面(以下、「評価画面」という。)が得
られる(図13を参照。)。これにより、前記評価画面
では、前記MAP画面1で正解点群が形成したベクトル
焦点領域と、前記MAP画面2で正解点群が形成したベ
クトル焦点領域とが重なったものとなる。
【0053】次いで、ステップS405において、前記
評価画面の評価が行われる。この評価の仕方として、基
本的には、前記実施の形態1のステップS204と同じ
ようにして行う。つまり、図13に示す評価画面で正解
点群が形成するベクトル焦点領域(配置点Qを中心に例
えば2ピクセル分間隔有する領域)内に、正解点が処理
点の数の4割以上集まった状態が得られたか否かによっ
て行う。そして、この評価結果でベクトル焦点領域内の
正解点が4割以上であると判断されると、入力された物
体像Oは、頭部の分割標準物体像S1と一致する部位が
存在し、かつ、上半身の分割標準物体像S2と一致する
部位が存在すると認められる。その結果、物体像Oは、
頭部と上半身の両方を持っていることが判るから、前記
物体像Oは標準物体像Sと同一性のある人間であると識
別される。
【0054】一方、ベクトル焦点領域内の正解点が4割
に満たないと判断されれば、入力された物体像Oにおい
ては、頭部の分割標準物体像S1と一致する部位、ある
いは上半身の分割標準物体像S2と一致する部位が存在
しないと認められる。その結果、物体像Oは、頭部ある
いは上半身のいずれかを持っていないことが判るから、
結局は前記物体像Oは標準物体像Sと同一性のある人間
であるとは識別されない。なお、前記各実施の形態1,
2では、評価方法としてベクトル焦点領域内に正解点が
4割以上集まったか否かによるとするが、これに限らず
一定割合以上として適宜に決定しても良い。これは、物
体像Oとして所定形状の標準物体像Sと整合し難いもの
や、逆に良く整合するもの等、その他外乱要因を考慮す
るためである。
【0055】また、前記ベクトル焦点領域としても、配
置点Qを中心に2ピクセル分間隔を有する領域に限ら
ず、認識する物体像や識別精度等を考慮して配置点Qを
中心に適宜範囲内としても良い。さらに、前記各実施の
形態では、標準物体像として人間を選んだが、これに限
らず、例えば、車や野菜等を標準物体像として選び、こ
れと同一性を有する物体像の識別を行うようにしても良
い。
【0056】また、標準物体像として人間を上から見た
状態とするが、これに限らず、斜め方向や横方向から見
た状態等としても良い。さらには標準物体像Sとして子
供や大人に対応させて標準物体像S自体の大きさも適宜
に変更しても良く、この場合、大きさの異なる標準物体
像Sを複数用いて複数の標準データを作成するようにし
ても良く、さらにこの複数の標準物体像を前記実施の形
態2のように大きさ等の異なる複数の標準物体像の各々
について分割した分割標準物体像として用いても良い。
【0057】
【0058】
【図面の簡単な説明】
【図1】デジタルデータに変換された2次元画像を示し
た模式図である。
【図2】基本波フーリエ変換のイメージを示した模式図
である。
【図3】法線ベクトルbを現した画像の模式図である。
【図4】実施の形態1における画像処理の手順を示すフ
ローチャートである。
【図5】背景像のある画像と標準物体像を挿入した画像
とを示す模式図である。
【図6】標準物体像の標準法線ベクトルを示す模式図で
ある。
【図7】物体像における正解点群を付した状態を示す模
式図である。
【図8】実施の形態2における画像処理の手順を示すフ
ローチャートである。
【図9】標準物体像を頭部と上半身とに分割した状態を
示す模式図である。
【図10】分割標準物体像の標準法線ベクトルを示す模
式図である。
【図11】物体像の頭部における正解点群を付したMA
P画面1を示す模式図である。
【図12】物体像の上半身における正解点群を付したM
AP画面1を示す模式図である。
【図13】MAP画面1およびMAP画面2を合成した
評価画面を示す模式図である。
【符号の説明】
1 2次元画像 b 法線ベクトル p 処理点 O 物体像 Q 配置点 S 標準物体像

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像内の物体像を背景像との濃度差を利
    用して識別する物体像識別方法であって、 前記画像上で等間隔に処理点を配置し、前記各処理点に
    ついてその処理点を中心点とする円の円周上での各ピク
    セル値に対し基本波フーリエ変換を実行し、前記基本波
    フーリエ変換にて得られる位相を前記処理点における前
    記物体像の輪郭に対する法線ベクトルとして得る方法を
    用い、 まず、前記背景像が映された画像上の任意の1点を配置
    点として当該配置点を基準に標準物体像を前記画像上に
    配置し、 前記標準物体像と前記背景像との濃度差より前記標準物
    体像の輪郭部における法線ベクトル群を求め、 前記配置点から前記法線ベクトル群の各法線ベクトルま
    での位置情報および各法線ベクトルでの角度情報を求
    め、 これら位置情報および角度情報を当該配置点における標
    準データとして記憶し、 次いで、認識すべき物体像が映されている画像に対して
    物体像と背景像との濃度差より物体像の輪郭部における
    法線ベクトル群を求め、 これら法線ベクトル群から前記標準データに基づいて前
    記配置点に相当する正解点群を求め、 前記正解点群により形成された焦点領域の評価を行うこ
    とを特徴とする物体像識別方法。
  2. 【請求項2】 請求項1に記載の物体像識別方法におい
    て、前記標準物体像を2以上に分割し、 この分割した標準物体像ごとに前記標準データを前記分
    割数分作成し、 次いで、認識すべき物体像に対して前記各々の標準デー
    タごとに正解点群を求め、この標準データごとに正解点
    群を求めたMAP画面を前記分割数分作成し、 そして、前記各MAP画面を1つに合成した評価画面を
    作成し、この評価画面における正解点群により形成され
    た焦点領域の評価を行うようにしたことを特徴とする物
    体像識別方法。
  3. 【請求項3】 請求項1または2に記載の物体像識別方
    法において、 背景像における法線ベクトルを求めると共にこの背景像
    に起因する法線ベクトル群情報を記憶し、 画像から得られる法線ベクトル群のうち前記背景像に起
    因する法線ベクトル群をすべて取り除いた残りの法線ベ
    クトル群から前記正解点群を求めるようにすることを特
    徴とする物体像識別方法。
JP2001261504A 2000-08-30 2001-08-30 物体像識別方法 Expired - Lifetime JP3406587B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001261504A JP3406587B2 (ja) 2000-08-30 2001-08-30 物体像識別方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-260705 2000-08-30
JP2000260705 2000-08-30
JP2001261504A JP3406587B2 (ja) 2000-08-30 2001-08-30 物体像識別方法

Publications (2)

Publication Number Publication Date
JP2002150304A JP2002150304A (ja) 2002-05-24
JP3406587B2 true JP3406587B2 (ja) 2003-05-12

Family

ID=26598766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001261504A Expired - Lifetime JP3406587B2 (ja) 2000-08-30 2001-08-30 物体像識別方法

Country Status (1)

Country Link
JP (1) JP3406587B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100547350C (zh) * 2004-09-02 2009-10-07 技研全腾株式会社 移动体高度判别装置
EP2801956A1 (en) 2013-05-10 2014-11-12 Giken Trastem Co., Ltd. Passenger counter
JP2016081454A (ja) * 2014-10-22 2016-05-16 技研トラステム株式会社 人を認識するための画像処理装置及び画像処理方法
JP7280335B1 (ja) 2021-11-29 2023-05-23 技研トラステム株式会社 立位座位分離計数装置及び立位座位分別処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4996404B2 (ja) * 2007-09-20 2012-08-08 技研トラステム株式会社 人物行動検索装置
JP4753975B2 (ja) * 2008-06-30 2011-08-24 技研トラステム株式会社 商品関心度計測装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100547350C (zh) * 2004-09-02 2009-10-07 技研全腾株式会社 移动体高度判别装置
EP2801956A1 (en) 2013-05-10 2014-11-12 Giken Trastem Co., Ltd. Passenger counter
JP2016081454A (ja) * 2014-10-22 2016-05-16 技研トラステム株式会社 人を認識するための画像処理装置及び画像処理方法
JP7280335B1 (ja) 2021-11-29 2023-05-23 技研トラステム株式会社 立位座位分離計数装置及び立位座位分別処理方法
JP2023079919A (ja) * 2021-11-29 2023-06-08 技研トラステム株式会社 立位座位分離計数装置及び立位座位分別処理方法

Also Published As

Publication number Publication date
JP2002150304A (ja) 2002-05-24

Similar Documents

Publication Publication Date Title
JP3390426B2 (ja) 物体像識別方法
CN106875444B (zh) 一种目标物定位方法及装置
CN106504229B (zh) 图像中特征点的检测方法
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN106951669B (zh) 一种基于视觉认知的滚动轴承变工况故障诊断方法
US8369625B2 (en) Method for grouping 3D models to classify constitution
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN106803286A (zh) 基于多视点图像的虚实遮挡实时处理方法
US20080181481A1 (en) Method and System for Locating Opaque Regions in Chest X-Ray Radiographs
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
CN104751146B (zh) 一种基于3d点云图像的室内人体检测方法
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN110490839A (zh) 一种检测高速公路中损坏区域的方法、装置及计算机设备
JP3406577B2 (ja) 物体認識方法
JP3406587B2 (ja) 物体像識別方法
CN104933719B (zh) 一种积分图块间距离检测图像边缘方法
CN106778660A (zh) 一种人脸姿态校正方法及装置
Yang et al. Robust line detection using two-orthogonal direction image scanning
CN101661623A (zh) 基于线性规划的变形体三维跟踪方法
US20020025073A1 (en) Method for identifying an object image
CN105530505B (zh) 三维图像转换方法和装置
JP4082718B2 (ja) 画像認識方法および画像表示方法および画像認識装置
Ranasinghe et al. ChessEye: An integrated framework for accurate and efficient chessboard reconstruction
JP4164166B2 (ja) 照射領域抽出装置、照射領域抽出方法及びコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3406587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term