JPWO2007138898A1 - 認識システム、認識方法および認識プログラム - Google Patents
認識システム、認識方法および認識プログラム Download PDFInfo
- Publication number
- JPWO2007138898A1 JPWO2007138898A1 JP2008517843A JP2008517843A JPWO2007138898A1 JP WO2007138898 A1 JPWO2007138898 A1 JP WO2007138898A1 JP 2008517843 A JP2008517843 A JP 2008517843A JP 2008517843 A JP2008517843 A JP 2008517843A JP WO2007138898 A1 JPWO2007138898 A1 JP WO2007138898A1
- Authority
- JP
- Japan
- Prior art keywords
- voting
- point
- hough
- parameter space
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
図1に示すように、この従来の認識システムは、撮像部31と、エッジ検出部32と、Hough変換処理部33と、Hough空間作成部34と、直線成分抽出部35とから構成されている。
このような構成を有する従来の認識システムは以下のように動作する。
すなわち、撮像部31により認識対象となる画像が入力される。さらに、エッジ検出部32により撮像部31から送られてくる画像を微分処理することによって画像のエッジが検出される。さらに、Hough変換処理部33により検出された画像の前記エッジの点列がHough変換される。さらに、Hough空間作成部34により前記Hough変換の関数値にしたがうヒストグラム(以下、これをHough空間と呼ぶ)が作成される。
最後に、直線成分抽出部35により前記Hough空間の頻度のピーク点が検出され、検出されたピーク点を通過する各Hough関数曲線に対応する画像の前記エッジの点列が直線であると判定され、画像のなかから直線成分が抽出される。
ここで、直線成分抽出部35の動作について説明をする。直線成分抽出部35は、前記Hough空間作成部34において作成された前記Hough空間のなかから最大のピーク点を検出し、前記最大のピーク点に対応した直線成分を抽出したうえで、その前記最大のピーク点がその前記ヒストグラムの頻度分布に影響を与えている範囲と寄与量とを求める。
次に、直線成分抽出部35は、前記範囲内において、求められた前記寄与量にしたがって他のピーク点のHough空間内での頻度を前記最大のピーク点の影響が抑制されるように修正する。
次に、直線成分抽出部35は、部分的に修正された前記Hough空間を用いて次に大きなピーク点を検出して、そのピーク点に対応した直線成分を抽出し、以下同様の処理を順次行っていく。
その理由は、本来1つのピーク点に集中すべきパターンがノイズ等のために分散してしまうからである。
第2の問題点は、前記従来技術のような真の特定パターンの周りに偽の特定パターンが現れてしまうという現象への対処に関して、多くの処理量を要するということである。
その理由は、従来の技術ではHough空間のピーク点を1つ検出する毎に、そのピーク点が他のHough空間内の点に及ぼす影響を関係するHough空間内の領域から除去するように構成されているためである。
本発明の目的は、簡便に頑健な特定パターンの検出を行うことが出来る認識システムを提供することにある。
その理由は、Hough空間における各点間の距離の大小関係が予め定められた特定パターン間の違いを表す特定パターン間距離の大小関係と同値であるように前記Hough空間が設計され、画像内でより似通っている特定パターンを前記Hough空間内でもより近い点として表現しているためである。
第2の効果は、前記偽の特定パターンの出現の抑制を簡便に実現できることにある。
その理由は、画像内でより似通っている特定パターンを前記Hough空間内でもより近い点として表現しているために、前記偽の特定パターンの出現の抑制を前記Hough空間内での局所的な処理のみ、もしくは処理を行うことなく実現できるためである。
図2は、本発明の第1の実施の形態に係る認識システムの構成を示すブロック図である。
図3は、前記第1の実施の形態に係る認識システムの動作を示すフローチャートである。
図4は、対象データの一例である道路画像を示す図である。
図5は、第1の実施の形態に係る認識システムの具体的な構成を示すブロック図である。
図6は、ソーベルフィルタを説明する図である。
図7は、直線間距離を説明する図である。
図8は、量子化誤差を考慮したHough空間への投票方法を説明する図である。
図9は、第1の実施の形態に係る認識システムの動作の具体例を示す図である。
図10は、本発明の第2の実施の形態に係る認識システムの構成を示すブロック図である。
図11は、前記第2の実施の形態に係る認識システムの動作を示すフローチャートである。
図12は、前記第2の実施の形態に係る認識システムの具体的構成を示すブロック図である。
図13は、前記第2の実施の形態に係る認識システムの動作の具体例を示す図である。
図2を参照すると、本発明の第1の実施の形態は、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100と、対象データ入力装置110とから構成されている。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)100は、特徴点検出手段120と、Hough変換手段130と、特定パターン出力手段140とを含む。
Hough変換手段130は、Hough空間投票手段131と、Hough空間平滑化手段132と、Hough空間ピーク検出手段133とを含む。
これらの手段はそれぞれ以下のように動作する。
前記対象データ入力装置110は、所望の特定パターンの検出対象であるデータを入力する。
前記特徴点検出手段120は、前記対象データから前記特定パターン上の点であると推定される点を特徴点として検出する。
前記Hough空間投票手段131は、前記特定パターンを表現するパラメータを軸とする空間(以下、Hough空間と呼ぶ)内において、前記特徴検出手段120で検出された前記特徴点に対応する軌跡上の各点について、前記特徴点に応じた重みを投票する。
前記Hough空間平滑化手段132は、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて当該点での平滑化された投票値を決定する。ただし、場合によっては本Hough空間平滑化手段132を省略してよい。
前記Hough空間ピーク検出手段133は、前記Hough空間内において単数あるいは複数の前記投票値のピークを与える点を検出する。
前記特定パターン出力手段140は、前記Hough空間ピーク検出手段133で検出した前記投票値のピークを与える各点について、対応する前記パラメータに対応する前記特定パターンを出力する。
ここで前記Hough空間について説明する。前記特定パターンのパラメータ表現において、一般に複数の違ったパラメータ表現が考えられる。ここで前記特定パターン(以下、
とする)の仮のパラメータ表現を
とおく。
ただし、
は前記対象データ内での各点の位置、
は仮のパラメータを表す。
本発明では、前記対象データ内の予め定められた注目領域における前記特定パターン間の違いを表す特定パターン間距離が定義され、その前記特定パターン間距離の大小関係と前記Hough空間内における対応する点間の距離の大小関係が同値となるような前記特定パターンのパラメータ表現が採用される。
具体的には、2つ前記特定パターンを
とし、
と、
の前記特定パターン間距離を
とした場合、以下の数式(1)で表される同値関係が成り立つように、写像
を設計し、
を、前記特定パターンを表現するパラメータとして、このパラメータ
を軸とする空間を前記Hough空間とする。
このとき、前記特定パターンのパラメータ表現は
となる。
ここで、上記数式(1)で示される同値関係は必ずしも厳密に成立しなくてもよく、近似的に成立するように前記パラメータ
を設定してもよい。
また、前記Hough空間投票手段131において前記特徴点に対する前記Hough空間における前記軌跡上の各点についての投票を行う際に、前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票を行うこともできる。
次に、図2及び図3のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、前記対象データ入力装置110により前記特定パターン検出処理の対象となるデータが入力される(図3のステップA1)。次に、前記特徴点検出手段120が、対象データから前記特定パターン上の点であると推定される点を特徴点として検出する(ステップA2)。さらに、前記Hough空間投票手段131が、前記各特徴点について、前記Hough空間内における対応する前記軌跡上の各点について、前記特徴点に応じた重みを投票する(ステップA3)。さらに、前記Hough空間平滑化手段132が、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて当該点での平滑化された投票値を決定する(ステップA4)。ただし、場合によってはステップA4を省略してもよい。さらに、前記Hough空間ピーク検出手段133は、前記Hough空間内において単数あるいは複数の前記投票値のピークを与える点を検出する(ステップA5)。最後に、前記特定パターン出力手段140が、前記Hough空間ピーク手段で検出した前記投票値のピークを与える各点について、対応する前記パラメータに対する前記特定パターンを出力する(ステップA6)。また、前記ステップA3における投票において、前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票を行うこともできる。
次に、本実施の形態の効果について説明する。
本実施の形態では、前記対象データ内の予め定められた前記注目領域における前記特定パターン間の違いを表す前記特定パターン間距離が定義され、その前記特定パターン間距離の大小関係と前記Hough空間内における対応する点間の距離の大小関係が同値もしくは近似的に同値となるような前記特定パターンの前記パラメータ表現により、前記Hough空間が構成されている。このため、前記特定パターン間距離を適切に定義することにより前記Hough空間内でより距離が近い点どうしが前記対象データの前記注目領域でもより近い特定パターンに対応し、従って前記Hough空間の各点で適当な範囲の平滑化等を行うことにより、簡便に従来の課題である真の特定パターンの近くに現れる偽の特定パターンの出現を抑制することが出来る。
また、本実施の形態では、さらに、前記Hough空間投票手段131において前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票することもできるように構成されているため、前記特徴点に含まれる雑音成分に対して頑健な前記特定パターンの検出を行うことができる。
次に、具体的な実施例を用いて上記実施の形態に係る認証システムの動作について説明する。
前記具体的な実施例では、前記対象データとしてカメラ等の入力装置から入力される画像が用いられ、前記特徴点として画素値の変化が急峻な点(以下、エッジ点と呼ぶ)が複数個検出され、それらのエッジ点がなす直線が前記特定パターンとして検出されるというものである。具体的な画像の例として図4に示すような車両等に搭載したカメラから道路を撮影した道路画像310を取り上げて説明する。その道路画像から直線を検出することにより道路面311に描かれた走行レーン境界を示す白線312等が認識される。
図5に示すように、本実施例に係る認証システムは、前記対象データ入力装置110として例えばカメラ等の画像入力装置410と、前記特徴点検出手段120としてエッジ点検出手段420と、Hough変換手段430と、前記特定パターン出力手段140として直線出力手段440とを有する。
前記エッジ点検出手段420は、3×3ソーベルフィルタ手段421と、エッジ強度計算手段422と、エッジ強度閾値処理手段423と、エッジ点出力手段424とを含む。ただし、前記エッジ点検出手段420は前記構成に限定されるものではなく、画素値の変化が急峻な点を検出する手段であればよい。
前記Hough変換手段430は、Hough空間投票手段431と、Hough空間平滑化手段432と、Hough空間ピーク検出手段433とを含む。
前記画像入力装置410によって、前記対象データとして前記道路画像310が入力される。また、前記エッジ点検出手段420は、前記エッジ点を複数個検出する。また、前記Hough変換手段430は、後述の直線パラメータ表現
の2次元パラメータ
の各要素
をそれぞれ横軸、縦軸とする2次元平面として定義されるHough空間について前記Hough変換手段130と同様の処理を行う。
また、直線検出手段440は、前記Hough変換手段430で検出した投票値のピークを与えるHough空間内の各点に対応して前記直線パラメータ表現
で表される直線を出力する。
前記3×3ソーベルフィルタ手段421は、前記道路画像310の各点について3×3近傍中の各画素値と図6に示すx方向勾配カーネル、y方向勾配カーネルの各係数の積の和をとる。これらの積和をそれぞれソーベルx成分、ソーベルy成分と呼ぶ。
また、前記エッジ強度計算手段422は、前記道路画像310の各点について前記ソーベルx成分と前記ソーベルy成分の2乗和の平方、もしくは絶対値の和を計算し、それぞれ前記各点のエッジ強度とする。また、前記エッジ強度閾値処理手段423は、前記道路画像310の各点について前記エッジ強度が予め定められた閾値、例えば100以上か否かを判断する。また、前記エッジ点出力手段424は、前記エッジ強度閾値処理手段423で前記エッジ強度が閾値以上と判断された点をエッジ点として出力する。
前記Hough空間投票手段431は、前記直線を表現するパラメータを軸とする空間(以下、Hough空間と呼ぶ)内において、前記エッジ点検出手段420で検出された前記エッジ点に対応する軌跡上の各点について、前記エッジ点に応じた重みを投票する。
ここで、前記エッジ点に応じた重みとして前記エッジ強度を投票する処理が実行される。ただし、前記エッジ点に応じた重みはこれに限定されるものではなく、例えば定数、後述のソーベルx成分とソーベルy成分により算出される前記エッジ点における画素値の勾配と前記軌跡上の点に対応する前記直線の傾きとのなす角など、前記エッジ点もしくはその近傍の画素値等から算出される値、もしくはこれらの値や前記エッジ強度等から算出される値等を用いてもよい。
また、前記Hough空間平滑化手段432は、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて当該点での平滑化された投票値を決定する。ここでは、例えば前記当該点の3×3近傍の点の平均値として前記平滑化された投票値を決定する。ただし、前記近傍の範囲や前記平滑化された投票値の決定方法はこれに限定されるものではない。また、場合によっては本Hough空間平滑化手段432を省略してもよい。
また、前記Hough空間ピーク検出手段433は、前記Hough空間内において予め定められた閾値以上であり、かつ例えば3×3近傍等の近傍範囲で最大の投票値を持つ点を前記ピークとして検出する。ただし、前記ピークを検出する基準はこれに限定されるものではなく、例えば、前記Hough空間内での最大投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。
ここで、前記直線パラメータ表現
について説明する。前記仮のパラメータ
による直線パラメータ表現
を数式(2)のように定義する。
ただし、
は前記道路画像310上の各点の座標を表し、Lは図4に示すように前記道路画像310内のある水平ラインのy座標を表す。
前記注目領域は、図4に示すように前記道路画像310の下部領域、例えば中央水平ライン以下の領域として設定される。この注目領域A311は、前記道路画像310内において道路面に相当すると予想される領域である。ここで、図7に示すように前記特定パターン間距離に対応する直線間距離
を数式(3)のように定義する。ただし、
と
はそれぞれ直線を表す。
ここで、
は前記注目領域A311内のy座標であり、通常ある一定の間隔で離散化されている。本実施例では間隔1で離散化されているとする。
は前記注目領域A311での水平ライン数を表す。
図7および数式(3)より、前記直線間距離
は前記注目領域A311の各水平ライン上でのx座標の差の2乗和であり、m=nの場合に
となる。
はその他に正値性、
と
についての対称性、三角不等式
を満たすので距離関数として適当な性質を有する。
が近いということは前記注目領域A311内の各水平ライン上での
と
の位置が近いということである。したがって、感覚的な直線間の「近さ」ともよく適合すると考えられる。
ここで、数式(3)を数式(4)のように変形する。
ここで、数式(4)において
とすれば、
としてパラメータ
に関して数式(5)が成立する。
なお、
は対称行列なので、
の存在は保証される。
従って、上記数式(5)により
とすると、数式(1)が成立する。
前記パラメータ
の各要素
をそれぞれ横軸、縦軸とする2次元平面として定義される前記Hough空間における点間の距離の大小関係と対応する直線間距離の大小関係とは同値である。特に、上記数式(2)において
すなわちLを前記注目領域A311の中央に位置する水平ラインのy座標とすると、前記直線パラメータ表現は以下の数式(6)のようになる。
次に、前記Hough空間について説明する。前記Hough空間投票手段431は、前記Hough空間内において前記エッジ点検出手段420で検出された前記エッジ点に対応する軌跡上の各点について、前記エッジ点に応じた重みを投票する。この際、前記Hough空間投票手段431をコンピュータ400において実現するにためには前記Hough空間を離散化する必要がある。前記直線パラメータ表現を上記数式(6)とすると、図7に示すとおり数式(6)におけるパラメータ
は前記道路画像内での水平ライン
における前記直線の切片である。
したがって、その精度は前記道路画像の各点のx方向の位置精度と等しいと考えてよい。ここで、前記道路画像の各点の位置についての誤差が前記座標離散化のみに起因すると仮定すると、本実施例においては離散化間隔を1に設定している。
このためパラメータ
も間隔1で設定すればよい。
また、前記道路画像の前記各点の位置についての誤差が前記座標離散化以外の要因を持つ場合はその要因を勘案した前記道路画像の前記各点の位置についての誤差範囲によってパラメータ
も間隔を定めればよい。
ここで、パラメータ
の離散化間隔については、数式(1)の関係を保持するためにパラメータ
と同じ間隔をとればよい。
このように、本発明によると前記Hough空間の離散化間隔を前記対象データの誤差範囲から自動的に決定することが出来る。
次に、前記Hough空間投票手段431について補足をする。前記Hough空間投票手段431は、前記Hough空間内において前記エッジ点検出手段420で検出された前記エッジ点に対応する軌跡上の各点について前記エッジ点に応じた重みを投票するが、この投票を前記軌跡上の各点ではなくエッジ点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について行うことも出来る。本実施例では、前記投票に際しては前記エッジ点位置に含まれる前記雑音成分として前記座標離散化に起因するもののみを考える。この場合、前記道路画像内のある画素位置
で検出されるエッジ点について真の位置は数式(7)の範囲にあると考えられる。
ここで、図8に示すようにエッジ点702に対応するHough空間内の軌跡705だけではなく、上記数式(7)で表されるエッジ点の真の位置範囲703の全ての点に対応するHough空間内の軌跡の集合706についてエッジ点702に応じた重みを投票する。これにより、前記座標離散化に起因する雑音成分の影響を抑制することが出来る。
次に、以上説明した構成要素により構成される本実施例の動作について、図5及び図9のフローチャートを参照して詳細に説明する。
まず、前記画像入力装置410により前記道路画像が入力される(図9のステップB1)。次に、前記ソーベルフィルタ手段421が前記道路画像の各点について前記ソーベルx成分とソーベルy成分を算出する(ステップB2)。さらに、前記エッジ強度計算手段422が前記道路画像の各点についてエッジ強度を計算する(ステップB3)。さらに、前記エッジ強度閾値処理手段423が前記道路画像の各点についてエッジ強度を閾値処理する(ステップB4)。さらに、前記エッジ点出力手段424が前記エッジ強度が前記閾値以上の点を前記エッジ点として出力する(ステップB5)。さらに、前記Hough空間投票手段431が前記各エッジ点についてHough空間内の軌跡上に投票を行う(ステップB6)。さらに、前記Hough空間平滑化手段432が前記Hough空間内の各点の前記投票値を平滑化する(ステップB7)。さらに、前記Hough空間ピーク検出手段433が前記Hough空間内の前記ピーク点を検出する(ステップB8)。最後に、前記直線出力手段440が前記各Hough空間ピーク点に対応する前記直線を出力する(ステップB9)。
本実施例において前記対象データを画像としたが、前記対象データはこれに限られるものではなく、例えば画素値が対応する実物体への距離を示す距離画像や、3次元空間内で各位置における画素値が与えられる3次元画像、異なる時刻で得られた前記画像もしくは前記3次元画像を時系列方向に並べることにより得られる時系列画像等、座標位置と各位置でのデータ値が対応付けられているデータであればよい。
また、本実施例では、前記直線間距離は、前記注目領域A311の各水平ライン上でのx座標の差の2乗和として定義されているが、これは水平ラインに限られるものではなく、鉛直ライン等、互いに平行なラインの集合の各ライン上での位置間距離の2乗和であればよい。
また、本実施例では、前記直線間距離は、互いに平行なラインの集合の各ライン上での位置間距離の2乗和として定義されているが、これは2乗和に限られるものではなく、絶対値の和、絶対値の最大値等、前記互いに平行なラインの集合の各ライン上での直線位置の集合を1つのベクトルとみなした場合の2つの前記直線に対応する前記ベクトル間の距離として定義される量であればよい。
また、前記直線パラメータ表現
として上記数式(2)の代わりに以下の数式(8)を用いてもよい。
また上記数式(8)による前記直線パラメータ表現の代わりに以下の数式(9)を用いてもよい。
上記数式(8)および上記数式(9)による前記パラメータ表現による前記Hough空間は厳密には上記数式(1)の関係を満たしていないが、近似的には満たしていると考えられる。従って、この場合でも本実施例の効果をある程度期待することが出来る。
上記数式(9)による前記直線パラメータ表現は上記数式(8)による前記直線パラメータ表現を、前記Hough変換の際の前記座標離散化に起因する前記雑音成分の影響を取り除くように変形したものである。従って、数式(9)による前記直線パラメータ表現による前記Hough空間を用いた前記Hough変換においては、図8及び上記数式(7)により示される前記軌跡の集合706への投票は必要なく、前記軌跡705のみへの投票をすればよい。この場合、前記軌跡の集合706への投票と比べて処理量を削減することが出来る。
次に、本発明の第2の発明を実施するための最良の形態について図面を参照して詳細に説明する。
図10を参照すると、本発明の第2の実施の形態に係る認証システムは、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)900と、対象データ入力装置910を有している。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)900は、特徴点検出手段920と、Hough変換手段930と、特定パターン出力手段940とを含む。
Hough変換手段930はHough空間投票手段931と、Hough空間平滑化手段932と、Hough空間ピーク検出手段933とを含む。
これらの手段はそれぞれ以下のように動作する。
前記対象データ入力装置910によって、所望の特定パターンの検出対象であるデータが入力される。
前記特徴点検出手段920は、前記対象データから前記特定パターン上の点であると推定される点を特徴点として検出する。
前記Hough空間投票手段931は、前記特定パターンを表現するHough空間内において、前記特徴検出手段920で検出された前記特徴点に対応する軌跡上の各点について、前記特徴点に応じた重みを投票する。
前記Hough空間平滑化手段932は、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて当該点での平滑化された投票値を決定する。
前記Hough空間ピーク検出手段933は、前記Hough空間内において単数あるいは複数の前記投票値のピークを与える点を検出する。
前記特定パターン出力手段940は、前記Hough空間ピーク検出手段933で検出した前記投票値のピークを与える各点について、対応する前記パラメータに対応する前記特定パターンを出力する。
ここで、前記Hough空間平滑化手段932について説明する。前記特定パターン
のパラメータ表現を
とおく。
ただし、
は前記対象データ内での各点の位置を表し、
はパラメータを表す。
本発明の第2の実施の形態では、本発明の第1の実施の形態と同様に前記対象データ内の予め定められた注目領域における前記特定パターン
と
との違いを表す特定パターン間距離を
として定義がなされている。
前記Hough空間平滑化手段932は、前記Hough空間の各点
について対応する前記特定パターン
を考え、以下の数式(10)を満たす前記特定パターン
に対応する前記Hough空間内の点
の集合を前記当該点の近傍と考え、この近傍内、もしくはこの近傍を近似した領域内の点の前記投票値を用いて当該点での平滑化された投票値を決定する。
ただし、rは予め定められた定数、もしくは前記Hough空間の各点毎に何某かの基準で定められる数である。
また、前記Hough空間投票手段931において前記特徴点に対する前記Hough空間における前記軌跡上の各点についての投票を行う際に、前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票を行うこともできる。
次に、図10及び図11のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、前記対象データ入力装置910により前記特定パターン検出処理の対象となるデータが入力される(図3のステップC1)。次に、前記特徴点検出手段920が、対象データから前記特定パターン上の点であると推定される点を特徴点として検出する(ステップC2)。さらに、前記Hough空間投票手段931が、前記各特徴点について、前記Hough空間内における対応する前記軌跡上の各点について、前記特徴点に応じた重みを投票する(ステップC3)。さらに、前記Hough空間平滑化手段932が、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて当該点での平滑化された投票値を決定する(ステップC4)。さらに、前記Hough空間ピーク検出手段933が、前記Hough空間内において単数あるいは複数の前記投票値のピークを与える点を検出する(ステップC5)。最後に、前記特定パターン出力手段940が、前記Hough空間ピーク手段で検出した前記投票値のピークを与える各点について、対応する前記パラメータに対する前記特定パターンを出力する(ステップC6)。
前記ステップC3における投票において、前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票を行うこともできる。
次に、本実施の形態における効果について説明する。
本実施の形態では、前記対象データ内の予め定められた前記注目領域における前記特定パターン間の違いを表す前記特定パターン間距離が定義され、その前記特定パターン間距離が近い領域を近傍と考えその近傍範囲内での前記Hough変換平滑化を行っているため、前記特定パターン間距離を適切に定義することにより簡便に従来の課題である真の特定パターンの近くに現れる偽の特定パターンの出現を抑制することが出来る。
また、本実施の形態では、さらに、前記Hough空間投票手段131において前記特徴点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について投票することもできるように構成されているため、前記特徴点に含まれる雑音成分に対して頑健な前記特定パターンの検出を行うことができる。
次に、具体的な実施例を用いて本実施の形態に係る認証システムの動作について説明する。
この認証システムは、前記対象データとしてカメラ等の入力装置から入力される画像を用い、前記特徴点として画素値の変化が急峻な点(以下、エッジ点と呼ぶ)を複数個検出し、それらのエッジ点がなす直線を前記特定パターンとして検出する。具体的な画像の例として図4に示すような車両等に搭載したカメラから道路を撮影した道路画像310を取り上げる。この道路画像から直線を検出することにより道路面311に描かれた走行レーン境界を示す白線312等が認識される。
図12に示すように、この認証システムは、本実施例は前記対象データ入力装置910として例えばカメラ等の画像入力装置1110と、前記特徴点検出手段920としてエッジ点検出手段1120と、Hough変換手段1130と、前記特定パターン出力手段940として直線出力手段1140とを含む。
前記エッジ点検出手段1120は、3×3ソーベルフィルタ手段1121と、エッジ強度計算手段1122と、エッジ強度閾値処理手段1123と、エッジ点出力手段1124とを含む。ただし、前記エッジ点検出手段1120は前記構成に限定されるものではなく、画素値の変化が急峻な点を検出する手段であればよい。
前記Hough変換手段1130は、Hough空間投票手段1131と、Hough空間平滑化手段1132と、Hough空間ピーク検出手段1133とを含む。
前記画像入力装置1110は、前記対象データとして前記道路画像310を入力する。また、前記エッジ点検出手段1120は、前記エッジ点を複数個検出する。また、前記Hough変換手段1130は、後述の直線パラメータ表現
の2次元パラメータ
の各要素
をそれぞれ横軸、縦軸とする2次元平面として定義されるHough空間について前記Hough変換手段930と同様の処理が行なわれる。
直線検出手段1140は、前記Hough変換手段1130で検出した投票値のピークを与えるHough空間内の各点に対応して前記直線パラメータ表現
で表される直線を出力する。
前記3×3ソーベルフィルタ手段1121は、前記道路画像310の各点についてソーベルx成分、ソーベルy成分を算出する。また、前記エッジ強度計算手段1122は、前記道路画像310の各点について前記ソーベルx成分と前記ソーベルy成分の2乗和の平方、もしくは絶対値の和を計算し、それぞれ前記各点のエッジ強度とする。
前記エッジ強度閾値処理手段1123は、前記道路画像310の各点について前記エッジ強度が予め定められた閾値、例えば100以上か否かを判断する。
前記エッジ点出力手段1124は、前記エッジ強度閾値処理手段1123で前記エッジ強度が閾値以上と判断された点をエッジ点として出力する。
前記Hough空間投票手段1131は、Hough空間内において、前記エッジ点検出手段1120で検出された前記エッジ点に対応する軌跡上の各点について、前記エッジ点に応じた重みを投票する。ここで、前記エッジ点に応じた重みとして前記エッジ強度を投票する。ただし、前記エッジ点に応じた重みはこれに限定されるものではなく、例えば定数、後述のソーベルx成分とソーベルy成分により算出される前記エッジ点における画素値の勾配と前記軌跡上の点に対応する前記直線の傾きとのなす角など、前記エッジ点もしくはその近傍の画素値等から算出される値、もしくはこれらの値や前記エッジ強度等から算出される値等を用いてもよい。
前記Hough空間平滑化手段1132は、前記Hough空間の各点について、当該点および近傍の点の前記投票値を用いて、例えば近傍の点での投票値の平均値として当該点での平滑化された投票値を決定する。ただし、前記平滑化された投票値はこれに限るものではなく近傍の各点に適当な重みを乗じたものの和や近傍での最大投票値等、近傍の点の位置関係や投票値から計算される各種の値を用いてよい。
前記Hough空間ピーク検出手段1133は、前記Hough空間内において予め定められた閾値以上であり、かつ例えば3×3近傍等の近傍範囲で最大の投票値を持つ点を前記ピークとして検出する。ただし、前記ピークを検出する基準はこれに限定されるものではなく、例えば、前記Hough空間内での最大投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。
ここで、前記Hough空間平滑化手段1132について説明する。
前記直線パラメータ表現
は以下の数式(11)で与えられるとする。
ただし、
は前記道路画像310上の各点の座標を表し、Lは図4に示すように前記道路画像310内のある水平ラインのy座標を表す。
前記注目領域は、図4に示すように前記道路画像310の下部領域、例えば中央水平ライン以下の領域として設定される。この注目領域A311は、前記道路画像310内において道路面に相当すると予想される領域である。ここで、本発明の第1の実施の形態と同様に、図7に示すように前記特定パターン間距離に対応する直線間距離
は上記数式(3)のように定義される。ただし、
と
はそれぞれ直線を表す。
ここで、数式(10)は上記数式(4)より以下の数式(12)のように変形できる。
これより、前記Hough空間平滑化手段1132は、前記Hough空間の各点
について
を満たす点の集合
またはこれの近似領域での前記投票値の平均値を前記平滑化された投票値とすることができる。
ただし、前記平滑化された投票値は、これに限るものではなく前記点の集合の各点に適当な重みを乗じたものの和や近傍での最大投票値等、近傍の点の位置関係や投票値から計算される各種の値を用いてよい。
次に、前記Hough空間投票手段1131について補足をする。前記Hough空間投票手段1131は、前記Hough空間内において前記エッジ点検出手段1120で検出された前記エッジ点に対応する軌跡上の各点について前記エッジ点に応じた重みを投票するが、この投票を前記軌跡上の各点ではなくエッジ点の位置に含まれると考えられる雑音成分により決定される前記軌跡上の各点の近傍範囲について行うことも出来る。本実施例では、前記投票に際しては前記エッジ点位置に含まれる前記雑音成分として前記座標離散化に起因するもののみを考える。この場合、前記道路画像内のある画素位置
で検出されるエッジ点について真の位置は以下の数式(13)の範囲にあると考えられる。
ここで、図8に示すようにエッジ点702に対応するHough空間内の軌跡705だけではなく、上記数式(13)で表されるエッジ点の真の位置範囲703の全ての点に対応するHough空間内の軌跡の集合706についてエッジ点702に応じた重みが投票される。これにより、前記座標離散化に起因する雑音成分の影響を抑制することが出来る。
次に、上記実施例の動作について、図12及び図13のフローチャートを参照して詳細に説明する。
まず、前記画像入力装置1110により前記道路画像が入力される(図13のステップD1)。次に、前記ソーベルフィルタ手段1121が、前記道路画像の各点について前記ソーベルx成分とソーベルy成分を算出する(ステップD2)。さらに、前記エッジ強度計算手段1122が、前記道路画像の各点についてエッジ強度を計算する(ステップD3)。さらに、前記エッジ強度閾値処理手段1123が、前記道路画像の各点についてエッジ強度を閾値処理する(ステップD4)。さらに、前記エッジ点出力手段1124が、前記エッジ強度が前記閾値以上の点を前記エッジ点として出力する(ステップD5)。さらに、前記Hough空間投票手段1131が、前記各エッジ点についてHough空間内の軌跡上に投票を行う(ステップD6)。さらに、前記Hough空間平滑化手段1132が、前記Hough空間内の各点の前記投票値を平滑化する(ステップD7)。さらに、前記Hough空間ピーク検出手段1133が、前記Hough空間内の前記ピーク点を検出する(ステップD8)。最後に、前記直線出力手段1140が、前記各Hough空間ピーク点に対応する前記直線を出力する(ステップD9)。
本実施例において前記対象データを画像としたが、前記対象データは、これに限られるものではなく、例えば画素値が対応する実物体への距離を示す距離画像や、3次元空間内で各位置における画素値が与えられる3次元画像、異なる時刻で得られた前記画像もしくは前記3次元画像を時系列方向に並べることにより得られる時系列画像等、座標位置と各位置でのデータ値が対応付けられているデータであればよい。
また、本実施例において前記直線間距離を前記注目領域A311の各水平ライン上でのx座標の差の2乗和として定義したが、これは水平ラインに限られるものではなく、鉛直ライン等、互いに平行なラインの集合の各ライン上での位置間距離の2乗和であればよい。
また、本実施例において前記直線間距離を互いに平行なラインの集合の各ライン上での位置間距離の2乗和として定義したが、これは2乗和に限られるものではなく、絶対値の和、絶対値の最大値等、前記互いに平行なラインの集合の各ライン上での直線位置の集合を1つのベクトルとみなした場合の2つの前記直線に対応する前記ベクトル間の距離として定義される量であればよい。
Claims (21)
- 特徴点毎にパラメータ空間の対応する軌跡上に投票を行うHough空間投票手段と、投票済み前記パラメータ空間のピークを検出するHough空間ピーク検出手段とを含み、対象データからHough変換により特定パターンを検出する認識システムにおいて、
投票を行う前記パラメータ空間での各点の距離の大小関係が予め定められた前記特定パターン間の違いを表す特定パターン間距離の大小関係と同値または近似的に同値であるように、前記Hough空間投票手段において、前記パラメータ空間が設計されていることを特徴とする認識システム。 - 特徴点毎にパラメータ空間の対応する軌跡上に投票を行うHough空間投票手段と、前記パラメータ空間の各点の投票値を平滑化するHough空間平滑化手段と、投票済み前記パラメータ空間のピークを検出するHough空間ピーク検出手段とを含み、対象データからHough変換により特定パターンを検出する認識システムにおいて、
前記Hough空間平滑化手段は、前記パラメータ空間内の各点での平滑化された投票値を、予め定められた前記特定パターン間距離が予め定められた値以下となるような、前記各点の近傍もしくは近傍を近似した領域内の点の投票値を用いて決定することを特徴とする認識システム。 - 前記対象データが画像であり、前記特定パターンが直線であることを特徴とする請求項1または2に記載の認識システム。
- 前記特定パターン間距離が予め定められた前記対象データ内のある注目領域における各水平ライン上もしくは各鉛直ライン上もしくは水平なライン群の各ライン上での各前記特定パターンの位置の間の距離の前記注目領域における2乗和であることを特徴とする請求項3に記載の認識システム。
- 前記直線が前記注目領域内のある水平ラインでの切片と傾きの係数をパラメータとして表現されることを特徴とする請求項4に記載の認識システム。
- 前記Hough空間投票手段における1回の投票処理において、対象データの量子化誤差に応じた重みが単数または複数の投票箇所に投票されることを特徴とする請求項3に記載の認識システム。
- 前記画像が車載機器から撮影された道路画像であり、前記注目領域が前記道路画像内の道路面像に相当する領域であり、前記直線を検出することにより白線や道路端等の走行レーン境界が検出されることを特徴とする請求項4、5または6に記載の認識システム。
- 特徴点毎にパラメータ空間の対応する軌跡上に投票を行う投票ステップと、投票済みパラメータ空間のピークを検出するピーク検出ステップを含み、対象データからHough変換により特定パターンを検出する認識方法において、
前記投票ステップにおいて、投票を行う前記パラメータ空間での各点の距離の大小関係が予め定められた前記特定パターン間の違いを表す特定パターン間距離の大小関係と同値もしくは近似的に同値であるように前記パラメータ空間が設計されることを特徴とする認識方法。 - 特徴点毎にパラメータ空間の対応する軌跡上に投票を行う投票ステップと、前記パラメータ空間の各点の投票値を平滑化する平滑化ステップと、投票済みパラメータ空間のピークを検出するピーク検出ステップを含み、対象データからHough変換により特定パターンを検出する認識方法において、
前記平滑化ステップは、前記パラメータ空間内の各点での平滑化された投票値を、予め定められた前記特定パターン間距離が予め定められた値以下となるような前記各点の近傍もしくは近傍を近似した領域内の点の投票値を用いて決定するステップを有することを特徴とする認識方法。 - 前記対象データが画像であり、前記特定パターンが直線であることを特徴とする請求項8または9に記載の認識方法。
- 前記特定パターン間距離が、予め定められた前記対象データ内のある注目領域における各水平ライン上もしくは各鉛直ライン上もしくは水平なライン群の各ライン上での各前記特定パターンの位置の間の距離の前記注目領域における2乗和であることを特徴とする請求項10に記載の認識方法。
- 前記直線が、前記注目領域内のある水平ラインでの切片と傾きの係数をパラメータとして表現されることを特徴とする請求項11に記載の認識方法。
- 前記投票ステップは、1回の投票処理において対象データの量子化誤差に応じた重みを単数または複数の投票箇所に投票するステップを有することを特徴とする請求項10に記載の認識方法。
- 前記画像が車載機器から撮影された道路画像であり、前記注目領域が前記道路画像内の道路面像に相当する領域であり、
前記直線を検出することにより白線や道路端等の走行レーン境界を検出するステップを有することを特徴とする請求項11、12または13に記載の認識方法。 - 特徴点毎にパラメータ空間の対応する軌跡上に投票を行う投票ステップと、投票済み前記パラメータ空間のピークを検出するピーク検出ステップをコンピュータに実行させ、対象データからHough変換により特定パターンを検出させる認識プログラムにおいて、
前記投票ステップにおいて、投票を行う前記パラメータ空間での各点の距離の大小関係が予め定められた前記特定パターン間の違いを表す特定パターン間距離の大小関係と同値もしくは近似的に同値であるように前記パラメータ空間が設計されていることを特徴とする認識プログラム。 - 特徴点毎にパラメータ空間の対応する軌跡上に投票を行う投票ステップと、前記パラメータ空間の各点の投票値を平滑化する平滑化ステップと、投票済み前記パラメータ空間のピークを検出するピーク検出ステップをコンピュータに実行させ、対象データからHough変換により特定パターンを検出させる認識プログラムにおいて、
前記平滑化ステップは、前記パラメータ空間内の各点での平滑化された投票値を、予め定められた前記特定パターン間距離が予め定められた値以下となるような前記各点の近傍、もしくは近傍を近似した領域内の点の投票値を用いて決定するステップを有することを特徴とする認識プログラム。 - 前記対象データが画像であり、前記特定パターンが直線であることを特徴とする請求項15または16に記載の認識プログラム。
- 前記特定パターン間距離が、予め定められた前記対象データ内のある注目領域における各水平ライン上もしくは各鉛直ライン上もしくは水平なライン群の各ライン上での各前記特定パターンの位置の間の距離の前記注目領域における2乗和であることを特徴とする請求項17に記載の認識プログラム。
- 前記直線は、前記注目領域内のある水平ラインでの切片と傾きの係数をパラメータとして表現されることを特徴とする請求項18に記載の認識プログラム。
- 前記投票ステップは、1回の投票処理において対象データの量子化誤差に応じた重みを単数または複数の投票箇所に投票することを特徴とする請求項17に記載の認識プログラム。
- 前記画像が車載機器から撮影された道路画像であり、前記注目領域が前記道路画像内の道路面像に相当する領域であり、
前記直線を検出することにより白線や道路端等の走行レーン境界を検出するステップを実行させることを特徴とする請求項18、19または20に記載の認識プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006145274 | 2006-05-25 | ||
JP2006145274 | 2006-05-25 | ||
PCT/JP2007/060315 WO2007138898A1 (ja) | 2006-05-25 | 2007-05-15 | 認識システム、認識方法および認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007138898A1 true JPWO2007138898A1 (ja) | 2009-10-01 |
JP4577532B2 JP4577532B2 (ja) | 2010-11-10 |
Family
ID=38778418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008517843A Active JP4577532B2 (ja) | 2006-05-25 | 2007-05-15 | 認識システム、認識方法および認識プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8208757B2 (ja) |
EP (1) | EP2026281A1 (ja) |
JP (1) | JP4577532B2 (ja) |
CN (1) | CN101356547A (ja) |
WO (1) | WO2007138898A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101567086B (zh) * | 2009-06-03 | 2014-01-08 | 北京中星微电子有限公司 | 一种车道线检测方法及其设备 |
US8867845B2 (en) * | 2009-11-25 | 2014-10-21 | Nec Corporation | Path recognition device, vehicle, path recognition method, and path recognition program |
US8675089B2 (en) * | 2009-12-25 | 2014-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for assisting composition of photographic image |
JP2013003686A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 認識装置および方法、プログラム、並びに記録媒体 |
KR101279712B1 (ko) * | 2011-09-09 | 2013-06-27 | 연세대학교 산학협력단 | 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체 |
US9064317B2 (en) * | 2012-05-15 | 2015-06-23 | Palo Alto Research Center Incorporated | Detection of near-field camera obstruction |
US9189702B2 (en) * | 2012-12-31 | 2015-11-17 | Cognex Corporation | Imaging system for determining multi-view alignment |
CN103955925B (zh) * | 2014-04-22 | 2017-03-29 | 湖南大学 | 基于分块固定最小采样的改进概率霍夫变换曲线检测方法 |
EP3227855A4 (en) | 2014-12-04 | 2018-06-20 | Le Henaff, Guy | System and method for interacting with information posted in the media |
US9852287B1 (en) | 2016-10-04 | 2017-12-26 | International Business Machines Corporation | Cognitive password pattern checker to enforce stronger, unrepeatable passwords |
JP6345224B1 (ja) * | 2016-12-19 | 2018-06-20 | 株式会社Pfu | 画像処理装置、矩形検出方法及びコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH10208056A (ja) * | 1997-01-16 | 1998-08-07 | Honda Motor Co Ltd | 直線検出方法 |
JP2003271975A (ja) * | 2002-03-15 | 2003-09-26 | Sony Corp | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314339A (ja) | 1993-04-27 | 1994-11-08 | Honda Motor Co Ltd | 画像の直線成分抽出装置 |
-
2007
- 2007-05-15 US US12/092,025 patent/US8208757B2/en active Active
- 2007-05-15 WO PCT/JP2007/060315 patent/WO2007138898A1/ja active Application Filing
- 2007-05-15 JP JP2008517843A patent/JP4577532B2/ja active Active
- 2007-05-15 CN CNA2007800012755A patent/CN101356547A/zh active Pending
- 2007-05-15 EP EP07743749A patent/EP2026281A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH10208056A (ja) * | 1997-01-16 | 1998-08-07 | Honda Motor Co Ltd | 直線検出方法 |
JP2003271975A (ja) * | 2002-03-15 | 2003-09-26 | Sony Corp | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 |
Also Published As
Publication number | Publication date |
---|---|
US20090252420A1 (en) | 2009-10-08 |
JP4577532B2 (ja) | 2010-11-10 |
EP2026281A1 (en) | 2009-02-18 |
CN101356547A (zh) | 2009-01-28 |
US8208757B2 (en) | 2012-06-26 |
WO2007138898A1 (ja) | 2007-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4577532B2 (ja) | 認識システム、認識方法および認識プログラム | |
CN111566441B (zh) | 利用相机进行车辆环境建模 | |
US9480417B2 (en) | Posture estimation device, posture estimation system, and posture estimation method | |
US9811742B2 (en) | Vehicle-surroundings recognition device | |
JP2008123036A (ja) | 消失点検出システム、消失点検出方法および消失点検出用プログラム | |
US9262674B2 (en) | Orientation state estimation device and orientation state estimation method | |
CN114144809A (zh) | 通过摄像机进行交通工具环境建模 | |
JPWO2008010488A1 (ja) | 画像処理装置および画像処理方法 | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
WO2012039496A1 (ja) | 走路推定装置及びプログラム | |
US20140198955A1 (en) | System and method for distorted camera image correction | |
JP2011187049A (ja) | 交通標識を分類するための方法およびデバイス | |
JP2011113313A (ja) | 姿勢推定装置 | |
KR100922429B1 (ko) | 스테레오 영상을 이용한 사람 검출 방법 | |
JP5316337B2 (ja) | 画像認識システム、方法、及び、プログラム | |
Duan et al. | Real time road edges detection and road signs recognition | |
WO2011083665A1 (ja) | 類似度算出装置、類似度算出方法、及びプログラム | |
CN105243661A (zh) | 一种基于susan算子的角点检测方法 | |
JP6591257B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Nuthong et al. | Lane detection using smoothing spline | |
JP7361342B2 (ja) | 学習方法、学習装置、及び、プログラム | |
JP2015001966A (ja) | 物体検出装置 | |
KR20140061164A (ko) | 깊이 영상을 이용한 손 검출 장치 및 방법 | |
KR102480973B1 (ko) | 물체 존재 여부 판단 방법, 장치, 시스템 및 컴퓨터 프로그램 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100728 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100810 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4577532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |