JP6505470B2 - ノイズ除去方法および物体認識装置 - Google Patents

ノイズ除去方法および物体認識装置 Download PDF

Info

Publication number
JP6505470B2
JP6505470B2 JP2015038919A JP2015038919A JP6505470B2 JP 6505470 B2 JP6505470 B2 JP 6505470B2 JP 2015038919 A JP2015038919 A JP 2015038919A JP 2015038919 A JP2015038919 A JP 2015038919A JP 6505470 B2 JP6505470 B2 JP 6505470B2
Authority
JP
Japan
Prior art keywords
noise
point
distance
points
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015038919A
Other languages
English (en)
Other versions
JP2016161340A (ja
Inventor
ニキネジャド ホセイン テヘラニ
ニキネジャド ホセイン テヘラニ
映 酒井
映 酒井
小川 高志
高志 小川
誠一 三田
誠一 三田
チーウェイ シェ
チーウェイ シェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Denso Corp
Original Assignee
Toyota School Foundation
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Denso Corp filed Critical Toyota School Foundation
Priority to JP2015038919A priority Critical patent/JP6505470B2/ja
Priority to US15/055,239 priority patent/US10502832B2/en
Publication of JP2016161340A publication Critical patent/JP2016161340A/ja
Application granted granted Critical
Publication of JP6505470B2 publication Critical patent/JP6505470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、複数の測距点からノイズとなるノイズ点を除去するノイズ除去方法、およびノイズ点を除去して物体を認識する物体認識装置に関する。
上記の物体認識装置として、自車両に搭載されたレーザレーダによる測距点を繰り返し取得し、測距点のうちの、受光レベルがある閾値を超えるものだけをカウントし、ある回数以上カウントされた測距点のみを用いて物体を認識するものが知られている(例えば、特許文献1参照)。つまり、ある回数だけカウントされなかった点をノイズとして除去するノイズ除去方法を採用している。
特開2000−009841号公報
しかしながら、上記ノイズ除去方法では、自車両との相対速度が大きくなると、同じ物体であっても同じ距離での測距点とならないため、同じ距離の測距点としてカウントされにくくなる。このため、本来ノイズでない測距点がノイズとして除去されてしまうという問題点があった。
また、光を反射しにくい物体についても、受光レベルが閾値未満となりやすくなるため、カウントされにくくなる。このため、同様にノイズでないものが除去されてしまうという問題点があった。
そこで、このような問題点を鑑み、複数の測距点からノイズとなるノイズ点を除去するノイズ除去方法において、より正確にノイズを除去できるようにすることを本発明の目的とする。
本発明のノイズ除去方法において、測距点取得工程では、ターゲットを検出する検出領域を予め水平方向および鉛直方向に格子状に区分した照射領域毎にレーザ光を照射し、それぞれの照射領域にて前記レーザ光の反射光を受光することによって、照射領域毎に得られるターゲットの座標を表す複数の測距点を取得する。また、ノイズ特定工程では、ある基準点から、複数の測距点のうちの判定対象とする複数の対象測距点を見たときの複数の対象測距点間の角度方向の近接度合い、および複数の対象測距点間の距離方向の近接度合い、のうちの少なくとも何れかに基づいて、該複数の対象測距点のうちの少なくとも何れかがノイズ点である旨を特定する。そして、ノイズ除去工程では、複数の測距点からノイズ点を除去する。
このようなノイズ除去方法によれば、複数の測距点のうちの判定対象とする複数の対象測距点を見たときの角度差や複数の対象測距点間の距離差に、ノイズ点としての特徴があることに基づいてノイズ点を特定し、除去することができる。よって、正確にノイズ点を除去することができる。
なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。
運転支援システム1の概略構成を示す説明図である。 実施形態において、レーザ光を照射する領域を示す模式図である。 マルチエコーの概要を示す説明図である。 レーダ制御部11が実行する物体認識処理を示すフローチャートである。 同一直線規則の評価処理を示すフローチャートである。 2点間の角度の求め方の概要を示す鳥瞰図である。 ノイズの可能性が高い点が存在しない場合の測距点の分布例を示す鳥瞰図である。 ノイズの可能性が高い点が存在する場合の測距点の分布例を示す鳥瞰図である。 水平散乱規則の評価処理を示すフローチャートである。 垂直散乱規則の評価処理を示すフローチャートである。 実施形態の最終判断処理を示すフローチャートである。 時系列による評価処理の概要を示す説明図である。 時系列による評価処理を示すフローチャートである。 実施形態の効果を示す説明図である。 その他の実施形態の最終判断処理を示すフローチャートである。
以下に本発明にかかる実施の形態を図面と共に説明する。
[第1実施形態]
[本実施形態の構成]
図1は本実施形態の運転支援システム1の概略構成を示す説明図、図2はレーザ光を照射する領域を示す模式図である。運転支援システム1は、例えば乗用車等の車両(以下「自車両」ともいう。)に搭載されており、図1に示すように、レーダ装置10と、車両制御部30と、を備えている。
レーダ装置10は、レーダ制御部11と、走査駆動部12と、光学ユニット13とを備えている。
レーダ制御部11は、CPU18と、ROM,RAM等のメモリ19と、を備えた周知のコンピュータとして構成されている。CPU18は、メモリ19に記憶されたプログラムに従って、後述する物体認識処理等の各種処理を実施する。なお、レーダ制御部11は、回路等によるハードウェアで構成してもよい。
走査駆動部12は、例えばモータ等のアクチュエータとして構成されており、レーダ制御部11からの指令を受けて、光学ユニット13を水平方向および鉛直方向の任意の方向に向けることができるよう構成されている。なお、走査駆動部12は、レーダ制御部11からの走査開始信号を受ける度に、レーザ光を照射すべき全ての領域から反射光を得る、1サイクル分の走査ができるように光学ユニット13を駆動する。
光学ユニット13は、レーダ制御部11からの指令に応じてレーザ光を射出する発光部14と、発光部14からのレーザ光(図1では実線の矢印で示す)が物体50に反射したときの反射光(図1では破線の矢印で示す)を受光する受光部15と、を備えている。
なお、走査駆動部12は、結果として発光部14によるレーザ光の射出方向が受光部15により反射光を受光可能な方向と同じ方向となるよう変化させられる構成であればよい。例えば、走査駆動部12は、光学ユニット13に換えて、光学ユニット13に備えられたレーザ光および反射光を任意の方向に反射させるミラーを駆動するよう構成されていてもよい。
この場合には、複数の反射面を有するミラーを走査駆動部12で回転させることによって水平方向にレーザ光を走査し、反射面の角度をそれぞれ異なる角度に設定することによって、鉛直方向にもレーザ光を振りつつ走査する構成を採用すればよい。また、1つの反射面を有するミラーを任意の方向に向ける機構を採用してもよい。
また、走査駆動部12は、受光部15のみの方向を変化させる構成でもよい。この場合、発光部14は、発光部14の方向を変化させることなく、受光部15が走査される領域の一部または全体にレーザ光を照射可能な構成にされていてもよい。
上述のようにレーダ装置10は、自車両周囲の任意の方向(本実施形態では自車両の進行方向である前方)の所定領域に対して、走査しつつ間欠的に電磁波であるレーザ光を照射し、その反射光をそれぞれ受信することによって、自車両前方の物体を各測距点として検出するレーザレーダとして構成されている。
ここで、本実施形態のレーダ装置10においてレーダ制御部11は、前述のように走査駆動部12を利用して、光学ユニット13から照射されるレーザ光を所定の領域内において走査させるが、詳細には図2に示すように、この領域の左上隅から右上隅に水平方向右側にレーザ光を照射させる範囲を変化させつつ間欠的に等間隔(等角度)でレーザ光を照射させ、レーザ光が右上隅に到達すると、左上隅よりも所定角度だけ下方の領域から水平方向右側にレーザ光を照射させる範囲を変化させつつ再びレーザ光を照射させる。
特に、本実施形態では、水平方向には401の方向(401方位)、鉛直方向の上下にそれぞれ4方向(合計8ライン)分、レーザ光を照射させる。この作動を繰り返すことによってレーダ装置10は、所定領域の全域に順次レーザ光を照射させることになる。そしてレーダ装置10は、反射光を検出したタイミングとレーザ光を照射した方向とに基づいて、レーザ光を照射する度に物体(測距点)の位置を検出する。
なお、レーザ光の出射方向については、レーザ光を照射する全領域をレーザ光が照射される領域毎にマトリクス状に区切り、各領域に番号を付すことによって特定できるようにしておく。例えば、図2に示すように、水平方向については左から順に番号を付し、この番号を方位番号と呼ぶ。また、鉛直方向については上から順に番号を付し、この番号をライン番号と呼ぶ。
また、本実施形態のレーダ装置10においては、マルチエコーに対応している。すなわち、図3に示すように、1回に照射されるレーザ光が複数の物体(物体1,2,3)にて反射されると、それぞれの物体を示す複数の信号(複数のエコー)が検出される場合がある。このような場合、レーダ装置10では距離が近い順に3つまで反射強度および測距点の位置が記録される。以降、距離が近い順に番号を付し、この番号をエコー番号と呼ぶ。
次に、車両制御部30においては、CPU,ROM,RAM等からなる周知のコンピュータとして構成されており、ROM等に記憶されたプログラムに従って、自車両の挙動を制御する処理や、運転者に対する報知を行う等の各種処理を実施する。例えば、車両制御部30は、自車両の挙動を変更するような(或いは挙動の変更を促すような)運転支援を行う旨の指令をレーダ装置10から受けると、この指令に応じた制御信号を表示装置、音声出力装置、制動装置、操舵装置等の何れかに出力するようにすればよい。
[本実施形態の処理]
このような運転支援システム1では、例えば、以下の処理が実施される。
図4に示す物体認識処理は、光学ユニット13を用いて得られた測距点からノイズとなるノイズ点を除去し、ノイズ点を除去した後の測距点を用いて、物体の種別や形状を認識する処理である。なお、ノイズ点とは、測距点のうちの雨や雪等、測距の目的とするもの以外を示す点をいう。
また、物体認識処理は、例えば、1サイクル分の測距点のデータが得られる度に起動される。詳細には図4に示すように、まず、測距点群データを取得する(S110)。測距点群データとは、レーザ光の照射領域毎に得られるターゲットの座標を表す1サイクル分の測距点のデータであり、測距点の座標と反射強度の情報とが含まれる。
続いて、ノイズを除去するための処理を実施する(S120〜S160)。ノイズを除去するための処理では、まず、同一直線規則の評価処理を実施する(S120)。
同一直線規則の評価処理は、ノイズ点とターゲットの測距点に同一直線性があるという特徴を利用して、各測距点に対してノイズ点であるか否かを評価するための評価値を設定する処理である。同一直線性とは、ある2つの測距点のうちの1の測距点と、ある基準点(ここでは光学ユニット13(発光部または受光部))とを通過する直線に、他の測距点が接近している程度を表す。なお、同一直線規則の評価処理は、ラインi(1≦i≦8)毎に、全方位j(1≦j≦401)、エコーk(1≦k≦3)毎に実施される。
同一直線規則の評価処理では、図5に示すように、まず、照射領域毎の測距点のデータのうちの予め設定された順序にて決定される2点を取得する(S210)。これらの2点を、p(i,j,k)=(x,y,z)、p(i,j,k)=(x,y,z)とする。これらの2点は、本処理を繰り返す度に組み合わせが変更され、全ての組み合わせが選択されると本処理の繰り返しを終了する。
なお、後述する処理において、ある測距点の近傍に他の測距点が存在しているか否かについては、ある測距点を中心とする半径rの球内に他の測距点が存在するか否かによって判定する。その際、以下の定義による。
処理を簡素化するために、同一のラインI内のみについて2つの測距点が近接しているか否かを判定する水平近傍、または同一の方位J内のみについて2つの測距点が近接しているか否かを判定する垂直近傍を採用することもできる。
続いて、測距点が存在するか否かを判定する(S220)。すなわち、物体によってレーザ光が反射された場合にはyが上限値(Dmax)未満の値となるが、物体によってレーザ光が反射されなかった場合には、yが上限値をとる。すなわち、y<Dmaxかつy<Dmaxの場合、2点が存在すると判定する。
測距点が存在していなければ(S220:NO)、これら2点についての評価値(index1)を−3に設定する(S230)。
測距点が存在していれば(S220:YES)、選択した2点についての角度を評価する(S240)。この処理では、図6に示すように、基準点である光学ユニット13(受光部15)とそれぞれの測距点とを通過するそれぞれの直線とのなす角を求める。この際、1つ目の測距点a、2つ目の測距点bにおいて、以下の式を用いてなす角angle(a, b)を求める。
このなす角が予め設定された閾値δよりも大きければ(S240:YES)、これらの測距点がノイズ点である可能性が低いものとして、選択した2点のそれぞれの評価値(index1)を−1に設定する(S250)。一方、なす角が閾値δ以下であれば(S240:NO)、これらの測距点がノイズ点である可能性が高いものとして、選択した2点のそれぞれの評価値(index1)を+1に設定する(S260)。
このような処理を終了すると、同一直線規則の評価処理を終了する。続いて、図4に戻り、水平散乱規則の評価処理を実施する(S130)。ここで、複数の測距点がノイズ点でない場合には、例えば、図7に示すように、注目する測距点が示す距離は、左右の何れか(近接する方位番号)のものと概ね近い値なる。しかし、図8に示すように、ノイズ点においては、隣接する測距点が示す距離とかけ離れた値になることが分かる。
そこで、水平散乱規則の評価処理および垂直散乱規則の評価処理では、隣接する照射領域における測距点が示す距離は連続的になることが一般的であり、近接する照射領域における測距点が不連続となれば、ノイズ点である可能性が高い、という特性を利用する。
特に、水平散乱規則の評価処理では、水平方向(方位)においての評価を行う。なお、水平散乱規則の評価処理においても、ラインi(1≦i≦8)毎に、全方位j(1≦j≦401)、エコーk(1≦k≦3)毎に実施される。
本処理を実施するに当たり、各測距点p(i,j,k)に対する水平散乱値lu(i,j,k)等、各種値を以下のように定義する。
ただし、[数4]中の各文字列は以下のように定義する。
・NH(i,j,k):測距点p(i,j,k)における同ライン上の半径R近傍点の集合(ただし中心点は含まない)
・N(i,j,k):NH(i,j,k)の総数
・D(i,j,k):NH(i,j,k)の各点と測距点p(i,j,k)との距離値の集合
・Ord(X):実数の有限部分集合Xの昇順ソート番号集合
・DO(i,j,k;l):「距離順序」、D(i,j,k)のl番目の元の昇順ソート番号
・BD(i,j,k;l):「方位差分」、D(i,j,k)のl番目の測距点p(i,j’(l),k’(l))と測距点p(i,j,k)との方位番号の差分
・MSE:ノイズ判定閾値(>0)、小さいと判定が厳しくなるもの
・lu(i,j,k):測距点p(i,j,k)における水平散乱値、|DO(i,j,k;l)−BD(i,j,k;l)|が大きくなるにつれてノイズの可能性が大きくなる。
水平散乱規則の評価処理では、図9に示すように、まず、選択した測距点に近接して他の測距点が存在するか否かを判定する(S310)。すなわち、N(i,j,k)≠0であれば、近接する他の測距点が存在し、N(i,j,k)=0であれば、近接する他の測距点が存在しないことを示す。なお、ここでは、[数2]に示す水平近傍を用いて他の測距点が存在するか否かを判定する。
近接する他の測距点が存在しなければ(S310:NO)、選択した測距点の評価値(index2)を−2に設定する。ここで、評価値が−2である場合には、フレーム内での孤立点である可能性が高いため、水平散乱規則の評価処理での評価は行わず、後述する時系列処理による評価処理において評価を行う。以降、評価値が−2の点をフレーム孤立点と呼ぶ。
また、近接する他の測距点が存在すれば(S310:YES)、水平散乱値lu(i,j,k)を演算する(S330)。水平散乱値は下記式により求める。
続いて、水平散乱値と予め設定された閾値δxとを比較する(S340)。水平散乱値luが閾値δxより大きければ(S340:YES)、ノイズ点である可能性が低いものとして、評価値(index2)を−1に設定する(S350)。また、水平散乱値luが閾値δx以下であれば(S340:NO)、ノイズ点である可能性が高いものとして、評価値(index2)を+1に設定する(S360)。
このような処理を終了すると、水平散乱規則の評価処理を終了する。
なお、本処理において、より処理負荷を軽減するためには、ノイズ判定を行う対象領域ROIを設定し、対象領域内に処理を限定するようにしてもよい。
また、測距点までの距離(yの値)に応じて半径rを可変としてもよい。例えば、下記のように、遠距離である場合に半径rをより大きくしてもよい。
続いて、図4に戻り、垂直散乱規則の評価処理を実施する(S140)。垂直散乱規則の評価処理では鉛直方向において評価を行う。本処理を実施するに当たり、各測距点p(i,j,k)に対する水平散乱値lu(i,j,k)等、各種値を以下のように定義する。
ただし、[数8]中の各文字列は以下のように定義する。
・NH(i,j,k):測距点p(i,j,k)における同方位上の半径R近傍点の集合(ただし中心点は含まない)
・N(i,j,k):NH(i,j,k)の総数
・D(i,j,k):NH(i,j,k)の各点と測距点p(i,j,k)との距離値の集合
・DO(i,j,k;l):「距離順序」、D(i,j,k)のl番目の元の昇順ソート番号
・BD(i,j,k;l):「方位差分」、D(i,j,k)のl番目の測距点p(i,j’(l),k’(l))と測距点p(i,j,k)との方位番号の差分
・MSE:ノイズ判定閾値(>0)、小さいと判定が厳しくなるもの
・lu(i,j,k):測距点p(i,j,k)における垂直散乱値
すると、水平散乱規則の評価処理と同様の処理を実施することによって、ノイズ判定を行うことができる。ただし、評価値についてはindex3として記録し、水平散乱値lu(i,j,k)は下記式を用いて求める。
なお、鉛直方向の解像度が水平方向の解像度に対して低い場合には、選択した測距点の上下2ライン分、特に、上下2ライン分の測距点のうちの最も近いものだけを用いて水平散乱値lu(i,j,k)を求めてもよい。
ただし、[数10]中の各文字列は以下のように定義する。
・NH(i,j,k):測距点p(i,j,k)における直上及び直下ライン上の半径R近傍点の集合(ただし中心点は含まない)
・p(i,j,k):測距点p(i,j,k)の直上ライン内での最近傍点
・p(i,j,k):測距点p(i,j,k)の直下ライン内での最近傍点
・DO(i,j,k;l):測距点p(i,j,k)の直上距離順序
・DO(i,j,k;l):測距点p(i,j,k)の直下距離順序
・BD(i,j,k;l):測距点p(i,j,k)の直上方位差分
・BD(i,j,k;l):測距点p(i,j,k)の直下方位差分
垂直散乱規則の評価処理の一例を図10に示す。垂直散乱規則の評価処理では、図10に示すように、まず、選択した測距点に近接して他の測距点が存在するか否かを判定する(S410)。すなわち、N(i,j,k)≠0であれば、近接する他の測距点が存在し、N(i,j,k)=0であれば、近接する他の測距点が存在しないことを示す。なお、ここでは、[数2]に示す垂直近傍を用いて他の測距点が存在するか否かを判定する。
近接する他の測距点が存在しなければ(S410:NO)、選択した測距点の評価値(index3)を−2に設定する。また、近接する他の測距点が存在すれば(S410:YES)、垂直散乱値lu(i,j,k)を演算する(S430)。
続いて、垂直散乱値と予め設定された閾値δyとを比較する(S440)。垂直散乱値luが閾値δyより大きければ(S440:YES)、ノイズ点である可能性が低いものとして、評価値(index3)を−1に設定する(S450)。また、垂直散乱値luが閾値δy以下であれば(S440:NO)、ノイズ点である可能性が高いものとして、評価値(index3)を+1に設定する(S460)。
このような処理を終了すると、垂直散乱規則の評価処理を終了する。
なお、垂直散乱規則の評価処理においても、水平散乱規則の評価処理と同様に、ノイズ判定を行う対象領域ROIを設定し(数6)、対象領域内に処理を限定するようにしてもよい。
このような処理が終了すると、垂直散乱規則の評価処理を終了する。続いて、図4に戻り、最終判断処理を実施する(S150)。最終判断処理は、各測距点についての評価値(index1,index2,index3)を用いて各測距点がノイズ点であるか否かを評価し、ノイズ点である測距点を削除する処理である。この最終判断処理においても、ラインi(1≦i≦8)、方位j(1≦j≦401)、エコーk(1≦k≦3)毎に実施される。
詳細には、図11に示すように、まず、各測距点についての全ての評価値において+1に評価されたか否かを判定する(S510)。全ての評価値において+1に評価されていれば(S510:YES)、この測距点を削除して(S520)、最終判断処理を終了する。また、何れかの評価値において+1以外に評価されていれば(S510:NO)、直ちに最終判断処理を終了する。
このような処理が終了すると、図4に戻り、時系列処理による評価処理を実施する(S160)。時系列処理による評価処理は、過去のサイクル(過去のフレーム)において取得された測距点群データを用いて、今回のサイクルにて取得された測距点が過去において検出されていたかによって、今回取得された測距点がノイズ点であるか否かを推定する処理である。
詳細には、図12に示すように、現在におけるフレーム孤立点(index=−2のもの)について、過去の2フレームにおいて近傍点が存在するか否かを判定する。そして、過去の2フレームにおいて近傍点が存在しない測距点について、ノイズである旨の判定をする。
なお、時系列処理による評価処理においても、ラインi(1≦i≦8)、方位j(1≦j≦401)、エコーk(1≦k≦3)毎に実施される。時系列処理による評価処理では、図13に示すように、選択された測距点がフレーム孤立点であるか否かを判定する(S610)。
すなわち、下記の条件を満たす場合、フレーム孤立点であると判定する。
測距点がフレーム孤立点でなければ(S610:NO)、時系列処理による評価処理を終了する。また、測距点がフレーム孤立点であれば(S610:YES)、孤立点用に近傍領域を設定する(S620)。この処理では、例えば、中心座標を一定値p(i,j,k)とし、半径を車両の移動速度vに応じて変更させる場合、下記のように設定する。
また、例えば、中心座標を車両の移動速度vに応じて変更し、半径を一定rとする場合、下記のように設定する。
続いて、過去2フレームの少なくとも何れかにおいて近傍点が存在するか否かを判定する(S630)。例えば、下記の条件を満たす場合、過去2フレームにおいて共に近傍点が存在しないと判定する。
過去2フレームにおいて共に近傍点が存在しなければ(S630:NO)、選択した測距点が孤立点であるものとしてこの測距点を削除し(S640)、時系列処理による評価処理を終了する。
また、過去2フレームにおいて少なくとも何れかに近傍点が存在すれば(S630:YES)、直ちに時系列処理による評価処理を終了する。
このような処理が終了すると、図4に戻り、物体認識を実施する(S170)。物体認識では、例えば、測距点をクラスタリングし、クラスタリングした測距点群の形状と予め準備されたモデルとを比較するパターンマッチング等を行うことで物体の種別や大きさ等を認識する。なお、物体認識の処理は、上記手法以外にも、周知の手法を採用できる。
このような処理が終了すると、物体認識処理を終了する。
[本実施形態による効果]
以上のように詳述した運転支援システム1において、レーダ制御部11(測距点データについての処理を行うデータ処理装置)は、ターゲットを検出する検出領域を予め水平方向および鉛直方向に格子状に区分した照射領域毎にレーザ光を照射し、それぞれの照射領域にてレーザ光の反射光を受光することによって、照射領域毎に得られるターゲットの座標を表す複数の測距点を取得する。また、ある基準点から、複数の測距点のうちの判定対象とする複数の対象測距点を見たときの複数の対象測距点間の角度方向の近接度合い、および複数の対象測距点間の距離方向の近接度合い、のうちの少なくとも何れかに基づいて、該複数の対象測距点のうちの少なくとも何れかがノイズ点である旨を特定する。そして、複数の測距点からノイズ点を除去する。
このような運転支援システム1によれば、複数の測距点のうちの判定対象とする複数の対象測距点を見たときの角度差や複数の対象測距点間の距離差に、ノイズ点としての特徴があることに基づいてノイズ点を特定し、除去することができる。よって、正確にノイズ点を除去することができる。
特に、図14(A)に示すように、雪道を走行中の車両に搭載されたレーダ装置10では、図14(B)に示すように、自車両にごく近い位置に、降雪をノイズ点として検出しやすくなる(破線で囲った領域参照)。しかし、本実施形態によるノイズ除去方法を実施すれば、図14(C)に示すように、降雪をノイズ点として除去できることが分かる(破線で囲った領域参照)。
また、上記の運転支援システム1においてレーダ制御部11は、複数の対象測距点のうちの1の対象測距点と、ある基準点とを通過する直線に、他の対象測距点が接近している程度を表す同一直線性を求め、該同一直線性が所定値以上である場合に、該複数の対象測距点のうちの少なくとも何れかがノイズ点の可能性が高いと判定する。
このような運転支援システム1によれば、同一直線性を用いて複数の対象測距点間の角度方向の近接度合いを判定するので、ノイズ点に同一直線性があるという特徴を利用してノイズ点を判定することができる。
また、上記の運転支援システム1においてレーダ制御部11は、基準点とそれぞれの対象測距点とを通過するそれぞれの直線とのなす角を求め、該なす角が小さくなるほど同一直線性が高いと判定する。
すなわち、基準点とそれぞれの対象測距点とを通過するそれぞれの直線とのなす角を求めることで複数の対象測距点を見たときの複数の対象測距点間の角度方向の近接度合いを得る。このような運転支援システム1によれば、簡素な処理で複数の対象測距点間の角度方向の近接度合いを演算することができる。
また、上記の運転支援システム1においてレーダ制御部11は、複数の対象測距点のうちの近接する照射領域における測距点が示す距離の連続性に基づいて該複数の対象測距点のうちの少なくとも何れかがノイズ点の可能性が高いと判定する。
すなわち、隣接する照射領域における測距点が示す距離は連続的になり、近接する照射領域における測距点が不連続となれば、ノイズ点である可能性が高いという特性を利用する。このような運転支援システム1によれば、より精度よくノイズ除去をすることができる。
また、上記の運転支援システム1においてレーダ制御部11は、水平方向に沿った距離の連続性である水平連続性に基づいて判定を行う。
このような運転支援システム1によれば、水平方向に沿って距離の連続性を判定することができる。
また、上記の運転支援システム1においてレーダ制御部11は、水平方向に沿って隣接する照射領域における測距点が示す距離の連続性に基づいて判定を行う。
このような運転支援システム1によれば、水平方向に隣接する測距点の距離の連続性を用いることで、より近くの点同士の連続性を判定することができる。
また、上記の運転支援システム1においてレーダ制御部11は、鉛直方向に沿った距離の連続性である垂直連続性に基づいて判定を行う。
このような運転支援システム1によれば、鉛直方向に沿って距離の連続性を判定することができる。
また、上記の運転支援システム1においてレーダ制御部11は、鉛直方向に沿って隣接する照射領域における測距点が示す距離の連続性に基づいて判定を行う。
このような運転支援システム1によれば、鉛直方向に隣接する測距点の距離の連続性を用いることで、より近くの点同士の連続性を判定することができる。
また、上記の運転支援システム1においてレーダ制御部11は、対象測距点から予め設定された基準距離内に、過去において取得された測距点が存在するか否かも判定し、基準距離内に過去において取得された対象測距点が存在しない場合に、該対象測距点がノイズ点の可能性が高いと判定する。
このような運転支援システム1によれば、突然出現した対象測距点をノイズ点とすることができる。
また、上記の運転支援システム1においてレーダ制御部11は、ノイズ点である確からしさを表す評価値を求め、評価値が閾値以上である測距点をノイズ点として除去する。
このような運転支援システム1によれば、評価値と閾値とを比較することでノイズ点を除去することができる。
また、上記の運転支援システム1においてレーダ制御部11は、複数の測距点からノイズが除去されたものを用いて物体を認識する。
このような運転支援システム1によれば、ノイズを良好に除去できるので、良好に物体を認識することができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
上述した運転支援システム1の他、当該運転支援システム1を構成要素とする制御装置、当該運転支援システム1としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、運転支援方法など、種々の形態で本発明を実現することもできる。
例えば、上記実施形態においては、時系列処理による評価処理を測距点単位で実施したが、クラスタ単位で実施してもよい。すなわち、上記の運転支援システムにおいてレーダ制御部11は、現在における対象測距点を複数集めた現在クラスタから基準距離内に、過去において取得された測距点を複数集めた過去クラスタが存在するか否かを判定し、過去クラスタが存在しない場合に、該現在クラスタがノイズ点の可能性が高いと判定するとよい。
この場合、時系列処理による評価処理の実施前にクラスタリングを行い、クラスタ単位で過去のフレームに近傍クラスタが存在するか否かを判定すればよい。このような運転支援システムによれば、クラスタ単位でノイズ点を特定することができる。
また、上記の運転支援システムにおいてレーダ制御部11は、1または複数の評価値を求め、評価値の重み付き総和が閾値以上である測距点をノイズ点として除去するようにしてもよい。この場合、例えば、図15に示す最終判断処理を実施する。
その他の実施形態における最終判断処理では、indexのようなフラグ値ではなく、基準点である光学ユニット13とそれぞれの測距点とを通過するそれぞれの直線とのなす角、水平散乱値、垂直散乱値等の演算値を評価値として用いる。すなわち、最終判断処理では、図15に示すように、評価値の重み付き総和S(i,j,k)を求める(S710)。
評価値の総和は、例えば以下の式を用いて求める。
ただし、上記式中のWANGLE、WLUX、WLUYの値は、任意の係数である。これらの係数は、各評価値の重みを決定づけるものであり、実験的に求められるべき値である。
総和S(i,j,k)が閾値δs以下であれば(S710:NO)、ノイズ点として測距点p(i,j,k)を削除し(S720)、最終判断処理を終了する。また、総和S(i,j,k)が閾値δsよりも大きければ(S710:YES)、直ちに最終判断処理を終了する。
このような最終判断処理を実施する運転支援システムによれば、複数の評価値の総和を用いてノイズ点を特定するため、より高精度な判定が可能となる。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において、レーダ制御部11が実施する物体認識処理は本発明でいうノイズ除去方法に相当する。また、上記実施形態において物体認識処理のうちのS110の処理は本発明でいう測距点取得工程および測距点取得手段に相当し、上記実施形態におけるS120〜S160の処理は本発明でいうノイズ除去手段に相当する。
また、上記実施形態におけるS120〜S140の処理は本発明でいうノイズ特定工程に相当し、上記実施形態におけるS150、S160の処理は本発明でいうノイズ除去工程に相当する。また、上記実施形態におけるS170の処理は本発明でいう物体認識手段に相当する。
1…運転支援システム、10…レーダ装置、11…レーダ制御部、12…走査駆動部、13…光学ユニット、14…発光部、15…受光部、18…CPU、19…メモリ、30…車両制御部。

Claims (11)

  1. 複数の測距点からノイズとなるノイズ点を除去するノイズ除去方法であって、
    ターゲットを検出する検出領域を予め水平方向および鉛直方向に格子状に区分した照射領域毎にレーザ光を照射し、それぞれの照射領域にて前記レーザ光の反射光を受光することによって、前記照射領域毎に得られるターゲットの座標を表す複数の測距点を取得する測距点取得工程(S110)と、
    ある基準点から、前記複数の測距点のうちの判定対象とする複数の対象測距点を見たときの前記複数の対象測距点間の角度方向の近接度合い、および前記複数の対象測距点間の距離方向の近接度合い、のうちの少なくとも何れかに基づいて、前記複数の対象測距点間の同一直線性を判定し、同一直線性の判定から該複数の対象測距点のそれぞれがノイズ点である可能性を評価する第1ノイズ評価工程S120)と、
    前記複数の対象測距点のそれぞれについて、前記対象測距点が示す距離と、前記対象測距点に近接する照射領域における複数の測距点である複数の近接測距点のそれぞれが示す距離との連続性が低いほど、前記対象測距点がノイズ点である可能性を高く評価する第2ノイズ評価工程(S130,S140)と、
    前記複数の測距点からノイズ点である可能性が評価閾値よりも高く評価されたノイズ点を除去するノイズ除去工程(S150、S160)と、
    を実施することを特徴とするノイズ除去方法。
  2. 請求項1に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記複数の対象測距点のそれぞれについて、前記対象測距点が示す距離と、前記近接測距点のそれぞれが示す距離との差分に基づいた散乱値を算出し、算出した散乱値と散乱閾値との比較によって、前記ノイズ点である可能性を評価すること
    を特徴とするノイズ除去方法。
  3. 請求項1又は請求項2に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記水平方向に沿った距離の連続性である水平連続性が低いほど前記ノイズ点である可能性を高く評価すること
    を特徴とするノイズ除去方法
  4. 請求項3に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記対象測距点が示す距離と、前記水平方向に沿って隣接する照射領域における前記近接測距点のそれぞれが示す距離との連続性が低いほど前記ノイズ点である可能性を高く評価すること
    を特徴とするノイズ除去方法。
  5. 請求項1〜請求項4の何れか1項に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記鉛直方向に沿った距離の連続性である垂直連続性が低いほど前記ノイズ点である可能性を高く評価すること
    を特徴とするノイズ除去方法。
  6. 請求項5に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記対象測距点が示す距離と、前記鉛直方向に沿って隣接する照射領域における前記近接測距点のそれぞれが示す距離との連続性が低いほど前記ノイズ点である可能性を高く評価すること
    を特徴とするノイズ除去方法。
  7. 請求項3又は4に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記対象測距点が示す距離と、前記水平方向に沿って隣接する隣接する照射領域における前記近接測距点のそれぞれが示す距離との差分に基づいた水平散乱値を算出し、算出した水平散乱値と水平散乱閾値との比較によって、前記ノイズ点である可能性を評価すること
    を特徴とするノイズ除去方法。
  8. 請求項5又は6に記載のノイズ除去方法において、
    前記第2ノイズ評価工程では、前記対象測距点が示す距離と、前記鉛直方向に沿って隣接する隣接する照射領域における前記近接測距点のそれぞれ示す距離との差分に基づいた垂直散乱値を算出し、算出した垂直散乱値と垂直散乱閾値との比較によって、前記ノイズ点である可能性を評価すること
    を特徴とするノイズ除去方法。
  9. 請求項1〜請求項8の何れか1項に記載のノイズ除去方法において、
    前記第1ノイズ評価工程では、前記複数の対象測距点のうちの一つの対象測距点と、ある基準点とを通過する直線に、他の対象測距点が接近している程度を表す同一直線性を求め、該同一直線性が所定値以上である場合に、該複数の対象測距点のうちの少なくとも何れかがノイズ点の可能性が高いと評価すること
    を特徴とするノイズ除去方法。
  10. 請求項に記載のノイズ除去方法において、
    前記第1ノイズ評価工程では、前記基準点とそれぞれの対象測距点とを通過するそれぞれの直線とのなす角を求め、該なす角が小さくなるほど前記同一直線性が高いと判定すること
    を特徴とするノイズ除去方法。
  11. ターゲットとなる物体を認識する物体認識装置であって、
    ターゲットの座標を表す複数の測距点を取得する測距点取得手段(S110)と、
    前記複数の測距点からノイズを除去するノイズ除去手段(S120〜S160)と、
    前記複数の測距点からノイズが除去されたものを用いて物体を認識する物体認識手段(S170)と、
    を備え、
    前記ノイズ除去手段は、当該物体認識装置が請求項1〜請求項10の何れか1項に記載のノイズ除去方法を実施することによってノイズを除去すること
    を特徴とする物体認識装置。
JP2015038919A 2015-02-27 2015-02-27 ノイズ除去方法および物体認識装置 Active JP6505470B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015038919A JP6505470B2 (ja) 2015-02-27 2015-02-27 ノイズ除去方法および物体認識装置
US15/055,239 US10502832B2 (en) 2015-02-27 2016-02-26 Object recognition apparatus and noise removal method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015038919A JP6505470B2 (ja) 2015-02-27 2015-02-27 ノイズ除去方法および物体認識装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019058498A Division JP6763992B2 (ja) 2019-03-26 2019-03-26 ノイズ除去方法および物体認識装置

Publications (2)

Publication Number Publication Date
JP2016161340A JP2016161340A (ja) 2016-09-05
JP6505470B2 true JP6505470B2 (ja) 2019-04-24

Family

ID=56798897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015038919A Active JP6505470B2 (ja) 2015-02-27 2015-02-27 ノイズ除去方法および物体認識装置

Country Status (2)

Country Link
US (1) US10502832B2 (ja)
JP (1) JP6505470B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124118A1 (ja) * 2017-12-18 2019-06-27 パイオニア株式会社 検出装置及び検出方法並びに検出用プログラム
WO2019163378A1 (ja) * 2018-02-23 2019-08-29 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム
CN111902737B (zh) * 2018-03-12 2022-02-22 三菱电机株式会社 雾确定装置、雾确定方法和计算机能读取的存储介质
SG11202009078TA (en) * 2018-03-16 2020-10-29 Mitsui E&S Machinery Co Ltd Obstacle sensing system and obstacle sensing method
JP7069927B2 (ja) * 2018-03-26 2022-05-18 株式会社デンソー 物体認識装置、及び物体認識方法
CN110988846B (zh) * 2019-04-22 2023-07-18 威力登激光雷达美国有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
CN111899567B (zh) * 2019-05-06 2021-12-07 江苏金海星导航科技有限公司 一种基于定位的船舶防碰撞优化方法及系统
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
JP2021043838A (ja) * 2019-09-13 2021-03-18 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN112912756A (zh) * 2019-09-17 2021-06-04 深圳市大疆创新科技有限公司 点云滤噪的方法、测距装置、系统、存储介质和移动平台
US11150348B2 (en) * 2019-10-02 2021-10-19 Cepton Technologies, Inc. Techniques for detecting cross-talk interferences in lidar imaging sensors
WO2021189347A1 (en) * 2020-03-26 2021-09-30 Baidu.Com Times Technology (Beijing) Co., Ltd. Neighbor-based point cloud filter system
JP2021156820A (ja) * 2020-03-30 2021-10-07 パイオニア株式会社 データ処理装置
JP6982669B1 (ja) * 2020-09-07 2021-12-17 日立建機株式会社 作業機械
CN115079115A (zh) * 2021-03-10 2022-09-20 上海禾赛科技有限公司 雷达、用于雷达的数据处理方法及设备、可读存储介质
US20230296739A1 (en) * 2022-03-17 2023-09-21 Stmicroelectronics (Research & Development) Limited Methods and devices for identifying peaks in histograms
CN117572383A (zh) * 2023-11-24 2024-02-20 探维科技(苏州)有限公司 一种雷达的噪点滤除方法、装置、上位机和激光雷达

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998125B2 (ja) * 1996-04-30 2000-01-11 東急車輛製造株式会社 レーザレーダによる物体大きさ判定方法、物体大きさ判定装置、距離検出方法、及び距離検出装置
JP3881779B2 (ja) 1998-06-24 2007-02-14 本田技研工業株式会社 物体検知装置
JP2002228734A (ja) * 2001-02-05 2002-08-14 Nissan Motor Co Ltd 周囲物体認識装置
JP5092076B2 (ja) * 2007-10-26 2012-12-05 オプテックス株式会社 レーザエリアセンサ
JP5556317B2 (ja) * 2010-04-07 2014-07-23 株式会社デンソー 物体認識装置
JP5267592B2 (ja) * 2010-04-09 2013-08-21 株式会社デンソー 物体認識装置
JP5464054B2 (ja) * 2010-05-27 2014-04-09 日産自動車株式会社 道路環境情報取得装置及びその方法
EP2690463B1 (en) * 2011-03-24 2019-05-08 Hokuyo Automatic Co., Ltd. Signal processing device of scanning-type distance measurement device, signal processing method, and scanning-type distance measurement device
JP5900722B2 (ja) * 2011-05-18 2016-04-06 北陽電機株式会社 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
JP5930178B2 (ja) * 2012-03-02 2016-06-08 株式会社Ihi 車両検出方法及び車両検出装置
JP6252722B2 (ja) * 2012-10-19 2017-12-27 株式会社Ihi レーザ距離測定方法及びレーザ距離測定装置
JP6252721B2 (ja) 2012-10-19 2017-12-27 株式会社Ihi レーザ監視方法及びレーザ監視装置
JP6091294B2 (ja) * 2013-04-02 2017-03-08 株式会社神戸製鋼所 列車先頭位置の検出方法及び検出装置
CN104574282B (zh) * 2013-10-22 2019-06-07 鸿富锦精密工业(深圳)有限公司 点云噪声点去除系统及方法
EP2894600B1 (en) * 2014-01-14 2018-03-14 HENSOLDT Sensors GmbH Method of processing 3D sensor data to provide terrain segmentation

Also Published As

Publication number Publication date
US20160252617A1 (en) 2016-09-01
US10502832B2 (en) 2019-12-10
JP2016161340A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
JP6505470B2 (ja) ノイズ除去方法および物体認識装置
JP6763992B2 (ja) ノイズ除去方法および物体認識装置
CN111712731B (zh) 目标检测方法、系统及可移动平台
JP5267592B2 (ja) 物体認識装置
JP5488518B2 (ja) 道路端検出装置、運転者支援装置、および道路端検出方法
JP5145986B2 (ja) 物体検出装置及び測距方法
JP3941795B2 (ja) 先行車両認識装置
JP4940458B2 (ja) 物体検出装置
JP2008172441A (ja) 検出装置および方法、並びに、プログラム
US20110260909A1 (en) Method and apparatus for recognizing presence of objects
JP2008171140A (ja) 画像処理装置および方法、並びに、プログラム
US11961306B2 (en) Object detection device
JP5968494B2 (ja) 車両検出システムおよび車両検出方法
JP2007114831A (ja) 物体検出装置
WO2022198637A1 (zh) 点云滤噪方法、系统和可移动平台
JPWO2019116641A1 (ja) 距離測定装置、距離測定装置の制御方法、および距離測定装置の制御プログラム
JP5979020B2 (ja) 物体認識装置
JP2008171141A (ja) 画像処理装置および方法、並びに、プログラム
JP6657934B2 (ja) 物体検出装置
JP6729287B2 (ja) 位置認識装置
CN112101069A (zh) 确定行驶区域信息的方法及装置
CN108885262A (zh) 用于捕捉至少一个对象的方法、传感器设备的装置、传感器设备和具有至少一个传感器设备的驾驶员辅助系统
WO2023067692A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2021021967A (ja) 認識システム、車両制御システム、認識方法、およびプログラム
WO2023152871A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190327

R150 Certificate of patent or registration of utility model

Ref document number: 6505470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250