JP5637117B2 - 距離測定装置、および距離測定プログラム - Google Patents

距離測定装置、および距離測定プログラム Download PDF

Info

Publication number
JP5637117B2
JP5637117B2 JP2011235105A JP2011235105A JP5637117B2 JP 5637117 B2 JP5637117 B2 JP 5637117B2 JP 2011235105 A JP2011235105 A JP 2011235105A JP 2011235105 A JP2011235105 A JP 2011235105A JP 5637117 B2 JP5637117 B2 JP 5637117B2
Authority
JP
Japan
Prior art keywords
distance
luminance
light
brightness
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011235105A
Other languages
English (en)
Other versions
JP2013092459A (ja
Inventor
鈴木 康弘
康弘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011235105A priority Critical patent/JP5637117B2/ja
Publication of JP2013092459A publication Critical patent/JP2013092459A/ja
Application granted granted Critical
Publication of JP5637117B2 publication Critical patent/JP5637117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、レーザ光を反射した物体までの距離を測定する距離測定装置、および距離測定プログラムに関する。
一般的な距離検出装置として、レーザ光を照射し、この反射波を受信することによって物体までの距離を測定するものが知られている(例えば特許文献1参照)。
特許第3608482号公報
しかしながら、上記のレーザ光の反射波を受信する方式の距離検出装置では、輝度の高い領域での反射波を検出できないという問題点があった。なお、このように反射波を検出できなくなるのは、輝度の高い領域ではレーザ光の反射波の光量と外光の光量との差が少なくなり、外光の中に反射光が埋もれてしまうからである。特に、他車両のライトから発せられる光が明るい場合、他車両を検出できない可能性が高い。
上記のような問題点を鑑み、物体までの距離を測定する距離測定装置において、物体までの距離を精度よく検出できるようにすることを本発明の目的とする。
なお、本明細書(特許請求の範囲、図面を含む)において、「輝度」とは、距離を検出するために照射される電磁波の成分を含まない明るさ(検出される外光のうちの照射される電磁波の反射波成分を含まないものの明るさ)を示すものとする。
かかる目的を達成するために成された請求項1に記載の距離測定装置において 反射距離演算手段は、受光手段による出力のうちの受光手段がレーザ光の反射光を受光しているときに相当する出力に基づいてレーザ光を反射した物体までの距離を演算し、輝度演算手段は、受光手段による出力のうちの受光手段がレーザ光の反射光を受光していないときに相当する出力に基づいて輝度を演算する。なお、受光手段による出力とは、受光手段(例えばフォトトランジスタやフォトダイオード等の受光素子)から得られる光量を示す信号や電圧等を示す。
そして、高輝度領域抽出手段は、区分された領域毎に、輝度演算手段によって演算された輝度を表す演算輝度と、反射光の検出が困難になる程度の輝度に設定された輝度閾値とを比較し、演算輝度が輝度閾値以上となる高輝度領域を抽出する。さらに、高輝度領域距離演算手段は、照射領域において水平方向に並ぶ一対の高輝度領域を検出し、一対の高輝度領域の間隔に基づいて一対の高輝度領域を形成する物体を表す高輝度物体までの距離を演算する。このとき、高輝度領域距離演算手段は、高輝度領域抽出手段が抽出した複数の高輝度領域のうちから水平方向に並んでいるものを一対の高輝度領域として検出すればよい。
このような距離測定装置によれば、物体までの距離だけでなく、受光手段が受光することができる領域における輝度についても、距離測定装置の構成(ハードウェア)を利用して検出することができる。よって、簡素な構成で距離と輝度とを検出することができる。
また、このような距離測定装置によれば、受光手段が複数の方向から得られるレーザ光の反射光を方向毎に検出することができるので、物体が存在する方向を特定することができる。また、物体等の輝度を方向毎に検出することができる。
さらに、このような距離測定装置によれば、輝度が高く、レーザ光の反射光が検出できない可能性がある高輝度領域においても、物体までの距離を検出することができるので、物体が他車両である場合に、他車両を検出する確度を向上させることができる。なお、高輝度領域距離演算手段が高輝度物体までの距離を演算する際には、一対の高輝度領域の間隔(位置の差分)を予め設定された車両に搭載された一対のライト間の距離とみなし、前記一対の高輝度領域の間隔に基づいて高輝度物体までの距離を演算すればよい。
また、上記の距離測定装置においては、高輝度領域に近接する領域のうちの反射距離演算手段によって距離が演算できた領域における物体を表す近接物体までの距離と、高輝度物体までの距離とを比較し、これらの距離の差が同一の物体とみなせる程度の許容誤差範囲内である場合に、近接物体までの距離を、高輝度領域における物体の距離として補正する距離補正手段を備えている。
すなわち、本発明では、反射距離演算手段による距離の検出精度が、高輝度領域距離演算手段による距離の検出精度よりもよいことを鑑みて、高輝度物体までの距離を、反射距離演算手段を利用して検出できるようにしている。より詳細には、一対の高輝度領域が車両のヘッドライトの場合のように、高輝度物体に近接する車両を構成する部材、例えば、車両におけるヘッドライト間の部材(バンパ、ナンバプレート等)や、ヘッドライト周囲の部材(ボンネットや屋根等)等、までの距離が測定できる場合があるため、車両を構成する部材までの距離が測定できた場合には、この距離を高輝度物体までの距離とする。
このような距離測定装置によれば、高輝度物体までの距離をより精度よく測定することができる。
ところで、上記距離測定装置においては、請求項2に記載のように、反射距離演算手段は、射出手段がレーザ光を射出する時間間隔を複数の時間範囲に区分したときの所定の時間範囲において検出された受光手段による出力を利用して物体までの距離を演算し、輝度演算手段は、複数の時間範囲のうちの所定の時間範囲を除く他の時間範囲において検出された受光手段による出力を利用して輝度を演算するようにしてもよい。
このような距離測定装置によれば、時分割で距離を演算する処理と輝度を演算する処理とを分離するので、1組のハードウェア構成でこれらの複数の処理を行うことができる。また、受光手段からの出力を距離演算用の信号と輝度演算用の信号とに分離するための構成を不要とすることができる。よって距離測定装置の構成を簡素化することができる。
なお、本発明においては、反射距離演算手段および輝度演算手段の作動順序は不問である。つまり、先に輝度演算手段を機能させ、後で反射距離演算手段を機能させてもよい。
また、上記距離測定装置においては、請求項3に記載のように、輝度演算手段は、反射距離演算手段が物体までの距離を演算するための時間範囲後に設定された時間範囲内において、輝度を演算するようにしてもよい。
このような距離測定装置によれば、輝度を演算する時間範囲内においてレーザ光の反射光を受光しにくくすることができる。よって、レーザ光の反射光の影響を受けない正確な外光量(輝度)を演算することができる。
さらに、上記距離測定装置においては、請求項4に記載のように、受光手段からの出力電流そのもの(出力電流に基づく電圧を含む)の大きさに応じて輝度を演算してもよいが、受光手段は、輝度演算手段は、受光手段による出力の変動幅を検出することによって、輝度を演算するようにしてもよい。なお、本発明でいう「出力の変動幅」には、出力電流の変動幅に基づく電圧を含む。
このような距離測定装置によれば、受光手段からの出力電流そのものでないパラメータを利用して輝度を演算することができる
えて、上記の距離測定装置においては、請求項5に記載のように、高輝度領域距離演算手段は、照射領域において水平方向に並ぶ一対の高輝度領域を検出し、一対の高輝度領域の間隔をセダンタイプの車両に搭載された一対のライト間の距離とみなし、高輝度物体までの距離を演算するようにしてもよい。
本発明においては、車高が高い車両であれば、車両のライト以外の部位が近接物体として検出され易いので、請求項1に記載のように近接物体までの距離を高輝度領域の距離として採用することができるが、セダンタイプの車両は車高が低く、車両のライト以外の部位が近接物体として検出されない場合が多いと考えられるので、車両のライト以外の部位が近接物体として検出されない場合に、セダンタイプの車両であるものとして距離を測定する。
このような距離検出装置によれば、高輝度物体が車両のライトである場合に、車両までの距離を良好に検出することができる。
また、上記距離測定装置においては、請求項6に記載のように、日照の有無を検出する日照検出手段、を備え、高輝度領域距離演算手段は、日照がない場合に、一対の高輝度物体を検出し、この高輝度物体までの距離を演算するようにしてもよい。
このような距離測定装置によれば、ヘッドライトを点灯させる環境において、ヘッドライトを点灯させる対向車までの距離を良好に検出することができる。なお、高輝度領域距離演算手段は、日照がない場合のみに、一対の高輝度物体を検出し、この高輝度物体までの距離を演算するようにしてもよい。この場合、日照がある場合に高輝度物体までの距離を演算することがないので、処理負荷を軽減することができる。
また、上記目的を達成するためには、上記距離測定装置としての構成を、請求項7に記載のように距離測定プログラムとして構成してもよい。このようにしても、上記距離測定装置と同様の効果を享受することができる。
運転支援システム1の概略構成を示す説明図である。 実施形態において、レーザ光を照射する領域を示す模式図である。 レーダ処理を示すフローチャート(a)、および測距/輝度検出処理を示すフローチャート(b)である。 実施形態において、受光部15による検出レベルを時間との関係で示すグラフである。 受光部15により得られる出力を示す説明図である。 時分割により距離および輝度を演算する旨を示す説明図である。 測距性能診断処理を示すフローチャートである。 測距不能時処理を示すフローチャート(a)、および方位に対する輝度の検出結果の一例を示すグラフ(b)である。 自車両および高輝度領域を模式的に示す鳥瞰図(a)、およびペアとなる高輝度領域までの距離を算出する際の理論式を示す説明図(b)である。 ペアとなる高輝度領域間の検出角度差(方位数)と高輝度領域までの距離との関係の一例を示すグラフである。 対向車距離算出処理Bを示すフローチャートである。 自車両および高輝度領域を模式的に示す鳥瞰図(a)、および高輝度領域周辺の拡大図(b)である。 熱雑音を考慮する場合の受光部15により得られる出力を示す説明図である。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は本実施形態の運転支援システム1の概略構成を示す説明図、図2はレーザ光を照射する領域を示す模式図である。運転支援システム1は、例えば乗用車等の車両に搭載されており、図1に示すように、レーダ装置10(距離測定装置)と、車両制御部30と、日照検出部35と、を備えている。
レーダ装置10は、レーダ制御部11と、走査駆動部12と、光学ユニット13(光学装置)とを備えている。
レーダ制御部11は、CPU,ROM,RAM等からなる周知のマイクロコンピュータとして構成されており、ROM等に記憶されたプログラムに従って、後述するレーダ処理等の各種処理を実施する。なお、レーダ制御部11は、回路などによるハードウェアで構成してもよい。
走査駆動部12は、例えばモータ等のアクチュエータとして構成されており、レーダ制御部11からの指令を受けて、光学ユニット13を水平方向および鉛直方向の任意の方向に向けることができるよう構成されている。なお、走査駆動部12は、レーダ制御部11からの走査開始信号を受ける度に1周期分の走査ができるように光学ユニット13を駆動する(図4参照)。
光学ユニット13は、レーダ制御部11からの指令に応じてレーザ光を射出する発光部14(射出手段)と、発光部14からのレーザ光(図1では実線の矢印で示す)が物体50に反射したときの反射波(図1では破線の矢印で示す)を受光する受光部15(受光手段)と、を備えている。さらに受光部15は、上記反射波を受光するのみならず、走査方向に存在する物体が発する光を受光し、電気信号に変換する機能をも備えている。
なお、走査駆動部12は、結果として発光部14によるレーザ光の射出方向が受光部15により反射光を受光可能な方向と同じ方向となるよう変化させられる構成であればよい。例えば、走査駆動部12は、光学ユニット13に換えて、光学ユニット13に備えられたレーザ光および反射光を任意の方向に反射させるミラーを駆動するよう構成されていてもよい。
この場合には、複数の反射面を有するミラーを走査駆動部12で回転させることによって水平方向にレーザ光を走査し、反射面の角度をそれぞれ異なる角度に設定することによって、鉛直方向にもレーザ光を振りつつ走査する構成を採用すればよい。また、1つの反射面を有するミラーを任意の方向に向ける機構を採用してもよい。
また、走査駆動部12は、受光部15のみの方向を変化させる構成でもよい。この場合、発光部14は、発光部14の方向を変化させることなく、受光部15が走査される領域の一部または全体にレーザ光を照射可能な構成にされていてもよい。
上述のようにレーダ装置10は、自車両周囲の任意の方向(本実施形態では自車両の進行方向である前方)の所定領域に対して、走査しつつ間欠的に電磁波であるレーザ光を照射し、その反射波(反射光)をそれぞれ受信することによって、自車両前方の物標を各検出点として検出するレーザレーダとして構成されている。さらにレーダ装置10は上記反射波を受信するのみならず、走査方向に存在する物体が発する光を受信することによって、自車両前方の輝度分布情報を検出するレーザレーダとして構成されている。
ここで、本実施形態のレーダ装置10においてレーダ制御部11は、前述のように走査駆動部12を利用して、光学ユニット13から照射されるレーザ光を所定の領域内において走査させるが、詳細には図2に示すように、この領域の左上隅から右上隅に水平方向右側にレーザ光を照射させる範囲を変化させつつ間欠的に等間隔(等角度)でレーザ光を照射させ、レーザ光が右上隅に到達すると、左上隅よりも所定角度だけ下方の領域から水平方向右側にレーザ光を照射させる範囲を変化させつつ再びレーザ光を照射させる。
この作動を繰り返すことによってレーダ装置10は、所定領域の全域に順次レーザ光を照射させることになる。そしてレーダ装置10は、反射波を検出したタイミングとレーザ光を照射した方向とに基づいて、レーザ光を照射する度に物標(検出点)の位置を検出する。同時にレーダ装置10は、所定領域における輝度の分布や変化を検出する事ができ、ひいては、先行車のブレーキランプ点灯、ウインカ点滅などの状態、あるいは対向車のヘッドライト点灯などの状態を検出する事ができる。
なお、レーダ装置10が向けられた方向については、レーザ光を照射する全領域をレーザ光が照射される領域毎にマトリクス状に区切り、各領域に番号を付すことによって特定できるようにしておく。例えば、図2に示すように、水平方向については左から順に番号を付し、この番号を方位番号と呼ぶ。また、鉛直方向については上から順に番号を付し、この番号をレイヤ番号と呼ぶ。
次に、車両制御部30においては、CPU,ROM,RAM等からなる周知のマイクロコンピュータとして構成されており、ROM等に記憶されたプログラムに従って、自車両の挙動を制御する処理や、運転者に対する報知を行う等の各種処理を実施する。例えば、車両制御部30は、自車両の挙動を変更するような(或いは挙動の変更を促すような)運転支援を行う旨の指令をレーダ装置10から受けると、この指令に応じた制御信号を表示装置、音声出力装置、制動装置、操舵装置等の何れかに出力するようにすればよい。
日照検出部35は、周知の照度センサやカーナビゲーション等に記録された日の出および日の入のデータベース等として構成されており、レーダ制御部11に対して現在における日照の有無(または日照がある可能性がある時刻である旨)をレーダ制御部11に対して送る。
[本実施形態の処理]
このような運転支援システム1では、例えば、以下の処理が実施される。図3(a)はレーダ装置10のレーダ制御部11が実行するレーダ処理を示すフローチャート、図3(b)はレーダ処理のうちの測距/輝度検出処理を示すフローチャートである。また、図8(a)は測距性能診断処理を示すフローチャートである。ここでいう輝度検出処理とは、主に先行車が発する光を検出する処理を表す。以下、これに従う。
レーダ処理は、例えばレーダ装置10の電源が投入されると開始され、その後、所定の周期(例えば100ms毎)で実施される処理である。詳細には、図3(a)に示すように、まず、物体までの距離および輝度を検出する方向(方位番号およびレイヤ番号)を設定し(S110)、設定した方向にレーザ光の照射方向が向けられたときに発光部14からレーザ光を射出させる(S120)。
そして、後述する測距/輝度検出処理(S130)、および測距性能診断処理(S140)を順に実施し、走査を終了するか否かを判定する(S150)。走査を終了するか否かについては、距離または輝度を検出する最終の方位番号かつレイヤ番号を有する方向(例えば、方位番号およびレイヤ番号が最大値を採る方向)に受光部15(発光部14)が向けられたか否かによって判定する。
走査を終了しない場合には(S150:NO)、S110以下の処理を繰り返す。また、走査を終了する場合には(S150:YES)、後述する測距不能時処理を実施し(S160)、レーダ処理を終了する。
次に、測距/輝度検出処理では、図3(b)に示すように、受光部15によりレーザ光の反射光が検出できたか否かを判定する(S210)。なお、受光部15により反射光を検出する構成については後述する。
反射光が検出できていれば(S210:YES)、反射光に応じてレーザ光を反射した物体までの距離を演算する距離算出処理を実施する(S220:反射距離演算手段)。そして、輝度算出処理を実施し(S230:輝度演算手段)、測距/輝度検出処理を終了する。
また、反射光が検出できていなければ(S210:NO)、距離算出処理を実施することなく、輝度算出処理を実施し(S230)、測距/輝度検出処理を終了する。
ここで、距離算出処理や輝度算出処理等において、受光部15が検出した反射光から物体までの距離および輝度を検出する仕組みについて、図4〜図6を用いて説明する。図4は受光部15による検出レベルを時間との関係で示すグラフ、図5は受光部15により得られる出力を示す説明図である。また、図6は時分割により距離および輝度を演算する旨を示す説明図である。
図4に示す例では、レイヤ番号の最大値が3、方位番号の最大値がNの場合において、レイヤ2における受光部15からの出力を示している。図4に示すように、レーダ制御部11は、方位が変更される毎に発光部14にレーザ光を照射させ、受光部15に反射光を受光させて検出レベルに応じた波形を得る。
ここで、受光部15は、図5(a)、図5(b)に示すように、電源に接続されたフォトダイオード21がグランドに接続された抵抗22と直列に接続され、フォトダイオード21と抵抗22とを接続する端子の電位を検出可能な構成とされている。この構成では、フォトダイオード21から電流値が出力されるが、この電流値を抵抗22によって電圧値に変換している。
なお、受光部15は、フォトダイオード21に換えて、フォトトランジスタや光電子倍増管等の、光量に応じて電気的な物理量を出力する光電変換手段を採用してもよい。また、抵抗22に換えて、トランスインピーダンスアンプ等の、電流に応じた電圧を出力する電流電圧変換手段を採用してもよい。
ここで、受光部15は、図5(a)、図5(b)に示すように、常時、外光(背景光)Lbの光量に応じて電圧Vdcを出力しており、レーザ光の反射光Lpを受けると、図5(a)に示すように、外光Lbに応じた電圧Vdcに、反射光Lpの光量に応じた電圧Vpが加算された出力が、レーザ光の照射時間に応じた時間だけ出力される。この外光Lbが、受光部15の走査方向に応じて変化し、従ってVdcが変化する。
上述の距離算出処理では、受光部15によりレーザ光の反射光Lpに応じた電圧Vpが検出されたことを認識し、発光部14がレーザ光を射出してから電圧Vpが検出されるまでの時間に基づいて距離を演算する。
また、距離算出処理においては、外光Lbに応じた電圧Vdcを基準として所定の閾値以上の電圧差が検出できたときに、レーザ光の反射光Lpに応じた電圧Vpが検出されたものとして処理を行う。なお、外光Lbに応じた電圧Vdcは、ある時間範囲における受光部15からの出力の平均値から得ることができる。
ここで、受光部15は、受光する外光Lbの光量に比例した電圧Vdcが発生するだけでなく、外光Lbの光量に比例してIdcが増加する事により、図5(c)に示す式によりVs(ショット雑音)も増加する性質を持つ。
そこで、輝度算出処理においては、この出力の変動幅Vsを検出することによって、輝度を演算する。なお、ショット雑音は図5(c)に示す式によって求めることができる。
また、本実施形態においては、発光部14がレーザ光を射出する時間間隔を複数(本実施形態では2つ)の時間範囲に区分したときの最初の時間範囲において検出された受光部15による検出結果を利用して物体までの距離を演算し、複数の時間範囲のうちの最初の時間範囲を除く他の時間範囲において検出された受光部15による検出結果を利用して輝度を演算する。
この時間範囲の区分における最初の時間範囲は、例えば、レーザ光を射出してからレーザ光が前方物体から反射されて戻ってくるまでの時間範囲を下記式によって求めればよい。
時間範囲=検出対象になる距離の最大値×2/光の速度
例えば、検出対象となる距離の最大値を、遠方から反射を受けてしまうことを考慮して、300mとすると、
となる。なお、上記の300mという数値は、この距離以上の距離に存在する物体からは反射波が検出されないことが実験的に確認できた距離を示す。
上記よりレーザ光を射出してからレーザ光が前方物体から反射されて戻ってくるまでの時間範囲としては、2μ秒を設定すればよい。この程度の時間範囲であれば、対象物が移動中であっても移動距離が僅かであるため全く支障がないといえる。
つまり、図6に示す例では、レーザ光が射出された直後の時間範囲を測距期間としており、測距期間終了後、次にレーザ光が射出されるまでの時間範囲を輝度検出期間としている。
次に、測距性能診断処理について説明する。測距性能診断処理は、走査方向の輝度が余りにも高くなると、受光部15による出力が飽和するか、あるいはショット雑音が増大することによって、レーザ光の反射光Lpの強度によっては、レーザ光の反射光Lpに応じた電圧Vpが検出できなくなる可能性があることを考慮して、自車両が物体の距離を正確に出力することができるか否かを自己診断するための処理である。なお、測距性能診断処理は、本発明でいう検出可能距離判定手段に相当する。
詳細には、図7に示すように、まず、輝度算出処理にて算出された輝度(ショット雑音)が所定の距離(例えば100m)で反射されたレーザ光の反射光を検出することができる輝度に対応する閾値Aを超えたか否かを判定する(S310:高輝度領域抽出手段)。なお、閾値Aについては反射光の検出が困難になる程度の輝度に設定されるが、具体的な値は予め実測を行うことによって設定する。
輝度が閾値Aを超えていなければ(S310:NO)、良好に所定の距離までの距離算出処理が実施できることを示す検出可能信号を出力し(S320)、測距性能診断処理を終了する。また、輝度が閾値Aを超えていれば(S310:YES)、所定の距離までの距離算出処理が実施できない可能性があることを示す検出困難信号を出力し(S330)、測距性能診断処理を終了する。
次に、測距不能時処理(高輝度領域距離演算手段)について図8(a)に示すフローチャートを用いて説明する。測距不能時処理は、レイヤ毎に実施され、図4に示す方位5や方位N−2のように輝度が非常に大きく、輝度が閾値Aを超える領域である高輝度領域のペアを検出し、このペアが対向車のヘッドライトであるものとしてこの対向車までの距離を求める処理である。
測距不能時処理では、まず、連続する検出不能方位と輝度情報とから重心を算出する(S510)。ここで、検出不能方位とは、検出困難信号が出力された方位(高輝度領域の方位)を示し、この処理では、連続する検出不能方位の輝度を積分したときの図形(面積)の重心となる方位を算出する。
例えば図8(b)に示すような方位に対する輝度の検出結果が得られた場合には、閾値A(図8(b)中の破線)以上の輝度となる連続する高輝度領域のグループが2つ検出される。そして、それぞれのグループの重心が存在する方位がa方位およびb方位として設定される。なお、本実施形態ではグループの重心の位置を連続する高輝度領域の方向としているが、連続する高輝度領域の両端となる方位の中央となる方位等、任意の方向を高輝度領域の方向としてもよい。
続いて、高輝度領域のペアがあるか否かを判定する(S520)。この処理では、連続する高輝度領域の集合を1つの高輝度領域としたときに、複数の高輝度領域が存在するか否かを判定する。そして、複数の高輝度領域のうちの隣接するもの同士をペアし、このペアが存在するか否かを判定する。
ペアが存在しなければ(S520:NO)、測距不能時処理を終了する。また、ペアが存在すれば(S520:YES)、ペアとなる高輝度領域の間など、ペアとなる高輝度領域に近接する領域(隣接する方位およびレイヤ、およびペア間の方位)に物体までの距離が検出された点(測距点)があるか否かを判定する(S530)。
ペアとなる高輝度領域に近接する領域に測距点がなければ(S530:NO)、対向車距離算出処理Aを実施し(S540)、測距不能時処理を終了する。ここで、対向車距離算出処理Aについては図9および図10を用いて説明する。
図9(a)は自車両および高輝度領域を模式的に示す鳥瞰図、図9(b)はペアとなる高輝度領域までの距離を算出する際の理論式を示す説明図、図10はペアとなる高輝度領域間の検出角度差(方位数)と高輝度領域までの距離との関係の一例を示すグラフである。
図8(b)で示したa方位およびb方位が高輝度領域の方位となる場合において、高輝度領域が対向車である場合には、自車両と対向車との位置関係は図9(a)に示すような位置関係となる。すなわち、所定のライト間隔(例えばセダンタイプの乗用車において多く採用されているライト間隔である1.2m)を有する車両のライトがa方位およびb方位にそれぞれ存在している。
ここで、ライトの間隔が既知であるとすると、図9(b)に示すような位置関係を利用して周知の三角関数に基づいて、対向車までの距離および対向車の位置を検出することができる。なお、本実施形態においては、図10に示すように、ペアとなる高輝度領域の方位の差が入力されると、方位の差に対応する対向車までの距離が出力されるマップを準備しておき、このマップを用いて対向車までの距離を得る。
次に、S530の処理にて、ペアとなる高輝度領域に近接する領域に測距点があれば(S530:YES)、対向車距離算出処理Bを実施する。対向車距離算出処理Bは、対向車距離算出処理Aによる測距精度を向上させたものである。
詳細には、図11に示すような処理を実施する。図11は対向車距離算出処理B(距離補正手段)を示すフローチャートである。
対向車距離算出処理Bでは、まず、前述の対向車距離算出処理Aを実施する(S610)。続いて、ペアとなる高輝度領域に近接する領域の測距点(方位が近接する領域およびレイヤが近接する領域)で検出された距離を表す反射距離を抽出する(S620)。
そして、対向車距離と各反射距離とを比較し(S630)、対向車距離と各反射距離との差が閾値B以内のものがあるか否かを判定する(S640)。ここで、閾値Bは、対向車距離で得られる物体と反射距離で得られる物体が同一であるか否かを識別するための閾値であり、例えば、1車長分の距離(5m程度)や、対向車距離の1割程度の値に設定される。
対向車距離と各反射距離との差が閾値B以内のものがあれば(S640:YES)、高輝度領域における物体(測距困難な領域)までの距離を、対向車距離と各反射距離との差が閾値B以内となる反射距離に補正し(S650)、対向車距離算出処理Bを終了する。また、対向車距離と各反射距離との差が閾値B以内のものがなければ(S640:NO)、高輝度領域における物体(測距困難な領域)までの距離を対向車距離に設定し(S660)、対向車距離算出処理を終了する。
このような対向車距離算出処理Bが終了すると、測距不能時処理を終了する。このような対向車距離算出処理Bでは、図12(a)に示すように、一対の高輝度領域がa方位およびb方位に現れた場合、例えば、図12(b)に示すように、この一対の高輝度領域の間等、近接する領域においてレーザ光の反射波によって測距点が得られれば、この測距点に一対の高輝度領域を含む領域全体を、対向車を示す領域として特定することができる。よって、対向車距離算出処理Bは、対向車の大きさについても良好に検出するためにも有効である。
[本実施形態による効果]
以上のように詳述した運転支援システム1において、レーダ装置10は、レーザ光を射出する発光部14と、発光部14からのレーザ光が物体に反射されることにより得られる反射光を受光し、この光量に応じた出力をする受光部15と、を備えている。そして、レーダ装置10のレーダ制御部11は、レーダ処理にて、受光部15による出力に基づいてレーザ光を反射した物体までの距離を演算し、また、受光部15による出力に基づいて輝度を演算する。
このようなレーダ装置10によれば、物体までの距離だけでなく、受光部15が受光することができる領域における輝度についても、レーダ装置10の構成(ハードウェア)を利用して検出することができる。よって、簡素な構成で距離と輝度とを検出することができる。また、距離情報および輝度情報が同一車両に由来するものか否かを判定するための処理を必要とすることなく、他車両の挙動を検出するために他車両の位置等を特定することができる。
また、レーダ装置10では、方位毎に、その方向に存在する物体の距離と輝度とを一連の処理で得る事ができる(S110〜S130)ので、得られる距離と輝度の情報は、同一の方向の情報であり、ほぼ同時刻の情報となる。
したがって、このようなレーダ装置10によれば、従来のレーダ装置と同様な前方車両の方位、距離の情報が得られるだけでなく、この前方車両のブレーキランプやウインカ等の点灯の有無の情報も概ね同時に得る事ができる。
また、この構成では、方位、距離、輝度の情報が組み合わされた形で得られるので、前方に車両が複数存在していた場合でも、距離情報と輝度情報とを異なるハードウェアから得る場合に必要であった、例えば、「カメラによって検出されたランプの点灯や点滅の情報と、レーダによって検出された前方物体の方位・距離情報とを、カメラの座標系とレーダの座標系との間を対応付け、同一車両を由来とするもの同士で組み合わせる処理」を用いることなく、車両毎の情報として、方位、距離、輝度を得る事ができるのである。
さらに、距離情報と輝度情報とを異なるハードウェアから得る構成では、一般には、距離情報を得る時刻と輝度情報を得る時刻との間には比較的大きい時間差が生じるため、前方の車両の方位が変動しているような場合に、「カメラによって検出されたランプの点灯や点滅の情報と、レーダによって検出された前方物体の方位・距離情報とを同一車両を由来とするもの同士で組み合わせる処理」が複雑となるのに対し、上記レーダ装置10では、得られる距離と輝度の情報は、数μs程度の時間差内の、ほぼ同時刻の情報であるので、前方の車両の方位の変動の影響を受けることなく、車両毎の情報として、方位、距離、輝度を得る事ができる。
さらに、レーダ装置10のレーダ制御部11は、区分された領域毎に、演算された輝度を表す演算輝度と、反射光の検出が困難になる程度の輝度に設定された輝度閾値とを比較し、演算輝度が輝度閾値以上となる高輝度領域を抽出し、レーザ光の照射領域において水平方向に並ぶ一対の高輝度領域を検出し、一対の高輝度領域の間隔に基づいて一対の高輝度領域を形成する物体を表す高輝度物体までの距離を演算する。
このようなレーダ装置10によれば、輝度が高く、レーザ光の反射光が検出できない可能性がある高輝度領域においても、物体までの距離を検出することができるので、高輝度領域における物体(他車両)までの距離を検出する確度を向上させることができる。
また、上記レーダ装置10においては、受光部15による出力のうちの受光部15がレーザ光の反射光を受光していないときに相当する出力に基づいて輝度を演算するよう構成されている。
したがって、このようなレーダ装置10によれば、レーザ光の反射光の影響を受けない正確な外光量(輝度)を演算することができる。よって、車両のテールランプやヘッドランプ等、自ら発光する光の明るさを正確に検出することができる。
また、レーダ装置10において受光部15は、射出手段によりレーザ光が照射される領域を複数に区分したときにおいて該区分された領域毎に光量を検出する。また、レーダ制御部11は走査駆動部12を利用して、発光部14によるレーザ光を走査させるとともに、受光部15による反射光を受光可能な方向がレーザ光の射出方向と同じ方向となるよう走査する。
このようなレーダ装置10によれば、受光部15が複数の方向から得られるレーザ光の反射光を方向毎に検出することができるので、物体が存在する方向を特定することができる。また、物体等の輝度を方向毎に検出することができる。
また、レーダ装置10のレーダ制御部11は、物体までの距離を演算するための時間範囲後に設定された時間範囲内において、輝度を演算する。
このようなレーダ装置10によれば、輝度を演算する時間範囲内においてレーザ光の反射光を受光しにくくすることができる。よって、レーザ光の反射光の影響を受けない正確な外光量(輝度)を演算することができる。
また、レーダ装置10において、レーダ制御部11は、発光部14がレーザ光を射出する時間間隔を複数の時間範囲に区分したときの最初の時間範囲において検出された受光部15による検出結果を利用して物体までの距離を演算し、複数の時間範囲のうちの最初の時間範囲を除く他の時間範囲において検出された受光部15による検出結果を利用して輝度を演算する。
このようなレーダ装置10によれば、時分割で距離を演算する処理と輝度を演算する処理とを分離するので、1組のハードウェア構成でこれらの複数の処理を行うことができる。また、受光部15からの出力を距離演算用の信号と輝度演算用の信号とに分離するための構成を不要とすることができる。よってレーダ装置10の構成を簡素化することができる。
さらに、レーダ装置10においては、受光部15は、受光する光量が増加するにつれて出力電流の変動幅が増加するよう構成されており、レーダ制御部11はレーダ処理にて、出力電流の変動幅を検出することによって、輝度を演算する。
このようなレーダ装置10によれば、受光部15からの出力電流そのものでないパラメータを利用して輝度を演算することができる。
また、上記レーダ装置10においては、レーダ制御部11は距離性能診断処理にて、レーダ処理で検出された輝度の大きさと予め設定された数値と比較することによって、レーダ処理で検出可能な距離を判定する。
このようなレーダ装置10によれば、自身による距離を検出する能力を自己診断することができる。
また、上記のレーダ装置10においてレーダ制御部11は、高輝度領域に近接する領域のうちのによって距離が演算できた領域における物体を表す近接物体までの距離と、高輝度物体までの距離とを比較し、これらの距離の差が同一の物体とみなせる程度の許容誤差範囲内である場合に、近接物体までの距離を、高輝度領域における物体の距離として補正する。より詳細には、一対の高輝度領域が車両のヘッドライトの場合のように、車両におけるヘッドライト間の部材(バンパ、ナンバプレート等)や、ヘッドライト周囲の部材(ボンネットや屋根等)等の車両を構成する部材までの距離が測定できる場合があるため、車両を構成する部材までの距離が測定できた場合には、この距離を高輝度物体までの距離とする。
このようなレーダ装置10によれば、高輝度物体までの距離をより精度よく測定することができる。
加えて、上記のレーダ装置10においてレーダ制御部11は、照射領域において水平方向に並ぶ一対の高輝度領域を検出し、一対の高輝度領域の間隔をセダンタイプの車両に搭載された一対のライト間の距離とみなし、高輝度物体までの距離を演算する。
このようにするのは、車高が高い車両であれば、車両のライト以外の部位が近接物体として検出され易いので、近接物体までの距離を高輝度領域の距離として採用することができるが、セダンタイプの車両は車高が低く、車両のライト以外の部位が近接物体として検出されない場合が多く、車両のライト以外の部位が近接物体として検出されない場合に、セダンタイプの車両である可能性が高いと考えられるからである。
このようなレーダ装置10によれば、高輝度物体が車両のライトである場合に、車両までの距離を良好に検出することができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、上記実施形態においては、図6に示すように、発光部14による発光と同時に測距期間を開始したが、極めて近距離(例えば5m以内)の反射光を除外するように測距期間を設定してもよい。つまり、発光部14による発光から次の発光までの時間範囲を複数に分割したときにおいて、初めの時間範囲を測距期間としないようにしてもよい。
また、図6に示す例では、設定した1つの方位の中で、「レーザ光を射出」、「距離算出処理」、「輝度算出処理」を順次行って、次の方位の処理に移っているが、これに換えて、設定した1つの方位の中で「輝度算出処理」、「レーザ光を射出」、「距離算出処理」を順次行って、次の方位の処理に移ってもよい。
この場合でも、「レーザ光を射出」、「距離算出処理」、「輝度算出処理」、「レーザ光を射出」、「距離算出処理」・・・の繰り返しとなり、それぞれの処理の前後関係はこれまでの説明と同一であり、時間範囲の設定の考え方も同様である。
また、上記実施形態においては、一般的な条件で輝度を検出する場合(熱雑音に比べてショット雑音が支配的である場合)について述べたが、検出しようとするランプが暗い場合等、ショット雑音が支配的でなく、熱雑音を無視できないような状況においては、図5に示した処理方法に換えて、下記のような処理方法を採用するとよい。ここで、図13は熱雑音を考慮する場合の受光部15により得られる出力を示す説明図である。
熱雑音成分Vthが無視できない場合には、受光部15の出力に、抵抗Rの熱雑音成分Vthが顕著に現れ、出力の変動幅は、二つのランダム信号の合成値として、
となって現れる(図13(a)(b)等参照)。
したがって、輝度、すなわち外光Lbの光量は、電圧Vdcから求める事ができる(図13(a)(b)参照)。また、別方法として、出力の変動幅と、外光Lbが無い場合の出力変動幅およびVthとから、
によりVsを得て、ここから図13(c)に示す式から得られるIdcから求める事もできる。
また、ここで、図13(c)に示す式により、
であるので、Vsを輝度の大小を現す数値として用いてもよい。なお、図13の回路図では、ショット雑音電流と熱雑音電流の図示は省略されている。
次に、上記実施形態のS310の処理では、固定値として設定された閾値と輝度とを比較したが、異なる距離に対応する複数の閾値等を設けておき、物体までの距離毎に閾値を使い分けてもよい。
例えばこの場合、100m前方の車両などの反射信号の電圧Vpを予め実測しておき、走査方向の輝度による出力変動幅Vsが電圧Vpの半分となる場合の輝度を閾値Aとし、同様に、50m前方の車両などの反射信号の電圧Vp’を予め実測しておき、走査方向の輝度による出力変動幅Vsが電圧Vp’の半分となる場合の輝度を閾値Cとして設定すればよい。一般に反射物体の距離が近いほど電圧Vpが大きくなるため、この場合は、閾値A<閾値Cとなる。
また、上記レーダ装置においては、日照の有無に関係なく、一対の高輝度物体を検出し、この高輝度物体までの距離を演算するようにしたが、日照検出部35から日照の有無を取得し、この情報に基づいて、日照がない場合(つまり他車両がヘッドライトを点灯させる状況の場合)のみに一対の高輝度物体を検出し、この高輝度物体までの距離を演算するようにしてもよい。
このような距離測定装置によれば、ヘッドライトを点灯させる環境において、ヘッドライトを点灯させる対向車までの距離を良好に検出することができる。そして、日照がある場合に高輝度物体までの距離を演算することがないので、処理負荷を軽減することができる。
さらに、上記実施形態においては、閾値Aを超える輝度を有する高輝度領域については測距不能時処理を用いて高輝度領域までの距離がレーザ光の反射波で検出できた場合にはレーザ光の反射光の測定結果を利用して距離を演算し、反射波が検出できなかった場合のみ測距不能時処理を利用するようにしてもよい。
また、上記実施形態においては、本発明を車両に搭載された運転支援システムに適用した例について説明したが、車両に限らず、物体までの距離を検出しつつ輝度を検出することを必要とする構成の物品に適用することができる。
1…運転支援システム、10…レーダ装置、11…レーダ制御部、12…走査駆動部、13…光学ユニット、14…発光部、15…受光部、21…フォトダイオード、22…抵抗、26…フィルタ、27…フィルタ、30…車両制御部、35…日照検出部、50…物体、100…光学フィルタ。

Claims (7)

  1. レーザ光を射出してからレーザ光の反射波を受けるまでの時間に応じてレーザ光を反射した物体までの距離を測定する距離測定装置であって、
    レーザ光を間欠的に射出する射出手段と、
    前記射出手段からのレーザ光が物体に反射されることにより得られる反射光を受光可能に配置され、前記射出手段によりレーザ光が照射される照射領域を複数に区分したときにおいて該区分された領域毎に入射される光の光量に応じた出力をする受光手段と、
    前記受光手段による出力のうちの前記受光手段が前記レーザ光の反射光を受光しているときに相当する出力に基づいてレーザ光を反射した物体までの距離を演算する反射距離演算手段と、
    前記受光手段による出力のうちの前記受光手段が前記レーザ光の反射光を受光していないときに相当する出力に基づいて輝度を演算する輝度演算手段と、
    前記区分された領域毎に、前記輝度演算手段によって演算された輝度を表す演算輝度と、前記反射光の検出が困難になる程度の輝度に設定された輝度閾値とを比較し、前記演算輝度が前記輝度閾値以上となる高輝度領域を抽出する高輝度領域抽出手段と、
    前記照射領域において水平方向に並ぶ一対の高輝度領域を検出し、前記一対の高輝度領域の間隔に基づいて一対の高輝度領域を形成する物体を表す高輝度物体までの距離を演算する高輝度領域距離演算手段と、
    前記高輝度領域に近接する領域のうちの反射距離演算手段によって距離が演算できた領域における物体を表す近接物体までの距離と、前記高輝度物体までの距離とを比較し、これらの距離の差が同一の物体とみなせる程度の許容誤差範囲内である場合に、前記近接物体までの距離を、前記高輝度物体までの距離として補正する距離補正手段と、
    を備えたことを特徴とする距離測定装置。
  2. 請求項1に記載の距離測定装置において、
    前記反射距離演算手段は、前記射出手段がレーザ光を射出する時間間隔を複数の時間範囲に区分したときの所定の時間範囲において検出された受光手段による出力を利用して物体までの距離を演算し、
    前記輝度演算手段は、前記複数の時間範囲のうちの所定の時間範囲を除く他の時間範囲において検出された受光手段による出力を利用して輝度を演算すること
    を特徴とする距離測定装置。
  3. 請求項2に記載の距離測定装置において、
    前記輝度演算手段は、前記反射距離演算手段が物体までの距離を演算するための時間範囲後に設定された時間範囲内において、前記輝度を演算すること
    を特徴とする距離測定装置。
  4. 請求項1〜請求項3の何れか1項に記載の距離測定装置において、
    前記輝度演算手段は、前記受光手段による出力の変動幅を検出することによって、前記輝度を演算すること
    を特徴とする距離測定装置。
  5. 請求項1〜請求項4の何れか1項に記載の距離測定装置において、
    前記高輝度領域距離演算手段は、前記照射領域において水平方向に並ぶ一対の高輝度領域を検出し、前記一対の高輝度領域の間隔をセダンタイプの車両に搭載された一対のライト間の距離とみなし、前記高輝度物体までの距離を演算すること
    を特徴とする距離測定装置。
  6. 請求項1〜請求項5の何れか1項に記載の距離測定装置において、
    日照の有無を検出する日照検出手段、を備え、
    前記高輝度領域距離演算手段は、日照がない場合に、前記一対の高輝度物体を検出し、該高輝度物体までの距離を演算すること
    を特徴とする距離測定装置。
  7. コンピュータを請求項1〜請求項6の何れか1項に記載の距離測定装置を構成する反射距離演算手段および輝度演算手段として機能させるための距離測定プログラム。
JP2011235105A 2011-10-26 2011-10-26 距離測定装置、および距離測定プログラム Active JP5637117B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011235105A JP5637117B2 (ja) 2011-10-26 2011-10-26 距離測定装置、および距離測定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235105A JP5637117B2 (ja) 2011-10-26 2011-10-26 距離測定装置、および距離測定プログラム

Publications (2)

Publication Number Publication Date
JP2013092459A JP2013092459A (ja) 2013-05-16
JP5637117B2 true JP5637117B2 (ja) 2014-12-10

Family

ID=48615679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235105A Active JP5637117B2 (ja) 2011-10-26 2011-10-26 距離測定装置、および距離測定プログラム

Country Status (1)

Country Link
JP (1) JP5637117B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6645254B2 (ja) * 2016-02-23 2020-02-14 株式会社デンソー 物体認識装置
JP7103759B2 (ja) * 2017-06-16 2022-07-20 株式会社デンソーウェーブ 車両認識装置、車両認識システム、車両認識プログラム
JP6911788B2 (ja) * 2018-02-13 2021-07-28 株式会社デンソーウェーブ 車両認識装置、車両認識システム、車両認識プログラム
JP7283244B2 (ja) * 2019-06-13 2023-05-30 株式会社デンソー レーダ搭載灯具ユニット
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165255B2 (ja) * 1992-09-08 2001-05-14 シャープ株式会社 測距センサ
JP4613406B2 (ja) * 1999-11-05 2011-01-19 株式会社デンソー 受光素子、距離測定装置及び距離・画像測定装置
JP4391643B2 (ja) * 1999-11-24 2009-12-24 Hoya株式会社 3次元画像入力装置
JP3985615B2 (ja) * 2002-07-16 2007-10-03 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4321540B2 (ja) * 2006-03-30 2009-08-26 株式会社豊田中央研究所 物体検出装置
JP4395789B2 (ja) * 2006-10-30 2010-01-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2008126794A (ja) * 2006-11-20 2008-06-05 Suzuki Motor Corp 車両用外部情報表示装置
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP2011247872A (ja) * 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム

Also Published As

Publication number Publication date
JP2013092459A (ja) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5488518B2 (ja) 道路端検出装置、運転者支援装置、および道路端検出方法
JP2011247872A (ja) 距離測定装置、距離測定方法、および距離測定プログラム
US11249172B2 (en) Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
JP5637117B2 (ja) 距離測定装置、および距離測定プログラム
US9709678B2 (en) Laser radar device, object detecting method
JP5617554B2 (ja) 距離測定装置、および距離測定プログラム
US10670726B2 (en) Distance measuring device and parallax calculation system
JP2018004426A (ja) 物体検出装置、センシング装置及び移動体装置
JP2006146372A (ja) 車両用物体認識装置
JP2012122951A (ja) 距離測定装置および距離測定プログラム
US11961306B2 (en) Object detection device
JP6645254B2 (ja) 物体認識装置
KR20160084804A (ko) 물체 검출 장치, 및, 차량용 충돌 방지 제어 장치
JP2005300233A (ja) 車両用レーダ装置
JP2005274413A (ja) 車両用レーダ装置
JP2007248146A (ja) レーダ装置
JP7005994B2 (ja) 距離測定装置及び距離測定方法
JP2006105688A (ja) 車両用レーダ装置
JP2023075170A (ja) センサ装置
JP2017129426A (ja) レーザレーダ装置
JP2007132951A (ja) 車両用レーダ装置
JP2009156810A (ja) 物体検出装置
JP2014109458A (ja) 位置検出装置
KR102186681B1 (ko) 자동차용 검출 장치, 운전자 보조 시스템, 자동차 및 검출 방법
JP2015152428A (ja) レーザレーダ装置及び物体検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141007

R151 Written notification of patent or utility model registration

Ref document number: 5637117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250