JP5073273B2 - 遠近判定方法およびその装置 - Google Patents

遠近判定方法およびその装置 Download PDF

Info

Publication number
JP5073273B2
JP5073273B2 JP2006314116A JP2006314116A JP5073273B2 JP 5073273 B2 JP5073273 B2 JP 5073273B2 JP 2006314116 A JP2006314116 A JP 2006314116A JP 2006314116 A JP2006314116 A JP 2006314116A JP 5073273 B2 JP5073273 B2 JP 5073273B2
Authority
JP
Japan
Prior art keywords
light
distance
reflected
light emitting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006314116A
Other languages
English (en)
Other versions
JP2008128815A (ja
Inventor
任史 河田
道教 市川
文雄 久保
豊 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Priority to JP2006314116A priority Critical patent/JP5073273B2/ja
Priority to US11/934,167 priority patent/US8120761B2/en
Publication of JP2008128815A publication Critical patent/JP2008128815A/ja
Application granted granted Critical
Publication of JP5073273B2 publication Critical patent/JP5073273B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、遠近判定方法およびその装置に関し、さらに詳細には、光を物体に照射することにより当該物体が存在する位置の遠近の判定を行う遠近判定方法およびその装置に関する。
従来、自動車などの車両に搭載可能な距離計測システムにおける距離計測の手法としては、例えば、当該距離計測システムに設けられている発光部から測定方向に光を照射し、当該照射した光の反射光を当該距離計測システムの受光部で受光し、光を照射した時間から受光した時間までの時間遅れを検出することにより距離の計測を行うTOF(Time of Flight:飛行時間型測定)法が用いられてきた。
こうしたTOFによる距離計測システムによれば、正確な距離計測を行うことが可能となるが、計測の精度は受光部の応答速度による影響を受けるものであった。このため、受光部としてカメラを用いる場合には、高速撮影が可能なカメラを用いる必要があった。
ところが、このような距離計測システムに用いることのできる高速撮影可能なカメラは高価であるため、その製造のためにはコスト高を招来するという問題点があった。

また、距離計測システムの発光部としてレーザー光源を用いる場合には、レーザー発振させるための駆動部が必要になるとともに、測定方向にいる人体への影響を排除するためにレーザー光の出力調整が必要になるなど、その構成や設定が複雑になるといった問題点も指摘されていた。

なお、本願出願人が特許出願時に知っている先行技術は、上記において説明したようなものであって文献公知発明に係る発明ではないため、記載すべき先行技術情報はない。
本発明は、上記したような従来の技術の有する種々の問題点に鑑みてなされたものであり、その目的とするところは、簡潔かつ安価な構成により、物体が存在する位置の遠近の判定を行うことができるようにした遠近判定方法およびその装置を提供しようとするものである。
上記目的を達成するために、本発明のうち請求項1に記載の発明は、物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定方法において、所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射し、上記異なるタイミングでそれぞれ照射された光の反射光を上記異なるタイミング毎に受光し、上記異なるタイミング毎に受光した反射光の輝度値の差分の絶対値を算出し、上記絶対値に基づいて、上記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定するようにしたものである。
また、本発明のうち請求項2に記載の発明は、物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定方法において、所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射し、上記異なるタイミングでそれぞれ照射された光の反射光を上記異なるタイミング毎に受光し、上記異なるタイミング毎に受光した反射光を合成し、上記合成した反射光が示す画像の位置と面積と輝度値とを算出し、上記算出結果に基づいて、上記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定するようにしたものである。
また、本発明のうち請求項3に記載の発明は、本発明のうち請求項1または2のいずれか1項に記載の発明において、上記異なるタイミングでそれぞれ照射される光は、上記異なる方向から交互に照射されるようにしたものである。
また、本発明のうち請求項4に記載の発明は、物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定装置において、所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射する光照射手段と、上記光照射手段から上記異なるタイミングでそれぞれ照射された光の反射光を上記異なるタイミング毎に受光する受光手段と、上記受光手段が上記異なるタイミング毎に受光した反射光の輝度値の差分の絶対値を算出する算出手段と、上記算出手段が算出した絶対値に基づいて、上記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する判定手段とを有するようにしたものである。
また、本発明のうち請求項5に記載の発明は、物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定装置において、所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射する光照射手段と、上記光照射手段から上記異なるタイミングでそれぞれ照射された光の反射光を上記異なるタイミング毎に受光する受光手段と、上記受光手段が上記異なるタイミング毎に受光した反射光を合成する合成手段と、上記合成手段により合成された反射光が示す画像の位置と面積と輝度値とを算出する算出手段と、上記算出手段の算出結果に基づいて、上記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する判定手段とを有するようにしたものである。
また、本発明のうち請求項6に記載の発明は、本発明のうち請求項またはのいずれか1項に記載の発明において、上記光照射手段は、上記異なる方向から交互に光を照射するようにしたものである。
本発明は、以上説明したように構成されているので、物体が存在する位置の遠近の判定を簡潔かつ安価な構成により実現することができるようになるという優れた効果を奏する。
以下、添付の図面を参照しながら、本発明による遠近判定方法およびその装置の実施の形態の一例を詳細に説明するものとする。

図1には、本発明の第1の実施の形態による遠近判定装置のブロック構成説明図が示されている。
本発明の第1の実施の形態による遠近判定装置10は、制御手段としてマイクロ・コンピュータにより構築される制御部12によって、その全体の動作の制御を行うように構成されている。
そして、この遠近判定装置10は、制御部12の制御により物体14に対して光を照射する光照射手段であって電球またはLED(Light Emitting Diode:発光ダイオード)などの半導体光源などのような各種の光源により構築される2つの発光部16−1、16−2と、発光部16−1、16−2から光を照射された物体14の表面において反射された光(反射光)を受光する受光手段であってCCD(Charge Coupled Devices:電荷結合素子)やCMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)などの個体撮像素子またはフォトダイオードを複数並べたイメージセンサにより構築される受光部18と、後述する制御部12における処理によって得られた判定結果を示す信号を入力して当該判定結果を表す出力手段であってCRT(Cathode Ray Tube:陰極線管)などの表示装置や警報音発生装置などにより構築される出力部19とを有しており、これら発光部16−1、16−2、受光部18および出力部19が制御部12に接続されている。なお、この実施の形態においては、本発明の理解を容易にするために、物体14は球形状を備えているものとして扱うが、物体14の形状は球形状に限られるものではないことは勿論である。
ここで、発光部16−1と発光部16−2とは、物体14に対して異なる方向から光を照射することができるように、それぞれ異なる位置に配置されている。
また、受光部18は、発光部16−1、16−2により光を照射された物体14の表面からの反射光を受光することができるように配置されている。こうした受光部18は、発光部16−1と発光部16−2とを結ぶ直線上の中間の位置に配置することが好ましい。

次に、図2を参照しながら制御部12について説明すると、制御部12は、発光部16−1と発光部16−2とをそれぞれ異なるタイミングで発光させる発光パターンを生成するとともに当該生成した発光パターンに従い物体14の表面に光を照射するように発光部16−1と発光部16−2とを制御する発光パターン制御部20と、物体14の表面からの反射光の受光により出力される受光部18から信号を入力して当該信号に基づいて画像処理を行う画像処理部22とを有して構成されている。

発光パターン制御部20は、例えば、図3(a)(b)に示すような発光パターン、具体的には、発光部16−1と発光部16−2とで点灯している時間間隔と消灯している時間間隔とは同じであるが、点灯と消灯とのタイミングがそれぞれ異なる発光パターンを生成する発光パターン生成部20aと、発光パターン生成部20aにおいて生成された発光パターンによる点灯および消灯を実行するように発光部16−1および発光部16−2の発光動作を制御する発光動作制御部20bとを有して構成されている。
即ち、この発光パターン制御部20においては、発光パターン生成部20aが、2つの発光部16−1と発光部16−2とが同時に点灯することなしに交互に点灯と消灯とを繰り返す発光パターン(図3(a)に示す発光パターン)と、発光部16−1と発光部16−2とが交互に点灯と消灯とを繰り返すが両者同時に点灯している時間をもつ発光パターン(図3(b)に示す発光パターン)とを選択的に生成し、発光動作制御部20bが、発光パターン生成部20aで生成した発光パターンにより物体14に光を照射するように発光部16−1と発光部16−2とをそれぞれ制御するようになされている。
ここで、図3(a)に示す発光パターン(以下、「第1発光パターン」と適宜に称する。)ならびに図3(b)に示す発光パターン(以下、「第2発光パターン」と適宜に称する。)について詳細に説明する。
まず、第1発光パターンは、発光部16−1と発光部16−2とにおいて、それぞれが点灯している時間間隔T1と消灯している時間間隔T2とは同じであるが、発光部16−1が点灯しているときは発光部16−2は必ず消灯しており、発光部16−2が点灯しているときは発光部16−1は必ず消灯していて、発光部16−1と発光部16−2とが同時に点灯することはない。発光部16−1と発光部16−2とのそれぞれにおいて、連続する時間間隔T1と消灯している時間間隔T2と1サイクルとして、第1発光パターンはこのサイクルを繰り返す。
次に、第2発光パターンは、発光部16−1と発光部16−2とにおいて、それぞれが点灯している時間間隔T3と消灯している時間間隔T4とは同じであるが、時間間隔T3は時間間隔T4の2倍の長さの時間間隔を備えている。そして、発光部16−1と発光部16−2とのいずれか一方の点灯が開始されてから時間間隔T3の1/2が経過すると、発光部16−1と発光部16−2とのいずれか他方の点灯が開始され、時間間隔T3の1/2の時間間隔だけ発光部16−1と発光部16−2とが同時に点灯する。発光部16−1と発光部16−2とのそれぞれにおいて、連続する時間間隔T3と消灯している時間間隔T4と1サイクルとして、第2発光パターンはこのサイクルを繰り返す。
なお、第1発光パターンと第2発光パターンとにおいては、いずれの発光パターンでも最初に発光部16−1が点灯する。

また、画像処理部22は、発光部16−1と発光部16−2とから上記の発光パターンに従って光を照射された物体14の表面からの反射光の受光により出力される受光部18から信号を入力して物体14の画像を生成する画像生成部22aと、画像生成部22aで生成された画像の輝度値を算出する演算処理部22bと、演算処理部22bで算出された輝度値を用いて物体14が存在する位置を判定する処理を行う判定処理部22cとを有して構成されている。
そして、判定処理部22cの処理によって得られた判定結果たる物体14の存在する位置の遠近を示す信号は出力部19へ出力されて、出力部19は当該信号に判定結果に応じた処理を行う。

以上の構成において、図4乃至図8を参照しながら遠近判定装置10の動作について説明する。
なお、遠近判定装置10における各構成部材の配置としては、図4(a)ならびに図5(a)に示すように、物体14に対して左方側に発光部16−1が配置されるとともに、物体14に対して右方側に発光部16−2が配置され、発光部16−1と発光部16−2とを結ぶ直線上の中間位置に受光部18が配置されるものとする

まず、発光パターン生成部20aで生成する発光パターンとして、図3(a)に示す第1発光パターンを選択した場合について説明する。
この場合には、遠近判定装置10において、発光パターン生成部20aで生成した図3(a)に示す第1発光パターンに基づいて、発光動作制御部20bにより発光部16−1および発光部16−2の発光動作が制御される。即ち、図3(a)に示す第1発光パターンに従って、まず最初のサイクルとして、発光部16−2は点灯せずに発光部16−1のみが点灯し、発光部16−1から物体14へ向けて光が照射され(図4(a)を参照する。)、当該照射された光が物体14の表面で反射されて受光部18により受光される。
受光部18における反射光の受光により受光部18から出力される信号は、画像生成部22aへ入力されて、画像生成部22aにより物体14の画像が生成される。なお、上記のようにして画像生成部22aにより生成される画像を、「撮影画像」と適宜に称することとする。
上記のようにして画像生成部22aで生成された撮影画像は、発光部16−2は点灯せずに発光部16−1のみが点灯して物体14の左方側のみから光を当てられた場合の画像であるため、物体の右方側に比べて左方側の方が明るい画像となる(図4(b)を参照する。)。
次に、発光部16−1は点灯せずに発光部16−2のみが点灯し、発光部16−2から物体14へ向けて光が照射され(図5(a)を参照する)、当該照射された光が物体14の表面で反射されて受光部18により受光される。
受光部18における反射光の受光により受光部18から出力される信号は画像生成部22aへ入力されて、上記と同様に、画像生成部22aにより物体14の撮影画像が生成されることになるが、画像生成部22aで生成された撮影画像は、発光部16−1は点灯せずに発光部16−2のみが点灯して物体14の右方側のみから光を当てられた場合の画像であるため、物体の左方側に比べて右方側の方が明るい画像となる(図5(b)を参照する。)。
遠近判定装置10においては、上記した第1発光パターンの1サイクルの処理を繰り返し行うことになる。
ここで、画像生成部22aで生成された撮影画像は、図6に示すように、物体14が遠近判定装置10に近い位置に存在するほど、物体14の外側部分に高い光量の光が照射されるようになり(図6の位置Aを参照する。)、物体14が遠近判定装置10から遠ざかるほど、物体14の全体に低い光量の光が照射されるようになる(図6の位置Bならびに位置Cを参照する。)。
なお、図6においては、図示を簡略化して本発明の理解を容易にするために、物体14に対して2つの発光部16−1および発光部16−2から光が照射されている状態を示している。

上記のようにして画像生成部22aで撮影画像が生成されると、演算処理部22bは画像生成部22aで生成された画像の輝度値を算出する処理を行う。即ち、演算処理部22bは、生成された撮影画像から各画素における輝度値を算出し、さらに、第1発光パターンの各サイクルにおける発光部16−1が点灯して発光部16−2が消灯している場合の撮影画像と発光部16−1が消灯して発光部16−2が点灯している場合の撮影画像との各画素における輝度値の差の絶対値をそれぞれ算出する。
そして、判定処理部22cは、演算処理部22bで算出された上記各サイクルにおける輝度値の差の絶対値に基づいて、物体14が存在する位置の遠近を判定してその判定結果を出力部19へ出力することになる。

即ち、演算処理部22bで算出される第1発光パターンの各サイクルにおける発光部16−1が点灯して発光部16−2が消灯している場合の撮影画像の各画素における輝度値をf1とし、演算処理部22bで算出される同じサイクルにおける発光部16−1が消灯して発光部16−2が点灯している場合の撮影画像の各画素における輝度値をf2とすると、演算処理部22bで算出される同じサイクルにおける撮影画像の各画素における輝度値の差の絶対値は、
|f1(x、y)−f2(x、y)| ・・・ 式1
で表される。
なお、図19には、受光部18で連続受光しているときの輝度値のイメージ図が示されている。受光部18で受光される輝度値には、背景光の輝度値の上に発光部16−1、16−2の照射に伴う物体14からの反射光の輝度値が積み重ねられることになるため、輝度値f1と輝度値f2との差分をとることで背景光の輝度値を取り除き、当該反射光の輝度値を得ることができる。
ここで、図7(a)(b)(c)には、上記の式1により算出された値が大きいほど明るく表現するようにして示された物体14の画像が示されているが、図7(a)は物体14が遠近判定装置10に最も近い位置A(図6を参照する。)に存在する場合の画像を示し、また、図7(c)は物体14が遠近判定装置10に最も遠い位置C(図6を参照する。)に存在する場合の画像を示し、また、図7(b)は物体14が位置Aと位置Cとの中間の位置B(図6を参照する。)に存在する場合の画像を示している。
これら図7(a)(b)(c)に示す画像から理解されるように、遠近判定装置10によれば、物体14が遠近判定装置10に近い位置に存在するほど、物体14に照射される光量が多くなるため輝度値も高くなり、物体14の左右両側が明るくなり明暗がはっきり形成される。一方、物体14が遠近判定装置10に遠い位置に存在するほど、物体14に照射される光量が減るため輝度値は距離の二乗に反比例して低くなり、画像の明暗はぼやけるようになる。
従って、上記各サイクルにおける輝度値の差の絶対値を評価することにより、物体14が遠近判定装置10から遠く離れてた位置に存在しているか、あるいは、物体14が遠近判定装置10の近くに存在しているかについての判定を行うことができる。
判定処理部22cは、こうした評価を行って判定の処理を行うものであり、判定処理部22cの処理によって得られた判定結果は出力部19へ出力されて、出力部19はその判定結果に応じた処理、例えば、表示装置に物体14の接近を知らせる表示をしたりする処理、あるいは、警報音発生装置により物体14の接近を知らせる警報を鳴らしたりする処理を行うものである。
なお、判定処理部22cにおいて、上記各サイクルにおける輝度値の差の絶対値を評価して、物体14の遠近判定装置10に対する存在位置の遠近を判定する手法としては、例えば、予め所定の閾値を設定しておき、上記絶対値が当該閾値を超えれば物体14が遠近判定装置10の近くに存在していると判定し、一方、上記絶対値が当該閾値を超えなければ物体14が遠近判定装置10の遠くに存在していると判定するなどの手法がある。あるいは、判定処理部22cにおいて図7(a)(b)(c)に示すような画像を順次に比較し、その比較結果に基づいて、物体14が遠近判定装置10の近くへ接近しているのか、あるいは、物体14が遠近判定装置10の遠くへ離れて行くのかを判定するなどの手法も用いることができる。
従って、遠近判定装置10が自動車などの車両に搭載されている場合などのように、遠近判定装置10や物体14が移動するような場合であっても、遠近判定装置10に対する物体14の存在位置の遠近を常に判定することが可能となる。

なお、図8には光の入射する角度と輝度との関係が示されているが、発光部16−1または発光部16−2から照射された光L1と、光L1が物体14の表面で乱反射する際に形成される法線輝度L2との関係は、光L1をI、法線輝度L2をI、光L1と法線輝度L2とのなす角度をθとすると、
I=Icosθ ・・・ 式2
で表される。
この式2は、cosθの値が大きくなるほど、つまり、物体14に対する光L1の入射角が鋭角になればなるほど、法線輝度L2は大きくなることを示している。
物体14の表面に照射された光L1は、物体14が遠近判定装置10の近くに存在するほど物体14の表面に対する入射角が小さくなり、輝度法線L2の値が大きくなるので、物体14が遠近判定装置10から近い位置に存在するほど算出される輝度値は大きくなる。
また、物体14の表面に照射された光L1は、物体14が遠近判定装置10の遠くに存在するほど物体14の表面に対する入射角が大きくなり、輝度法線L2の値が小さくなるので、物体14が遠近判定装置10から遠い位置に存在するほど算出される輝度値は小さくなる。

次に、発光パターン生成部20aで生成する発光パターンとして、図3(b)に示す第2発光パターンを選択した場合について説明する。
この第2発光パターンを選択した場合においても、上記した第1発光パターンを選択した場合と同様にして、遠近判定装置10に対する物体14の存在位置を判定することがことができる。
また、第2発光パターンにおいては、時間間隔T3の1/2の時間間隔だけ発光部16−1と発光部16−2とが同時に点灯するので、発光部16−1と発光部16−2とが同時に点灯された際の撮影画像を得ることができ、精度の高い物体14の全体の映像を取得することができる。

次に、図9乃至図12を参照しながら、本発明による遠近判定装置の第2の実施の形態について説明する。
なお、以下の説明においては、図1乃至図8を参照しながら説明した本発明による遠近判定装置の第1の実施の形態と同一または相当する構成については、上記において用いた符号と同一の符号を用いて示すことにより、その構成ならびに作用の詳細な説明は適宜に省略することとする。
この本発明の第2の実施の形態による遠近判定装置30においては、制御部32により、発光パターンの各サイクル毎に物体14の表面の撮影画像をそれぞれ合成して生成される画像たる合成画像の面積、位置および輝度値に基づいて、遠近判定装置30に対して物体14が存在する位置の遠近を判定するようになされている(図9を参照する。)。
即ち、この遠近判定装置30の制御部32においては、画像処理部34が、図10に示すように、画像生成部22aで生成された撮影画像を各サイクル毎に合成して合成画像を生成する合成画像生成部34aと、合成画像生成部34aで生成された合成画像について撮影画像の位置、面積および輝度値を算出する演算処理部34bと、演算処理部34bで算出された位置、面積および輝度値の評価を行って判定の処理を行う判定処理部34cとを有して構成されている。判定処理部32cの処理によって得られた判定結果は出力部19へ出力されて、出力部19はその判定結果に応じた処理、例えば、表示装置に物体14の接近を知らせる表示をしたりする処理、あるいは、警報音発生装置により物体14の接近を知らせる警報を鳴らしたりする処理を行うものである。

以上の構成において、遠近判定装置30によれば、遠近判定装置10と同様に、発光パターンに従って物体14に向けて発光部16−1と発光部16−2とからそれぞれ光L3と光L4とが照射され、照射された光L3と光L4とが物体14の表面で反射され、それらの反射光が受光部18により受光される。
そして、受光部18における反射光の受光により受光部18から出力される信号は、画像生成部22aへ入力されて、画像生成部22aにより物体14の撮影画像が生成される。
以下、図11(a)(b)ならびに図12(a)(b)(c)を参照しながら説明するが、これらに表す撮影画像や合成画像は、それらの位置関係、面積の割合ならびに輝度値の程度を概念的に示すものであって、球形状の物体14の正確な撮影画像や合成画像ではない。
ここで、画像生成部22aで生成される撮影画像は、物体14が遠近判定装置30の近くの位置、例えば、撮影面P1上に存在する場合に、発光部16−2は点灯せずに発光部16−1のみが点灯して光L3のみが照射されると、図11(a)に示すように、受光領域の制限に伴い撮影面P1における左側のわずかの部分にのみ表れることになる。また、画像生成部22aで生成される撮影画像は、物体14が撮影面P1上に存在する場合に、発光部16−1は点灯せずに発光部16−2のみが点灯して光L4のみが照射されると、図11(b)に示すように、受光領域の制限に伴い撮影面P1における右側のわずかの部分にのみ表れることになる。
なお、図9においては、図示を簡略化して本発明の理解を容易にするために、物体14に対して2つの発光部16−1および発光部16−2からそれぞれ光L3および光L4が照射されている状態を示している。
上記のようにして生成された図11(a)に示す撮影画像と図11(b)に示す撮影画像、即ち、物体14が撮影面P1上に存在するときの1サイクルの発光パターンにより生成された撮影画像は、合成画像生成部22dにおいて合成され、図12(a)に示す合成画像が生成される。
同様に、物体14が遠近判定装置30に対して撮影面P1よりも遠い位置にある撮影面P2上に存在する場合には、合成画像生成部22dにより図12(b)に示す合成画像が生成され、また、物体14が遠近判定装置30に対して撮影面P2よりも遠い位置にある撮影面P3上に存在する場合には、合成画像生成部22dにより図12(c)に示す合成画像が生成される。
そして、演算処理部34bは、こうして生成された合成画像について、撮影画像の位置、面積および輝度値を算出する。

ここで、上記した図12(a)(b)(c)に示す合成画像を比較すると、図12(a)に示す物体14が遠近判定装置30に最も近い位置にある撮影面P1上に存在する場合には、合成画像は撮影面P1上の左右両端の狭い領域に分割して位置しており、その合成画像の面積は小さく、その一方で、高い輝度値ではっきりと明暗が形成されている。
それに対し、図12(c)に示す物体14が遠近判定装置30に最も遠い位置にある撮影面P3上に存在する場合には、撮影面P3において光L3の照射による撮影画像は光L4の照射による撮影画像よりも右方側に位置しており、一方、撮影面P3において光L4の照射による撮影画像は光L3の照射による撮影画像よりも左方側に位置しており、両者の位置関係が撮影面P1における場合とは逆転している。そして、合成画像は撮影面P3上の中央の広い領域に位置しており、その合成画像の面積は大きく、その一方で、低い輝度値でその明暗はぼんやりしている。
また、図12(b)に示す物体14が撮影面P3と撮影面P1との間に位置する撮影面P2上に存在する場合には、撮影面P2において光L3の照射による撮影画像は光L4の照射による撮影画像よりも左方側に位置しており、一方、撮影面P2において光L4の照射による撮影画像は光L3の照射による撮影画像よりも右方側に位置していて、両者の位置関係は撮影面P1における場合と同様である。そして、合成画像は撮影面P2上の中央の領域に位置しており、その合成画像の面積は図12(c)に示す場合よりも小さく、低い輝度値でその明暗はぼんやりしている。
従って、合成画像に関して撮影画像の位置、面積および輝度値を評価することにより、物体14が遠近判定装置30から遠く離れてた位置に存在しているか、あるいは、物体14が遠近判定装置30の近くに存在しているかについての判定を行うことができる。
判定処理部34cは、こうした評価を行って判定の処理を行うものであり、判定処理部34cの処理によって得られた判定結果は出力部19へ出力されて、出力部19はその判定結果に応じた処理、例えば、表示装置に物体14の接近を知らせる表示をしたりする処理、あるいは、警報音発生装置により物体14の接近を知らせる警報を鳴らしたりする処理を行うものである。
なお、判定処理部32cにおいて、上記各サイクルにおける合成画像に関して撮影画像の位置、面積および輝度値を評価して、物体14の遠近判定装置10に対する存在位置の遠近を判定する手法としては、例えば、予め所定の閾値を設定しておき、上記絶対値が当該閾値を超えれば物体14が遠近判定装置30の近くに存在していると判定し、一方、上記絶対値が当該閾値を超えなければ物体14が遠近判定装置30の遠くに存在していると判定するなどの手法がある。あるいは、判定処理部34cにおいて図12(a)(b)(c)に示すような合成画像を順次に比較し、その比較結果に基づいて、物体14が遠近判定装置30の近くへ接近しているのか、あるいは、物体14が遠近判定装置30の遠くへ離れて行くのかを判定するなどの手法も用いることができる。
従って、遠近判定装置30が自動車などの車両に搭載されている場合などのように、遠近判定装置30や物体14が移動するような場合であっても、遠近判定装置30に対する物体14の存在位置の遠近を常に判定することが可能となる。

また、遠近判定装置30においては、発光部16−1と発光部16−2とに照射される光の波長を異ならせるようにすると、光L3の照射による撮影画像の位置と光L4の照射による撮影画像の位置とをより確実に識別することが可能になり、より精度の高い判定を行うことが可能になる。

なお、上記した実施の形態においては、以下の(1)乃至()に説明するように変形してもよい。
(1)上記した実施の形態においては、2つの発光部により物体に対して光を照射したが、これに限られるものでないことは勿論であり、発光部を3つ以上設けるようにしてもよい。このように発光部の設置数を増加すると、判定の精度を向上することができる。
例えば、図13に示すように、発光部16−1および発光部16−2に加えて、発光部として発光部16−1の左方側に発光部16−3を設けるとともに、発光部16−2の右方側に発光部16−4を設けるようにしてもよい。
このように発光部を4つ設けた遠近判定装置においては、受光部18に最も近い位置Aに存在する物体14では、4つある発光部から出射された光のうち、発光部16−1および発光部16−2から出射された光のみが物体14に照射されるが、受光部18に対して位置Aよりも遠い位置Bや位置Cにある物体14には、4つある発光部から出射された光が全て照射され、輝度値の違いなどによって精度の高い遠近の判定が可能となる。即ち、この輝度値の違いによる判定に際しては、より多くの発光部から光が照射されることによって様々な発光パターンの撮影画像を生成することができるので、物体14の存在する位置をより高精度で判定することができるようになる。
また、図14に示すように、8個の発光部16−1〜16−8を直線上に配置するようにしてもよい。
こうした8個の発光部16−1〜16−8を備えた遠近判定装置のように、多数の発光部を備えた遠近判定装置においては、物体14に対して発光部を1つずつ順に点灯するようにした発光パターンとしてもよいが、図15乃至図18に示すように、複数の発光部を任意に組み合わせて点灯・消灯させる発光パターンのようにしてもよい。このようにすると、例えば、図16や図17に示すように、同時並行的に複数の場所に分かれて存在する物体14の遠近を同時に判定することができるようになるため、発光部を一つずつ点灯させる場合と比較すると処理時間の短縮化を図ることができ、また、物体14の遠近を判定可能な領域も拡大することができる。
なお、図18は8個の発光部16−1〜16−8を全て点灯させた状態を示しているが、このように全ての発光部を点灯させる場合には、全ての発光部の点灯または消灯以外の状態で発光部が点灯または消灯する発光パターンを用いればよい。
(2)上記した実施の形態においては、物体14が球形状の場合について説明したが、これに限られるものでないことは勿論であり、物体14の形状は任意のものでよい。また、物体14の数も1個あるいは3個に限られるものではなく、本発明による遠近判定装置は任意の数の物体の遠近を判定することができる。
)上記した実施の形態ならびに上記した(1)および)に示す変形例は、適宜に組み合わせるようにしてもよい。
本発明は、自動車の走行時における障害物検出の用途、防犯システムにおける侵入者検出の用途、ロボットにおける障害物検知や物体検知などの各種の分野に利用することができる。
図1は、本発明の第1の実施の形態による遠近判定装置のブロック構成説明図である。 図2は、本発明の第1の実施の形態による遠近判定装置の制御部のブロック構成説明図である。 図3(a)(b)は、発光パターンを示すタイミングチャートである。 図4(a)は、本発明の第1の実施の形態による遠近判定装置において一方の発光部が点灯した状態を示す説明図であり、図4(b)は、一方の発光部が点灯した際の物体の撮影画像を示す説明図である。 図5(a)は、本発明の第1の実施の形態による遠近判定装置において他方の発光部が点灯した状態を示す説明図であり、図5(b)は、他方の発光部が点灯した際の物体の撮影画像を示す説明図である。 図6は、遠近の異なる位置にある物体が2つの発光部から光を照射された状態を示す説明図である。 図7(a)(b)(c)は、本発明の第1の実施の形態による遠近判定装置の動作を説明するための説明図である。 図8は、光の入射する角度と輝度との関係を示す説明図である。 図9は、本発明の第2の実施の形態による遠近判定装置のブロック構成説明図である。 図10は、本発明の第2の実施の形態による遠近判定装置の制御部のブロック構成説明図である。 図11(a)(b)は、本発明の第2の実施の形態による遠近判定装置の動作を説明するための説明図である。 図12(a)(b)(c)は、本発明の第2の実施の形態による遠近判定装置の動作を説明するための説明図である。 図13は、本発明による遠近判定装置の変形例を示す説明図である。 図14は、本発明による遠近判定装置の変形例を示す説明図である。 図15は、本発明による遠近判定装置の変形例を示す説明図である。 図16は、本発明による遠近判定装置の変形例を示す説明図である。 図17は、本発明による遠近判定装置の変形例を示す説明図である。 図18は、本発明による遠近判定装置の変形例を示す説明図である。 図19は、受光部で連続受光しているときの輝度値のイメージ図である。
符号の説明
10、30 遠近判定装置
12、32 制御部
14 物体
16−1、16−2、16−3、16−4、16−5、16−6、16−7、16−8 発光部
18 受光部
19 出力部
20 発光パターン制御部
20a 発光パターン生成部
20b 発光動作制御部
22、34 画像処理部
22a 画像生成部
22b、34b 演算処理部
22c、34c 判定処理部
32a 合成画像生成部

Claims (6)

  1. 物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定方法において、
    所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射し、
    前記異なるタイミングでそれぞれ照射された光の反射光を前記異なるタイミング毎に受光し、
    前記異なるタイミング毎に受光した反射光の輝度値の差分の絶対値を算出し、
    前記絶対値に基づいて、前記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する
    ことを特徴とする遠近判定方法。
  2. 物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定方法において、
    所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射し、
    前記異なるタイミングでそれぞれ照射された光の反射光を前記異なるタイミング毎に受光し、
    前記異なるタイミング毎に受光した反射光を合成し、
    前記合成した反射光が示す画像の位置と面積と輝度値とを算出し、
    前記算出結果に基づいて、前記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する
    ことを特徴とする遠近判定方法。
  3. 請求項1または2のいずれか1項に記載の遠近判定方法において、
    前記異なるタイミングでそれぞれ照射される光は、前記異なる方向から交互に照射される
    ことを特徴とする遠近判定方法。
  4. 物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定装置において、
    所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射する光照射手段と、
    前記光照射手段から前記異なるタイミングでそれぞれ照射された光の反射光を前記異なるタイミング毎に受光する受光手段と、
    前記受光手段が前記異なるタイミング毎に受光した反射光の輝度値の差分の絶対値を算出する算出手段と、
    前記算出手段が算出した絶対値に基づいて、前記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する判定手段と
    を有することを特徴とする遠近判定装置。
  5. 物体に対して所定の時間間隔でパルス状に光を照射し、該光の反射光を受光することにより該光を反射した物体との距離の遠近を判定する遠近判定装置において、
    所定のパターンのパルス状の光を異なる方向より異なるタイミングでそれぞれ照射する光照射手段と、
    前記光照射手段から前記異なるタイミングでそれぞれ照射された光の反射光を前記異なるタイミング毎に受光する受光手段と、
    前記受光手段が前記異なるタイミング毎に受光した反射光を合成する合成手段と、
    前記合成手段により合成された反射光が示す画像の位置と面積と輝度値とを算出する算出手段と、
    前記算出手段の算出結果に基づいて、前記異なるタイミングでそれぞれ照射された光を反射した物体との距離の遠近を判定する判定手段と
    を有することを特徴とする遠近判定装置。
  6. 請求項またはのいずれか1項に記載の遠近判定装置において、
    前記光照射手段は、前記異なる方向から交互に光を照射する
    ことを特徴とする遠近判定装置。
JP2006314116A 2006-11-21 2006-11-21 遠近判定方法およびその装置 Expired - Fee Related JP5073273B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006314116A JP5073273B2 (ja) 2006-11-21 2006-11-21 遠近判定方法およびその装置
US11/934,167 US8120761B2 (en) 2006-11-21 2007-11-02 Method and apparatus for position judgment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006314116A JP5073273B2 (ja) 2006-11-21 2006-11-21 遠近判定方法およびその装置

Publications (2)

Publication Number Publication Date
JP2008128815A JP2008128815A (ja) 2008-06-05
JP5073273B2 true JP5073273B2 (ja) 2012-11-14

Family

ID=39554788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006314116A Expired - Fee Related JP5073273B2 (ja) 2006-11-21 2006-11-21 遠近判定方法およびその装置

Country Status (2)

Country Link
US (1) US8120761B2 (ja)
JP (1) JP5073273B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154825A1 (en) * 2009-08-25 2012-06-21 Sharp Kabushiki Kaisha Location identification sensor, electronic device, and display device
JP5343896B2 (ja) * 2010-03-10 2013-11-13 セイコーエプソン株式会社 光学式位置検出装置
WO2012124055A1 (ja) * 2011-03-15 2012-09-20 富士通フロンテック株式会社 撮像装置、撮像方法及び撮像プログラム
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
CN104756165B (zh) * 2012-09-13 2017-09-22 Mbda英国有限公司 房间占用感测装置和方法
JP5974844B2 (ja) * 2012-11-14 2016-08-23 富士通株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2014200589A2 (en) * 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
WO2014162675A1 (ja) * 2013-04-01 2014-10-09 パナソニック株式会社 複数の光源を有するモーションセンサ装置
JP6302414B2 (ja) * 2013-04-26 2018-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 複数の光源を有するモーションセンサ装置
ITCN20130007A1 (it) * 2013-06-19 2013-09-18 Domenico Lanzetti Sistema e metodo di rilevamento di ostacoli/pedoni/intrusi con l'uso di immagini diversamente illuminate
US9863767B2 (en) 2013-06-27 2018-01-09 Panasonic Intellectual Property Corporation Of America Motion sensor device having plurality of light sources
CN104603574B (zh) * 2013-07-01 2017-10-13 松下电器(美国)知识产权公司 具有多个光源的运动传感器装置
US20150029693A1 (en) * 2013-07-23 2015-01-29 Delphi Technologies, Inc. Vehicle instrument panel with light source diagnostics
KR102251374B1 (ko) * 2014-08-18 2021-05-12 삼성전자주식회사 이미지 센싱 장치 및 그 장치의 동작 방법
JP6355531B2 (ja) * 2014-11-06 2018-07-11 富士フイルム株式会社 内視鏡用光源装置、内視鏡システム及びその作動方法
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10621431B2 (en) * 2015-03-27 2020-04-14 Lenovo (Singapore) Pte. Ltd. Camera that uses light from plural light sources disposed on a device
RU2668343C2 (ru) * 2016-08-24 2018-09-28 Самсунг Электроникс Ко., Лтд. Электронное устройство, содержащее светоизлучающие элементы, и способ его функционирования
WO2018038340A2 (en) * 2016-08-24 2018-03-01 Samsung Electronics Co., Ltd. Electronic device including light-emitting elements and method of operating electronic device
US10489925B2 (en) * 2017-08-13 2019-11-26 Shenzhen GOODIX Technology Co., Ltd. 3D sensing technology based on multiple structured illumination
JPWO2020174765A1 (ja) * 2019-02-28 2020-09-03
CN112929516B (zh) * 2019-12-05 2023-08-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
US11662828B2 (en) * 2021-05-28 2023-05-30 Pixart Imaging Inc. Method for identifying object, optical sensing apparatus and system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61198015A (ja) * 1984-11-14 1986-09-02 Agency Of Ind Science & Technol 二組の照度差ステレオ法にもとづく距離計測法及びその装置
JPS62190411A (ja) * 1986-02-15 1987-08-20 Olympus Optical Co Ltd 測距装置
JPH0361812A (ja) * 1989-07-31 1991-03-18 Toshiba Corp 近接センサ
US6043873A (en) * 1997-01-10 2000-03-28 Advanced Optical Technologies, Llc Position tracking system
KR100508277B1 (ko) * 1997-12-23 2005-08-17 지멘스 악티엔게젤샤프트 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치
JP2000075030A (ja) 1998-08-27 2000-03-14 Aisin Seiki Co Ltd スキャン型レーザーレーダ装置
US6792203B1 (en) * 1999-09-01 2004-09-14 Olympus Optical Co., Ltd. Camera and distance measuring apparatus used in the same
JP2001165655A (ja) * 1999-12-06 2001-06-22 Oki Electric Ind Co Ltd 距離推定装置及び距離推定方法
US7106490B2 (en) * 2001-12-14 2006-09-12 Micronic Laser Systems Ab Methods and systems for improved boundary contrast
US7274815B1 (en) * 2003-10-09 2007-09-25 Sandia Corporation Parallel phase-sensitive three-dimensional imaging camera
JP2005182137A (ja) 2003-12-16 2005-07-07 Nissan Motor Co Ltd 先行車両検出装置及び先行車両検出方法
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法,プログラム
US7295292B1 (en) * 2004-05-20 2007-11-13 The University Of Notre Dame Methods and systems for measuring an aberated wave front
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
JP2006162372A (ja) * 2004-12-06 2006-06-22 Hitachi Eng Co Ltd 侵入者監視方法および装置
US7609249B2 (en) * 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device

Also Published As

Publication number Publication date
US20080186475A1 (en) 2008-08-07
US8120761B2 (en) 2012-02-21
JP2008128815A (ja) 2008-06-05

Similar Documents

Publication Publication Date Title
JP5073273B2 (ja) 遠近判定方法およびその装置
CN109959942B (zh) 距离测量设备、识别设备和距离测量方法
JP7028588B2 (ja) 3次元距離測定装置
US20150241564A1 (en) Three-dimensional measuring device and three-dimensional measuring method
KR101891907B1 (ko) 거리 측정 장치 및 시차 연산 시스템
JP5154430B2 (ja) 空間領域モニター装置および方法
US10156437B2 (en) Control method of a depth camera
US9340156B2 (en) Method for detecting an object in an environmental region of a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
KR20200123483A (ko) 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
KR102237828B1 (ko) 동작 인식 장치 및 이를 이용한 동작 인식 방법
JP6531326B2 (ja) 光学式検知装置
CN109154984A (zh) 用来提高障碍物的可识别性的机动车的照明装置
JP2002131016A (ja) 距離測定装置、及び距離測定方法
KR20190098242A (ko) 차량 주변 환경을 특성화하기 위한 시스템
JP7251240B2 (ja) 光学装置、検出装置及び電子機器
KR101213987B1 (ko) 거리 측정 장치 및 이의 제어 방법
CN111398975A (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
JP5266709B2 (ja) 距離計測装置、距離計測方法および車両
JP2007162989A (ja) 弾丸位置計測装置
JP6541119B2 (ja) 撮像装置
JP6476248B2 (ja) 車両の環境中の物体を捕捉する方法及び捕捉システム
JP2023001122A (ja) 撮像装置
US20180054608A1 (en) Image capturing device and image capturing method
JP7257275B2 (ja) 3次元距離測定装置
JP2010210265A (ja) 通過検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120822

R150 Certificate of patent or registration of utility model

Ref document number: 5073273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees