JP4788187B2 - 空間情報検出装置 - Google Patents

空間情報検出装置 Download PDF

Info

Publication number
JP4788187B2
JP4788187B2 JP2005134393A JP2005134393A JP4788187B2 JP 4788187 B2 JP4788187 B2 JP 4788187B2 JP 2005134393 A JP2005134393 A JP 2005134393A JP 2005134393 A JP2005134393 A JP 2005134393A JP 4788187 B2 JP4788187 B2 JP 4788187B2
Authority
JP
Japan
Prior art keywords
light
frequency
difference
target space
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005134393A
Other languages
English (en)
Other versions
JP2006308522A (ja
Inventor
扶美 常定
篤 廣中
史和 栗原
裕介 橋本
裕司 高田
Original Assignee
パナソニック電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック電工株式会社 filed Critical パナソニック電工株式会社
Priority to JP2005134393A priority Critical patent/JP4788187B2/ja
Publication of JP2006308522A publication Critical patent/JP2006308522A/ja
Application granted granted Critical
Publication of JP4788187B2 publication Critical patent/JP4788187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2354Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Description

本発明は、対象空間に光を投光するとともに対象空間からの光を受光し、投光した光に対する受光した光の変化から対象空間に関する空間情報を検出する空間情報検出装置に関するものである。
従来から、強度を変調した光を対象空間に投光し、対象空間からの光を受光するとともに、投光した光と受光した光との変調成分の位相差を求めることによって、対象空間に存在する物体までの距離を空間情報として求める技術が知られており(たとえば、特許文献1参照)、また変調成分の異なる位相において得られた受光光量の差分によって環境光成分を除去した反射光成分を空間情報として求める技術が知られている。ここに、反射光成分は、投受光の変化を表しているから、対象空間内の物体の存否や既知距離に存在する物体の反射率などに対応する。
特表平10−508736号公報
ところで、空間情報の検出に用いるこの種の空間情報検出装置(以下、「検出装置」と略称する)は、発光源から対象空間に対して強度を変調した光を投光しているから、複数台の検出装置が共通の対象空間に関する空間情報を検出しようとして各検出装置から対象空間に投光した光が混合されると、どの検出装置から対象空間に投光された光かを区別することができなくなる。つまり、各検出装置では自身が投光した光を分離して検出することができなくなるから、各検出装置において空間情報を検出することができなくなるという問題を生じる。
本発明は上記事由に鑑みて為されたものであり、その目的は、複数台が対象空間の少なくとも一部を共通にしている場合であっても、それぞれ対象空間の空間情報を独立して検出することができるようにした空間情報検出装置を提供することにある。
請求項1の発明は、対象空間に投光する発光源と、発光源から対象空間に投光する光の強度を変調するように発光源に所定の変調周波数の変調信号を与える発光制御部と、対象空間からの光を受光し受光光量に応じた電荷を生成する感光部を有した光検出素子と、感光部で生成される電荷のうち変調信号において規定した位相区間に同期する期間に生成された電荷を用い発光源から投光した光と光検出素子で受光した光との変化から対象空間の空間情報を検出する評価部とを備え、評価部は、光検出素子が受光する環境光成分のうち前記位相区間内で変動する成分を相殺するように変調信号において規定した2種類の位相区間の電荷量の差分を求め、環境光成分のうち前記位相区間内で変動する成分が前記変調周波数とは異なる既知の変動周波数である場合に、前記評価部は、前記変調周波数と環境光成分における前記変動周波数との周波数差により規定される積算時間における前記差分の積算値を用いて空間情報を検出することを特徴とする。
この構成によれば、光検出素子で生成された電荷のうち変調信号において規定した特定の2種類の位相区間の電荷量の差分を、環境光成分のうちの変動成分が相殺されるように取り出しているから、他の空間情報検出装置から投光された光が環境光成分に含まれていたとしても、この光の影響を除去して空間情報を検出することが可能になる。言い換えると、複数台の空間情報検出装置が対象空間の少なくとも一部を共通にしている場合であっても、他の空間情報検出装置の影響を受けることなく対象空間の空間情報を検出することができる。
さらに、環境光成分に既知の変動周波数である成分が含まれているとき、つまり対象空間の少なくとも一部を共通にしている他の空間情報検出装置が存在するときに、他の空間情報検出装置とは変調信号の変調周波数を異ならせ、かつ既知情報を用いて適宜の積算時間を設定すれば差分の積算値からは変動成分を除去することができる。しかも、積算時間において2種類の位相区間の電荷量の差分の積算値を求めているから、環境光成分のうちで変動しない成分が除去された差分を積算することになり、差分を求めずに積算する場合に比較すると、積算値を大幅に小さくすることができる。その結果、デジタル処理を行う場合には、積算値に対応するビット数を小さくすることができ、メモリなどの容量を低減することができる。
請求項2の発明では、請求項1の発明において、前記変動周波数が1種類であるときに、前記変調周波数と変動周波数との周波数差で決まるビート成分の整数倍周期を前記積分時間とすることを特徴とする。
この構成によれば、請求項1の発明と同様の作用が期待できる。しかも、ビート成分の整数倍周期を積分時間としているから、環境光成分の変動周期の整数倍の積分時間になり、積分時間で得られた差分の積算値からは環境光成分が除去されていることになる。
請求項3の発明では、請求項1の発明において、前記変動周波数が2種類以上であるときに、前記変調周波数と各変動周波数とのそれぞれの周波数差で決まる各ビート成分の整数倍周期が一致する時間を前記積分時間とすることを特徴とする。
この構成によれば、請求項1の発明と同様の作用が期待できる。しかも、3台以上の空間情報検出装置における既知の変調周波数との各周波数差で決まる各ビート成分の整数倍周期が一致する時間を積算時間としているから、3台以上の空間情報検出装置を同時に動作させている場合でも環境光成分を除去することができる。
請求項4の発明では、請求項1ないし請求項3のいずれかの発明において、前記発光制御部は、前記発光源から対象空間に投光する投光期間と投光しない休止期間とを設けるように前記発光源を制御し、前記評価部は、前記光検出素子で休止期間に受光した光により生成される電荷のうち変調信号において規定した2種類の位相区間の電荷量について前記積算時間における積算値の差を求め、当該差が規定した閾値以下であるときに、投光期間における前記積算時間で得られる電荷量を用いて空間情報を検出することを特徴とする。
この構成によれば、休止期間において適宜の積分時間における電荷量の積算値の差を用いて環境光成分における変動成分の有無を判断しており、積算値の差が閾値以下であるときに当該積算時間であれば変動成分の影響をほとんど受けないと判断して、投光期間において当該積算時間で得られる電荷量を用いて空間情報を検出するから、対象空間を共通にする他の空間情報検出装置が存在している場合でも、その影響を除去して空間情報を検出することができる。
請求項5の発明では、請求項1ないし請求項4のいずれかの発明において、前記評価部は、前記発光源から対象空間に投光した光と前記光検出素子で受光した光との位相差に相当する中間値を前記差分に対応付けた換算テーブルを有し、換算テーブルから求めた中間値を前記発光源から対象空間に投光した光の変調周波数に応じて決定される補正値で補正することにより対象空間に存在する物体までの距離を求めることを特徴とする。
この構成によれば、光検出素子から出力される電荷量の差分と投受光の位相差に相当する中間値とを対応付けた換算テーブルを用い、換算テーブルから得られた中間値を変調周波数に応じた補正値で補正するから、変調周波数が異なっていても同じ換算テーブルを用いることができ、データの共通化により製品の製造が容易になる。また、光検出素子から出力される電荷量の差分から計算によって距離を求めることが可能ではあるが、理論式を用いて計算すると装置特性による誤差が発生するのに対して、換算テーブルを用いることにより装置特性による誤差を折り込んだデータを設定することができ、結果的に物体までの距離を精度よく求めることが可能になる。
本発明の構成によれば、光検出素子で生成された電荷のうち変調信号において規定した特定の2種類の位相区間の電荷量の差分を、環境光成分のうちの変動成分が相殺されるように取り出しているから、他の空間情報検出装置から投光された光が環境光成分に含まれていたとしても、この光の影響を除去して空間情報を検出することが可能になる。言い換えると、複数台の空間情報検出装置が対象空間の少なくとも一部を共通にしている場合であっても、他の空間情報検出装置の影響を受けることなく対象空間の空間情報を検出することができるという利点を有する。さらに、環境光成分に既知の変動周波数である成分が含まれているとき、つまり対象空間の少なくとも一部を共通にしている他の空間情報検出装置が存在するときに、他の空間情報検出装置とは変調信号の変調周波数を異ならせ、かつ既知情報を用いて適宜の積算時間を設定すれば差分の積算値からは変動成分を除去することができる。しかも、積算時間において2種類の位相区間の電荷量の差分の積算値を求めているから、環境光成分のうちで変動しない成分が除去された差分を積算することになり、差分を求めずに積算する場合に比較すると、積算値を大幅に小さくすることができる。その結果、デジタル処理を行う場合には、積算値に対応するビット数を小さくすることができ、メモリなどの容量を低減することができる。
以下に説明する実施形態では、空間情報検出装置(以下では、「検出装置」と略称する)として対象空間に存在する物体までの距離を計測する測距装置を例示する。また、以下に説明する測距装置は、対象空間の画像を撮像することにより対象空間の場所ごとの距離を各画素に対応付けた距離画像を生成する。なお、空間情報には、対象空間に存在する物体の反射率のように環境光成分を除去することにより得られる情報も含まれる。
(測距装置の基本構成)
検出装置である測距装置の基本構成について説明する。測距装置は、図1に示すように、対象空間に光を投光する発光源2を備えるとともに、対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子1を備える。対象空間に存在する物体Obまでの距離は、発光源2から対象空間に光が投光されてから物体Obでの反射光が光検出素子1に入射するまでの時間(「飛行時間」と呼ぶ)によって求める。ただし、飛行時間は非常に短いから、発光源2に所定の変調周波数の変調信号を発光制御部3から与えることにより発光源2から対象空間に投光する光の強度を変調し、光の強度の変調成分について投受光の位相差を求め、この位相差を飛行時間に換算する技術を用いている。つまり、発光制御部3は対象空間に投光する光の強度が一定周期で周期的に変化するように発光源2を制御する。
いま、図2に示すように、発光源2から空間に放射する光の強度が曲線イのように正弦波形になるように変調されており、光検出素子1で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより物体Obまでの距離を求めることができる。つまり、位相差ψの単位を[rad]、物体Obまでの距離をL[m]、光速をc[m/s]、強度変調光の角周波数をω[rad/s]とすれば、L=ψ・c/2ωになる。
位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相区間が0〜90度、90〜180度、180〜270度、270〜360度のタイミングで求めた曲線ロの受光光量をそれぞれA0、A1、A2、A3とする(受光光量A0、A1、A2、A3を斜線部で示している)。つまり、各位相区間における受光光量A0、A1、A2、A3は、それぞれ90度ずつの位相幅Twの積分値になる。ここに、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、物体Obまでの距離が変化せず)、かつ物体Obの反射率にも変化がないものとする。また、発光源2から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子1で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。ただし、Aは振幅、Bは環境光成分と反射光成分との平均値、ωは強度変調光の角周波数(ω=2πf;fは変調周波数)、δは初期位相である。ここでは、4つの位相区間の受光光量A0、A1、A2、A3が得られる期間において平均値Bは一定とみなすことができる場合を想定している。これらの条件から、位相差ψを、たとえば次式で表すことができる。
ψ=tan−1(A2−A0)/(A1−A3)
上式は積分する位相区間の取り方(たとえば、上述の例では1つの位相区間の位相幅が90度であるが、180度などにしてもよい)によって符号が変化したり位相が90度異なったりするが、いずれにしても、位相差ψは4つの位相区間の受光光量A0、A1、A2、A3を用いて求めることができる。
対象空間に投光する光の強度を比較的高い変調周波数の変調信号で変調する必要があるから、発光源2としては、応答速度の速い光源を用いる。たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを発光源2に用いる。発光源2を駆動する変調信号は発光制御部3から出力され、発光源2から放射される光の強度が変調信号により変調される。発光制御部3では、たとえば10MHzの正弦波を変調信号として出力する。なお、変調信号の波形は、正弦波のほかに、三角波、鋸歯状波などでもよい。
光検出素子1は、規則的に配列された複数個の感光部11を備える。また、感光部11への光の入射経路には受光光学系5が配置される。感光部11は光検出素子1において対象空間からの光が受光光学系5を通して入射する部位であって、感光部11において受光光量に応じた量の電荷を生成する。また、感光部11は、平面格子の格子点上に配置され、たとえば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
受光光学系5は、光検出素子1から対象空間を見るときの視線方向と各感光部11とを対応付ける。すなわち、受光光学系5を通して各感光部11に光が入射する範囲を、受光光学系5の中心を頂点とし各感光部11ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源2から放射され対象空間に存在する物体Obで反射された反射光が感光部11に入射すれば、反射光を受光した感光部11の位置により、受光光学系5の光軸を基準方向として物体Obの存在する方向を知ることができる。
受光光学系5は一般に感光部11を配列した平面に光軸を直交させるように配置されるから、受光光学系5の中心を原点とし、感光部11を配列した平面の垂直方向と水平方向と受光光学系5の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Obの位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部11に対応する。なお、受光光学系5は、感光部11を配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。
本実施形態では、上述のように、物体Obまでの距離を求めるために、発光源2から対象空間に投光される光の強度変化に同期する4つの位相区間の受光光量A0、A1、A2、A3を求めている。したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。また、発光源2から対象空間に投光される光の強度変化の1周期において感光部11で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図1のように各感光部11で発生した電荷をそれぞれ集積する複数個の電荷集積部13を設けるとともに、感光部11で生成した電荷を電荷集積部13に集積するタイミングを制御する感度制御部12を設けている。このタイミングは発光制御部3が制御する。
本実施形態で用いる光検出素子1は、複数個(たとえば、100×100個)の感光部11をマトリクス状に配列したものであって1枚の半導体基板上に形成される。感光部11のうち垂直方向の各列に沿ってそれぞれ垂直方向に電荷を転送するCCDである垂直転送部が形成され、さらに垂直転送部の一端から電荷を受け取って水平方向に電荷を転送するCCDである水平転送部が形成された構成を有する。感光部11と垂直転送部との間には転送ゲートが設けられる。
この光検出素子1は、インターライン・トランスファ(IT)方式のCCDイメージセンサと同様の構成であり、図1に示した電荷取出部14は、垂直転送部と水平転送部とを含む機能を表している。また、電荷集積部13は垂直転送部において転送を開始するまでの期間において電荷を集積する機能を表している。
ところで、感度制御部12は、上述した受光光量A0、A1、A2、A3にそれぞれ対応する4つの位相区間において感度を高めるように発光制御部3で制御され、受光光量A0、A1、A2、A3に相当する電荷を電荷集積部13に集積する。ここで、IT方式のCCDイメージセンサに類似した構成を採用しているから、転送ゲートを制御することにより感光部11から垂直転送部に集積させる電荷量を調節する構成と、各感光部11ごとに電荷を廃棄することができる廃棄電極を設けて廃棄する電荷量を調節する構成との少なくとも一方を用いることにより感度制御部12の機能を持たせる。すなわち、所望の受光光量A0、A1、A2、A3に対応する位相区間において感光部11から垂直転送部へ電荷が通過するように転送ゲートを制御したり、所望の位相区間以外の電荷を廃棄するように廃棄電極への印加電圧を制御したりすることで、所望の位相区間のみの電荷を垂直転送部に集積し、集積した電荷を転送する。
ただし、発光源2から対象空間に投光され物体Obで反射された後に光検出素子1の感光部11に入射する光の強度は小さいから、上述した各区間の受光光量A0、A1、A2、A3に相当する電荷を強度変調光の変調周期の1周期内で電荷集積部13に集積したとしても各受光光量A0、A1、A2、A3に十分な大きさの差が得られず、距離の測定精度が低くなる。したがって、実際には各区間に相当して生成される電荷を強度変調光の複数周期(たとえば、3万周期)にわたって電荷集積部13に集積した後に、電荷取出部14を通して光検出素子1から取り出している。電荷取出部14を通して電荷を取り出すタイミングは発光制御部3が制御する。
以下では、電荷集積部13に電荷を集積している期間(つまり、感光部11において目的の区間の電荷を生成している期間)を受光期間と呼び、電荷集積部13に集積された電荷を電荷取出部14により取り出す期間を読出期間と呼ぶ。
ところで、上述した構成例において、隣接する感光部11を4個ずつ一組にして用いると、一組に含まれる4個の感光部11で上述した4つの位相区間の区間別の電荷を電荷集積部13に集積することが可能である。つまり、一組にした4個の感光部11に対応する感度制御部12を、それぞれ受光光量A0、A1、A2、A3に対応した各位相区間に対応付けて制御すれば、4個の電荷集積部13にはそれぞれ受光光量A0、A1、A2、A3に対応した電荷が集積されることになる。このような動作とすれば、受光期間と読出期間とを1回ずつ設けるだけで4つの位相区間の受光光量A0、A1、A2、A3を取り出すことができ、比較的短い時間内の情報を用いて物体Obの距離を求めることができる。ただし、4個の感光部11が対象空間の一つの方向に対応するから、1個の感光部11を対象空間の一つの方向に対応付ける場合に比較すると、分解能は4分の1に低下する。また、異なる位置の感光部11を対象空間の一方向に対応付けているから、各感光部11が異なる物体Obからの反射光を受光する可能性が高くなり、距離に関して誤測定を生じやすくなる。
一方、1つの感光部11を対象空間の一方向に対応付けるようにすれば、分解能が高くなるから静止している物体Obに対する距離の誤測定を低減できるが、受光期間と読出期間とが4回ずつ必要になるから、相対的に移動する物体Obについては距離の誤測定が生じやすくなる。そこで、本実施形態では、2個の感光部11を一組に用い、受光期間と読出期間とを2回ずつ用いて4区間の受光光量A0、A1、A2、A3に相当する電荷を取り出す方法を採用している。つまり、2回の受光期間のうちの1回目は受光光量A0、A2に相当する量の電荷を取り出し、2回目は受光光量A1、A3に相当する量の電荷を取り出すようにしている。
上述した光検出素子1から出力される受光出力は評価部としての距離演算部4に与えられ、距離演算部4では上述の4つの位相区間の受光光量A0、A1、A2、A3に相当する電荷量に相当する受光出力を受け取り、上述した位相差ψを求める数式に当て嵌めるか、あるいは当該数式に相当する換算テーブルに当て嵌めることによって位相差ψを求め、さらに位相差ψから物体Obまでの距離を求める。距離演算部4は対象空間の複数方向について距離を求めるから、対象空間についての三次元情報を得ることができるのであって、画素値に距離値を対応付けた距離画像を生成することができる。換算テーブルでは位相差ψではなく距離を求めるようにしてもよいのはもちろんのことである。
ところで、4つの位相区間の受光光量A0、A1、A2、A3から位相差ψを求める上式は、4つの位相区間の受光光量A0、A1、A2、A3が得られる期間において平均値Bが一定であるという仮定、つまり4つの位相区間の受光光量A0、A1、A2、A3を求める時間内では環境光成分が変化しないという仮定のもとで成立する。したがって、環境光成分が各位相区間内で変動するような条件下では位相差ψを求めることができないことになる。以下に説明する実施形態は、環境光成分が各位相区間内で変動する変動成分を含むような場合でも位相差ψを求めることを可能としたものである。
(実施形態1)
本実施形態では、図1に示すように、上述した構成の測距装置が対象空間の少なくとも一部を共通にして複数台配置されている場合を想定する。各測距装置は、それぞれ発光源2と発光制御部3と光検出素子1と距離演算部4とを備える。また、本実施形態における発光制御部3は変調周波数が複数種類から選択可能となるように構成されており、発光制御部3には変調周波数を選択するための周波数選択部6が付設される。周波数選択部6はDIPスイッチやロータリスイッチを用いて構成される。あるいはまた、周波数選択部6の周波数をメモリスイッチで選択可能とし、コンピュータのような支援装置を用いてメモリスイッチの内容を変更可能にする構成を採用してもよい。
本実施形態では、各測距装置の変調周波数を固定的に設定してあり、かつ各変調周波数が互いに異なる場合を想定する。たとえば、3台の測距装置があるものとし、それぞれ変調周波数が、10MHz、12MHz、15MHzに設定されているものとする。各測距装置では、変調信号に同期する特定の位相区間の受光光量A0、A1、A2、A3に相当する電荷量の受光出力を光検出素子1から取り出して距離演算部4に与えるのであって、光検出素子1における1回の読出期間において受光光量A0、A2に相当する電荷量の受光出力を取り出し、他の1回の読出期間において受光光量A1、A3に相当する電荷量の受光出力を取り出す。
各測距装置では、受光期間において変調信号の多数周期にわたって集積した電荷を取り出すから、光検出素子1の受光出力には、他の測距装置から対象空間に投光された光による変動成分について全成分が均等に含まれているとみなしてよい。
いま、説明を簡単にするために、変調周波数が10MHzと12MHzとの2台の測距装置が対象空間を共有して動作しているものとすると、両測距装置では、図3に示すように12MHzの光(ハ)と、10MHzの光(ニ)とを同時に受光することになる。図3では受光する光の強度をほぼ等しく表しているが、実際にはほとんどの場合に光の強度は異なる。変調周波数が10MHzの測距装置において、2種類の変調周波数の光を同時に受光するとすれば、曲線ニに対応する各位相区間の受光光量A0、A1、A2、A3に、曲線ハに対応する各位相区間の成分が加算されるから、変調信号の周期の数倍程度であれば、各位相区間で得られる受光光量から曲線ニに対応する各位相区間の受光光量A0、A1、A2、A3を抽出することはできない。
上述のような問題が生じるのは、曲線ニの各位相区間の受光光量A0、A1、A2、A3に、曲線ハの一部の位相区間の成分が加算されることに起因している。言い換えると、各位相区間の受光光量を積算し、かつ曲線ニの各位相区間の受光光量A0、A1、A2、A3に相当する成分に、曲線ハの全位相の成分が加算される程度に長い期間の積算値を求めれば、その積算値では曲線ハの成分は曲線ニのどの位相区間に対してもほぼ一定値になり、結果的に積算値から曲線ニの成分を抽出できることになる。
距離演算部4は、このような積算を行った後に距離を求めている。ただし、各位相区間ごとの積算値を求めると、反射光成分のほかに環境光成分も積算することになるから、積算値が大きい値になる。たとえば、デジタル信号処理を行うとすれば、積算値に対応するビット数が大きくなり、積算値を記憶するメモリなどに容量の大きいものが必要になる。一方、上述したように距離の演算には受光光量の差分A0−A2、A1−A3の値を用いる。このような差分では、環境光成分のうちで変動しない成分が除去されるから、この差分を積算すれば、積算値を大幅に小さくすることができる。
本実施形態は、このような特性を利用したものであり、距離演算部4において、各検出装置の変調周波数の周波数差(つまり、環境光成分における変動周期が既知であるときの周期差)により規定される積算時間について、受光光量の差分(A0−A2)、(A1−A3)の積算値を求め、この積算値を用いて距離を求めるのである。積算時間は、各検出装置の変調周波数の周波数差で決まるビート成分の1周期(または、整数倍周期)に設定するのが望ましい。すなわち、曲線ハの成分と曲線ニの成分とは周波数差が比較的小さいから両者の周波数差に相当するビート成分が生じる。このビート成分の周期で積算値を求めれば、ビート成分を除去したことになるのであって、変調周波数の周波数差で決まるビート成分の1周期を積算時間とすれば互いの変調周波数の影響を相殺して環境光成分を除去することができる。
上述したように3台の検出装置の変調周波数が、それぞれ10MHz、12MHz、15MHzに設定されているものとし、10MHzの検出装置において距離を求めるとすれば、周波数差はそれぞれ2MHzと5MHzとのビート成分が生じることになる。そこで、各ビート成分の整数倍周期が一致する時間を積分時間とすれば、環境光成分を除去することができる。上述した周波数では各ビート成分の1周期がそれぞれ5×10−7sと2×10−7sとになるから、両者の整数倍周期が一致する最小時間は1μsになる。したがって、積算時間を1μsあるいはこの整数倍とすれば、3台の検出装置を用いながらも他の検出装置から投光された光の影響を相殺して距離を求めることができる。
ところで、積分時間が十分に長ければビート成分の周期内での振動変化により表される誤差分が積算値全体に及ぼす影響は小さくなるから、上記条件(積分時間を各ビート成分の整数倍周期に一致させるという条件)を完全に満たしていなくても積算時間が十分に長ければ誤差の発生を無視することができる。たとえば、積算時間が変調信号の3万周期であれば各ビート成分の整数倍周期に一致しなくてもよいことが確認できている。
なお、対象空間を共通にしている検出装置の変調周波数は既知であるから、各検出装置の変調周波数に応じた適宜の時間間隔で、各受光光量A0、A1、A2、A3を求める期間を設定すれば、受光光量の差分(A0−A2)、(A1−A3)を求めるだけでも環境光成分のうち位相区間内で変動する成分を相殺することが可能である。
上述のようにして求めた差分(A0−A2)、(A1−A3)の積算値を用いることにより、発光源2から対象空間に投光した光と、光検出素子1の各感光部11で受光した光の反射光成分との位相差ψを求めることができる。また、位相差ψの単位をラジアンとすれば、物体Obまでの距離Lは、L=Lm・ψ/2πと表すことができる。ただし、変調周波数をf、光束をc[m/s]とするとき、Lm=c/2fである。要するに、上述の原理によれば変調信号の1周期の時間で往復する距離が測定可能な最大距離Lmになり、位相差ψが2πであるときに最大距離Lmに相当すると考えられるから、2πに対する位相差ψの比率を求めることにより、光を反射した物体Obまでの距離Lを求めることができるのである。
上述のようにして理論式によって距離Lを求めることが可能ではあるが、実際には各部材の配置や特性によって理論式の値に対して誤差が生じる。また、その誤差は一般に距離に応じて変化する。したがって、理論式で求めた距離には補正が必要になる。このような補正値を距離に対応付けたデータテーブルを設けることが可能であるが、データテーブルを設けるのであれば、演算そのものをデータテーブルで行うほうが効率がよい。そこで、本実施形態では、データテーブルとして、差分(A0−A2)、(A1−A3)の組から距離に相当する値を求める換算テーブルを用いている。
ここで、上述したように距離Lは測定可能な最大距離Lmにより変化するから、周波数選択部6により変調周波数を切り換えると、換算テーブルも異なるものが必要になる。このように選択可能な変調周波数に応じて複数個の換算テーブルを設けておくことは可能であるが、換算テーブルのデータを登録する作業に手間がかかる上に、換算テーブルを構成する半導体メモリに容量の大きなものが必要になる。
そこで、本実施形態では、変調周波数に関係なく1種類の換算テーブルを設け、差分(A0−A2)、(A1−A3)の組から位相差に相当する中間値を求め、この中間値を変調周波数に応じた補正値で補正することにより距離を求める技術を採用している。たとえば、中間値として(c・ψ/4π)に相当する値を求め、補正値として(1/f)に相当する係数を用いれば、中間値に係数を乗じる演算によって物体Obまでの距離Lを求めることができる。ここに、各部材の配置や特性による誤差は中間値に折り込まれる。あるいはまた、中間値として位相差ψに相当する値を求め、補正値として(c/4π・f)を用いることもできる。中間値と補正値とは適宜に選択可能である。
上述したように、差分(A0−A2)、(A1−A3)の組から中間値を求め、中間値に対して変調周波数に応じた補正を施すようにすれば、換算テーブルは変調周波数に依存せずに1種類だけ用意すればよいことになり、データを登録する作業の手間が軽減され、換算テーブルに用いる半導体メモリの容量も低減される。
(実施形態2)
実施形態1の構成では、各検出装置の変調周波数を周波数選択部6において固定的に設定しているが、本実施形態は、各検出装置の変調周波数を時間経過に伴って自動的に変化させる構成を採用している。基本的な構成は実施形態1と同様であって、周波数選択部6に代えて時間経過に伴って変調周波数を自動的に変化させる周波数切換部(図示せず)を設ける点で相違する。
周波数切換部は、周波数選択部6における変調周波数の選択を自動化し、かつ時間経過に伴って自動的に変調周波数を選択させるものであり、選択操作をタイマ機能と連動させている点が異なるだけで他の動作は実施形態1と同様の動作になる。しかも、変調周波数が時間経過に伴って自動的に変化するから、変調周波数を設定する手間がかからない。変調周波数を変化させる時間は実施形態1において説明した積算時間よりも長いことが望ましい。これは、積算時間の途中で変調周波数が変化すると、他の検出装置から投光された光の影響をほぼ相殺するという保証が得られなくなるからである。また、変調周波数を変化させるタイミングは、検出装置ごとにばらつきを持たせることが望ましい。このように変調周波数を変化させるタイミングが異なっていれば、対象空間を共通にしている複数台の検出装置において変調周波数が等しくなる確率を低減することができる。
さらに、周波数切換部において変調周波数を不規則に変化させるようにすれば、変調周波数を変化させるタイミングがずれていない場合でも複数台の検出装置において変調周波数が等しくなる確率を低減させることができる。他の構成および動作は実施形態1と同様である。
(実施形態3)
基本構成として説明したように、光検出素子1では1回の読出期間において2つの位相区間の受光光量A0、A1、A2、A3に相当する電荷を読み出している。したがって、4つの位相区間の電荷を読み出すには、受光期間と読出期間とが2回ずつ必要である。言い換えると、受光期間と読出期間とを交互に繰り返すとともに、受光期間と読出期間とを2回ずつ設けることによって距離の測定が可能になる。また、読出期間には発光源2からの投光は不要であるから、読出期間は発光源2からの投光を行わない休止期間に一致させ、受光期間は発光源2から対象空間に投光する投光期間と一致させるのが望ましい。要するに、光検出素子1の動作について定義される受光期間と読出期間とを、発光源2の動作について定義される投光期間と休止期間とにそれぞれ一致させるのが望ましい。
たとえば、図4に示すように、受光光量A0、A2に相当する電荷を生成する受光期間T02は発光源2の投光期間に一致し、受光光量A1、A3に相当する電荷を生成する受光期間T13も発光源2の投光期間に一致する。また、各受光期間T02,T13に対応する読出期間Tdは発光源2の休止期間に一致する。
ところで、上述したように、通常は受光期間T02,T13と読出期間Tdとを交互に繰り返しているが、図4に示すように、本実施形態では投光期間と一致しない受光期間Teを適宜のタイミングで設けている。つまり、光検出素子1では受光期間T02,T13と同様に受光期間Teに生成した電荷を読み出す読出期間Tdを設けているが、受光期間Teには発光源2から投光せず発光源2では休止期間になる点が受光期間T02,T13における動作とは異なっている。したがって、発光源2は、読出期間Tdに対応する期間のほか受光期間Teに対応する期間も休止期間になる。受光期間Teには、当該検出装置の発光源2は投光していないから、受光期間Teには光検出素子1は環境光成分のみを受光することになる。基本構成の動作から明らかなように、環境光成分が実質的に変動していなければ、休止期間において異なる2つの位相区間の受光光量の差は理想的には0になる。実質的に変動していないとは、環境光成分が短期間では変動していても、積算時間における積算値では変動分が相殺される場合も含んでいる。したがって、2つの位相区間の受光光量を比較すれば、環境光成分が測距の結果に影響を与えるか否かを判定することが可能になる。
本実施形態は、距離演算部4に上述した判定を行う干渉判定部(図示せず)を設けたものであって、干渉判定部では、受光期間Teにおいて180度異なる2つの位相区間の積算値(積算時間で得られる積算値)の差分(A0−A2)を求め、この差分を閾値と比較することにより、積算値の差分が環境光成分の影響を受けているか否かを判定する。干渉判定部において積算値の差分が環境光成分の影響を受けていると判定した場合には当該差分を採用せず、差分が閾値以下の場合にのみ距離演算部4では当該差分を用いて距離を求める。このような動作により求めた距離の精度が保証されることになる。
さらに、実施形態2のように周波数切換部を設けて周波数選択部6における変調周波数の選択を自動化した構成を採用する場合に、時間経過に伴って変調周波数を選択させるのではなく、干渉判定部の判定結果に応じて変調周波数を選択させるのが望ましい。この構成では、干渉判定部が環境光成分の影響を受けていると判定したときには、変調周波数を変更するように周波数選択部6に指示し、干渉判定部において環境光成分の影響を受けていないと判定できる変調周波数を自動的にサーチする。したがって、環境光成分の影響を受けない変調周波数を自動的に決定するから、変調周波数の設定に手間がかからず、しかも環境光成分の影響を受けないことが保証できるのである。他の構成および動作は実施形態1と同様である。
なお、上述した各実施形態では、IT方式のCCDイメージセンサと同様の構成を採用しているが、フレーム・トランスファ(FT)方式、フレーム・インターライン・トランスファ(FIT)方式と同様の構成を採用することも可能である。また、電荷の転送にIT方式の構成を採用する場合には、感度制御部12として電荷を廃棄する構成のほか、感光部11から電荷取出部(垂直転送部)に電荷を引き渡すゲート部を制御する構成なども採用可能である。
本発明の実施形態1を示すブロック図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。
符号の説明
1 光検出素子
2 発光源
3 発光制御部
4 距離演算部(評価部)
6 周波数選択部
11 感光部

Claims (5)

  1. 対象空間に投光する発光源と、発光源から対象空間に投光する光の強度を変調するように発光源に所定の変調周波数の変調信号を与える発光制御部と、対象空間からの光を受光し受光光量に応じた電荷を生成する感光部を有した光検出素子と、感光部で生成される電荷のうち変調信号において規定した位相区間に同期する期間に生成された電荷を用い発光源から投光した光と光検出素子で受光した光との変化から対象空間の空間情報を検出する評価部とを備え、評価部は、光検出素子が受光する環境光成分のうち前記位相区間内で変動する成分を相殺するように変調信号において規定した2種類の位相区間の電荷量の差分を求め、環境光成分のうち前記位相区間内で変動する成分が前記変調周波数とは異なる既知の変動周波数である場合に、前記評価部は、前記変調周波数と環境光成分における前記変動周波数との周波数差により規定される積算時間における前記差分の積算値を用いて空間情報を検出することを特徴とする空間情報検出装置。
  2. 前記変動周波数が1種類であるときに、前記変調周波数と変動周波数との周波数差で決まるビート成分の整数倍周期を前記積分時間とすることを特徴とする請求項1記載の空間情報検出装置。
  3. 前記変動周波数が2種類以上であるときに、前記変調周波数と各変動周波数とのそれぞれの周波数差で決まる各ビート成分の整数倍周期が一致する時間を前記積分時間とすることを特徴とする請求項1記載の空間情報検出装置。
  4. 前記発光制御部は、前記発光源から対象空間に投光する投光期間と投光しない休止期間とを設けるように前記発光源を制御し、前記評価部は、前記光検出素子で休止期間に受光した光により生成される電荷のうち変調信号において規定した2種類の位相区間の電荷量について前記積算時間における積算値の差を求め、当該差が規定した閾値以下であるときに、投光期間における前記積算時間で得られる電荷量を用いて空間情報を検出することを特徴とする請求項1ないし請求項3のいずれか1項に記載の空間情報検出装置。
  5. 前記評価部は、前記発光源から対象空間に投光した光と前記光検出素子で受光した光との位相差に相当する中間値を前記差分に対応付けた換算テーブルを有し、換算テーブルから求めた中間値を前記発光源から対象空間に投光した光の変調周波数に応じて決定される補正値で補正することにより対象空間に存在する物体までの距離を求めることを特徴とする請求項1ないし請求項4のいずれか1項に記載の空間情報検出装置。
JP2005134393A 2005-05-02 2005-05-02 空間情報検出装置 Active JP4788187B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005134393A JP4788187B2 (ja) 2005-05-02 2005-05-02 空間情報検出装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005134393A JP4788187B2 (ja) 2005-05-02 2005-05-02 空間情報検出装置
PCT/JP2006/309071 WO2006118286A1 (ja) 2005-05-02 2006-05-01 空間情報検出装置および同装置を用いた空間情報検出システム
EP06745922.2A EP1879049B1 (en) 2005-05-02 2006-05-01 Space information detecting device, and space information detecting system using the device
US11/919,746 US7643131B2 (en) 2005-05-02 2006-05-01 Spatial information detection device and spatial information detection system using the same
TW095115588A TWI310653B (en) 2005-05-02 2006-05-02 Spatial information detecting device

Publications (2)

Publication Number Publication Date
JP2006308522A JP2006308522A (ja) 2006-11-09
JP4788187B2 true JP4788187B2 (ja) 2011-10-05

Family

ID=37308080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005134393A Active JP4788187B2 (ja) 2005-05-02 2005-05-02 空間情報検出装置

Country Status (5)

Country Link
US (1) US7643131B2 (ja)
EP (1) EP1879049B1 (ja)
JP (1) JP4788187B2 (ja)
TW (1) TWI310653B (ja)
WO (1) WO2006118286A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1860462A1 (de) * 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
JP5098331B2 (ja) * 2006-12-28 2012-12-12 株式会社豊田中央研究所 計測装置
KR101144259B1 (ko) * 2007-04-19 2012-05-11 호시덴 가부시기가이샤 회전입력장치 및 그것을 사용한 회전검출장치
JP5019117B2 (ja) * 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
JPWO2010021090A1 (ja) * 2008-08-20 2012-01-26 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5398204B2 (ja) * 2008-09-17 2014-01-29 富士重工業株式会社 測距システム
KR101675112B1 (ko) * 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101666020B1 (ko) * 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
KR20130009392A (ko) 2011-07-15 2013-01-23 삼성전자주식회사 컨트롤러의 동작 방법과 상기 컨트롤러를 포함하는 메모리 시스템
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
US20130083997A1 (en) * 2011-10-04 2013-04-04 Alcatel-Lucent Usa Inc. Temporally structured light
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US20140101683A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Methods and apparatus for detecting a television channel change event
US9136888B2 (en) * 2013-06-28 2015-09-15 JVC Kenwood Corporation Radio receiver and reception frequency setting method used therein, and frequency setting device and frequency setting method
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックIpマネジメント株式会社 測距装置
DE102016215177A1 (de) 2016-08-15 2018-02-15 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Erfassung von Bilddaten
WO2018181013A1 (ja) * 2017-03-29 2018-10-04 株式会社デンソー 光検出器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4479706A (en) * 1980-09-09 1984-10-30 Ricoh Company, Ltd. Distance measuring circuit
JPS61128216A (en) * 1984-11-28 1986-06-16 Canon Inc Noise removing device of focus adjusting device
JP3198528B2 (ja) * 1991-04-03 2001-08-13 オムロン株式会社 光センサおよびその動作方法
JP3432852B2 (ja) * 1993-03-24 2003-08-04 オリンパス光学工業株式会社 測距装置
DE4440613C1 (de) 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
EP0760460B1 (en) * 1995-08-28 2002-07-03 Matsushita Electric Works, Ltd. Optical displacement measuring system using a triangulation
JP3573550B2 (ja) * 1995-11-30 2004-10-06 オリンパス株式会社 測距装置
US6229619B1 (en) * 1996-02-12 2001-05-08 Massachusetts Institute Of Technology Compensation for measurement uncertainty due to atmospheric effects
JP3510736B2 (ja) * 1996-07-26 2004-03-29 セコム株式会社 物体検出器
US5966678A (en) * 1998-05-18 1999-10-12 The United States Of America As Represented By The Secretary Of The Navy Method for filtering laser range data
JP2000145294A (ja) * 1998-11-17 2000-05-26 Harness Syst Tech Res Ltd 挟込み防止装置
JP3832441B2 (ja) * 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
EP1521981B1 (en) 2002-07-15 2008-02-20 Matsushita Electric Works, Ltd. Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
JP3906818B2 (ja) * 2003-04-07 2007-04-18 松下電工株式会社 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置

Also Published As

Publication number Publication date
US7643131B2 (en) 2010-01-05
TW200644624A (en) 2006-12-16
EP1879049A4 (en) 2012-02-29
JP2006308522A (ja) 2006-11-09
WO2006118286A1 (ja) 2006-11-09
EP1879049A1 (en) 2008-01-16
EP1879049B1 (en) 2016-06-29
US20090079955A1 (en) 2009-03-26
TWI310653B (en) 2009-06-01

Similar Documents

Publication Publication Date Title
US9983297B2 (en) LIDAR based 3-D imaging with varying illumination field density
US9332246B2 (en) Time of flight camera unit and optical surveillance system
US9971024B2 (en) Lidar scanner calibration
US20200249352A1 (en) Determining positional information of an object in space
JP2019504313A (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US10393877B2 (en) Multiple pixel scanning LIDAR
US9958268B2 (en) Three-dimensional measuring method and surveying system
US20160245918A1 (en) Directed registration of three-dimensional scan measurements using a sensor unit
JP2020521955A (ja) 色によるパノラマlidar結果の増強
US9329035B2 (en) Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8610881B2 (en) Lidar measurement device with target tracking and method for use of same
JP5596011B2 (ja) 光電センサ並びに物体検出及び距離測定方法
US9689667B2 (en) System, method and computer program for receiving a light beam
EP2815251B1 (en) Time of flight camera with stripe illumination
JP6296401B2 (ja) 距離測定装置および固体撮像素子
US20200033449A1 (en) Lidar sensor
CN102232197B (zh) 用于对环境进行光学扫描和测量的设备
US8259311B2 (en) Method for determining position, laser beam detector and detector-reflector device for a system for determining position
JP5016245B2 (ja) 物体の六つの自由度を求めるための測定システム
CN104160294B (zh) 利用干涉测量法确定距离变化的方法
EP3433633A1 (en) Lidar based 3-d imaging with varying pulse repetition
US7800736B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
KR100556612B1 (ko) 레이저를 이용한 위치 측정 장치 및 방법
US10215857B2 (en) Depth sensor module and depth sensing method
US7283213B2 (en) Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

R151 Written notification of patent or utility model registration

Ref document number: 4788187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250