JP6051551B2 - 測距装置及び入力装置 - Google Patents

測距装置及び入力装置 Download PDF

Info

Publication number
JP6051551B2
JP6051551B2 JP2012062890A JP2012062890A JP6051551B2 JP 6051551 B2 JP6051551 B2 JP 6051551B2 JP 2012062890 A JP2012062890 A JP 2012062890A JP 2012062890 A JP2012062890 A JP 2012062890A JP 6051551 B2 JP6051551 B2 JP 6051551B2
Authority
JP
Japan
Prior art keywords
distance
signal
distance measurement
light signal
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012062890A
Other languages
English (en)
Other versions
JP2013195246A (ja
Inventor
花田 雄一
雄一 花田
信一郎 森
信一郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012062890A priority Critical patent/JP6051551B2/ja
Publication of JP2013195246A publication Critical patent/JP2013195246A/ja
Application granted granted Critical
Publication of JP6051551B2 publication Critical patent/JP6051551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、測距装置、及び測距装置を備えたプロジェクション方式の入力装置に関する。
近年、小型のプロジェクタが実用化され、プロジェクタを備えたデジタルカメラ、ビデオカメラ、携帯電話なども提案されている。プロジェクタを備えたデジタルカメラ及びビデオカメラは、撮影した写真や動画をプロジェクタでスクリーンなどに投影することができる。一方、プロジェクタを備えた携帯電話は、電子メール、インターネット、携帯電話・移動体端末向けの1セグメント部分受信サービス(以下、「ワンセグ」と言う)、その他アプリなどに関連した画面、動画などをスクリーンなどに投影することができる。
一般的なプロジェクタは、光源にLED(Light Emitting Diode)を利用するものが多いが、近年ではレーザダイオードを利用するものが提案されている。LEDと比べると、レーザダイオードは発熱に対する耐性に優れ、電力消費の多い冷却装置を設ける必要がない分消費電力を抑えることができ、さらに、レーザ光は焦点を合わせる必要がないなどの特徴を有する。
一方、プロジェクタが投影している画面にユーザが直接触れて、画面制御を行う非接触インターフェース技術の研究及び開発が行われている。例えば、プロジェクタの投影画面を含むエリアを1または複数台の赤外線カメラなどで撮影し、ユーザの手の位置や投影画面への接触(以下、「タッチ」とも言う)を検知して制御を行う。プロジェクタの投影画面を含むエリアを1台のカメラで撮影する場合、物体を立体で検知することができないため、投影画面へのタッチを認識することが困難であったり、プロジェクタの投影光が手に遮られて手の位置の認識自体が困難な場合がある。従って、複数台のカメラをプロジェクタの光源から離して設置することにより、手の位置や投影画面へのタッチを認識するシステムが提案されているが、このようなシステムの小型化及び可搬化は難しい。また、赤外線カメラは、一般に普及している携帯電話などの可搬型装置には搭載されていないので、赤外線カメラを用いるシステムでは、当該システム専用に赤外線カメラを備えた可搬型装置を開発する必要が生じてしまう。
そこで、レーザレンジファインダ(LRF:Laser Range Finder)などのレーザ測距装置を使って測距を行うことによって、プロジェクタの投影画面上の指などの凸形状を認識して画面制御を行うことが提案されている。TOF(Time of Flight)法は、レーザ測距手法の一例である。図1は、TOF法を説明する図である。TOF法は、レーザ測距装置がレーザダイオード(LD:Laser Diode)1からレーザ光を出射してから光検出器(PD:Photo-Detector)2が対象物3で反射されたレーザ光を検知するまでの時間(即ち、時間差)に基づいて、レーザ測距装置と対象物3との間の距離を計測する。しかし、TOF法では、図1(a)に示すように、レーザ測距装置から対象物3までの距離や対象物3の質に依存して反射光のパルスがなまってしまうため、測定誤差が例えば±15cm程度となり測距精度が悪い。また、図1(b)に●印で示すように、反射光のパルスのどの波形部分を用いて測距するかに応じて測定誤差は大きく異なる。図1(b)中、縦軸は反射光のパルスの振幅を任意単位で示し、横軸は時間を任意単位で示し、破線は反射光のパルスの理想的な矩形形状を示す。
一方、LD1から出射されるレーザ光と対象物3で反射されてPD2で検知されるレーザ光との位相差に基づいて、レーザ測距装置と対象物3との間の距離を計測する位相比較法もある。しかし、位相比較法は、例えば数MHzの周波数のような高速で測距を行う場合には、測定誤差が比較的大きくなる。そこで、この数MHzの周波数をうなりによりビートダウン(Beat Down)させることで、測定誤差を例えば±0.4mm程度まで減少させて位相測定精度を向上するヘテロダイン位相比較法が提案されている。
図2に示すように、リファレンス波Woとなる波長と反射波Wrの波長の位相差を測定する場合、例えば数MHzの周波数のような高速で位相差を計測するのは困難である。そこで、ヘテロダイン位相比較法では、図3に示すように、リファレンス波Woとなる波長と反射波Wrの波長の夫々について、互いに近い周波数の波長を重ね合わせることで波長をダウンコンバートしてから位相差を測定する。図3中、(a)はリファレンス波Woとなる波長と変調されたリファレンス波Womの波長を示し、(b)は反射波Wrの波長と変調された反射波Wrmを示す。ヘテロダイン位相比較法では、図4に示すように、各波長がダウンコンバートされるので、振幅がゼロとなる地点で位相差に基づく測距を行うことにより、測距精度を向上することができる。つまり、リファレンス波Wo,Womの合成波Wocの振幅がゼロとなり、次に反射波Wr,Wrmの合成波Wrcの振幅がゼロとなった際の位相差に基づいて測距を行う。しかし、ビートダウンを行うため、変調される周波数分だけ測距に時間がかかる。図2乃至図4において、縦軸は振幅を任意単位で示し、横軸は時間を任意単位で示す。
非接触インターフェースを実現する上では、投影画面がタッチされたか否かの判断は必須であり、ヘテロダイン位相比較法のような高い測定精度が求められる。ヘテロダイン位相比較法は、通常は1点のみでの測距に利用されるため、建築、道路整備などの現場での測距で用いられている。
これに対し、プロジェクタでは、レーザ光をガルバノミラー(Galvano Mirror)を用いて高速に、例えば縦方向及び横方向に振動させることで描画を行うため、投影画面上の凸形状を認識するためには投影画面内の全レーザ光について測距する必要がある。しかし、プロジェクタで画像を投影する際、投影画面として黒い部分などは投影する必要がないので、黒い部分ではRGB(Red, Green, Blue)のレーザ光を出射しておらず、また、RGBのレーザ光は連続的に出射していない。そこで、描画用レーザダイオード(RGBレーザダイオード)とは別に、測距用のレーザダイオードを用いることが提案されている(例えば、特許文献1)。
また、ヘテロダイン位相比較法は、リファレンスWoとなる波長と反射波Wrの波長が変調される周波数により、1秒間に測距できる地点の数が限られてしまう。例えば、100Hzで変調される場合、1秒間に100回しか測距できない。画面サイズが例えば640点×480点の場合、描画点数は307200点となり、1秒間に60画面(フレーム)描画するものとすると、当然のことながら投影画面上の凸形状を認識することはできない。
1回の描画で全ての点を測距することができない場合、複数の画面(フレーム)の夫々で測距を行い、複数の画面での測距結果を重ねることで全体として各点を測距する方法が提案されている(例えば、特許文献2)。しかし、測距する位置が複数の画面(フレーム)間で1か所に偏っていると、全体として各点を正確に測距することは難しい。また、連続して測距を行うと、測距位置がリサジュー(Lissajous)図形となってしまい、測距位置が密になる箇所と疎になる箇所が発生してしまう。TOF法による測距であれば、測距位置が等間隔となるように測距タイミングを調整できるが、ヘテロダイン位相比較法による測距の場合は測距タイミングの調整はできない。
さらに、ヘテロダイン位相比較法は、実際に測距したいタイミングでは測距することができず、測距できるタイミングではガルバノミラーによってレーザ光の投射位置が移動しているため、実際に測距しているタイミングがわからず、高速で連続的に測距を行うような条件下では高精度の測距を行えない。つまり、ヘテロダイン位相比較法は、1点のみでの測距の場合は比較的高精度の測距を行うことができるものの、例えばプロジェクタに適用した場合のように高速で連続的に測距を行う場合には高精度の測距を行うことは困難である。
図5は、ヘテロダイン位相比較法における測距タイミングとガルバノミラーがレーザ光を投射している角度(即ち、基準面に対するガルバノミラーの角度)との関係を説明する図である。図5において、縦軸はリファレンス波Wo,Womの合成波Wocと反射波Wr、Wrmの合成波Wrcについては振幅、ガルバノミラーのレーザ光投射角度については当該角度を得るためにガルバノミラーの駆動部に供給される駆動信号Gaの振幅を夫々任意単位で示し、横軸は時間を任意単位で示す。例えば、タイミングt0で測距をしたい場合であっても、リファレンス波Wo,Womの合成波Wocの振幅がゼロになるタイミングt1では、ガルバノミラーは大きく移動しており駆動信号Gaに応じてレーザ光投射角度は大きく変化している。同様に、反射波Wr,Wrmの合成波Wrcの振幅がゼロになるタイミングt2では、ガルバノミラーはさらに移動しており駆動信号Gaに応じてレーザ光投射角度はさらに変化している。このため、実際に測距できるタイミングは、タイミングt0ではなくタイミングt2となるが、このタイミングt2を認識する手法は確立されていない。
特開2009−222973号公報 特許第4243090号公報
従来のレーザ測距技術では、高速で連続的な測距を高精度に行うことは難しい。
そこで、本発明は、高速で連続的な測距を高精度に行うことのできる測距装置及び入力装置を提供することを目的とする。
本発明の一観点によれば、被測定対象に対してレーザ光をガルバノミラーで振動周波数で振動させて出射して前記レーザ光の走査を所定フレーム数毎に行うと共に、リファレンス光を出射する光源系と、前記被測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、を備え、前記振動周波数であるフレームレートと前記第1及び第2合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が前記所定フレーム数に1を加算したフレーム数目で戻るように前記第1及び第2合成波のうなりの周波数が設定されている測距装置が提供される。
本発明の一観点によれば、レーザ光をガルバノミラーで振動周波数で振動させて出射して前記レーザ光の走査を所定フレーム数毎に行い任意の表面に投影画面を投影すると共に、リファレンス光を出射する光源系と、測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、前記測距位置と対象物の寸法に基づいて、前記投影画面上に位置する前記対象物のタッチ位置及び前記表面へのタッチの有無を算出する画面形状算出部と、を備え、前記振動周波数であるフレームレートと前記第1及び第2合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が前記所定フレーム数に1を加算したフレーム数目で戻るように前記第1及び第2合成波のうなりの周波数が設定されている入力装置が提供される。
開示の測距装置及び入力装置によれば、高速で連続的な測距を高精度に行うことができる。
TOF法を説明する図である。 リファレンスとなる波長と反射波の波長の位相差に基づく測距を説明する図である。 ヘテロダイン位相比較法における互いに近い周波数の波長を重ね合わせを説明する図である。 ヘテロダイン位相比較法における各波長のダウンコンバートを説明する図である。 ヘテロダイン位相比較法における測距タイミングとガルバノミラーがレーザ光を投射している角度との関係を説明する図である。 本発明の一実施例におけるプロジェクタの一例を示す図である。 測距処理の一例を説明するフローチャートである。 距離算出処理の一例を説明するフローチャートである。 測距位置算出処理の一例を説明するフローチャートである。 測距タイミングとガルバノミラーがレーザ光を投射している角度との関係を説明する図である。 画面形状算出処理の一例を説明するフローチャートである。 測距位置情報の重ね合わせを説明する図である。 投影画面上の凹凸形状の等高線の一例を示す図である。 一実施例における可搬型装置の一例を説明する図である。
開示の測距装置及び入力装置では、被測定対象に対してレーザ光をガルバノミラーで振動周波数で振動させて出射すると共に、リファレンス光を出射する光源系と、被測定対象からの反射光を検出して反射光信号を出力すると共に、リファレンス光を検出してリファレンス光信号を出力する受光系を備える。制御部は、反射光信号に反射光信号の周波数に近い周波数を合成した合成波及びリファレンス光信号にリファレンス光信号の周波数に近い周波数を合成した合成波の夫々のゼロクロス点の位相差に基づいて被測定対象までの距離を算出する距離算出部と、フレーム毎にガルバノミラーの基準位置でゼロとなる基準信号及び前記距離に基づいてレーザ光を投射している測距位置を算出する測距位置演算部を備える。
以下に、開示の測距装置及び入力装置の各実施例を図面と共に説明する。
図6は、本発明の一実施例におけるプロジェクタの一例を示す図である。プロジェクタ10は、測距装置を備えたプロジェクション方式の入力装置の一例である。図6に示すプロジェクタ10は、光源系の一例であるLD(Laser Diode)部100、受光系の一例であるPD(Photo-Detector)部200、及び制御部300を有する。
LD部100は、レーザ光を後述するガルバノミラー101−1,101−2を用いて高速に所定方向に振動させることで画面描画を行うLD走査部101、測距用のリファレンスレーザ光をPD部200側に反射させるリファレンス光反射部102、及びレーザ光出射部103を有する。レーザ光出射部103は、LD103R,103G,103B,103Lと、LD103R,103G,103B,103Lが出射するR用レーザ光、G用レーザ光、B用レーザ光、及び測距用リファレンスレーザ光(以下、「リファレンス光」と言う)を重ね合わせてリファレンス光反射部102に供給する光学系1031を有する。リファレンス光反射部102は、重ね合わされたR用レーザ光、G用レーザ光、及びB用レーザ光(以下、「描画用レーザ光」とも言う)をLD走査部101に供給すると共に、リファレンス光をPD部200に供給する光学系1021を有する。LD走査部101は、2つのガルバノミラー101−1,101−2を含む光学系1011を有する。ガルバノミラー101−1,101−2は、周知の方法で駆動されることで、重ね合わされたR用レーザ光、G用レーザ光、及びB用レーザ光を高速に所定方向(例えば、縦方向または横方向)に振動させることで描画を行う周知の構成を有する。なお、ガルバノミラー101−1,101−2の駆動部などの図示及び説明は省略する。また、ガルバノミラー101−1とガルバノミラー101−2の位置関係は、図6とは逆の位置関係であっても良い。ガルバノミラー101−1の振動方向は縦方向とし、ガルバノミラー101−2の振動方向は横方向とすることで、2次元の面に対する走査を行うことができる。なお、ガルバノミラー101−1,101−2の駆動方向は、上記と逆であっても良い。
LD103R,103G,103B,103Lの制御信号、及びLD走査部101の駆動信号については後述する。
PD部200は、リファレンス光反射部102からのリファレンス光を受光するPDを含むリファレンス光検出部201、及びLD部100から出射され対象物(図示せず)で反射された描画用レーザ光(以下、「反射光」とも言う)を受光するPDを含む反射光検出部202を有する。対象物は、プロジェクタ10の投影画面を表示できる表面を有するものであれば、特に限定されない。また、ユーザが指などで投影画面上で画面操作を行う場合には、描画用レーザ光は投射位置によっては投影画面に到達する前にユーザの指などに到達するので、対象物はユーザの指などを含む。つまり、この例における対象物は、測距の対象となる被測定対象である。リファレンス光検出部201は、リファレンス光を検出してリファレンス光信号を制御部300に供給する。反射光検出部202は、反射光を検出して反射光信号を制御部300に供給する。
制御部300は、変調周波数演部301、距離演算部302、測距位置演算部303、画面形状算出部304、画面制御部305、走査制御部306、及びLD制御部307を有する。この例では、制御部300内の各部の機能はハードウェアで実現される。しかし、制御部300内の少なくとも一部の機能をCPU(Central Processing Unit)などのプロセッサで実現しても良く、この場合、少なくとも一部の機能を1または複数のプロセッサで実現しても良い。
図7は、測距処理の一例を説明するフローチャートである。図7において、ステップS1では変調周波数演算部301がダウンコンバートする変調周波数を算出し、算出された変調周波数を距離演算部302に供給する。変調周波数は、基本的にプロジェクタ10内で設定されている各パラメータ値に基づいて決定可能である。例えば、下記の如き条件が設定されているものとする。
描画解像度:640点×480点(または、640ドット×480ドット)
フレームレート:60fps(frames per second)
画面制御レート:0.2秒(または、12フレーム)
投影画面サイズ:270mm×200mm
指の押し幅:縦15mm×横15mm
この場合、画面制御に必要な測距点数は、(投影画面サイズ)÷(指の長さ×指の幅)から求めることができる。ユーザの指の押し幅にマージンを持たせるため、上記の15mm×15mmより少し小さめに設定した10mm×10mmなる指の押し幅を用いることで、画面制御に必要な測距点数は、(270mm×200mm)÷(10mm×10mm)=540点となる。つまり、12フレームで540点の測距を行うので、1フレーム内の測距点数は45点となる。従って、1秒間で測距したい回数が変調周波数となるので、540×5=2700Hzとなる。ただし、このままでは測距位置に偏りが発生してしまう可能性があるので、フレーム毎に測距位置がばらつくように、このように求めた変調周波数に(描画解像度)÷(画面制御に必要な測位点数)から求めた周波数を加算した値を変調周波数とする。この例では、(640点×480点)÷540点≒569点であるため、変調周波数は2700Hz+569Hz=3269Hzとなる。
このように投影画面全体に測距位置を分散させる方法では、ガルバノミラー101−2の振動周波数であるフレームレートと反射光信号に反射光信号の周波数に近い周波数を合成した合成波及びリファレンス光信号にリファレンス光信号の周波数に近い周波数を合成した合成波のうなりの周期が、画面制御レート(この例では12フレーム)以内で同期しないようにする。また、1フレーム目の測距位置が13フレーム目で戻ってくるようにこれらの合成波のうなりの周波数を設定する。
ステップS2で画面描画が開始されると、ステップS3ではガルバノミラー101−2のx軸とy軸がゼロの地点を基準位置とし、走査制御部306がフレーム毎に基準位置でゼロとなる基準信号を生成すると共に、後述する同期信号及び駆動信号を生成し、ステップS4では測距位置演算部303が走査制御部306からの基準信号を取得する。
PD部200のリファレンス光検出部201及び反射光検出部202は常に光を受光しているので、ステップS5では、距離演算部302がPD部200のリファレンス光検出部201及び反射光検出部202からのリファレンス光信号及び反射光信号の夫々の周波数に近い周波数を合成してビートダウンを発生させ、これらの合成波のゼロクロス点の位相差に基づいてプロジェクタ10から対象物までの距離を演して距離情報を出力する。
ステップS6では、走査制御部306からの基準信号及び距離演算部302からの距離情報に基づいて、測距位置演算部303が各タイミングでLD走査部101(ガルバノミラー101−2)が描画用レーザ光を投射している位置、即ち、投影画面上の測距した位置を算出する。ステップS7では、測距位置演算部303が基準信号のカウント値に基づいて、投影画面上の凹凸形状(即ち、投影画面が投影されている面に対する凹凸形状)を算出する所定のフレーム数(この例では12フレーム)、即ち、画面制御レートに到達したか否かを判定し、判定結果がNOであると、ステップS11では測距位置演算部303が距離演算部302で演算した距離を示す距離情報及び測距位置演算部303で演算した測距位置を示す測距位置情報を測距位置演算部303内のメモリ(図示せず)に記憶し、処理はステップS3へ戻る。距離情報及び測距位置情報は、制御部300内に設けられた内部メモリ、あるいは、制御部300外部に設けられた外部メモリに記憶しても良いことは言うまでもない。
ステップS7の判定結果がYESであると、ステップS8では、画面形状算出部304が測距位置情報に基づいてタッチ位置とタッチの有無を判定し、タッチ位置を示すタッチ位置情報及びタッチの有無を示すタッチ有無信号を画面制御部305に供給する。ステップS9では、画面制御部305がタッチ位置情報及びタッチ有無信号に基づいて画像情報信号を生成し、LD制御部307に供給する。LD制御部307は、走査制御部306からの同期信号に同期して、画面制御部305からの画像情報信号に基づいて制御信号を生成し、制御信号でLD部100のレーザ光出射部103内のLD103R,103G,103B,103Lを制御することで、R用レーザ光、G用レーザ光、B用レーザ光、及びリファレンス光の出射を制御する。一方、走査制御部305からの駆動信号は、LD部100のLD走査部101内のガルバノミラー101−2の駆動部を駆動することで、ガルバノミラー101−2を高速に所定方向に振動させることで描画を行う。ステップS10では、画像制御部305が測距処理を終了する終了処理が行われたか否かを判定し、判定結果がNOであると処理はステップS2へ戻り、判定結果がYESであると測距処理は終了する。終了処理は、例えばプロジェクタ10の操作部などの入力部(図示せず)からユーザにより入力された指示に基づいて実行されても良い。また、終了処理の指示は、投影画面上の入力操作(即ち、非接触インターフェース)により入力されても良い。
図8は、距離演算部302がステップS5で実行する距離算出処理の一例を説明するフローチャートである。図8において、ステップS51では、距離演算部302がPD部200のリファレンス光検出部201からのリファレンス光信号にリファレンス光信号の周波数に近い周波数を合成してビートダウン(うなり)を発生させる。ステップS51と並行して、ステップS52では、距離演算部302がPD部200の反射光検出部202からの反射光信号に反射光信号の周波数に近い周波数を合成してビートダウンを発生させる。ステップS53では、距離演算部302がステップS51で発生させた合成波のゼロクロス点を検出する。同様に、ステップS54では、距離演算部302がステップS52で発生させた合成波のゼロクロス点を検出する。ステップS55では、距離演算部302がステップS53,54で検出したゼロクロス点の位相差に基づいて、プロジェクタ10から対象物までの距離を演して距離情報を出力し、処理は終了する。
図9は、測距位置演算部303がステップS6で実行する測距位置算出処理の一例を説明するフローチャートであり、図10は、測距タイミングとガルバノミラー101−2がレーザ光を投射している角度(即ち、基準面に対するガルバノミラー101−2の角度)との関係を説明する図である。図10において、縦軸はリファレンス波Wo,Womの合成波Wocと反射波Wr、Wrmの合成波Wrcについては振幅、ガルバノミラー101−2のレーザ光投射角度については当該角度を得るためにガルバノミラー101−2の駆動部に供給される駆動信号Gaの振幅を夫々任意単位で示し、横軸は時間を任意単位で示す。
図9において、ステップS61では、測距位置演算部303が基準信号の時刻(タイミング)t0を測距位置演算部303内のメモリに記憶する。基準信号の時刻t0は、制御部300内に設けられた内部メモリ、あるいは、制御部300外部に設けられた外部メモリに記憶しても良いことは言うまでもない。ステップS62では、測距位置演算部303が1点目の測距であるか否かを判定し、判定結果がYESであれば処理はステップS63へ進み、判定結果がNOであれば処理はステップS67へ進む。1点目の測距の場合、ステップS63では、測距位置演算部303がリファレンス光のゼロクロス時刻t1を取得する。ステップS64では、測距位置演算部303が基準信号の時刻t0からゼロクロス時刻t1までの時間Δtを算出してメモリに記憶する。ステップS65では、測距位置演算部303が反射光のゼロクロス時刻t2を取得する。ステップS66では、測距位置演算部303が (t2-t1)+Δtを算出することで、測距位置(ガルバノミラー101−2の角度)を算出し、処理は終了する。
一方、2点目以降の測距であると、ステップS67では、測距位置演算部303が反射光のゼロクロス時刻t2を取得する。ステップS68では、1点目で算出した時間Δtと合成波のうなりの周期の半分の時間を利用して、(t2-t1)+Δt+[(合成波のうなりの周期)/2]を算出することで、測距位置(ガルバノミラー101−2の角度)を算出し、処理は終了する。
図11は、画面形状算出部304がステップS8で実行する画面形状算出処理の一例を説明するフローチャートであり、図12は、測距位置情報の重ね合わせを説明する図である。図12中、□印は測距位置情報に含まれる測距点を示し、上申書と共に提出するカラー図面では□印の色がフレーム毎に異なる。図12に示す外枠の矩形形状が、プロジェクタ10の投影画面の外枠形状に相当する。
図11において、ステップS81では、画面形状算出部304がメモリに記憶されている距離情報及び測距位置情報を統合する。図12中、(a)は1フレーム目の測距位置情報を示し、(b)は1フレーム目と2フレーム目の測距位置情報を重ね合わせて統合した結果を示し、(c)は1フレーム目乃至3フレーム目までの3フレーム分の測距位置情報を重ね合わせて統合した結果を示し、(d)は1フレーム目乃至12フレーム目までの12フレーム分の測距位置情報を重ね合わせて統合した結果を示す。なお、距離情報は、各□印で示される測距点の距離の数値を含み、測距位置情報と同様に12フレーム分の距離情報が重ね合わされて統合される。
ステップS82では、画面形状算出部304が投影画面への物の侵入を検知する。ユーザが投影画面上を指差す際は、必ず投影画面の端から指が侵入するので、画面形状算出部304は投影画面の外枠から内側への指(または、手)の侵入を検知する。投影画面へペン、スタイラス(Stylus)などが侵入した場合も、侵入を同様に検知できる。また、投影画面への侵入物の形状、材質、特性などは特に限定されず、導電性材料である必要はない。ステップS83では、画面形状算出部304が投影画面への侵入があるか否かを判定し、判定結果がYESであると処理はステップS84へ進み、判定結果がNOであると処理はステップS87へ進む。
ステップS84では、画面形状算出部304が投影画面への侵入物の侵入箇所から侵入物の先端の位置(即ち、タッチ位置)を検知する。この例では、投影画面へのユーザの手の先端(指)の位置を検知する。投影画面へペンなどが侵入した場合も、指の寸法の代わりにペンなどの寸法を考慮してタッチ位置を検知することができる。
図13は、投影画面上の凹凸形状の等高線の一例を示す図である。図13中、等高線は投影画面上の高さ位置を示し、上申書と共に提出するカラー図面では、同図の右側に数値で示すように、等高線の色が10mm(1.0cm)間隔で異なる。図13に示す等高線は、12フレーム分の測距位置情報を重ね合わせて統合した結果と、12フレーム分の距離情報を重ね合わせて統合した結果とを統合した結果に相当する。
ステップ83は、投影画面内で、プロジェクタ10から投影画面までの距離より短い距離が測距されると、図13に示す如き等高線に基づいて投影画面への侵入を認識できる。例えば、指の厚さが約10mm(1.0cm)であり、投影画面までの距離が300mm(30cm)の場合、ステップS83は投影画面までの距離300mm(30cm)から約−5mm(−0.5cm)の距離が測距されると、投影画面への侵入を認識できる。また、ステップ84は、図13に示す如き等高線に基づいて投影画面内のタッチ位置を検知できる。例えば、ステップS84は、投影画面内で、投影画面までの距離から−5mm(−0.5cm)から−15mm(−1.5cm)の距離が測距されると、投影画面内のタッチ位置を検知できる。
ステップS85では、画面形状算出部304が投影画面内のタッチ位置でのタッチが有るか否かを判定する。ステップS85は、図13に示す如き等高線に基づいて、投影画面内のタッチ位置でのタッチの有無を判定できる。例えば、指の厚さを約10mm(1.0cm)とすると、ステップS85は、例えばプロジェクタ10から投影画面までの距離が300mm(30cm)で、指の先端までの距離が200mm(20cm)である場合、指の先端までの距離は投影画面までの距離から−100mm(−10cm)なので、タッチが無いと判定できる。一方、ステップS85は、例えばプロジェクタ10から指の先端までの距離が295mm(29.0cm)から285mm(28.5cm)であると、タッチが有ると判定できる。
なお、例えば図13の投影画面内の左中部分に凸形状があり、この部分で等高線の色が変わっているなど、投影画面が投影される面が平坦面ではない場合もあり得るが、投影画面の端からの侵入が検知ができない固定位置の凸形状などは無視すれば良い。
ステップS85の判定結果がYESであると、ステップS86では、画面形状算出部304がステップS84で検知されたタッチ位置を示すタッチ位置情報と、ステップS85でタッチが有ると判定されたことを示すタッチ有無信号とを出力するタッチ判定を行い、処理は終了する。一方、ステップS83またはステップS85の判定結果がNOであると、ステップS87では、画面形状算出部304がステップS84でタッチ位置が検知されなかったことを示すタッチ位置情報、あるいは、ステップS85でタッチが無いと判定されたことを示すタッチ有無信号を出力するタッチ未判定を行い、処理は終了する。
図14は、一実施例における可搬型装置の一例を説明する図である。この例では、ユーザU1が可搬型装置50を持ってLD部100からの投影画面31を机51上に形成する。可搬型装置50は、プロジェクタ10を備えたデジタルカメラ、ビデオカメラ、携帯電話などで形成されている。ユーザU2が投影画面31上の位置を指差すと、プロジェクタ10はPD部200で受光した反射光に基づいてユーザU2が指差した投影画面31上のタッチ位置とタッチの有無を検出する。従って、画面制御部305は、画面形状算出部304で算出されたタッチ位置情報及びタッチ有無信号に基づいて投影画面31上でのユーザU2の手の動きを捉えて、必要に応じた画面操作を行うことができる。なお、投影画面31は、机51上に限定されず、例えば壁などにも形成可能である。また、投影画面31は、机51上の水平面以外の面に形成しても良い。さらに、可搬型装置50は、ユーザU1が把持する必要はなく、例えば台(図示せず)などの上に置かれていても良い。要は、プロジェクタ10は、画面操作を行うユーザの手、指、手に持たれたペンなどが、プロジェクタ10と投影画面31が投影される面との間の位置を取り得る配置にすれば良い。
投影画面31が例えば画像の場合、ユーザU2の手、指、またはユーザU2が持つペンなどの動きに応じた各種操作を画像に対して行うことが可能となる。投影画面31は、メニュー画面、キーボード、テンキーなどであっても良く、この場合、ユーザU2の手、指、またはユーザU2が持つペンなどの動きに応じたボタン操作やキー入力を行うことが可能となる。例えば、投影画面31がキーボードであり、ユーザU2がキーボード上の「A」のキーの位置をタッチすれば、画面制御部305はキーボードの投影画面31とタッチ位置を重ねることで、「A」のキーが操作されたことを認識することができ、例えば「A」のキーが操作されたことを示すキーボードの投影画面31を出力するようにLD制御部307を制御することも可能となる。このようにして、プロジェクタ10が投影している投影画面31にユーザが直接触れるなどして画面制御を行う非接触インターフェースを実現することができる。
開示の測距装置によれば、高速で連続的な測距を高精度に行うことができる。また、ガルバノミラーを使用したヘテロダイン位相比較法における測距位置のずれをなくすことができ、投影画面全体に渡って測距を高精度に行うことができる。さらに、測距装置の構成が比較的小型で簡単であることから、携帯型装置に適した非接触インターフェースを形成可能となる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
被測定対象に対してレーザ光をガルバノミラーで振動周波数で振動させて出射すると共に、リファレンス光を出射する光源系と、
前記被測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
前記反射光信号に前記反射光信号の周波数に近い周波数を合成した合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離に基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部
を備えたことを特徴とする、測距装置。
(付記2)
前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、付記1記載の測距装置。
(付記3)
前記光源系は、前記レーザ光の走査を所定フレーム数毎に行い、
前記振動周波数であるフレームレートと前記合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が[(所定フレーム数)+1]目で戻るように前記合成波のうなりの周波数が設定されていることを特徴とする、付記1または2記載の測距装置。
(付記4)
前記光源系は、前記レーザ光による投影画面を任意の表面に投影し、前記被測定対象は、前記表面と前記測距装置との間の位置を取ることを特徴とする、付記1乃至3のいずれか1項記載の測距装置。
(付記5)
レーザ光をガルバノミラーで振動周波数で振動させて出射して任意の表面に投影画面を投影すると共に、リファレンス光を出射する光源系と、
測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
前記反射光信号に前記反射光信号の周波数に近い周波数を合成した合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離に基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、
前記測距位置と対象物の寸法に基づいて、前記投影画面上に位置する前記対象物のタッチ位置及び前記表面へのタッチの有無を算出する画面形状算出部
を備えたことを特徴とする、入力装置。
(付記6)
前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、付記5記載の入力装置。
(付記7)
前記光源系は、前記レーザ光の走査を所定フレーム数毎に行い、
前記振動周波数であるフレームレートと前記合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が[(所定フレーム数)+1]目で戻るように前記合成波のうなりの周波数が設定されていることを特徴とする、付記5または6記載の入力装置。
(付記8)
前記光源系は、前記レーザ光による投影画面を任意の表面に投影し、前記被測定対象は、前記表面と前記測距装置との間の位置を取ることを特徴とする、付記5乃至7のいずれか1項記載の入力装置。
(付記9)
前記タッチ位置及び前記タッチの有無に基づいて画像情報信号を生成する画面制御部と、
前記画像情報信号に基づいて前記光源系の前記レーザ光及び前記リファレンス光の出射を制御する制御信号を生成する光制御部
を更に備えたことを特徴とする、付記5乃至8のいずれか1項記載の入力装置。
(付記10)
前記画面形状算出部は、前記所定フレーム数分の前記測距位置を重ね合わせて統合した結果と、前記所定フレーム数分の距離情報を重ね合わせて統合した結果とを統合した結果に相当する等高線に基づいて、前記投影画面上に位置する前記対象物のタッチ位置及び前記表面へのタッチの有無を算出することを特徴とする、付記7記載の入力装置。
以上、開示の測距装置及び入力装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
10 プロジェクタ
31 投影画面
50 携帯型装置
100 LD部
101 LD走査部
102 リファレンス光反射部
103 レーザ光出射部
200 PD部
201 リファレンス光検出部
202 反射光検出部
300 制御部
301 変調周波数演算部
302 距離演算部
303 測距位置演算部
304 画面形状算出部
305 画面制御部
306 走査制御部
3−7 LD制御部

Claims (7)

  1. 被測定対象に対してレーザ光をガルバノミラーで振動周波数で振動させて出射して前記レーザ光の走査を所定フレーム数毎に行うと共に、リファレンス光を出射する光源系と、
    前記被測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
    前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
    フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、
    を備え、
    前記振動周波数であるフレームレートと前記第1及び第2合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が前記所定フレーム数に1を加算したフレーム数目で戻るように前記第1及び第2合成波のうなりの周波数が設定されていることを特徴とする、測距装置。
  2. 前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記第1及び第2合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、請求項1記載の測距装置。
  3. レーザ光をガルバノミラーで振動周波数で振動させて出射して前記レーザ光の走査を所定フレーム数毎に行い任意の表面に投影画面を投影すると共に、リファレンス光を出射する光源系と、
    測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
    前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
    フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、
    前記測距位置と対象物の寸法に基づいて、前記投影画面上に位置する前記対象物のタッチ位置及び前記表面へのタッチの有無を算出する画面形状算出部と、
    を備え、
    前記振動周波数であるフレームレートと前記第1及び第2合成波のうなりの周期が前記所定フレーム数以内で同期せず、1フレーム目の測距位置が前記所定フレーム数に1を加算したフレーム数目で戻るように前記第1及び第2合成波のうなりの周波数が設定されていることを特徴とする、入力装置。
  4. 前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記第1及び第2合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、請求項3記載の入力装置。
  5. 前記タッチ位置及び前記タッチの有無に基づいて画像情報信号を生成する画面制御部と、
    前記画像情報信号に基づいて前記光源系の前記レーザ光及び前記リファレンス光の出射を制御する制御信号を生成する光制御部
    を更に備えたことを特徴とする、請求項3または4記載の入力装置。
  6. 被測定対象に対してレーザ光をガルバノミラーで振動周波数で振動させて出射すると共に、リファレンス光を出射する光源系と、
    前記被測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
    前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
    フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、
    を備え、
    前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記第1及び第2合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、測距装置。
  7. レーザ光をガルバノミラーで振動周波数で振動させて出射して任意の表面に投影画面を投影すると共に、リファレンス光を出射する光源系と、
    被測定対象からの反射光を検出して反射光信号を出力すると共に、前記リファレンス光を検出してリファレンス光信号を出力する受光系と、
    前記反射光信号に前記反射光信号の周波数に近い周波数を合成した第1合成波及び前記リファレンス光信号に前記リファレンス光信号の周波数に近い周波数を合成した第2合成波の夫々のゼロクロス点の位相差に基づいて前記被測定対象までの距離を算出する距離算出部と、
    フレーム毎に前記ガルバノミラーの基準位置でゼロとなる基準信号及び前記距離算出部による前記距離の算出タイミングに基づいて前記レーザ光を投射している測距位置を算出する測距位置演算部と、
    前記測距位置と対象物の寸法に基づいて、前記投影画面上に位置する前記対象物のタッチ位置及び前記表面へのタッチの有無を算出する画面形状算出部と、
    を備え、
    前記測距位置演算部は、前記基準信号から前記リファレンス光信号のゼロクロスまでの時間をΔt、前記リファレンス光信号のゼロクロスの時刻をt1、前記反射光信号のゼロクロスの時刻をt2とすると、1点目の測距については (t2-t1)+Δtから前記測距位置を算出し、2点目以降の測距については(t2-t1)+Δt+[(前記第1及び第2合成波のうなりの周期)/2]から前記測距位置を算出することを特徴とする、入力装置。
JP2012062890A 2012-03-19 2012-03-19 測距装置及び入力装置 Expired - Fee Related JP6051551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012062890A JP6051551B2 (ja) 2012-03-19 2012-03-19 測距装置及び入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012062890A JP6051551B2 (ja) 2012-03-19 2012-03-19 測距装置及び入力装置

Publications (2)

Publication Number Publication Date
JP2013195246A JP2013195246A (ja) 2013-09-30
JP6051551B2 true JP6051551B2 (ja) 2016-12-27

Family

ID=49394373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012062890A Expired - Fee Related JP6051551B2 (ja) 2012-03-19 2012-03-19 測距装置及び入力装置

Country Status (1)

Country Link
JP (1) JP6051551B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442851B2 (ja) * 2014-04-03 2018-12-26 三菱電機株式会社 レーザ画像計測装置
JP2016017918A (ja) * 2014-07-10 2016-02-01 富士通株式会社 距離測定装置、距離測定方法およびプログラム
CN107632307A (zh) * 2017-08-23 2018-01-26 天津大学 自调节脉冲激光测距系统及方法
CN113176550B (zh) * 2019-12-30 2023-04-07 上海禾赛科技有限公司 用于扫描振镜的帧同步方法和激光雷达

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06186337A (ja) * 1992-12-21 1994-07-08 Mitsubishi Heavy Ind Ltd レーザ測距装置
JPH09113217A (ja) * 1995-10-13 1997-05-02 Hoya Corp 光ヘテロダイン式変位量検出装置
JP3546126B2 (ja) * 1997-10-02 2004-07-21 三菱重工業株式会社 3次元形状計測装置
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
JP4370860B2 (ja) * 2003-09-01 2009-11-25 日産自動車株式会社 物体検出装置
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器

Also Published As

Publication number Publication date
JP2013195246A (ja) 2013-09-30

Similar Documents

Publication Publication Date Title
JP5277703B2 (ja) 電子機器
US9430138B2 (en) Flexible room controls
EP2696216B1 (en) Distance detecting device and image processing apparatus including the same
US8491135B2 (en) Interactive projection with gesture recognition
US9229584B2 (en) Information input apparatus
KR101289595B1 (ko) 격자패턴투영장치
JP2013061552A (ja) プロジェクタ装置および操作検出方法
JP2005115870A (ja) プロジェクタ並びにプロジェクタの付属装置
JP6047763B2 (ja) ユーザインターフェース装置およびプロジェクタ装置
JP6051551B2 (ja) 測距装置及び入力装置
US20120218225A1 (en) Optical scanning type touch apparatus and operation method thereof
CN103176592A (zh) 虚拟投影输入系统及其输入检测方法
CN103092357A (zh) 一种扫描定位的实现方法及投影键盘装置
WO2013111376A1 (ja) インターフェース装置およびインターフェース装置の駆動方法
JP2014202951A (ja) 画像投影装置、及び操作物検出方法
US11558591B2 (en) Projector focusing method and projector focusing system capable of projecting high resolution images at arbitrary positions
WO2022137940A1 (ja) 空間浮遊映像表示装置
WO2017212601A1 (ja) 光測距装置、及びこれを備えた映像投写装置
EP2950297B1 (en) Laser projection display and method for aligning color of the same
US20140001346A1 (en) Image projection device and detection method thereof
EP2787732B1 (en) Projector
JP2014123170A (ja) 位置判定装置及び位置判定方法
WO2016042637A1 (ja) 光源装置、電子黒板システムおよび光源装置の制御方法
US20140300583A1 (en) Input device and input method
US9335158B2 (en) Projector and projector system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R150 Certificate of patent or registration of utility model

Ref document number: 6051551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees