JPWO2016063911A1 - 物体検出装置および情報処理装置 - Google Patents
物体検出装置および情報処理装置 Download PDFInfo
- Publication number
- JPWO2016063911A1 JPWO2016063911A1 JP2016555253A JP2016555253A JPWO2016063911A1 JP WO2016063911 A1 JPWO2016063911 A1 JP WO2016063911A1 JP 2016555253 A JP2016555253 A JP 2016555253A JP 2016555253 A JP2016555253 A JP 2016555253A JP WO2016063911 A1 JPWO2016063911 A1 JP WO2016063911A1
- Authority
- JP
- Japan
- Prior art keywords
- reflected light
- signal
- light
- detected
- detected object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
- G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
Abstract
物体検出装置(1)は、第1,第2の発光素子(4),(8)、第1,第2の受光素子(5),(9)を有する第1,第2の光センサ(3),(7)と、信号処理回路(11)とを備えている。信号処理回路(11)は、第1,第2の受光素子(5),(9)から出力される第1,第2の反射光信号(Sr1),(Sr2)を、アナログ信号または多値化デジタル信号を用いて処理する。信号処理回路(11)は、第1,第2の反射光信号(Sr1),(Sr2)に対して信号強度の変化を検出するための閾値(TH1),(TH2)を有する。信号処理回路(11)は、第1の反射光信号(Sr1)の信号強度が閾値(TH1)を超えて変化する時点と、第2の反射光信号(Sr2)の信号強度が閾値(TH2)を超えて変化する時点とを比較して、被検出物体(Obj)の移動方向を検知する。
Description
本発明は、発光素子と受光素子とを用いて被検出物体の存在や移動方向を検知する物体検出装置および情報処理装置に関する。
一般に、発光素子と受光素子とを用いて指や手等の被検出物体の移動を検知する入力装置が知られている(例えば、特許文献1参照)。特許文献1に記載された入力装置は、1個の発光素子と2個の受光素子とを備え、2個の受光素子毎に被検出物体からの反射光を受光して、2つの反射光信号の時間的変化に基づいて被検出物体の移動方向を検知する。
特許文献1に記載された入力装置では、センサが被検出物体である指を検知した場合を値「1」、検知しない場合を値「0」として2値(1ビット)のデジタル信号として表現している。しかしながら、指の形状、大きさ、動かし方等は操作者によって異なるため、2値のデジタル信号では、被検出物体を正確に検知できないという問題がある。
本発明は前述の問題に鑑みなされたものであり、本発明の目的は、被検出物体の検知精度を高めることができる物体検出装置および情報処理装置を提供することにある。
(1).上記課題を解決するために、本発明は、第1の発光素子と、前記第1の発光素子から出射された光が被検出物体によって反射された第1の反射光を受光する第1の受光素子と、を有する第1の光センサと、第2の発光素子と、前記第2の発光素子から出射された光が前記被検出物体によって反射された第2の反射光を受光する第2の受光素子と、を有する第2の光センサと、前記第1,第2の受光素子から出力される反射光信号に基づいて前記被検出物体の存在および移動方向を検知する信号処理手段と、を備え、前記信号処理手段は、前記第1,第2の反射光信号をアナログ信号または多値化デジタル信号を用いて処理する構成としている。
本発明によれば、第1の発光素子から出射された光は、被検出物体に反射された第1の反射光として第1の受光素子で受光される。また、第2の発光素子から出射された光は、被検出物体に反射された第2の反射光として第2の受光素子で受光される。この場合、1つの発光素子から出射された光を2つの受光素子で受光するときに比べて、第1の発光素子からの光による第1の反射光と、第2の発光素子からの光による第2の反射光とを明確に区別することができる。また、第1の発光素子を被検出物体が覆うことによって第1の反射光が強くなり、第2の発光素子を被検出物体が覆うことによって第2の反射光が強くなる。この結果、第1の受光素子から出力される第1の反射光信号と、第2の受光素子から出力される第2の反射光信号とを比較することにより、例えば第1,第2の発光素子を被検出物体が覆うか否かを判別することができ、被検出物体の存在および移動方向を検知することができる。
また、信号処理手段は、第1,第2の受光素子から出力される第1,第2の反射光信号をアナログ信号または多値化デジタル信号を用いて処理する。このため、被検出物体の形状、大きさ、動かし方等に応じて、第1,第2の反射光信号の強度が変化するときでも、これらの違いを考慮した上で被検出物体の存在および移動方向を検知することができ、被検出物体の検知精度を高めることができる。
(2).本発明では、前記信号処理手段は、前記第1,第2の反射光信号に対して信号強度の変化を検出するための閾値を有し、前記第1の反射光信号の信号強度が前記閾値を超えて変化する時点と、前記第2の反射光信号の信号強度が前記閾値を超えて変化する時点とを比較して、前記被検出物体の移動方向を検知する構成としている。
本発明によれば、信号処理手段は、第1,第2の反射光信号に対して信号強度の変化を検出するための閾値を設けている。これにより、信号処理手段は、第1の反射光信号の信号強度が閾値を超えて変化する時点と、第2の反射光信号の信号強度が閾値を超えて変化する時点とを比較して、被検出物体の移動方向を検知することができる。
(3).本発明では、前記閾値は、前記第1,第2の反射光信号に応じて可変に設定することができる構成としている。
本発明によれば、閾値は、第1,第2の反射光信号に応じて可変に設定する。このため、例えば被検出物体の形状、大きさ、動かし方等に応じて、第1,第2の反射光信号の強度変化が小さくなるときでも、このような小さな強度変化が検出可能となるような値に閾値を設定することができる。この結果、閾値を第1の反射光信号と第2の反射光信号とを比較し易い値に変更することができる。従って、被検出物体の位置等により第1の反射光信号と第2の反射光信号とが比較し難い場合でも、閾値を適切な値に設定することにより、被検出物体の移動方向を検知することができる。
(4).本発明では、前記被検出物体が前記第1の光センサから前記第2の光センサに向けて移動したときと、前記被検出物体が前記第2の光センサから前記第1の光センサに向けて移動したときとで、前記被検出物体が前記第1,第2の光センサを通過した後の前記第1,第2の反射光信号の信号強度が異なるときに、前記被検出物体が通過した後の前記第1,第2の反射光信号の信号強度が大きくなる値に基づいて前記閾値を設定してなる構成としている。
本発明によれば、被検出物体の移動方向に応じて第1,第2の反射光信号が異なるときに、被検出物体が通過した後の第1,第2の反射光信号の信号強度が大きくなる値に基づいて閾値を設定している。このとき、被検出物体が通過した後の第1,第2の反射光信号の信号強度が大きくなると、第1,第2の反射光信号の信号強度の変化が小さくなり、被検出物体の通過が検出し難くなる。これに対し、被検出物体が通過した後の第1,第2の反射光信号の信号強度が大きくなる値に基づいて閾値を設定するから、このような小さな強度変化が検出可能となるような値に閾値を設定することができ、被検出物体の移動方向の検知精度を高めることができる。
(5).本発明の物体検出装置を備えた情報処理装置には、操作者が手で把持したときに前記被検出物体としての操作者の指の存在および移動方向を検知する位置に前記第1,第2の光センサを設ける構成としている。
これにより、操作者が情報処理装置を把持した状態で指を動かすことにより、情報処理装置のON/OFF動作やスクロール動作等を操作することができる。
(6).本発明では、前記第1,第2の光センサは前記情報処理装置の側面に設けられ、前記操作者の親指の伸び方向および曲げ方向の動作を検知する構成としている。
本発明によれば、物体検出装置は情報処理装置の側面に設けられ、操作者の親指の動作を検知するので、操作者が親指の伸び動作および曲げ動作をすることにより、情報処理装置を操作することができる。
以下、本発明の実施の形態による物体検出装置および情報処理装置について、図面を参照しつつ詳細に説明する。
図1ないし図12に、第1の実施の形態による物体検出装置1を示す。物体検出装置1は、基板2、第1の光センサ3、第2の光センサ7、信号処理回路11等を備える。ここで、基板2は、絶縁材料を用いて形成された平板であり、例えばプリント配線基板が用いられている。基板2の表面(上面)には、第1の光センサ3と第2の光センサ7とが実装される。
第1の光センサ3は、第1の発光素子4、第1の受光素子5、第1の封止部材6等を備えている。この第1の光センサ3は、第1の発光素子4から出射した光(第1の出射光O1)が被検出物体Objによって反射された第1の反射光R1を、第1の受光素子5によって受光するものである。
第1の発光素子4は、基板2の表面に実装され、後述の発光素子駆動部12で出力された発光信号St1に基づいて赤外線や可視光線の光を出射する。第1の発光素子4の光軸は通常、例えば基板2に対して垂直方向(図1の上方向)である。第1の発光素子4としては、例えば発光ダイオード(LED)、レーザダイオード(LD)、面発光レーザ(VCSEL)等が用いられる。
第1の受光素子5は、第1の発光素子4の隣に位置し基板2の表面に実装されている。この第1の受光素子5は、第1の発光素子4から出射された光が被検出物体Objによって反射された第1の反射光R1を受光する。そして、第1の受光素子5は、第1の反射光R1の強度に応じた電流を第1の反射光信号Sr1として後述の信号処理回路11に出力する。第1の受光素子5としては、例えばフォトダイオード(PD)、フォトトランジスタ等が用いられる。
第1の封止部材6は、基板2の表面に設けられ、その内部に第1の発光素子4および第1の受光素子5が埋設されている。この第1の封止部材6は、例えば第1の発光素子4から出力される光を透過可能な絶縁性の樹脂材料により形成され、基板2の表面を封止している。なお、第1の封止部材6には、集光用のレンズ等を形成してもよい。
第2の光センサ7は、第1の光センサ3と異なる位置として、例えば第1の光センサ3と水平方向で隣合う位置に配置されている。第2の光センサ7は、第1の光センサ3とほぼ同様に構成され、第2の発光素子8、第2の受光素子9、第2の封止部材10等を備えている。このとき、第2の発光素子8、第2の受光素子9、第2の封止部材10は、第1の発光素子4、第1の受光素子5、第1の封止部材6にそれぞれ対応している。第2の光センサ7は、第2の発光素子8から出射した光(第2の出射光O2)が被検出物体Objによって反射された第2の反射光R2を、第2の受光素子9によって受光するものである。
図2に示すように、信号処理回路11は、発光素子駆動部12、反射光信号増幅部13、A/Dコンバータ14および演算処理部15等を備えている。この信号処理回路11は、信号処理手段を構成するものである。信号処理回路11は、発光素子駆動部12を用いて第1,第2の発光素子4,8を駆動し、反射光信号増幅部13を用いて被検出物体Objからの反射光R1,R2に応じた第1,第2の反射光信号Sr1,Sr2を演算処理部15に向けて出力する。
信号処理回路11は、例えば基板2に実装されている。なお、信号処理回路11は、基板2とは異なる部材に実装される構成としてもよい。また、発光素子駆動部12、反射光信号増幅部13が基板2に実装され、A/Dコンバータ14および演算処理部15は基板2とは異なる部材に実装される構成としてもよい。
発光素子駆動部12は、演算処理部15と協働して発光制御手段を構成する。発光素子駆動部12は、第1,第2の発光素子4,8に接続され、演算処理部15からの制御信号に基づいて発光信号St1,St2を出力する。具体的には、発光素子駆動部12は、第1,第2の発光素子4,8を発光させるための駆動電流を、第1,第2の発光素子4,8に供給する。
反射光信号増幅部13は、第1,第2の受光素子5,9に接続され、第1,第2の受光素子5,9から第1,第2の反射光信号Sr1,Sr2が入力される。反射光信号増幅部13は、第1,第2の反射光信号Sr1,Sr2に対して電流−電圧変換を行い、電流−電圧変換された第1,第2の反射光信号Sr1,Sr2を増幅する。
A/Dコンバータ14は、演算処理部15の一部を構成し、第1,第2の受光素子5,9に接続されている。このA/Dコンバータ14は、第1,第2の受光素子5,9から供給された第1,第2の反射光信号Sr1,Sr2をアナログ信号からデジタル信号に変換する。ここで、デジタル信号は、2ビット以上の多値化デジタル信号であり、好ましくは8ビット以上の多値化デジタル信号である。
演算処理部15は、例えばマイクロプロセッサであり、第1,第2の発光素子4,8の発光を制御する処理、第1,第2の受光素子5,9から出力される第1,第2の反射光信号Sr1,Sr2に基づいて被検出物体Objの存在や移動方向を検知する処理、物体検出装置1の全体的な制御等を行う。
具体的には、演算処理部15は、第1,第2の発光素子4,8の出射光O1,O2の強度(レベル)やタイミングを制御するための制御信号を発光素子駆動部12に供給し、この制御信号に対応するように第1,第2の発光素子4,8を発光させる。ここで、発光素子駆動部12は、例えば発光信号St1,St2としてパルス状の駆動電流を第1,第2の発光素子4,8にそれぞれ供給する。発光信号St1,St2のパルスは、予め決められた一定の発光周期を有すると共に、第1,第2の発光素子4,8毎に異なるタイミングで出力される。これにより、第1,第2の発光素子4,8は、各々がパルス発光で、かつ時分割発光する。
また、演算処理部15は、被検出物体Objからの反射光R1,R2に応じた第1,第2の反射光信号Sr1,Sr2がA/Dコンバータ14を介して入力される。このとき、演算処理部15は、第1,第2の反射光信号Sr1,Sr2を、第1,第2の発光素子4,8の発光タイミング毎にA/Dコンバータ14を用いてデジタル信号に変換して取り出す。このため、演算処理部15には、発光タイミング毎に抽出したパルス状の反射光信号Sr1,Sr2が包絡線検波したものに変換されて入力される。なお、例えば出射光O1,O2の波長を相違させる等のように、第1の出射光O1による第1の反射光信号Sr1と、第2の出射光O2による第2の反射光信号Sr2とが分離して検出可能であれば、出射光O1,O2は連続発光してもよい。
さらに、演算処理部15は、第1,第2の反射光信号Sr1,Sr2に対して信号強度の変化を検出するための所定の閾値TH1,TH2を有する。演算処理部15は、被検出物体Objの検出感度や精度が向上するように、第1,第2の反射光信号Sr1,Sr2の信号強度に応じて閾値TH1,TH2を可変に設定する。このとき、閾値TH1,TH2は、例えば第1,第2の反射光信号Sr1,Sr2の最大値Smaxと最小値Sminの中間値付近の値に設定されている。また、被検出物体Objの形状や動作に応じて、被検出物体Objが第1,第2の光センサ3,7を通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度が最小値Sminよりも増加するときには、閾値TH1,TH2は、増加した信号強度よりも大きな値に設定される。閾値TH1,TH2は、例えば同じ値に設定されている。なお、第1,第2の発光素子4,8、第1,第2の受光素子5,9の個体差等を考慮して、閾値TH1,TH2を互いに異なる値に設定してもよい。
そして、演算処理部15は、第1の反射光信号Sr1の信号強度が閾値TH1を超えて変化する時点と、第2の反射光信号Sr2の信号強度が閾値TH2を超えて変化する時点とを比較して、被検出物体Objの存在および移動方向を検知する。
具体的には、演算処理部15は、第1の反射光信号Sr1の信号強度が閾値TH1を超えて増加する立上り時点ta1と、第2の反射光信号Sr2の信号強度が閾値TH2を超えて増加する立上り時点ta2とを比較し、これらの時間差ΔTaを算出する。同様に、演算処理部15は、第1の反射光信号Sr1の信号強度が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2の信号強度が閾値TH2を超えて減少する立下り時点tb2とを比較し、これらの時間差ΔTbを算出する。演算処理部15は、時間差ΔTa,ΔTbに基づいて、被検出物体Objの存在および移動方向を検知する。
なお、信号処理回路11は、A/Dコンバータ14を用いて第1,第2の反射光信号Sr1,Sr2をアナログ信号から多値化デジタル信号に変換する構成とした。しかし、本発明はこれに限らず、信号処理回路は、A/Dコンバータを設けずに、第1,第2の反射光信号Sr1,Sr2をアナログ信号のまま処理する構成としてもよい。
次に、図3ないし図12を用いて、物体検出装置1による被検出物体Objの検知動作について説明する。
物体検出装置1が駆動すると、第1,第2の発光素子4,8は基板2の上方に向けて発光信号St1,St2に基づく光(出射光O1,O2)を出射する。この状態で基板2の上方を手や指等の被検出物体Objが通過すると、第1,第2の発光素子4,8の光路を被検出物体Objが遮る。これにより、被検出物体Objは第1,第2の発光素子4,8からの出射光O1,O2を反射する。この反射光R1,R2はそれぞれ第1,第2の受光素子5,9によって受光され、第1,第2の受光素子5,9は、反射光R1,R2の強度に応じた第1,第2の反射光信号Sr1,Sr2を出力する。
A/Dコンバータ14は、第1,第2の受光素子5,9からの第1,第2の反射光信号Sr1,Sr2を、アナログ信号から例えば8ビットまたは10ビット等の多値化デジタル信号に変換する。そして、演算処理部15は、第1,第2の反射光信号Sr1,Sr2に基づいて、被検出物体Objの移動方向、位置、移動速度等を特定する。
次に、図3ないし図12を用いて、信号処理回路11が被検出物体Objの移動方向等を特定する方法について説明する。
まず、図3に示すように、被検出物体Objを図3中の左側から右側に移動させた場合、即ち、第1,第2の光センサ3,7の上方を横切るように、被検出物体Objを第1の光センサ3から第2の光センサ7に向けて移動させた場合について説明する。この場合、信号処理回路11は、図4に示すような第1,第2の反射光信号Sr1,Sr2を検知する。
最初の段階では、被検出物体Objは、第1,第2の光センサ3,7の上方に存在しないので、被検出物体Objによる反射光R1,R2は発生せず、第1,第2の反射光信号Sr1,Sr2は、いずれも最小値Sminになる。そして、被検出物体Objが図3中の左側から第1の光センサ3の上方に移動したときは、被検出物体Objによる反射光R1が発生し、第1の反射光信号Sr1が増加する。このとき、演算処理部15は、第1の反射光信号Sr1が閾値TH1を超えて増加する立上り時点ta1を記録する。
続いて、被検出物体Objが第1の光センサ3上から第2の光センサ7上に移動したときは、被検出物体Objによる反射光R2が発生し、第2の反射光信号Sr2が増加する。このとき、演算処理部15は、第2の反射光信号Sr2が閾値TH2を超えて増加する立上り時点ta2を記録する。そして、演算処理部15は、立上り時点ta1と立上り時点ta2との時間差ΔTaを演算する。
続いて、被検出物体Objが第2の光センサ7上から図3中の右側に移動した場合は、被検出物体Objによる反射光R1,R2が徐々に減少する。このとき、第1の反射光信号Sr1が減少した後に、第2の反射光信号Sr2が減少する。最終的には、被検出物体Objは第1,第2の光センサ3,7の上方から外れるので、第1,第2の反射光信号Sr1,Sr2は、いずれも最小値Sminに収束する。
ここで、演算処理部15は、第1の反射光信号Sr1が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2が閾値TH2を超えて減少する立下り時点tb2とを記録する。そして、演算処理部15は、立下り時点tb1と立下り時点tb2との時間差ΔTbを演算する。
図4に示すように、第1,第2の光センサ3,7の上方を横切るように、被検出物体Objを第1の光センサ3から第2の光センサ7に向けて動かした場合には、第1の反射光信号Sr1の立上り時点ta1の方が第2の反射光信号Sr2の立上り時点ta2よりも早い。同様に、第1の反射光信号Sr1の立下り時点tb1の方が第2の反射光信号Sr2の立下り時点tb2よりも早い。このため、信号処理回路11は、被検出物体Objが第1の光センサ3から第2の光センサ7に向けて移動していることを検知できる。また、信号処理回路11は、第1,第2の反射光信号Sr1,Sr2の信号レベルや時間差ΔTa,ΔTbに基づいて、被検出物体Objの位置、移動速度等を検知できる。
次に、図5に示すように、被検出物体Objを第1の光センサ3上から第2の光センサ7に向けて図5中の右側に移動させた場合、即ち、被検出物体Objを第1の光センサ3の上方を覆って静止させた状態から第2の光センサ7に向けて移動させた場合について説明する。この場合、信号処理回路11は、図6に示すような第1,第2の反射光信号Sr1,Sr2を検知する。
最初の段階では、被検出物体Objは第1の光センサ3上に配置されるものの、第2の光センサ7上には存在しないので、第1の反射光R1は発生し、第2の反射光R2は発生しない。このため、第1の反射光信号Sr1は例えば最大値Smaxとなり、第2の反射光信号Sr2は例えば最小値Sminになる。そして、被検出物体Objが第1の光センサ3上から第2の光センサ7上に移動したときは、第2の反射光信号Sr2が閾値TH2を超えて増加する。このとき、演算処理部15は、第2の反射光信号Sr2が閾値TH2を超えて増加する立上り時点ta2を記録する。但し、既に第1の反射光信号Sr1が閾値TH1よりも増加しているものの、立上り時点ta2よりも例えば予め決められた所定時間以内に第1の反射光信号Sr1の立上り時点ta1が検知されていない。このため、立上り時点ta1,ta2の時間差ΔTaは検知されない。なお、所定時間は、被検出物体Objの移動速度を考慮して設定されている。
続いて、被検出物体Objが第2の光センサ7上から図5中の右側に向けて移動した場合は、被検出物体Objによる反射光R1,R2が徐々に減少する。このとき、第1の反射光信号Sr1が減少した後に、第2の反射光信号Sr2が減少する。最終的には、第1,第2の反射光信号Sr1,Sr2は、いずれも最小値Sminに収束する。このとき、演算処理部15は、第1の反射光信号Sr1が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2が閾値TH2を超えて減少する立下り時点tb2とを記録する。そして、演算処理部15は、立下り時点tb1と立下り時点tb2との時間差ΔTbを演算する。
図6に示すように、第1の反射光信号Sr1の立下り時点tb1の方が第2の反射光信号Sr2の立下り時点tb2よりも早い。このため、信号処理回路11は、被検出物体Objが第1の光センサ3から第2の光センサ7に向けて移動していることを検知できる。
次に、図7に示すように、被検出物体Objとしての指Fの指先部分Ftを第2の光センサ7に向けて移動させた場合について説明する。具体的には、図7(a)に示すように、指先部分Ftで第1,第2の光センサ3,7を覆う状態から、図7(b)に示すように、指Fを折り曲げた場合について説明する。このとき、指Fの付け根部分Fbが第2の光センサ7側に配置されるものとする。また、図7(b)に示すように、指先部分Ftは、第1の光センサ3を通過して第1,第2の光センサ3,7の上方から外れる方向に移動する。この場合、信号処理回路11は、図8に示すような第1,第2の反射光信号Sr1,Sr2を検知する。
最初の段階では、指先部分Ftは第1,第2の光センサ3,7の両方を覆っているので、第1,第2の反射光信号Sr1,Sr2は例えば最大値Smaxとなる。この場合、第1,第2の反射光信号Sr1,Sr2の立上り時点ta1,ta2は検知されないので、立上り時点ta1,ta2の時間差ΔTaは検知されない。
次に、指先部分Ftが第1,第2の光センサ3,7の両方の上方から図7中の右側に向けて移動した場合は、指先部分Ftによる反射光R1,R2が徐々に減少する。このとき、第1の反射光信号Sr1が減少した後に、第2の反射光信号Sr2が減少する。最終的には、指先部分Ftを含む指Fの全体が第1,第2の光センサ3,7の上方から外れることによって、第1,第2の光センサ3,7の上方が開放されるので、反射光R1,R2が発生しなくなる。この結果、第1,第2の反射光信号Sr1,Sr2は、いずれも最小値Sminに収束する。このとき、演算処理部15は、第1の反射光信号Sr1が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2が閾値TH2を超えて減少する立下り時点tb2とを記録する。そして、演算処理部15は、立下り時点tb1と立下り時点tb2との時間差ΔTbを演算する。
図8に示すように、第1の反射光信号Sr1の立下り時点tb1の方が第2の反射光信号Sr2の立下り時点tb2よりも早い。このため、信号処理回路11は、被検出物体Objが第1の光センサ3から第2の光センサ7に向けて移動していることを検知できる。
次に、図9に示すように、被検出物体Objとしての指Fの指先部分Ftを第1の光センサ3に向けて移動させた場合について説明する。具体的には、図9(a)に示すように、指先部分Ftで第1,第2の光センサ3,7を覆うように指Fを折り曲げた状態から、図9(b)に示すように、指Fを伸ばした場合について説明する。このとき、指Fの付け根部分Fbが第2の光センサ7側に配置されるものとする。また、図9(b)に示すように、指先部分Ftは、第1の光センサ3を通過して第1,第2の光センサ3,7の上方から外れる方向に移動する。この場合、信号処理回路11は、図10に示すような第1,第2の反射光信号Sr1,Sr2を検知する。
最初の段階では、被検出物体Objは第1,第2の光センサ3,7の両方を覆っているので、第1,第2の反射光信号Sr1,Sr2は例えば最大値Smaxとなる。この場合、第1,第2の反射光信号Sr1,Sr2の立上り時点ta1,ta2は検知されないので、立上り時点ta1,ta2の時間差ΔTaは検知されない。
次に、第1,第2の光センサ3,7の両方を覆った状態で折り曲げていた指Fを伸ばすと、指先部分Ftが第1の光センサ3を通過して図9中の左側に向けて移動する。このとき、第2の反射光信号Sr2が減少した後に、第1の反射光信号Sr1が減少する。一方、指先部分Ftが第1の光センサ3から離れたときでも、付け根部分Fbは、第1,第2の光センサ3,7の上方に間隔をもった状態で留まる。このため、第1,第2の反射光信号Sr1,Sr2は最小値Sminまでは低下せず、閾値TH1,TH2と最小値Sminとの間の範囲内で収束する(図10参照)。
図8と図10を比較すると分かるように、指先部分Ft(被検出物体Obj)が第1の光センサ3から第2の光センサ7に向けて移動したときと、指先部分Ftが第2の光センサ7から第1の光センサ3に向けて移動したときとで、指先部分Ftが第1,第2の光センサ3,7を通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度は異なっている。具体的には、図8に示すように、指先部分Ftが第1の光センサ3から第2の光センサ7に向けて移動したときは、第1,第2の反射光信号Sr1,Sr2の信号強度は例えば最小値Sminに収束する。一方、図10に示すように、指先部分Ftが第2の光センサ7から第1の光センサ3に向けて移動したときとは、第1,第2の反射光信号Sr1,Sr2の信号強度は最小値Sminよりも大きい値に収束する。従って、図9に示す指先部分Ftの動作が検出可能となるように、信号処理回路11は、指先部分Ftが第1,第2の光センサ3,7を通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度が大きくなる方の値に基づいて閾値TH1,TH2が設定されている。具体的には、閾値TH1,TH2は、図10に示すように、指先部分Ftが第1,第2の光センサ3,7を通過した後(立下り時点tb1,tb2後)の値よりも大きな値に設定されている。
このとき、演算処理部15は、第1の反射光信号Sr1が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2が閾値TH2を超えて減少する立下り時点tb2とを記録する。そして、演算処理部15は、立下り時点tb1と立下り時点tb2との時間差ΔTbを演算する。
図10に示すように、第2の反射光信号Sr2の立下り時点tb2の方が第1の反射光信号Sr1の立下り時点tb1よりも早い。このため、信号処理回路11は、被検出物体Objとしての指先部分Ftが第2の光センサ7から第1の光センサ3に向けて移動していることを検知できる。
次に、図11に示すように、被検出物体Objとしての指Fを、第1,第2の光センサ3,7の上方で、上,下方向に複数回移動させた場合について説明する。この場合、信号処理回路11は、図12に示すような第1,第2の反射光信号Sr1,Sr2を検知する。
最初の段階では、指Fは第1,第2の光センサ3,7の両方の上方に配置されているので、第1,第2の反射光信号Sr1,Sr2は、第1,第2の光センサ3,7と指Fとの離間距離に応じた値となる。
次に、指Fを図11中の下方向に移動させた場合には、指Fは第1,第2の光センサ3,7に近付くから、第1,第2の反射光信号Sr1,Sr2は増加する。このとき、演算処理部15は、第1の反射光信号Sr1の信号強度が閾値TH1を超えて増加する立上り時点ta1と、第2の反射光信号Sr2の信号強度が閾値TH2を超えて増加する立上り時点ta2とを記録する。そして、演算処理部15は、立上り時点ta1と立上り時点ta2との時間差ΔTaを演算する。
一方、指Fを図11中の上方向に移動させた場合には、指Fが第1,第2の光センサ3,7から遠ざかるから、第1,第2の反射光信号Sr1,Sr2は減少する。このとき、演算処理部15は、第1の反射光信号Sr1の信号強度が閾値TH1を超えて減少する立下り時点tb1と、第2の反射光信号Sr2の信号強度が閾値TH2を超えて減少する立下り時点tb2とを記録する。そして、演算処理部15は、立下り時点tb1と立下り時点tb2との時間差ΔTbを演算する。
この場合、指Fは第1の光センサ3および第2の光センサ7からほぼ同等の距離だけ離間しているので、時間差ΔTaは0(ゼロ)付近の値となる。同様に、時間差ΔTbも0(ゼロ)付近の値となる。これにより、立上り時点ta1,ta2および立下り時点tb1,tb2のいずれでも、時間差ΔTa,ΔTbは予め決められた所定値よりも小さい値になるので、信号処理回路11は、指F(被検出物体Obj)が第1,第2の光センサ3,7が並んだ水平方向には移動せず、第1,第2の光センサ3,7に対して接近と離間とを繰り返すように上,下方向に動いていることを検知できる。なお、時間差ΔTa,ΔTbを判定するための所定値は、被検出物体Objが上,下方向に移動しているか否かを判定するための値である。
かくして、第1の実施の形態によれば、第1の発光素子4から出射された第1の出射光O1は、被検出物体Objに反射された第1の反射光R1として第1の受光素子5で受光される。また、第2の発光素子8から出射された第2の出射光O2は、被検出物体Objに反射された第2の反射光R2として第2の受光素子9で受光される。この場合、例えば特許文献1に記載されたように、1つの発光素子から出射された光を2つの受光素子で受光するものに比べて、第1の出射光O1に基づく第1の反射光R1と、第2の出射光O2に基づく第2の反射光R2とを明確に区別することができる。また、第1の発光素子4を被検出物体Objが覆うことによって第1の反射光が強くなり、第2の発光素子8を被検出物体Objが覆うことによって第2の反射光が強くなる。この結果、第1の受光素子5から出力される第1の反射光信号Sr1と、第2の受光素子9から出力される第2の反射光信号Sr2とを比較することにより、被検出物体Objの存在および移動方向を検知することができる。
また、信号処理回路11は、第1,第2の受光素子5,9から出力される第1,第2の反射光信号Sr1,Sr2をアナログ信号または多値化デジタル信号を用いて処理する。このため、被検出物体Objの形状、大きさ、動かし方等に応じて、第1,第2の反射光信号Sr1,Sr2の強度が変化するときでも、これらの違いを考慮した上で、被検出物体Objの存在および移動方向を検知することができ、被検出物体Objの検知精度を高めることができる。
具体的には、信号処理回路11は、第1,第2の反射光信号Sr1,Sr2に対して信号強度の変化を検出するための閾値TH1,TH2を設けている。これにより、信号処理回路11は、第1の反射光信号Sr1の信号強度が閾値TH1,TH2を超えて変化する時点と、第2の反射光信号Sr2の信号強度が閾値を超えて変化する時点とを比較して、被検出物体Objの移動方向を検知することができる。
この場合、閾値TH1,TH2は、第1,第2の反射光信号Sr1,Sr2に応じて可変に設定することができる構成とした。このため、例えば被検出物体Objの形状、大きさ、動かし方等に応じて、第1,第2の反射光信号Sr1,Sr2の強度変化が小さくなるときでも、このような小さな強度変化が検出可能となるような値に閾値TH1,TH2を設定することができる。この結果、閾値TH1,TH2を第1の反射光信号Sr1と第2の反射光信号Sr2とを比較し易い値に設定することができる。具体的には、第1,第2の反射光信号Sr1,Sr2の立上り時点ta1,ta2や第1,第2の反射光信号Sr1,Sr2の立下り時点tb1,tb2を比較し易い値に設定することができる。この結果、被検出物体Objの位置等により第1の反射光信号Sr1と第2の反射光信号Sr2とが比較し難い場合でも、閾値TH1,TH2を適切な値に設定することにより、被検出物体Objの移動方向を検知することができる。
また、被検出物体Objの移動方向に応じて第1,第2の反射光信号Sr1,Sr2が異なるときに、被検出物体Objが通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度が大きくなる値に基づいて閾値TH1,TH2を設定している。このとき、被検出物体Objが通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度が大きくなると、第1,第2の反射光信号Sr1,Sr2の信号強度の変化が小さくなり、被検出物体Objの通過が検出し難くなる。これに対し、被検出物体Objが通過した後の第1,第2の反射光信号Sr1,Sr2の信号強度が大きくなる値に基づいて閾値TH1,TH2を設定するから、このような小さな強度変化が検出可能となるような値に閾値TH1,TH2を設定することができ、被検出物体Objの移動方向の検知精度を高めることができる。
次に、図13ないし図17を用いて、本発明の第2の実施の形態について説明する。第2の実施の形態では、情報処理装置に物体検出装置を設ける構成とした。なお、第2の実施の形態において、第1の実施の形態と同一の構成要素は同一の符号を付し、その説明を省略する。なお、説明の便宜上、図13中の矢示X方向を幅方向、矢示Y方向を長さ方向、矢示Z方向を厚さ方向とする。
第2の実施の形態による情報処理装置21は、筐体22、表示装置23、物体検出装置24等を備えている。筐体22は、情報処理装置21の外殻をなし、例えば樹脂材料、金属材料等を用いて略直方体の箱型に形成されている。筐体22の正面中央部には、液晶パネル等からなる表示装置23が嵌め込まれている。この表示装置23は、操作者に各種の情報を表示するためのものである。
物体検出装置24は、第1の実施の形態による物体検出装置1とほぼ同様に構成され、第1の光センサ3、第2の光センサ7、信号処理回路11等を備えている。この物体検出装置24は、情報処理装置21の長さ方向(Y方向)に沿って、情報処理装置21の側面に位置して設けられている。即ち、第1,第2の光センサ3,7は、情報処理装置21における、操作者が手で把持したときに被検出物体Objとしての操作者の指の存在および移動方向を検知する位置、具体的には片手(図13では左手H)で情報処理装置21を把持したときに操作者の親指F1により操作可能な位置に設けられている。
図14に示すように、第1,第2の光センサ3,7の第1,第2の発光素子4,8は、発光信号St1,St2に基づいて赤外線や可視光線の光を情報処理装置21の幅方向(X方向)に沿って外部に出射する。これにより、物体検出装置24は、筐体22の長さ方向に沿って親指F1を曲げ動作または伸ばし動作させたときに、親指F1の指先部分Ftの動作を検知する。
次に、第2の実施の形態による情報処理装置21の物体検出処理について、図15ないし図17を参照して説明する。
まず、図15に示すように、操作者が情報処理装置21を左手Hで把持したときに、操作者の親指F1の指先部分Ftが第1,第2の光センサ3,7を覆う位置に配置される。この場合、第1,第2の光センサ3,7は親指F1の指先部分Ftに覆われているので、第1,第2の反射光信号Sr1,Sr2は例えば最大値となる。これにより、信号処理回路11は、被検出物体Objとしての親指F1の存在を検知する。
次に、図16に示すように、操作者が親指F1を曲げた場合は、第1,第2の光センサ3,7の上部は開放され、第1,第2の反射光信号Sr1,Sr2の信号強度は例えば最小値となる。この場合、第1,第2の反射光信号Sr1,Sr2は、例えば図8に示す特性と同様に時間変化し、第1,第2の光センサ3,7から遠ざかるに従って減少する。このため、信号処理回路11は、第1,第2の反射光信号Sr1,Sr2の立下り時点tb1,tb2を記録する。このとき、第1の反射光信号Sr1の立下り時点tb1の方が第2の反射光信号Sr2の立下り時点tb2よりも早いので、信号処理回路11は、被検出物体Objとしての親指F1が第2の光センサ7から第1の光センサ3に向けて曲げ方向に動作していることを検知する。
次に、図17に示すように、操作者が親指F1を伸ばした場合は、第1,第2の光センサ3,7の上部は親指F1の指先部分Ftよりも根元に近い付け根部分Fbに隙間を介して覆われる。この隙間の分だけ、第1,第2の反射光信号Sr1,Sr2の信号強度は、第1,第2の光センサ3,7の上部が親指F1の指先部分Ftに覆われた場合よりも弱くなる。
この場合、第1,第2の反射光信号Sr1,Sr2は、指先部分Ftが第1,第2の光センサ3,7に近付くに従って増加し、第1,第2の光センサ3,7から遠ざかるに従って減少する。このため、信号処理回路11は、第1,第2の反射光信号Sr1,Sr2の立上り時点ta1,ta2と立下り時点tb1,tb2を記録する。このとき、第1の反射光信号Sr1の立上り時点ta1の方が第2の反射光信号Sr2の立上り時点ta2よりも早い。同様に、第1の反射光信号Sr1の立下り時点tb1の方が第2の反射光信号Sr2の立下り時点tb2よりも早い。このため、信号処理回路11は、被検出物体Objとしての親指F1が第1の光センサ3から第2の光センサ7に向けて伸び方向に動作していることを検知する。
かくして、第2の実施の形態でも、第1の実施の形態とほぼ同様な作用効果を得ることができる。情報処理装置21には、操作者が左手Hで把持したときに被検出物体Objとしての操作者の親指F1の存在および移動方向を検知する位置に物体検出装置24を設けている。これにより、操作者が情報処理装置21を把持した状態で親指F1を動かすことにより、情報処理装置21のON/OFF動作やスクロール動作等を操作することができる。
また、物体検出装置24は情報処理装置21の側面に設けられ、操作者の親指F1の動作を検知するので、操作者が親指F1の伸び動作および曲げ動作をすることにより、情報処理装置21を操作することができる。
なお、前記第2の実施の形態では、操作者の左手Hの親指F1による伸び動作と曲げ動作が検出可能となるように、情報処理装置21の左側の側面に物体検出装置24を設けた場合を例に挙げて説明した。しかし、本発明はこれに限らず、操作者の右手の親指による伸び動作と曲げ動作が検出可能となるように、情報処理装置の右側の側面に物体検出装置を設けてもよい。
また、第2の実施の形態では、物体検出装置24を、操作者が情報処理装置21を片手で把持したときに操作者の親指F1により操作可能な位置である情報処理装置21の側面に設ける構成とした。しかし、本発明はこれに限らず、物体検出装置を操作者の親指により操作可能な位置である情報処理装置の正面側(表示装置側)に設ける構成としてもよい。また、物体検出装置を操作者の親指以外の指により操作可能な位置に設ける構成としてもよい。
また、前記各実施の形態では、第1の反射光信号Sr1の立上りと立下りは同じ値の閾値TH1を用いて検出するものとしたが、立上りと立下りで異なる値の閾値を用いて検出してもよい。この点は、第2の反射光信号Sr2に対する閾値TH2でも同様である。
また、前記各実施の形態では、物体検出装置1,24は、2個の第1,第2の光センサ3,7を備える場合を例に挙げて説明した。しかし、本発明はこれに限らず、物体検出装置は3個以上の光センサを備える構成としてもよい。
1,24 物体検出装置
3 第1の光センサ
4 第1の発光素子
5 第1の受光素子
7 第2の光センサ
8 第2の発光素子
9 第2の受光素子
11 信号処理回路(信号処理手段)
21 情報処理装置
3 第1の光センサ
4 第1の発光素子
5 第1の受光素子
7 第2の光センサ
8 第2の発光素子
9 第2の受光素子
11 信号処理回路(信号処理手段)
21 情報処理装置
Claims (6)
- 第1の発光素子と、前記第1の発光素子から出射された光が被検出物体によって反射された第1の反射光を受光する第1の受光素子と、を有する第1の光センサと、
第2の発光素子と、前記第2の発光素子から出射された光が前記被検出物体によって反射された第2の反射光を受光する第2の受光素子と、を有する第2の光センサと、
前記第1,第2の受光素子から出力される反射光信号に基づいて前記被検出物体の存在および移動方向を検知する信号処理手段と、を備え、
前記信号処理手段は、前記第1,第2の反射光信号をアナログ信号または多値化デジタル信号を用いて処理する物体検出装置。 - 前記信号処理手段は、前記第1,第2の反射光信号に対して信号強度の変化を検出するための閾値を有し、
前記第1の反射光信号の信号強度が前記閾値を超えて変化する時点と、前記第2の反射光信号の信号強度が前記閾値を超えて変化する時点とを比較して、前記被検出物体の移動方向を検知する請求項1に記載の物体検出装置。 - 前記閾値は、前記第1,第2の反射光信号に応じて可変に設定することができる請求項2に記載の物体検出装置。
- 前記被検出物体が前記第1の光センサから前記第2の光センサに向けて移動したときと、前記被検出物体が前記第2の光センサから前記第1の光センサに向けて移動したときとで、前記被検出物体が前記第1,第2の光センサを通過した後の前記第1,第2の反射光信号の信号強度が異なるときに、前記被検出物体が通過した後の前記第1,第2の反射光信号の信号強度が大きくなる値に基づいて前記閾値を設定してなる請求項3に記載の物体検出装置。
- 請求項1ないし4のいずれかに記載の物体検出装置を備えた情報処理装置であって、
前記情報処理装置には、操作者が手で把持したときに前記被検出物体としての操作者の指の存在および移動方向を検知する位置に前記第1,第2の光センサを設ける情報処理装置。 - 前記第1,第2の光センサは前記情報処理装置の側面に設けられ、
前記操作者の親指の伸び方向および曲げ方向の動作を検知する請求項5に記載の情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014217157 | 2014-10-24 | ||
JP2014217157 | 2014-10-24 | ||
PCT/JP2015/079695 WO2016063911A1 (ja) | 2014-10-24 | 2015-10-21 | 物体検出装置および情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2016063911A1 true JPWO2016063911A1 (ja) | 2017-07-13 |
Family
ID=55760942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016555253A Pending JPWO2016063911A1 (ja) | 2014-10-24 | 2015-10-21 | 物体検出装置および情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2016063911A1 (ja) |
WO (1) | WO2016063911A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020045474A1 (ja) * | 2018-08-30 | 2020-03-05 | 日本電産株式会社 | センサユニット、移動体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03274822A (ja) * | 1990-03-24 | 1991-12-05 | Nippondenso Co Ltd | 光学式タッチスイッチ |
JP2002062984A (ja) * | 2000-12-13 | 2002-02-28 | Hitachi Ltd | 携帯情報端末 |
JP2002287870A (ja) * | 2001-03-26 | 2002-10-04 | Canon Inc | 入力装置、入力方法、プログラムおよび記憶媒体 |
JP2007094802A (ja) * | 2005-09-29 | 2007-04-12 | Kenwood Corp | リスト表示装置、リスト表示方法及びプログラム |
EP2631742A2 (en) * | 2012-02-24 | 2013-08-28 | Vestel Elektronik Sanayi ve Ticaret A.S. | Electronic device with a remote control |
-
2015
- 2015-10-21 JP JP2016555253A patent/JPWO2016063911A1/ja active Pending
- 2015-10-21 WO PCT/JP2015/079695 patent/WO2016063911A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03274822A (ja) * | 1990-03-24 | 1991-12-05 | Nippondenso Co Ltd | 光学式タッチスイッチ |
JP2002062984A (ja) * | 2000-12-13 | 2002-02-28 | Hitachi Ltd | 携帯情報端末 |
JP2002287870A (ja) * | 2001-03-26 | 2002-10-04 | Canon Inc | 入力装置、入力方法、プログラムおよび記憶媒体 |
JP2007094802A (ja) * | 2005-09-29 | 2007-04-12 | Kenwood Corp | リスト表示装置、リスト表示方法及びプログラム |
EP2631742A2 (en) * | 2012-02-24 | 2013-08-28 | Vestel Elektronik Sanayi ve Ticaret A.S. | Electronic device with a remote control |
Also Published As
Publication number | Publication date |
---|---|
WO2016063911A1 (ja) | 2016-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7021885B2 (ja) | 距離測定装置 | |
US20110298909A1 (en) | Image processing apparatus, image processing method, program and electronic apparatus | |
US20120280107A1 (en) | Optical gesture sensor using a single illumination source | |
JP5765483B2 (ja) | 光センサ | |
JP2010097618A (ja) | タッチスクリーンディスプレイ装置及びその駆動方法 | |
US9618609B2 (en) | Optical sensor and electronic device | |
US20110215221A1 (en) | Photoelectric sensor and method for aiding operational checking of photoelectric sensor | |
US20120092254A1 (en) | Proximity sensor with motion detection | |
JP2005295399A (ja) | タッチパネル入力装置 | |
US8907264B2 (en) | Motion and simple gesture detection using multiple photodetector segments | |
US20140035812A1 (en) | Gesture sensing device | |
US20130057516A1 (en) | Optical touch-control system with track detecting function and method thereof | |
TWI530828B (zh) | 具有熱感應器之光學滑鼠 | |
TWI479391B (zh) | 光學式觸控裝置及判斷觸控座標之方法 | |
WO2016063911A1 (ja) | 物体検出装置および情報処理装置 | |
US9310903B2 (en) | Displacement detection device with no hovering function and computer system including the same | |
JP2011138503A (ja) | 物体検出装置 | |
TWI481852B (zh) | 用來偵測透光介質邊緣之偵測裝置與偵測方法 | |
JP2017058186A (ja) | 光触覚センサ | |
US20140246592A1 (en) | Optical sensor system | |
WO2014205705A1 (zh) | 光传感器阵列装置 | |
KR101412892B1 (ko) | 거리 측정 장치 및 방법 | |
US9575613B2 (en) | Touch-sensing apparatus, touch system, and touch-detection method | |
US20190155392A1 (en) | User interface system based on pointing device | |
JP2013210314A (ja) | 物体検出装置、物体検出方法、物体検出用プログラム及び情報記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180724 |