JP7505193B2 - 検出装置及び電子機器 - Google Patents

検出装置及び電子機器 Download PDF

Info

Publication number
JP7505193B2
JP7505193B2 JP2020017643A JP2020017643A JP7505193B2 JP 7505193 B2 JP7505193 B2 JP 7505193B2 JP 2020017643 A JP2020017643 A JP 2020017643A JP 2020017643 A JP2020017643 A JP 2020017643A JP 7505193 B2 JP7505193 B2 JP 7505193B2
Authority
JP
Japan
Prior art keywords
illumination
detection device
light
light source
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020017643A
Other languages
English (en)
Other versions
JP2021124369A (ja
Inventor
一也 宮垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020017643A priority Critical patent/JP7505193B2/ja
Publication of JP2021124369A publication Critical patent/JP2021124369A/ja
Application granted granted Critical
Publication of JP7505193B2 publication Critical patent/JP7505193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、検出装置及び電子機器に関する。
例えば、光源と、魚眼レンズ(超広角レンズ)と、TOF(Time Of Flight)センサとからなる3次元距離計測装置が知られている。このような3次元距離計測装置において、複数の光源のうち隣接する光源から発せられる照明光を重ね合わせることも知られている。
特許文献1には、被写体の位置を距離画像として出力する3次元距離測定装置が開示されている。3次元距離測定装置は、被写体に光を照射する複数の光源と、複数の光源の発光を制御する発光制御部と、被写体からの反射光を検出する受光部と、受光部にて検出した反射光の伝達時間に基づき被写体までの3次元距離を算出する距離計算部と、距離計算部で算出した距離データに基づき被写体の2次元の距離画像を生成する画像処理部と、を備えている。また、複数の光源により照射される複数の照射領域は、隣接する照射領域とのみ互いに重なるように配置されている。さらに、発光制御部により、複数の光源に対し、各々個別に点灯もしくは消灯、または発光量の調整が可能となっている。
特開2019-45334号公報
しかしながら、特許文献1のような3次元距離測定装置において、複数光源(アレイ光源)と照明光学系からなる照明ユニットを複数配置する場合、複数光源が数百個、数千個のオーダーとなり、各光源を個別に光量制御することが困難になってしまう。このため、複数の照明ユニットのうち隣接する照明ユニットからの照明光が重なる場合、重なる領域(例えば周辺部)での照明光の強度又は照度が、重ならない領域(例えば中央部)での照明光の強度又は照度と異なってしまう。例えば、重なる領域での照明光の強度又は照度が、重ならない領域での照明光の強度又は照度より大きい場合において、重なる領域に被測定物(検出対象物)があると、TOFセンサが飽和して、測定精度(検出精度)が悪化するおそれがある。また、重なる領域と重ならない領域では、各照明ユニットからの照明光や被測定物からの反射光の伝搬時間が異なるため、測定精度の悪化を招くおそれがある。
本発明は、以上の問題意識に基づいてなされたものであり、優れた検出精度を実現可能な検出装置及び電子機器を提供することを目的とする。
本発明の検出装置は、VCSEL(Vertical Cavity Surface Emitting Laser)アレイ光源と照明光学系を各々が有する複数の照明手段と、前記複数の照明手段から照明されて検出対象で反射された反射光を検出する検出手段と、前記複数の照明手段の各々について、強度又は照度を制御する照明光制御手段と、を有し、前記複数の照明手段において、前記VCSELアレイ光源からの距離が所定距離以上で360°の領域を照明し、前記照明光制御手段は、前記所定距離以上での、隣接する照明手段からの照明光が重なる前記照明手段の周辺側部分の強度又は照度を、隣接する照明手段からの照明光が重ならない前記照明手段の中央側部分の強度又は照度より小さくする、ことを特徴とする。
本発明によれば、優れた検出精度を実現可能な検出装置及び電子機器を提供することができる。
本実施形態の検出装置を適用した測距装置の概略構成図である。 本実施形態の検出装置を適用した測距装置の機能ブロック図である。 アレイ光源としてのVCSELの断面構造の一例を示す図である。 第1、第2の照明ユニットによる照明領域の重なりの一例を示す図である。 隣接する照明ユニットからの照明光が周辺部で重なり中央部で重ならない場合の放射照度の一例を示す図である。 照明光制御手段としての減光フィルタの一例を示す第1の図である。 照明光制御手段としての減光フィルタの一例を示す第2の図である。 アレイ光源のアレイサイズを変更することにより照明光制御手段を実現する場合の一例を示す図である。 アレイ光源のアレイピッチを変更することにより照明光制御手段を実現する場合の一例を示す図である。 照明光制御手段による調整後の放射照度の一例を示す図である。 第1、第2の照明ユニットから検出対象までの距離パラメータの一例を示す図である。 重ね合わさった照明光に時間差があるときの計測値への影響の一例を示す第1の図である。 重ね合わさった照明光に時間差があるときの計測値への影響の一例を示す第2の図である。 本実施形態における照明光の光量分布の一例を示す第1の図である。 本実施形態における照明光の光量分布の一例を示す第2の図である。 本実施形態の検出装置を物品検査用の検出装置に適用した例を示す図である。 本実施形態の検出装置を可動機器に適用した例を示す図である。 本実施形態の検出装置を携帯情報端末に適用した例を示す図である。 本実施形態の検出装置を移動体の運転支援システムに適用した例を示す図である。 本実施形態の検出装置を移動体の自律走行システムに適用した例を示す図である。
図1は、本実施形態の検出装置を適用した測距装置1の概略構成図である。測距装置1は、検出対象(物)を含んだ全天球領域を照明し、当該全天球領域における検出対象との距離を検出するものである。具体的に、測距装置1は、検出対象に対してパルス光を投光(照射)し、検出対象からの反射光を受光して、反射光の受光までに要した時間に基づいて、検出対象との距離を測定するTOF(Time Of Flight)方式の3次元距離測定装置である。
測距装置1は、第1の照明ユニット(照明手段)10と、第1の受光ユニット20と、第2の照明ユニット(照明手段)30と、第2の受光ユニット40とを有している。第1の照明ユニット10と第2の照明ユニット30は、互いに対称(逆向き)に位置している。第1の受光ユニット20と第2の受光ユニット40は、互いに対称(逆向き)に位置している。
第1の照明ユニット10は、第1のアレイ光源11と、第1の照明光学系(投光レンズ)12とを有している。第1のアレイ光源11は、レーザやLED(Light Emitting Diode)等の多数の発光素子を2次元状に配列したものである。第1の照明光学系12は、第1のアレイ光源11からの放出光を所定の空間に照明するものである。
第1の受光ユニット20は、第1の受光素子(検出手段)21と、第1の受光光学系(受光レンズ)22とを有している。第1の受光素子21は、第1の照明ユニット10から照明されて検出対象Pで反射された反射光を検出することにより検出対象Pまでの距離を計測するためのTOFセンサである。第1の受光光学系22は、第1の照明ユニット10から照明されて検出対象Pで反射された反射光を第1の受光素子21に導く(集光する)。
第2の照明ユニット30は、第2のアレイ光源31と、第2の照明光学系(投光レンズ)32とを有している。第2のアレイ光源31は、レーザやLED(Light Emitting Diode)等の多数の発光素子を2次元状に配列したものである。第2の照明光学系32は、第2のアレイ光源31からの放出光を所定の空間に照明するものである。
第2の受光ユニット40は、第2の受光素子(検出手段)41と、第2の受光光学系(受光レンズ)42とを有している。第2の受光素子41は、第2の照明ユニット30から照明されて検出対象Pで反射された反射光を検出することにより検出対象Pまでの距離を計測するためのTOFセンサである。第2の受光光学系42は、第2の照明ユニット30から照明されて検出対象Pで反射された反射光を第2の受光素子41に導く(集光する)。
図2は、本実施形態の検出装置を適用した測距装置1の機能ブロック図である。第1のアレイ光源11と第2のアレイ光源31は、光源駆動回路50に接続されている。第1の受光素子21と第2の受光素子41は、信号制御回路60に接続されている。光源駆動回路50と信号制御回路60は、互いに接続されている。
光源駆動回路50は、第1のアレイ光源11と第2のアレイ光源31に電流を注入することにより、第1のアレイ光源11と第2のアレイ光源31の発光を制御する。光源駆動回路50は、第1のアレイ光源11と第2のアレイ光源31を発光させたときに、信号制御回路60に信号を送信する。
第1の受光素子21と第2の受光素子41は、光電変換素子から構成されており、当該光電変換素子で受光した光が光電変換されて電気信号として信号制御回路60に送られる。信号制御回路60は、投光(光源駆動回路50からの発光信号入力)と受光(第1の受光素子21と第2の受光素子41からの受光信号入力)の時間差に基づいて、検出対象Pまでの距離を計算する。
3DセンシングにおけるTOFセンサの照明光学系の方式としては、光源からの光を光走査手段(例えばMEMS(Micro Electro Mechanical Systems)ミラーをはじめとする駆動ミラー)によって振って、照射範囲を走査する方式も存在するが、光走査手段の走査速度(可動速度)によって画像取得時間(FPS)が悪化するおそれがある。そこで、本実施形態では、アレイ光源からの光を照明光学系により拡げて照射領域を一括照射するフラッシュタイプの照明光学系(面発光レーザ)を採用している。より具体的に、面発光レーザとして、基板に対して垂直方向に発光する垂直共振器面発光レーザ(VCSEL:Vertical Cavity Surface Emitting Laser)を用いている。
図3は、アレイ光源(第1のアレイ光源11と第2のアレイ光源31)としてのVCSEL70の断面構造の一例を示す図である。VCSEL70は、発光面に所定の位置関係で2次元状に配列された(例えば等ピッチの六方細密で配列された)多数の面発光レーザ素子71を有している。図3では、多数の面発光レーザ素子71の1つを描いている。
VCSEL70の面発光レーザ素子71では、基板72上に、下部多層膜反射鏡74D、下部スペーサ層75D、活性層76、上部スペーサ層75U、上部多層膜反射鏡74U、コンタクト層73が積層して設けられている。上部多層膜反射鏡74U中に電流狭窄層77が形成されている。電流狭窄層77は、電流通過領域77aと、電流通過領域77aを取り囲む電流通過抑制領域77bによって構成されている。基板72の下部に下部電極78Dが配され、最上部に上部電極78Uが配されている。上部電極78Uの内方は絶縁体79で絶縁されている。上部電極78Uは、コンタクト層73の周縁部に接触し、コンタクト層73の中央部は開放されている。
各電極78U、78Dから活性層76へ電流を印加すると、積層構造の上部多層膜反射鏡74Uと下部多層膜反射鏡74Dで増幅されて、レーザ光が発振する。印加電流量の大きさに応じて、レーザ光の発光強度が変化する。電流狭窄層77は、活性層76への印加電流量の効率を高めて発振閾値を下げるものである。電流狭窄層77の電流通過領域77aが大きく(広く)なるにつれて、印加できる最大電流量が増加して、発振可能なレーザ光の最大出力が増加するが、その反面、発振閾値が上がるという特性がある。
VCSELは、端面発光レーザに比べて、発光素子の二次元化が容易であり、発光素子を高密度で配置した多点ビーム化が可能という特徴がある。また、VCSELは、複数の発光素子のレイアウトの自由度が高く、基板上の任意の位置に発光素子を配置することができる。例えば、複数の発光素子を可能な限り多く敷き詰めるように配置することにより、高出力化を図ることができるので、TOFセンサの光源として好適である。
本実施形態の検出装置1では、複数の照明手段(第1の照明ユニット10と第2の照明ユニット30)が、検出対象Pを含んだ全天球領域を照明し、検出手段(第1の受光素子21と第2の受光素子41)が、全天球領域における検出対象Pとの距離を検出する。
本実施形態の検出装置1は、第1の照明ユニット10と第2の照明ユニット30により360°に亘る全天球領域をカバーしている。このため、第1の照明光学系12と第2の照明光学系32は、180°以上の画角をカバーする魚眼レンズ又は超広角レンズで構成されている。
本実施形態の検出装置1は、第1の受光ユニット20と第2の受光ユニット40により360°に亘る全天球領域をカバーしている。このため、第1の受光光学系22と第2の受光光学系42は、180°以上の画角をカバーする魚眼レンズ又は超広角レンズで構成されている。
図4は、第1の照明ユニット10と第2の照明ユニット30による照明領域の重なりの一例を示す図である。図4において、第1の照明ユニット10による照明領域を符号80で描いており、第2の照明ユニット30による照明領域を符号90で描いている。
このように、3次元距離測定装置による測定領域を複数の照明ユニットで照明する場合、すなわち、個々の照明ユニットの照明領域が全測定領域をカバーしない場合、隣接する照明ユニットの照明領域の一部が必ず重なることになる。本実施形態の場合、ともに180°以上の画角をカバーする第1の照明ユニット10と第2の照明ユニット30の照明領域の一部が必ず重なることになる。図4において、第1の照明ユニット10と第2の照明ユニット30の照明領域の重なり部分にハッチングを付して描いている。
ここで、測距可能距離がL1からL2までの全天球(全方位)の測定範囲で3次元計測できるとする。照明ユニットが第1の照明ユニット10と第2の照明ユニット30の2個であるため、各照明領域80、90は、半径L1の球表面の全てを照射できるように設定する必要がある。このため、距離L1を超える範囲における空間の一部(ハッチングしている空間)において、照明光が必ずオーバーラップすることになる。逆に、半径L2の球表面において2つの照明領域80、90が重ならないぎりぎりの範囲で照明した場合には、距離L2未満の領域で照明できない空間が存在することになる。したがって、複数の照明ユニットで3次元距離計測のために空間を照明する場合、必ず、隣接照明領域との重なりが発生することになる。
図4において、位置P1、P2、P3は、隣接照明領域との重なり部分(ハッチング)を規定しており、位置P1、P2、P3で規定されるハッチング領域内(重なり部分)に検出対象Pが存在する場合を想定する。すなわち、図1の検出対象Pは、図4の位置P1、P2、P3で規定されるハッチング領域内(重なり部分)の一点に位置している検出対象であると想定する。
このように、複数の照明ユニットのうち隣接する照明ユニットからの照明光が重なる場合、重なる領域(例えば周辺部)での照明光の強度又は照度が、重ならない領域(例えば中央部)での照明光の強度又は照度と異なってしまう。例えば、重なる領域(例えば周辺部)での照明光の強度又は照度が、重ならない領域(例えば中央部)での照明光の強度又は照度より大きくなってしまう。
図5は、隣接する照明ユニットからの照明光が周辺部で重なり中央部で重ならない場合の放射照度の一例を示す図である。図5において、第1の照明ユニット10の放射照度を細い実線で描き、第2の照明ユニット30の放射照度を細い破線で描き、第1の照明ユニット10と第2の照明ユニット30の合成放射照度を太い実線で描いている。図5に示すように、第1の照明ユニット10と第2の照明ユニット30からの照明光が重なる周辺側部分の放射照度(合成放射照度)が、第1の照明ユニット10と第2の照明ユニット30からの照明光が重ならない中央側部分の放射照度(単独放射照度)より大きくなっている(周辺側部分の放射照度が中央側部分の放射照度の約2倍程度となっている)。
このような場合、放射照度が大きい周辺側部分(図4のハッチング部分)に検出対象Pが存在すると、TOFセンサ(第1の受光素子21と第2の受光素子41)が飽和して、測定精度(検出精度)が悪化するおそれがある。放射照度が大きい周辺側部分と放射照度が小さい中央側部分とでは、各照明ユニットからの照明光や検出対象からの反射光の伝搬時間が異なるため、測定精度の悪化を招くおそれがある。
本実施形態では、上記の問題を重要な技術課題として捉えて、隣接する照明ユニットからの照明光が周辺部で重なり中央部で重ならない場合であっても、周辺部と中央部の放射照度を均一化して、TOFセンサの飽和を防止することにより、測定精度(検出精度)を向上させている。また、各照明ユニットからの照明光や検出対象からの反射光の伝搬時間を均一化して、測定精度(検出精度)を向上させている。
そのために、第1の照明ユニット10と第2の照明ユニット30(複数の照明手段)の各々について、第1の照明ユニット10と第2の照明ユニット30(隣接する照明手段)からの照明光が重なる周辺側部分(一部分)の強度又は照度を、第1の照明ユニット10と第2の照明ユニット30(隣接する照明手段)からの照明光が重ならない中央側部分(他部分)の強度又は照度より小さくする「照明光制御手段」を設けている。以下では、「照明光制御手段」の具体的態様の詳細やバリエーションについて説明する。
<具体的態様1>
図6、図7に示すように、「照明光制御手段」として、第1の照明ユニット10の第1のアレイ光源11と第1の照明光学系12の間、及び、第2の照明ユニット30の第2のアレイ光源31と第2の照明光学系32の間に、減光フィルタ100を設けている。減光フィルタ100は、第1の照明ユニット10(第1のアレイ光源11)と第2の照明ユニット30(第2のアレイ光源31)からの照明光が重ならない中央側部分(他部分)を減光せず(相対的に減光率を低くし)、第1の照明ユニット10(第1のアレイ光源11)と第2の照明ユニット30(第2のアレイ光源31)からの照明光が重なる周辺側部分(一部分)を減光する(相対的に減光率を高くする)機能を持つ。つまり、減光フィルタ100は、VCSEL基板のあとから照明光学系の出口までの面内で透過率に分布を有する空間フィルタからなり、中心の透過率が高く、周辺に向かうに従って透過率が低下する特性を有している。
<具体的態様2>
図8に示すように、アレイ光源のアレイサイズを変更することにより、「照明光制御手段」を実現することができる。具体的に、アレイ光源の周辺側部分のアレイサイズを中央側部分のアレイサイズより小さくすることにより、「照明光制御手段」を実現している。例えば、図8は、VCSELアレイ基板を正面から見た模式図であり、中央側部分の酸化狭窄層の酸化狭窄径が大きくほぼ均等であるが、周辺側部分に向かうに連れて酸化狭窄層の酸化狭窄径が小さくなっている。一般的に、酸化狭窄層の酸化狭窄径が小さいほどレーザ出力が小さい。周辺に向かう酸化狭窄径の減少割合を適正化することによって、照明光の重なる領域の放射照度の上昇を抑えることが出来る。アレイ光源のアレイサイズを変更する<具体的態様2>では、減光フィルタ100を用いる<具体的態様1>と比較して、減光フィルタによる光量損失が少ないため、省エネ効果を発揮することができる。
<具体的態様3>
図9に示すように、アレイ光源のアレイピッチを変更することにより、「照明光制御手段」を実現することができる。具体的に、アレイ光源の周辺側部分のアレイピッチを中央側部分のアレイピッチより長くすることにより、「照明光制御手段」を実現している。例えば、図9は、VCSELアレイ基板を正面から見た模式図であり、VCSELアレイの中央側部分は等ピッチの六方細密配列であるが、周辺側部分に向かうに連れて配列ピッチが広くなるように配列している。アレイ光源のアレイピッチを変更する<具体的態様3>では、減光フィルタ100を用いる<具体的態様1>と比較して、減光フィルタによる光量損失が少ないため、省エネ効果を発揮することができる。
<具体的態様4>
図2に示した光源駆動回路50を「照明光制御手段」としての「電流制御手段」として機能させる。すなわち、光源駆動回路50は、アレイ光源の周辺側部分に対する注入電流を中央側部分に対する注入電流より小さくする。例えば、光源駆動回路50は、第1の受光素子21と第2の受光素子41の検出結果に応じたフィードバック制御により、アレイ光源の各面発光レーザ素子に対する注入電流をリアルタイム(動的)に制御することができる。
ここで、上述した<具体的態様1>~<具体的態様4>の「照明光制御手段」は、適宜、組み合わせて実現することができる。例えば、<具体的態様1>~<具体的態様3>は、測距装置1の製造時に実装されるのに対して、<具体的態様4>は、測距装置1の製造後にリアルタイム(動的)に制御できるので、<具体的態様1>~<具体的態様3>と、<具体的態様4>とを組み合わせることで、照明光の強度又は照度をより柔軟かつ高精度に調整することが可能になる。
上述した<具体的態様1>~<具体的態様4>の「照明光制御手段」による調整後の放射照度の一例を図10に示した。図10において、第1の照明ユニット10の放射照度を細い実線で描き、第2の照明ユニット30の放射照度を細い破線で描き、第1の照明ユニット10と第2の照明ユニット30の合成放射照度を太い実線で描いている。図10に示すように、第1の照明ユニット10と第2の照明ユニット30からの照明光が重なる周辺側部分の放射照度(合成放射照度)が、第1の照明ユニット10と第2の照明ユニット30からの照明光が重ならない中央側部分の放射照度(単独放射照度)に近くなっている。なお、図10では、第1の照明ユニット10と第2の照明ユニット30からの照明光が重なる周辺側部分の放射照度(合成放射照度)が、第1の照明ユニット10と第2の照明ユニット30からの照明光が重ならない中央側部分の放射照度(単独放射照度)より僅かに大きい場合を例示しているが、これらの放射照度が完全に同一であってもよい。すなわち、太い実線で描いた第1の照明ユニット10と第2の照明ユニット30の合成放射照度が、左右方向に延びる直線であってもよい。
図11は、第1の照明ユニット10と第2の照明ユニット30から検出対象Pまでの距離パラメータの一例を示す図である。本実施形態では、第1の照明ユニット10と第2の照明ユニット30からの照明光が重なり合う照明領域の3次元距離計測でTOFセンサの飽和を抑制することができる。これが1つ目の作用効果である。以下では、図11を参照して、2つ目の作用効果、すなわち、第1の照明ユニット10と第2の照明ユニット30からの照明光が重なり合う照明領域に存在する検出対象Pに起因する測定距離の検出誤差を抑制できることについて、詳細に説明する。
図11において、Pは、例えば図4のハッチング領域に存在する検出対象を示している。TOFセンサによる時間計測は、第1のアレイ光源11と第2のアレイ光源31から検出対象Pまでの光の飛行時間と、検出対象Pから第1の受光素子21と第2の受光素子41(TOFセンサ)までの光の飛行時間との和に基づいて実行される。この場合、第1の照明ユニット10と第2の照明ユニット30による2つの照明光(図11中のS1-Q1-PとS2-Q2-P)の時間差、すなわち距離の差が発生する。ここで、第1の照明ユニット10のS1-Q1の距離、及び、第2の照明ユニット30のS2-Q2の距離との差は極めて小さいので、t1=t1’=tに置き換え、D1=D1’=Dに置き換えが可能である。この場合、2つの照明光の距離の差は、|(Q1-P)-(Q2-P)|={(D2-D)+(W+t)1/2-{(D2-D)+(W-t)1/2で表される。ここで、例えば、D2=10[m]、t=0.025[m]、D=0.003[m]、W=1[m]とすると、上記の値は5.0[mm]となる。
次に、図12、図13を参照して、重ね合わさった照明光に時間差があるときの計測値への影響について説明する。
図12において、照明光の時間波形が0.5+0.5sin(θ)であるものとする。図11のS1-Q1-P経由でTOFセンサに到達した信号成分を図12の91aで表し、図11のS2-Q2-P経由でTOFセンサに到達した信号成分を図12の91bで表している。信号成分91aは位相ズレを30°とし、信号成分91bは位相ズレを50°としている。従って、50°-30°=20°が照明光の時間差に相当する位相ズレとなる。TOFセンサに入射された時間波形は、信号成分91aと信号成分91bが加算された92である。TOFセンサでは、図12の時間0~0.5(D1)、0.25~0.75(D2)、0.5~1.0(D3)、並びに、0.75~1.0及び0~0.25(D4)の4通りの積算強度を取得する。距離を算出するための位相の計算は、Δφ=Arctan{(D3-D1)/(D4-D2)+φ0}で求められる。φ0は調整用の固定値である。この場合、図12の波形92のΔφは40°と求まる。すなわち、同じ強度で時間がずれてTOFセンサに入るとその平均値の位相が算出されてしまう。
これに対して、図13に示すように、例えば、S2-Q2-P経由の光が1/5に減少されていると、信号波形101aと信号波形101bが加算された信号波形102となり、この信号波形102の位相の計算は33.3°となり、S1-Q1-P経由の光の位相である30°に近付く。アレイ光の周辺に相当する光量又は放射照度を減少させることで、計測の誤差を抑えることが出来る。
図14、図15を参照して、本実施形態における照明光の光量分布の一例について説明する。
図14は、半径L2(図4、図11)における放射照明分布成分121a、121bと、これらを加算した放射照度分布122を表している。放射照明分布成分121aは、第1のアレイ光源11が第1の照明光学系12を経て照明した照明光の放射照度の分布であり、照明領域の周辺に位置するP2近傍で放射照度を低下させ、P3まで低い放射照度とする。一方、放射照明分布成分121bは、第2のアレイ光源31が第2の照明光学系32を経て照明した照明光の放射照度の分布であり、P1からP2に至るまでが低い放射照度となっている。このようにすると、P1からP3にかけての測定精度の低下を抑制することができる。
図15は、放射照度分布の変形例を示している。第1のアレイ光源11が第1の照明光学系12を経て照明した放射照明分布成分131aは、照明領域の周辺部分のP1からP2で一段階の低放射照度とし、P2からP3にかけてもう一段階の低放射照度とする。第2のアレイ光源31が第2の照明光学系32を経て照明した放射照明分布成分131bは、照明領域の周辺部分のP3からP2で一段階の低放射照度とし、P2からP1にかけてもう一段階の低放射照度とする。このような放射照度分布成分の場合、半径L1のエリアでは加算された放射照度分布132が均一となり、飽和対策としても有効となる。
以上のように、本実施形態の検出装置は、アレイ光源と照明光学系を各々が有する複数の照明手段と、複数の照明手段から照明されて検出対象で反射された反射光を検出する検出手段と、複数の照明手段の各々について、隣接する照明手段からの照明光が重なる一部分の強度又は照度を、隣接する照明手段からの照明光が重ならない他部分の強度又は照度より小さくする照明光制御手段と、を有している。
これにより、優れた検出精度を実現することができる。例えば、隣接する照明手段からの照明光が重なる周辺側部分(一部分)に検出対象があってもTOFセンサが飽和するのを防止することができる。また、隣接する照明手段からの照明光が重なる周辺側部分(一部分)で検出対象までの照明光の飛行時間が異なっても測距精度の低下を抑制することができる。
以上の実施形態では、複数の照明手段及び隣接する照明手段として、第1の照明ユニット10と第2の照明ユニット30の2つの照明ユニットを例示して説明した。しかし、複数の照明手段及び隣接する照明手段として、3つ以上の照明ユニットを設ける態様も可能である。この場合、3つ以上の照明ユニットに対応させて、3つ以上の受光ユニットを設けることができる。また、照明ユニットと受光ユニットの数を増やした場合、各照明ユニットと各受光ユニットが担う画角範囲が狭くて済むため、各照明光学系と各受光光学系を魚眼レンズ又は超広角レンズとすることなく、通常の(一般的な)撮影画角とすることができる。
以上の実施形態では、隣接する照明手段からの照明光が重なる周辺側部分と重ならない中央側部分に区画して、周辺側部分の照明光の強度又は照度を相対的に小さくし、中央側部分の照明光の強度又は照度を相対的に大きくする場合について説明した。しかし、隣接する照明手段からの照明光を径方向の3つ以上のエリア(環状エリア)に区画して、各エリア(環状エリア)を単位として、中央側に向かうほど照明光の強度又は照度を大きくし、周辺側に向かうほど照明光の強度又は照度を小さくしてもよい。
以上に説明した測距装置(検出装置)1を各種電子機器に用いた適用例を、図16から図20を参照して説明する。これらの適用例における検出装置50Xは、測距装置(検出装置)1のうち信号制御回路60の部分を、後述するそれぞれの機能ブロックに置き換えたものであり、それ以外の基本構成は測距装置(検出装置)1と共通している。図16から図20では、検出装置50Xが備える判断部などの機能ブロックを、作図の都合上、検出装置50Xの外側に記載している。図16から図20に示す各種電子機器は、検出装置50Xからの情報が入力されて、検出装置50Xからの情報に基づいて、各種電子機器の制御を行う「制御部」を有している。
図16は、工場などにおける物品検査用に検出装置50Xを使用した適用例を示す。検出装置50Xの光源装置から発した光を、複数の物品51Xをカバーする照射領域に投射して、反射した光を検出部(受光素子)で受光する。検出部で検出された情報に基づいて、判断部52Xが各物品51Xの状態などを判断する。具体的には、受光素子で光電変換された電気信号に基づいて、画像処理部53Xで画像データ(光源装置からの光の照射領域の画像情報)を生成し、得られた画像情報に基づいて、判断部52Xで各物品51Xの状態判断を行う。つまり、検出装置50Xにおける受光光学系と受光素子は、光源装置から光の投射領域を撮像する撮像手段として機能する。撮像した画像情報に基づいて判断部52Xが行う物品51Xの状態判断には、パターンマッチングなど、周知の画像解析を利用できる。
図16の適用例では、照射領域に均一な照度で投光できる検出装置50X(光源装置)を用いることによって、広角に光を照射しても照度のばらつきが抑えられる。その結果、多くの物品51Xを同時に精度良く検査することができ、検査の作業効率が向上する。また、TOF方式の検出を行う検出装置50Xの使用によって、各物品51Xの正面側(検出装置50Xに対向する側)だけでなく、各物品51Xの奥行き方向の情報も取得できる。そのため、既存の撮像装置による外観検査に比べて、物品51Xにおける微細な傷や欠陥、立体形状などを識別しやすく、検査精度の向上を図ることができる。また、検出装置50Xの光源装置からの光で、検査対象である物品51Xを含む照射領域が照明されるため、暗い環境下でも使用が可能である。
図17は、可動機器の動作制御に検出装置50Xを使用した適用例を示す。可動機器である多関節アーム54Xは、屈曲可能なジョイントで接続された複数のアームを有し、先端にハンド部55Xを備えている。多関節アーム54Xは、例えば工場の組み立てラインなどで用いられ、対象物56Xの検査、搬送、組み付けの際に、ハンド部55Xによって対象物56Xを把持する。
多関節アーム54Xにおけるハンド部55Xの直近に検出装置50Xが搭載されている。検出装置50Xは、光の投射方向がハンド部55Xの向く方向に一致するように設けられており、対象物56X及びその周辺領域を検出対象とする。検出装置50Xは、対象物56Xを含む照射領域からの反射光を受光素子で受光して、画像処理部57Xで画像データを生成し(撮像を行い)、得られた画像情報に基づいて、判断部58Xが対象物56Xに関する各種情報を判断する。具体的には、検出装置50Xを用いて検出される情報は、対象物56Xまでの距離、対象物56Xの形状、対象物56Xの位置、複数の対象物56Xが存在する場合の互いの位置関係などである。そして、判断部58Xでの判断結果に基づいて、駆動制御部59Xが多関節アーム54X及びハンド部55Xの動作を制御して、対象物56Xの把持や移動などを行わせる。
図17の適用例では、検出装置50Xによる対象物56Xの検出に関して、上述した図16の検出装置50Xと同様の効果(検出精度の向上)を得ることができる。加えて、多関節アーム54X(特に、ハンド部55Xの直近)に検出装置50Xを搭載することによって、把持の対象物である対象物56Xを近距離から検出することができ、多関節アーム54Xから離れた位置に配した撮像装置による遠方からの検出と比較して、検出精度や認識精度の向上を図ることができる。
図18は、電子機器の使用者認証に検出装置50Xを使用した適用例を示す。電子機器である携帯情報端末60Xは、使用者の認証機能を備えている。認証機能は、専用のハードウェアによって実現してもよいし、携帯情報端末60Xを制御するCPU(Central Processing Unit)がROM(Read Only Memory)などのプログラムを実行することにより実現してもよい。
使用者の認証を行う際には、携帯情報端末60Xに搭載した検出装置50Xの光源装置から、携帯情報端末60Xを使用する使用者61Xへ向けて光が投射される。使用者61X及びその周囲で反射された光が検出装置50Xの受光素子で受光され、画像処理部62Xで画像データを生成する(撮像を行う)。検出装置50Xにより使用者61Xを撮像した画像情報と、予め登録された使用者情報との一致度を、判断部63Xが判断して、登録済みの使用者であるか否かを判定する。具体的には、使用者61Xの顔、耳、頭部などの形状(輪郭や凹凸)を測定して、使用者情報として用いることができる。
図18の適用例では、検出装置50Xによる使用者61Xの検出に関して、上述した図16の検出装置50Xと同様の効果(検出精度の向上)を得ることができる。特に、光源装置から均一な照度で広角に光を投射して広い範囲で使用者61Xの情報を検出することができるため、検出範囲が狭い場合に比して、使用者を認識するための情報量が多くなり、認識精度の向上を実現できる。
図18は検出装置50Xを携帯情報端末60Xに搭載した例であるが、検出装置50Xを用いた使用者認証を、据え置き式のパーソナルコンピュータ、プリンタなどのOA機器、建物のセキュリティシステムなどに利用することも可能である。また、機能面では、個人の認証機能に限らず、顔などの立体形状のスキャニングに用いることも可能である。この場合も、均一な照度で広角に光を投射できる検出装置50Xの搭載によって、高精度なスキャニングを実現できる。
図19は、自動車などの移動体における運転支援システムに検出装置50Xを使用した適用例を示す。自動車64Xは、減速や操舵などの運転動作の一部を自動的に行うことが可能な運転支援機能を備えている。運転支援機能は、専用のハードウェアによって実現してもよいし、自動車64Xの電装系を制御するECU(Electronic Control Unit)がROMなどのプログラムを実行することにより実現してもよい。
自動車64Xの車内に搭載した検出装置50Xの光源装置から、自動車64Xを運転する運転者65Xへ向けて光が投射される。運転者65X及びその周囲で反射された光が検出装置50Xの受光素子で受光され、画像処理部66Xで画像データを生成する(撮像を行う)。判断部67Xが、運転者65Xを撮像した画像情報に基づいて、運転者65Xの顔(表情)や姿勢などの情報を判断する。そして、判断部67Xの判断結果に基づいて、運転制御部68Xがブレーキや操舵輪を制御して、運転者65Xの状況に応じた適切な運転支援を行う。例えば、脇見運転や居眠り運転を検出したときの自動減速や自動停止などの制御を行うことができる。
図19の適用例では、検出装置50Xによる運転者65Xの状態検出に関して、上述した図16の検出装置50Xと同様の効果(検出精度の向上)を得ることができる。特に、光源装置から均一な照度で広角に光を投射して広い範囲で運転者65Xの情報を検出することができるため、検出範囲が狭い場合に比して多くの情報量が得られ、運転支援の精度向上を実現できる。
図19は検出装置50Xを自動車64Xに搭載した例であるが、自動車以外の移動体として、電車や航空機などに適用することも可能である。また、検出の対象として、移動体の運転者や操縦者の顔や姿勢の検出以外に、客席における乗客の状態や、客席以外の車内の状態の検出に用いることも可能である。また、機能面では、図18の適用例と同様にして、運転者の個人認証に用いることも可能である。例えば、検出装置50Xを用いて運転者65Xを検出して、予め登録された運転者情報と合致した場合にのみ、エンジンの始動を許可したり、ドアロックの施錠や解錠を許可したりするという制御が可能である。
図20は、移動体における自律走行システムに検出装置50Xを使用した適用例を示す。図19の適用例とは異なり、図20の適用例では、移動体70Xの外部にある対象物のセンシングに検出装置50Xを用いている。移動体70Xは、外部の状況を認識しながら自動で走行することが可能な自律走行型の移動体である。
移動体70Xに検出装置50Xが搭載されており、検出装置50Xは移動体70Xの進行方向及びその周辺領域に向けて光を照射する。移動体70Xの移動エリアである室内71Xにおいて、移動体70Xの進行方向に机72Xが設置されている。移動体70Xに搭載した検出装置50Xの光源装置から投射された光のうち、机72X及びその周囲で反射された光が検出装置50Xの受光素子で受光され、光電変換された電気信号が信号処理部73Xに送られる。信号処理部73Xでは、受光素子から送られた電気信号などに基づいて、机72Xとの距離や机72Xの位置、机72X以外の周辺状況など、室内71Xのレイアウトに関する情報を算出する。この算出された情報に基づいて、移動体70Xの移動経路や移動速度などを判断部74Xが判断し、判断部74Xの判断結果に基づいて、運転制御部75Xが移動体70Xの走行(駆動源であるモータの動作など)を制御する。
図20の適用例では、検出装置50Xによる室内71Xのレイアウト検出に関して、上述した図16の検出装置50Xと同様の効果(検出精度の向上)を得ることができる。特に、光源装置から均一な照度で広角に光を投射して広い範囲で室内71Xの情報を検出することができるため、検出範囲が狭い場合に比して多くの情報量が得られ、移動体70Xの自律走行の精度向上を実現できる。
図20は、室内71Xで走行する自律走行型の移動体70Xに検出装置50Xを搭載した例であるが、屋外で走行する自律走行型の車両(いわゆる自動運転車両)に適用することもできる。また、自律走行型ではなく、運転者が運転を行う自動車などの移動体における運転支援システムに適用することも可能である。この場合、検出装置50Xを用いて移動体の周辺状況を検出して、検出された周辺状況に応じて、運転者の運転を支援することができる。
なお、本発明は上記の実施形態に限定されず、種々変更して実施することが可能である。上記の実施形態において、添付図面に図示されている構成要素の大きさや形状、機能などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
例えば、上記の実施形態では、「アレイ光源」としてVCSEL(Vertical Cavity Surface Emitting Laser)を用いる場合を例示して説明したが、「アレイ光源」としてLD(Laser Diode)又はLED(Light Emitting Diode)を用いることも可能である。また、「アレイ光源」としてEEL(Edge Emitting Laser)を用いてもよい。上記のようにVCSELは、発光領域の二次元化の容易さや、複数の発光領域の配置の自由度の高さといった点で有利である。例えば、VCSELは、複数の発光部を同一面内に多数敷き詰めて配置することが容易であり、端面発光型のLDを並べるよりも小型化・薄型を図ることができる。しかし、VCSEL以外のアレイ光源を用いた場合でも、各発光素子の配置や発光量を適宜設定することにより、上記の実施形態と同様の効果を得ることができる。
例えば、上記の実施形態では、「アレイ光源」として、複数の面発光レーザ素子を水平方向及び垂直方向に並べて、全体として面発光する形態の面発光レーザを用いているが、水平方向や垂直方向など、特定の方向にのみ発光領域が並ぶライン状の光源を用いることも可能である。
以上の実施形態では、複数の照明手段が、検出対象を含んだ全天球領域を照明し、検出手段が、全天球領域における検出対象との距離を検出する場合を例示して説明した。しかし、複数の照明手段による照明領域や検出手段による検出領域は、全天球領域(全方位)に限定されず、種々の設計変更が可能である。例えば、装置の上下面をカバーで覆って、前後左右の360度を照明領域と検出領域とすることも可能である。
1 測距装置(検出装置)
10 第1の照明ユニット(照明手段)
11 第1のアレイ光源
12 第1の照明光学系(投光レンズ)
20 第1の受光ユニット
21 第1の受光素子(検出手段)
22 第1の受光光学系(受光レンズ)
30 第2の照明ユニット(照明手段)
31 第2のアレイ光源
32 第2の照明光学系(投光レンズ)
40 第2の受光ユニット
41 第2の受光素子(検出手段)
42 第2の受光光学系(受光レンズ)
50 光源駆動回路(照明光制御手段、電流制御手段)
60 信号制御回路
70 アレイ光源(VCSEL:Vertical Cavity Surface Emitting Laser)
71 面発光レーザ素子
72 基板
73 コンタクト層
74U 上部多層膜反射鏡
74D 下部多層膜反射鏡
75U 上部スペーサ層
75D 下部スペーサ層
76 活性層
77 電流狭窄層
77a 電流通過領域
77b 電流通過抑制領域
78U 上部電極
78D 下部電極
79 絶縁体
80 第1の照明ユニットによる照明領域
90 第2の照明ユニットによる照明領域
100 減光フィルタ(照明光制御手段)
50X 検出装置
54X 多関節アーム(電子機器)
60X 携帯情報端末(電子機器)
64X 自動車(電子機器)
70X 移動体(電子機器)

Claims (10)

  1. VCSEL(Vertical Cavity Surface Emitting Laser)アレイ光源と照明光学系を各々が有する複数の照明手段と、
    前記複数の照明手段から照明されて検出対象で反射された反射光を検出する検出手段と、
    前記複数の照明手段の各々について、強度又は照度を制御する照明光制御手段と、
    を有し、
    前記複数の照明手段において、前記VCSELアレイ光源からの距離が所定距離以上で360°の領域を照明し、
    前記照明光制御手段は、前記所定距離以上での、隣接する照明手段からの照明光が重なる前記照明手段の周辺側部分の強度又は照度を、隣接する照明手段からの照明光が重ならない前記照明手段の中央側部分の強度又は照度より小さくする、
    ことを特徴とする検出装置。
  2. VCSEL(Vertical Cavity Surface Emitting Laser)アレイ光源と照明光学系を各々が有する複数の照明手段と、
    前記複数の照明手段から照明されて検出対象で反射された反射光を検出する検出手段と、
    前記複数の照明手段の各々について、強度又は照度を制御する照明光制御手段と、
    を有し、
    各々の前記照明光学系は、魚眼レンズ又は超広角レンズを含み、前記VCSELアレイ光源からの距離が所定距離以上の領域において、隣接する照明手段からの照明光が重なり、
    前記照明光制御手段は、前記所定距離以上での、隣接する照明手段からの照明光が重なる前記照明手段の周辺側部分の強度又は照度を、隣接する照明手段からの照明光が重ならない前記照明手段の中央側部分の強度又は照度より小さくする、
    ことを特徴とする検出装置。
  3. 前記複数の照明手段は、互いに異なる方向を向いている、
    ことを特徴とする請求項1又は請求項2に記載の検出装置。
  4. 前記照明光制御手段は、前記VCSELアレイ光源と前記照明光学系の間に配置されるとともに、前記VCSELアレイ光源からの照明光の周辺側部分を減光する減光フィルタを有する、
    ことを特徴とする請求項1から請求項3のいずれかに記載の検出装置。
  5. 前記照明光制御手段は、前記VCSELアレイ光源の周辺側部分のアレイサイズを中央側部分のアレイサイズより小さくすることにより実現される、
    ことを特徴とする請求項1から請求項3のいずれかに記載の検出装置。
  6. 前記照明光制御手段は、前記VCSELアレイ光源の周辺側部分のアレイピッチを中央側部分のアレイピッチより長くすることにより実現される、
    ことを特徴とする請求項1から請求項3のいずれかに記載の検出装置。
  7. 前記照明光制御手段は、前記VCSELアレイ光源の周辺側部分に対する注入電流を中央側部分に対する注入電流より小さくする電流制御手段を有する、
    ことを特徴とする請求項1から請求項3のいずれかに記載の検出装置。
  8. 前記複数の照明手段から照明されて前記検出対象で反射された反射光を前記検出手段に導く受光光学系をさらに有する、
    ことを特徴とする請求項1から請求項のいずれかに記載の検出装置。
  9. 前記受光光学系は、魚眼レンズ又は超広角レンズを有する、
    ことを特徴とする請求項に記載の検出装置。
  10. 請求項1から請求項のいずれかに記載の検出装置からの情報が入力される電子機器であって、
    前記検出装置からの情報に基づいて前記電子機器の制御を行う制御部を有する、
    ことを特徴とする電子機器。
JP2020017643A 2020-02-05 2020-02-05 検出装置及び電子機器 Active JP7505193B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020017643A JP7505193B2 (ja) 2020-02-05 2020-02-05 検出装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017643A JP7505193B2 (ja) 2020-02-05 2020-02-05 検出装置及び電子機器

Publications (2)

Publication Number Publication Date
JP2021124369A JP2021124369A (ja) 2021-08-30
JP7505193B2 true JP7505193B2 (ja) 2024-06-25

Family

ID=77460122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017643A Active JP7505193B2 (ja) 2020-02-05 2020-02-05 検出装置及び電子機器

Country Status (1)

Country Link
JP (1) JP7505193B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067693A1 (ja) * 2021-10-19 2023-04-27 パイオニア株式会社 測距装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511785A (ja) 2015-02-19 2018-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 赤外線レーザ照明装置
WO2018169758A1 (en) 2017-03-13 2018-09-20 OPSYS Tech Ltd. Eye-safe scanning lidar system
JP2018152632A (ja) 2017-03-09 2018-09-27 株式会社リコー 撮像装置および撮像方法
WO2019038365A1 (en) 2017-08-23 2019-02-28 Koninklijke Philips N.V. VCSEL NETWORK WITH OPTICAL DEVICE INTEGRATED ON COMMON WAFER
JP2019045334A (ja) 2017-09-04 2019-03-22 株式会社日立エルジーデータストレージ 3次元距離測定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511785A (ja) 2015-02-19 2018-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 赤外線レーザ照明装置
JP2018152632A (ja) 2017-03-09 2018-09-27 株式会社リコー 撮像装置および撮像方法
WO2018169758A1 (en) 2017-03-13 2018-09-20 OPSYS Tech Ltd. Eye-safe scanning lidar system
WO2019038365A1 (en) 2017-08-23 2019-02-28 Koninklijke Philips N.V. VCSEL NETWORK WITH OPTICAL DEVICE INTEGRATED ON COMMON WAFER
JP2019045334A (ja) 2017-09-04 2019-03-22 株式会社日立エルジーデータストレージ 3次元距離測定装置

Also Published As

Publication number Publication date
JP2021124369A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
KR102398080B1 (ko) 분산 모듈형 솔리드-스테이트 광 검출 및 거리 측정 시스템
US8411289B2 (en) Optical position detection device
CN114287827B (zh) 清洁机器人系统及其清洁机器人和充电路径决定方法
JP6025014B2 (ja) 距離測定装置
US11391941B2 (en) Refractive beam steering device useful for automated vehicle LIDAR
JP2021081234A (ja) 光源装置、検出装置及び電子機器
US20200341121A1 (en) Lidar-integrated lamp device for vehicle
JP2017019072A (ja) 位置計測システム
KR20230126704A (ko) 전송 광학 전력 모니터를 사용하는 LiDAR 시스템
JP7317149B2 (ja) 耐オクルージョン性のためのビーム均質化
JP7505193B2 (ja) 検出装置及び電子機器
JP2016151519A (ja) 検知装置および移動体
JP6679472B2 (ja) 物体検出装置
KR20220097220A (ko) 서로 다른 지향각을 갖는 복수의 채널을 구비하는 라이다 광원용 발광장치
JP2016206084A (ja) 車両用障害物検出装置
US10641878B2 (en) Positional feedback sensing useful for automated vehicle LIDAR
US11567174B2 (en) Stochastically clocked image generation of a LIDAR system
WO2021126083A1 (en) Lidar transmitter, system and method
US11899107B2 (en) Detection apparatus and method of detecting object comprising a circuitry to switch an illuminance level at each illuminance region with a plurality of illuminance levels
US20220158418A1 (en) Light source device, detection device, and electronic apparatus
JP6584370B2 (ja) 車両用光学式レーダ装置
CN113614604A (zh) 光源装置、检测装置和电子设备
US20220381885A1 (en) Lidar transmitter, system and method
JP6663156B2 (ja) 物体検出装置
EP3743179B1 (en) Spherical coordinate sensor for vehicle occupant monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240527