JP7151519B2 - 距離画像測定装置 - Google Patents

距離画像測定装置 Download PDF

Info

Publication number
JP7151519B2
JP7151519B2 JP2019017229A JP2019017229A JP7151519B2 JP 7151519 B2 JP7151519 B2 JP 7151519B2 JP 2019017229 A JP2019017229 A JP 2019017229A JP 2019017229 A JP2019017229 A JP 2019017229A JP 7151519 B2 JP7151519 B2 JP 7151519B2
Authority
JP
Japan
Prior art keywords
light
image sensor
distance
colored portion
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019017229A
Other languages
English (en)
Other versions
JP2020125924A (ja
Inventor
直丈 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2019017229A priority Critical patent/JP7151519B2/ja
Priority to CN202010038087.7A priority patent/CN111522015B/zh
Priority to US16/752,743 priority patent/US11474250B2/en
Priority to DE102020102271.9A priority patent/DE102020102271A1/de
Publication of JP2020125924A publication Critical patent/JP2020125924A/ja
Application granted granted Critical
Publication of JP7151519B2 publication Critical patent/JP7151519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

距離画像測定装置に関し、特に、光の投受光により距離を測定する距離画像測定装置に関する。
光源が投射光を投射してから、投射光が物体で反射して生じた反射光が画像センサにより受光されるまでの時間である飛行時間に基づいて、その物体までの距離を測定する距離画像測定装置が知られている。この距離画像測定装置は、光の飛行時間に基づいて物体までの距離を測定することから、Time of Flight方式(以下、ToF方式)の距離画像測定装置と言われる。
ToF方式で距離を測定する装置として、他に、パルスレーザ光を投射光とし、反射光を画像センサではなく1つの受光素子により受光する装置も知られている(たとえば特許文献1)。特許文献1に記載された装置は、筐体内において、回転ミラーから見てレーザ光透過板とは反対方向に反射部材を配置し、その反射部材を経由する投受光経路の経路長が既知であることを利用して、距離算出に用いる補正データを生成している。
特開2010-203820号公報
ToF方式の距離画像測定装置は、高速に三次元画像を得ることができるという特徴がある。そこで、ToF方式の距離画像測定装置によりロボットの周辺を監視し、ロボットに人が近づいた場合にロボットを緊急停止させるなど、ToF方式の距離画像測定装置をセキュリティ用途に利用することが検討されている。
セキュリティ用途にToF方式の距離画像測定装置を用いる場合、高い信頼性が要求される。具体的には、光源から投射光が投光されていること、その投射光が、画像センサが備える複数の画素のうち、設定された視野の光を検出する全部の画素により受光されていることを逐次確認する必要がある。さらに、距離を算出する演算装置が正しく距離を算出できていることも、逐次確認する必要がある。
特許文献1では、投受光経路の経路長が既知である反射部材に向けて投射光を投射したときの飛行時間から補正データを生成している。補正データが生成できることは、光源がパルスレーザ光を発光できていること、および、そのパルスレーザ光を受光素子が検出できていることが確認できたことになる。すなわち、投光系および受光系が正常であることが確認できたことになる。また、補正データを用いることにより正しく距離を算出できるようになる。
そこで、セキュリティ用途に用いるToF方式の距離画像測定装置でも、特許文献1に開示されている技術を用いて、異常の有無を逐次判断できるかを検討する。前述したように、セキュリティ用途にToF方式の距離画像測定装置を用いる場合、投射光が、画像センサが備える複数の画素のうち、設定された視野の光を検出する全部の画素により受光されていることを逐次確認する必要がある。したがって、単純に特許文献1の技術を利用すると、画像センサの視野を全部塞ぐ反射部材を配置する必要がある。しかし、当然、視野を全部塞いでしまっては、装置外部にある物体の距離を測定することはできない。よって、どのようにして、逐次、装置の異常の有無を確認できるようにするかが問題になる。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、異常の有無を逐次確認することができる距離画像測定装置を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。
上記目的を達成するための請求項1に係る距離画像測定装置は、
光を投射する光源(21)と、
光源が投射した光である投射光が物体で反射して生じた反射光を受光する画像センサ(22)と、
光源と画像センサを収容する筐体(10、110)と、
筐体に設けられ、投射光と反射光が通過する窓(12、112)と、
光源から投射光が投射されてから画像センサが反射光を受光するまでの時間である飛行時間に基づいて物体までの距離を算出する距離算出部(41)とを備えた距離画像測定装置であって、
窓よりも光源および画像センサ側に窓から離れて配置され、投射光を画像センサの方向に反射する反射状態と投射光が透過する透過状態とが切替可能であり、装置内に固定されている反射状態切り替え部材(33)を備え、
反射状態になっている反射状態切り替え部材で投射光が反射されて生じた反射光である基準内部反射光が、画像センサの受光面のうち、観測視野に存在する物体を検出するために必要な領域である視野対応領域により検出できるようになっており、
反射状態切り替え部材を反射状態として、画像センサの視野対応領域に受光された基準内部反射光に基づいて距離算出部が算出した距離が正常範囲か否かを判断することで、観測視野に存在する物体を検出する機能に異常があるか否かを判断する異常判断部(43)を備える。
この距離画像測定装置は、反射状態切り替え部材を備えており、反射状態切り替え部材が反射状態になっていると、反射状態切り替え部材により投射光が反射され、その反射により生じた基準内部反射光は、画像センサの受光面の視野対応領域により検出される。
反射状態切り替え部材は装置内に固定されていることから、その反射状態切り替え部材で反射して生じる基準内部反射光が画像センサの視野対応領域により検出された場合に距離算出部により算出される距離の正常範囲は予め設定しておくことができる。
したがって、反射状態切り替え部材を反射状態にして、その状態で画像センサの視野対応領域に存在している画素により検出された基準内部反射光に基づいて距離算出部が算出した距離を予め設定した正常範囲と比較することで、画像センサの視野対応領域に存在する画素など、観測視野に存在する物体を検出する要素に異常があるかどうかを判断することができる。
また、反射状態切り替え部材を透過状態に切り替えれば、投射光は反射状態切り替え部材を透過して装置外部に投射され、かつ、装置外部で生じた反射光も反射状態切り替え部材を透過して画像センサにより受光される。したがって、装置外部の物体までの距離を測定することもできる。
さらに、反射状態切り替え部材は、窓よりも光源および画像センサ側に、窓から離れて配置されている。したがって、反射状態切り替え部材が窓に接して配置されている場合に比較して、反射状態切り替え部材を小さくすることができるので、反射状態切替部材を設けることによるコストアップも少なくなる。
請求項2に係る距離画像測定装置では、反射状態切り替え部材は、投射光を反射する面が投射光の光軸に対して傾斜して配置されている。
異常の一態様として、値の固着がある。複数の画素について値の固着が生じていると、複数の画素が検出した反射光の実際の飛行時間は相互に異なっていても、算出される距離は、画素によらず同じになってしまう場合が多いと考えられる。
この請求項2のように、反射状態切り替え部材において投射光を反射する面が投射光の光軸に対して傾斜していると、光源から反射状態切り替え部材を経由して画像センサの視野対応領域に存在する複数の画素に至るまでの光路長およびそれに対応する飛行時間は、画素の位置に応じて連続的に変化する。したがって、各画素に対応した正常範囲が連続的に変化する。値の固着が生じている場合には、複数の画素について算出した距離が同じになることが多いので、請求項2のようにすれば、値の固着が生じていることを検出しやすい
請求項3に係る距離画像測定装置では、投射光を窓の方向に反射するとともに、窓から入射する反射光を画像センサに向かう方向に反射するために、鏡面が投射光の光軸に対して傾斜しているミラー(31)を備え、
反射状態切り替え部材は、ミラーの鏡面に配置されていることにより、投射光を反射する面が投射光の光軸に対して傾斜している。
投射光を窓の方向に反射するミラーを備えることで、このミラーを、装置外部の物体までの距離測定を阻害せずに、投射光の光路上に反射状態切り替え部材を固定する部材として利用することができる。
請求項4に係る距離画像測定装置では、反射状態切り替え部材は、透明画像表示パネルであり、
透明画像表示パネルに、投射光を画像センサに向かう方向に反射させるための着色部分を表示させる表示制御部(42)を備え、
異常判断部は、表示制御部により、透明画像表示パネルに観測視野の一部になるように着色部分を形成させ、かつ、着色部分を移動させて、距離算出部が算出した着色部分までの距離が正常範囲か否かを判断することに加えて、画像センサが検出した基準内部反射光から決定される着色部分の動きが、表示制御部が着色部分を移動させた動きと一致するか否かも判断する。
請求項4に係る距離画像測定装置では、透明画像表示パネルに、投射光を画像センサに向かう方向に反射させるための着色部分を観測視野の一部になるように形成させ、かつ、その着色部分を移動させる。着色部分を移動させると、画像センサに検出される基準内部反射光からも、着色部分が移動していることが確認できるはずである。
そこで、異常判断部は、距離算出部が算出した着色部分までの距離が正常範囲か否かを判断することに加えて、画像センサが検出した基準内部反射光から決定される着色部分の動きが、表示制御部が着色部分を移動させた動きと一致するか否かも判断する。
このようにすることにより、距離画像測定装置に異常があるにも関わらず、異常であると判断できない場合を少なくできる。
第1実施形態の距離画像測定装置1の構成を示す図である。 図1の制御部40が備える機能を示す図である。 一部を着色部分とした液晶パネル33を例示する図である。 制御部40が実行する処理を示すフローチャートである。 第2実施形態の距離画像測定装置100の構成を示す図である。
<第1実施形態>
以下、実施形態を図面に基づいて説明する。図1は、本実施形態の距離画像測定装置1の構成を示す図である。距離画像測定装置1は、筐体10を備えており、その筐体10の内部に、投受光部20と、偏向部30と、制御部40とが収容されている。
筐体10は、遮光材料で構成されているが、一部に開口11が形成されており、その開口11に窓12が取り付けられている。窓12は光源21が投射する投射光Lp、および、その投射光Lpが物体で反射して生じた反射光Lrが通過できる光透過性である。
投受光部20は、光源21と画像センサ22とを備えている。これら光源21と画像センサ22は同一の基板23に固定されている。距離画像測定装置1は、ToF方式で物体までの距離を測定するので、光源21は、物体に照射するための光である投射光Lpを投射する。投射光Lpには種々の波長の光を用いることができる。たとえば、投射光Lpは940nmなどの赤外光である。光源21は、パルス状に投射光Lpを投射することができる。光源21は、たとえばLEDである。図1では光源21は画像センサ22を挟んで2つ設けられている。ただし、光源21の数は、1つ、あるいは、3つ以上でもよい。
画像センサ22は、CMOSイメージセンサ、CCDイメージセンサなど、ToF方式で距離を測定する際に用いられるイメージセンサを用いることができる。画像センサ22は、複数の画素を備えており、各画素がどの方向からの反射光Lrを受光するかは、設計時に決定することができる。画像センサ22が反射光Lrを検出する角度が画角であり、水平方向画角と垂直方向画角により視野を規定することができる。光源21は、視野の全範囲に投射光Lpを投射できるようになっている。なお、図1には示していないが、投射光Lpを拡散させるレンズおよび反射光Lrを集光するレンズを設けてもよい。
観測視野は、画像センサ22が検出可能な視野のうち、実際に物体検出に用いる視野である。観測視野は、画像センサ22が検出可能な視野全部でもよいし、その一部でもよい。観測される範囲は、投受光部20から遠くなるほど広くなる。
偏向部30は、ミラー31と、支柱32と、液晶パネル33とを備えている。ミラー31は、平面状の鏡面を備えている。なお、鏡面を凹面としてよも、鏡面は、投射光Lpを窓12の方向に反射し、反射光Lrを画像センサ22の方向に反射する。投射光Lpおよび反射光Lrをこのように反射するため、ミラー31の鏡面は、投射光Lpの光軸に対して傾斜している。なお、傾斜している状態は、鏡面と投射光Lpの光軸とのなす角が90度ではないことを意味する。
支柱32は、ミラー31と筐体10とを連結しており、ミラー31を筐体10に固定する。液晶パネル33は、本実施形態では、ミラー31の鏡面上に配置されている。液晶パネル33の構造は、一対の光透過層の間に、フィルタと液晶層と透明電極とが挟み込まれた構造であり、投射光Lpと反射光Lrとを透過する。光透過層は、たとえばガラス板である。液晶パネル33は全体として、投射光Lpと反射光Lrとを透過する透明画像表示パネルである。なお、液晶パネル33の厚さは、特に制限はなく、フィルムと呼ばれることが多い程度の厚さであってもよいし、それ以上の厚さであってもよい。
液晶パネル33は、制御部40に接続されており、制御部40により制御されることで、一部または全部が着色される。液晶パネル33は反射型であり、着色された部分は、投射光Lpと反射光Lrとを拡散反射する。投射光Lpが拡散反射されて生じた反射光Lrの一部は、画像センサ22の方向に向かう。よって、液晶パネル33は、着色された状態では、投射光Lpを画像センサ22の方向に反射する。液晶パネル33の少なくとも一部が着色された状態を反射状態とも記載する。一方、液晶パネル33が着色されておらず、投射光Lpと反射光Lrとを透過する状態を透過状態と記載することもある。液晶パネル33は、反射状態と透過状態とが、制御部40により制御されることで切り替え可能であり、反射状態切り替え部材として機能する。
液晶パネル33の大きさは、観測視野の全部を着色状態とすることができる大きさである。前述したように、観測される範囲は、投受光部20から遠くなるほど大きくなるが、ミラー31の位置では、観測される範囲はミラー31よりも小さい。換言すれば、ミラー31は、その設置位置における観測範囲よりも大きくなるサイズのものが用いられる。図1に示すように、液晶パネル33がミラー31と同じ大きさであれば、液晶パネル33も、観測範囲よりも大きい。
制御部40は、投受光部20の制御と、液晶パネル33の制御とを行う。制御部40は、たとえば、CPU、ROM、RAM、I/O、およびこれらの構成を接続するバスラインなどを備えたコンピュータにより実現できる。ROMには、汎用的なコンピュータを制御部40として機能させるためのプログラムが格納されている。CPUが、RAMの一時記憶機能を利用しつつ、ROMに記憶されたプログラムを実行することで、制御部40は、図2に示すように、距離算出部41、表示制御部42、異常判断部43としての機能を実行する。
距離算出部41は、装置外部であって観測視野内にある物体までの距離を逐次算出する。そして、その距離を画像で示した三次元距離画像を逐次作成する。詳しくは、周期的に光源21から投射光Lpを投射させ、また、画像センサ22の画素のうち視野対応領域に存在する画素が反射光Lrを受光した時点を決定する。なお、前述したように、各画素がどの方向からくる反射光Lrを受光するかは設計時に決定できる。したがって、観測視野を決めれば、その観測視野内で画像センサ22に受光される反射光Lrが画像センサ22の受光面のどの領域に受光されるかは、予め決定しておくことができる。画像センサ22の受光面において、観測視野内の各方向からの反射光Lrを受光する領域が視野対応領域である。
光源21が投射光Lpを投射してから視野対応領域に存在する各画素が反射光Lrを受光するまでの時間が飛行時間であり、飛行時間に光速を乗じて反射光Lrが生じた物体までの距離を算出する。視野対応領域に存在する各画素について、この距離を算出した結果を表した画像が三次元距離画像である。
また、距離算出部41は、三次元距離画像を作成した後、三次元距離画像内の複数の物体間の距離を逐次決定してもよい。そして、三次元距離画像が示す物体までの距離、あるいは、物体間の距離から、人とロボットとが接近しすぎている状況などを判断し、所定の警告条件が成立した場合に警告を出力する。
本実施形態の距離画像測定装置1は、このようなセキュリティ用途に用いるため、異常判断部43により、装置の異常の有無を周期的に自ら確認する。異常判断部43は、観測視野の全領域において、距離が正しく測定できている場合に異常なしとし、観測視野の一部にでも、反射光Lrを検出できない部分がある場合や、反射光Lrは検出できたが距離が正しく算出できない場合には、装置が異常であるとする。
異常判断部43が異常判断を行う際には、表示制御部42が液晶パネル33を反射状態とする。より詳しくは、本実施形態では、表示制御部42は、図3に示すように、液晶パネル33の一部を着色部分33aとする。着色部分33aは、観測視野の一部になる大きさとする。図3は、液晶パネル33の表面に直交する方向から見た図である。図3では、着色部分33aは長方形であって、その長方形の長辺は液晶パネル33の1つの辺と同じ長さである。表示制御部42は、着色部分33aを、図3に示す矢印の方向に、移動開始前とは反対側の辺に接するまで着色部分33aを移動させる。
異常判断部43は、装置の異常の有無を周期的に確認するために、表示制御部42に指示して、液晶パネル33を反射状態とする。液晶パネル33は、ミラー31に固定されていることから、投射光Lpが液晶パネル33の着色部分33aで反射して画像センサ22の視野対応領域に存在する各画素に受光される場合の光路長は予め算出しておくことができる。したがって、液晶パネル33の着色部分33aで反射して画像センサ22の視野対応領域に存在する各画素に受光される反射光Lrの飛行時間やその飛行時間から算出できる距離の正常範囲も予め設定しておくことができる。
そこで、異常判断部43は、実際に光源21から投射光Lpを投射して、液晶パネル33の着色部分33aで反射して画像センサ22の視野対応領域に存在する各画素に受光される反射光Lrをもとに距離を算出する。そして、算出した距離が正常範囲かどうかを確認することで、距離画像測定装置1に異常があるかどうかを確認することができる。
このように、液晶パネル33の着色部分33aで反射して生じた反射光Lrは、距離画像測定装置1に異常があるかどうかを確認することができる反射光Lrであることから、以下、この反射光Lrを基準内部反射光とする。
図4を用いて、制御部40が実行する処理をさらに説明する。なお、図4において、ステップ(以下、ステップを省略)S1、S4、S5、S8は距離算出部41が実行し、S2、S6、S7は異常判断部43が実行し、S3、S9、S10は表示制御部42が実行する。
S1では、通常測定処理を実行する。通常測定処理は、液晶パネル33の全面を透過状態として、投射光Lpを投射し、画像センサ22の視野対応領域に存在する全部の画素が検出した反射光Lrをもとに三次元距離画像を作成する処理である。さらに、通常測定処理では、作成した三次元距離画像をもとに警告条件が成立するか否かを判断し、警告条件が成立した場合には警告を出力する。
S2では、異常確認タイミングになったか否かを判断する。異常確認タイミングは、予め設定されており、一定周期とすることができる。S2の判断結果がNOであればS1に戻り、通常測定処理を継続する。一方、S2の判断結果がYESになった場合にはS3に進む。
S3では、液晶パネル33の一部を着色部分33aにして、その着色部分33aの一定速度での移動を開始させる。この状態は図3に示した状態である。一定速度は、S5で決定する着色部分33aの空間位置と、次にS5を実行して決定する着色部分33aの空間位置との間に、隙間が生じない速度である。S4では、光源21から投射光Lpを投射させ、画像センサ22により反射光Lrを受光する。
S5では、S4を実行することで算出できる飛行時間に基づいて着色部分33aの距離を算出する。着色部分33aは、S3を実行後、一定速度で移動している。そのため、移動開始からの経過時間をもとに着色部分33aの位置を算出することができ、着色部分33aの位置が算出できると、着色部分33aからの基準内部反射光を受光する画素を特定することができる。S5では、このようにして特定した画素が検出した反射光Lrをもとに着色部分33aの距離を算出する。ただし、着色部分33aからの基準内部反射光を受光する画素の周囲の画素であって、本来は、液晶パネル33の透過状態となっている部分に対応する画素が出力した信号からも距離を算出する。着色部分33aの位置および大きさが、正しい位置および大きさで観測できるかを判断するためである。
着色部分33aに対応する画素およびその周囲の画素が出力した信号に基づいて距離を算出した後、その距離が、装置外部の距離ではない部分を決定する。そして、装置外部の距離ではない部分により形成される範囲を着色部分33aの空間位置とする。
S6では、S5で決定した着色部分33aの空間位置が、表示制御部42が液晶パネル33に生成させた着色部分33aの位置を基準として決定できる正常範囲にあるか否かを判断する。この正常範囲は、表示制御部42が液晶パネル33に生成させた着色部分33aの位置を基準として、許容される誤差を加えた範囲である。着色部分33aの空間位置は、着色部分33aまでの距離と方位、着色部分33aの形状と大きさにより規定される。したがって、着色部分33aの空間位置が正常範囲にあるか否かを判断することにより、算出した着色部分33aの距離が正常範囲かどうかも判断していることになる。S5で決定した着色部分33aの空間位置が正常範囲にない場合には、距離画像測定装置1は正常ではなく、何らかの異常があることになる。そこで、S7に進み、異常通知を行う。
一方、S6の判断において、S5で決定した着色部分33aの空間位置が正常範囲にあると判断した場合はS8に進む。S8では、S4の投受光において検出された装置外部の反射光Lrから、三次元距離画像を作成する。三次元距離画像を作成した後は、S1と同様、警告条件が成立するか否かを判断する。
S9では、着色部分33aが移動を終了する位置に到達したか否かを判断する。この判断結果がNOであればS4に戻る。移動終了位置に到達するまで、投受光に基づいて決定した着色部分33aの空間位置が正常範囲にあるか否かを判断するので、視野対応領域にある全部の画素について、正しく内部基準反射光を受光できているかどうかを判断できる。
S9の判断結果がYESであれば、視野対応領域にある全部の画素が、正しく内部基準反射光を受光できていることも含め、装置全体に異常がないことが確認できたことになる。そこで、S10に進み、液晶パネル33を全面透過状態にする。その後、S1へ戻る。
[第1実施形態のまとめ]
以上、説明した第1実施形態の距離画像測定装置1は、液晶パネル33を備えており、液晶パネル33の一部が着色部分33aになっていると、着色部分33aにより投射光Lpが反射されて生じた基準内部反射光は、画像センサ22の受光面の視野対応領域により検出される。基準内部反射光が画像センサ22の視野対応領域により検出された場合に算出される距離の正常範囲が予め設定されている。
そこで、液晶パネル33を着色状態にして、その状態で画像センサ22の視野対応領域に存在している画素により検出された基準内部反射光に基づいて距離算出部41が算出した距離を、予め設定した正常範囲と比較する(S6)。これにより、画像センサ22の視野対応領域に存在する画素など、距離画像測定装置1において、観測視野に存在する物体を検出する要素に異常があるかどうかを、距離画像測定装置1が自ら判断することができる。
また、液晶パネル33を全面透過状態に切り替えれば(S10)、投射光Lpは液晶パネル33を透過してミラー31で反射され装置外部に投射される。また、装置外部で生じた反射光Lrも液晶パネル33を透過してミラー31で反射され画像センサ22により受光される。したがって、観測視野の全範囲に渡り、装置外部の物体までの距離を測定することもできる。
さらに、液晶パネル33は、ミラー31の鏡面に重ねられている。したがって、窓12よりも光源21および画像センサ22側に、窓12から離れて配置されていることになる。その結果、液晶パネル33が窓12に接して配置されている場合に比較して、液晶パネル33を小さくすることができるので、液晶パネル33を設けることによるコストアップも少なくなる。
また、本実施形態では、液晶パネル33は投射光Lpの光軸に対して傾斜して配置されている。このように液晶パネル33が投射光Lpの光軸に対して傾斜していると、着色部分33a内において位置を傾斜方向に沿って変化させた場合、その位置までの距離が連続的に変化する。一方、値の固着が生じている場合には、複数の画素について算出した距離が同じになることが多いので、本実施形態のようにすれば、値の固着が生じていることを検出しやすい。
また、本実施形態では、ミラー31を備えているので、ミラー31を、装置外部の物体までの距離測定を阻害せずに、投射光Lpの光路上に液晶パネル33を固定する部材として利用することができる。また、ミラー31は投射光Lpの光軸に対して傾斜していることから、ミラー31に液晶パネル33を配置することで液晶パネル33を投射光Lpの光軸に対して傾斜して配置することができる。
また、本実施形態では、観測視野の全部になる大きさの着色部分33aを一度に液晶パネル33に形成するのではなく、観測視野の一部になるように液晶パネル33に着色部分33aを形成し、その着色部分33aを移動させる(S3)。そして、着色部分33aを移動させている過程で、逐次、着色部分33aの空間位置を決定し、着色部分33aの空間位置が正常範囲かどうかを判断している(S6)。つまり、本実施形態では、着色部分33aまでの距離が正常範囲か否かを判断することに加えて、画像センサ22が検出した基準内部反射光から決定される着色部分33aの動きが、表示制御部42が着色部分33aを移動させた動きと一致するか否かも判断している。これにより、距離画像測定装置1に異常があるにも関わらず、異常であると判断できない場合を少なくできる。
また、着色部分33aを移動させている間も、装置外部の反射光Lrが受光でき、その反射光Lrから三次元距離画像を作成している。このようにすることで、観測視野の全部において、装置外部の物体を検出できないときをなくすことができる。
<第2実施形態>
次に、第2実施形態を説明する。この第2実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
図5に第2実施形態の距離画像測定装置100の構成を示す。距離画像測定装置100は、筐体110内に、第1実施形態と同じ投受光部20が収容されている。ただし、第1実施形態では、投受光部20が備える光源21および画像センサ22は窓12に面していないのに対して、第2実施形態では、光源21および画像センサ22は窓112に面している。窓112は、第1実施形態の窓12と同じ光透過性であり、開口111に取り付けられている。
距離画像測定装置100は、ミラー31を備えていない。よって、距離画像測定装置100は、光源21が投射した投射光Lpは偏向されずに装置外部に投射され、また、装置外部から入射する反射光Lrは偏向されずに、画像センサ22に入射する。
ミラー31を備えていないので、距離画像測定装置100では、液晶パネル33が、直接、支柱132により、筐体110に支持されている。このように、ミラー31を備えず、液晶パネル33を投受光部20と窓112との間に配置しても、制御部40は、第1実施形態と同じ処理を実行して、距離画像測定装置100の異常の有無を逐次確認することができる。
以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
<変形例1>
実施形態では、反射状態切り替え部材として液晶パネル33を備えており、液晶パネル33の一部を着色部分33aとし、着色部分33aを移動させつつ、着色部分33aの空間位置が正常範囲か否かを判断していた。しかし、液晶パネル33に観測視野の全部になる大きさの着色部分33aを形成し、一度に、画像センサ22の視野対応領域にある全部の画素が正常に基準内部反射光を受光できるかどうかを判断してもよい。
<変形例2>
観測視野の全部になる大きさの着色部分33aを形成し、着色部分33aを移動させない場合、液晶パネル33に代えて、調光ガラスなど全体を着色して反射状態とするか、全体を透過状態にするかを切り替える部材を反射状態切り替え部材として用いることもできる。調光ガラスの調光方式としては、種々の方式、たとえば、エレクトロクロミック方式およびガスクロミック方式を用いることができる。また、一部に着色部分を形成することができる反射状態切り替え部材として、液晶パネル33に代えて、有機ELパネルを用いることもできる。
1:距離画像測定装置 10:筐体 11:開口 12:窓 20:投受光部 21:光源 22:画像センサ 23:基板 30:偏向部 31:ミラー 32:支柱 33:液晶パネル 33a:着色部分 40:制御部 41:距離算出部 42:表示制御部 43:異常判断部 100:距離画像測定装置 110:筐体 112:窓 132:支柱 Lp:投射光 Lr:反射光

Claims (4)

  1. 光を投射する光源(21)と、
    前記光源が投射した光である投射光が物体で反射して生じた反射光を受光する画像センサ(22)と、
    前記光源と前記画像センサを収容する筐体(10、110)と、
    前記筐体に設けられ、前記投射光と前記反射光が通過する窓(12、112)と、
    前記光源から前記投射光が投射されてから前記画像センサが前記反射光を受光するまでの時間である飛行時間に基づいて前記物体までの距離を算出する距離算出部(41)とを備えた距離画像測定装置であって、
    前記窓よりも前記光源および前記画像センサ側に前記窓から離れて配置され、前記投射光を前記画像センサの方向に反射する反射状態と前記投射光が透過する透過状態とが切替可能であり、装置内に固定されている反射状態切り替え部材(33)を備え、
    前記反射状態になっている前記反射状態切り替え部材で前記投射光が反射されて生じた前記反射光である基準内部反射光が、前記画像センサの受光面のうち、観測視野に存在する物体を検出するために必要な領域である視野対応領域により検出できるようになっており、
    前記反射状態切り替え部材を前記反射状態として、前記画像センサの前記視野対応領域に受光された前記基準内部反射光に基づいて前記距離算出部が算出した距離が正常範囲か否かを判断することで、前記観測視野に存在する物体を検出する機能に異常があるか否かを判断する異常判断部(43)を備える、距離画像測定装置。
  2. 前記反射状態切り替え部材は、前記投射光を反射する面が前記投射光の光軸に対して傾斜して配置されている、請求項1に記載の距離画像測定装置。
  3. 前記投射光を前記窓の方向に反射するとともに、前記窓から入射する前記反射光を前記画像センサに向かう方向に反射するために、鏡面が前記投射光の光軸に対して傾斜しているミラー(31)を備え、
    前記反射状態切り替え部材は、前記ミラーの鏡面に配置されていることにより、前記投射光を反射する面が前記投射光の光軸に対して傾斜している、請求項2に記載の距離画像測定装置。
  4. 前記反射状態切り替え部材は、透明画像表示パネルであり、
    前記透明画像表示パネルに、前記投射光を前記画像センサに向かう方向に反射させるための着色部分を表示させる表示制御部(42)を備え、
    前記異常判断部は、前記表示制御部により、前記透明画像表示パネルに前記観測視野の一部になるように前記着色部分を形成させ、かつ、前記着色部分を移動させて、前記距離算出部が算出した前記着色部分までの距離が正常範囲か否かを判断することに加えて、前記画像センサが検出した前記基準内部反射光から決定される前記着色部分の動きが、前記表示制御部が前記着色部分を移動させた動きと一致するか否かも判断する、請求項1~3のいずれか1項に記載の距離画像測定装置。
JP2019017229A 2019-02-01 2019-02-01 距離画像測定装置 Active JP7151519B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019017229A JP7151519B2 (ja) 2019-02-01 2019-02-01 距離画像測定装置
CN202010038087.7A CN111522015B (zh) 2019-02-01 2020-01-14 距离图像测量装置
US16/752,743 US11474250B2 (en) 2019-02-01 2020-01-27 Distance image measuring device
DE102020102271.9A DE102020102271A1 (de) 2019-02-01 2020-01-30 Entfernungsbildmessvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019017229A JP7151519B2 (ja) 2019-02-01 2019-02-01 距離画像測定装置

Publications (2)

Publication Number Publication Date
JP2020125924A JP2020125924A (ja) 2020-08-20
JP7151519B2 true JP7151519B2 (ja) 2022-10-12

Family

ID=71615141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019017229A Active JP7151519B2 (ja) 2019-02-01 2019-02-01 距離画像測定装置

Country Status (4)

Country Link
US (1) US11474250B2 (ja)
JP (1) JP7151519B2 (ja)
CN (1) CN111522015B (ja)
DE (1) DE102020102271A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018126631A1 (de) * 2018-10-25 2020-04-30 Valeo Schalter Und Sensoren Gmbh Verfahren zur Bestimmung einer Entfernung eines Objekts mithilfe einer optischen Detektionsvorrichtung und optische Detektionsvorrichtung
JP7247976B2 (ja) * 2020-07-23 2023-03-29 株式会社三洋物産 遊技機
JP7247977B2 (ja) * 2020-07-23 2023-03-29 株式会社三洋物産 遊技機
JP7247979B2 (ja) * 2020-07-23 2023-03-29 株式会社三洋物産 遊技機
JP7247978B2 (ja) * 2020-07-23 2023-03-29 株式会社三洋物産 遊技機
JP7247980B2 (ja) * 2020-07-23 2023-03-29 株式会社三洋物産 遊技機

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283685B2 (ja) 2004-01-15 2009-06-24 株式会社スギノマシン 消雪ノズルの目詰まり除去装置および目詰まり除去システム
JP2010203820A (ja) 2009-03-02 2010-09-16 Denso Wave Inc レーザ距離測定装置
JP2018066657A (ja) 2016-10-19 2018-04-26 トヨタ自動車株式会社 周辺監視装置
JP2018205187A (ja) 2017-06-06 2018-12-27 京セラ株式会社 電磁波検出装置、電磁波検出システム、およびプログラム
JP2019006323A (ja) 2017-06-28 2019-01-17 三菱重工業株式会社 飛行体
JP2020091221A (ja) 2018-12-06 2020-06-11 日本信号株式会社 測距装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2731565B2 (ja) * 1989-01-11 1998-03-25 松下電工株式会社 測距センサー
JPH04283685A (ja) * 1991-03-12 1992-10-08 Fujitsu Ten Ltd レーザ測距装置及びそれを利用した車載用衝突警報装置
JP2001317938A (ja) * 2000-05-01 2001-11-16 Asahi Optical Co Ltd 光波距離計を有する測量機
JP5154134B2 (ja) * 2006-10-05 2013-02-27 株式会社キーエンス 光学式変位計、光学式変位測定方法、光学式変位測定プログラム
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2015164868A1 (en) * 2014-04-26 2015-10-29 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging
JP6507529B2 (ja) * 2014-08-29 2019-05-08 株式会社デンソー 光飛行型測距装置
US10054675B2 (en) * 2014-10-24 2018-08-21 Analog Devices, Inc. Active compensation for phase alignment errors in time-of-flight cameras
KR102372087B1 (ko) * 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
WO2017138033A1 (en) * 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
JP6775119B2 (ja) * 2017-03-23 2020-10-28 パナソニックIpマネジメント株式会社 距離測定装置
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10687034B1 (en) * 2018-04-23 2020-06-16 Facebook Technologies, Llc Image sensor with switchable optical filter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283685B2 (ja) 2004-01-15 2009-06-24 株式会社スギノマシン 消雪ノズルの目詰まり除去装置および目詰まり除去システム
JP2010203820A (ja) 2009-03-02 2010-09-16 Denso Wave Inc レーザ距離測定装置
JP2018066657A (ja) 2016-10-19 2018-04-26 トヨタ自動車株式会社 周辺監視装置
JP2018205187A (ja) 2017-06-06 2018-12-27 京セラ株式会社 電磁波検出装置、電磁波検出システム、およびプログラム
JP2019006323A (ja) 2017-06-28 2019-01-17 三菱重工業株式会社 飛行体
JP2020091221A (ja) 2018-12-06 2020-06-11 日本信号株式会社 測距装置

Also Published As

Publication number Publication date
US11474250B2 (en) 2022-10-18
DE102020102271A1 (de) 2020-08-06
CN111522015B (zh) 2023-07-11
CN111522015A (zh) 2020-08-11
US20200249358A1 (en) 2020-08-06
JP2020125924A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
JP7151519B2 (ja) 距離画像測定装置
JP2020125926A (ja) 距離画像測定装置
EP1331594B1 (en) Optical scanning touch panel
TWI582525B (zh) 影像感測器定位裝置及方法
KR20080044017A (ko) 터치 스크린
JP2020125925A (ja) 距離画像測定装置
US8360581B2 (en) Stereoscopic image display system
JP7378825B2 (ja) 物体検出装置
JP2007031103A (ja) エレベータの乗客検出装置
US8890848B2 (en) Optical touch device
JP2004170128A (ja) センサ
US20210148752A1 (en) Electromagnetic wave detection apparatus and information acquisition system
TWI433007B (zh) 光學觸控裝置及其定位方法
JP4454667B2 (ja) 光走査型タッチパネル
KR20200070823A (ko) 터치 디스플레이
JP5039185B2 (ja) 表示装置
JP7329943B2 (ja) 検出装置及び移動装置
EP3792679B1 (en) Electromagnetic wave detection device and information acquisition system
JP2005325537A (ja) 安全センサ
JP7330850B2 (ja) 距離センサ、検査装置、検査システム、および検査方法
JP7385422B2 (ja) 距離センサ、検査方法、およびリフレクタ
JP2007057424A (ja) 測距センサの検査装置及び検査方法
JP2021047616A (ja) 表示装置
EP4134730B1 (en) Display device and spatial input device including the same
WO2022224851A1 (ja) 電磁波検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7151519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350