JPWO2017213052A1 - 測距システム及び測距方法 - Google Patents

測距システム及び測距方法 Download PDF

Info

Publication number
JPWO2017213052A1
JPWO2017213052A1 JP2018522458A JP2018522458A JPWO2017213052A1 JP WO2017213052 A1 JPWO2017213052 A1 JP WO2017213052A1 JP 2018522458 A JP2018522458 A JP 2018522458A JP 2018522458 A JP2018522458 A JP 2018522458A JP WO2017213052 A1 JPWO2017213052 A1 JP WO2017213052A1
Authority
JP
Japan
Prior art keywords
distance
light source
light
image
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018522458A
Other languages
English (en)
Other versions
JP6775871B2 (ja
Inventor
松浦　幸治
幸治 松浦
圭一 森
圭一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017213052A1 publication Critical patent/JPWO2017213052A1/ja
Application granted granted Critical
Publication of JP6775871B2 publication Critical patent/JP6775871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

第１の光源（１０１）及び第２の光源（１０２）を含む複数の光源と、複数の光源が光を照射するタイミング及び照射期間を制御する光源制御部（１０３）と、複数の光源の被写体による反射光から反射光毎に距離画像を生成する撮像部（１０４）と、距離画像毎の信頼度を出力する信頼度出力部（１０５）と、複数の距離画像を合成する画像合成部（１０６）と、を備え、複数の光源は、撮像部（１０４）の光軸からそれぞれ異なる角度で光を照射し、複数の光源の照射範囲は、一部分のみ共通に照射する共通照射範囲（１１０）を有し、画像合成部（１０６）は、共通照射範囲（１１０）外に関しては複数の距離画像から排他的に合成の対象となる画素を選択し、共通照射範囲（１１０）内に関して信頼度により合成の対象となる画素を決定して合成距離画像（３０４）を生成する。

Description

本発明は、近距離から遠距離までの被写体を測距可能な測距システム及び測距方法に関する。
近年、ステレオカメラ又はＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式のカメラを使って、被写体までの距離を測定するシステムが数多く提案されている。
ステレオカメラ方式は、離間して配置された２つのカメラで画像を撮像し、撮像した画像を比較して得られた視差情報から被写体までの距離を算出する方式である。この方式は、遠距離の測距が困難であることや、夜間の測距が難しいといった課題がある。
一方、ＴＯＦ方式は、カメラが照射した光が被写体に反射して戻ってくるまでの時間を計測することで、被写体までの距離を算出する方式である。ステレオカメラ方式と異なり、遠距離や夜間の測距に優れた特徴を持っている。また、一般的なＴＯＦ方式の測距システムでは、反射光の信号レベルが大きい程、算出した距離情報の精度が上がる特徴がある。
例えば、特許文献１のＴＯＦ方式の測距システムでは、複数の光源を離間して設置し、光源を順に切り変えながら撮像を行い、光源毎に距離画像を生成する。そして、反射光の信号レベルが最も大きかった光源の距離画像を選択する方法を提案している。
特開２０１０−１９０６７５号公報
しかし、特許文献１の方法では、距離精度は高くなるが光源にかかる消費電力が大きくなるという課題がある。また、近距離から遠距離までの広いレンジでの測距が考慮されていないという課題もある。
本発明の一態様にかかる測距システムは上記課題を解決するため、光を照射する少なくとも第１の光源及び第２の光源を含む複数の光源と、前記複数の光源が光を照射するタイミング及び照射期間を制御する光源制御部と、前記複数の光源の被写体による反射光をそれぞれ個別のタイミング及び露光期間で露光し、前記反射光の電荷量から前記複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を前記反射光毎に生成する撮像部と、複数の前記距離画像毎の距離に対する信頼度を出力する信頼度出力部と、前記反射光毎に生成した複数の前記距離画像を合成する画像合成部と、を備え、前記複数の光源は、前記撮像部の光軸からそれぞれ異なる角度で光を照射し、前記複数の光源の照射範囲は、一部分のみ共通に照射する共通照射範囲を有し、前記画像合成部は、前記共通照射範囲の外側に関しては複数の前記距離画像から排他的に合成の対象となる画素を選択し、前記共通照射範囲に関しては前記信頼度により合成の対象となる画素を決定して合成距離画像を生成する。
このような測距システムによれば、近距離に関しては広視野角の測距が可能になる。また、共通照射範囲に関しては距離情報を毎フレーム取得できるため、重み付け平均やカルマンフィルタ等の時系列フィルタによる距離情報のノイズ低減効果を高くすることができる。そのため、ノイズ成分が大きい遠距離領域を共通照射範囲に入れることで、遠距離の測距精度を上げることができる。さらにフレーム毎に全ての光源を同時に照射せず、一部の光源のみ照射させる方式のため、消費電力を低く抑えることができる。
また、本発明の測距システムにおいて、前記信頼度出力部は、距離レンジ毎に光源の優先度を決めた光源優先度テーブルを備え、前記距離画像の画素毎の距離を示す距離情報と前記光源優先度テーブルの値を比較して前記信頼度を選択し出力してもよい。
測距可能な距離レンジは、光源の強さや光波形の特性等により変えることができる。従って、前述のような測距システムによれば、光源毎に測定可能な距離レンジや測距精度の高い距離レンジが異なるような場合においても、各距離レンジで最適な距離情報を選択することができるため、測距精度を高めることができる。
また、本発明の測距システムにおいて、前記信頼度出力部は、前記反射光の信号レベルを確認する信号レベル確認部を備え、前記信号レベル確認部は、前記距離画像に対応する前記反射光の信号レベルを確認し、信号レベルが大きい程、高い信頼度を生成し出力してもよい。
このような測距システムによれば、より信号レベルの高い反射光を使った距離情報を使用することができるため、測距精度を高めることができる。
また、本発明の測距システムにおいて、前記信頼度出力部は、前記距離画像の生成時間を確認する撮像時間確認部を備え、前記撮像時間確認部は、前記距離画像の生成時間を確認して、生成時間が新しい程、高い信頼度を生成し出力してもよい。
このような測距システムによれば、より新しい距離情報を使用できるため、被写体が動く場合でも精度よく測距ができる。
また、本発明の測距システムにおいて、前記画像合成部は、前記共通照射範囲に関しては、前記信頼度が最も高い距離情報を選択して合成距離画像を生成してもよい。
このような測距システムによれば、最も信頼度の高い情報を選択できるため、測距精度を高めることができる。
また、本発明の測距システムにおいて、前記画像合成部は、前記共通照射範囲に関しては、前記信頼度の値を用いて距離情報の重み付け平均をとり、合成距離画像を生成してもよい。
このような測距システムによれば、各距離情報の重み付け平均を取ることにより距離情報のノイズを低減できるため、測距精度を高めることができる。
また、本発明の測距システムにおいて、前記共通照射範囲は、前記距離画像の略中心になるように調整してもよい。
通常、遠方の被写体は、測距システムと前記被写体との距離の関係から撮像面の中央に寄ることになる。また、撮像部に使う光学レンズはその中央部分が最も良い特性を持つ。従って、前述のような測距システムによれば、遠方の被写体に共通照射範囲を設定することができるため、遠方にある被写体に対する測距精度を高めることができる。
また、本発明の測距システムにおいて、前記光源制御部は、前記複数の光源のうち少なくとも２つ以上の光源を同時に駆動してもよい。
このような測距システムによれば、光源を同時に駆動することで前記共通照射範囲内の光の強度を上げることができるため、前記共通照射範囲内の測距レンジを伸ばすことができる。
また、本発明の測距システムにおいて、駆動光源数判定部をさらに備え、前記駆動光源数判定部は、前記反射光の信号レベルの大きさにより同時に駆動する光源の数を決定して前記光源制御部に通知し、前記光源制御部は、通知された光源数をもとに、前記複数の光源の駆動を制御してもよい。
光を照射して距離を測定する測距システムでは、一般的に、露光された反射光が飽和している場合は、その電荷量から距離情報を算出することができない。また、反射光の信号レベルが低い場合は測距精度が低くなる。従って、前述のような測距システムによれば、被写体との距離が変わることで反射光の信号レベルが動的に変化する場合でも、精度よく測距することができる。
また、本発明の測距システムにおいて、画像出力選択部をさらに備え、前記画像出力選択部は、前記距離画像と前記合成距離画像の中から１つ以上の距離画像を選択し出力してもよい。
このような測距システムによれば、測距システムを利用するアプリケーションで必要な距離画像を適切に選択できるため、不要な画像処理を省くことができる。
また、上記課題を解決するために、本発明の一態様にかかる測距方法は、少なくとも第１の光源及び第２の光源を含む複数の光源を、光軸からそれぞれ異なる角度で光を照射させることで一部の領域のみ共通に光が照射されるように光源を制御する光源制御ステップと、前記複数の光源の被写体による反射光をそれぞれ個別のタイミングと露光期間で露光し、前記反射光の電荷量から前記複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を前記反射光毎に生成する撮像ステップと、前記反射光と前記反射光に対応する前記距離画像とから前記距離画像の信頼度を生成する信頼度生成ステップと、前記光源毎に生成した前記距離画像を、光の照射範囲が重ならない範囲に関しては前記各距離画像から排他的に合成の対象となる画素を選択し、光の照射範囲が重なる範囲に関しては前記信頼度により合成の対象となる画素値を決定して合成距離画像を生成する画像合成ステップとを備える。
これにより、上記測距システムと同様の効果を奏する。
なお、本発明は、測距システムとして実現できるだけでなく、その回路や機能を、コンピュータのプログラム、及びその動作ステップに置き換えることも可能である。
以上説明したように本発明によれば、近距離から遠距離までの広いレンジでの測距が可能にも関わらず、光源の消費電力を低く抑えることができる。
図１は、実施の形態１に係る測距システムの構成を示す図である。 図２は、実施の形態１に係る測距システムの動作を示すフローチャートである。 図３は、照射範囲の関係を示す図である。 図４Ａは、実施の形態１における第１の距離画像の一例を示す図である。 図４Ｂは、実施の形態１における第２の距離画像の一例を示す図である。 図４Ｃは、実施の形態１における信頼度情報の一例を示す図である。 図４Ｄは、実施の形態１における合成距離画像の一例を示す図である。 図５は、実施の形態２に係る測距システムの構成を示す図である。 図６Ａは、実施の形態２における第１の距離画像の一例を示す図である。 図６Ｂは、実施の形態２における第２の距離画像の一例を示す図である。 図６Ｃは、実施の形態２における光源優先度テーブルの一例を示す図である。 図６Ｄは、実施の形態２における合成距離画像の一例を示す図である。 図７は、実施の形態３に係る測距システムの構成を示す図である。 図８Ａは、実施の形態３における第１の距離画像の一例を示す図である。 図８Ｂは、実施の形態３における第２の距離画像の一例を示す図である。 図８Ｃは、実施の形態３における各距離画像の信号レベルの一例を示す図である。 図８Ｄは、実施の形態３における合成距離画像の一例を示す図である。 図９は、実施の形態４に係る測距システムの構成を示す図である。 図１０Ａは、実施の形態４における第１の距離画像の一例を示す図である。 図１０Ｂは、実施の形態４における第２の距離画像の一例を示す図である。 図１０Ｃは、実施の形態４における撮像時間の一例を示す図である。 図１０Ｄは、実施の形態４における合成距離画像の一例を示す図である。 図１１は、実施の形態５に係る測距システムの構成を示す図である。 図１２Ａは、実施の形態５における第１の光源の照度範囲の一例を示す図である。 図１２Ｂは、実施の形態５における第２の光源の照度範囲の一例を示す図である。 図１２Ｃは、実施の形態５における第３の光源の照度範囲の一例を示す図である。 図１２Ｄは、実施の形態５における第４の光源の照度範囲の一例を示す図である。 図１３は、実施の形態６に係る測距システムの構成を示す図である。 図１４は、実施の形態７に係る測距システムの構成を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であって本発明を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
（実施の形態１）
以下、図１〜図４Ｄを用いて、実施の形態１について説明する。
［１−１．構成］
図１は、本実施の形態における測距システム１００の構成を示す図である。１００は測距システム、１０１は第１の光源、１０２は第２の光源、１０３は光源制御部、１０４は撮像部、１０５は信頼度出力部、１０６は画像合成部である。また、１２１は第１の照射軸、１２２は第２の照射軸、１１１は第１の照射範囲、１１２は第２の照射範囲、１１０は共通照射範囲を表している。
第１の光源１０１及び第２の光源１０２は、光源制御部１０３から入力される発光制御信号の示すタイミングにしたがって、外部へ光を照射する。第１の光源１０１及び第２の光源１０２は、例えば赤外光を照射するＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等が挙げられるが、これらに限られない。第１の光源１０１及び第２の光源１０２は、撮像部１０４が検出可能な光を発光するものであればよい。
光源制御部１０３は、第１の光源１０１及び第２の光源１０２に対して、例えば、光を照射するタイミングと照射期間とを制御する。具体的には、光源制御部１０３は、第１の光源１０１及び第２の光源１０２のそれぞれに対して、発光制御信号を出力する。発光制御信号は、例えば“Ｈ”及び“Ｌ”の２値のデジタル信号であり、“Ｈ”で発光を意味し、“Ｌ”で発光停止を意味してもよい。また、光源制御部１０３は、例えば、第１の光源１０１及び第２の光源１０２が交互に光を照射するように発光制御信号を出力する。つまり、光源制御部１０３は、例えば、第１の光源１０１及び第２の光源１０２が同時に光を照射しないように制御する。また、光源制御部１０３は、例えば、内蔵されたメモリからプログラムを読み出し、読み出したプログラムを実行するプロセッサ又は専用の回路によって実現される。なお、光源制御部１０３は、光を照射するタイミングと照射期間とに加えて、照射する光の強度を制御してもよい。
撮像部１０４は、第１の光源１０１及び第２の光源１０２から照射された光が被写体（図示しない）で反射された反射光をそれぞれ個別のタイミング及び露光期間で露光する。そして、露光された反射光の電荷量から、照射範囲における被写体までの距離を示す距離画像（図４Ａ及び図４Ｂ参照）を生成する。つまり、撮像部１０４は、第１の光源１０１の光を照射したときの被写体による反射光を露光した場合の距離画像と、第２の光源１０２の光を照射したときの被写体による反射光を露光した場合の距離画像との２種類の距離画像を生成する。撮像部１０４は、例えば、図示しない、光学レンズ、ＴＯＦ方式のイメージセンサー及び信号処理回路等から構成される。
光学レンズは、第１の光源１０１及び第２の光源１０２から照射され被写体で反射された反射光を、イメージセンサーへ集光させるためのレンズである。光学レンズは、例えば、凸レンズである。
イメージセンサーは、画素毎に反射光を露光することで電荷が蓄積され、蓄積された電荷を信号処理回路へ出力する。電荷の蓄積は、反射光が到達したのとほぼ同時に開始される。また、電荷は、反射光を露光している期間中、累積的に増加する。イメージセンサーは、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサでもよいし、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサでもよい。
信号処理回路は、イメージセンサーから出力された電荷量、光源が光を照射したタイミング及び光が照射していた期間から、画素毎の被写体までの距離を示す距離情報を算出する。撮像部１０４は、算出した距離情報を光源の照射範囲における距離情報の集まりである距離画像として画像合成部１０６に出力する。信号処理回路は、例えば、内蔵されたメモリからプログラムを読み出し、読み出したプログラムを実行するプロセッサ又は専用の回路によって実現される。
また、撮像部１０４の光軸中心は光学レンズの中心軸と略一致するように設置される。
信頼度出力部１０５は、共通照射範囲１１０における距離画像の信頼度を示す信頼度情報（図４Ｃ参照）を画像合成部１０６に出力する。信頼度出力部１０５は、例えば、信頼度情報を予め記憶している。第１の光源１０１の被写体による反射光により生成され被写体までの距離を示す距離画像（第１の距離画像）と第２の光源１０２の被写体による反射光により生成され被写体までの距離を示す距離画像（第２の距離画像）とは、共通照射範囲１１０において共通の場所を測定した距離画像である。つまり、共通照射範囲１１０における距離画像は、第１の距離画像及び第２の距離画像の２種類が存在する（図４Ａ及び図４Ｂ参照）。信頼度情報は、画像合成部１０６において第１の距離画像及び第２の距離画像の共通照射範囲１１０における距離画像を合成する際に用いられる。なお、信頼度出力部１０５は、予め信頼度情報を記憶していなくてもよい。例えば、信頼度出力部１０５は、直前に生成された距離画像と現在生成された距離画像とから、ノイズなどを考慮し距離画像の信頼度情報を算出してもよい。また、信頼度出力部１０５は、光源の種類、反射光の信号レベル、距離画像を生成した時間、又はそれらの組み合わせに基づいて信頼度情報を算出してもよい。
画像合成部１０６は、撮像部１０４から出力された距離画像及び信頼度出力部１０５から出力された信頼度情報から、第１の照射範囲１１１及び第２の照射範囲１１２における被写体までの距離を示す合成距離画像（図４Ｄ参照）を生成する。具体的には、画像合成部１０６は、信頼度情報に基づき第１の距離画像と第２の距離画像とを合成することで、合成距離画像を生成する。画像合成部１０６は、例えば、内蔵されたメモリからプログラムを読み出し、読み出したプログラムを実行するプロセッサ又は専用の回路によって実現される。そして、画像合成部１０６は、合成した結果を出力するデバイスである出力部（図示しない）に結果を出力する。出力部は、例えば距離画像を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイである。なお、出力部はディスプレイに限定されない。例えば、出力部は画像合成部１０６が合成した結果から、警告音などとして出力してもよい。
なお、光源制御部１０３、撮像部１０４の信号処理回路及び画像合成部１０６は、例えば、共通のプロセッサ又は専用の回路で構成されてもよい。
［１−２．動作］
次に、本実施の形態に係る測距システム１００の動作について、図２〜図４Ｄを用いて説明する。
図２は、実施の形態１に係る測距システム１００の動作を示すフローチャートである。
まず、第１の光源１０１及び第２の光源１０２は、光軸が撮像部１０４の光軸からそれぞれ異なる角度で傾くように設置される（Ｓ１）。第１の光源１０１は、第１の照射軸１２１で光を照射し、照射された光は第１の照射範囲１１１に拡散される。第２の光源１０２は、第２の照射軸１２２で光を照射し、照射された光は第２の照射範囲１１２に拡散される。第１の照射範囲１１１及び第２の照射範囲１１２は、共通照射範囲１１０の範囲だけ照射範囲が重なっている。
次に、光源制御部１０３は、まず第１の光源１０１を駆動し、光を照射させる。撮像部１０４は、第１の光源１０１が照射した光の被写体による反射光を露光し、露光した結果から第１の距離画像を生成する（Ｓ２）。そして、撮像部１０４は、生成した第１の距離画像を画像合成部１０６に出力する。続いて、光源制御部１０３は、第１の光源１０１の駆動を停止させた後、第２の光源１０２を駆動し、光を照射させる。撮像部１０４は、第２の光源１０２が照射した光の被写体による反射光を露光し、露光した結果から第２の距離画像を生成する（Ｓ２）。そして、撮像部１０４は、生成した第２の距離画像を画像合成部１０６に出力する。
信頼度出力部１０５は、共通照射範囲１１０における各距離画像の信頼度を示す信頼度情報を画像合成部１０６に出力する（Ｓ３）。
画像合成部１０６は、後述するように受信した２つの距離画像と信頼度とから合成距離画像を生成する（Ｓ４〜Ｓ７）。なお、ステップＳ４〜Ｓ７については後述する。
図３は、第１の照射範囲１１１、第２の照射範囲１１２、及び共通照射範囲１１０の関係を示す図である。図３では、第１の光源１０１及び第２の光源１０２は、それぞれ矩形型の照射範囲を持つ光源となっているが、これに限られない。例えば円型の照射範囲を持つ光源であってもよい。図３のように、第１の光源１０１及び第２の光源１０２の光軸を撮像部１０４の光軸から傾けることで、一定の共通照射範囲１１０を作ることができる。
図４Ａ〜図４Ｄは、本実施の形態における距離画像の合成の一例について説明した図である。３０１は第１の距離画像、３０２は第２の距離画像、３０３は信頼度情報、３０４は合成距離画像である。一般的に距離画像のサイズはＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：水平３２０画素、垂直２４０画素）以上のものが多いが、以下では説明を簡単にするために、距離画像のサイズを水平６画素、垂直４画素とする。また、共通照射範囲１１０を距離画像中央の水平２画素、垂直４画素の範囲とする図４Ｃは、共通照射範囲１１０に対応するマスのみを示している。
図４Ａは、本実施の形態における第１の距離画像３０１の一例を示す図である。図４Ａの第１の距離画像３０１は、第１の光源１０１の被写体による反射光により生成された距離画像である。マス内の数字は距離情報（その画素に対応する被写体までの距離）を表しており、第１の照射範囲１１１には距離情報が生成されるが、第１の照射範囲１１１の外側に関しては、光が照射されないため距離情報は生成されない。
図４Ｂは、本実施の形態における第２の距離画像３０２の一例を示す図である。図４Ｂの第２の距離画像３０２は、第２の光源１０２の被写体による反射光により生成された距離画像である。第２の照射範囲１１２には距離情報が生成されるが、第２の照射範囲１１２の外側に関しては、光が照射されないため距離情報が生成されない。
図４Ｃは、本実施の形態における信頼度情報３０３の一例を示す図である。図４Ｃの信頼度情報３０３は、共通照射範囲１１０の距離画像の画素毎の（距離情報毎の）信頼度を示している。マス内の数字の１は第１の光源１０１を示し、数字の２は第２の光源１０２を示している。マス内の左側の数字から順に信頼度（優先度）が高いことを意味している。図４Ｃの例では、例えば、第１の光源１０１に近い画素（図４Ｃの左側の列）に関しては第１の光源１０１の信頼度を高く、第２の光源１０２に近い画素（図４Ｃの右側の列）に関しては第２の光源１０２の信頼度を高くしている。
図４Ｄは、本実施の形態における合成距離画像３０４の一例を示す図である。図４Ｄの合成距離画像３０４は、第１の距離画像３０１及び第２の距離画像３０２を合成した距離画像を示している。ここで、図２を再び参照して、共通照射範囲１１０以外の範囲では（Ｓ４でＮｏ）、画像合成部１０６は第１の距離画像３０１と第２の距離画像３０２とから排他的に距離情報を選択する（Ｓ６）。共通照射範囲１１０の範囲（Ｓ４でＹｅｓ）では、画像合成部１０６は信頼度情報３０３をもとに距離情報を選択する（Ｓ５）。例えば、画像合成部１０６は距離画像の画素毎に信頼度を比較し、信頼度が高い画素の距離情報を選択する。
画像合成部１０６は、ステップＳ５及びステップＳ６で選択された距離情報を合成することで光源が照射する照射範囲における距離情報である合成距離画像３０４を生成する（Ｓ７）。
なお、図４Ｄでは信頼度が高い（最高優先度）距離画像から距離情報を選択しているが、距離情報の決定方法はこれに限られない。例えば、各距離画像から排他的に距離情報を選択するのではなく、距離情報の重み付け平均をとってもよい。また、共通照射範囲１１０は距離情報を毎フレーム取得できるため、カルマンフィルタ等により距離情報を推定し、推定した距離情報を用いて合成距離画像３０４を生成してもよい。
［１−３．効果］
以上のように、本実施の形態に係る測距システム１００は、光を照射する少なくとも第１の光源１０１及び第２の光源１０２を含む複数の光源と、複数の光源が光を照射するタイミング及び照射期間を制御する光源制御部１０３と、複数の光源の被写体による反射光をそれぞれ個別のタイミング及び露光期間で露光し、反射光の電荷量から複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を反射光毎に生成する撮像部１０４と、複数の距離画像毎の信頼度を出力する信頼度出力部１０５と、反射光毎に生成した複数の距離画像を合成する画像合成部１０６と、を備え、複数の光源は、撮像部１０４の光軸からそれぞれ異なる角度で光を照射し、複数の光源の照射範囲は、一部分のみ共通に照射する共通照射範囲１１０を有し、画像合成部１０６は、共通照射範囲１１０の外側に関しては複数の距離画像から排他的に合成の対象となる画素を選択し、共通照射範囲１１０に関しては信頼度により合成の対象となる画素を決定して合成距離画像３０４を生成する。
また、本実施の形態に係る測距方法は、少なくとも第１の光源１０１及び第２の光源１０２を含む複数の光源を、光軸からそれぞれ異なる角度で光を照射させることで一部の領域のみ共通に光が照射されるように光源を制御する光源制御ステップ（Ｓ１）と、複数の光源の被写体による反射光をそれぞれ個別のタイミングと露光期間で露光し、反射光の電荷量から複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を前記反射光毎に生成する撮像ステップ（Ｓ２）と、反射光と反射光に対応する距離画像とから距離画像の信頼度を生成する信頼度生成ステップ（Ｓ３）と、光源毎に生成した距離画像を、光の照射範囲が重ならない範囲（Ｓ４でＮｏ）に関しては各距離画像から排他的に合成の対象となる画素を選択し（Ｓ６）、光の照射範囲が重なる範囲（Ｓ４でＹｅｓ）に関しては信頼度により合成の対象となる画素値を決定（Ｓ５）して合成距離画像を生成する（Ｓ７）画像合成ステップ（Ｓ４〜Ｓ７）とを備える。
これにより、近距離に関しては広視野角の測距が可能になる。また、共通照射範囲１１０に関しては距離情報を毎フレーム取得できるため、重み付け平均やカルマンフィルタ等の時系列フィルタによる距離情報のノイズ低減効果を高くすることができる。そのため、ノイズ成分が大きい遠距離領域を共通照射範囲１１０に入れることで、遠距離の測距精度を上げることができる。さらにフレーム毎に全ての光源を同時に照射せず、一部の光源のみ照射させる方式のため、消費電力を低く抑えることができる。
（実施の形態２）
以下、図５〜図６Ｄを用いて、実施の形態２について説明する。本実施の形態は、光源毎の測距レンジが異なる測距システムを想定したものである。例えば、近距離から中距離までの測距を目的とした光源と、中距離から遠距離までの測距を目的とした光源を備えた測距システム等である。
なお、本実施の形態では実施の形態１と異なる部分のみを説明し、実施の形態１と同一の構成に対しては同一の符号を付し、説明を省略する。
［２−１．構成及び動作］
図５は、本実施の形態における測距システム１００ａの構成を示す図である。１００ａは測距システム、１０５ａは信頼度出力部、４０１は光源優先度テーブルである。本実施の形態において、図１に示した実施の形態１と異なるのは、信頼度出力部１０５ａが光源優先度テーブル４０１を有している点である。以降、信頼度出力部１０５ａの光源優先度テーブル４０１を中心に説明する。
図５に示すように、信頼度出力部１０５ａは光源優先度テーブル４０１を有している。光源優先度テーブル４０１は、図６Ｃに示すように、距離レンジ毎にどの光源の距離画像を優先するかを定義した情報テーブルである。図６Ｃでは、第１の光源１０１は近距離から中距離までの測距を目的とした光源であり、距離レンジ０〜９０において優先度が高くなっている（第１優先度が第１の光源１０１を表す１となっている）。また、第２の光源１０２は中距離から遠距離までの測距を目的とした光源であり、距離レンジ９１〜において、優先度が高くなっている（第１優先度が第２の光源１０２を表す２となっている）。つまり、それぞれの光源の測定レンジを考慮し、より適している光源の優先度が高くなるように情報テーブルが作成されている。信頼度出力部１０５ａは、光源優先度テーブル４０１を予め記憶していてもよいし、使用者により都度設定されてもよい。なお、以降では、信頼度出力部１０５ａは、予め光源優先度テーブル４０１を記憶しているものとして説明する。
次に、本実施の形態に係る測距システム１００ａの動作について説明する。なお、撮像部１０４が第１の距離画像３０１（図６Ａ）、及び第２の距離画像３０２（図６Ｂ）を生成するまでの動作は実施の形態１と同じであり、説明を省略する。
図５に示すように、撮像部１０４は生成した距離画像を画像合成部１０６に加えて信頼度出力部１０５ａにも出力する。信頼度出力部１０５ａは、各距離画像の距離情報と、光源優先度テーブル４０１に記録されている距離レンジ毎の光源優先度情報とをもとに信頼度を選択し、画像合成部１０６に出力する。その他の動作は、実施の形態１と同じである。
図６Ａ〜図６Ｄは、図５の構成における距離画像の合成について説明した図である。４０１は光源優先度テーブル、３０４ａは合成距離画像である。
図６Ａ及び図６Ｂは、それぞれ本実施の形態における第１の距離画像３０１及び第２の距離画像３０２の一例を示す図である。図６Ａ及び図６Ｂは、それぞれ図４Ａ及び図４Ｂと同じ内容とする。
図６Ｃは、本実施の形態における光源優先度テーブル４０１の一例を示す図である。光源優先度テーブル４０１は、距離レンジ毎にどの光源の距離画像を優先するかを定義した情報テーブルである。図６Ｃに示す光源優先度テーブル４０１では、距離レンジが０以上９０以下の場合では第１の光源１０１、第２の光源１０２の順序で優先度が高く、距離レンジが９１以上の場合では第２の光源１０２、第１の光源１０１の順序で優先度を高く設定している。
なお、距離レンジ及び優先度の設定は、これに限定されない。例えば、距離レンジは光源条件などにより設定されてもよい。また、例えば、光源優先度テーブル４０１は、第１優先度（最も優先度の高いもの）のみの情報テーブルとしてもよい。
図６Ｄは、本実施の形態における合成距離画像３０４ａの一例を示す図である。図６Ｄの合成距離画像３０４ａは、第１の距離画像３０１及び第２の距離画像３０２を合成した距離画像を示している。画像合成部１０６は、共通照射範囲１１０以外の範囲では、第１の距離画像３０１と第２の距離画像３０２とから排他的に距離情報を選択する。画像合成部１０６は、共通照射範囲１１０の範囲では、光源優先度テーブル４０１をもとに距離情報を選択する。
ここで光源優先度テーブル４０１の距離レンジと比較する距離情報は、例えば、第１の光源１０１に近い画素は第１の距離画像３０１の値を使い、第２の光源１０２に近い画素は第２の距離画像３０２の値を使ってもよいし、あるいは両者の平均値を使ってもよい。図６Ｄでは、各距離画像の平均値を使って距離画像の合成を行った結果を示している。
［２−２．効果］
以上のように、本実施の形態に係る測距システム１００ａにおいて、信頼度出力部１０５ａは、距離レンジ毎に光源の優先度を決めた光源優先度テーブル４０１を備え、距離画像の画素毎の距離を示す距離情報と光源優先度テーブル４０１の値を比較して信頼度を選択し出力する。
測距可能な距離レンジは、光源の強さや光波形の特性等により変えることができる。従って、前述のような測距システムによれば、光源毎に測定可能な距離レンジや測距精度の高い距離レンジが異なるような場合においても、各距離レンジで最適な距離情報を選択することができるため、測距精度を高めることができる。
（実施の形態３）
以下、図７〜図８Ｄを用いて、実施の形態３について説明する。本実施の形態は、各光源の光の照射強度が異なる測距システムを想定したものである。例えば、近距離から中距離までの測距を目的とした弱い光源と、中距離から遠距離までの測距を目的とした強い光源を備えた測距システム等である。
なお、本実施の形態では実施の形態１と異なる部分のみを説明し、実施の形態１と同一の構成に対しては同一の符号を付し、説明を省略する。
［３−１．構成及び動作］
図７は、本実施の形態における測距システムの構成を示した図である。１００ｂは測距システム、１０５ｂは信頼度出力部、５０１は信号レベル確認部である。本実施の形態において、図１に示した実施の形態１と異なるのは、信頼度出力部１０５ｂが信号レベル確認部５０１を備えている点である。
図７に示すように、信頼度出力部１０５ｂは信号レベル確認部５０１を備えている。信号レベル確認部５０１は、撮像部１０４から受信した各距離画像の共通照射範囲１１０における反射光の信号レベルを確認する。信号レベルとは、例えば、反射光の強度を示す数値である。信号レベル確認部５０１は信号レベルを共通照射範囲１１０内の画素毎に確認する。信頼度出力部１０５ｂは、信号レベル確認部５０１の結果をもとに信頼度を算出し、画像合成部１０６に出力する。例えば、信頼度出力部１０５ｂは、信号レベルが高い画素の信頼度を高く算出する。その他の動作は、実施の形態１と同じである。
図８Ａ〜図８Ｄは、図７の構成における距離画像の合成について説明した図である。５０１ａは第１の距離画像の信号レベル、５０１ｂは第２の距離画像の信号レベル、３０４ｂは合成距離画像である。
図８Ａ及び図８Ｂは、それぞれ本実施の形態における第１の距離画像３０１及び第２の距離画像３０２の一例を示す図である。図８Ａ及び図８Ｂは、それぞれ図４Ａ及び図４Ｂと同じ内容とする。
図８Ｃは、各画距離画像の信号レベルの一例を示す図である。図８Ｃの第１の距離画像の信号レベル５０１ａは、第１の距離画像３０１の共通照射範囲１１０内における被写体による反射光の信号レベルを示したものである。第２の距離画像の信号レベル５０１ｂは、第２の距離画像３０２の共通照射範囲１１０内における被写体による反射光の信号レベルを示したものである。信頼度出力部１０５ｂは、各距離画像の信号レベルから信頼度を設定し、設定した信頼度を画像合成部１０６に出力する。
図８Ｄは、第１の距離画像３０１及び第２の距離画像３０２を合成した合成距離画像３０４ｂを示す図である。画像合成部１０６は、共通照射範囲１１０以外の範囲では、第１の距離画像３０１と第２の距離画像３０２とから排他的に距離情報を選択する。画像合成部１０６は、共通照射範囲１１０の範囲では、各距離画像の反射光の信号レベルをもとに距離情報を選択する。図８Ｃの例では、第１の距離画像の信号レベル５０１ａと、第２の距離画像の信号レベル５０１ｂとを比較すると、全ての画素において第２の距離画像の信号レベル５０１ｂが高くなっている。そのため、画像合成部１０６は、共通照射範囲１１０内の画素は全て第２の距離画像３０２から選択した値（距離情報）を使い、合成距離画像３０４ｂを生成する。また、前述のように距離情報を排他的に選択するのではなく、重み付け平均をとってもよい。
［３−２．効果］
以上のように、本実施の形態に係る測距システム１００ｂにおいて、信頼度出力部１０５ｂは、反射光の信号レベルを確認する信号レベル確認部５０１を備え、信号レベル確認部５０１は、距離画像に対応する反射光の信号レベルを確認し、信号レベルが大きい程、高い信頼度を生成し出力する。
このような測距システムによれば、各光源の光の照射強度が異なる測距システムにおいてより信号レベルの高い反射光を使った距離情報を使用することができるため、測距精度を高めることができる。また、被写体の形や位置によって光の当たり具合が変わるため、各光源の光の照射強度が同じだった場合にも本実施の形態は有効である。
（実施の形態４）
以下、図９〜図１０Ｄを用いて、実施の形態４について説明する。実施の形態４は、動きの早い被写体を測距することを想定したものである。
なお、本実施の形態では実施の形態１と異なる部分のみを説明し、実施の形態１と同一の構成に対しては同一の符号を付し、説明を省略する。
［４−１．構成及び動作］
図９は、本実施の形態における測距システムの構成を示す図である。１００ｃは測距システム、１０５ｃは信頼度出力部、６０１は撮像時間確認部である。本実施の形態において、図１に示した実施の形態１と異なるのは、信頼度出力部１０５ｃが撮像時間確認部６０１を備えている点である。
図９に示すように、信頼度出力部１０５ｃは撮像時間確認部６０１を備えている。また、図９に示すように、撮像部１０４は生成した距離画像を画像合成部１０６に加えて信頼度出力部１０５ｃにも出力する。撮像時間確認部６０１は、各距離画像の撮像時間を確認する。例えば、撮像時間確認部６０１は、撮像部１０４が各距離画像を生成した時刻を撮像時間としてもよいし、撮像部１０４から各距離画像を受信した時刻を撮像時間としてもよい。信頼度出力部１０５ｃは、撮像時間確認部６０１の結果をもとに信頼度を算出し、画像合成部１０６に出力する。その他の動作は、実施の形態１と同じである。
図１０Ａ〜図１０Ｄは、図９の構成における距離画像の合成について説明した図である。６０１ａは撮像時間、３０４ｃは合成距離画像である。
図１０Ａ及び図１０Ｂは、それぞれ本実施の形態における第１の距離画像３０１及び第２の距離画像３０２の一例を示す図である。図１０Ａ及び図１０Ｂは、それぞれ図４Ａ及び図４Ｂと同じ内容とする。
図１０Ｃは、本実施の形態における撮像時間６０１ａの一例を示す図である。図１０Ｃの撮像時間６０１ａは、第１の距離画像３０１及び第２の距離画像３０２の撮像時間の一例を示した図である。例えば、数値が大きい程、最新の撮像であることを示す。図１０Ｃでは、第１の距離画像３０１の撮像時間が２であり、第２の距離画像３０２の撮像時間が１である。よって、図１０Ｃの例では、第１の距離画像３０１の方が、最新の画像であることを示している。信頼度出力部１０５ｃは、撮像時間６０１ａから第１の距離画像３０１の信頼度を高く設定し、設定した信頼度を画像合成部１０６に出力する。
図１０Ｄは、第１の距離画像３０１及び第２の距離画像３０２を合成した合成距離画像３０４ｃの一例を示す図である。画像合成部１０６は、共通照射範囲１１０以外の範囲では、第１の距離画像３０１と第２の距離画像３０２とから排他的に距離情報を選択する。画像合成部１０６は、共通照射範囲１１０の範囲では、各距離画像の撮像時間をもとに距離情報を選択する。第１の距離画像３０１の撮像時間と、第２の距離画像３０２の撮像時間とを比較すると、第１の距離画像３０１の撮像がより最新の距離画像であることがわかる。そのため、画像合成部１０６は、共通照射範囲１１０内の画素は全て第１の距離画像３０１から選択した値（距離情報）を使い合成距離画像３０４ｃを生成する。
［４−２．効果］
以上のように、本実施の形態に係る測距システム１００ｃにおいて、信頼度出力部１０５ｃは、距離画像の生成時間を確認する撮像時間確認部６０１を備え、撮像時間確認部６０１は、距離画像の生成時間を確認して、生成時間が新しい程、高い信頼度を生成し出力する。
このような測距システムによれば、より新しい距離情報を使用できるため、被写体が動く場合でも精度よく測距ができる。
（実施の形態５）
以下、図１１〜図１２Ｄを用いて、実施の形態５について説明する。実施の形態５は、光源のいくつかを同時に駆動させる測距システムを想定したものである。
なお、本実施の形態では実施の形態３と異なる部分のみを説明し、実施の形態３と同一の構成に対しては同一の符号を付し、説明を省略する。
［５−１．構成及び動作］
図１１は、本実施の形態における測距システム１００ｄの構成を示した図である。１００ｄは測距システム、１０３ｄは光源制御部、１００３は第３の光源、１００４は第４の光源である。本実施の形態において、図７に示した実施の形態３と異なるのは、光源制御部１０３ｄが第１の光源１０１及び第２の光源１０２に加えて、第３の光源１００３及び第４の光源１００４を制御する点である。
図１２Ａ〜図１２Ｄは、本実施の形態における光源の照射範囲を示す図である。図１２Ａは、第１の光源１０１の照射範囲を示す図である。１１０１は第１の光源１０１の照射範囲を示す第１の照射範囲である。図１２Ｂは、第２の光源１０２の照射範囲を示す図である。１１０２は第２の光源１０２の照射範囲を示す第２の照射範囲である。図１２Ｃは、第３の光源１００３の照射範囲を示す図である。１１０３は第３の光源１００３の照射範囲を示す第３の照射範囲である。図１２Ｄは、第４の光源１００４の照射範囲を示す図である。１１０４は第４の光源１００４の照射範囲を示す第４の照射範囲である。１１０５は各光源の共通の照射範囲を示す共通照射範囲である。第１の照射範囲１１０１は第１の光源１０１の照射軸を撮像部１０４の光軸から左上に傾けたものである。ここで、撮像部１０４の光軸とは、光源から共通照射範囲１１０５の中央部へ向かう方向である。第２の照射範囲１１０２は第２の光源１０２の照射軸を撮像部１０４の光軸から右下に傾けたものである。第３の照射範囲１１０３は第３の光源１００３の照射軸を撮像部１０４の光軸から右上に傾けたものである。第４の照射範囲１１０４は第４の光源１００４の照射軸を撮像部１０４の光軸から左下に傾けたものである。
光源制御部１０３ｄは、まず第１の光源１０１と第２の光源１０２とを同時に駆動し、光を照射させる。撮像部１０４は、第１の光源１０１と第２の光源１０２とが照射した光の被写体による反射光を露光し距離画像を生成する。そして、撮像部１０４は、生成した距離画像を画像合成部１０６に出力する。
光源制御部１０３ｄは、第１の光源１０１及び第２の光源の駆動を停止させた後、第３の光源１００３と第４の光源１００４とを同時に駆動し、光を照射させる。撮像部１０４は、第３の光源１００３と第４の光源１００４とが照射した光の被写体による反射光を露光し距離画像を生成する。そして、撮像部１０４は、生成した距離画像を画像合成部１０６に出力する。その他の動作は実施の形態３と同じである。
［５−２．効果］
以上のように、本実施の形態に係る測距システム１００ｄにおいて、光源制御部１０３ｄは、複数の光源のうち少なくとも一部の光源を同時に駆動する。
このような測距システムによれば、各光源を１個ずつ順番に駆動させる場合と比べて、光源を同時に駆動させることで共通照射範囲１１０５の光の強度を上げることができるため、共通照射範囲１１０５内の測距レンジを伸ばすことができる。つまり、遠方被写体の測距精度を上げることがでる。さらに各撮像タイミングで測距できる範囲も広くすることもできる。
なお、上述では、４個の光源を２個ずつ同時に駆動する例を挙げているが、光源の数及び同時に駆動する光源の数はこれに限られない。光源は５個以上あってもよいし、同時に駆動する光源も３個以上であってもよい。また、光源全てを同時に駆動させてもよい。また、例えば、同時に駆動させる光源は上述の組み合わせに限定されない。例えば、第１の光源１０１と第４の光源１００４とを同時に駆動させてもよいし、その他の組み合わせでもよい。
（実施の形態６）
以下、図１３を用いて、実施の形態６について説明する。実施の形態６は、実施の形態５に、同時に駆動する光源の数を制御する機能を追加したものである。本実施の形態は、例えば被写体が近距離にいる場合は、各光源を順番に駆動することで画素が飽和しないようにし、被写体が遠距離にいる場合は光源を同時に駆動することで精度よく測距できるようにする。
なお、本実施の形態では実施の形態５と異なる部分のみを説明し、実施の形態５と同一の構成に対しては同一の符号を付し、説明を省略する。
［６−１．構成及び動作］
図１３は、本実施の形態における測距システムの構成を示した図である。１００ｅは測距システム、１０３ｅは光源制御部、１０６ｅは画像合成部、１２０１は駆動光源数判定部である。本実施の形態において、図１１に示した実施の形態５と異なるのは、測距システム１００ｅが駆動光源数判定部１２０１を備えており、駆動光源数判定部１２０１が光源制御部１０３ｅを制御する点である。
駆動光源数判定部１２０１は、被写体による反射光の信号レベルを確認し、同時に駆動できる光源数を判定する。例えば、同時に駆動している光源数が２個において画素が飽和している場合、駆動光源数判定部１２０１は、同時に駆動できる光源数を１個と判定し、その情報を光源制御部１０３ｅ及び画像合成部１０６ｅに通知する。一方で光源数が１個において信号レベルが低くなり、光源を２個同時に駆動しても問題がないと判定した場合、駆動光源数判定部１２０１は、光源数を２個と判定し、その情報を光源制御部１０３ｅ及び画像合成部１０６ｅに通知する。なお、反射光の信号レベルは、信頼度出力部１０５ｂから受信する。
光源制御部１０３ｅは、駆動光源数判定部１２０１から情報を受信すると、その情報に従って光源の駆動方法を変更する。光源制御部１０３ｅは、駆動する光源数が１個であれば、例えば、全ての光源を順番に駆動させる。また、光源制御部１０３ｅは、駆動する光源数が２個であれば、例えば、第１の光源１０１と第２の光源１０２、及び第３の光源１００３と第４の光源１００４とをそれぞれ同時に駆動させる。
画像合成部１０６ｅは、駆動光源数判定部１２０１から情報を受信すると、その情報に従って合成する画像数を変更する。画像合成部１０６ｅは、駆動する光源数が１個であれば、例えば、各光源の被写体による反射光で生成された４個の距離画像を合成する。画像合成部１０６ｅは、駆動する光源数が２個であれば、例えば、第１の光源１０１と第２の光源１０２、及び第３の光源１００３と第４の光源１００４のそれぞれの反射光で生成された２個の距離画像を合成する。その他の動作は、実施の形態５と同じである。
［６−２．効果］
以上のように、本実施の形態に係る測距システム１００ｅは、駆動光源数判定部１２０１をさらに備え、駆動光源数判定部１２０１は、反射光の信号レベルの大きさにより同時に駆動する光源の数を決定して光源制御部１０３ｅに通知し、光源制御部１０３ｅは、通知された光源数をもとに、複数の光源の駆動を制御する。
光を照射して距離を測定する測距システムでは、一般的に、露光された反射光が飽和している場合は、その電荷量から距離情報を算出することができない。また、反射光の信号レベルが低い場合は測距精度が低くなる。従って、前述のような測距システムによれば、被写体との距離が変わることで反射光の信号レベルが動的に変化する場合でも、精度よく測距することができる。上述のように、被写体の位置によって最適な光源の数を選択することができるため、電力を低く抑えながら測距精度を高めることができる。
なお、図１３では、４個の光源を２個ずつ同時に駆動する例を挙げているが、光源の数及び同時に駆動する光源の数はこれに限られない。光源は５個以上あってもよいし、同時に駆動する光源も３個以上であってもよい。また、駆動光源数判定部１２０１は、光源全てを同時に駆動させてもよい。
（実施の形態７）
以下、図１４を用いて、実施の形態７について説明する。実施の形態７は、測距システムを利用するアプリケーションで不要な処理を省くためのものである。
なお、本実施の形態では実施の形態１と異なる部分のみを説明し、実施の形態１と同一の構成に対しては同一の符号を付し、説明を省略する。
［７−１．構成及び動作］
図１４は、本実施の形態における測距システムの構成を示した図である。１００ｆは測距システム、１３０１は画像出力選択部である。本実施の形態において、図１に示した実施の形態１と異なるのは、画像出力選択部１３０１を備えている点である。
画像出力選択部１３０１は、第１の光源１０１の被写体による反射光により生成された第１の距離画像３０１、第２の光源１０２の被写体による反射光により生成された第２の距離画像３０２、もしくは合成距離画像３０４の中で必要な距離画像を外部に出力する。その他の動作は、実施の形態１と同じである。
［７−２．効果］
以上のように、本実施の形態に係る測距システム１００ｆは、画像出力選択部１３０１をさらに備え、画像出力選択部１３０１は、距離画像（第１の距離画像３０１及び／又は第２の距離画像３０２）と合成距離画像（３０４）との中から１つ以上の距離画像を選択し出力する。
このような測距システムによれば、測距システムを利用するアプリケーションで必要な距離画像のみを出力することができるため、アプリケーションを実行する装置において、不要な処理を省くことができる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく、種々の改良又は変更を行うことができることは言うまでもない。
例えば、各実施の形態を組み合わせて測距を行ってもよい。例えば、信頼度出力部１０５ｃは撮像時間確認部６０１に加えて、信号レベル確認部５０１を備えていてもよい。
これにより、信頼度出力部１０５ｃは、撮像時間及び信号レベルから信頼度を算出できるので、より正確に測距を行える。例えば、撮像時間が最新であっても信号レベルが所定の値以下である場合には、信頼度出力部１０５ｃは、撮像時間が古い距離画像の信頼度を高く設定する。
また、実施の形態６において駆動光源数判定部１２０１は駆動させる光源の数を判定するとしたが、これに限定されない。例えば、光源数が２個である状態で画素が飽和している場合、光源数を減らすのではなく、光源から照射される光の強度を調整してもよい。この場合、駆動光源数判定部１２０１は光源制御部１０３ｅに光源の強度の変更を通知する。
これにより、画素が飽和している場合に、撮像部１０４及び画像合成部１０６ｅの処理数を維持した状態で測距が可能となる。また、光源からの光の強度を下げるので、電力を低く抑えることができる。この場合、光源の数は２個以上であればよい。
また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータが読み取り可能なＣＤ−ＲＯＭ、光ディスクなどの非一時的記録媒体などで実現されてもよい。プログラムは、記憶媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記憶媒体に供給されてもよい。
また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本発明は、自動走行車、産業用ロボット又は自動車向けの測距システムとして適用可能である。
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ 測距システム
１０１ 第１の光源
１０２ 第２の光源
１０３、１０３ｄ、１０３ｅ 光源制御部
１０４ 撮像部
１０５、１０５ａ、１０５ｂ、１０５ｃ 信頼度出力部
１０６、１０６ｅ 画像合成部
１１０、１１０５ 共通照射範囲
１１１ 第１の照射範囲
１１２ 第２の照射範囲
１２１ 第１の照射軸
１２２ 第２の照射軸
３０１ 第１の距離画像
３０２ 第２の距離画像
３０３ 信頼度情報
３０４、３０４ａ、３０４ｂ、３０４ｃ 合成距離画像
４０１ 光源優先度テーブル
５０１ 信号レベル確認部
５０１ａ 第１の距離画像の信号レベル
５０１ｂ 第２の距離画像の信号レベル
６０１ 撮像時間確認部
６０１ａ 撮像時間
１００３ 第３の光源
１００４ 第４の光源
１１０１ 第１の照射範囲
１１０２ 第２の照射範囲
１１０３ 第３の照射範囲
１１０４ 第４の照射範囲
１２０１ 駆動光源数判定部
１３０１ 画像出力選択部

Claims (11)

  1. 光を照射する少なくとも第１の光源及び第２の光源を含む複数の光源と、
    前記複数の光源が光を照射するタイミング及び照射期間を制御する光源制御部と、
    前記複数の光源の被写体による反射光をそれぞれ個別のタイミング及び露光期間で露光し、前記反射光の電荷量から前記複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を前記反射光毎に生成する撮像部と、
    複数の前記距離画像毎の前記距離に対する信頼度を出力する信頼度出力部と、
    前記反射光毎に生成した複数の前記距離画像を合成する画像合成部と、を備え、
    前記複数の光源は、前記撮像部の光軸からそれぞれ異なる角度で光を照射し、
    前記複数の光源の照射範囲は、一部分のみ共通に照射する共通照射範囲を有し、
    前記画像合成部は、前記共通照射範囲の外側に関しては複数の前記距離画像から排他的に合成の対象となる画素を選択し、前記共通照射範囲に関しては前記信頼度により合成の対象となる画素を決定して合成距離画像を生成する
    測距システム。
  2. 前記信頼度出力部は、距離レンジ毎に光源の優先度を決めた光源優先度テーブルを備え、前記距離画像の画素毎の距離を示す距離情報と前記光源優先度テーブルの値を比較して前記信頼度を選択し出力する
    請求項１に記載の測距システム。
  3. 前記信頼度出力部は、前記反射光の信号レベルを確認する信号レベル確認部を備え、
    前記信号レベル確認部は、前記距離画像に対応する前記反射光の信号レベルを確認し、信号レベルが大きい程、高い信頼度を生成し出力する
    請求項１に記載の測距システム。
  4. 前記信頼度出力部は、前記距離画像の生成時間を確認する撮像時間確認部を備え、
    前記撮像時間確認部は、前記距離画像の生成時間を確認して、生成時間が新しい程、高い信頼度を生成し出力する
    請求項１に記載の測距システム。
  5. 前記画像合成部は、前記共通照射範囲に関しては、前記信頼度が最も高い前記距離画像から合成の対象となる画素を選択する
    請求項１〜４のいずれか１項に記載の測距システム。
  6. 前記画像合成部は、前記共通照射範囲に関しては、前記信頼度の値を用いて前記距離画像の画素の重み付け平均を取る
    請求項１〜４のいずれか１項に記載の測距システム。
  7. 前記共通照射範囲は、前記距離画像の略中心になるように調整されている
    請求項１〜６のいずれか１項に記載の測距システム。
  8. 前記光源制御部は、前記複数の光源のうち少なくとも２つ以上の光源を同時に駆動させる
    請求項１〜７のいずれか１項に記載の測距システム。
  9. 駆動光源数判定部をさらに備え、
    前記駆動光源数判定部は、前記反射光の信号レベルの大きさにより同時に駆動する光源の数を決定して前記光源制御部に通知し、
    前記光源制御部は、通知された光源数をもとに、前記複数の光源の駆動を制御する
    請求項８に記載の測距システム。
  10. 画像出力選択部をさらに備え、
    前記画像出力選択部は、前記距離画像と前記合成距離画像の中から１つ以上を選択し出力する
    請求項１〜９のいずれか１項に記載の測距システム。
  11. 少なくとも第１の光源及び第２の光源を含む複数の光源を、光軸からそれぞれ異なる角度で光を照射させることで一部の領域のみ共通に光が照射されるように光源を制御する光源制御ステップと、
    前記複数の光源の被写体による反射光をそれぞれ個別のタイミングと露光期間で露光し、前記反射光の電荷量から前記複数の光源が照射する照射範囲における被写体までの距離を示す距離画像を前記反射光毎に生成する撮像ステップと、
    前記反射光と前記反射光に対応する前記距離画像とから前記距離画像の信頼度を生成する信頼度生成ステップと、
    前記複数の光源毎に生成した複数の前記距離画像を、光の照射範囲が重ならない範囲に関しては複数の前記距離画像から排他的に合成の対象となる画素を選択し、光の照射範囲が重なる範囲に関しては前記信頼度により合成の対象となる画素値を決定して合成距離画像を生成する画像合成ステップとを備える
    測距方法。
JP2018522458A 2016-06-08 2017-06-02 測距システム及び測距方法 Active JP6775871B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016114877 2016-06-08
JP2016114877 2016-06-08
PCT/JP2017/020670 WO2017213052A1 (ja) 2016-06-08 2017-06-02 測距システム及び測距方法

Publications (2)

Publication Number Publication Date
JPWO2017213052A1 true JPWO2017213052A1 (ja) 2019-04-04
JP6775871B2 JP6775871B2 (ja) 2020-10-28

Family

ID=60578752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522458A Active JP6775871B2 (ja) 2016-06-08 2017-06-02 測距システム及び測距方法

Country Status (5)

Country Link
US (1) US11402508B2 (ja)
EP (1) EP3470880B1 (ja)
JP (1) JP6775871B2 (ja)
CN (1) CN109313267B (ja)
WO (1) WO2017213052A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016031359A1 (ja) * 2014-08-29 2017-06-15 ソニー株式会社 制御装置、制御方法、及びプログラム
JP7042582B2 (ja) * 2017-09-28 2022-03-28 株式会社東芝 撮像装置及び撮像装置の距離算出方法
JP7149707B2 (ja) * 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム
US10726797B2 (en) 2018-02-27 2020-07-28 Nvidia Corporation Techniques for updating light-emitting diodes in synchrony with liquid-crystal display pixel refresh
US11043172B2 (en) 2018-02-27 2021-06-22 Nvidia Corporation Low-latency high-dynamic range liquid-crystal display device
US11776490B2 (en) 2018-02-27 2023-10-03 Nvidia Corporation Techniques for improving the color accuracy of light-emitting diodes in backlit liquid-crystal displays
US10607552B2 (en) * 2018-02-27 2020-03-31 Nvidia Corporation Parallel pipelines for computing backlight illumination fields in high dynamic range display devices
US10909903B2 (en) 2018-02-27 2021-02-02 Nvidia Corporation Parallel implementation of a dithering algorithm for high data rate display devices
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US11849223B2 (en) * 2018-12-21 2023-12-19 Chronoptics Limited Time of flight camera data processing system
JP7317530B2 (ja) * 2019-03-14 2023-07-31 株式会社東芝 距離計測装置、距離計測方法、及び信号処理方法
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
CN110221309B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
CN111947565A (zh) * 2019-04-30 2020-11-17 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像方法
CN110244318B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像方法
CN112929516B (zh) * 2019-12-05 2023-08-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
CN113971938B (zh) * 2021-12-22 2022-04-05 北京灵犀微光科技有限公司 一种分区照明方法、装置、设备及计算机存储介质
JP2023144238A (ja) * 2022-03-28 2023-10-11 ソニーセミコンダクタソリューションズ株式会社 測距モジュール
JP2024017303A (ja) * 2022-07-27 2024-02-08 株式会社ジャパンディスプレイ 表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190675A (ja) * 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
JP5478533B2 (ja) * 2011-02-18 2014-04-23 日本電信電話株式会社 全方位画像生成方法、画像生成装置およびプログラム
JP2014109490A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2015510108A (ja) * 2012-01-07 2015-04-02 ジョンソン・コントロールズ・ゲー・エム・ベー・ハー 測距用カメラ装置
JP2016008875A (ja) * 2014-06-24 2016-01-18 株式会社リコー 距離測定装置
JP2016011874A (ja) * 2014-06-27 2016-01-21 キヤノン株式会社 画像処理装置およびその方法
WO2016084323A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387377B2 (ja) * 1998-05-25 2009-12-16 パナソニック株式会社 カメラ
DE69943406D1 (de) * 1998-05-25 2011-06-16 Panasonic Corp Abstandsmesser und kamera
KR100322001B1 (ko) * 1998-09-16 2002-06-22 윤종용 이동통신시스템에서이동국의위치측정장치및방법
JP4450899B2 (ja) * 1999-09-10 2010-04-14 オリンパス株式会社 多点測距装置
US6618123B2 (en) * 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
JP2004101311A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd ラインセンサカメラ用の照明装置および照明方法
GB2395261A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP2006190135A (ja) * 2005-01-07 2006-07-20 Matsushita Electric Ind Co Ltd 画像生成方法および画像生成装置
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
CN102474570B (zh) * 2010-06-08 2016-07-06 松下电器（美国）知识产权公司 信息显示装置、显示控制用集成电路及显示控制方法
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
TWI440802B (zh) * 2011-11-07 2014-06-11 Au Optronics Corp 有機發光二極體白光光源
JP5870817B2 (ja) * 2012-03-30 2016-03-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5943707B2 (ja) * 2012-05-25 2016-07-05 三菱電機株式会社 画像表示装置
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
TWI515504B (zh) * 2013-04-19 2016-01-01 晶睿通訊股份有限公司 攝影裝置
US9857472B2 (en) * 2013-07-02 2018-01-02 Electronics And Telecommunications Research Institute Laser radar system for obtaining a 3D image
US9572171B2 (en) * 2013-10-31 2017-02-14 Intel IP Corporation Systems, methods, and devices for efficient device-to-device channel contention

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190675A (ja) * 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
JP5478533B2 (ja) * 2011-02-18 2014-04-23 日本電信電話株式会社 全方位画像生成方法、画像生成装置およびプログラム
JP2015510108A (ja) * 2012-01-07 2015-04-02 ジョンソン・コントロールズ・ゲー・エム・ベー・ハー 測距用カメラ装置
JP2014109490A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2016008875A (ja) * 2014-06-24 2016-01-18 株式会社リコー 距離測定装置
JP2016011874A (ja) * 2014-06-27 2016-01-21 キヤノン株式会社 画像処理装置およびその方法
WO2016084323A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Also Published As

Publication number Publication date
US11402508B2 (en) 2022-08-02
EP3470880B1 (en) 2020-08-19
CN109313267A (zh) 2019-02-05
WO2017213052A1 (ja) 2017-12-14
EP3470880A4 (en) 2019-06-19
EP3470880A1 (en) 2019-04-17
CN109313267B (zh) 2023-05-02
JP6775871B2 (ja) 2020-10-28
US20190107626A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP6775871B2 (ja) 測距システム及び測距方法
US10663691B2 (en) Imaging devices having autofocus control in response to the user touching the display screen
JP6626132B2 (ja) 距離画像取得装置及びその応用
US20240056682A1 (en) Information processing apparatus, information processing method, and program
US9667853B2 (en) Image-capturing apparatus
US20200026031A1 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
JP2018021776A (ja) 視差演算システム、移動体及びプログラム
JP2024063018A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP7389578B2 (ja) 測距センサ
JP2000097629A (ja) 光式センサ
US11468586B2 (en) Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium
US20210063850A1 (en) Imaging device, method for controlling imaging device, and system including imaging device
JP2012198337A (ja) 撮像装置
JP2013068761A (ja) 撮像装置、および、撮像装置の制御方法
CN116320746B (zh) Tof对焦装置、对焦方法及拍摄设备
JP2005300925A (ja) 撮像装置
US11754833B2 (en) Image processing apparatus and control method for image processing apparatus
US20220392155A1 (en) Image processing device, imaging apparatus, image processing method, and recording medium
JP2756680B2 (ja) 自動焦点カメラの測距装置
JP2017083720A (ja) 撮像装置
JP2019143986A (ja) 測距装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201005

R150 Certificate of patent or registration of utility model

Ref document number: 6775871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250