JP7396379B2 - Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device - Google Patents

Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device Download PDF

Info

Publication number
JP7396379B2
JP7396379B2 JP2022005954A JP2022005954A JP7396379B2 JP 7396379 B2 JP7396379 B2 JP 7396379B2 JP 2022005954 A JP2022005954 A JP 2022005954A JP 2022005954 A JP2022005954 A JP 2022005954A JP 7396379 B2 JP7396379 B2 JP 7396379B2
Authority
JP
Japan
Prior art keywords
calibration
mode
distance
distance measurement
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022005954A
Other languages
Japanese (ja)
Other versions
JP2022142738A (en
Inventor
一樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2022/005112 priority Critical patent/WO2022196195A1/en
Priority to CN202280021398.XA priority patent/CN116997817A/en
Publication of JP2022142738A publication Critical patent/JP2022142738A/en
Priority to US18/455,733 priority patent/US20230400561A1/en
Application granted granted Critical
Publication of JP7396379B2 publication Critical patent/JP7396379B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

この明細書における開示は、光の照射に対する反射点からの反射光を検出することで、反射点までの距離を測定する技術に関する。 The disclosure in this specification relates to a technique for measuring the distance to a reflection point by detecting reflected light from the reflection point in response to light irradiation.

特許文献1には、投光に対して物体で反射された光を検出する光検出器が開示されている。この光検出器は、投光範囲における物体が存在する少なくとも1つの領域を注目領域として設定し、該注目領域に対する投光系の投光条件および信号処理系の処理条件の少なくとも一方を、注目領域へ投光するときと非注目領域に投光するときとで異ならせる。 Patent Document 1 discloses a photodetector that detects light reflected by an object with respect to projected light. This photodetector sets at least one region in the light projection range where an object exists as the region of interest, and sets at least one of the light projection conditions of the light projection system and the processing conditions of the signal processing system for the region of interest to the region of interest. The difference is made when projecting light to a target area and when projecting light to a non-attention area.

特開2017‐173298号公報JP 2017-173298 Publication

ところで、反射光を検出する測距装置において、通常の測距を行う状況と、校正を行う状況とが生じることが考えられる。特許文献1の技術では、これらの状況に応じて測距装置を制御することは開示されていない。 By the way, in a distance measuring device that detects reflected light, it is conceivable that there will be a situation in which normal distance measurement is performed and a situation in which calibration is performed. The technique of Patent Document 1 does not disclose controlling the distance measuring device according to these situations.

開示される目的は、状況に応じた測距制御が可能な測距制御装置、測距制御方法、測距制御プログラム、および測距装置を提供することである。 An object of the disclosure is to provide a distance measurement control device, a distance measurement control method, a distance measurement control program, and a distance measurement device that can perform distance measurement control depending on the situation.

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。 The multiple embodiments disclosed in this specification employ different technical means to achieve their respective objectives. Furthermore, the claims and the reference numerals in parentheses described in this section are examples of correspondences with specific means described in the embodiments described later as one aspect, and are intended to limit the technical scope. isn't it.

開示された測距制御装置のひとつは、プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御する測距制御装置であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行部(130)と、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正部(140)と、
を備える。
One of the disclosed distance measurement control devices includes a processor (102), is mounted on a moving body (A), and measures the distance to the reflection point by detecting reflected light from the reflection point in response to irradiation with scanning light. A distance measurement control device that controls a distance measurement device for measuring,
a determination unit (120) that determines whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
Calibration that reduces the scanning speed of the scanning light when it is determined that the execution conditions are met, compared to the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution conditions are not met. a mode execution unit (130) that causes the distance measuring device to execute the mode;
a calibration unit (140) that performs calibration based on the distance measurement results of the distance measurement device in the calibration mode;
Equipped with

開示された測距制御方法のひとつは、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセス(S160)と、
を含む。
One of the disclosed distance measurement control methods controls a distance measurement device that is mounted on a moving object (A) and measures the distance to a reflection point by detecting reflected light from a reflection point in response to irradiation with scanning light. A ranging control method executed by a processor (102) for the purpose of
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
Calibration that reduces the scanning speed of the scanning light when it is determined that the execution conditions are met, compared to the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution conditions are not met. a mode execution process (S140; S145; S146) for causing the distance measuring device to execute the mode;
a calibration process (S160) for performing calibration based on the distance measurement results of the distance measurement device in the calibration mode;
including.

開示された測距制御プログラムのひとつは、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセス(S160)と、
を含む。
One of the disclosed distance measurement control programs controls a distance measurement device that is mounted on a moving object (A) and measures the distance to a reflection point by detecting reflected light from a reflection point in response to irradiation with scanning light. A distance measurement control program including instructions for a processor (102) to execute,
The command is
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
Calibration that reduces the scanning speed of the scanning light when it is determined that the execution conditions are met, compared to the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution conditions are not met. a mode execution process (S140; S145; S146) for causing the distance measuring device to execute the mode;
a calibration process (S160) that executes calibration based on the distance measurement result of the distance measurement device in the calibration mode;
including.

開示された測距装置のひとつは、プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを実行するモード実行部(130)と、
校正モードにおける測距結果に基づき校正を実行する校正部(140)と、
を備える。
One of the disclosed distance measuring devices has a processor (102), is configured to be mounted on a moving body (A), and detects reflected light from a reflective point in response to irradiation with scanning light, thereby detecting the distance to the reflective point. A distance measuring device that measures distance,
a determination unit (120) that determines whether an execution condition that allows the calibration to be executed is satisfied;
Mode execution that executes a calibration mode in which the scan speed of the scanning light is slower than the normal distance measurement mode, which is executed when the execution conditions are determined to be satisfied, but not the execution conditions. part (130) and
a calibration section (140) that performs calibration based on the distance measurement results in the calibration mode;
Equipped with

これらの開示によれば、校正を実行可能な実行条件が成立したと判定された場合に、スキャン光のスキャン速度が遅くされる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、1画素あたりの情報量を通常測距モード時よりも増やすことができる。これにより、より精度の高い測距が実現できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度向上が可能となる。したがって、校正が実行可能な状況下にて校正に適した測距装置の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能な測距制御装置、測距制御方法、および測距制御プログラムが提供され得る。 According to these disclosures, when it is determined that execution conditions that allow calibration to be executed are satisfied, a calibration mode in which the scanning speed of the scanning light is slowed is executed, and calibration is performed based on the distance measurement results in the calibration mode. is executed. Therefore, in the calibration mode, the amount of information per pixel can be increased more than in the normal ranging mode. As a result, more accurate distance measurement can be achieved, so it is possible to improve the accuracy of external parameter calculation and calibration performed based on the distance measurement results. Therefore, control of the distance measuring device suitable for calibration can be performed under conditions where calibration can be performed. As described above, a distance measurement control device, a distance measurement control method, and a distance measurement control program that can control a distance measurement device depending on the situation can be provided.

開示された測距制御装置のひとつは、プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御する測距制御装置であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行部(130)と、
校正モードにおける測距装置の測距結果に基づき、校正を実行する校正部(140)と、
を備える。
One of the disclosed distance measurement control devices includes a processor (102), is mounted on a moving body (A), and measures the distance to the reflection point by detecting reflected light from the reflection point in response to irradiation with scanning light. A distance measurement control device that controls a distance measurement device for measuring,
a determination unit (120) that determines whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
When it is determined that the execution conditions are met, the resolution of the distance to the reflection point is higher than in the normal distance measurement mode that is executed by the range finder when it is determined that the execution conditions are not met. a mode execution unit (130) that causes the range finder to execute a calibration mode;
a calibration unit (140) that performs calibration based on the distance measurement results of the distance measurement device in the calibration mode;
Equipped with

開示された測距制御方法のひとつは、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセス(S160)と、
を含む。
One of the disclosed distance measurement control methods controls a distance measurement device that is mounted on a moving object (A) and measures the distance to a reflection point by detecting reflected light from a reflection point in response to irradiation with scanning light. A ranging control method executed by a processor (102) for the purpose of
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
When it is determined that the execution conditions are met, the resolution of the distance to the reflection point is higher than in the normal distance measurement mode that is executed by the range finder when it is determined that the execution conditions are not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode to perform the calibration;
a calibration process (S160) for performing calibration based on the distance measurement results of the distance measurement device in the calibration mode;
including.

開示された測距制御プログラムのひとつは、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセス(S160)と、
を含む。
One of the disclosed distance measurement control programs controls a distance measurement device that is mounted on a moving object (A) and measures the distance to a reflection point by detecting reflected light from a reflection point in response to irradiation with scanning light. A distance measurement control program including instructions for a processor (102) to execute,
The command is
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
When it is determined that the execution conditions are met, the resolution of the distance to the reflection point is higher than in the normal distance measurement mode that is executed by the range finder when it is determined that the execution conditions are not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode to perform the calibration;
a calibration process (S160) that executes calibration based on the distance measurement result of the distance measurement device in the calibration mode;
including.

開示された測距装置のひとつは、プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりも反射点までの距離の分解能を高くする校正モードを実行するモード実行部(130)と、
校正モードにおける測距結果に基づき、校正を実行する校正部(140)と、
を備える。
One of the disclosed distance measuring devices has a processor (102), is configured to be mounted on a moving body (A), and detects reflected light from a reflective point in response to irradiation with scanning light, thereby detecting the distance to the reflective point. A distance measuring device that measures distance,
a determination unit (120) that determines whether an execution condition that allows the calibration to be executed is satisfied;
When it is determined that the execution conditions are met, a calibration mode is executed that provides a higher resolution of the distance to the reflection point than the normal distance measurement mode that is executed when the execution conditions are determined not to be met. a mode execution unit (130);
a calibration unit (140) that performs calibration based on the distance measurement results in the calibration mode;
Equipped with

これらの開示によれば、校正を実行可能な実行条件が成立したと判定された場合に、反射点までの距離の分解能が高くなる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、測距時の距離精度が向上できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度向上が可能となる。したがって、校正が実行可能な状況下にて校正に適した測距装置の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能な測距制御装置、測距制御方法、および測距制御プログラムが提供され得る。 According to these disclosures, when it is determined that execution conditions that allow calibration to be executed are satisfied, a calibration mode that increases the resolution of the distance to the reflection point is executed, and based on the distance measurement results in the calibration mode, the calibration mode is executed. Calibration is performed. Therefore, since the calibration mode can improve the distance accuracy during distance measurement, it is possible to improve the accuracy of external parameter calculation and calibration performed based on the distance measurement results. Therefore, control of the distance measuring device suitable for calibration can be performed under conditions where calibration can be performed. As described above, a distance measurement control device, a distance measurement control method, and a distance measurement control program that can control a distance measurement device depending on the situation can be provided.

画像処理装置の全体構成を示すブロック図である。FIG. 1 is a block diagram showing the overall configuration of an image processing device. 反射光検出および背景光検出における受光部の単位画素を示す図である。FIG. 7 is a diagram showing unit pixels of a light receiving section in reflected light detection and background light detection. 距離画像および背景光画像における画素密度の違いを示す図である。FIG. 3 is a diagram showing a difference in pixel density between a distance image and a background light image. 校正を実行する場合における車両の周辺構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of the peripheral configuration of a vehicle when performing calibration. 通常測距モードと校正モードの違いを示す図である。FIG. 3 is a diagram showing the difference between normal ranging mode and calibration mode. 画像処理装置が実行する測距制御方法の一例を示すフローチャートである。3 is a flowchart illustrating an example of a distance measurement control method executed by the image processing device. 第2実施形態における通常測距モードと校正モードの違いを示す図である。It is a figure showing the difference between normal distance measurement mode and calibration mode in a 2nd embodiment. 第3実施形態における通常測距モードと校正モードの違いを示す図である。It is a figure showing the difference between normal ranging mode and calibration mode in a 3rd embodiment. 第4実施形態において画像処理装置が実行する測距制御方法の一例を示すフローチャートである。13 is a flowchart illustrating an example of a distance measurement control method executed by the image processing apparatus in the fourth embodiment. 第5実施形態において画像処理装置が実行する測距制御方法の一例を示すフローチャートである。12 is a flowchart illustrating an example of a distance measurement control method executed by the image processing apparatus in the fifth embodiment. 第6実施形態において画像処理装置が実行する測距制御方法の一例を示すフローチャートである。12 is a flowchart illustrating an example of a distance measurement control method executed by an image processing apparatus in a sixth embodiment. 第7実施形態における画像処理装置の全体構成を示すブロック図である。It is a block diagram showing the whole composition of an image processing device in a 7th embodiment. 第7実施形態において画像処理装置が実行する測距制御方法の一例を示すフローチャートである。It is a flowchart which shows an example of the distance measurement control method performed by the image processing apparatus in 7th Embodiment. 他の実施形態におけるLiDAR装置の全体構成を示すブロック図である。FIG. 3 is a block diagram showing the overall configuration of a LiDAR device in another embodiment.

(第1実施形態)
図1に示すように、本開示の一実施形態による測距制御装置としての画像処理装置100は、移動体である車両Aに搭載される。画像処理装置100は、例えば、後述のLiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)装置1を含む複数の車載センサからの画像情報を取得し、画像認識等の処理を実行する車載ECU(Electronic Control Unit)である。
(First embodiment)
As shown in FIG. 1, an image processing device 100 as a distance measurement control device according to an embodiment of the present disclosure is mounted on a vehicle A that is a moving body. The image processing device 100 includes, for example, an in-vehicle ECU (ECU) that acquires image information from a plurality of in-vehicle sensors including a LiDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging) device 1, which will be described later, and executes processing such as image recognition. Electronic Control Unit).

画像処理装置100は、例えばLAN(Local Area Network)、ワイヤハーネスおよび内部バス等のうち少なくとも一種類を含む車載ネットワーク50を介して、各種情報を取得可能である。車載ネットワーク50から取得される情報には、例えば、ロケータによる位置情報、地図データベースに含まれる地図情報、車両Aの挙動センサからの挙動情報、後述の他センサによる検出情報等が含まれる。挙動センサには、車速センサ、姿勢センサ等が含まれる。 The image processing device 100 can acquire various information via an in-vehicle network 50 that includes at least one type of, for example, a LAN (Local Area Network), a wire harness, and an internal bus. The information acquired from the in-vehicle network 50 includes, for example, position information from a locator, map information included in a map database, behavior information from a behavior sensor of the vehicle A, detection information from other sensors described below, and the like. Behavior sensors include vehicle speed sensors, attitude sensors, and the like.

加えて、画像処理装置100は、LiDAR装置1と接続されており、相互に通信可能である。LiDAR装置1は、光の照射に対する反射点からの反射光を検出することで、反射点までの距離を測定する測定装置である。LiDAR装置1は、発光部11、受光部12、ミラーおよび制御回路14を備えている。 In addition, the image processing device 100 is connected to the LiDAR device 1 and can communicate with each other. The LiDAR device 1 is a measuring device that measures the distance to a reflection point by detecting reflected light from a reflection point in response to light irradiation. The LiDAR device 1 includes a light emitting section 11, a light receiving section 12, a mirror, and a control circuit 14.

発光部11は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光部11は、車両Aの外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。受光部12は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な受光素子により構成されている。受光素子は、二次元方向にアレイ状に複数配列されている。隣接する複数の受光素子の組により、1つの受光画素(以下、画素ともいう)が構成される。なお、1つの受光画素を構成する受光素子の個数は、制御回路14により変更可能である。受光部12の外界のうち、受光部12の画角により決まるセンシング領域から入射する光により、受光素子が露光される。 The light emitting unit 11 is a semiconductor element, such as a laser diode, that emits directional laser light. The light emitting unit 11 emits laser light directed toward the outside of the vehicle A in the form of an intermittent pulsed beam. The light receiving section 12 is constituted by a light receiving element that is highly sensitive to light, such as a SPAD (Single Photon Avalanche Diode). A plurality of light receiving elements are arranged in an array in a two-dimensional direction. One light-receiving pixel (hereinafter also referred to as a pixel) is constituted by a plurality of adjacent light-receiving elements. Note that the number of light receiving elements constituting one light receiving pixel can be changed by the control circuit 14. The light-receiving element is exposed to light that enters from a sensing area determined by the field angle of the light-receiving part 12 in the outside world of the light-receiving part 12 .

アクチュエータ13は、発光部11から照射されたレーザ光をLiDAR装置1の出射面へと反射する反射鏡の反射角を制御する。アクチュエータ13が反射鏡の反射角を制御することで、レーザ光がスキャンされる。スキャン方向は、水平方向であってもよく、垂直方向であってもよい。なお、アクチュエータ13は、LiDAR装置1の筐体自体の姿勢角を制御することで、レーザ光をスキャンするものであってもよい。 The actuator 13 controls the reflection angle of a reflecting mirror that reflects the laser beam irradiated from the light emitting unit 11 to the emission surface of the LiDAR device 1 . The laser beam is scanned by the actuator 13 controlling the reflection angle of the reflecting mirror. The scanning direction may be horizontal or vertical. Note that the actuator 13 may scan the laser beam by controlling the attitude angle of the casing itself of the LiDAR device 1.

制御回路14は、発光部11、受光部12およびアクチュエータ13を制御する。制御回路14は、メモリおよびプロセッサを、少なくとも1つずつ含んで構成されるコンピュータである。メモリは、コンピュータにより読み取り可能なプログラムおよびデータを非一時的に格納又は記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。メモリは、プロセッサによって実行される種々のプログラムを格納している。 The control circuit 14 controls the light emitting section 11, the light receiving section 12, and the actuator 13. The control circuit 14 is a computer including at least one memory and at least one processor. Memory refers to at least one type of non-transitory tangible storage medium, such as semiconductor memory, magnetic media, and optical media, that non-temporarily stores or stores computer-readable programs and data. medium). The memory stores various programs that are executed by the processor.

制御回路14は、受光部12における複数画素の露光およびスキャンを制御すると共に、受光部12からの信号を処理してデータ化する。制御回路14は、発光部11による光照射に対する反射光を受光部12にて検出する反射光検出と、発光部11による光照射の停止中に背景光を受光部12にて検出する背景光検出との2通りの光検出を実行する。 The control circuit 14 controls exposure and scanning of a plurality of pixels in the light receiving section 12, and processes signals from the light receiving section 12 to convert them into data. The control circuit 14 performs reflected light detection in which the light receiving unit 12 detects reflected light in response to light irradiation by the light emitting unit 11, and background light detection in which the light receiving unit 12 detects background light while the light irradiation by the light emitting unit 11 is stopped. Two types of light detection are performed.

反射光検出において、発光部11から照射されたレーザ光は、センシング領域内の物体にあたり、反射する。この反射した部分がレーザ光の反射点となる。反射点にて反射されたレーザ光(以下、反射光という)は入射面を通して受光部12に入射し、露光する。このとき制御回路14は、受光部12の複数画素をスキャンすることで、視野内の様々な角度の反射光を取得する。これにより、制御回路14は、反射物(対象物)の距離画像を取得する。 In reflected light detection, the laser light emitted from the light emitting section 11 hits an object within the sensing region and is reflected. This reflected portion becomes a reflection point of the laser beam. The laser light reflected at the reflection point (hereinafter referred to as reflected light) enters the light receiving section 12 through the incident surface and is exposed. At this time, the control circuit 14 acquires reflected light at various angles within the visual field by scanning a plurality of pixels of the light receiving section 12. Thereby, the control circuit 14 acquires a distance image of the reflective object (target object).

詳記すると、制御回路14は、各画素において、一定時間内にスキャンして得られた反射光の強度、またはその強度に基づいて得られた値(以下、反射強度と表記する)を得られた距離ごとに積算する。これにより、制御回路14は、図5等に示すような距離と反射強度のヒストグラムを取得する。制御回路14は、ヒストグラムの各ビンの反射強度に基づいて反射点までの距離を算出する。具体的には、制御回路14は、所定の閾値以上のビンに対して、近似曲線を生成し、当該近似曲線の極値を、その画素における反射点までの距離とする。制御回路14は、全画素について上述の処理を行うことで、画素ごとに距離情報を含んだ距離画像を生成可能である。 Specifically, the control circuit 14 obtains the intensity of reflected light obtained by scanning within a certain period of time, or a value obtained based on the intensity (hereinafter referred to as reflection intensity) for each pixel. The total is calculated for each distance traveled. Thereby, the control circuit 14 obtains a histogram of distance and reflection intensity as shown in FIG. 5 and the like. The control circuit 14 calculates the distance to the reflection point based on the reflection intensity of each bin of the histogram. Specifically, the control circuit 14 generates an approximate curve for bins that are equal to or higher than a predetermined threshold, and sets the extreme value of the approximate curve as the distance to the reflection point at that pixel. The control circuit 14 can generate a distance image containing distance information for each pixel by performing the above-described processing on all pixels.

一方、背景光検出においては、発光部11の光照射の停止中に、太陽光等の外界の光が物体に反射して、受光部12に露光する。この露光した光を以下では、背景光という。このとき制御回路14は、受光部12の複数画素をスキャンすることで、反射光と同様に、視野内の様々な角度の背景光を取得する。制御回路14は、全画素について上述の処理を行うことで、背景光画像を生成可能である。なお、反射光と背景光のセンシング領域はほぼ同様である。背景光は、外光または外乱光と呼称することも可能である。 On the other hand, in background light detection, while light emission from the light emitting section 11 is stopped, external light such as sunlight is reflected on an object and is exposed to the light receiving section 12 . This exposed light is hereinafter referred to as background light. At this time, the control circuit 14 scans the plurality of pixels of the light receiving section 12 to acquire background light at various angles within the field of view, similarly to the reflected light. The control circuit 14 can generate a background light image by performing the above-described processing on all pixels. Note that the sensing areas for reflected light and background light are almost the same. Background light can also be called external light or disturbance light.

なお、本実施形態において、制御回路14は、反射光検出時と背景光検出時とで1画素の大きさを変更する。具体的には、制御回路14は、図2に示すように、背景光検出時における1画素を構成する受光素子の数(α×β個)を、反射光検出時における1画素を構成する受光素子の数(A×B個)よりも少なくする。これにより、距離画像の撮像時よりも背景光画像の撮像時の画素数の方が多くなる(図3参照。「Q≧M、R≧N」である)。すなわち、背景光画像の1画素あたりの角度分解能が距離画像よりも高くなる。 Note that in this embodiment, the control circuit 14 changes the size of one pixel when detecting reflected light and when detecting background light. Specifically, as shown in FIG. 2, the control circuit 14 calculates the number of light receiving elements (α×β) making up one pixel when background light is detected, and the number of light receiving elements making up one pixel when detecting reflected light. The number is smaller than the number of elements (A×B pieces). As a result, the number of pixels when capturing a background light image is greater than when capturing a distance image (see FIG. 3; "Q≧M, R≧N"). That is, the angular resolution per pixel of the background light image is higher than that of the distance image.

制御回路14は、以上の反射光検出時および背景光検出時において、発光部11のスキャン速度および受光部12の受光周波数を制御可能である。制御回路14は、アクチュエータ13を制御することで、スキャン速度を変更する。 The control circuit 14 can control the scanning speed of the light emitting section 11 and the light receiving frequency of the light receiving section 12 during the above reflected light detection and background light detection. The control circuit 14 changes the scan speed by controlling the actuator 13.

制御回路14は、スキャン速度に応じた測距モードとして、通常測距モードと校正モードとを実行可能である。校正モードは、通常測距モードよりもスキャン速度を遅くした測距モードである。各測距モードの詳細については後述する。 The control circuit 14 can execute a normal distance measurement mode and a calibration mode as distance measurement modes depending on the scan speed. The calibration mode is a distance measurement mode in which the scanning speed is slower than the normal distance measurement mode. Details of each ranging mode will be described later.

画像処理装置100は、メモリ101およびプロセッサ102を、少なくとも1つずつ含んで構成されるコンピュータである。メモリ101は、コンピュータにより読み取り可能なプログラムおよびデータを非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体である。メモリ101は、後述の測距制御プログラム等、プロセッサ102によって実行される種々のプログラムを格納している。 The image processing apparatus 100 is a computer including at least one memory 101 and at least one processor 102. The memory 101 is at least one type of non-transitory physical storage medium, such as a semiconductor memory, a magnetic medium, an optical medium, etc., that non-temporarily stores or stores computer-readable programs and data. The memory 101 stores various programs executed by the processor 102, such as a distance measurement control program to be described later.

プロセッサ102は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)およびRISC(Reduced Instruction Set Computer)-CPU等のうち少なくとも一種類を、コアとして含む。プロセッサ102は、メモリ101に記憶された測距制御プログラムに含まれる複数の命令を、実行する。これにより画像処理装置100は、LiDAR装置1が実行する測距モードの制御処理を遂行するための複数の機能部を、構築する。このように画像処理装置100では、メモリ101に格納された測距制御プログラムが複数の命令をプロセッサ102に実行させることで、測距制御のための複数の機能部が構築される。具体的に、画像処理装置100には、図2に示すように、画像取得部110、モード判定部120、モード決定部130および校正部140等の機能部が構築される。 The processor 102 includes, as a core, at least one type of, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a RISC (Reduced Instruction Set Computer)-CPU. The processor 102 executes a plurality of instructions included in the distance measurement control program stored in the memory 101. As a result, the image processing device 100 constructs a plurality of functional units for performing control processing of the distance measurement mode executed by the LiDAR device 1. In this manner, in the image processing apparatus 100, the distance measurement control program stored in the memory 101 causes the processor 102 to execute a plurality of instructions, thereby constructing a plurality of functional units for distance measurement control. Specifically, as shown in FIG. 2, the image processing device 100 includes functional units such as an image acquisition unit 110, a mode determination unit 120, a mode determination unit 130, and a calibration unit 140.

画像取得部110は、LiDAR装置1の制御回路14にて生成された距離画像および背景光画像を取得する。画像取得部110は、取得した各画像について物体認識等の所定の画像処理を実行する。画像取得部110は、取得した各画像または画像処理済みの各画像を、他のECUに送信してもよい。 The image acquisition unit 110 acquires a distance image and a background light image generated by the control circuit 14 of the LiDAR device 1. The image acquisition unit 110 performs predetermined image processing such as object recognition on each acquired image. The image acquisition unit 110 may transmit each acquired image or each image processed image to another ECU.

モード判定部120は、車載ネットワーク50から取得した情報に基づいて、LiDAR装置1の測距モードを通常測距モードと校正モードのどちらにするかを判定する。そのために、モード判定部120は、校正を実行可能な実行条件が成立したか否かを判定する。モード判定部120は、実行条件が成立したと判定した場合に校正モード、不成立であると判定した場合に通常測距モードの実行判定を下す。 The mode determination unit 120 determines whether to set the ranging mode of the LiDAR device 1 to the normal ranging mode or the calibration mode, based on the information acquired from the in-vehicle network 50. For this purpose, the mode determination unit 120 determines whether execution conditions that allow the calibration to be executed are satisfied. The mode determination unit 120 determines to execute the calibration mode when it determines that the execution condition is satisfied, and determines to execute the normal distance measurement mode when it determines that the execution condition is not satisfied.

例えば、実行条件は、校正モードの実行が許可された校正エリアに車両Aが進入することとされる。ここで、校正エリアとは、校正のために設置されたスペース、乗員が乗降する停留所、駐車場等の停車スペース、交差点等の少なくとも1つを含む。なお、校正エリアに車両Aが進入したかどうかの判定は、例えば、GPS等のGNSS(Global Navigation Satellite System)に基づく車両Aの現在位置に基づき実行されればよい。 For example, the execution condition is that vehicle A enters a calibration area where execution of the calibration mode is permitted. Here, the calibration area includes at least one of a space installed for calibration, a stop where passengers get on and off, a parking space such as a parking lot, an intersection, and the like. Note that the determination as to whether the vehicle A has entered the calibration area may be performed based on the current position of the vehicle A based on, for example, GNSS (Global Navigation Satellite System) such as GPS.

モード判定部120は、校正エリアに車両Aが進入したと判定すると、さらに、車両Aが停車したか否かを判定する。モード判定部120は、車両Aの速度情報に基づき停車したか否かを判定すればよい。一例として、モード判定部120は、速度情報が0km/hである状態が所定期間(例えば5秒間)連続した場合に、停車したと判定してもよい。または、モード判定部120は、画像取得部110にて取得された距離画像および背景光画像に基づいて判定を行ってもよい。例えば、直近2時刻で取得した距離画像に基づいて、2画像間の差分を計算し、差異が一定未満であれば停止したと判定してもよい。 When determining that vehicle A has entered the calibration area, mode determination unit 120 further determines whether vehicle A has stopped. The mode determination unit 120 may determine whether the vehicle A has stopped based on the speed information of the vehicle A. As an example, the mode determination unit 120 may determine that the vehicle has stopped when the speed information is 0 km/h for a predetermined period of time (for example, 5 seconds). Alternatively, the mode determination unit 120 may make the determination based on the distance image and background light image acquired by the image acquisition unit 110. For example, the difference between the two images may be calculated based on the distance images acquired in the last two times, and if the difference is less than a certain value, it may be determined that the vehicle has stopped.

モード判定部120は、車両Aが校正エリアに進入し、且つ停車した場合に校正モードの実行判定を下す。 The mode determination unit 120 determines whether the calibration mode is to be executed when the vehicle A enters the calibration area and stops.

モード決定部130は、モード判定部120にて実行判定に基づき、制御回路14に実行させる測距モードの切り替えを行う。具体的には、モード決定部130は、直前までと異なる測距モードの実行判定が下された場合、測距モードの切替指令を生成し、制御回路14へと送信する。第1実施形態において、モード決定部130は、単にセンシング領域の全範囲について測距モードを切り替える切替指令を生成すればよい。これによりモード決定部130は、いずれかの測距モードをLiDAR装置1に実行させる。モード決定部130は、「モード実行部」の一例である。 The mode determining unit 130 switches the ranging mode to be executed by the control circuit 14 based on the execution determination made by the mode determining unit 120. Specifically, when a determination is made to execute a distance measurement mode different from the previous one, the mode determination unit 130 generates a distance measurement mode switching command and transmits it to the control circuit 14 . In the first embodiment, the mode determining unit 130 may simply generate a switching command to switch the ranging mode for the entire sensing region. Accordingly, the mode determining unit 130 causes the LiDAR device 1 to execute one of the ranging modes. The mode determining unit 130 is an example of a “mode executing unit”.

校正モードでは、通常測距モードよりもスキャン速度が遅く設定される。例えば、校正モードではスキャン速度が10分の1に設定され、通常測距モードでは10Hzのスキャン周期が、校正モードでは1Hzへと変更される。この場合、図5に示すように、1画素当たりの受光回数は、通常測距モードよりも校正モードの方が多くなる。したがって、ヒストグラムを構成する情報量が、校正モードの方が大きくなる。これにより、検出される反射点までの距離が、真の距離により近くなる。なお、図5においては、点線による複数の矩形が、複数の受光タイミングごとの受光範囲LRを模式的に示している。後述する図7についても同様である。 In the calibration mode, the scanning speed is set slower than in the normal ranging mode. For example, in the calibration mode, the scan speed is set to 1/10, and in the normal distance measurement mode, the scan cycle is 10 Hz, and in the calibration mode, the scan cycle is changed to 1 Hz. In this case, as shown in FIG. 5, the number of times of light reception per pixel is greater in the calibration mode than in the normal distance measurement mode. Therefore, the amount of information forming the histogram is larger in the calibration mode. As a result, the distance to the detected reflection point becomes closer to the true distance. In addition, in FIG. 5, a plurality of rectangles indicated by dotted lines schematically indicate the light reception range LR for each of a plurality of light reception timings. The same applies to FIG. 7, which will be described later.

校正部140は、校正モードが実行される場合に、当該校正モードにおいて取得された距離画像および背景光画像に基づき、LiDAR装置1の校正を実行する。 When the calibration mode is executed, the calibration unit 140 calibrates the LiDAR device 1 based on the distance image and background light image acquired in the calibration mode.

校正部140は、校正モードにて取得された画像情報を取得する。さらに校正部140は、LiDAR装置以外の他センサにて取得された校正ターゲットCTの特徴点情報を取得する。なお、校正ターゲットCTは、例えば、図4に示すように平面のチェッカーボードである。または、校正ターゲットCTは、他の任意の模様(例えばドットパターン)を付された平面ボードであってもよい。こうした校正ターゲットCTは、予め設けられた校正スペースに設置されている。他センサは、例えば校正スペースに設置された測量機TSである。測量機TSは、トータルステーション等の三次元測量が可能な構成である。測量機TSは、校正ターゲットCTの特徴点を抽出し、その情報を校正部140へと提供する。 The calibration unit 140 acquires image information acquired in the calibration mode. Further, the calibration unit 140 acquires feature point information of the calibration target CT acquired by a sensor other than the LiDAR device. Note that the calibration target CT is, for example, a flat checkerboard as shown in FIG. 4. Alternatively, the calibration target CT may be a flat board provided with any other pattern (for example, a dot pattern). Such a calibration target CT is installed in a calibration space provided in advance. The other sensor is, for example, a surveying instrument TS installed in the calibration space. The surveying instrument TS has a configuration capable of three-dimensional surveying, such as a total station. The surveying instrument TS extracts feature points of the calibration target CT and provides the information to the calibration unit 140.

校正部140は、LiDAR装置1による各画像に基づき、校正ターゲットCTの特徴点を抽出し、その三次元座標を特定する。詳記すると、校正部140は、解像度が距離画像以上の背景光画像から校正ターゲットCTの特徴点を抽出する。そして、校正部140は、抽出した背景光画像の特徴点の座標に対応する距離画像の座標を計算し、それに対して隣接する画素からそれぞれ距離情報を抽出する。校正部140は、抽出した複数の隣接画素の距離を三次元座標に変換し、得られた三次元座標をバイリニア補間またはバイキュービック補間等により補間することで、特徴点の三次元座標を特定する。 The calibration unit 140 extracts feature points of the calibration target CT based on each image obtained by the LiDAR device 1 and specifies their three-dimensional coordinates. Specifically, the calibration unit 140 extracts feature points of the calibration target CT from the background light image whose resolution is higher than that of the distance image. Then, the calibration unit 140 calculates the coordinates of the distance image corresponding to the coordinates of the feature point of the extracted background light image, and extracts distance information from each adjacent pixel. The calibration unit 140 converts the extracted distances between the plurality of adjacent pixels into three-dimensional coordinates, and interpolates the obtained three-dimensional coordinates by bilinear interpolation, bicubic interpolation, etc., thereby specifying the three-dimensional coordinates of the feature point. .

さらに、校正部140は、他センサにて抽出された特徴点の情報を取得する。校正部140は、LiDAR装置1による各特徴点に対応する他センサによる特徴点(対応点)を特定し、それらの対応関係に基づいて、LiDAR装置1の姿勢および位置、すなわち外部パラメータを算出する。算出された外部パラメータは、画像取得部110における画像処理にて利用されてもよいし、他のECUにおける距離画像または背景光画像を用いた処理に利用されてもよい。 Furthermore, the calibration unit 140 acquires information on feature points extracted by other sensors. The calibration unit 140 identifies the feature points (corresponding points) of other sensors that correspond to each feature point of the LiDAR device 1, and calculates the posture and position of the LiDAR device 1, that is, the external parameters, based on the correspondence relationship therebetween. . The calculated external parameters may be used in image processing in the image acquisition unit 110, or may be used in processing using a distance image or a background light image in another ECU.

次に、機能ブロックの共同により、画像処理装置100が実行する測距制御方法のフローを、図6に従って以下に説明する。なお、後述するフローにおいて「S」とは、プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。 Next, the flow of the distance measurement control method executed by the image processing apparatus 100 through collaboration of functional blocks will be described below with reference to FIG. Note that in the flow described below, "S" means multiple steps of the flow executed by multiple instructions included in the program.

まずS110では、モード判定部120が、車両Aが校正エリアに進入したか否かを判定する。校正エリアに進入したと判定された場合には、S115にて、モード判定部120が、車両Aが停車したか否かを判定する。 First, in S110, mode determination unit 120 determines whether vehicle A has entered the calibration area. If it is determined that the vehicle A has entered the calibration area, the mode determining unit 120 determines in S115 whether or not the vehicle A has stopped.

S110にて校正エリアに進入していないと判定された場合、またはS115にて車両Aが停車していないと判定された場合には、本フローがS130へと移行する。S130では、モード決定部130が、測距モードを通常測距モードに決定する。具体的には、直前の測距モードが校正モードであった場合、S130では、通常測距モードへの切替指令が送信される。そして、直前の測距モードが通常測距モードであった場合、S130では、測距モードが維持される。 If it is determined in S110 that the vehicle A has not entered the calibration area, or if it is determined in S115 that the vehicle A is not stopped, the flow shifts to S130. In S130, the mode determining unit 130 determines the distance measurement mode to be the normal distance measurement mode. Specifically, if the previous distance measurement mode was the calibration mode, in S130, a command to switch to the normal distance measurement mode is transmitted. If the previous distance measurement mode was the normal distance measurement mode, the distance measurement mode is maintained in S130.

一方で、S115にて車両Aが停車していると判定された場合には、本フローがS140へと移行する。S140では、モード決定部130が、測距モードを校正モードに決定する。具体的には、直前の測距モードが通常測距モードであった場合、S140では、測距モードへの切替指令が送信される。そして、直前の測距モードが校正モードであった場合、S140では、測距モードが維持される。 On the other hand, if it is determined in S115 that vehicle A is stopped, the flow shifts to S140. In S140, the mode determining unit 130 determines the distance measurement mode to be the calibration mode. Specifically, if the previous distance measurement mode was the normal distance measurement mode, a command to switch to the distance measurement mode is transmitted in S140. If the previous distance measurement mode was the calibration mode, the distance measurement mode is maintained in S140.

次に、S150では、画像取得部110が、距離画像および背景光画像を取得する。続くS160では、校正部140が、距離画像および背景光画像に基づき、LiDAR装置1の姿勢および位置を算出する。 Next, in S150, the image acquisition unit 110 acquires a distance image and a background light image. In subsequent S160, the calibration unit 140 calculates the attitude and position of the LiDAR device 1 based on the distance image and the background light image.

なお、上述のS110,S115が「判定プロセス」、S140が「モード実行プロセス」の一例である。また、S160が「校正プロセス」の一例である。 Note that S110 and S115 described above are examples of a "determination process", and S140 is an example of a "mode execution process". Further, S160 is an example of a "calibration process".

以上の第1実施形態によれば、校正を実行可能な実行条件が成立したと判定された場合に、スキャン光のスキャン速度が遅くする校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、1画素あたりのデータ収集時間が長くなるため、情報量を通常測距モード時よりも増やすことができる。これにより、より精度の高い測距が実現できるため、測距結果を基づき算出する外部パラメータの計算精度や校正の精度を向上することが可能となる。したがって、校正が実行可能な状況下にて校正に適したLiDAR装置1の制御が実行され得る。以上により、状況に応じた測距制御が可能となり得る。さらに、データ収集時間が長くなるため、背景光のデータ量も増加し、ハイダイナミックレンジを広げることが可能となる。故に、キャリブレーションを実施可能な状況が多くなり得る。 According to the first embodiment described above, when it is determined that the execution conditions that allow calibration to be executed are satisfied, the calibration mode in which the scanning speed of the scanning light is slowed is executed, and the calibration mode is executed based on the distance measurement result in the calibration mode. Calibration is performed. Therefore, since the data collection time per pixel becomes longer in the calibration mode, the amount of information can be increased compared to the normal distance measurement mode. As a result, more accurate distance measurement can be achieved, so it is possible to improve the calculation accuracy and calibration accuracy of external parameters calculated based on the distance measurement results. Therefore, control of the LiDAR device 1 suitable for calibration can be performed under conditions where calibration can be performed. With the above, distance measurement control can be performed depending on the situation. Furthermore, since the data collection time becomes longer, the amount of background light data also increases, making it possible to widen the high dynamic range. Therefore, there may be many situations in which calibration can be performed.

また、第1実施形態によれば、校正モードの実行が許可された校正エリアに車両Aが進入した場合に、実行条件が成立していると判定する。これによれば、校正エリアにLiDAR装置1を搭載した車両Aが進入した場合に、確実に校正が実行され得る。 Further, according to the first embodiment, when the vehicle A enters a calibration area where execution of the calibration mode is permitted, it is determined that the execution condition is satisfied. According to this, when the vehicle A carrying the LiDAR device 1 enters the calibration area, the calibration can be reliably executed.

(第2実施形態)
第2実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図7において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Second embodiment)
In the second embodiment, a modification of the image processing apparatus 100 in the first embodiment will be described. Components in FIG. 7 that are denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第2実施形態において、モード決定部130は、通常測距モードと校正モードとで、スキャン速度に加えて距離画像における1画素あたりの距離情報を得るための受光素子の数を変更させる。具体的には、モード決定部130は、通常測距モードの場合よりも、校正モードのスキャン速度を遅くするとともに、1画素を構成する受光素子の数を、小さくする。これにより、校正モードにおける1つの画素(校正画素)の大きさが、通常測距モードにおける1つの画素(通常画素)の大きさが小さくなる。例えば、モード決定部130は、1つの校正画素における1スキャンでの受光回数が、1つの通常画素における1スキャンでの受光回数と同等以上になるように、校正画素の大きさを規定する。 In the second embodiment, the mode determining unit 130 changes the number of light receiving elements for obtaining distance information per pixel in a distance image in addition to the scan speed between the normal distance measurement mode and the calibration mode. Specifically, the mode determining unit 130 makes the scanning speed in the calibration mode slower than in the normal distance measurement mode, and also makes the number of light receiving elements constituting one pixel smaller. As a result, the size of one pixel (calibration pixel) in the calibration mode and the size of one pixel (normal pixel) in the normal ranging mode become smaller. For example, the mode determining unit 130 defines the size of the calibration pixel so that the number of times one calibration pixel receives light in one scan is equal to or greater than the number of times one normal pixel receives light in one scan.

一例として、モード決定部130は、図7に示すように、1画素あたりの受光回数が、校正モードと通常測距モードで同数(図7では3回)になるように校正モード時の受光素子の数を設定している。具体的には、モード決定部130は、通常モードのスキャン速度が10Hz、校正モードのスキャン速度が1Hzである場合に、校正画素の大きさを通常画素の半分としている。これにより、前述したように受光素子の数を小さくすることで、より高い角度分解能の距離画像が取得可能となる。なお、図7における画素内の黒点は、各画素における距離情報を三次元座標に変換する際の注目点を示している。 As an example, as shown in FIG. 7, the mode determining unit 130 selects the light receiving element in the calibration mode so that the number of times of light reception per pixel is the same in the calibration mode and the normal ranging mode (three times in FIG. 7). The number of Specifically, when the scan speed in the normal mode is 10 Hz and the scan speed in the calibration mode is 1 Hz, the mode determining unit 130 sets the size of the calibration pixel to be half the size of the normal pixel. Thereby, by reducing the number of light receiving elements as described above, it becomes possible to obtain a distance image with higher angular resolution. Note that black dots within pixels in FIG. 7 indicate points of interest when converting distance information at each pixel into three-dimensional coordinates.

以上の第2実施形態によれば、校正モードにおいて、受光素子の数を小さくすることで減る1画素あたりの情報量を、スキャン速度を遅くすることにより通常測距モードの1画素と同程度にすることが可能となる。これにより、情報量を維持しつつ、受光素子の数を小さくすることができるため、通常測距モードよりも高い角度分解能の距離画像を取得できる。高い角度分解能の距離画像が得られると、特徴点の三次元座標がより高精度で得られるため、外部パラメータの計算精度や校正の精度を向上することが可能となる。 According to the second embodiment described above, in the calibration mode, the amount of information per pixel, which decreases by reducing the number of light receiving elements, is reduced to the same level as the amount of information per pixel in the normal ranging mode by slowing down the scanning speed. It becomes possible to do so. This allows the number of light-receiving elements to be reduced while maintaining the amount of information, so it is possible to obtain a distance image with higher angular resolution than in the normal distance measurement mode. When a distance image with high angular resolution is obtained, three-dimensional coordinates of feature points can be obtained with higher precision, making it possible to improve the calculation accuracy and calibration accuracy of external parameters.

(第3実施形態)
第3実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図8において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Third embodiment)
In the third embodiment, a modification of the image processing apparatus 100 in the first embodiment will be described. Components in FIG. 8 denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第3実施形態において、モード決定部130は、通常測距モードと校正モードとで、反射点までの距離の分解能を変更させる。具体的には、モード決定部130は、校正モードにおいて、受光部12の受光周波数を変更させることにより、ヒストグラムの1ビンが対応する距離の分解能を高くさせる。すなわち、モード決定部130は、校正モードの受光周波数を、通常測距モードの受光周波数よりも大きくする。例えば、モード決定部130は、校正モードにおける分解能が、通常測距モードの3倍となるように受光周波数を調整させる。換言すれば、校正モードにおける1ビンの距離範囲が、通常測距モードの3分の1となる。 In the third embodiment, the mode determining unit 130 changes the resolution of the distance to the reflection point between the normal distance measurement mode and the calibration mode. Specifically, the mode determining unit 130 increases the resolution of the distance corresponding to one bin of the histogram by changing the light receiving frequency of the light receiving unit 12 in the calibration mode. That is, the mode determining unit 130 makes the light receiving frequency in the calibration mode higher than the light receiving frequency in the normal ranging mode. For example, the mode determining unit 130 adjusts the light reception frequency so that the resolution in the calibration mode is three times that in the normal ranging mode. In other words, the distance range of one bin in the calibration mode is one-third that in the normal distance measurement mode.

このとき、モード決定部130は、校正モードの検出距離を、通常測距モードよりも小さくしてよい。具体的には、モード決定部130は、通常測距モードの検出距離を分解能の倍数の逆数倍したものを、校正モードの検出距離とする。検出距離の制限により、モード決定部130は、校正モードにおける距離画像のデータ量の増大を抑制する。 At this time, the mode determining unit 130 may make the detection distance in the calibration mode smaller than that in the normal distance measurement mode. Specifically, the mode determining unit 130 multiplies the detected distance in the normal ranging mode by the reciprocal of the multiple of the resolution as the detected distance in the calibration mode. By limiting the detection distance, the mode determining unit 130 suppresses an increase in the amount of distance image data in the calibration mode.

以上の第3実施形態によれば、校正を実行可能な実行条件が成立したと判定された場合に、反射点までの距離の分解能が高くなる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、測距時の距離精度が向上できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度を向上することが可能となる。したがって、校正が実行可能な状況下にて校正に適したLiDAR装置1の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能となり得る。 According to the third embodiment described above, when it is determined that the execution conditions that allow calibration to be executed are satisfied, the calibration mode in which the resolution of the distance to the reflection point is high is executed, and the distance measurement result in the calibration mode is executed. Calibration is performed based on Therefore, since the calibration mode can improve the distance accuracy during distance measurement, it is possible to improve the accuracy of calculation of external parameters and the accuracy of calibration performed based on the distance measurement results. Therefore, control of the LiDAR device 1 suitable for calibration can be performed under conditions where calibration can be performed. As described above, it may be possible to control the distance measuring device depending on the situation.

なお、モード決定部130は、校正モードにおいて距離の分解能を高くさせることに加えて、スキャン光のスキャン速度を遅くしてもよい。換言すれば、校正モードは、反射点までの距離の分解能を高くすることとスキャン光のスキャン速度を通常測距モードよりも遅くすることの両方を含んでいてもよい。これにより、より正確な校正が可能となり得る。 Note that in addition to increasing the distance resolution in the calibration mode, the mode determining unit 130 may also decrease the scanning speed of the scanning light. In other words, the calibration mode may include both increasing the resolution of the distance to the reflection point and making the scanning speed of the scanning light slower than in the normal distance measurement mode. This may enable more accurate calibration.

(第4実施形態)
第4実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図9において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Fourth embodiment)
In the fourth embodiment, a modification of the image processing apparatus 100 in the first embodiment will be described. Components in FIG. 9 denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第4実施形態において、モード判定部120は、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定する。モード判定部120は、通常測距モードにて取得された画像情報に基づき、校正ターゲットCTが存在するか否かを判定すればよい。例えば、モード判定部120は、距離画像または背景光画像から、予め規定された校正ターゲットCTの識別マーカの有無を、画像処理により判定すればよい。 In the fourth embodiment, the mode determination unit 120 determines that the execution condition is satisfied when a predefined calibration target CT exists within the distance measurement area. The mode determination unit 120 may determine whether or not the calibration target CT exists based on the image information acquired in the normal distance measurement mode. For example, the mode determination unit 120 may determine the presence or absence of an identification marker of a predefined calibration target CT from a distance image or a background light image by image processing.

モード決定部130は、センシング領域のうち、校正ターゲットCTを含む特定範囲について、校正モードでの測距を決定する。例えば、モード決定部130は、検出された識別マーカの位置から想定される方位範囲を、特定範囲とすればよい。第4実施形態において、モード決定部130は、特定範囲に関する情報を、切替指令とともに制御回路14へと送信する。校正部140は、特定範囲における画像情報に基づいて、校正を実行する。 The mode determining unit 130 determines distance measurement in the calibration mode for a specific range including the calibration target CT in the sensing region. For example, the mode determining unit 130 may set the azimuth range assumed from the position of the detected identification marker as the specific range. In the fourth embodiment, the mode determining unit 130 transmits information regarding the specific range to the control circuit 14 together with a switching command. The calibration unit 140 performs calibration based on image information in a specific range.

次に、第4実施形態において画像処理装置100が実行する測距制御方法について、図9のフローチャートに従って以下に説明する。 Next, a distance measurement control method executed by the image processing apparatus 100 in the fourth embodiment will be described below according to the flowchart of FIG.

まず、S100では、画像取得部110が通常測距モードにて生成された画像情報を取得する。次に、S120では、モード判定部120が、校正ターゲットCTの検出有無を判定する。校正ターゲットCTを検出しないと判定されると、本フローがS130へと移行する。一方で、校正ターゲットCTを検出したと判定されると、本フローがS145へと移行する。S145では、モード決定部130が、スキャン中に校正ターゲットCTを含む特定範囲についてのみ校正モードの実行を決定する。その後、本フローがS150,S160へと移行する。 First, in S100, the image acquisition unit 110 acquires image information generated in the normal ranging mode. Next, in S120, the mode determination unit 120 determines whether or not the calibration target CT is detected. If it is determined that the calibration target CT is not detected, the flow moves to S130. On the other hand, if it is determined that the calibration target CT has been detected, the flow shifts to S145. In S145, the mode determining unit 130 determines to execute the calibration mode only for a specific range including the calibration target CT during scanning. After that, the flow moves to S150 and S160.

以上の第4実施形態によれば、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定される。そして、校正モードによる測距範囲が、校正ターゲットCTを含む測距エリア内の特定範囲に限定される。故に、校正に利用可能な校正ターゲットCTが存在する場合に確実に校正が実行され得、且つ測距範囲の限定によりデータ量が低減され得る。 According to the fourth embodiment described above, when a predefined calibration target CT exists within the distance measurement area, it is determined that the execution condition is satisfied. Then, the distance measurement range in the calibration mode is limited to a specific range within the distance measurement area that includes the calibration target CT. Therefore, when there is a calibration target CT that can be used for calibration, calibration can be performed reliably, and the amount of data can be reduced by limiting the ranging range.

(第5実施形態)
第5実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図10において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Fifth embodiment)
In the fifth embodiment, a modification of the image processing apparatus 100 in the first embodiment will be described. Components in FIG. 10 denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第5実施形態において、モード判定部120は、通常測距モードにて取得された画像情報に基づき、許容距離範囲内に規定数以上の反射点が存在するか否かを判定する。ここで、許容距離範囲は、反射点までの距離に関する閾値以下、または当該閾値未満となる距離範囲である。一例として、閾値は30mとすればよい。また、一例として、規定数は全反射点の80%とすればよい。 In the fifth embodiment, the mode determination unit 120 determines whether there are a prescribed number or more of reflection points within the allowable distance range, based on image information acquired in the normal distance measurement mode. Here, the allowable distance range is a distance range that is less than or equal to a threshold value regarding the distance to the reflection point. As an example, the threshold value may be 30 m. Furthermore, as an example, the prescribed number may be 80% of the total reflection points.

次に、第5実施形態において画像処理装置100が実行する測距制御方法について、図10のフローチャートに従って以下に説明する。なお、第1実施形態または第2実施形態のフローと同じ符号を付したステップについては、対応する実施形態における説明を援用する。 Next, a distance measurement control method executed by the image processing apparatus 100 in the fifth embodiment will be described below according to the flowchart of FIG. 10. Note that for steps with the same reference numerals as in the flow of the first embodiment or the second embodiment, the explanation in the corresponding embodiment is used.

S100にて画像取得部110が通常測距モードにて生成された画像情報を取得すると、本フローがS125へと移行する。S125では、モード判定部120が、許容距離範囲内に規定数の反射点が存在するか否かを判定する。規定数の反射点が存在しないと判定されると、本フローがS130へと移行する。一方で、規定数の反射点が存在すると判定されると、本フローがS140へと移行し、S150,S160へと続く。 When the image acquisition unit 110 acquires image information generated in the normal ranging mode in S100, the flow shifts to S125. In S125, the mode determination unit 120 determines whether a prescribed number of reflection points exist within the allowable distance range. If it is determined that the specified number of reflection points does not exist, the flow moves to S130. On the other hand, if it is determined that a specified number of reflection points exist, the flow moves to S140, and continues to S150 and S160.

以上の第5実施形態によれば、車両Aからの距離が許容距離範囲内となる反射点の点数が所定数を上回る場合に、実行条件が成立していると判定される。故に、比較的近い距離に校正ターゲットCTが多く存在する状況、すなわち校正に適した状況が検知され、当該状況において確実に校正が実行され得る。 According to the fifth embodiment described above, when the number of reflection points whose distance from vehicle A is within the allowable distance range exceeds a predetermined number, it is determined that the execution condition is satisfied. Therefore, a situation in which many calibration targets CT exist at relatively close distances, that is, a situation suitable for calibration, is detected, and calibration can be performed reliably in this situation.

(第6実施形態)
第6実施形態では、第4実施形態における画像処理装置100の変形例について説明する。図11において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Sixth embodiment)
In the sixth embodiment, a modification of the image processing apparatus 100 in the fourth embodiment will be described. Components in FIG. 11 denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第6実施形態において、モード判定部120は、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定する。モード判定部120は、通常測距モードにて取得された画像情報に基づき、校正ターゲットCTが存在するか否かを判定すればよい。例えば、モード判定部120は、距離画像または背景光画像から、予め規定された校正ターゲットCTの識別マーカの有無を、画像処理により判定すればよい。 In the sixth embodiment, the mode determination unit 120 determines that the execution condition is satisfied when a predefined calibration target CT exists within the distance measurement area. The mode determination unit 120 may determine whether or not the calibration target CT exists based on the image information acquired in the normal distance measurement mode. For example, the mode determination unit 120 may determine the presence or absence of an identification marker of a predefined calibration target CT from a distance image or a background light image by image processing.

モード決定部130は、センシング領域のうち、校正ターゲットCTを含む特定範囲について、校正モードでの測距を決定する。モード決定部130は、校正モードでのスキャン周期(以下、校正周期)が、通常測距モードでのスキャン周期(通常周期)を含む許容周期範囲内に収まるように、特定範囲の大きさおよびスキャン速度の少なくとも1つを設定する。許容周期範囲は、例えば、校正周期が所定の閾値以上または当該閾値を上回る範囲である。この場合、閾値は、通常周期以下の値となる。閾値は、通常周期との差が小さいほど望ましい。 The mode determining unit 130 determines distance measurement in the calibration mode for a specific range including the calibration target CT in the sensing region. The mode determining unit 130 determines the size of the specific range and scans so that the scan cycle in the calibration mode (hereinafter referred to as the calibration cycle) falls within an allowable cycle range that includes the scan cycle in the normal ranging mode (normal cycle). Set at least one speed. The allowable cycle range is, for example, a range in which the calibration cycle is equal to or greater than a predetermined threshold. In this case, the threshold value is a value less than or equal to the normal cycle. The smaller the difference between the threshold value and the normal cycle, the more desirable.

一例として、モード決定部130は、校正周期が通常周期と実質同等となるように設定する。換言すれば、モード決定部130は、校正周期を通常周期と同じスキャン周期に維持する。モード決定部130は、校正モードでのスキャン速度が予め規定されている場合、通常周期とスキャン速度とに基づいて特定範囲の大きさを決定する。例えば通常周期が10Hzで且つスキャン速度が通常モードの10分の1と規定されている場合、モード決定部130は、特定範囲の大きさを、センシング領域の10分の1に設定する。または、モード決定部130は、予め設定された特定範囲の大きさに基づいて、スキャン速度を設定してもよい。 As an example, the mode determining unit 130 sets the calibration cycle to be substantially equal to the normal cycle. In other words, the mode determining unit 130 maintains the calibration cycle at the same scan cycle as the normal cycle. If the scan speed in the calibration mode is predefined, the mode determining unit 130 determines the size of the specific range based on the normal cycle and the scan speed. For example, if the normal cycle is 10 Hz and the scan speed is defined as one-tenth of the normal mode, the mode determining unit 130 sets the size of the specific range to one-tenth of the sensing area. Alternatively, the mode determining unit 130 may set the scan speed based on the size of a preset specific range.

次に、第6実施形態において画像処理装置100が実行する測距制御方法について、図11のフローチャートに従って以下に説明する。 Next, a distance measurement control method executed by the image processing apparatus 100 in the sixth embodiment will be described below according to the flowchart of FIG. 11.

S120にて校正ターゲットCTを検出したと判定されると、本フローがS146へと移行する。S146では、モード決定部130が、校正ターゲットCTを含む特定範囲について、校正周期を通常周期と同じスキャン周期に維持した状態での校正モードの実行を決定する。その後、本フローがS150,S160へと移行する。 If it is determined in S120 that the calibration target CT has been detected, the flow moves to S146. In S146, the mode determining unit 130 determines to execute the calibration mode in a state where the calibration cycle is maintained at the same scan cycle as the normal cycle for the specific range including the calibration target CT. After that, the flow moves to S150 and S160.

以上の第6実施形態によれば、校正モードによる測距範囲が校正ターゲットCTを含む測距エリア内の特定範囲に限定される場合、通常周期を含む許容周期範囲内に収まるように、特定範囲の大きさおよびスキャン速度の少なくとも一方が設定される。故に、校正周期が遅くなることを抑制可能となる。特に、校正周期が通常周期と同等以上となるように設定されることで、校正モードによる測距を通常測距モードによる測距と同等以上の速さで完了可能となり得る。 According to the sixth embodiment described above, when the ranging range in the calibration mode is limited to a specific range within the ranging area including the calibration target CT, the specific range is At least one of the size and scan speed is set. Therefore, it is possible to prevent the calibration cycle from becoming slow. In particular, by setting the calibration cycle to be equal to or higher than the normal cycle, distance measurement in the calibration mode can be completed at a speed equal to or faster than range measurement in the normal range measurement mode.

(第7実施形態)
第7実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図12,13において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
(Seventh embodiment)
In the seventh embodiment, a modification of the image processing apparatus 100 in the first embodiment will be described. Components in FIGS. 12 and 13 denoted by the same reference numerals as those in the drawings of the first embodiment are the same components, and have the same effects.

第7実施形態において、画像処理装置100は、情報提示系60および通信系70と通信可能に接続されている。 In the seventh embodiment, the image processing device 100 is communicably connected to an information presentation system 60 and a communication system 70.

情報提示系60は、車両Aの乗員へ向けた報知情報を提示する車内提示ユニット61を含む。車内提示ユニット61は、乗員の視覚を刺激することで、報知情報を提示してもよい。視覚刺激タイプの情報提示系60は、例えばHUD(Head-Up Display)、MFD(Multi-Function Display)、コンビネーションメータ、ナビゲーションユニット、および発光ユニット等のうち、少なくとも一種類である。車内提示ユニット61は、乗員の聴覚を刺激することで、報知情報を提示してもよい。聴覚刺激タイプの情報提示系60は、例えばスピーカ、ブザー、およびバイブレーションユニット等のうち、少なくとも一種類である。車内提示ユニット61は、乗員の皮膚感覚を刺激することで、報知情報を提示してもよい。皮膚感覚刺激タイプの車内提示ユニット61により刺激される皮膚感覚には、例えば触覚、温度覚、および風覚等のうち、少なくとも一種類が含まれる。皮膚感覚刺激タイプの車内提示ユニット61は、例えばステアリングホイールのバイブレーションユニット、運転席のバイブレーションユニット、ステアリングホイールの反力ユニット、アクセルペダルの反力ユニット、ブレーキペダルの反力ユニット、および空調ユニット等のうち、少なくとも一種類である。 The information presentation system 60 includes an in-vehicle presentation unit 61 that presents notification information to the occupants of the vehicle A. The in-vehicle presentation unit 61 may present notification information by stimulating the occupant's vision. The visual stimulation type information presentation system 60 is, for example, at least one type of a HUD (Head-Up Display), an MFD (Multi-Function Display), a combination meter, a navigation unit, a light emitting unit, and the like. The in-vehicle presentation unit 61 may present notification information by stimulating the occupant's auditory senses. The auditory stimulation type information presentation system 60 is, for example, at least one type of speaker, buzzer, vibration unit, or the like. The in-vehicle presentation unit 61 may present the notification information by stimulating the occupant's skin sensation. The skin sensations stimulated by the skin sensation stimulation type in-vehicle presentation unit 61 include, for example, at least one of tactile sensations, temperature sensations, wind sensations, and the like. The skin sensation stimulation type in-vehicle presentation unit 61 includes, for example, a steering wheel vibration unit, a driver seat vibration unit, a steering wheel reaction force unit, an accelerator pedal reaction force unit, a brake pedal reaction force unit, and an air conditioning unit. At least one of them.

情報提示系60は、車両Aの周辺人物へ向けた報知情報を提示する車外提示ユニット62を含む。車外提示ユニット62は、例えば、視覚刺激タイプのものおよび聴覚刺激タイプのもののうち少なくとも一方を含む。視覚刺激タイプの車外提示ユニット62は、例えば、表示灯、および車外ディスプレイ等の少なくとも一種類である。聴覚刺激タイプの車外提示ユニット62は、例えば、スピーカ、ブザー等のうち少なくとも一種類である。 The information presentation system 60 includes an outside presentation unit 62 that presents notification information to people around the vehicle A. The external presentation unit 62 includes, for example, at least one of a visual stimulation type and an auditory stimulation type. The visual stimulation type external vehicle presentation unit 62 is, for example, at least one type of indicator light, vehicle external display, or the like. The auditory stimulation type external presentation unit 62 is, for example, at least one type of speaker, buzzer, or the like.

通信系70は、所定の通信情報を、無線通信により送受信する。例えば、通信系70は、車両Aの外界に存在するV2Xシステムとの間において、通信信号を送受信してもよい。V2Xタイプの通信系70は、例えばDSRC(Dedicated Short Range Communications)通信機、およびセルラV2X(C-V2X)通信機等のうち、少なくとも一種類である。通信系70により、車両Aは、センタCと通信可能となる。センタCは、自動運転可能な車両Aの運行を管制制御するサーバ装置を少なくとも有する構成である。通信系70は、センタC等の外部へと通信情報を送信することで外部に対する通知を行う構成である。 The communication system 70 transmits and receives predetermined communication information by wireless communication. For example, the communication system 70 may transmit and receive communication signals to and from a V2X system that exists outside the vehicle A. The V2X type communication system 70 is at least one type of, for example, a DSRC (Dedicated Short Range Communications) communication device, a cellular V2X (C-V2X) communication device, or the like. The communication system 70 enables the vehicle A to communicate with the center C. The center C has a configuration that includes at least a server device that controls and controls the operation of the vehicle A that is capable of automatically driving. The communication system 70 is configured to notify the outside by transmitting communication information to the outside, such as the center C.

車内提示ユニット61および車外提示ユニット62等の情報提示系60、および通信系70は、それぞれ「通知装置」の一例である。 The information presentation system 60, such as the in-vehicle presentation unit 61 and the out-of-vehicle presentation unit 62, and the communication system 70 are each an example of a "notification device."

第7実施形態において、画像処理装置100は、機能部としてさらに通知部150を構築する。通知部150は、校正モードの実行に関連する通知(校正通知)を、車内提示ユニット61、車外提示ユニット62、および通信系70の少なくとも1つに実行させる。校正通知は、例えば、通常測距モードと校正モードとの間で、測距モードの切り替えが実行されることを提示するものとされる。換言すれば、校正通知は、校正モードの開始および校正モードの終了を提示するものとされる。 In the seventh embodiment, the image processing apparatus 100 further includes a notification section 150 as a functional section. The notification unit 150 causes at least one of the in-vehicle presentation unit 61, the out-of-vehicle presentation unit 62, and the communication system 70 to execute a notification related to the execution of the calibration mode (calibration notification). The calibration notification, for example, indicates that the ranging mode will be switched between the normal ranging mode and the calibration mode. In other words, the calibration notification indicates the start of the calibration mode and the end of the calibration mode.

車内提示ユニット61および車外提示ユニット62に校正通知を実行させる場合、通知部150は、校正モードが実行中であることを示すメッセージおよびアイコン等の表示を、校正モードの実行中に実行させてもよい。または、通知部150は、校正モードが実行中であることを示す表示灯の点灯滅等を校正モードの実行中に実行させてもよい。または、通知部150は、校正モードが実行中であることを示すアナウンスおよび通知音等の出力を校正モードの実行中に実行させてもよい。車内提示ユニット61に校正通知を実行させることで、通知部150は、車両Aの乗員を通知対象とした校正通知を実現する。車外提示ユニット62に校正通知を実行させることで、通知部150は、車両Aの周辺人物を通知対象とした校正通知を実現する。 When causing the in-vehicle presentation unit 61 and the out-of-vehicle presentation unit 62 to execute a calibration notification, the notification unit 150 may display a message, an icon, etc. indicating that the calibration mode is being executed, even if the notification unit 150 displays a message and an icon indicating that the calibration mode is being executed. good. Alternatively, the notification unit 150 may cause an indicator light indicating that the calibration mode is being executed to turn on and off while the calibration mode is being executed. Alternatively, the notification unit 150 may output an announcement, a notification sound, or the like indicating that the calibration mode is being executed while the calibration mode is being executed. By causing the in-vehicle presentation unit 61 to execute the calibration notification, the notification unit 150 realizes the calibration notification targeting the occupants of the vehicle A. By causing the outside-of-vehicle presentation unit 62 to execute the calibration notification, the notification unit 150 realizes the calibration notification targeting people around the vehicle A.

通信系70に校正通知を実行させる場合、通知部150は、校正モードが実行中であることを示す情報をセンタCへと送信させる。例えば、通知部150は、送信データのパケット内に含まれる現在の測距モードを示すIDを、校正モードを示すIDへと切り替えることで、校正通知を実行させる。これにより、通知部150は、センタCのサーバ装置またはセンタCのオペレータを通知対象とした校正通知を実現する。 When causing the communication system 70 to issue a calibration notification, the notification unit 150 causes the center C to transmit information indicating that the calibration mode is being executed. For example, the notification unit 150 executes the calibration notification by switching the ID indicating the current ranging mode included in the packet of transmission data to the ID indicating the calibration mode. Thereby, the notification unit 150 realizes a calibration notification targeted at the server device of the center C or the operator of the center C.

次に、第7実施形態において画像処理装置100が実行する測距制御方法について、図13のフローチャートに従って以下に説明する。 Next, a distance measurement control method executed by the image processing apparatus 100 in the seventh embodiment will be described below according to the flowchart of FIG. 13.

S115にて車両Aが停車していると判定された場合、本フローがS139へと移行する。S139では、通知部150が、校正通知を実行させる。すなわち、直前の測距モードが通常測距モードであった場合、通知部150は、校正通知を開始させ、直前の測距モードが校正モードであった場合、通知部150は、校正通知の実行を継続させる。S139の処理を実行すると、本フローがS140へと移行する。 If it is determined in S115 that vehicle A is stopped, the flow moves to S139. In S139, the notification unit 150 causes a proofreading notification to be executed. That is, if the previous distance measurement mode was the normal distance measurement mode, the notification unit 150 starts the calibration notification, and if the previous distance measurement mode was the calibration mode, the notification unit 150 starts the calibration notification. continue. After executing the process of S139, the flow shifts to S140.

また、S110にて校正エリアに進入していないまたはS115にて車両Aが停車していないと判定された場合には、本フローがS129へと移行する。S129では、通知部150が、校正通知の終了処理を実行させる。すなわち、直前の測距モードが通常測距モードであった場合、通知部150は、校正通知の実行を終了させる。S129の処理を実行すると、本フローがS130へと移行する。以上において、S129およびS139が、「通知プロセス」の一例である。 Further, if it is determined in S110 that the vehicle A has not entered the calibration area or that the vehicle A is not stopped in S115, the flow shifts to S129. In S129, the notification unit 150 causes the calibration notification termination process to be executed. That is, if the previous distance measurement mode was the normal distance measurement mode, the notification unit 150 terminates the execution of the calibration notification. After executing the process of S129, the flow shifts to S130. In the above, S129 and S139 are examples of the "notification process".

以上の第7実施形態によれば、校正モードの実行に関連する通知が実行される。故に、LiDAR装置1にて校正モードが実行されることを、車両Aの乗員および周辺人物、オペレータ等の通知対象が把握可能となり得る。また、これにより当該通知対象は、校正モードおよび通常測距モードのうち現在の測距モードを把握可能となり得る。 According to the seventh embodiment described above, notification related to execution of the calibration mode is executed. Therefore, notification targets such as the occupants of the vehicle A, surrounding persons, and operators may be able to understand that the calibration mode is being executed in the LiDAR device 1. Furthermore, this may enable the notification target to grasp the current ranging mode among the calibration mode and the normal ranging mode.

(他の実施形態)
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
(Other embodiments)
The disclosure in this specification is not limited to the illustrated embodiments. The disclosure includes the illustrated embodiments and variations thereon by those skilled in the art. For example, the disclosure is not limited to the combinations of parts and/or elements illustrated in the embodiments. The disclosure can be implemented in various combinations. The disclosure may have additional parts that can be added to the embodiments. The disclosure includes those in which parts and/or elements of the embodiments are omitted. The disclosure encompasses any substitutions or combinations of parts and/or elements between one embodiment and other embodiments. The disclosed technical scope is not limited to the description of the embodiments. The technical scope of some of the disclosed technical scopes is indicated by the description of the claims, and should be understood to include all changes within the meaning and scope equivalent to the description of the claims. .

上述の実施形態において、測距制御装置を構成する専用コンピュータは、画像処理装置100であるとした。これに代えて、測距制御装置を構成する専用コンピュータは、LiDAR装置1の制御回路14であってもよい(図14参照)。または、測距制御装置を構成する専用コンピュータは、車両Aに搭載された運転制御ECUであってもよいし、車両Aの走行アクチュエータを個別制御するアクチュエータECUであってもよい。または、画像処理装置100を構成する専用コンピュータは、ロケータECUであってもよいし、ナビゲーションECUであってもよい。または、画像処理装置100を構成する専用コンピュータは、情報表示系の情報表示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。また、測距制御装置を構成する専用コンピュータは、車両Aの外部に設けられたサーバ装置であってもよい。 In the above-described embodiment, the dedicated computer configuring the distance measurement control device is the image processing device 100. Alternatively, the dedicated computer configuring the ranging control device may be the control circuit 14 of the LiDAR device 1 (see FIG. 14). Alternatively, the dedicated computer constituting the distance measurement control device may be a driving control ECU mounted on the vehicle A, or may be an actuator ECU that individually controls the travel actuators of the vehicle A. Alternatively, the dedicated computer constituting the image processing device 100 may be a locator ECU or a navigation ECU. Alternatively, the dedicated computer constituting the image processing apparatus 100 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls information display of an information display system. Further, the dedicated computer constituting the ranging control device may be a server device provided outside the vehicle A.

上述の第1から第7実施形態において、モード判定部120が成立有無を判定する実行条件についてそれぞれ説明した。実施形態の変形例として、モード判定部120は、複数の実行条件のうち少なくとも2つ以上について成立有無を判定してもよい。この場合、モード決定部130は、複数の実行条件のうち少なくとも1つが成立した場合に、校正モードの実行を決定すればよい。または、モード決定部130は、複数の実行条件の少なくとも2つ、または判定された全ての実行条件が成立した場合にのみ校正モードの実行を決定してもよい。 In the first to seventh embodiments described above, the execution conditions for which the mode determining unit 120 determines whether or not they are satisfied have been described. As a modification of the embodiment, the mode determination unit 120 may determine whether at least two or more of the plurality of execution conditions are satisfied. In this case, the mode determining unit 130 may decide to execute the calibration mode when at least one of the plurality of execution conditions is satisfied. Alternatively, the mode determining unit 130 may decide to execute the calibration mode only when at least two of the plurality of execution conditions or all of the determined execution conditions are satisfied.

上述の第1実施形態において、モード判定部120は、車両Aが校正エリアに進入し、且つ停車した場合に校正モードの実行判定を下すとした。これに代えて、モード判定部120は、校正エリアに進入したと判定した場合に、車両Aが停車中か否かに関わらず校正モードの実行判定を下してよい。 In the first embodiment described above, the mode determination unit 120 determines to execute the calibration mode when the vehicle A enters the calibration area and stops. Alternatively, when it is determined that the vehicle A has entered the calibration area, the mode determination unit 120 may determine that the calibration mode is to be executed regardless of whether or not the vehicle A is stopped.

上述の実施形態において、校正ターゲットCTは、予め設けられた校正スペースに設置されたものであるとした。これに代えて、校正ターゲットCTは、走行環境に存在する特定の地物であってもよい。地物には、例えば、道路標識、道路標示、建造物(柱等)が含まれる。この場合、画像処理装置100は、車載カメラ等の他センサにて検出された校正ターゲットCTの特徴点情報を取得すればよい。または、画像処理装置100は、三次元地図から校正ターゲットCTとしての地物に関する特徴点情報を取得してもよい。 In the embodiment described above, the calibration target CT is assumed to be installed in a calibration space provided in advance. Alternatively, the calibration target CT may be a specific feature existing in the driving environment. The features include, for example, road signs, road markings, and buildings (pillars, etc.). In this case, the image processing device 100 may acquire feature point information of the calibration target CT detected by another sensor such as an on-vehicle camera. Alternatively, the image processing device 100 may acquire feature point information regarding a feature as a calibration target CT from a three-dimensional map.

上述の第7実施形態において、通知部150は、校正通知として、校正モードと通常測距モードとの切り替えを示す情報提示を通知させるとしたが、これ以外の情報提示が校正通知に含まれていてもよい。例えば、車外提示ユニット62にて測距モードの切り替えを示す情報提示を実行させる場合、通知部150は、車内提示ユニット61に実行させる校正通知として、周辺人物へ測距モードの切り替えを通知していることを示す情報提示を実行させてもよい。これによって、乗員は、校正モードの実行が周辺人物へと通知されていることを把握可能となる。故に、乗員の校正モード実行に対する不安が低減され得る。 In the seventh embodiment described above, the notification unit 150 notifies the presentation of information indicating switching between the calibration mode and the normal distance measurement mode as the calibration notification, but the notification unit 150 notifies the presentation of information indicating switching between the calibration mode and the normal distance measurement mode. It's okay. For example, when the outside presentation unit 62 executes information presentation indicating switching of the ranging mode, the notification unit 150 notifies surrounding persons of the switching of the ranging mode as a calibration notification to be executed by the in-vehicle presentation unit 61. It may also be possible to display information indicating that the user is present. This allows the occupant to understand that surrounding persons are being notified of the execution of the calibration mode. Therefore, the occupant's anxiety about executing the calibration mode can be reduced.

画像処理装置100は、デジタル回路およびアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、およびCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。 The image processing device 100 may be a dedicated computer that includes at least one of a digital circuit and an analog circuit as a processor. In particular, digital circuits include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device). At least one of these. Further, such a digital circuit may include a memory storing a program.

画像処理装置100は、1つのコンピュータ、またはデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態における画像処理装置100の提供する機能の一部は、他のECUまたはサーバ装置によって実現されてもよい。 Image processing device 100 may be provided by one computer or a set of computer resources linked by a data communication device. For example, some of the functions provided by the image processing device 100 in the embodiment described above may be realized by another ECU or a server device.

1 LiDAR装置(測距装置)、 60 情報提示系(通知装置)、 70 通信系(通知装置)、 100 画像処理装置(測距制御装置)、 102 プロセッサ、 120 モード判定部(判定部)、 130 モード決定部(モード実行部)、 140 校正部、 150 通知部、 A 車両(移動体)、 CT 校正ターゲット。 1 LiDAR device (distance measurement device), 60 information presentation system (notification device), 70 communication system (notification device), 100 image processing device (distance measurement control device), 102 processor, 120 mode determination unit (determination unit), 130 mode determination unit (mode execution unit), 140 calibration unit, 150 notification unit, A vehicle (mobile object), CT calibration target.

Claims (22)

プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御する測距制御装置であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行部(130)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正部(140)と、
を備える測距制御装置。
A distance measuring device having a processor (102) and controlling a distance measuring device that is mounted on the moving body (A) and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A control device,
a determination unit (120) that determines whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
When it is determined that the execution condition is met, the scanning speed of the scanning light is higher than in the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution unit (130) that causes the distance measuring device to execute a calibration mode that slows down the calibration mode;
a calibration unit (140) that performs the calibration based on the distance measurement result of the distance measurement device in the calibration mode;
A distance measurement control device comprising:
プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御する測距制御装置であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行部(130)と、
前記校正モードにおける前記測距装置の測距結果に基づき、前記校正を実行する校正部(140)と、
を備える測距制御装置。
A distance measuring device having a processor (102) and controlling a distance measuring device that is mounted on the moving body (A) and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A control device,
a determination unit (120) that determines whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
When it is determined that the execution condition is met, the distance to the reflection point is greater than the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution unit (130) that causes the distance measuring device to execute a calibration mode that increases the resolution of;
a calibration unit (140) that performs the calibration based on the distance measurement result of the distance measurement device in the calibration mode;
A distance measurement control device comprising:
前記校正モードは、前記スキャン光のスキャン速度を前記通常測距モードよりも遅くすることを含む請求項2に記載の測距制御装置。 The distance measurement control device according to claim 2, wherein the calibration mode includes making the scanning speed of the scanning light slower than the normal distance measurement mode. 前記判定部は、前記校正モードの実行が許可された校正エリアに前記移動体が進入した場合に、前記実行条件が成立していると判定する請求項1から請求項3のいずれか1項に記載の測距制御装置。 According to any one of claims 1 to 3, the determination unit determines that the execution condition is satisfied when the moving object enters a calibration area where execution of the calibration mode is permitted. The distance measurement control device described. 前記判定部は、予め規定された校正ターゲット(CT)が測距エリア内に存在する場合に、前記実行条件が成立していると判定し、
前記モード実行部は、前記校正モードによる測距範囲を、前記校正ターゲットを含む前記測距エリア内の特定範囲に限定させる請求項1から請求項4のいずれか1項に記載の測距制御装置。
The determination unit determines that the execution condition is satisfied when a predefined calibration target (CT) exists within the ranging area;
The ranging control device according to any one of claims 1 to 4, wherein the mode execution unit limits a ranging range in the calibration mode to a specific range within the ranging area that includes the calibration target. .
前記モード実行部は、前記校正モードにおけるスキャン周期が、前記通常測距モードにおける前記スキャン周期を含む許容周期範囲内に収まるように、前記特定範囲の大きさおよび前記スキャン光のスキャン速度の少なくとも一方を設定する請求項5に記載の測距制御装置。 The mode execution unit adjusts at least one of the size of the specific range and the scan speed of the scanning light so that the scan cycle in the calibration mode falls within an allowable cycle range that includes the scan cycle in the normal ranging mode. The ranging control device according to claim 5, wherein the distance measuring control device sets: 前記判定部は、前記移動体からの距離が許容距離範囲内となる前記反射点の点数が所定数を上回る場合に、前記実行条件が成立していると判定する請求項1から請求項6のいずれか1項に記載の測距制御装置。 The determination unit determines that the execution condition is satisfied when the number of reflection points whose distance from the moving object is within an allowable distance range exceeds a predetermined number. The distance measurement control device according to any one of the items. 前記測距装置は、複数の受光素子により前記反射光を検出することで、複数の前記受光素子を含み構成される画素ごとに距離情報を有する、距離画像を取得可能であって、
前記モード実行部は、前記校正モードにおいて1画素あたりの前記距離情報を取得するための前記受光素子の数を前記通常測距モードよりも小さくさせる請求項1から請求項7のいずれか1項に記載の測距制御装置。
The distance measuring device is capable of acquiring a distance image having distance information for each pixel including a plurality of light receiving elements by detecting the reflected light with a plurality of light receiving elements,
8 . The mode execution unit according to claim 1 , wherein the mode execution unit makes the number of light receiving elements for acquiring the distance information per pixel smaller in the calibration mode than in the normal distance measurement mode. The distance measurement control device described.
前記校正モードの実行に関連する通知を通知装置(60,70)に実行させる通知部(150)を、さらに備える請求項1から請求項8のいずれか1項に記載の測距制御装置。 The ranging control device according to any one of claims 1 to 8, further comprising a notification unit (150) that causes the notification device (60, 70) to issue a notification related to execution of the calibration mode. 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正プロセス(S160)と、
を含む測距制御方法。
Executed by the processor (102) in order to control a distance measuring device mounted on the moving body (A) and measuring the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A distance measurement control method comprising:
a determination process (S110, S115; S120; S125) for determining whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
When it is determined that the execution condition is met, the scanning speed of the scanning light is higher than in the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode that slows down the calibration mode;
a calibration process (S160) that executes the calibration based on the distance measurement result of the distance measurement device in the calibration mode;
Distance control method including.
移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正プロセス(S160)と、
を含む測距制御方法。
Executed by the processor (102) in order to control a distance measuring device mounted on the moving body (A) and measuring the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A distance measurement control method comprising:
a determination process (S110, S115; S120; S125) for determining whether an execution condition that allows the calibration of the distance measuring device to be executed is satisfied;
When it is determined that the execution condition is met, the distance to the reflection point is greater than the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode that increases the resolution of the
a calibration process (S160) that executes the calibration based on the distance measurement result of the distance measurement device in the calibration mode;
Distance control method including.
前記校正モードは、前記スキャン光のスキャン速度を前記通常測距モードよりも遅くすることを含む請求項11に記載の測距制御方法。 12. The ranging control method according to claim 11, wherein the calibration mode includes making the scanning speed of the scanning light slower than the normal ranging mode. 前記判定プロセスでは、前記校正モードの実行が許可された校正エリアに前記移動体が進入した場合に、前記実行条件が成立していると判定する請求項10から請求項12のいずれか1項に記載の測距制御方法。 According to any one of claims 10 to 12, in the determination process, it is determined that the execution condition is satisfied when the moving object enters a calibration area where execution of the calibration mode is permitted. Distance control method described. 前記判定プロセスでは、予め規定された校正ターゲット(CT)が測距エリア内に存在する場合に、前記実行条件が成立していると判定し、
前記モード実行プロセスでは、前記校正モードによる測距範囲を、前記校正ターゲットを含む前記測距エリア内の特定範囲に限定させる請求項10から請求項13のいずれか1項に記載の測距制御方法。
In the determination process, it is determined that the execution condition is satisfied when a predefined calibration target (CT) exists within the ranging area;
The ranging control method according to any one of claims 10 to 13, wherein in the mode execution process, the ranging range in the calibration mode is limited to a specific range within the ranging area that includes the calibration target. .
前記モード実行プロセスでは、前記校正モードにおけるスキャン周期が、前記通常測距モードにおける前記スキャン周期を含む許容周期範囲内に収まるように、前記特定範囲の大きさおよび前記スキャン光のスキャン速度の少なくとも一方を設定する請求項14に記載の測距制御方法。 In the mode execution process, at least one of the size of the specific range and the scan speed of the scanning light is adjusted so that the scan cycle in the calibration mode falls within an allowable cycle range that includes the scan cycle in the normal ranging mode. 15. The distance measurement control method according to claim 14, wherein: 前記判定プロセスでは、前記移動体からの距離が許容距離範囲内となる前記反射点の点数が所定数を上回る場合に、前記実行条件が成立していると判定する請求項10から請求項15のいずれか1項に記載の測距制御方法。 Claims 10 to 15, wherein in the determination process, it is determined that the execution condition is satisfied if the number of reflection points whose distance from the moving object is within an allowable distance range exceeds a predetermined number. The ranging control method according to any one of the items. 前記測距装置は、複数の受光素子により前記反射光を検出することで、複数の前記受光素子を含み構成される画素ごとに距離情報を有する、距離画像を取得可能であって、
前記モード実行プロセスでは、前記校正モードにおいて1画素あたりの前記距離情報を取得するための前記受光素子の数を前記通常測距モードよりも小さくさせる請求項10から請求項16のいずれか1項に記載の測距制御方法。
The distance measuring device is capable of acquiring a distance image having distance information for each pixel including a plurality of light receiving elements by detecting the reflected light with a plurality of light receiving elements,
According to any one of claims 10 to 16, in the mode execution process, the number of light receiving elements for acquiring the distance information per pixel in the calibration mode is made smaller than in the normal distance measurement mode. Distance control method described.
前記校正モードの実行に関連する通知を通知装置(60,70)に実行させる通知プロセス(S129,S139)を、さらに含む請求項10から請求項17のいずれか1項に記載の測距制御方法。 The ranging control method according to any one of claims 10 to 17, further comprising a notification process (S129, S139) for causing a notification device (60, 70) to issue a notification related to execution of the calibration mode. . 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
前記命令は、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行させる校正プロセス(S160)と、
を含む測距制御プログラム。
to be executed by the processor (102) in order to control a distance measuring device that is mounted on the moving body (A) and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A distance measurement control program including instructions,
The said instruction is
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
When it is determined that the execution condition is met, the scanning speed of the scanning light is higher than in the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode that slows down the calibration mode;
a calibration process (S160) in which the calibration is executed based on the distance measurement result of the distance measurement device in the calibration mode;
A ranging control program including:
移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
前記命令は、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行させる校正プロセス(S160)と、
を含む測距制御プログラム。
to be executed by the processor (102) in order to control a distance measuring device that is mounted on the moving body (A) and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of the scanning light. A distance measurement control program including instructions,
The said instruction is
a determination process (S110, S115; S120; S125) that determines whether execution conditions that allow the calibration of the distance measuring device to be executed are satisfied;
When it is determined that the execution condition is met, the distance to the reflection point is greater than the normal distance measurement mode that is executed by the distance measurement device when it is determined that the execution condition is not met. a mode execution process (S140; S145; S146) that causes the distance measuring device to execute a calibration mode that increases the resolution of the
a calibration process (S160) in which the calibration is executed based on the distance measurement result of the distance measurement device in the calibration mode;
A ranging control program including:
プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に実行する通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを実行するモード実行部(130)と、
前記校正モードにおける測距結果に基づき前記校正を実行する校正部(140)と、
を備える測距装置。
The distance measuring device includes a processor (102), is configured to be mounted on a moving object (A), and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of scanning light. hand,
a determination unit (120) that determines whether an execution condition that allows the calibration to be executed is satisfied;
When it is determined that the execution condition is satisfied, a calibration mode is executed in which the scanning speed of the scanning light is slower than the normal ranging mode that is executed when it is determined that the execution condition is not satisfied. a mode execution unit (130) to
a calibration unit (140) that executes the calibration based on the distance measurement result in the calibration mode;
A distance measuring device equipped with.
プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に実行する通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを実行するモード実行部(130)と、
前記校正モードにおける測距結果に基づき、前記校正を実行する校正部(140)と、
を備える測距装置。
The distance measuring device includes a processor (102), is configured to be mounted on a moving object (A), and measures the distance to the reflection point by detecting the reflected light from the reflection point in response to the irradiation of scanning light. hand,
a determination unit (120) that determines whether an execution condition that allows the calibration to be executed is satisfied;
a calibration mode in which the resolution of the distance to the reflection point is higher when it is determined that the execution condition is met than in the normal ranging mode that is executed when it is determined that the execution condition is not met; a mode execution unit (130) that executes;
a calibration unit (140) that executes the calibration based on the distance measurement result in the calibration mode;
A distance measuring device equipped with.
JP2022005954A 2021-03-16 2022-01-18 Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device Active JP7396379B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/005112 WO2022196195A1 (en) 2021-03-16 2022-02-09 Ranging control device, ranging control method, ranging control program, and ranging device
CN202280021398.XA CN116997817A (en) 2021-03-16 2022-02-09 Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device
US18/455,733 US20230400561A1 (en) 2021-03-16 2023-08-25 Ranging controller, ranging control method, ranging device, and non-transitory computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021042724 2021-03-16
JP2021042724 2021-03-16

Publications (2)

Publication Number Publication Date
JP2022142738A JP2022142738A (en) 2022-09-30
JP7396379B2 true JP7396379B2 (en) 2023-12-12

Family

ID=83426582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022005954A Active JP7396379B2 (en) 2021-03-16 2022-01-18 Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device

Country Status (1)

Country Link
JP (1) JP7396379B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016516977A (en) 2013-02-21 2016-06-09 アイシス・イノベーション・リミテッドIsis Innovation Limited Generating a 3D model of the environment
US20180284245A1 (en) 2017-03-30 2018-10-04 Luminar Technologies, Inc. Lidar receiver calibration
JP2020515950A (en) 2017-03-31 2020-05-28 エイ・キューブド・バイ・エアバス・エル・エル・シー System and method for calibrating a vehicle sensor
WO2020203657A1 (en) 2019-04-04 2020-10-08 ソニー株式会社 Information processing device, information processing method, and information processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016516977A (en) 2013-02-21 2016-06-09 アイシス・イノベーション・リミテッドIsis Innovation Limited Generating a 3D model of the environment
US20180284245A1 (en) 2017-03-30 2018-10-04 Luminar Technologies, Inc. Lidar receiver calibration
JP2020515950A (en) 2017-03-31 2020-05-28 エイ・キューブド・バイ・エアバス・エル・エル・シー System and method for calibrating a vehicle sensor
WO2020203657A1 (en) 2019-04-04 2020-10-08 ソニー株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP2022142738A (en) 2022-09-30

Similar Documents

Publication Publication Date Title
JP4556742B2 (en) Vehicle direct image display control apparatus and vehicle direct image display control program
US11287879B2 (en) Display control device, display control method, and program for display based on travel conditions
US11982539B2 (en) Display system, display control device, and display control program product
EP3893194A1 (en) Information processing device, information processing method, program, mobile body control device, and mobile body
WO2019026715A1 (en) Control device, control method, program, and mobile unit
JP2020016541A (en) Display controller for vehicles, display control method for vehicles, and control program
US20190106020A1 (en) Method and apparatus for controlling a vehicle seat
CN113879307B (en) Lane change planning device, storage medium, and method
JP2007304033A (en) Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring
WO2020162109A1 (en) Display control device, display control program, and persistent physical computer-readable medium
CN111279689A (en) Display system, display method, and program
US11535243B2 (en) Remote parking system
US11710429B2 (en) Display control device and non-transitory computer readable storage medium for display control by head-up display
JP2010185761A (en) Navigation system, road map display method
WO2021014954A1 (en) Display control device and display control program
CN113646804A (en) Object detection device
JP2016162204A (en) Dirt determination device
CN112622877A (en) Vehicle control system
JP2021026710A (en) Posture discrimination system, posture discrimination method, learned model generation method, learned model generation program, learned model update method, and learned model update program
JP7396379B2 (en) Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device
JP7081098B2 (en) Driving environment recognition device, driving environment recognition method, program
WO2022196195A1 (en) Ranging control device, ranging control method, ranging control program, and ranging device
US20200133270A1 (en) Lidar device with cylindrical lens for autonomous driving vehicles
JP6967846B2 (en) Object detection method and object detection device
CN116997817A (en) Distance measurement control device, distance measurement control method, distance measurement control program, and distance measurement device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151