JP2024049788A - 測距カメラシステム、測距装置、及び測距カメラシステムの制御方法 - Google Patents

Abstract

【課題】その時々の状況に応じてより柔軟に測距精度の低下を校正可能とする。【解決手段】測距カメラシステム１は、撮像センサ１０２と、虚像を形成するための投影光を投影する光源１０６及び導光部材１０９と、当該投影光を撮像センサ１０２に向けて導光させるフロントウィンドシールド１１４とを有する。測距演算部１１７は、撮像センサ１０２による撮像結果に基づき被写体との間の距離を測定する。測距校正部１３２は、距離の測定結果を校正パラメータ値に基づき校正する。測距校正部１３２は、上記投影光がフロントウィンドシールド１１４により導光されることで、撮像センサ１０２の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される虚像の、当該撮像センサ１０２による撮像結果に基づき、当該撮像センサ１０２と当該虚像との間の虚像表示距離を算出し、基準表示距離と虚像表示距離とに基づき、校正パラメータ値を更新する。【選択図】図１

Description

本開示は、測距カメラシステム、測距装置、及び測距カメラシステムの制御方法に関する。

被写体までの距離の測定を行う装置として、三角測量の原理を利用した測距カメラシステムが知られている。このような測距カメラシステムは、例えば、車両に搭載されることで当該車両と周囲の障害物との間の距離の測定に用いられる等、多様な用途への利用が期待されている。測距カメラシステムの一例としては、ステレオカメラシステムや撮像位相差測距システムが挙げられる。

上記に例示したような測距カメラシステムにおける測距精度は、結像光学系と撮像センサとの間の光軸方向の位置ずれ等によって影響を受ける。また、ステレオカメラシステムの場合には、２台のカメラの間隔、当該２台のカメラの光軸方向の位置ずれ、及び当該２台のカメラそれぞれの光軸方向のずれ等も、測距精度に影響を及ぼす場合がある。このような状況を鑑み、特許文献１では、製品出荷前や定期点検時の契機において、測距の際に用いられる測距カメラシステムのパラメータ値を校正する方法が開示されている。

特許第４１０９０７７号公報

一方で、測距カメラシステムの適用対象によっては、使用に伴う種々の要因により当該測距カメラシステムの測距精度が低下するような状況も想定され得る。例えば、車両等の移動体に搭載された測距カメラシステムは、移動体の移動に伴う振動や衝撃、外気や日射等による温度変動、経時による変形等の要因により、測距精度が低下する場合がある。

本発明は上記の問題を鑑み、その時々の状況に応じてより柔軟に測距精度の低下を校正可能とすることを目的とする。

本発明に係る測距カメラシステムは、被写体を撮像する撮像部と、虚像を形成するための投影光を投影する投影部と、前記投影部から投影された投影光を前記撮像部に向けて導光させるスクリーン部と、前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定手段と、前記測定手段による前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正手段と、を有し、前記校正手段は、前記投影光が前記スクリーン部により導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新することを特徴とする。

本発明によれば、その時々の状況に応じてより柔軟に測距精度の低下を校正することが可能となる。

測距カメラシステムの構成の一例を示した概略的な断面図である。 測距カメラシステムの機能構成の一例を示したブロック図である。 虚像の表示パターンの一例を示した図である。 測距カメラシステムの処理の一例を示したフローチャートである。 測距カメラシステムによる測距結果の校正方法の一例を示した図である。 測距カメラシステムの構成の一例を示した概略的な断面図である。 測距カメラシステムによる測距結果の校正方法の一例を示した図である。 測距カメラシステムの構成の一例を示した概略的な断面図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜測距カメラシステムの構成例＞
本開示の一実施形態に係る測距カメラシステムの構成の一例について説明する。図１は、本実施形態に係る測距カメラシステムの概略的な構成の一例について示した図であり、被写体との距離の測定に利用される撮像装置の光軸を含む面で切断した場合の概略的な断面図である。
なお、本実施形態では、測距カメラシステムは車両として実現された移動体に配設され、当該移動体の周囲に位置する対象（例えば、障害物等のような、測距カメラシステムの被写体となる物体）との間の距離を測定するものとする。また、図１に示す例では、便宜上、図面の左方向及び右方向が測距カメラシステムの「前方」及び「後方」に対応し、図面の上方向及び下方向が測距カメラシステムの「上方」及び「下方」に対応しているものとする。なお、この場合における「前方」、「後方」、「上方」、及び「下方」とは、測距カメラシステムが配設された移動体から見た場合（すなわち、移動体を視点とした場合）における前方、後方、上方、及び下方に相当するものとする。

本実施形態に係る測距カメラシステム１は、光学系１０１と、撮像センサ１０２と、信号処理回路１０４と、メモリ１０５と、光源１０６と、導光部材１０９とを備える。また、測距カメラシステム１は、上記した一連の構成要素が収容される筐体１１２と、光学系１０１の前方（撮像センサ１０２の撮像方向）に位置するように配設されたフロントウィンドシールド１１４とを備える。図１に示す測距カメラシステム１は、例えば、車両等の移動体（不図示）に搭載され得る。この場合には、例えば、フロントウィンドシールド１１４は、当該移動体のフロントガラスとして構成され得る。

光学系１０１は、複数のレンズ（不図示）と、これらのレンズを保持する筒状の鏡筒（不図示）とを含み、外部光から光学的な被写体像（光学像）を、撮像センサ１０２の撮像面（受光面）（不図示）に形成する。光学系１０１は、光軸が略水平かつ上記移動体の前方に延伸するように配設される。

撮像センサ１０２は、それぞれが光電変換素子を有する複数の画素がマトリクス状に配設された受光面を有する所謂撮像素子により実現され、受光面に形成された光学像を電気信号に変換し、画像信号と像面位相差信号とを出力する。像面位相差信号とは、異なる位置に配設された２つの光電変換素子から得られる被写体までの距離を示す情報（以下、距離情報とも称する）を含む信号である。撮像センサ１０２の受光面は、光学系１０１の光軸に対して略垂直となるように、当該光学系１０１の後方における、当該光学系１０１により形成される被写体像が結像する位置に配設される。また、撮像センサ１０２は、ＰＣＢ（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ）として実現されるセンサ回路基板１０３上に実装される。
なお、撮像センサ１０２及び光学系１０１を含む構成要素（少なくとも撮像センサ１０２を含む構成要素）が「撮像部」の一例に相当する。

信号処理回路１０４は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＧａｔｅＡｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のような集積回路により実現され得る。信号処理回路１０４は、図２を参照して詳細を後述する画像処理部１１６、測距演算部１１７、出力部１１８、虚像輝度算出部１２１、及び測距校正パラメータ値算出部１２３と、これらの構成要素の制御を行う制御部１３４とを含む。

メモリ１０５は、フラッシュＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒy）のような不揮発性で書き換え可能な半導体メモリにより実現される。メモリ１０５は、図２を参照して詳細を後述する測距パラメータ値記憶部１１９、測距校正パラメータ値記憶部１２０、及び基準表示距離値記憶部１２４として機能する。

光源１０６は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等のような発光素子により実現される。光源１０６は、電源供給回路により実現される光源駆動部１２２から供給される所定の電圧及び電流により駆動する。光源１０６から射出された光は、導光部材１０９内に入射し、詳細を後述する光入射側拡散部１１０を照明する。なお、本実施形態では、光源１０６からは白色光が射出されるものとする。

信号処理回路１０４、メモリ１０５、光源１０６、及び光源駆動部１２２は、ＰＣＢにより実現されるメイン回路基板１０７上に実装される。センサ回路基板１０３とメイン回路基板１０７とは、ＦＰＣ（Ｆｌｅｘｉｂｌｅ ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔｓ）等により実現される接続ケーブル１０８によって電気的に接続される。

導光部材１０９は、ポリカーボネート樹脂等のような透明な材質により形成された多面体であり、後述する表示パターンが形成された光拡散反射面である光入射側拡散部１１０と、アルミ蒸着膜等により形成された光反射面である光射出側反射部１１１とを有する。導光部材１０９は、光源１０６の近傍、かつ当該光源１０６から射出される白色光が入射する位置に配設される。光源１０６から射出された白色光は、導光部材１０９に入射した後に、光入射側拡散部１１０により拡散反射されて光射出側反射部１１１に向かって導かれ、さらに光射出側反射部１１１によって反射されてフロントウィンドシールド１１４に向かって導かれる。導光部材１０９は、光学系１０１の光軸から所定の方向に離間した位置に配設される。例えば、図１に示す例では、導光部材１０９は、光学系１０１の光軸に対して下方側に離間した位置に配設されている。また、この際に、光射出側反射部１１１は、光学系１０１に対して前方側（測距カメラの撮像方向側）に位置するように配設される。

筐体１１２は、アルミニウム合金等の金属や、ＡＢＳ等の樹脂のような不透明な材質で形成され、図１に示すように、光学系１０１、センサ回路基板１０３、メイン回路基板１０７、及び導光部材１０９等の構成部材を収容する。筐体１１２には、光射出側反射部１１１から射出された光がフロントウィンドシールド１１４に到達せしめるように、筐体開口部１１３が設けられている。

フロントウィンドシールド１１４は、図示しない車両の運転席の前方に設けられる透明な部材により形成された風防ガラスとして実現され、例えば、２枚の強化ガラスで透明樹脂フィルムを挟み貼り合わせた３層構造の合わせガラスとして形成され得る。フロントウィンドシールド１１４は、光学系１０１の前方側（撮像センサ１０２の撮像方向側）に位置し、かつ前方に向けて下方側に傾斜するように配設される。光射出側反射部１１１によってフロントウィンドシールド１１４に向けて導かれた白色光は、フロントウィンドシールド１１４の光学系１０１に面する側の面によって反射され、光学系１０１に入射する。このように、光射出側反射部１１１から射出された白色光は、フロントウィンドシールド１１４により導光されることで、光学系１０１に入射することとなる。虚像１１５は、この光学系１０１に導かれた白色光が形成する見かけ上の像である虚像を示している。また、フロントウィンドシールド１１４の前方からの光（例えば、被写体像）は、当該フロントウィンドシールド１１４を透過して光学系１０１に入射する。
なお、光源１０６及び導光部材１０９が、虚像を形成するための投影光を投影する「投影部」の一例に相当する。また、フロントウィンドシールド１１４が、「スクリーン部」の一例に相当する。

光源１０６から射出された光により光入射側拡散部１１０が照明されることで、光入射側拡散部１１０にて照明された別途後述する表示パターンの像は、自由曲面からなる凹面鏡として実現された光射出側反射部１１１により光路が制御される。これにより、当該表示パターンの像は、図１において実線で示された光路を介して光学系１０１に入射する。この際に、光があたかも図１において破線で示された光路を介して導かれたように光学系１０１に入射することで、当該光学系１０１の前方に虚像１１５（すなわち、上記表示パターンに応じた虚像）が形成される。

虚像１１５は、光学系１０１の前方における当該光学系１０１から所定の距離Ｒの位置に、当該光学系１０１の光軸に対して略垂直な面となるように形成される。所定の距離Ｒは、後述する基準表示距離値記憶部１２４に記憶された基準表示距離値に等しい値である。すなわち、虚像１１５が形成される位置は事前に調整されるため、所定の距離Ｒの値（換言すると、基準表示距離値）については既知の値となる。

ここで、図３を参照して、虚像１１５の表示パターンの一例について説明する。虚像１１５の表示パターンは、表示輝度がより高い高輝度部と、高輝度部に比べて表示輝度がより低い低輝度部との組み合わせよって形成される。これにより、虚像１１５の表示パターンは、特徴点（例えば、高輝度部と低輝度部との境界となるエッジ等）を有することとなる。具体的な一例として、図３（ａ）、図３（ｂ）、及び図３（ｃ）として例示するように、縦縞状、横縞状、及び格子状のいずれかとなるように、高輝度部と低輝度部とが配置されることで、表示パターンが形成される。これらの表示パターンは、光入射側拡散部１１０に形成することが可能である。なお、図３に示す表示パターンはあくまで一例であり、高輝度部と低輝度部との組み合わせよって特徴点を形成することが可能であれば、上記表示パターンとして適用されるパターンは図３に示す例には限定されない。

次いで、図２を参照して、本実施形態に係る測距カメラシステム１の機能構成の一例について説明する。なお、図２では、図１と同様の構成要素に対して、図１と同様の符号を付すものとする。

本実施形態に係る測距カメラシステムは、測距カメラ部１３１と、測距校正部１３２と、画像投影装置部１３３と、制御部１３４とを含む。測距カメラ部１３１は、光学系１０１と、撮像センサ１０２と、画像処理部１１６と、測距演算部１１７と、出力部１１８と、測距パラメータ値記憶部１１９と、測距校正パラメータ値記憶部１２０とを含む。測距校正部１３２は、測距校正パラメータ値算出部１２３と、基準表示距離値記憶部１２４とを含む。画像投影装置部１３３は、光源１０６と、導光部材１０９と、フロントウィンドシールド１１４と、虚像輝度算出部１２１と、光源駆動部１２２とを含む。なお、測距カメラ部１３１及び測距校正部１３２に相当する構成要素を含む装置が、「測距装置」の一例に相当する。

校正処理前の状態では、撮像センサ１０２は、被写体の撮像を行う。具体的には、撮像センサ１０２は、光学系１０１を介して車両の周囲からの光（換言すると、被写体像）を受光し、当該光を電気信号に光電変換したうえで、当該電気信号（以下、画像信号とも称する）を後述する画像処理部１１６及び測距演算部１１７に出力する。

画像処理部１１６は、入力された画像信号に対して歪み補正、輝度補正、及び色調補正等の画像処理を施したうえで、所定のフォーマットの画像データを生成する。そのうえで、画像処理部１１６は、生成した画像データを後述する出力部１１８に出力する。また、画像処理部１１６は、入力された画像信号をもとに、測距カメラシステム１が搭載された車両の周囲の輝度の値（以下、車両周囲輝度値とも称する）を算出する。そのうえで、画像処理部１１６は、算出した車両周囲輝度値を出力部１１８に出力する。

測距演算部１１７は、像面位相差信号と、後述する測距パラメータ値記憶部１１９に記憶された測距パラメータ値と、後述する測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値とに基づき、車両の周囲の被写体までの距離値を算出する。そのうえで、測距演算部１１７は、算出した距離値を含むデータ（以下、測距データとも称する）を後述する出力部１１８に出力する。

出力部１１８は、画像データや測距データを、測距カメラシステム１が搭載された車両の制御を行う不図示のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等のような所定の出力先に出力する。

測距パラメータ値記憶部１１９は、測距パラメータ値を記憶する記憶領域を模式的に示している。測距パラメータ値記憶部１１９に記憶された測距パラメータ値は、測距演算部１１７により読み出される。測距パラメータ値は、撮像センサ１０２による撮像結果により得られる像面位相差信号から被写体との距離を示す情報（以下、距離情報とも称する）を得るために使用されるパラメータ値である。測距パラメータ値は、例えば、測距カメラシステム１の製品出荷前や調整工程等の契機において設定が行われ、当該設定結果に応じて測距パラメータ値記憶部１１９に書き込まれる。これにより、測距パラメータ値が測距パラメータ値記憶部１１９に記憶される。

測距校正パラメータ値記憶部１２０は、測距校正パラメータ値を記憶する記憶領域を模式的に示している。測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値は、測距演算部１１７により読み出される。測距校正パラメータ値は、上述した距離情報の校正に利用されるパラメータ値である。測距校正パラメータ値は、例えば、測距カメラシステム１の製品出荷前や調整工程等の契機において設定が行われ、当該設定結果に応じて測距校正パラメータ値記憶部１２０に書き込まれる。これにより、測距校正パラメータ値が測距校正パラメータ値記憶部１２０に記憶される。また、測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値は、後述する測距校正パラメータ値算出部１２３により算出された測距校正パラメータ値により更新され得る。

虚像輝度算出部１２１は、出力部１１８を介して出力される車両周囲輝度値をもとに、虚像１１５の撮像が行われた場合に、当該虚像１１５が鮮明に撮像されるために要する輝度値（以下、必要虚像輝度値とも称する）を算出する。具体的な一例として、虚像輝度算出部１２１は、出力部１１８を介して出力される車両周囲輝度値よりも、虚像１１５の輝度値がより高くなるように、必要虚像輝度値を算出してもよい。そのうえで、虚像輝度算出部１２１は、算出した必要虚像輝度値を光源駆動部１２２に出力する。
光源駆動部１２２は、虚像輝度算出部１２１から出力される必要虚像輝度値に基づき、光源１０６を駆動するための電流及び電圧を決定し、当該電流及び電圧に基づき光源１０６を駆動させる。これにより、点灯した光源１０６から射出される白色光により形成される虚像１１５の輝度値が、必要虚像輝度値（例えば、車両周囲輝度値よりも高い輝度値）となるように制御される。

測距校正パラメータ値算出部１２３は、後述する基準表示距離値記憶部１２４に記憶された基準表示距離値と、測距演算部１１７により算出された被写体までの距離値とを比較し、当該比較結果に基づき測距校正パラメータ値を算出する。そのうえで、測距校正パラメータ値算出部１２３は、算出された測距校正パラメータ値を、測距校正パラメータ値記憶部１２０に出力する。これにより、測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値が、測距校正パラメータ値算出部１２３により算出された測距校正パラメータ値に更新される。
基準表示距離値記憶部１２４は、基準表示距離値を記憶する記憶領域を模式的に示している。基準表示距離値記憶部１２４に記憶された基準表示距離値は、測距校正パラメータ値算出部１２３により読み出される。基準表示距離値は、虚像１１５が形成される所定の距離Ｒと等しい値である。基準表示距離値は、例えば、測距カメラシステム１の製品出荷前や調整工程等の契機において設定が行われ、当該設定結果に応じて基準表示距離値記憶部１２４に書き込まれる。これにより、基準表示距離値が基準表示距離値記憶部１２４に記憶される。

制御部１３４は、撮像センサ１０２による撮像、画像処理部１１６による画像データの生成、メモリ１０５からの各種情報の読み出し、出力部１１８からの各種データの出力等のような、測距カメラシステム１の各部の動作の制御を行う。

＜測距カメラシステムの処理＞
図４を参照して、本実施形態に係る測距カメラシステムの処理の一例について、特に算出された被写体までの距離値の校正に係る処理に着目して説明する。図４に示す一連の処理は、例えば、ユーザからの指示等に応じて開始される。また、図４に示す一連の処理は、例えば、測距カメラシステム１による被写体との距離の測定のために、測距カメラ部により当該被写体の撮像が行われる契機とは異なる他の契機において実行される。

Ｓ１において、撮像センサ１０２は、撮像を行う。具体的には、撮像センサ１０２は、光学系１０１を介して車両の周囲の光を受光し、当該光を電気的な画像信号に光電変換したうえで、当該画像信号を画像処理部１１６及び測距演算部１１７に出力する。
Ｓ２において、画像処理部１１６は、Ｓ１にて撮像センサ１０２から出力された画像信号をもとに、測距カメラシステム１を搭載した車両の周囲の輝度の値である車両周囲輝度値を算出し、当該車両周囲輝度値を出力部１１８に出力する。出力部１１８は、画像処理部１１６から出力された車両周囲輝度値を、虚像輝度算出部１２１に出力する。

Ｓ３において、虚像輝度算出部１２１は、Ｓ２にて出力部１１８から出力された車両周囲輝度値をもとに、虚像１１５の撮像が行われた場合に、当該虚像１１５が鮮明に撮像されるための必要虚像輝度値（例えば、車両周囲輝度値よりも高い輝度値）を算出する。そのうえで、虚像輝度算出部１２１は、算出した必要虚像輝度値を光源駆動部１２２に出力する。
Ｓ４において、光源駆動部１２２は、Ｓ３にて虚像輝度算出部１２１から出力された必要虚像輝度値をもとに、光源１０６を駆動するための電流及び電圧を決定し、当該電流及び電圧に基づき光源１０６を駆動させる。これにより、点灯した光源１０６から射出される白色光により形成される虚像１１５の輝度値が、必要虚像輝度値となるように制御される。

Ｓ５において、撮像センサ１０２は、Ｓ４にて光学系１０１の前方に形成された虚像１１５の撮像を行い、撮像結果に応じた画像信号を画像処理部１１６及び測距演算部１１７に出力する。
Ｓ６において、光源駆動部１２２は、光源１０６の駆動を停止する。これにより、虚像１１５の出力が停止される。
Ｓ７において、測距演算部１１７は、測距パラメータ値記憶部１１９に記憶された測距パラメータ値と、測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値とのそれぞれを読み出す。測距演算部１１７は、Ｓ５にて撮像センサ１０２から出力された画像信号と、読み出した測距パラメータ値及び測距校正パラメータ値とに基づき、虚像１１５との距離（以下、表示距離とも称する）を算出する。測距演算部１１７は、算出した虚像の表示距離の値（以下、虚像表示距離値とも称する）を測距校正パラメータ値算出部１２３に出力する。

Ｓ８において、測距校正パラメータ値算出部１２３は、基準表示距離値記憶部１２４に記憶された基準表示距離値を読み出す。測距校正パラメータ値算出部１２３は、Ｓ７にて測距演算部１１７から出力された虚像表示距離値と、読み出した基準表示距離値とを比較して測距校正パラメータ値を算出する。
Ｓ９において、測距校正パラメータ値算出部１２３は、Ｓ８にて算出した測距校正パラメータ値を測距校正パラメータ値算出部１２３に出力する。これにより、測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値が、Ｓ８にて算出された測距校正パラメータ値に更新される。

ここで、図５を参照して、測距カメラシステム１による測距結果の校正方法の一例について説明する。図５に示すグラフにおいては、横軸が光学系１０１から被写体までの真の距離（以下、正解距離とも称する）を示しており、縦軸が測距カメラシステム１により測定された被写体との距離（以下、測定距離とも称する）を示している。また、Ｔ１、Ｔ２、及びＲのそれぞれは、互いに異なる距離に対応するサンプルを示している。具体的には、Ｒは、前述の通り基準表示距離に対応している。また、Ｔ１及びＴ２のそれぞれは、基準表示距離とは異なる他の距離のサンプルに対応している。

実線で示したグラフ１２５は、正しく校正が行われた状態での測距カメラシステム１による測距結果の一例を示している。すなわち、グラフ１２５により示される状態においては、正解距離と測定距離とが一致することとなる。そのため、図５に示す例では、正解距離がＴ１、Ｔ２、及びＲいずれの場合においても、測定距離が当該正解距離と一致することとなる。
サンプル１２６は、測距精度が低下した状態の測距カメラシステム１による測距結果の校正を行う際における、図４のＳ７の処理にて算出された虚像表示距離値をプロットした結果の一例を示している。すなわち、図５に示す例では、虚像１１５については基準表示距離Ｒに対応する位置に形成されるため正解距離がＲとなるのに対して、測定距離が正解距離であるＲとは異なる距離ｒとなっている。
破線で示したグラフ１２７は、測距精度が低下した状態の測距カメラシステム１による測距結果の推定結果の一例を模式的に示している。グラフ１２７は、グラフ１２５と傾きが等しく、かつサンプル１２６を通る線分で表されている。すなわち、図５に示す例では、測距精度が低下した状態の測距カメラシステム１による測距結果は、正解距離からｒ－Ｒ分のずれが生じた値となっている。

グラフ１２７にて示された測定距離を、グラフ１２５にて示された正解距離に一致させるためには、当該測定距離からｒ－Ｒで示される値（すなわち、グラフ１２５とグラフ１２７とのずれ）を減ずる補正を適用すればよい。つまり、図４のＳ８及びＳ９の処理にて測距校正パラメータ値としてｒ－Ｒで示される値が算出され、当該値により測距校正パラメータ値記憶部１２０に記憶された測距校正パラメータ値の更新がなされる。そのうえで、測距演算部１１７にて車両の周囲に位置する障害物等までの距離の算出が行われる際に、測定距離から更新後の測距校正パラメータ値を減ずる処理が行われることで、当該測定距離の校正がなされることとなる。

なお、車両の走行に伴う振動及び衝撃、外気や日射による温度変動、経時による導光部材１０９の変形等により、虚像１１５が形成される位置が所定の距離Ｒに対応する位置から変動する可能性がある。本実施形態においては、上述した校正処理により測距精度の低下の抑制を効果的に行うために、虚像１１５が形成される位置の変動量が、光学系１０１及び撮像センサ１０２の位置変動等に伴う測距精度の低下量よりも小さく設定されていることが望ましい。具体的には、前述したように、虚像１１５を形成するための導光部材１０９に対して光入射側拡散部１１０及び光射出側反射部１１１を一体的に形成するとともに、導光部材１０９を耐熱変形しにくい材質で形成することで、上記条件を満たしている。

以上のように、本実施形態に係る測距カメラシステムに依れば、製品出荷前や定期点検時等の契機に限らず、その時々の状況に応じてより柔軟に測距カメラシステムの測距精度の低下を校正することが可能となる。そのため、例えば、振動や衝撃、外気や日射当による温度変動、経時による変形等の外的要因により測距精度が低下し得るような状況下においても、定期点検等の契機を待たずに、その時々の状況に応じて測距精度の低下を校正することが可能となる。

＜変形例＞
本実施形態に係る測距カメラシステムの変形例について説明する。なお、本変形例では、前述した実施形態と特に異なる部分に着目して説明を行い、当該実施形態と実質的に同様の部分については詳細な説明は省略する。

図６は、本変形例に係る測距カメラシステム２の概略的な構成の一例について示した図であり、被写体との距離の測定に利用される撮像装置の光軸を含む面で切断した場合の概略的な断面図である。図６に示す測距カメラシステム２は、導光部材２０９、光入射側拡散部２１０、及び光射出側反射部２１１の構成が、図１に示す測距カメラシステム１における導光部材１０９、光入射側拡散部１１０、及び光射出側反射部１１１の構成と異なる。

導光部材２０９は、ポリカーボネート樹脂等のような透明な材質により形成された多面体であり、後述する表示パターンが形成された光拡散反射面である光入射側拡散部２１０と、アルミ蒸着膜等により形成された光反射面である光射出側反射部２１１とを有する。

光源１０６から射出された光により光入射側拡散部２１０が照明されることで、光入射側拡散部２１０にて照明された表示パターンの像は、自由曲面からなる２つの凹面鏡として実現された光射出側反射部２１１により光路が制御される。これにより、当該表示パターンの像は、図６において実線で示された光路を介して光学系１０１に入射する。この際に、光があたかも図６において破線で示された光路を介して導かれたように光学系１０１に入射することで、当該光学系１０１の前方に虚像２１５及び２１６が形成される。

虚像２１５及び２１６は、光学系１０１の前方における当該光学系１０１から所定の距離Ｒ１及びＲ２の位置に、当該光学系１０１の光軸に対して略垂直な面となるようにそれぞれ形成される。図６に示す例では、虚像２１５は、虚像２１６よりも下方に位置し、かつ当該虚像２１６よりも光学系１０１により近い位置に形成される。所定の距離Ｒ１及びＲ２は、基準表示距離値記憶部１２４に記憶された基準表示距離値に等しい値である。なお、本変形例では、基準表示距離値記憶部１２４には虚像２１５及び２１６それぞれに対応する基準表示距離値（すなわち、所定の距離Ｒ１及びＲ２に対応する基準表示距離値）が記憶されている。

ここで、図７を参照して、本変形例に係る測距カメラシステム２による測距結果の校正方法の一例について説明する。図７に示すグラフにおける横軸及び縦軸については、図５に示す例と同様である。また、実線で示したグラフ１２５は、図５に示す例におけるグラフ１２５と同様である。

サンプル２２６及び２２７は、測距精度が低下した状態の測距カメラシステム１による測距結果の校正を行う際における、図４のＳ７相当の処理にて算出される、虚像２１５及び２１６それぞれに対応する虚像表示距離値をプロットした結果の一例を示している。具体的には、虚像２１５については、基準表示距離値Ｒ１に対応する位置に形成されるため、正解距離がＲ１となるのに対して、測距距離が正解距離であるＲ１とは異なる距離ｒ１となっている。同様に、虚像２１６については、基準表示距離値Ｒ２に対応する位置に形成されるため、正解距離がＲ２となるのに対して、測距距離が正解距離であるＲ２とは異なる距離ｒ２となっている。
破線で示したグラフ２２８は、測距精度が低下した状態の測距カメラシステム２による測距結果の推定結果の一例を模式的に示している。グラフ２２８は、サンプル２２６及び２２７を通る線分で表されている。具体的には、図７に示す例では、測距精度が低下した状態の測距カメラシステム２による測距結果は、正解距離Ｒ１の位置においては当該正解距離からｒ１－Ｒ１分のずれが生じた値となっている。また、測距精度が低下した状態の測距カメラシステム２による測距結果は、正解距離Ｒ２の位置においては当該正解距離からｒ２－Ｒ２分のずれが生じた値となっている。すなわち、グラフ２２８は、グラフ１２５に比べて、傾きに（ｒ２－ｒ１）／（Ｒ２－Ｒ１）分のずれが生じた状態となっている。

グラフ２２８にて示された測定距離を、グラフ１２５にて示された正解距離に一致させるためには、これらのグラフ間の差を測定距離の関数またはテーブル値として算出したうえで、測定距離の値に応じて当該測定距離の値から算出値を減じる補正を適用すればよい。

上述したように、複数の虚像を表示距離が互いに異なる位置に形成したうえで、当該複数の虚像それぞれについての測距結果を利用して測距カメラシステム２による測距結果の校正が行われることで、より高い精度で測距結果の校正を行うことが可能となる。
また、車両に搭載された測距カメラシステムと車両の周囲の障害物との距離は、測距カメラシステムの撮像画角内の下方側ほど測距カメラ部により近い位置となる。したがって、撮像画角内のより下方側（車両から見た場合の下方側）に形成される虚像の基準表示距離がより小さい値となるように設定したうえで、測距カメラシステムの校正が行われることで、より精度の高い測距を実現することが可能となる。

なお、図６に示す構成はあくまで一例であり、本変形例に係る測距カメラシステムの構成を限定するものではない。例えば、図８は、本変形例に係る測距カメラシステムの構成の他の一例を示した図である。図８に示す測距カメラシステム２は、導光部材３０９、光入射側拡散部３１０、及び光射出側反射部３１１の構成が、図７に示す測距カメラシステム２における導光部材２０９、光入射側拡散部２１０、及び光射出側反射部２１１の構成と異なる。具体的には、図８に示す測距カメラシステム３では、撮像範囲内のより下方側（車両から見て下方側）の位置ほど測距カメラ部との間の距離がより短くなるように傾斜させた虚像３１５（換言すると、光軸に対して所定の傾きを有する面状の虚像）が形成される。すなわち、図８に示す例では、下方側ほど測距カメラ部との距離がより短くなるように傾斜させた虚像３１５を形成するために、光入射側拡散部３１０及び光射出側反射部３１１が自由曲面からなる曲面鏡として実現されることとなる。そのうえで、画角内に形成された虚像３１５の複数のポイントを対象として測距を行い、当該測距結果を利用して測距カメラシステム３による測距結果の校正が行われることで、より精度の高い校正を行うことが可能となる。

なお、測距カメラ部の光軸に対して虚像３１５を傾斜させる方向については、測距カメラシステム３の適用対象や、測距カメラ部の設置条件等の種々の条件に応じて適宜変更されてもよい。
具体的な一例として、図８に示す例では、測距カメラ部の上下方向と、測距カメラシステム３が搭載された車両の上下方向とが一致するような状況を想定している。一方で、測距カメラ部の上下方向が、測距カメラシステム３が搭載された車両の上下方向と反転するように、測距カメラ部が設置されるような状況も想定され得る。このような場合には、測距カメラ部から見た場合の上方側が、車両の下方側に対応することとなる。そのため、この場合には、測距カメラ部から見た場合に、撮像範囲内のより上方側（すなわち、車両から見た場合の下方側）の位置ほど測距カメラ部との間の距離がより短くなるように傾斜させた虚像３１５が形成されるとよい。
このように、測距カメラ部の画角に対応する撮像範囲内においてより所定の方向側（例えば、車両から見た下方側）に偏った位置ほど測距カメラ部との距離がより短くなるように虚像３１５が形成されれば、当該虚像３１５を傾斜せる方向は適宜変更されてもよい。これは、図６に示す例における虚像２１５及び２１６それぞれの測距カメラ部との距離の関係、すなわち、虚像２１５及び２１６のいずれが測距カメラ部により近くに位置するかの関係についても同様である。
また、図８に示す例の場合には、基準表示距離については、面状に形成される虚像３１５の所定の一部（以下、基準点とも称する）と測距カメラ部との間の距離に応じて設定されてもよい。これにより、虚像３１５のうち基準点とは異なる部分と測距カメラ部との間の距離については、例えば、当該基準点に対応する基準表示距離と、光軸に対する虚像３１５の傾きの大きさとに基づき算出することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上記では主に測距カメラシステムが車両等の移動体に配設される場合の一例について説明したが、本実施形態に係る測距カメラシステムの適用対象を限定するものではない。すなわち、周囲の対象との距離を測定する測距システムが適用され得る状況下であれば、当該測距システムとして、本実施形態に係る測距カメラシステムを適用することが可能である。
また、本実施形態に係る測距カメラシステムの基本的な技術思想を逸脱しない範囲で種々の変更が施されてもよい。
例えば、上述した実施形態では、光射出側反射部１１１から射出された投影光（白色光）をフロントウィンドシールド１１４で反射させることで、当該投影光を光学系１０１（ひいては、撮像センサ１０２）に導光させていた。一方で、本実施形態に係る測距カメラシステムの適用対象によっては、光射出側反射部１１１から射出された投影光を光学系１０１に導光させるための構成やその方法が適宜変更されてもよい。また、投影光を光学系１０１に導光させる方法に応じて、当該投影光を光学系１０１に導光させるためのフロントウィンドシールド１１４に相当する構成（スクリーン部として適用される構成）の設置位置が変更されてもよい。
また、上述した実施形態に係る測距カメラシステムでは、虚像３１５を形成するための投影光として白色光が適用されているが、測距に係る構成や方法に応じて、白色光とは異なる他の光が投影光として適用されてもよい。具体的な一例として、測距に赤外光が利用されている場合には、虚像３１５を形成するための投影光として赤外光が適用されてもよい。

また、本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
（システム１）被写体を撮像する撮像部と、虚像を形成するための投影光を投影する投影部と、前記投影部から投影された投影光を前記撮像部に向けて導光させるスクリーン部と、前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定手段と、前記測定手段による前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正手段と、を有し、前記校正手段は、前記投影光が前記スクリーン部により導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新することを特徴とする、測距カメラシステム。
（システム２）前記虚像は、前記撮像部の光軸に対して略垂直な面状に、少なくとも１つ形成されることを特徴とする、システム１に記載の測距カメラシステム。
（システム３）前記虚像は、前記撮像部の画角に対応する撮像範囲内においてより所定の方向側に偏った位置ほど、当該撮像部と当該虚像との間の距離がより短くなるように、当該撮像部の光軸に対して傾斜した面状に、少なくとも１つ形成されることを特徴とする、システム１に記載の測距カメラシステム。
（システム４）前記虚像として、複数の虚像が形成され、前記複数の虚像のそれぞれは、前記撮像部の画角に対応する撮像範囲内においてより所定の方向側に偏った位置に形成される虚像ほど、前記基準表示距離がより短くなるように、互いに異なる位置に形成される
ことを特徴とする、システム１乃至３のいずれか１項に記載の測距カメラシステム。
（システム５）前記投影光は、前記撮像部による周囲の領域の撮像結果に基づき、前記虚像の少なくとも一部の表示輝度が当該周囲の領域の輝度よりも高い輝度となるように制御されることを特徴とする、システム１乃至４のいずれか１項に記載の測距カメラシステム。
（システム６）前記虚像は、表示輝度が互いに異なる領域が設けられた表示パターンとして形成されることを特徴とする、システム１乃至５のいずれか１項に記載の測距カメラシステム。
（システム７）前記撮像部による前記虚像の撮像は、被写体との間の距離を測定するための当該被写体の撮像が行われる契機とは異なる他の契機において行われることを特徴とする、システム１乃至６のいずれか１項に記載の測距カメラシステム。
（システム８）前記投影部は、光源と、光源からの光を前記スクリーン部に向けて射出させる反射面と、を少なくとも有し、前記反射面は、前記撮像部の光軸から所定の方向に離間しており、かつ前記撮像部に対して撮像方向側に位置するように配設されることを特徴とする、システム１乃至７のいずれか１項に記載の測距カメラシステム。
（システム９）前記スクリーン部は、透明部材により形成されており、かつ前記撮像部に撮像方向側に配設され、前記スクリーン部を透過した被写体像が前記撮像部により撮像されることを特徴とするシステム１乃至８のいずれか１項に記載の測距カメラシステム。
（システム１０）前記測距カメラシステムは、移動体に設けられることで、前記測定手段が当該移動体と前記被写体との間の距離を測定するように構成され、前記スクリーン部は、前記移動体のフロントウィンドシールドとして形成されることを特徴とする、システム１乃至９のいずれか１項に記載の測距カメラシステム。
（構成１）被写体を撮像する撮像部と、前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定手段と、前記測定手段による前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正手段と、を有し、前記校正手段は、所定の投影部により投影された虚像を形成するための投影光が所定のスクリーン部により前記撮像部に向けて導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新することを特徴とする、測距装置。
（方法１）被写体を撮像する撮像部と、虚像を形成するための投影光を投影する投影部と、前記投影部から投影された投影光を前記撮像部に向けて導光させるスクリーン部と、を有する測距カメラシステムの制御方法であって、前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定ステップと、前記測定ステップにおける前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正ステップと、を含み、前記校正ステップは、前記投影光が前記スクリーン部により導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新することを特徴とする、測距カメラシステムの制御方法。

１ 測距カメラシステム
１０１ 光学系
１０２ 撮像センサ
１０６ 光源
１０９ 導光部材
１１４ フロントウィンドシールド
１１７ 測距演算部
１３２ 測距校正部

Claims (12)

1. 被写体を撮像する撮像部と、
   虚像を形成するための投影光を投影する投影部と、
   前記投影部から投影された投影光を前記撮像部に向けて導光させるスクリーン部と、
   前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定手段と、
   前記測定手段による前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正手段と、
   を有し、
   前記校正手段は、前記投影光が前記スクリーン部により導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新する
   ことを特徴とする、測距カメラシステム。
2. 前記虚像は、前記撮像部の光軸に対して略垂直な面状に、少なくとも１つ形成されることを特徴とする、請求項１に記載の測距カメラシステム。
3. 前記虚像は、前記撮像部の画角に対応する撮像範囲内においてより所定の方向側に偏った位置ほど、当該撮像部と当該虚像との間の距離がより短くなるように、当該撮像部の光軸に対して傾斜した面状に、少なくとも１つ形成されることを特徴とする、請求項１に記載の測距カメラシステム。
4. 前記虚像として、複数の虚像が形成され、
   前記複数の虚像のそれぞれは、前記撮像部の画角に対応する撮像範囲内においてより所定の方向側に偏った位置に形成される虚像ほど、前記基準表示距離がより短くなるように、互いに異なる位置に形成される
   ことを特徴とする、請求項１に記載の測距カメラシステム。
5. 前記投影光は、前記撮像部による周囲の領域の撮像結果に基づき、前記虚像の少なくとも一部の表示輝度が当該周囲の領域の輝度よりも高い輝度となるように制御されることを特徴とする、請求項１に記載の測距カメラシステム。
6. 前記虚像は、表示輝度が互いに異なる領域が設けられた表示パターンとして形成されることを特徴とする、請求項１に記載の測距カメラシステム。
7. 前記撮像部による前記虚像の撮像は、被写体との間の距離を測定するための当該被写体の撮像が行われる契機とは異なる他の契機において行われることを特徴とする、請求項１に記載の測距カメラシステム。
8. 前記投影部は、光源と、光源からの光を前記スクリーン部に向けて射出させる反射面と、を少なくとも有し、
   前記反射面は、前記撮像部の光軸から所定の方向に離間しており、かつ前記撮像部に対して撮像方向側に位置するように配設される
   ことを特徴とする、請求項１に記載の測距カメラシステム。
9. 前記スクリーン部は、透明部材により形成されており、かつ前記撮像部に撮像方向側に配設され、
   前記スクリーン部を透過した被写体像が前記撮像部により撮像される
   ことを特徴とする請求項１乃至８のいずれか１項に記載の測距カメラシステム。
10. 前記測距カメラシステムは、移動体に設けられることで、前記測定手段が当該移動体と前記被写体との間の距離を測定するように構成され、
    前記スクリーン部は、前記移動体のフロントウィンドシールドとして形成される
    ことを特徴とする、請求項１に記載の測距カメラシステム。
11. 被写体を撮像する撮像部と、
    前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定手段と、
    前記測定手段による前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正手段と、
    を有し、
    前記校正手段は、所定の投影部により投影された虚像を形成するための投影光が所定のスクリーン部により前記撮像部に向けて導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新する
    ことを特徴とする、測距装置。
12. 被写体を撮像する撮像部と、虚像を形成するための投影光を投影する投影部と、前記投影部から投影された投影光を前記撮像部に向けて導光させるスクリーン部と、を有する測距カメラシステムの制御方法であって、
    前記撮像部による撮像結果に基づき前記被写体との間の距離を測定する測定ステップと、
    前記測定ステップにおける前記被写体との距離の測定結果を、校正パラメータ値に基づき校正する校正ステップと、
    を含み、
    前記校正ステップは、前記投影光が前記スクリーン部により導光されることで、前記撮像部の画角内における、あらかじめ設定された基準表示距離に対応する位置に形成される前記虚像の、前記撮像部による撮像結果に基づき、当該撮像部と当該虚像との間の虚像表示距離を算出し、前記基準表示距離と前記虚像表示距離とに基づき、前記校正パラメータ値を更新する
    ことを特徴とする、測距カメラシステムの制御方法。

Images