JP7109676B2

JP7109676B2 - パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法

Info

Publication number: JP7109676B2
Application number: JP2021537890A
Authority: JP
Inventors: ヒョンソンソン
Original assignee: ミーレカンパニーインコーポレイテッド
Priority date: 2018-12-26
Filing date: 2019-12-06
Publication date: 2022-07-29
Anticipated expiration: 2039-12-06
Also published as: US20220075039A1; KR102196035B1; CN113227828A; KR20200079743A; CN113227828B; DE112019006405T5; WO2020138754A1; JP2022517737A

Description

本発明は、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法に関する。より具体的には、本発明は、三次元距離測定カメラの非線形距離誤差補正を、固定された位置でパルス位相シフト方式を通じて行うことにより、三次元距離測定カメラの非線形距離誤差を補正する過程で発生する空間制約性を克服し、距離誤差補正のために要求される設備コストを低減し、距離誤差補正時間を短縮させることができる技術に関する。

一般的に、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）カメラ等のような三次元距離測定カメラが知られている。

図１は、従来のＴＯＦカメラの距離測定原理を示す図面であり、図２は、従来のＴＯＦカメラの距離測定において、距離による位相遅延を示す図面である。

図１及び図２を参照すると、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）カメラ等のような三次元距離測定カメラは、被写体に光を照射し、反射されて戻ってきた光を、正弦波位相を利用した数式により演算し、距離情報に換算する。

このような演算過程で、完璧な正弦波ではなく、ハードウェア特性などによる不完全な矩形波を使用するなどの理由により、計算された距離と実距離に多少差が生じ、当該差は、距離によってその程度が異なっているため、三次元距離測定カメラには、距離によってその程度が異なる非線形誤差が発生するという問題点がある。

このような非線形誤差を補正するために、従来の技術は、三次元距離測定カメラの全体の測定距離だけの空間で、カメラを被写体から前後に動かすことができるステージを設置し、カメラを、実距離を知っている複数の測定地点に位置させた状態で、距離測定作業を実行し、測定結果に基づいて、複数の実距離と測定距離との誤差を補正することができるルックアップテーブル（ｌｏｏｋ－ｕｐｔａｂｌｅ）を生成し、カメラに内蔵させる方式を使用してきた。

図３には、従来の技術によって、非線形距離誤差が補正されない場合の測定データが開示されており、図４には、従来の技術によって、非線形距離誤差が補正された場合の測定データが開示されている。

しかし、このような従来の技術によれば、三次元距離測定カメラの測定距離が増大するほど、測定のためのさらに広い空間が必要であり、ステージを設置するための高いコストが発生するという問題点がある。また、作業者が、誤差測定のためにカメラをステージ上の複数の測定地点に移動させる過程で消費される時間により、カメラの誤差補正に多くの時間がかかるという問題点がある。

韓国公開特許第１０－２０１６－００５４１５６号公報（公開日：２０１６年０５月１６日、名称：距離測定装置）韓国公開特許第１０－２０１７－００５１７５２号公報（公開日：２０１７年０５月１２日、名称：ＴＯＦカメラの制御方法）

本発明は、三次元距離測定カメラの非線形距離誤差補正を、固定された位置でパルス位相シフト方式を通じて行うことにより、三次元距離測定カメラの非線形距離誤差を補正する過程で発生する空間制約性を克服し、距離誤差補正のために要求される設備コストを低減し、距離誤差補正時間を短縮させることを技術的課題とする。

前記技術的課題を解決するための本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法は、制御部が、発光部により出力される出力光パルスの位相を調節する位相調節段階と、前記発光部が、前記位相が調節された出力光パルスを被写体に出力する発光段階と、受光部が、前記被写体から反射される反射光パルスを受信する受光段階と、前記制御部が、前記出力光パルスの調節された位相を推定実距離に対応するようにマッピング（ｍａｐｐｉｎｇ）し、前記出力光パルスの出力時点と、前記反射光パルスの受信時点との時差を利用して、測定距離を計算し、前記推定実距離と前記測定距離との差を補正するための距離誤差補正値を計算して保存する距離誤差補正値計算／保存段階と、を含む。

本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法は、前記距離誤差補正値計算／保存段階以後、前記制御部が、前記出力光パルスの位相があらかじめ設定された終了基準位相と同一であるか否かを基準として、測定終了如何を判断する測定終了如何判断段階をさらに含み、前記測定終了如何判断段階での判断の結果、前記出力光パルスの位相が前記終了基準位相と同一ではない場合、前記位相調節段階に切り換えられることを特徴とする。

本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法において、前記位相調節段階で、前記制御部は、前記出力光パルスの位相を、前記出力光パルスの周期を等間隔（ｅｑｕｉｄｉｓｔａｎｔｉｎｔｅｒｖａｌ）に分割した値だけ遅延させることを特徴とする。

本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法において、前記距離誤差補正値計算／保存段階で、前記制御部は、前記距離誤差補正値をルックアップテーブル（ｌｏｏｋ－ｕｐｔａｂｌｅ）形式で保存することを特徴とする。

本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法において、前記位相調節段階、前記発光段階、前記受光段階、前記距離誤差補正値計算／保存段階、及び前記測定終了如何判断段階は、前記三次元距離測定カメラの位置が固定された状態で実行されることを特徴とする。

本発明によるパルス位相シフトを利用した三次元距離測定カメラの距離非線形性補正方法において、前記制御部は、前記三次元距離測定カメラにＦＰＧＡＩＰ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙＩｎｔｅｌｌｅｃｔｕａｌＰｒｏｐｅｒｔｙ）として内蔵されるか、あるいは前記三次元距離測定カメラの外部に備えられ、前記三次元距離測定カメラに連結されることを特徴とする。

本発明によれば、三次元距離測定カメラの非線形距離誤差補正を、固定された位置でパルス位相シフト方式を通じて行うことにより、三次元距離測定カメラの非線形距離誤差を補正する過程で発生する空間制約性を克服することができ、距離誤差補正のために要求される設備コストを低減することができ、距離誤差補正時間を短縮させることができる効果がある。

なお、本発明のパルス位相シフト方式を利用した非線形距離誤差補正方法は、被写体から反射された光がセンサ面で飽和されない約１～２ｍの空間にカメラを固定させて使用するので、従来の方法に比べて空間制約がないという効果がある。

また、本発明は、カメラを被写体から実際の測定距離だけ移動させるステージを使用することなく、被写体に照射される光源の位相をシフトさせることができる装置をカメラの内部や外部に装着するので、生産に必要な設備コストがほとんど発生しないという効果がある。

さらに、本発明は、実位置を移動せずに、固定された位置で、パルスの位相のみを変化させ、測定データを収集するので、従来の技術に比べて誤差補正時間が大きく短縮されるという効果がある。

従来のＴＯＦカメラの距離測定原理を示す図面である。従来のＴＯＦカメラの距離測定において、被写体との距離による位相遅延を示す図面である。従来の技術によって、非線形距離誤差が補正されない場合の測定データを示す図面である。従来の技術によって、非線形距離誤差が補正された場合の測定データを示す図面である。本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法が実行される装置の例示的な機能ブロック図である。本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法が実行される装置の実際の構成を示す図面である。本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法を示す図面である。本発明の一実施形態において、出力光パルスの位相を遅延させる例示的な構成を説明するための図面である。本発明の一実施形態によって、非線形距離誤差が補正されない場合の測定データを示す図面である。本発明の一実施形態によって、非線形距離誤差が補正された場合の測定データを示す図面である。

本明細書に開示されている本発明の概念による実施形態について、特定の構造的または機能的説明は、単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は、多様な形態で実施可能であり、本明細書に説明された実施形態に限定されない。

本発明の概念による実施形態は、多様な変更を加えることができ、色々な形態を有することができるので、実施形態を図面に例示し、本明細書で詳細に説明する。しかし、これは、本発明の概念による実施形態を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術的範囲に含まれる全ての変更、均等物、または代替物を含む。

第１または第２などの用語は、多様な構成要素を説明するのに使用できるが、前記構成要素は、前記用語により限定されるものではない。前記用語は、一つの構成要素を他の構成要素から区別する目的だけで、例えば、本発明の概念による権利範囲から逸脱しないまま、第１構成要素は、第２構成要素とも命名され、同様に、第２構成要素は、第１構成要素とも命名される。

ある構成要素が他の構成要素に「連結されて」いるか、または「接続されて」いると言及された場合、当該他の構成要素に直接連結されているか、または接続されていてもよいが、中間にさらに他の構成要素が存在してもよいものと理解されなければならない。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、または「直接接続されて」いると言及された場合、中間にさらに他の構成要素が存在しないものと理解されなければならない。構成要素間の関係を説明する他の表現、すなわち、「～の間に」と「すぐに～の間に」または「～に隣り合う」と「～に直接隣り合う」なども、同様に解釈されなければならない。

本明細書で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に取り立てて意味しない限り、複数の表現を含む。本明細書で、「含む」または「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性をあらかじめ排除しないものと理解されなければならない。

異なって定義されない限り、技術的または科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野における通常の知識を有する者により一般的に理解されるものと同じ意味を示す。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的や過度に形式的な意味に解釈されない。

以下、添付された図面を参照して、本発明の好ましい実施形態を詳細に説明する。

図５は、本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法が実行される装置の例示的な機能ブロック図であり、図６は、本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法が実行される装置の実際の構成を示す図面であり、図７は、本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法を示す図面である。

図５ないし図７を参照すると、本発明の一実施形態による、パルス位相シフトを利用した三次元距離測定カメラ１０の非線形距離誤差補正方法は、位相調節段階Ｓ１０、発光段階Ｓ２０、受光段階Ｓ３０、距離誤差補正値計算／保存段階Ｓ４０、及び測定終了如何判断段階Ｓ５０を含む。

位相調節段階Ｓ１０では、制御部１５０が、発光部２００により出力される出力光パルスの位相を調節する過程が実行される。

例えば、本発明の一実施形態において、出力光パルスの位相を遅延させる例示的な構成を説明するための図面である図８をさらに参照すると、位相調節段階Ｓ１０で、制御部１５０は、出力光パルスの位相を、出力光パルスの周期を等間隔（ｅｑｕｉｄｉｓｔａｎｔｉｎｔｅｒｖａｌ）に分割した値だけ遅延させるように構成可能である。図８は、一例であり、出力光パルスの変調周波数ｆが５０ＭＨｚであり、これによって、出力光パルスの周期Ｔが２０ｎｓであり、遅延位相、すなわち、出力光パルスの周期を等間隔に分割した値は５ｎｓである。もちろん、これは、説明のための一例に過ぎない。

このように構成される理由、及びそれによる効果を説明すれば、下記の通りである。

従来の技術を説明する過程で図２を参照して説明したが、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）カメラ等を含む三次元距離測定カメラ１０でデプスマップ（ｄｅｐｔｈｍａｐ）を生成するために、被写体との距離を測定する過程において、発光部２００が被写体に出力する出力光パルスは、被写体から反射され、受光部３００が被写体から反射される反射光パルスを受信するが、受光部３００で受信される反射光パルスの位相は、被写体との距離に比例して遅延される特性を有する。

本発明の一実施形態は、このような被写体との距離とパルス位相遅延との関係を利用して、三次元距離測定カメラ１０の位置が一つの特定の地点に固定された状態で、被写体とカメラとの間の実距離に対応するように位相が調節された出力光パルスを被写体に照射する構成を通じて、三次元距離測定カメラ１０の非線形距離誤差を補正する。

このような構成をより具体的に説明すれば、下記の通りである。

本発明の一実施形態によるパルス位相シフト方式は、三次元距離測定カメラ１０と被写体との間の距離を物理的に変更させることなく、被写体に照射されるパルスの位相をシフトさせ、実際の被写体に反射されて戻る時間を変化させる。このような原理を利用すれば、物理的に位置を移動しなくても、三次元距離測定カメラ１０と被写体との間の距離を変化させて測定した効果が得られる。

ＴＯＦカメラを含む三次元距離測定カメラ１０の最大測定距離（測定範囲）は、光出力に使用される変調周波数によって決定され、当該変調周波数の一周期の時間を実距離と整合させることができ、下記の数式１により最大測定距離（測定範囲）を求めることができる。

（数１）
最大測定距離（測定範囲）＝Ｃ／（２ｆ）、Ｃ（光速）＝３＊１０^１１ｍｍ、ｆは変調周波数

変調周波数ｆの一周期の時間は、実距離に整合され、図８に示すように、パルス位相をＴ／４だけシフトさせれば、測定範囲の１／４だけ移動する。

例えば、変調周波数が５０ＭＨｚである場合、測定範囲は３０００ｍｍになり、Ｔ／４だけパルス位相をシフトさせれば、測定範囲の１／４である７５０ｍｍだけ移動する。

このような原理により、一周期Ｔを等間隔に移動させ、その後、測定された位相値を測定すれば、従来の技術によって、ステージを利用したものと類似した効果が得られる。

このような本発明の構成によれば、被写体から反射された光、すなわち、反射光パルスが、受光部３００を構成するイメージセンサで飽和されない約１～２ｍの特定の地点にカメラを固定させて使用するので、ステージを使用して、カメラの位置を物理的に移動させる従来の技術に比べて空間制約がないという長所がある。

また、本発明は、カメラを被写体から実際の測定距離だけ移動させるステージを使用することなく、被写体に照射される光源の位相をシフトさせることができる装置をカメラの内部や外部に装着するので、生産に必要な設備コストがほとんど発生しないという長所がある。

例えば、制御部１５０は、三次元距離測定カメラ１０にＦＰＧＡＩＰ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙＩｎｔｅｌｌｅｃｔｕａｌＰｒｏｐｅｒｔｙ）として内蔵されるか、あるいは三次元距離測定カメラ１０の外部に備えられ、距離誤差補正作業を実行する場合、三次元距離測定カメラ１０に連結されるように構成可能である。

発光段階Ｓ２０では、発光部２００が、位相が調節された出力光パルスを被写体に出力する過程が実行される。

受光段階Ｓ３０では、受光部３００が、被写体から反射される反射光パルスを受信する過程が実行される。

距離誤差補正値計算／保存段階Ｓ４０では、制御部１５０が、出力光パルスの調節された位相を推定実距離に対応するようにマッピング（ｍａｐｐｉｎｇ）し、出力光パルスの出力時点と、反射光パルスの受信時点との時差を利用して、測定距離を計算し、推定実距離と測定距離との差を補正するための距離誤差補正値を計算して保存する過程が実行される。

例えば、距離誤差補正値計算／保存段階Ｓ４０で、制御部１５０は、距離誤差補正値をルックアップテーブル（ｌｏｏｋ－ｕｐｔａｂｌｅ）形式で保存することができる。

測定終了如何判断段階Ｓ５０では、制御部１５０が、出力光パルスの位相があらかじめ設定された終了基準位相と同一であるか否かを基準として、測定終了如何を判断する過程が実行される。

例えば、測定終了如何判断段階Ｓ５０での判断の結果、出力光パルスの位相が終了基準位相と同一ではない場合、位相調節段階Ｓ１０に切り換えられるように構成可能である。

例えば、位相調節段階Ｓ１０、発光段階Ｓ２０、受光段階Ｓ３０、距離誤差補正値計算／保存段階Ｓ４０、及び測定終了如何判断段階Ｓ５０は、三次元距離測定カメラ１０の位置が物理的に固定された状態で実行可能である。

図９は、本発明の一実施形態によって、非線形距離誤差が補正されない場合の測定データを示す図面であり、図１０は、本発明の一実施形態によって、非線形距離誤差が補正された場合の測定データを示す図面である。

図９及び図１０をさらに参照すると、本発明の一実施形態によって、三次元距離測定カメラの位置を物理的に移動させることなく、実距離に対応するように位相をシフトさせる場合にも、図３及び図４に開示された従来の技術によって、カメラと被写体との距離を変更させるために、ステージを使用する方式と類似または同等なレベルの距離誤差補正が可能であるということを確認することができる。

上述のように、本発明によれば、三次元距離測定カメラ１０の非線形距離誤差補正を、固定された位置でパルス位相シフト方式を通じて行うことにより、三次元距離測定カメラ１０の非線形距離誤差を補正する過程で発生する空間制約性を克服することができ、誤差補正のために要求される設備コストを低減することができ、誤差補正時間を短縮させることができる効果がある。

さらに、本発明は、実位置を移動させずに、固定された位置で、パルスの位相のみを変化させ、測定データを収集するので、従来の技術に比べて誤差補正時間が大きく短縮されるという効果がある。

Claims

パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法であって、
制御部が、発光部により出力される出力光パルスの位相を調節する位相調節段階と、
前記発光部が、前記位相が調節された出力光パルスを被写体に出力する発光段階と、
受光部が、前記被写体から反射される反射光パルスを受信する受光段階と、
前記制御部が、前記出力光パルスの調節された位相を推定実距離に対応するようにマッピング（ｍａｐｐｉｎｇ）し、前記出力光パルスの出力時点と、前記反射光パルスの受信時点との時差を利用して、測定距離を計算し、前記推定実距離と前記測定距離との差を補正するための距離誤差補正値を計算して保存する距離誤差補正値計算／保存段階と、を含む、パルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。
前記距離誤差補正値計算／保存段階以後、前記制御部が、前記出力光パルスの位相があらかじめ設定された終了基準位相と同一であるか否かを基準として、測定終了如何を判断する測定終了如何判断段階をさらに含み、
前記測定終了如何判断段階での判断の結果、前記出力光パルスの位相が前記終了基準位相と同一ではない場合、前記位相調節段階に切り換えられることを特徴とする、請求項１に記載のパルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。
前記位相調節段階で、
前記制御部は、前記出力光パルスの位相を、前記出力光パルスの周期を等間隔（ｅｑｕｉｄｉｓｔａｎｔｉｎｔｅｒｖａｌ）に分割した値だけ遅延させることを特徴とする、請求項１に記載のパルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。
前記距離誤差補正値計算／保存段階で、
前記制御部は、前記距離誤差補正値をルックアップテーブル（ｌｏｏｋ－ｕｐｔａｂｌｅ）形式で保存することを特徴とする、請求項２に記載のパルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。
前記位相調節段階、前記発光段階、前記受光段階、前記距離誤差補正値計算／保存段階、及び前記測定終了如何判断段階は、前記三次元距離測定カメラの位置が固定された状態で実行されることを特徴とする、請求項２に記載のパルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。
前記制御部は、前記三次元距離測定カメラにＦＰＧＡＩＰ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙＩｎｔｅｌｌｅｃｔｕａｌＰｒｏｐｅｒｔｙ）として内蔵されるか、あるいは前記三次元距離測定カメラの外部に備えられ、前記三次元距離測定カメラに連結されることを特徴とする、請求項１に記載のパルス位相シフトを利用した三次元距離測定カメラの非線形距離誤差補正方法。