JP2023543443A - 3次元画像取得装置 - Google Patents
3次元画像取得装置 Download PDFInfo
- Publication number
- JP2023543443A JP2023543443A JP2023518452A JP2023518452A JP2023543443A JP 2023543443 A JP2023543443 A JP 2023543443A JP 2023518452 A JP2023518452 A JP 2023518452A JP 2023518452 A JP2023518452 A JP 2023518452A JP 2023543443 A JP2023543443 A JP 2023543443A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- laser
- acquisition device
- module
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
Abstract
【課題】本発明の目的は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射する照射モジュールと、赤外線および可視光を分離屈折させるビームスプリッタと、TOF受信センサと、イメージセンサと、を有する構造の装置を提供し、TOF方式の深さ情報を測定しながらも一般のカラー画像を追加に結合して、ターゲットオブジェクトに対する3次元空間構造をより精密に測定したり、2次元画像を提供したりする3次元画像取得装置を提供することにある【解決手段】本発明は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、ビームスプリッタと、TOF受信センサと、カラー画像を感知できるRGBイメージセンサと、を備え、簡単な動作だけでも周辺地形や被写体などのターゲットオブジェクトに対する空間構造を測定することができる3次元画像取得装置に関する。【選択図】図5
Description
本発明は、3次元画像取得装置に関し、より詳しくは、周辺地形や被写体などのターゲットオブジェクトの画像を取得し、これによって空間構造を測定することができる3次元画像取得装置に関する。
従来の3次元画像取得装置では、2つのカメラを用いてターゲットオブジェクトの対応するピクセルとの距離情報を得る受動型ステレオビジョンと、このステレオビジョンのカメラ1つをプロジェクタに置き換えた能動型ステレオビジョンと同じような方式を適用している。しかし、受動型ステレオビジョンは、速い利点を持っているが、単調な環境や周辺の照明によって深刻な影響を受けるため、正確な3次元画像を得ることに限界を持っている。また、可視光ベースの構造光(structured light)を用いた能動型ステレオビジョンは、ある程度向上した3次元画像を提供するが、可視光線パターンにより家庭用ロボットなどに使用する場合、人の目に障るようになる。
よって、最近のTOF(Time Of Flight)方式では、光をターゲットオブジェクトに照射して発光時間とターゲットオブジェクトから反射される光の受光時間との時間的差を利用することにより、カメラとターゲットオブジェクトとの距離または深さ(depth)を測定し、これによって3次元画像を取得する方式が提供されている。
なお、3次元画像取得に対する従来の技術として、韓国公開特許第10-2005-0026949(2005年03月16日)号公報では、赤外線フラッシュ方式の能動型3次元距離画像測定装置が公知されている。これによって、前記技術は、フラッシュ方式の赤外線光源を使用し、多様な光照射パターンを用いてリアルタイム距離測定を行うためにDMD(Digital Micromirror Device)素子を使用する3次元距離画像測定装置に関するものである。前記従来技術は、本発明のように、レーザー光を照射するレーザー照射モジュールとビームスプリッタを使用し、受信されるパルスパターンのレーザー光を受光して時間タイミングに応じた位相差を測定するTOF受信方式とカラー画像とを結合して、空間構造を測定することができる画像取得装置とは違いがある。
本発明は、前述した従来技術に鑑みてなされたものであって、本発明の目的は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射する照射モジュールと、赤外線および可視光を分離屈折させるビームスプリッタと、TOF受信センサと、イメージセンサと、を有する構造の装置を提供し、TOF方式の深さ情報を測定しながらも一般のカラー画像を追加に結合して、ターゲットオブジェクトに対する3次元空間構造をより精密に測定したり、2次元画像を提供したりする3次元画像取得装置を提供することにある。
なお、本発明の他の目的は、取得した3次元空間構造の画像をネットワークを通じて連動されるスマートフォンやコンピューティング装置に出力できるようにする3次元画像取得装置を提供することにある。
前記技術的課題を解決するための本発明の一実施形態による3次元画像取得装置は、本体ハウジングと、前記本体ハウジングの内側上部に装着され、光の発信および受信タイミングを制御して感知される信号を外部の装置に伝達するための制御部基板と、前記制御部基板に結合されて赤外線レーザーの発信および入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線は水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタの後部に透過される赤外線を受光して赤外線領域での構造画像を生成するTOF受信センサと、前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、前記ビームスプリッタの前部で少なくとも2つ以上のレンズエレメント(element)からなる光学レンズ系と、を備えることを特徴とする。
また、本発明の前記光学レンズ系は、各々のレンズエレメント毎に入射する光の方向に対して光を制御することができるように一定の形態のレンズ組立体(assembly)からなることがある。
また、本発明の前記光学レンズ系は、前記TOF受信センサおよびイメージセンサに結像される焦点の位置において像がはっきりと結ばれるように屈折率が調整される。
また、前記制御部基板は、前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合して、ターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールを含み得る。
また、前記レーザー照射モジュールは、多数のドット(dot)アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセル(VCSEL)モジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールで構成され得る。
前記技術的課題を解決するための本発明の他の実施形態による3次元画像取得装置は、一側面にパルスレーザー光を外部に放出し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、前記本体ハウジングの内側下部に結合・装着される制御部基板と、前記制御部基板の上部に結合され、赤外線レーザーの発信と入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタの後部に透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するTOF受信センサと、前記ビームスプリッタの下部に屈折される可視光の受光のために多数のレンズエレメントで構成されるカメラレンズ、前記カメラレンズを光軸方向に進退運動させて焦点調節を可能にするレンズ駆動部、およびターゲットオブジェクトのカラー画像を生成するイメージセンサを含むカメラモジュールと、を備えることを特徴とする。
また、本発明の前記光送受信ユニットは、前記窓(ウィンドウ)方向に位置する前面レンズが配置され、前記前面レンズの一部で前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが前記前面レンズの一定位置に挿入される構造または外側に追加に装着される構造からなる特徴がある。
また、本発明の前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタである特徴を有する。
また、本発明の前記制御部基板は、前記ヴィクセルモジュールと、TOF受信センサおよびカメラモジュールに連動してレーザーの発信および受信動作を制御する制御モジュールと、前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールと、を含む特徴がある。
また、本発明の前記3D画像処理モジュールは、赤外線構造画像の深さ情報を計算し、RGBカラー画像とのテクスチャ成分のコントラストを比較して画像の鮮明度が高い画像値を選択するアルゴリズムを用いて3次元空間構造を測定する特徴を有する。
また、本発明の前記制御部基板は、前記制御モジュールが外部装置と通信するためのWiFiまたはLAN連結方式を提供する通信モジュールと、をさらに含む特徴がある。
また、前記レーザー照射モジュールは、多数のドット(dot)アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールで構成されてもよい。
また、前記技術的課題を解決するための本発明のもう1つの実施形態による3次元画像取得装置は、一側面にパルスレーザー光を外部に放射し、外部から入射する光の透過のための光透過性窓が設けられる本体ハウジングと、前記本体ハウジングの内側下部に結合・装着されて光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、前記制御部基板の上部に結合され、赤外線レーザー光の発信と入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するTOF受信センサと、前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、を備える。前記制御部基板は、前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールを含むことを特徴とする。
本発明は、TOF方式で被写体に対する距離および深さ情報を測定しながらもカラー画像を感知できるイメージセンサをさらに備えて情報の解像度を高め、簡単な動作だけでも周辺地形および被写体などのターゲットオブジェクトに対する精密な3次元空間構造を測定するか、または2次元画像を提供できる効果がある。
また、本発明の3次元画像取得装置では、感知したターゲットオブジェクトの空間構造や周辺地形などの情報データを外部装置に伝送することができるため、ネットワーク上でデータを再加工することができる利点がある。
また、本発明の3次元画像取得装置は、光路上に前端レンズを備えているが、一つの単一レンズとしても光受信のための光学レンズの機能を行うことができる。前記3次元画像取得装置は、入射する光を制御するための一定の形態のレンズエレメントを複合的に結合したレンズ組立体(assembly)としての光学レンズ系を備え、光路上での光学性能の向上と製品の小型化設計を可能にする効果がある。
また、本発明の3次元画像取得装置は、一般に車両のライダー(LIDAR)装置の性能向上のために適用されるだけでなく、ロボット、船舶、ヘリコプター、ドローン(drone)など移動可能な移動装置に適用可能であり、併せて建物、柱、塔などの移動が制限された固定装置にも制限なく適用される利点がある。
本明細書および特許請求の範囲に使用される用語または単語は、通常的かつ辞書的な意味に限定して解釈されるべきではなく、発明者は自身の発明を最も最良の方法で説明するために用語の概念を適切に定義することができるという原則に基づいて、本発明の技術的思想に符合する意味と概念であると解釈されなければならない。
したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて表すものではないため、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解すべきである。
以下では、本発明の好ましい実施形態を添付の図面を参照して詳しく説明する。
図1は、本発明の一実施形態による3次元画像取得装置の本体ハウジングを示す外観斜視図である。
図1に示すように、本発明の3次元画像取得装置は、密閉された内部空間を有する本体ハウジング100と、本体ハウジング100の一側面から面発光のパルスレーザー光を外部に放射し、外部から入射する光の透過を容易にする窓(ウィンドウ)110が配置される。前記窓110は、3次元画像取得装置の内外部に光透過を容易にし、本体ハウジング100を保護するための光透過性材料からなる。
よって、本発明の本体ハウジング100は、図1と同様に一定の高さの四角ボックス形状であり得るが、これに限定されずに、図7と同様に円筒形状からなるハウジングにも適用されてもよい。
また、図2は、図1による3次元画像取得装置の内部構造を示す例としての図であり、図3は本発明の一実施形態による光送受信ユニットの構造を示す例としての図であり、図4は本発明の他の実施形態による図3の光送受信ユニットの構造における板状ビームスプリッタを示す例としての図であり、図5は本発明の一実施形態による3次元画像取得装置の構成を示すブロック図である。
図示するように、本発明の3次元画像取得装置は、本体ハウジング100の内側下部に結合・装着される制御部基板300と、前記制御部基板300の上部で光の送信と受信のための光送受信ユニット200とが配置されてなされる。前記光送受信ユニット200は、前面レンズ210、レーザー照射モジュール220、ビームスプリッタ240、TOF受信センサ230およびカメラモジュール250を含む。
また、光送受信ユニット200は、ユニットケース201によって包まれた形態で保護されるようになっているが、これによってユニットケース201の前部には本体ハウジング100の窓110の方向に位置する前面レンズ210が配置され、前記前面レンズ210の後部では、外部から入射する光を赤外線と可視光の波長帯に分離して屈折させるビームスプリッタ(Beam splitter)240が設けられ、前記ビームスプリッタ240の水平方向の後部で赤外線波長帯を感知するTOF受信センサ230が設けられる。
本発明の前記ビームスプリッタ240は、図3のように三角プリズム形状で入射面と出射面を形成するか、または図4のように板状のビームスプリッタを用いて一定の傾きを有する斜めの入射面および出射面を実現することができる。
また、前記ビームスプリッタ240が垂直下方に屈折させる可視光波長帯の受光のために、前記ビームスプリッタ240の下部には、多数のレンズエレメントからなるカメラレンズ251と、前記カメラレンズ251を光軸方向に進退運動して焦点調節を可能にするレンズ駆動部252と、前記レンズ駆動部252の下部に設けられてカメラレンズ251に入射する可視光波長帯のRGB光信号を感知するためのイメージセンサ253とからなるカメラモジュール250が備えられる。
しかしながら、本発明の他の実施形態では、後述する図9と同様に、前記カメラモジュール250において、カメラレンズ251とレンズ駆動部252を除くイメージセンサ253を前記ビームスプリッタ240の下部に直接位置させてターゲットオブジェクトのカラー画像を取得することもできる。
このとき、本発明における前記イメージセンサ253は、一定のフレーム(例えば30fps)と一定の解像度(例えば、1280×720)をサポートするCMOS(Complementary metal-oxide-semiconductor)型のRGBイメージ(Image)センサであり得る。
また、本発明のユニットケース201は、光送受信ユニット200の一定の構成部品を組み立て装着するための空間を形成し、内側に一定の構成部品が組立て結合される保護ケースであり、内部から放出される光と外部から入射する光が外に漏れないように密閉される構造を有する。前面レンズ210、レーザー照射モジュール220、ビームスプリッタ240、TOF受信センサ230および前記カメラモジュール250のカメラレンズ251は、ユニットケース201によって包まれた形態で保護されるようになっている。
このとき、前記レーザー照射モジュール220は、ビクセルヴィクセル(VCSEL)モジュールまたはレーザーダイオード(LD:Laser Diode)モジュールで構成されてもよい。
前記ヴィクセルモジュール220は、垂直共振器型面発光レーザー(VCSEL:Vertical-Cavity Surface Emitting Laser)が多数のドット(dot)アレイ形態でモジュール化され、速いパルスパターンのレーザーを面発光で発信するモジュールである。前記レーザーダイオードモジュールは、ターゲットオブジェクト側にレーザー光を照射するモジュールである。
このように構成されるレーザー照射モジュール220は、前面レンズ210の一定距離の後部でユニットケース201の内側上部に装着されて位置する。このとき、レーザー照射モジュール220では、940nm内外の近赤外線波長帯を点滅して発光する。
また、図2~図5と同様に、レーザー照射モジュール220は、パルスパターンで面発光されるレーザー光を前部の前面レンズ210の一部を通じて外部に放射するようになっている。そうではあるが、前記レーザー照射モジュール220の前に位置する前面レンズ210の一部は、前記レーザー照射モジュール220から放出される光を外部に発散させるためのフィルタレンズ211を用いて備えられてもよい。
このとき、前記フィルタレンズ211は、レーザー照射モジュール220の自らのレーザー光源に使用された波長のみを通過させるための帯域通過フィルタの機能を行うレンズであってもよい。
すなわち、前記ユニットケース201に設けられた前面レンズ210は、全体として光受信のための光学レンズの機能を果たすが、前記レーザー照射モジュール220の前部に位置する一定の部分では、光発信のためのフィルタレンズ211が前面レンズ210の一定の位置に挿入される構造であるか、または外側に追加に装着される構成を有するようになる。
図6は、本発明の一実施形態による四角ボックス型の3次元画像取得装置の面発光を示す例としての図であり、図7は、本発明の他の実施形態による円筒形態の3次元画像取得装置の面発光を示す例としての図である。本発明は、本体ハウジング100、100aの内側のレーザー照射モジュール220から放出される光が前面レンズ210の一端に構成されるフィルタレンズ211を通過し、本体窓110、110bの特定部位から外部に発散されて面発光で照射されることが分かる。
また、前記レーザー照射モジュール220がヴィクセルモジュールで構成される場合には、光を照射するときに非常に速い間隔で点滅させるためのモジュレーション(modulation)221が備えられ、ここでレーザー照射モジュール220のレーザーがオン(on)のときをイン-フェーズ(in phase)と称し、レーザーがオフ(off)のときをアウト-フェーズ(out phase)と称する。TOF受信センサ230は、各々のセルが2つずつの感知センサ(receptor)のペアで構成され、反射して戻ってくる光を前記モジュレーション221の点滅間隔と同期して出射された光パルスと正確に同期されるように実行されることにより、時間タイミングに応じた位相差を測定するための赤外線イメージセンサと称することができる。
つまり、一般的な赤外線(IR)センサは信号の強度のみを測定し、物体の反射率に影響を受けやすいが、TOF受信センサはレーザー照射モジュールから発信される赤外線レーザーを受光し、それに伴う飛行時間方式の距離を計算することから、より正確な値を得ることができる。
本発明におけるTOF受信センサ230は、一定のピクセルピッチ(例えば、15μ)で一定のフレーム(例えば、毎秒最大150フレーム)の速度で一定の解像度(例えば、VGA640×480)の分解能データを提供することができる。
また、TOF受信センサ230から出てくる信号がアナログ信号である場合、A/Dコンバータ(ADC:Analog to Digital Converter)223によってデジタル信号に変換されて3D画像処理モジュール320に伝達され得る。
図5に示すように、本発明の制御部基板300は、レーザー照射モジュール220のパルス型レーザーの速い点滅のための駆動信号を印加する光発信制御、および可視光領域の光を受信するためのイメージセンサ253に焦点調節機能を遂行するためにカメラモジュール250を制御する制御モジュール310と、TOF受信センサ230とイメージセンサ253に連動して周辺地形および被写体などのターゲットオブジェクトに対する画像データを受け、これを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュール320を含む。
すなわち、前記3D画像処理モジュール320は、ターゲットオブジェクトに関する画像データを受信してノイズを除去する前処理過程を遂行し、TOF受信センサ230で受光されたターゲットオブジェクトに対する赤外線領域での歪んだ構造画像に対する深さ情報を計算し、なおイメージセンサ253で受信されたカラー画像とのテクスチャ成分のコントラストを比較して画像の鮮明度が高い画像値を選択する方式により、2つの画像を融合するアルゴリズム過程を行うことになる。前記アルゴリズムにより結合された画像を通してターゲットオブジェクトに対する3次元空間構造を精密に測定することができるようになる。このとき、前記3D画像処理モジュール320は、このように構成される3次元画像または3次元空間構造を測定した結果を用いて2次元画像データを生成することもでき、これにより、より多様な画像処理と画像情報を提供することができる。
これのためには、制御部基板300は、論理回路、プログラミングロジックコントローラ、マイコン、マイクロプロセッサなどから選択される少なくともいずれか1つの装置で実現されることがあり、これを統合するFPGA(Field-Programmable Logic Array)ボードで実現され得る。
また、制御部基板300は、無線のWiFiまたは有線のLAN(Local Area Network)連結を行うための通信モジュール330を別途設けるか、または一体に結合・構成され得る。前記通信モジュール330は、イントラネット、インターネット、車両ネットワークなどを通じて外部のユーザーPCまたはスマートフォンのようなユーザーモバイル機器と通信するようになり、感知した周辺地形や被写体などのターゲットオブジェクトに関する情報データをこのようなユーザー機器に伝送することができる。これは、インターネットのような外部ネットワークに連動されるユーザーコンピューティング装置でデジタル画像に変換されて、データを再加工することのできる利便性を提供するためである。
一方、制御部基板300は、本発明の3次元画像取得装置に対する電源供給のための配線やアダプタまたは電源供給手段を備えることができ、前記電源供給手段は、内部電源または再充電可能な電源装置として備えられる。
図8は、本発明の一実施形態による光送受信ユニットにおける全体的な光送受信ユニットの構造および経路を説明するための例としての図であり、赤外線を面発光するレーザー照射モジュール220から放出された光がフィルタレンズ211を通過してターゲットオブジェクトに照射され、ターゲットオブジェクトから反射して入射する赤外線と可視光がビームスプリッタ240によって別に分離され、赤外線を受信するTOF受信センサ230では投射された多量のドット(Dot)レーザー形態により歪んだ構造画像が生成されることを示している。また、カメラモジュール250のカメラレンズ251とレンズ駆動部252によって、焦点が調節されて可視光を受信したイメージセンサ253でターゲットオブジェクトに対するカラー画像が生成されることを示している。
また、図9は、本発明の他の実施形態による光送受信ユニットの構造および光送受信経路を説明するための例としての図であり、図8との相違点は、カメラモジュール250のカメラレンズ251とレンズ駆動部252による焦点調節過程を経ずに直接にイメージセンサ253で可視光を受信してターゲットオブジェクトのカラー画像が生成できることを示している。これは、図9のように直接にイメージセンサ253で可視光を受光することにより、カメラモジュール250のカメラレンズ251とレンズ駆動部252を適用しなくなり、電子回路の数を最小化して体積および コストを削減することができる利点を有する。
また、図10~図12は、本発明のもう1つの実施形態として、光路上のビームスプリッタ240の前面に光学レンズ系260を備えてなされた3次元画像取得装置を示している。
図10は、ビームスプリッタの前部に光学レンズ系を備えた3次元画像取得装置の面発光を示す例としての図であり、図11は、図10による3次元画像取得装置の内部構造を示す例としての図であり、図12は、光学レンズ系を備えた3次元画像取得装置に対する光送受信経路の説明のための例としての図である。
図10~図12を参照する実施形態によれば、本発明の光送受信ユニットの構造において、前述した実施形態と同様に、ユニットケース201に設けられる単に1つの単一レンズからなる前面レンズ210の代わりに、2つ以上として複合的な機能を行う少なくとも2つ以上のレンズがエレメント(element)で構成・列挙された光学レンズ系260としての前面レンズを備えようとすることである。
すなわち、1つの単一レンズでも受光のための光学レンズの機能を果たすことができるが、これよりは入射する光を制御するためにレンズエレメント毎に各々の方向に光を制御する一定の形態のレンズ組立体(assembly)としての光学レンズ系260を備えることで、光路上での光学性能の向上と製品の小型化設計が可能にすることができる。
これは、一般に近接した被写体の光入射角は光軸を基準に大きくなり、遠距離の被写体であればあるほど入射角が光軸に水平に近づくことにより、TOF受信センサ230およびイメージセンサ253に結ばれる焦点が変わることがあるが、本発明のように装着された光学レンズ系260の構成により、通過した光の屈折を被写体の位置に応じて調整されるようにすることで、TOF受信センサ230およびイメージセンサ253に結ばれる焦点の位置で像が鮮明に結ばれるようにすることができる。
これによる実施形態としての3次元画像取得装置は、図11~図10に示すように、レーザー照射モジュール220から放出される光を直接照射することができるように、レーザー照射モジュール220とレンズ211をユニットケース201の内側上部に装着して配置することができる。このとき、レーザー照射モジュール220は、ユニットケース201の内側上部で制御部基板300と連結される。
すなわち、図12を参照して説明される本実施形態は、光送受信ユニットの構造にしたがって赤外線を面発光するレーザー照射モジュール220から放出された赤外線光がレンズ211を通過してターゲットオブジェクトに照射され、ターゲットオブジェクトに反射されて入射した光は光学レンズ系260を通過して赤外線と可視光がビームスプリッタ240によって分離され、各々の光経路上に位置するTOF受信センサ230とイメージセンサ253にターゲットオブジェクトの像がはっきりと結ばれる。
このとき、赤外線を受信するTOF受信センサ230では、投射された多量のドット(Dot)レーザー形態によって歪んだ構造画像を生成し、可視光を受信したイメージセンサ253でターゲットオブジェクトのカラー画像を生成することができる。
前述したように、本発明の3次元画像取得装置は、多様な実施形態による構成を1つに組み合わせて構成されるか、または好適な実施形態による各々の構成を選択的に用いて構成される。すなわち、本発明は、本発明の技術分野における通常の知識を有する者であれば、下記の特許請求の範囲に記載された技術的思想および領域から逸脱しない範囲内で本発明を多様に修正および変更し得ることは理解できるであろう。
Claims (17)
- 3次元画像取得装置であって、
本体ハウジングと、
前記本体ハウジングの内側上部に装着されて光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、
前記制御部基板に結合されて赤外線レーザーの発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線は水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される赤外線を受光して赤外線領域での構造画像を生成するTOF受信センサと、
前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、
前記ビームスプリッタの前部に少なくとも2つ以上のレンズエレメント(element)で構成される光学レンズ系と、を備えることを特徴とする、
3次元画像取得装置。 - 前記光学レンズ系は、各レンズエレメント毎に入射する光を調整することができるように一定の形状のレンズ組立体からなることを特徴とする、
請求項1に記載の3次元画像取得装置。 - 前記光学レンズ系は、前記TOF受信センサおよびイメージセンサに存在する焦点の位置でターゲットオブジェクトの像がはっきりと結ばれるように屈折を調整できるようにすることを特徴とする、
請求項2に記載の3次元画像取得装置。 - 前記制御部基板は、前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールを含むことを特徴とする、
請求項1に記載の3次元画像取得装置。 - 前記レーザー照射モジュールは
多数のドット(dot)アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする
請求項1に記載の3次元画像取得装置。 - 一側面にパルスレーザー光を外部に放出し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、
前記本体ハウジングの内側下部で結合・装着され、光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、
前記制御部基板の上部に結合されて赤外線レーザー光の発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するTOF受信センサと、
前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、を備えることを特徴とする、
3次元画像取得装置。 - 前記光送受信ユニットは、前記窓方向に位置する前面レンズが配置され、前記前面レンズの一部において前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが、前記前面レンズの一定の位置に挿入される構造、または外側に追加に装着される構造からなることを特徴とする、
請求項6に記載の3次元画像取得装置。 - 前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタであることを特徴とする、
請求項7に記載の3次元画像取得装置。 - 前記制御部基板は、前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールを含むことを特徴とする、
請求項6に記載の3次元画像取得装置。 - 前記レーザー照射モジュールは
多数のドット(dot)アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする、
請求項6に記載の3次元画像取得装置。 - 一側面にパルスレーザー光を外部に出射し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、
前記本体ハウジングの内側下部に結合・装着される制御部基板と、
前記制御部基板の上部に結合されて赤外線レーザーの発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するTOF受信センサと、
前記ビームスプリッタの下部に屈折される可視光の受光のために多数のレンズエレメントからなるカメラレンズ、前記カメラレンズを光軸方向に進退運動させて焦点調節を可能にするレンズ駆動部、およびターゲットオブジェクトのカラー画像を生成するイメージセンサを含むカメラモジュールと、を備えることを特徴とする、
3次元画像取得装置。 - 前記光送受信ユニットは、前記窓方向に位置する前面レンズが配置され、前記前面レンズの一部において前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが、前記前面レンズの一定の位置に挿入される構造、または外側に追加に装着される構造からなることを特徴とする、
請求項11に記載の3次元画像取得装置。 - 前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタであることを特徴とする、
請求項11に記載の3次元画像取得装置。 - 前記制御部基板は
前記レーザー照射モジュール、TOF受信センサおよびカメラモジュールと連動してレーザーの発信および受信動作を制御する制御モジュールと、
前記TOF受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する3次元空間構造を測定する3D画像処理モジュールと、を含むことを特徴とする、
請求項11に記載の3次元画像取得装置。 - 前記3D画像処理モジュールは、赤外線構造画像の深さ情報を計算し、RGBカラー画像とのテクスチャ成分のコントラストを比較して、画像の鮮明度が高い画像値を選択するアルゴリズムを用いて3次元空間構造を測定することを特徴とする、
請求項13に記載の3次元画像取得装置。 - 前記制御部基板は、前記制御モジュールが外部装置と通信するためのWiFiまたはLAN連結方式を提供する通信モジュールと、をさらに含むことを特徴とする、
請求項15に記載の3次元画像取得装置。 - 前記レーザー照射モジュールは
多数のドット(dot)アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする、
請求項11に記載の3次元画像取得装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20200120726 | 2020-09-18 | ||
KR10-2020-0120726 | 2020-09-18 | ||
KR10-2020-0138390 | 2020-10-23 | ||
KR1020200138390A KR102505817B1 (ko) | 2020-09-18 | 2020-10-23 | 3차원 이미지 획득 장치 |
KR1020200183820A KR102634094B1 (ko) | 2020-09-18 | 2020-12-24 | 3차원 이미지 획득 장치 |
KR10-2020-0183820 | 2020-12-24 | ||
PCT/KR2021/011988 WO2022059981A1 (ko) | 2020-09-18 | 2021-09-06 | 3차원 이미지 획득 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023543443A true JP2023543443A (ja) | 2023-10-16 |
Family
ID=80776292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023518452A Pending JP2023543443A (ja) | 2020-09-18 | 2021-09-06 | 3次元画像取得装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230341557A1 (ja) |
EP (1) | EP4199509A1 (ja) |
JP (1) | JP2023543443A (ja) |
CN (1) | CN116235491A (ja) |
WO (1) | WO2022059981A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166223A (ja) * | 1999-12-03 | 2001-06-22 | Olympus Optical Co Ltd | 内視鏡 |
KR100661861B1 (ko) | 2005-02-16 | 2006-12-28 | 성균관대학교산학협력단 | 적외선 플래시 방식의 능동형 3차원 거리 영상 측정 장치 |
KR101974578B1 (ko) * | 2012-10-22 | 2019-05-02 | 삼성전자주식회사 | 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
US20180077430A1 (en) * | 2016-09-09 | 2018-03-15 | Barrie Hansen | Cloned Video Streaming |
KR101994473B1 (ko) * | 2017-12-20 | 2019-07-31 | (주)이더블유비엠 | 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램 |
KR20200138732A (ko) * | 2018-03-30 | 2020-12-10 | 블레이즈 바이오사이언스 인코포레이티드 | 근적외선 광 및 가시광 이미징을 동시에 수행하기 위한 시스템 및 방법 |
-
2021
- 2021-09-06 JP JP2023518452A patent/JP2023543443A/ja active Pending
- 2021-09-06 CN CN202180062827.3A patent/CN116235491A/zh active Pending
- 2021-09-06 US US18/044,629 patent/US20230341557A1/en active Pending
- 2021-09-06 WO PCT/KR2021/011988 patent/WO2022059981A1/ko unknown
- 2021-09-06 EP EP21869603.7A patent/EP4199509A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4199509A1 (en) | 2023-06-21 |
CN116235491A (zh) | 2023-06-06 |
US20230341557A1 (en) | 2023-10-26 |
WO2022059981A1 (ko) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6387407B2 (ja) | 周辺検知システム | |
EP3645965B1 (en) | Detector for determining a position of at least one object | |
US7812931B2 (en) | Distance measurement method and device and vehicle equipped with said device | |
KR101798063B1 (ko) | 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치 | |
EP3834000A1 (en) | Improved 3d sensing | |
JP2018028555A5 (ja) | ||
CN105723239A (zh) | 测距摄像系统 | |
KR20150065473A (ko) | 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법 | |
KR20220006638A (ko) | 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처 | |
CN113325391A (zh) | 广角tof模组及其应用 | |
US7221437B1 (en) | Method and apparatus for measuring distances using light | |
KR20210095717A (ko) | 근접 조명 모듈 | |
KR101691156B1 (ko) | 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치 | |
KR20210141504A (ko) | 비행 시간 기반 3차원 감지 시스템 | |
KR20210126738A (ko) | 적어도 하나의 대상체를 조명하기 위한 프로젝터를 구비하는 검출기 | |
CN112513566A (zh) | 用于确定至少一个对象的位置的检测器 | |
US20080142691A1 (en) | Optical navigation device that utilizes a vertical cavity surface emitting laser (vcsel) configured to emit visible coherent light | |
KR20210029269A (ko) | 3차원 영상 생성 장치 및 방법 | |
JP2023543443A (ja) | 3次元画像取得装置 | |
KR20210028520A (ko) | Tof 장치 | |
KR102634094B1 (ko) | 3차원 이미지 획득 장치 | |
KR20230099402A (ko) | 3차원 이미지 획득 장치 | |
CN213091888U (zh) | 深度测量系统及电子设备 | |
CN115769258A (zh) | 用于漫射照明和结构光的投影仪 | |
KR20230123278A (ko) | 3차원 이미지 획득 장치 |