KR20220075476A - 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치 - Google Patents

다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치 Download PDF

Info

Publication number
KR20220075476A
KR20220075476A KR1020200163568A KR20200163568A KR20220075476A KR 20220075476 A KR20220075476 A KR 20220075476A KR 1020200163568 A KR1020200163568 A KR 1020200163568A KR 20200163568 A KR20200163568 A KR 20200163568A KR 20220075476 A KR20220075476 A KR 20220075476A
Authority
KR
South Korea
Prior art keywords
lidar sensor
lidar
sensor measurement
image
information
Prior art date
Application number
KR1020200163568A
Other languages
English (en)
Inventor
박민규
윤주홍
김제우
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200163568A priority Critical patent/KR20220075476A/ko
Priority to PCT/KR2020/017217 priority patent/WO2022114311A1/ko
Publication of KR20220075476A publication Critical patent/KR20220075476A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 라이다 정보 처리 방법은, 2대 이상의 카메라를 활용하여 라이다 정보를 보정하고 업-샘플링함으로써, 라이다 센서의 정확도 향상과 정보량 증가에 의한 조밀도 향상 모두가 가능해져, 고가의 라이다 센서를 이용하거나 다수의 라이다 센서를 이용할 필요가 없어진다.

Description

다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치{LiDAR sensor information correction and up-sampling method and apparatus using multiple images}
본 발명은 라이다 정보 처리 기술에 관한 것으로, 더욱 상세하게는 두 장 이상의 영상 정보가 주어졌을 때 영상 정보를 활용하여, 라이다 또는 다양한 깊이 센서의 조밀도와 정확도를 향상시키는 방법 및 장치에 관한 것이다.
라이다 센서는 360도 전방위에 대한 거리 정보를 실시간으로 획득가능한 장치로 자율주행 장치 또는 자율비행 장치를 제작할 때 우선적으로 고려되는 센서 중 하나이다.
하지만, 라이다 정보가 매 시간 획득할 수 있는 관측치는 영상 정보 대비 현저히 부족하기 때문에 획득한 정보 자체가 듬성듬성 떨어져있다는 단점이 있어, 주변 환경이나 사물의 자세한 외형 정보를 알기는 어렵고, 고품질의 데이터 획득을 위해서는 매우 고가의 제품을 여러 개 사용 할 수밖에 없다.
또한, 센서가 갖는 오차가 존재하기 때문에 만약 정밀한 지도 복원 등에 라이다 센서를 사용코자 한다면 깊이 정보에 대한 보정 또한 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 라이다 센서의 정확도(accuracy) 향상과 정보량 증가에 의한 조밀도(density) 향상을 위한 방안으로, 2대 이상의 카메라를 활용하여 라이다 정보를 보정하고 업-샘플링하는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 라이다 정보 처리 방법은, 라이다 센서 측정 값들을 획득하는 단계; 다중 영상을 획득하는 단계; 측정된 라이다 센서 측정 값들 중 일부를 샘플링하는 단계; 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하는 단계; 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하는 단계; 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하는 단계; 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 단계;를 포함한다.
본 발명의 실시예에 따른 라이다 정보 처리 방법은, 선택된 라이다 센서 측정 값의 법선 벡터를 램덤으로 부가하여, 다수의 라이다 센서 측정 값들을 생성하는 단계; 생성된 라이다 센서 측정 값들 중 일부를 샘플링하는 단계; 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하는 단계; 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하는 단계; 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하는 단계; 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 단계;를 더 포함할 수 있다.
계산 단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과하지 않으면, 생성 단계부터 재수행할 수 있다.
그리고, 계산 단계는, 투영 위치와 법선 벡터를 이용하여 유사도를 계산할 수 있다.
본 발명의 실시예에 따른 라이다 정보 처리 방법은, 법선 벡터가 부가된 라이다 센서 측정 값을 영상으로 투영하는 단계; 투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파하는 단계; 전파된 라이다 센서 측정 값들 간의 유사도들을 계산하는 단계; 유사도가 가장 큰 라이다 센서 측정 값을 추가하는 단계;를 더 포함할 수 있다.
또한, 전파 단계는, 투영된 라이다 센서 측정 값의 투영 위치와 법선 벡터에 백색 잡음을 더하여, 다수의 인접 픽셀들의 라이다 센서 측정 값들을 생성할 수 있다.
본 발명의 실시예에 따른 라이다 정보 처리 방법은, 추가된 라이다 센서 측정 값을 영상으로 투영하는 단계; 투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파하는 단계; 전파된 라이다 센서 측정 값들 간의 유사도들을 계산하는 단계; 유사도가 가장 큰 라이다 센서 측정 값을 추가하는 단계;를 더 포함하고, 계산 단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과하지 않으면, 투영 단계부터 재수행할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 라이다 정보 처리 장치는, 라이다 센서 측정 값들을 획득하는 제1 획득부; 다중 영상을 획득하는 제2 획득부; 및 측정된 라이다 센서 측정 값들 중 일부를 샘플링하고, 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하며, 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하고, 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하며, 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 보정부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 2대 이상의 카메라를 활용하여 라이다 정보를 보정하고 업-샘플링함으로써, 라이다 센서의 정확도 향상과 정보량 증가에 의한 조밀도 향상 모두가 가능해져, 고가의 라이다 센서를 이용하거나 다수의 라이다 센서를 이용할 필요가 없어진다.
도 1은 라이다 센서 정보를 다중 영상에 투영하는 것을 나타낸 개념도,
도 2는 라이다 센서 정보를 영상에 투영했을 때 노이즈에 따른 위치 변화 예시,
도 3은 본 발명의 일 실시예에 따른 라이다 센서 정보 보정 방법의 설명에 제공되는 도면,
도 4는 본 발명의 다른 실시예에 따른 라이다 센서 정보 업-샘플링 방법의 설명에 제공되는 도면,
도 5는 본 발명의 또 다른 실시예에 따른 라이다 센서 정보 처리 장치의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법을 제시한다.
두 장 이상의 영상 정보가 주어졌을 때 영상 정보를 활용하여 라이다 또는 다양한 깊이 센서의 오차를 보정하여 정확도를 향상시키고, 라이다 또는 다양한 깊이 센서의 정보를 업-샘플링(up-sampling) 하여 조밀도를 향상시키는 방법이다.
라이다 센서 정보를 향상시키기 위해서, 다음과 같은 방법으로 접근하다. 저가의 라이다 센서는 약 수 cm 정도의 거리 오차를 가지게 되는데, 측정된 위치 정보를 도 1에 도시된 바와 같이 각각의 카메라로 투영할 수 있다.
여기서 라이다 센서에서 측정된 3차원 포인트 X라고 할 때, 영상에서의 위치는 X를 투영하여 만들 수 있고, 이를 수식으로 나타내면 u = KRX + T 이다. K는 카메라의 내부 파라미터, R, T는 각각 카메라의 자세와 위치 정보가 된다.
위와 동일한 과정을 두 카메라에 대해 모두 수행 하면 두 영상에서의 좌표 값을 알 수 있게 되는데, 반대로 카메라에서 투영된 픽셀을 지나가는 직선을 역투사(back projection) 했을 때 3차원 포인트 X를 교점으로 지나가게 된다.
본 발명의 실시예에서는 다음과 같은 가정을 갖고 라이다 센서 측정 값의 보정을 수행한다.
만약 라이다의 거리 값이 정확하다면 투영된 두 픽셀은 인접한 영역 내에서 가장 높은 유사도를 가진다. 따라서, 만약 보다 유사도가 높은 픽셀이 주변에 존재하게 된다면, 해당 픽셀의 위치 정보를 이용하여 라이가의 3차원 좌표 값을 보정 할 수 있다.
즉, 도 2에 나타난 바와 같이, 노이즈가 존재하지 않을때는 라이다 값을 영상에 투영했을 때 동일한 위치로 투영이 되는 반면 오차가 존재할 때는 동일하지 않은 위치로 투영이 된다.
이를 보정하기 위해서 라이다의 3차원 값을 인접하는 위치로 옮기면서 투영 된 픽셀 간의 유사도를 높여주는 과정을 수행한다.
도 3은 본 발명의 일 실시예에 따른 라이다 센서 정보 보정 방법의 설명에 제공되는 도면이다.
라이다 센서를 이용하여 측정한 값들의 오차를 보정하기 위해서는, 다수의 카메라를 이용하여 다중 영상을 획득할 것이 전제된다.
다음, 측정된 라이다 센서 측정 값(좌표 값)들 중 일부를 램덤 샘플링한다(S110). S110단계를 위해, 우선 주어진 라이다의 초기 위치 정보를 기준으로 라이다의 3차원 공간 주변을 랜덤 샘플링하고, 업데이트 할 좌표 값의 후보 군을 얻는다.
그리고, S110단계에서 샘플링된 라이다 센서 측정 값들을 다중 영상에 각각 투영한다(S120). 다중 영상은 2개이므로, S120단계에서 라이다 센서 측정 값들은 각각 2개의 영상, 제1 영상과 제2 영상으로 투영되게 된다.
이후, 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산한다(S130). 그리고, S130단계에서 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택한다(S140). S140단계에 의해 샘플이 업데이트된다.
다음, S140단계에서 선택된 라이다 센서 측정 값의 법선 벡터를 램덤으로 부가하여, 다수의 라이다 센서 측정 값들을 생성하고, 생성된 라이다 센서 측정 값들 중 일부를 램덤으로 샘플링한다(S150).
그리고, S150단계에서 샘플링된 라이다 센서 측정 값들을 다중 영상(제1 영상과 제2 영상)에 각각 투영하고(S120), 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산한다(S130).
S150단계에 의해 라이다 센서 측정 값은 법선 벡터를 포함하게 되므로, 반복되는 유사도 계산에서는 투영 위치와 법선 벡터를 이용하여 유사도를 계산하게 된다. 이에 따라, 정방 형태가 아닌 법선 벡터의 형태에 따른 비교가 가능해지는데, 이를 통해 보다 정교하게 라이다 측정 값을 보정할 수 있게 된다.
다음, S130단계에서 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하여 업데이트하고(S140), S150단계로 진입하여 이후 절차들을 반복하게 된다.
업데이트 및 절차 반복은 S130단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과할 때까지 이루어지는 것으로 구현 가능하다. 즉, S130단계에서 최대 유사도가 임계치를 초과하면 S140단계에서 선택된 라이다 센서 측정 값이 보정된 라이다 센서 측정 값이 되는 것이다.
지금까지, 라이다 센서 정보 보정 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는 다중 영상이 2개의 카메라 영상인 것을 상정하였는데, 최소의 필요 정보에 해당한다. 더 많은 수의 카메라들을 이용하여 영상을 생성한다면, 보정의 정확도는 더욱 향상될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 라이다 센서 정보 업-샘플링 방법의 설명에 제공되는 도면이다.
먼저, 법선 벡터가 부가된 라이다 센서 측정 값을 획득한다(S210). 법선 벡터가 부가된 라이다 센서 측정 값은 전술한 라이다 센서 정보 보정을 통해 생성한 것을 이용하거나, 이와 별개로 생성할 수도 있다.
다음, S210단계에서 획득한 라이다 센서 측정 값을 영상으로 투영하고(S20), S220단계에서 투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파한다(S230).
S230단계에서의 전파는, S220단계에서 투영된 라이다 센서 측정 값의 투영 위치와 법선 벡터에 백색 잡음을 더하여, 다수의 인접 픽셀들의 라이다 센서 측정 값들을 생성하는 과정에 해당한다.
이후, S230단계에서 전파된 라이다 센서 측정 값들 간의 유사도들을 계산하고(S240), 유사도가 가장 큰 라이다 센서 측정 값을 추가하여 업-샘플링을 수행한다(S250).
인접하는 픽셀끼리는 3차원 정보가 유사할 것에 가정을 두고, N개의 샘플을 생성하여 전파한 후 가장 유사도가 높은 값을 갖는 3차원 정보를 할당하는 것이며, 이후 S220단계부터 재수행된다.
즉, S250단계에사 추가된 라이다 센서 측정 값을 영상으로 투영하고(S20), S220단계에서 투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파하며(S230), S230단계에서 전파된 라이다 센서 측정 값들 간의 유사도들을 계산하고(S240), 유사도가 가장 큰 라이다 센서 측정 값을 추가(S250)하는 것을 반복한다.
절차 반복은 S230단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과할 때까지 이루어지는 것으로 구현 가능하다. 즉, 반복 횟수는 S240단계에서 최대 유사도가 임계치를 초과할 때까지로 제한할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 라이다 센서 정보 처리 장치의 블럭도이다.
본 발명의 실시예에 따른 라이다 센서 정보 처리 장치는, 도시된 바와 같이, 다중 영상 획득부(310), 라이다 정보 획득부(320), 라이다 정보 보정부(330), 라이다 정보 업-샘플링부(340)를 포함하여 구성된다.
다중 영상 획득부(310)는 카메라(미도시)로부터 라이다 센서 정보의 보정과 업-샘플링 과정에 필요한 영상 정보를 획득한다.
라이다 정보 획득부(320)는 라이다 센서(미도시)로부터 보정과 업-샘플링 대상이 되는 라이다 정보를 획득한다.
라이다 정보 보정부(330)는 다중 영상 획득부(310)를 통해 획득한 영상 정보를 이용하여 라이다 정보 획득부(320)에서 획득된 라이다 센서 정보를 보정한다.
라이다 정보 업-샘플링부(340)는 다중 영상 획득부(310)를 통해 획득한 영상 정보를 이용하여 라이다 정보 획득부(320)에서 획득된 라이다 센서 정보를 업-샘플링한다.
한편, 라이다 정보 보정부(330)와 라이다 정보 업-샘플링부(340)는 선택적인 구현이 가능하다. 즉, 둘 중 하나만을 포함시키는 경우, 즉, 라이다 정보를 보정만 하거나 업-샘플링만 하는 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
지금까지, 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예들에서는, 2대 이상의 카메라를 활용하여 라이다 정보를 보정하고 업-샘플링함으로써, 라이다 센서의 정확도 향상과 정보량 증가에 의한 조밀도 향상 모두가 가능해져, 고가의 라이다 센서를 이용하거나 다수의 라이다 센서를 이용할 필요가 없어진다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 다중 영상 획득부
320 : 라이다 정보 획득부
330 : 라이다 정보 보정부
340 : 라이다 정보 업-샘플링부

Claims (8)

  1. 라이다 센서 측정 값들을 획득하는 단계;
    다중 영상을 획득하는 단계;
    측정된 라이다 센서 측정 값들 중 일부를 샘플링하는 단계;
    샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하는 단계;
    샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하는 단계;
    각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하는 단계;
    계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 단계;를 포함하는 것을 특징으로 하는 라이다 정보 처리 방법.
  2. 청구항 1에 있어서,
    선택된 라이다 센서 측정 값의 법선 벡터를 램덤으로 부가하여, 다수의 라이다 센서 측정 값들을 생성하는 단계;
    생성된 라이다 센서 측정 값들 중 일부를 샘플링하는 단계;
    샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하는 단계;
    샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하는 단계;
    각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하는 단계;
    계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 단계;를 더 포함하는 것을 특징으로 하는 라이다 정보 처리 방법.
  3. 청구항 2에 있어서,
    계산 단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과하지 않으면, 생성 단계부터 재수행하는 것을 특징으로 하는 라이다 정보 처리 방법.
  4. 청구항 1에 있어서,
    계산 단계는,
    투영 위치와 법선 벡터를 이용하여 유사도를 계산하는 것을 특징으로 하는 라이다 정보 처리 방법.
  5. 청구항 1에 있어서,
    법선 벡터가 부가된 라이다 센서 측정 값을 영상으로 투영하는 단계;
    투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파하는 단계;
    전파된 라이다 센서 측정 값들 간의 유사도들을 계산하는 단계;
    유사도가 가장 큰 라이다 센서 측정 값을 추가하는 단계;를 더 포함하는 것을 특징으로 하는 라이다 정보 처리 방법.
  6. 청구항 5에 있어서,
    전파 단계는,
    투영된 라이다 센서 측정 값의 투영 위치와 법선 벡터에 백색 잡음을 더하여, 다수의 인접 픽셀들의 라이다 센서 측정 값들을 생성하는 것을 특징으로 하는 라이다 정보 처리 방법.
  7. 청구항 5에 있어서,
    추가된 라이다 센서 측정 값을 영상으로 투영하는 단계;
    투영된 라이다 센서 측정 값을 영상 내에서 다수의 인접 픽셀들로 전파하는 단계;
    전파된 라이다 센서 측정 값들 간의 유사도들을 계산하는 단계;
    유사도가 가장 큰 라이다 센서 측정 값을 추가하는 단계;를 더 포함하고,
    계산 단계에서 계산된 유사도들 중 가장 큰 유사도가 임계치를 초과하지 않으면, 투영 단계부터 재수행하는 것을 특징으로 하는 라이다 정보 처리 방법.
  8. 라이다 센서 측정 값들을 획득하는 제1 획득부;
    다중 영상을 획득하는 제2 획득부; 및
    측정된 라이다 센서 측정 값들 중 일부를 샘플링하고, 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제1 영상에 각각 투영하며, 샘플링된 라이다 센서 측정 값들을 다중 영상 중 제2 영상에 각각 투영하고, 각 라이다 센서 측정 값의 제1 영상으로의 투영 위치와 제2 영상으로의 투영 위치 간 유사도를 계산하며, 계산된 유사도가 가장 큰 라이다 센서 측정 값을 선택하는 보정부;를 포함하는 것을 특징으로 하는 라이다 정보 처리 장치.
KR1020200163568A 2020-11-30 2020-11-30 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치 KR20220075476A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200163568A KR20220075476A (ko) 2020-11-30 2020-11-30 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치
PCT/KR2020/017217 WO2022114311A1 (ko) 2020-11-30 2020-11-30 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163568A KR20220075476A (ko) 2020-11-30 2020-11-30 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220075476A true KR20220075476A (ko) 2022-06-08

Family

ID=81755077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163568A KR20220075476A (ko) 2020-11-30 2020-11-30 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20220075476A (ko)
WO (1) WO2022114311A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
KR102061522B1 (ko) * 2019-10-31 2020-01-02 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
WO2022114311A1 (ko) 2022-06-02

Similar Documents

Publication Publication Date Title
US8339582B2 (en) Apparatus and method to correct image
US10559095B2 (en) Image processing apparatus, image processing method, and medium
KR20140027468A (ko) 깊이 측정치 품질 향상
CN112686961B (zh) 一种深度相机标定参数的修正方法、装置
JP2011242183A (ja) 画像処理装置、画像処理方法およびプログラム
CN109640066A (zh) 高精度稠密深度图像的生成方法和装置
CN111047650A (zh) 一种用于飞行时间相机的参数标定方法
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
CN110428461B (zh) 结合深度学习的单目slam方法及装置
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP2018132477A (ja) 深度推定装置、寸法推定装置、深度推定方法、寸法推定方法、及びプログラム
KR20220075476A (ko) 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
JP2006195790A (ja) レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
JP6456084B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010251878A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
CN114373010A (zh) 建图回环校正方法、装置及介质
US10867225B2 (en) Measurement system and measurement method
JP2012068842A (ja) 動きベクトル検出装置、動きベクトル検出方法、および、動きベクトル検出プログラム
US10896333B2 (en) Method and device for aiding the navigation of a vehicle
JP2001235819A (ja) カメラのキャリブレーション方法および装置ならびに対応点探索方法
CN111145268A (zh) 一种视频注册方法及装置
CN110751731A (zh) 一种用于结构光的3d重建方法和系统
KR102684771B1 (ko) 영상을 안정화하는 장치 및 방법