KR20200095379A - 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 - Google Patents

자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR20200095379A
KR20200095379A KR1020200007632A KR20200007632A KR20200095379A KR 20200095379 A KR20200095379 A KR 20200095379A KR 1020200007632 A KR1020200007632 A KR 1020200007632A KR 20200007632 A KR20200007632 A KR 20200007632A KR 20200095379 A KR20200095379 A KR 20200095379A
Authority
KR
South Korea
Prior art keywords
vehicle
specific
communication
cnn
condition
Prior art date
Application number
KR1020200007632A
Other languages
English (en)
Other versions
KR102373492B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095379A publication Critical patent/KR20200095379A/ko
Application granted granted Critical
Publication of KR102373492B1 publication Critical patent/KR102373492B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

카메라의 틀어진 각도를 보정하기 위한 방법에 있어서, (a) 컴퓨팅 장치가, 참조 이미지를 참조하여 상황 정보에 따라 제1 참조 데이터 또는 제2 참조 데이터를 생성하는 단계; (b) 상기 컴퓨팅 장치가, 상기 제1 참조 데이터 또는 상기 제2 참조 데이터, 및 차량 좌표 데이터를 참조로 하여, 제1 각도 오차 또는 제2 각도 오차를 생성하는 단계; 및 (c) 상기 컴퓨팅 장치가, 물리적 회전 모듈로 하여금, 상기 제1 각도 오차 또는 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 하는 단계;를 포함하는 방법이 제공된다.

Description

자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치{METHOD FOR CORRECTING MISALIGNMENT OF CAMERA BY SELECTIVELY USING INFORMATION GENERATED BY ITSELF AND INFORMATION GENERATED BY OTHER ENTITIES AND DEVICE USING THE SAME}
본 발명은 자율 주행 차량에 이용하기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하기 위한 방법 및 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolution Neural Network; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 해결하기 위해 90년대에 이미 사용되었지만, 머신 러닝 분야에 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 예를 들어, 매년 열리는 소프트웨어 콘테스트인 이미지넷(ImageNet) 이미지 분류 시합에서 CNN은 2012년에 다른 경쟁자들을 이기고 우승을 차지했다. 그 후, CNN은 머신 러닝 분야에서 매우 유용한 툴이 되었다.
이와 같은 CNN은 최근 자율 주행 분야에서 많이 사용되고 있다. 자율 주행 분야에서 CNN은, 객체 검출, 자유 공간(free space) 검출, 시맨틱 세그멘테이션(Semantic segmentation) 등의 동작을 수행할 수 있다.
CNN은 자율 주행 차량에 탑재된 카메라를 통해 획득된 이미지를 연산함으로써 상술한 동작을 수행할 수 있다. 일 예로, 객체 검출을 수행할 때, CNN은 카메라를 통해 획득된 이미지에 포함된 객체에 대해 상기 이미지에 대응하는 2차원 좌표계에서의 위치 및 클래스를 검출하여, 3차원 좌표계에서의 상기 객체의 위치 및 객체의 클래스를 출력하게 된다. 이와 같이 2차원 좌표계에서 3차원 좌표계로의 변환 프로세스에는, 카메라의 물리적 특성을 나타내는 카메라 파라미터를 사용하게 된다.
이와 같은 접근의 치명적인 약점은, 카메라의 실제 물리적 특성이 카메라 파라미터에 반영되지 않는 경우 상기 변환 프로세스에 문제가 생긴다는 점이다. 즉, 카메라에 가해지는 충격과 같은 외부 요인에 의해 카메라의 물리적 특성이 바뀐다면, 상기 변환 프로세스에서 그 전제가 틀리게 되는 것이므로 적절하게 변환 프로세스가 수행되지 않게 된다. 현재까지의 자율 주행에 대한 연구는, 이미지 프로세싱에 집중되어 있었고, 이와 같은 문제점을 해결하는 방법은 많이 연구되지 않았던 것이 현실이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 감지하고 보정하는 방법을 제공함으로써 외부 요인으로 인한 자율 주행의 위험을 줄이는 것을 다른 목적으로 한다.
또한, 본 발명은 각각의 다른 차량에 의해 생성된 각각의 정보를 통합하여, 상기 자체적으로 생성된 정보와 비교할 수 있는 데이터를 생성하는 방법을 제공함으로써 카메라의 오정렬을 보정하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 대상 차량에 의해 자체적으로 생성된 프라이머리(primary) 정보 및 다른 개체에 의해 생성된 세컨더리(secondary) 정보 - 상기 프라이머리 정보 및 상기 세컨더리 정보 중 적어도 하나는, 상기 대상 차량에 설치된 원치 않게 기울어진 카메라의 틀어진 각도를 보정하기 위해 이용될, 상기 대상 차량의 주변에 대한 상황 정보를 참조하여 선택됨 - 중 적어도 일부를 사용하여 상기 틀어진 각도를 보정하기 위한 방법에 있어서, (a) 컴퓨팅 장치가, 상기 대상 차량의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, (i) 상기 상황 정보가 도로상의 차선과 관련된 제1 조건에 대응하는 경우, 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 참조 이미지에 적어도 하나의 제1 CNN 연산을 가하여, 상기 참조 이미지의 참조 차선에 대한 정보를 포함하는 제1 참조 데이터를 생성하도록 하는 프로세스, 및 (ii) 상기 상황 정보가 상기 도로상의 다른 차량과 관련된 제2 조건에 대응하는 경우, 제2 CNN으로 하여금, 상기 참조 이미지에 적어도 하나의 제2 CNN 연산을 가하여, 상기 참조 이미지의 하나 이상의 참조 차량에 대한 정보를 포함하는 제2 참조 데이터를 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 컴퓨팅 장치가 보정 모듈로 하여금, (i) 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 제1 참조 데이터 및 차량 좌표 데이터를 참조로 하여, 상기 참조 차선에 대응되는 상기 카메라에 대한 적어도 하나의 제1 각도 오차를 생성하는 프로세스, 및 (ii) 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터 및 상기 차량 좌표 데이터를 참조로 하여, 상기 참조 차량에 대응되는 상기 카메라에 대한 적어도 하나의 제 2 각도 오차를 생성하는 프로세스를 수행하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 대상 차량에 탑재된 물리적 회전 모듈로 하여금, (i) 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 참조 차선에 대응되는 상기 제1 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하는 프로세스, 및 (ii) 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 참조 차량에 대응되는 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하는 프로세스를 수행하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, (i) 상기 제1 CNN에 포함된 적어도 하나의 제1 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 참조 특징 맵을 생성하도록 하고, (ii) 상기 제1 CNN에 포함된 적어도 하나의 제1 풀링(pooling) 레이어로 하여금, 상기 제1 참조 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제1 CNN에 포함된 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금, 상기 제1 참조 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차선에 대한 검출 결과를 상기 제1 참조 데이터로서 생성하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) 상기 차량 좌표 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면에 상기 참조 차선을 맵핑(mapping)하도록 하고, (ii) 상기 참조 차선 중 적어도 하나와 상기 좌표 평면 상의 참조 축 간의 적어도 하나의 제1 차이 각도를 계산하도록 하며, (iii) 이를 상기 제1 각도 오차로서 생성하도록 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, (i) 상기 제2 CNN에 포함된 적어도 하나의 제2 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제2 참조 특징 맵을 생성하도록 하고, (ii) 상기 제2 CNN에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 제2 참조 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제2 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제2 CNN에 포함된 적어도 하나의 제2 FC 레이어로 하여금, 상기 제2 참조 풀링된 특징 맵에 적어도 하나의 제2 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차량에 대한 검출 결과를 상기 제2 참조 데이터로서 생성하도록 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터를 생성하는 프로세스와 병렬적으로, 상기 대상 차량으로부터 제1 임계치 이하의 거리에 위치한 하나 이상의 V2V(vehicle-to-vehicle) 통신 차량과 무선 통신을 수행함으로써 상기 V2V 통신 차량으로부터 비교 데이터를 획득하되, 상기 V2V 통신 차량에 속해 있는 제1 특정 V2V 통신 차량 내지 제N 특정 V2V 통신 차량 - N은 상기 V2V 통신 차량의 개수임 - 중 제K 특정 V2V 통신 차량 - K는 1부터 N까지의 정수임 - 으로부터 획득된, 상기 비교 데이터 중 제K 특정 비교 데이터는, 상기 제K 특정 V2V 통신 차량이 상기 대상 차량으로부터 제2 임계치 이하인 거리에 위치한 자신의 제K 특정 주변 차량에 대해 생성한 상기 제K 특정 주변 차량의 위치에 대한 정보를 포함하고, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) (i-1) 상기 제2 참조 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면 상에 상기 대상 차량을 기준으로 상기 참조 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 이미지 기반 좌표를 생성하는 프로세스 및 (i-2) 상기 비교 데이터를 참조로 하여, 상기 좌표 평면 상에 상기 대상 차량을 기준으로 상기 V2V 통신 차량의 주변 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 통신 기반 좌표를 생성하는 프로세스를 수행하도록 하고, (ii) 상기 이미지 기반 좌표 및 상기 통신 기반 좌표를 참조로 하여 상기 제2 각도 오차를 생성하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, 상기 카메라의 FOV(Field-Of-View)에 대한 정보 및 상기 제K 특정 V2V 통신 모듈로부터 획득된 상기 제K 특정 비교 데이터를 참조로 하여, (i) 상기 제K 특정 V2V 통신 차량에 의해 예측된 상기 제K 특정 주변 차량의 위치를 상기 좌표 평면 상에 맵핑(mapping)하도록 함으로써, 하나 이상의 제K 초기 좌표를 생성하도록 하고, (ii) 상기 제K 초기 좌표를 포함하는, 하나 이상의 제1 초기 좌표 내지 하나 이상의 제N 초기 좌표를 참조로 하여, 상기 주변 차량의 상기 통신 기반 좌표를 생성하도록 한다.
일 실시예예서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 보정 모듈로 하여금, 적어도 하나의 제1 특정 직선과 적어도 하나의 제2 특정 직선 간의 적어도 하나의 제2 차이 각도를 계산하고 이를 상기 제2 각도 오차로서 출력하도록 하되, 상기 제1 특정 직선은, 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 통신 기반 좌표 및 상기 좌표 평면 상의 원점을 포함하는 직선이며, 상기 제2 특정 직선은, 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 이미지 기반 좌표 및 상기 좌표 평면의 원점을 포함하는 직선이다.
일 실시예에서, 상기 (b) 단계에서, (i) 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 특정 참조 차량, (ii) 상기 특정 참조 차량에 대응하는 특정 이미지 기반 좌표, 및 (iii) 상기 특정 참조 차량에 대응되는 특정 통신 기반 좌표가 복수 개인 경우, 상기 컴퓨팅 장치가 하기 수식에 따라 상기 제2 각도 오차를 생성하되,
Figure pat00001
Figure pat00002
은 상기 특정 참조 차량의 개수를 의미하고,
Figure pat00003
는 제K 특정 참조 차량의 제K 특정 이미지 기반 좌표를 의미하며,
Figure pat00004
는 상기 제K 특정 참조 차량의 제K 특정 통신 기반 좌표를 의미하고,
Figure pat00005
는 상기 제K 특정 참조 차량에 할당된 가중치를 의미한다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 대상 차량의 주행 정보가 상기 대상 차량의 CAN(Controller Area Network)으로부터 획득되면, 상기 주행 정보가 직진 주행에 대한 조건 A에 대응하는지 또는 직진이 아닌 주행에 대한 조건 B에 대응하는지를 결정하고, 상기 주행 정보가 상기 조건 A에 대응하는 경우, 상기 제1 CNN 또는 상기 제2 CNN으로 하여금, 상기 참조 이미지에 상기 제1 CNN 연산 또는 상기 제2 CNN 연산을 가하도록 한다.
본 발명의 다른 태양에 따르면, 대상 차량에 의해 자체적으로 생성된 프라이머리(primary) 정보 및 다른 개체에 의해 생성된 세컨더리(secondary) 정보 - 상기 프라이머리 정보 및 상기 세컨더리 정보 중 적어도 하나는, 상기 대상 차량에 설치된 원치 않게 기울어진 카메라의 틀어진 각도를 보정하기 위해 이용될, 상기 대상 차량의 주변에 대한 상황 정보를 참조하여 선택됨 - 중 적어도 일부를 사용하여 상기 틀어진 각도를 보정하기 위한 컴퓨팅 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 상기 대상 차량의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 상황 정보가 도로상의 차선과 관련된 제1 조건에 대응하는 경우, 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 참조 이미지에 적어도 하나의 제1 CNN 연산을 가하여, 상기 참조 이미지의 참조 차선에 대한 정보를 포함하는 제1 참조 데이터를 생성하도록 하고, 상기 상황 정보가 상기 도로상의 다른 차량과 관련된 제2 조건에 대응하는 경우, 제2 CNN으로 하여금, 상기 참조 이미지에 적어도 하나의 제2 CNN 연산을 가하여, 상기 참조 이미지의 하나 이상의 참조 차량에 대한 정보를 포함하는 제2 참조 데이터를 생성하도록 하는 프로세스, (II) 보정 모듈로 하여금, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 제1 참조 데이터 및 차량 좌표 데이터를 참조로 하여, 상기 참조 차선에 대응되는 상기 카메라에 대한 적어도 하나의 제1 각도 오차를 생성하도록 하고, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터 및 상기 차량 좌표 데이터를 참조로 하여, 상기 참조 차량에 대응되는 상기 카메라에 대한 적어도 하나의 제 2 각도 오차를 생성하도록 하는 프로세스, 및 (III) 상기 대상 차량에 탑재된 물리적 회전 모듈로 하여금, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 참조 차선에 대응되는 상기 제1 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 하고, 및 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 참조 차량에 대응되는 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, (i) 상기 제1 CNN에 포함된 적어도 하나의 제1 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 참조 특징 맵을 생성하도록 하고, (ii) 상기 제1 CNN에 포함된 적어도 하나의 제1 풀링(pooling) 레이어로 하여금, 상기 제1 참조 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제1 CNN에 포함된 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금, 상기 제1 참조 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차선에 대한 검출 결과를 상기 제1 참조 데이터로서 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) 상기 차량 좌표 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면에 상기 참조 차선을 맵핑(mapping)하도록 하고, (ii) 상기 참조 차선 중 적어도 하나와 상기 좌표 평면 상의 참조 축 간의 적어도 하나의 제1 차이 각도를 계산하도록 하며, (iii) 이를 상기 제1 각도 오차로서 생성하도록 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, (i) 상기 제2 CNN에 포함된 적어도 하나의 제2 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제2 참조 특징 맵을 생성하도록 하고, (ii) 상기 제2 CNN에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 제2 참조 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제2 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제2 CNN에 포함된 적어도 하나의 제2 FC 레이어로 하여금, 상기 제2 참조 풀링된 특징 맵에 적어도 하나의 제2 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차량에 대한 검출 결과를 상기 제2 참조 데이터로서 생성하도록 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터를 생성하는 프로세스와 병렬적으로, 상기 대상 차량으로부터 제1 임계치 이하의 거리에 위치한 하나 이상의 V2V(vehicle-to-vehicle) 통신 차량과 무선 통신을 수행함으로써 상기 V2V 통신 차량으로부터 비교 데이터를 획득하되, 상기 V2V 통신 차량에 속해 있는 제1 특정 V2V 통신 차량 내지 제N 특정 V2V 통신 차량 - N은 상기 V2V 통신 차량의 개수임 - 중 제K 특정 V2V 통신 차량 - K는 1부터 N까지의 정수임 - 으로부터 획득된, 상기 비교 데이터 중 제K 특정 비교 데이터는, 상기 제K 특정 V2V 통신 차량이 상기 대상 차량으로부터 제2 임계치 이하인 거리에 위치한 자신의 제K 특정 주변 차량에 대해 생성한 상기 제K 특정 주변 차량의 위치에 대한 정보를 포함하고, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) (i-1) 상기 제2 참조 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면 상에 상기 대상 차량을 기준으로 상기 참조 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 이미지 기반 좌표를 생성하는 프로세스 및 (i-2) 상기 비교 데이터를 참조로 하여, 상기 좌표 평면 상에 상기 대상 차량을 기준으로 상기 V2V 통신 차량의 주변 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 통신 기반 좌표를 생성하는 프로세스를 수행하도록 하고, (ii) 상기 이미지 기반 좌표 및 상기 통신 기반 좌표를 참조로 하여 상기 제2 각도 오차를 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, 상기 카메라의 FOV(Field-Of-View)에 대한 정보 및 상기 제K 특정 V2V 통신 모듈로부터 획득된 상기 제K 특정 비교 데이터를 참조로 하여, (i) 상기 제K 특정 V2V 통신 차량에 의해 예측된 상기 제K 특정 주변 차량의 위치를 상기 좌표 평면 상에 맵핑(mapping)하도록 함으로써, 하나 이상의 제K 초기 좌표를 생성하도록 하고, (ii) 상기 제K 초기 좌표를 포함하는, 하나 이상의 제1 초기 좌표 내지 하나 이상의 제N 초기 좌표를 참조로 하여, 상기 주변 차량의 상기 통신 기반 좌표를 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 보정 모듈로 하여금, 적어도 하나의 제1 특정 직선과 적어도 하나의 제2 특정 직선 간의 적어도 하나의 제2 차이 각도를 계산하고 이를 상기 제2 각도 오차로서 출력하도록 하되, 상기 제1 특정 직선은, 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 통신 기반 좌표 및 상기 좌표 평면 상의 원점을 포함하는 직선이며, 상기 제2 특정 직선은, 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 이미지 기반 좌표 및 상기 좌표 평면의 원점을 포함하는 직선이다.
일 실시예에서, 상기 (II) 프로세스에서, (i) 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 특정 참조 차량, (ii) 상기 특정 참조 차량에 대응하는 특정 이미지 기반 좌표, 및 (iii) 상기 특정 참조 차량에 대응되는 특정 통신 기반 좌표가 복수 개인 경우, 상기 프로세서가 하기 수식에 따라 상기 제2 각도 오차를 생성하되,
Figure pat00006
Figure pat00007
은 상기 특정 참조 차량의 개수를 의미하고,
Figure pat00008
는 제K 특정 참조 차량의 제K 특정 이미지 기반 좌표를 의미하며,
Figure pat00009
는 상기 제K 특정 참조 차량의 제K 특정 통신 기반 좌표를 의미하고,
Figure pat00010
는 상기 제K 특정 참조 차량에 할당된 가중치를 의미한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 대상 차량의 주행 정보가 상기 대상 차량의 CAN(Controller Area Network)으로부터 획득되면, 상기 주행 정보가 직진 주행에 대한 조건 A에 대응하는지 또는 직진이 아닌 주행에 대한 조건 B에 대응하는지를 결정하고, 상기 주행 정보가 상기 조건 A에 대응하는 경우, 상기 제1 CNN 또는 상기 제2 CNN으로 하여금, 상기 참조 이미지에 상기 제1 CNN 연산 또는 상기 제2 CNN 연산을 가하도록 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 감지하고 보정하는 방법을 제공함으로써 외부 요인으로 인한 자율 주행의 위험을 줄일 수 있는 효과가 있다.
또한, 본 발명은 각각의 다른 차량에 의해 생성된 각각의 정보를 통합하여, 상기 자체적으로 생성된 정보와 비교할 수 있는 데이터를 생성하는 방법을 제공함으로써 카메라의 오정렬을 보정할 수 있는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 사용하여 카메라의 오정렬을 보정하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하기 위해 이용될, 제1 각도 오차가 획득되는 방식을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하기 위해 이용될, 제2 각도 오차가 획득되는 방식을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 V2V(vehicle-to-vehicle) 정보 퓨전을 이용한 협업 진단(cooperative diagnostic) 기능을 통해 카메라의 오정렬을 감지하고 보정하는 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 컴퓨팅 장치(100)는, 추후 자세히 설명할 구성요소들인 제1 CNN(Convolutional Neural Network)(130), 제2 CNN(140) 및 보정 모듈(150)을 포함할 수 있다. 상기 제1 CNN(130), 상기 제2 CNN(140) 및 상기 보정 모듈(150)의 입출력 및 연산 프로세스는 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 수행될 수 있다. 다만 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 실행하도록 설정되되, 추후 설명할 상기 인스트럭션들을 실행함으로써 본 발명의 프로세스들을 수행할 수 있다. 이와 같이 컴퓨팅 장치(100)가 묘사되었다고 하여, 상기 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 프로세서, 메모리, 매체(medium) 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이상 본 발명의 일 실시예에 따른 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬를 보정하는 방법을 수행하는 컴퓨팅 장치(100)의 구성에 대해 설명한 바, 이하 본 발명의 오정렬을 보정하는 방법 자체에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 상기 자체적으로 생성된 정보 및 상기 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 상기 카메라의 상기 오정렬을 보정하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 상기 컴퓨팅 장치(100)는, 대상 차량에 설치된 카메라를 통해 적어도 하나의 참조 이미지를 획득할 수 있다(S01). 그 후, 상기 컴퓨팅 장치(100)는, 추후 설명할 상기 대상 차량의 상황 정보가 제1 조건에 대응하는 경우, S02-1 단계, S03-1 단계 및 S04-1 단계에 대응하는 제1 프로세스를 수행할 수 있다. 이와 달리 상기 상황 정보가 제2 조건에 대응하는 경우, 상기 컴퓨팅 장치(100)는, S02-2 단계, S03-2 단계 및 S04-2 단계에 대응하는 제2 프로세스를 수행할 수 있다. 즉, 상기 제1 프로세스 및 상기 제2 프로세스가 도 2에 도시된 것과 같이 두 종류의 프로세스가 상기 상황 정보에 따라 선택적으로 수행될 수 있다. 다만, 상기 두 종류의 프로세스가 병렬적으로 함께 수행되는 경우도 가능할 것이다.
상기 제1 프로세스에 대하여, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 컴퓨팅 장치(100)는 상기 제1 CNN(130)으로 하여금, 상기 참조 이미지에 적어도 하나의 제1 CNN 연산을 가하여, 상기 참조 이미지의 참조 차선에 대한 정보를 포함하는 제1 참조 데이터를 생성하도록 할 수 있다(S02-1). 그리고, 상기 컴퓨팅 장치(100)는 상기 보정 모듈(150)로 하여금, 상기 제1 참조 데이터 및 차량 좌표 데이터를 참조로 하여, 상기 참조 차선에 대응되는 상기 카메라에 대한 적어도 하나의 제1 각도 오차를 생성하도록 할 수 있다(S03-1). 그 후, 상기 컴퓨팅 장치(100)는, 상기 대상 차량에 탑재된 물리적 회전 모듈(미도시)로 하여금, 상기 제1 각도 오차를 참조로 하여 상기 카메라의 틀어진 각도를 조정하도록 할 수 있다(S04-1). 이때, 상기 틀어진 각도는, 상기 카메라에 가해지는 물리적 충돌과 같은 외부 요인에 의해 원치 않게 생긴 것일 수 있다.
이와 달리, 상기 제2 프로세스에 대하여, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 컴퓨팅 장치(100)는 상기 제2 CNN(140)으로 하여금, 상기 참조 이미지에 적어도 하나의 제2 CNN 연산을 가하여, 상기 참조 이미지의 참조 차량에 대한 정보를 포함하는 제2 참조 데이터를 생성하도록 할 수 있다(S02-2). 그리고, 상기 컴퓨팅 장치(100)는 상기 보정 모듈(150)로 하여금, 상기 제2 참조 데이터 및 상기 차량 좌표 데이터를 참조로 하여, 상기 참조 차량에 대응되는 상기 카메라에 대한 적어도 하나의 제2 각도 오차를 생성하도록 할 수 있다(S03-2). 그 후, 상기 컴퓨팅 장치(100)는, 상기 대상 차량에 탑재된 상기 물리적 회전 모듈(미도시)로 하여금, 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 할 수 있다(S04-2).
이상 본 발명의 오정렬을 보정하는 방법에 대해 간략히 설명하였다. 이하, 상기 방법에 대하여 더욱 구체적으로 설명하도록 한다.
먼저, 상기 상황 정보는, 상기 대상 차량 주변에 차선의 개수가 충분한지, 즉 상기 차선의 개수가 제1 임계치 이상인지에 대한 정보, 및 상기 대상 차량 주변의 차량 수가 충분한지, 즉 상기 대상 차량 주변의 차량 수가 제2 임계치 이상인지에 대한 정보를 포함할 수 있다. 이때, 상기 상황 정보의 상기 제1 조건은, 상기 대상 차량 주변에 차선의 개수가 상기 제1 임계치 이상인 경우를 의미할 수 있다. 추후 설명하겠지만, 상기 제1 프로세스는, 상기 참조 차선에 대한 정보를 사용하여 수행되므로 상기 상황 정보의 상기 제1 조건이 요구된다. 또한, 상기 상황 정보의 상기 제2 조건은, 상기 대상 차량 주변의 차량 수가 상기 제2 임계치 이상인 경우를 의미할 수 있다. 또한 추후 설명하겠지만, 상기 제2 프로세스는, 상기 참조 차량에 대한 정보를 사용하여 수행되므로 상기 상황 정보의 상기 제2 조건이 요구된다.
상술한 것과 같이 이용될 상기 상황 정보는 여러 가지 방법을 통해 획득될 수 있다. 일 예로, 상기 제1 CNN(130) 및 상기 제2 CNN(140) 외의 다소 단순한 구조의 다른 뉴럴 네트워크가, 상기 컴퓨팅 장치(100)에 포함되어, 상기 대상 차량 주변의 이미지를 획득할 수 있고 상기 대상 차량의 주변에 대한 대략적인 정보를 검출할 수 있다. 다른 예로, 상기 대상 차량의 위치는 서버에 전달될 수 있으며, 상기 서버는 상기 대상 차량의 상기 상황 정보를 상기 컴퓨팅 장치(100)에 전달할 수 있다. 더 단순하게는, 상기 대상 차량의 탑승자가 주변을 확인하고, 상기 상황 정보를 상기 컴퓨팅 장치(100)에 입력할 수 있다. 추가적으로, 상기 상황 정보는 상기 제1 조건 및 상기 제2 조건 모두에 대응할 수 있다. 이런 경우, 상기 제1 프로세스 및 상기 제2 프로세스 중 하나가 임의로 선택되거나, 상기 탑승자에 의해 선택될 수 있다.
이하 상기 대상 차량 주변의 차선을 기반으로 수행되는 제1 프로세스에 대해, 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 상기 자체적으로 생성된 정보 및 상기 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 상기 카메라의 상기 오정렬을 보정하기 위해 이용될, 제1 각도 오차가 획득되는 방식을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 상기 컴퓨팅 장치(100)는, 상기 제1 CNN(130) 및 상기 보정 모듈(150)을 통해 상기 제1 각도 오차를 생성함을 확인할 수 있다. 구체적으로, 상기 컴퓨팅 장치(100)는, 상기 제1 CNN(130)에 포함된 적어도 하나의 제1 컨벌루션 레이어(131)로 하여금, 상기 참조 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 참조 특징 맵을 생성하도록 한다. 이후, 상기 컴퓨팅 장치(100)는, 상기 제1 CNN(130)에 포함된 적어도 하나의 제1 풀링 레이어(132)로 하여금, 제1 RPN(Region Proposal Network)(134)으로부터 제1 ROI(Region-Of-Interest) 정보를 획득하도록 하고, 상기 제1 참조 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 참조 풀링된 특징 맵을 생성하도록 한다. 그리고, 상기 컴퓨팅 장치(100)가, 상기 제1 CNN(130)에 포함된 적어도 하나의 제1 FC(Fully-Connected) 레이어(133)로 하여금, 상기 제1 참조 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차선에 대한 검출 결과를 상기 제1 참조 데이터로서 생성하도록 한다. 이상의 프로세스는, 이미지 상의 객체를 검출하기 위해 이용되는"패스터 R-CNN(Faster Region-based Convolutional Neural Network)"의 널리 알려진 구조와 유사하므로, 통상의 기술자가 쉬이 이해할 수 있을 것이다.
그 후, 상기 컴퓨팅 장치(100)가, 상기 보정 모듈(150)로 하여금, 상기 차량 좌표 데이터에 대응하는 좌표 평면에 상기 참조 차선을 맵핑(mapping)하도록 한다. 일 예로, 상기 차량 좌표 데이터는, 상기 대상 차량에 설치된 상기 카메라의 카메라 파라미터에 대한 정보를 포함할 수 있다. 이 경우, 상기 카메라 파라미터를 이용한 널리 알려진 이미지 프로세싱 기술을 사용하여, 상기 대상 차량의 위치를 원점으로 하는 상기 좌표 평면에 상기 참조 차선이 맵핑된다. 그 후, 상기 컴퓨팅 장치(100)는, 상기 참조 차선 중에서 상기 대상 차량과 가장 가까운 특정 참조 차선(152)을 검출하며, 상기 특정 참조 차선(152)과 상기 좌표 평면 상의 기설정된 참조 축(151) 간의 제1 차이 각도를 계산하도록 한다. 상기 참조 축(151)은, 최적의 각도로 세팅된 상기 카메라에 의해 촬영된 이미지에서 상기 대상 차량에 평행하게 적절히 정렬된 차선을 설정하여 생성된, 상기 좌표 평면 상의 직선에 평행한 축일 수 있다. 상기 참조 축(151)과 상기 특정 참조 차선(152)간의 상기 제1 차이 각도를 계산함으로써, 현재 상태의 상기 카메라의 각도가 상기 최적의 각도를 기준으로 얼마나 벗어나 있는지를 계산할 수 있다. 상기 보정 모듈(150)은 상기 제1 차이 각도를 상기 제1 각도 오차로서 출력하고, 상기 컴퓨팅 장치(100)는 상기 물리적 회전 모듈로 하여금 상기 제1 각도 오차를 참조로 하여 상기 카메라의 각도를 조정하도록 할 수 있다.
다만, 이러한 제1 프로세스는, 상기 카메라가 상기 참조 이미지를 촬영하는 시점에 상기 대상 차량이 차선에 평행하게 주행 중인 경우에만 적절하게 수행될 수 있다. 이에 따라, 상기 컴퓨팅 장치(100)는, 상기 대상 차량의 CAN(Controller Area Network)으로부터 상기 대상 차량의 주행 정보를 획득하며, 상기 주행 정보가 상기 대상 차량이 제3 임계치의 시간 동안 계속하여 직진하는 상황을 나타내는 조건 A에 대응하는지 또는 상기 조건 A와 반대의 경우인 조건 B 에 대응하는지를 결정하고, 상기 주행 정보가 상기 조건 A에 대응하는 경우, 상기 제1 CNN(130)으로 하여금, 상기 참조 이미지에 상기 제1 CNN 연산을 가하여 상기 제1 프로세스를 수행하도록 할 수 있다.
이상 상기 제1 프로세스에 대해 설명한 바, 이하 상기 대상 차량 주변의 차량의 위치를 기반으로 수행되는 상기 제2 프로세스에 대해 도 4를 참조로 하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 상기 자체적으로 생성된 정보 및 상기 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 상기 카메라의 상기 오정렬을 보정하기 위해 이용될, 제2 각도 오차가 획득되는 방식을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 상기 컴퓨팅 장치(100)는, 상기 제2 CNN(140) 및 상기 보정 모듈(150)을 통해 상기 제2 각도 오차를 생성함을 확인할 수 있다. 구체적으로는, 상기 컴퓨팅 장치(100)가, 상기 제2 CNN(140)에 포함된 적어도 하나의 제2 컨벌루션 레이어(141)로 하여금, 상기 참조 이미지에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제2 참조 특징 맵을 생성하도록 한다. 이후, 상기 컴퓨팅 장치(100)가, 상기 제2 CNN(140)에 포함된 적어도 하나의 제2 풀링 레이어(142)로 하여금, 제2 RPN(144)로부터 제2 ROI 정보를 획득하도록 하고, 상기 제2 참조 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제2 참조 풀링된 특징 맵을 생성하도록 한다. 그리고, 상기 컴퓨팅 장치(100)가, 상기 제2 CNN(140)에 포함된 적어도 하나의 제2 FC 레이어(143)로 하여금, 상기 제2 참조 풀링된 특징 맵에 적어도 하나의 제2 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차량에 대한 검출 결과를 상기 제2 참조 데이터로서 생성하도록 한다. 이때, 상기 참조 차량은, 상기 대상 차량 주변의 차량 중에서 상기 참조 이미지 상에 촬영된 적어도 일부일 수 있다. 일 예로, 도 4에서 도시된 것처럼 상기 카메라가 상기 대상 차량의 전방에 설치된 경우, 상기 대상 차량의 전방에 위치한, 제1 참조 차량(300), 제2 참조 차량(400) 및 제3 참조 차량(500)은 상기 참조 차량으로서 촬영된 것일 수 있다.
상기 제2 프로세스를 수행하기 위해서, 상기 제2 참조 데이터 외에도 한 가지의 데이터, 즉 상기 비교 데이터가 더 필요하다. 상기 비교 데이터는, 상기 대상 차량(200) 주변의 차량 중 적어도 일부인 V2V 통신 차량으로부터 획득된다. 편의를 위해, 제1 내지 제N V2V 통신 차량(N은 1 이상인 정수임)이 존재한다고 상정한다.
상기 다수의 V2V 통신 차량으로부터 상기 비교 데이터를 획득하는 이러한 예를 설명하기 위해, 도 4를 참조하도록 한다. 도 4를 참조하면, 제K 특정 V2V 통신 차량(600) 및 제L 특정 V2V 통신 차량(700)을 확인할 수 있다. 이때, K 및 L은, 1부터 N까지의 정수이다. 상기 제K 특정 V2V 통신 차량(600) 및 상기 제L 특정 V2V 통신 차량(700)은, 이들의 전방에 카메라가 설치된 경우, 상기 대상 차량(200), 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)과 같은 주변 차량의 위치를 계산할 수 있다. 상기 제K 특정 V2V 통신 차량(600) 및 상기 제L 특정 V2V 통신 차량(700)은, 이들의 주변 차량, 즉 상기 대상 차량(200), 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 위치를, 제K 특정 비교 데이터 및 제L 특정 비교 데이터로서 계산하고, 이를 상기 대상 차량(200)의 상기 컴퓨팅 장치(100)에 전달할 수 있다. 이러한 프로세스를 수행하여, 제1 내지 제N 특정 비교 데이터를 포함하는 상기 비교 데이터가 획득될 수 있다.
그 후, 상기 컴퓨팅 장치(100)가, 상기 보정 모듈(150)로 하여금, 상기 제2 참조 데이터 및 상기 비교 데이터를 각각 참조하여, 두 종류의 좌표, 즉 이미지 기반 좌표 및 통신 기반 좌표를 각각 생성하도록 할 수 있다. 즉, 상기 컴퓨팅 장치(100)는, 상기 보정 모듈(150)로 하여금, 상기 제2 참조 데이터를 참조로 하여, 상기 대상 차량을 기준으로 상기 참조 차량의 하나 이상의 상대 위치를 나타내는, 상기 좌표 평면 상의 상기 이미지 기반 좌표를 생성하도록 할 수 있다. 간단히 말하면, 상기 이미지 기반 좌표는, 상기 현재 상태의 상기 카메라의 틀어진 각도를 이용하여 예측된 상기 참조 차량의 위치를 나타낼 수 있다. 상기 프로세스와 병렬로, 상기 컴퓨팅 장치(100)가, 상기 보정 모듈(150)로 하여금, 상기 비교 데이터를 참조로 하여, 상기 좌표 평면 상에 상기 대상 차량을 기준으로 상기 V2V 통신 차량의 주변 차량의 하나 이상의 상대 위치를 나타내는 상기 통신 기반 좌표를 생성할 수 있다. 이러한 통신 기반 좌표는, 상기 V2V 통신 차량에 의해 예측된 상기 V2V 통신 차량의 상기 주변 차량의 위치를 나타낼 수 있으며, 상기 이미지 기반 좌표와 비교하기 위해 이용될 수 있다.
상기 통신 기반 좌표가 획득되는 방식에 대해 도 4를 다시 참조하여 더 구체적으로 더 설명하도록 한다. 상기 컴퓨팅 장치(100)가, 상기 보정 모듈(150)로 하여금, 상기 카메라의 FOV(Field-Of-View)에 대한 정보, 상기 제K 특정 비교 데이터 및 상기 제L 특정 비교 데이터를 참조로 하여, 상기 제K 특정 V2V 통신 차량 주변에 위치한 제K 특정 주변 차량의 위치 및 상기 제L 특정 V2V 통신 차량 주변에 위치한 제L 특정 주변 차량의 위치를 상기 좌표 평면 상에 각각 맵핑(mapping)하도록 함으로써, 하나 이상의 제K 초기 좌표 및 하나 이상의 제L 초기 좌표를 각각 생성하도록 한다. 제1 내지 제N 초기 좌표가 획득됨에 따라, 상기 컴퓨팅 장치(100)는 상기 보정 모듈(150)로 하여금, 상기 V2V 통신 차량의 상기 주변 차량 각각에 대응하는 상기 초기 좌표의 각각을 통합함으로써 상기 통신 기반 좌표를 생성하도록 할 수 있다. 여기서, 상기 제1 내지 상기 제N 초기 좌표는 상기 제K 초기 좌표 및 상기 제L 초기 좌표를 포함할 수 있다.
이때, 상기 제K 특정 비교 데이터는, 상기 대상 차량(200), 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 각각의 예측 좌표
Figure pat00011
,
Figure pat00012
,
Figure pat00013
및
Figure pat00014
를 포함할 수 있고, 상기 제L 특정 비교 데이터는, 상기 대상 차량(200), 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 각각의 예측 좌표
Figure pat00015
,
Figure pat00016
,
Figure pat00017
및
Figure pat00018
를 포함할 수 있다. 이러한 예측 좌표는 상기 좌표 평면에 맵핑되어 상기 제K 초기 좌표 및 상기 제L 초기 좌표가 될 수 있다. 상기 좌표 평면의 원점은 상기 대상 차량(200)의 위치이므로, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 제K 초기 좌표는 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 예측 좌표에서 상기 대상 차량(200)의 예측 좌표를 뺄셈하여 계산될 수 있고, 상기 제L 초기 좌표도 유사한 방식으로 계산될 수 있다. 즉, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)의 상기 제K 초기 좌표는
Figure pat00019
,
Figure pat00020
및
Figure pat00021
로서 계산될 수 있고, 상기 제L 초기 좌표도 같은 방식을 통해
Figure pat00022
,
Figure pat00023
및
Figure pat00024
로서 계산될 수 있다.
이후, 상기 통신 기반 좌표 중 일부, 즉 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)에 대한 특정 통신 기반 좌표는, 상기 초기 좌표 중 일부 즉, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)에 대한 특정 초기 좌표를 통합하여 생성될 수 있다. 상기 특정 초기 좌표가 통합되는 방식을 이하 설명할 것인데, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)에 대응하는, 상기 제K 초기 좌표 및 상기 제L 초기 좌표만 존재하는 것으로 상정한다.
단순하게는, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 제3 참조 차량(500)에 대한 상기 통신 기반 좌표 중 상기 일부는, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 제3 참조 차량(500) 각각에 대응하는 각각의 상기 제K 초기 좌표 및 각각의 상기 제L 초기 좌표의 각 쌍을 평균으로 내어,
Figure pat00025
,
Figure pat00026
및
Figure pat00027
로서 계산될 수 있다. 상기 실시예에서, 단순히 평균을 내었지만, 가중 평균과 같은 다른 더 복잡한 방법이 사용될 수도 있을 것이다.
상기 통신 기반 좌표가 생성되면, 상기 컴퓨팅 장치(100)는, 상기 이미지 기반 좌표 및 이에 대응하는 상기 통신 기반 좌표를 참조하여 상기 제2 각도 오차를 생성할 수 있다. 구체적으로, 상기 컴퓨팅 장치(100)가, 상기 보정 모듈(150)로 하여금, 적어도 하나의 제1 특정 직선과 적어도 하나의 제2 특정 직선 간의 적어도 하나의 제2 차이 각도를 계산하고 이를 상기 제2 각도 오차로서 출력하도록 하되, 상기 제1 특정 직선은, 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 통신 기반 좌표 및 상기 좌표 평면 상의 원점을 포함하는 직선이며, 상기 제2 특정 직선은, 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 이미지 기반 좌표 및 상기 좌표 평면의 원점을 포함하는 직선이다. 복수 개의 특정 참조 차량이 존재하고, 그에 따라서 특정 통신 기반 좌표 및 특정 이미지 기반 좌표가 복수 개 존재하는 경우를 설명하기 위해, 도 4를 다시 참조하도록 한다.
도 4를 참조하면, 상기 제1 참조 차량(300), 상기 제2 참조 차량(400) 및 상기 제3 참조 차량(500)에 대한, 제1 특정 통신 기반 좌표(301), 제2 특정 통신 기반 좌표(401) 및 제3 특정 통신 기반 좌표(501)와 제1 특정 이미지 기반 좌표(302), 제2 특정 이미지 기반 좌표(402) 및 제3 특정 이미지 기반 좌표(502)를 확인할 수 있으며, 상기 제1 특정 통신 기반 좌표, 상기 제2 특정 통신 기반 좌표 및 상기 제3 통신 기반 좌표를 각각 포함하는 제1 직선과 상기 제1 특정 이미지 기반 좌표, 상기 제2 특정 이미지 기반 좌표 및 상기 제3 특정 이미지 기반 좌표를 각각 포함하는 제2 직선 간의 차이 각도(
Figure pat00028
및
Figure pat00029
)가 계산된 것을 확인할 수 있다. 상기 제2 각도 오차는 상기 차이 각도의 평균으로 계산될 수 있다.
이상의 프로세스는 하기 수식과 같이 일반화 될 수 있다.
Figure pat00030
이때,
Figure pat00031
은 상기 V2V 통신 차량의 상기 주변 차량 및 상기 참조 차량에 동시에 해당되는 상기 특정 참조 차량의 개수를 의미하고,
Figure pat00032
는 제K 특정 참조 차량의 제K 특정 이미지 기반 좌표를 의미한다. 또한,
Figure pat00033
는 상기 제K 특정 참조 차량의 제K 특정 통신 기반 좌표를 의미하고,
Figure pat00034
는 상기 제K 특정 참조 차량에 할당되는 가중치를 의미할 수 있다.
이상 설명된 상기 제2 프로세스는, 상기 참조 이미지가 획득된 시점과 상기 비교 데이터가 생성된 시점 간의 차이가 제4 임계치 이하인 경우에 수행될 수 있을 것이다. 또한, 상기 대상 차량이 직진하고 있지 않을때, 상기 제2 프로세스의 정확도가 떨어지므로, 상기 제1 프로세스와 유사하게, 상기 대상 차량의 상기 주행 정보가 직진 주행의 상기 A 조건에 대응될 때 상기 제2 프로세스가 수행될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 대상 차량에 의해 자체적으로 생성된 프라이머리(primary) 정보 및 다른 개체에 의해 생성된 세컨더리(secondary) 정보 - 상기 프라이머리 정보 및 상기 세컨더리 정보 중 적어도 하나는, 상기 대상 차량에 설치된 원치 않게 기울어진 카메라의 틀어진 각도를 보정하기 위해 이용될, 상기 대상 차량의 주변에 대한 상황 정보를 참조하여 선택됨 - 중 적어도 일부를 사용하여 상기 틀어진 각도를 보정하기 위한 방법에 있어서,
    (a) 컴퓨팅 장치가, 상기 대상 차량의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, (i) 상기 상황 정보가 도로상의 차선과 관련된 제1 조건에 대응하는 경우, 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 참조 이미지에 적어도 하나의 제1 CNN 연산을 가하여, 상기 참조 이미지의 참조 차선에 대한 정보를 포함하는 제1 참조 데이터를 생성하도록 하는 프로세스, 및 (ii) 상기 상황 정보가 상기 도로상의 다른 차량과 관련된 제2 조건에 대응하는 경우, 제2 CNN으로 하여금, 상기 참조 이미지에 적어도 하나의 제2 CNN 연산을 가하여, 상기 참조 이미지의 하나 이상의 참조 차량에 대한 정보를 포함하는 제2 참조 데이터를 생성하도록 하는 프로세스를 수행하는 단계;
    (b) 상기 컴퓨팅 장치가 보정 모듈로 하여금, (i) 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 제1 참조 데이터 및 차량 좌표 데이터를 참조로 하여, 상기 참조 차선에 대응되는 상기 카메라에 대한 적어도 하나의 제1 각도 오차를 생성하는 프로세스, 및 (ii) 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터 및 상기 차량 좌표 데이터를 참조로 하여, 상기 참조 차량에 대응되는 상기 카메라에 대한 적어도 하나의 제 2 각도 오차를 생성하는 프로세스를 수행하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 대상 차량에 탑재된 물리적 회전 모듈로 하여금, (i) 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 참조 차선에 대응되는 상기 제1 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하는 프로세스, 및 (ii) 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 참조 차량에 대응되는 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하는 프로세스를 수행하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, (i) 상기 제1 CNN에 포함된 적어도 하나의 제1 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 참조 특징 맵을 생성하도록 하고, (ii) 상기 제1 CNN에 포함된 적어도 하나의 제1 풀링(pooling) 레이어로 하여금, 상기 제1 참조 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제1 CNN에 포함된 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금, 상기 제1 참조 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차선에 대한 검출 결과를 상기 제1 참조 데이터로서 생성하도록 하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) 상기 차량 좌표 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면에 상기 참조 차선을 맵핑(mapping)하도록 하고, (ii) 상기 참조 차선 중 적어도 하나와 상기 좌표 평면 상의 참조 축 간의 적어도 하나의 제1 차이 각도를 계산하도록 하며, (iii) 이를 상기 제1 각도 오차로서 생성하도록 하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, (i) 상기 제2 CNN에 포함된 적어도 하나의 제2 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제2 참조 특징 맵을 생성하도록 하고, (ii) 상기 제2 CNN에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 제2 참조 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제2 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제2 CNN에 포함된 적어도 하나의 제2 FC 레이어로 하여금, 상기 제2 참조 풀링된 특징 맵에 적어도 하나의 제2 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차량에 대한 검출 결과를 상기 제2 참조 데이터로서 생성하도록 하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터를 생성하는 프로세스와 병렬적으로, 상기 대상 차량으로부터 제1 임계치 이하의 거리에 위치한 하나 이상의 V2V(vehicle-to-vehicle) 통신 차량과 무선 통신을 수행함으로써 상기 V2V 통신 차량으로부터 비교 데이터를 획득하되,
    상기 V2V 통신 차량에 속해 있는 제1 특정 V2V 통신 차량 내지 제N 특정 V2V 통신 차량 - N은 상기 V2V 통신 차량의 개수임 - 중 제K 특정 V2V 통신 차량 - K는 1부터 N까지의 정수임 - 으로부터 획득된, 상기 비교 데이터 중 제K 특정 비교 데이터는, 상기 제K 특정 V2V 통신 차량이 상기 대상 차량으로부터 제2 임계치 이하인 거리에 위치한 자신의 제K 특정 주변 차량에 대해 생성한 상기 제K 특정 주변 차량의 위치에 대한 정보를 포함하고,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) (i-1) 상기 제2 참조 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면 상에 상기 대상 차량을 기준으로 상기 참조 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 이미지 기반 좌표를 생성하는 프로세스 및 (i-2) 상기 비교 데이터를 참조로 하여, 상기 좌표 평면 상에 상기 대상 차량을 기준으로 상기 V2V 통신 차량의 주변 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 통신 기반 좌표를 생성하는 프로세스를 수행하도록 하고, (ii) 상기 이미지 기반 좌표 및 상기 통신 기반 좌표를 참조로 하여 상기 제2 각도 오차를 생성하도록 하는 것을 특징으로 하는 방법.
  6. 제 5항에 있어서,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, 상기 카메라의 FOV(Field-Of-View)에 대한 정보 및 상기 제K 특정 V2V 통신 모듈로부터 획득된 상기 제K 특정 비교 데이터를 참조로 하여, (i) 상기 제K 특정 V2V 통신 차량에 의해 예측된 상기 제K 특정 주변 차량의 위치를 상기 좌표 평면 상에 맵핑(mapping)하도록 함으로써, 하나 이상의 제K 초기 좌표를 생성하도록 하고, (ii) 상기 제K 초기 좌표를 포함하는, 하나 이상의 제1 초기 좌표 내지 하나 이상의 제N 초기 좌표를 참조로 하여, 상기 주변 차량의 상기 통신 기반 좌표를 생성하도록 하는 것을 특징으로 하는 방법.
  7. 제 5항에 있어서,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 보정 모듈로 하여금, 적어도 하나의 제1 특정 직선과 적어도 하나의 제2 특정 직선 간의 적어도 하나의 제2 차이 각도를 계산하고 이를 상기 제2 각도 오차로서 출력하도록 하되, 상기 제1 특정 직선은, 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 통신 기반 좌표 및 상기 좌표 평면 상의 원점을 포함하는 직선이며, 상기 제2 특정 직선은, 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 이미지 기반 좌표 및 상기 좌표 평면의 원점을 포함하는 직선인 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 (b) 단계에서,
    (i) 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 특정 참조 차량, (ii) 상기 특정 참조 차량에 대응하는 특정 이미지 기반 좌표, 및 (iii) 상기 특정 참조 차량에 대응되는 특정 통신 기반 좌표가 복수 개인 경우, 상기 컴퓨팅 장치가 하기 수식에 따라 상기 제2 각도 오차를 생성하되,
    Figure pat00035

    Figure pat00036
    은 상기 특정 참조 차량의 개수를 의미하고,
    Figure pat00037
    는 제K 특정 참조 차량의 제K 특정 이미지 기반 좌표를 의미하며,
    Figure pat00038
    는 상기 제K 특정 참조 차량의 제K 특정 통신 기반 좌표를 의미하고,
    Figure pat00039
    는 상기 제K 특정 참조 차량에 할당된 가중치를 의미하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 대상 차량의 주행 정보가 상기 대상 차량의 CAN(Controller Area Network)으로부터 획득되면, 상기 주행 정보가 직진 주행에 대한 조건 A에 대응하는지 또는 직진이 아닌 주행에 대한 조건 B에 대응하는지를 결정하고, 상기 주행 정보가 상기 조건 A에 대응하는 경우, 상기 제1 CNN 또는 상기 제2 CNN으로 하여금, 상기 참조 이미지에 상기 제1 CNN 연산 또는 상기 제2 CNN 연산을 가하도록 하는 것을 특징으로 하는 방법.
  10. 대상 차량에 의해 자체적으로 생성된 프라이머리(primary) 정보 및 다른 개체에 의해 생성된 세컨더리(secondary) 정보 - 상기 프라이머리 정보 및 상기 세컨더리 정보 중 적어도 하나는, 상기 대상 차량에 설치된 원치 않게 기울어진 카메라의 틀어진 각도를 보정하기 위해 이용될, 상기 대상 차량의 주변에 대한 상황 정보를 참조하여 선택됨 - 중 적어도 일부를 사용하여 상기 틀어진 각도를 보정하기 위한 컴퓨팅 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 상기 대상 차량의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 상황 정보가 도로상의 차선과 관련된 제1 조건에 대응하는 경우, 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 참조 이미지에 적어도 하나의 제1 CNN 연산을 가하여, 상기 참조 이미지의 참조 차선에 대한 정보를 포함하는 제1 참조 데이터를 생성하도록 하고, 상기 상황 정보가 상기 도로상의 다른 차량과 관련된 제2 조건에 대응하는 경우, 제2 CNN으로 하여금, 상기 참조 이미지에 적어도 하나의 제2 CNN 연산을 가하여, 상기 참조 이미지의 하나 이상의 참조 차량에 대한 정보를 포함하는 제2 참조 데이터를 생성하도록 하는 프로세스, (II) 보정 모듈로 하여금, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 제1 참조 데이터 및 차량 좌표 데이터를 참조로 하여, 상기 참조 차선에 대응되는 상기 카메라에 대한 적어도 하나의 제1 각도 오차를 생성하도록 하고, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터 및 상기 차량 좌표 데이터를 참조로 하여, 상기 참조 차량에 대응되는 상기 카메라에 대한 적어도 하나의 제 2 각도 오차를 생성하도록 하는 프로세스, 및 (III) 상기 대상 차량에 탑재된 물리적 회전 모듈로 하여금, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 참조 차선에 대응되는 상기 제1 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 하고, 및 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 참조 차량에 대응되는 상기 제2 각도 오차를 참조로 하여 상기 틀어진 각도를 조정하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  11. 제 10항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, (i) 상기 제1 CNN에 포함된 적어도 하나의 제1 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 참조 특징 맵을 생성하도록 하고, (ii) 상기 제1 CNN에 포함된 적어도 하나의 제1 풀링(pooling) 레이어로 하여금, 상기 제1 참조 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제1 CNN에 포함된 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금, 상기 제1 참조 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차선에 대한 검출 결과를 상기 제1 참조 데이터로서 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  12. 제 11항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제1 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) 상기 차량 좌표 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면에 상기 참조 차선을 맵핑(mapping)하도록 하고, (ii) 상기 참조 차선 중 적어도 하나와 상기 좌표 평면 상의 참조 축 간의 적어도 하나의 제1 차이 각도를 계산하도록 하며, (iii) 이를 상기 제1 각도 오차로서 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 10항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, (i) 상기 제2 CNN에 포함된 적어도 하나의 제2 컨벌루션 레이어로 하여금, 상기 참조 이미지에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제2 참조 특징 맵을 생성하도록 하고, (ii) 상기 제2 CNN에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 제2 참조 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제2 참조 풀링된 특징 맵을 생성하도록 하며, (iii) 상기 제2 CNN에 포함된 적어도 하나의 제2 FC 레이어로 하여금, 상기 제2 참조 풀링된 특징 맵에 적어도 하나의 제2 FC 연산을 가함으로써 상기 참조 이미지의 상기 참조 차량에 대한 검출 결과를 상기 제2 참조 데이터로서 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 13항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 제2 참조 데이터를 생성하는 프로세스와 병렬적으로, 상기 대상 차량으로부터 제1 임계치 이하의 거리에 위치한 하나 이상의 V2V(vehicle-to-vehicle) 통신 차량과 무선 통신을 수행함으로써 상기 V2V 통신 차량으로부터 비교 데이터를 획득하되,
    상기 V2V 통신 차량에 속해 있는 제1 특정 V2V 통신 차량 내지 제N 특정 V2V 통신 차량 - N은 상기 V2V 통신 차량의 개수임 - 중 제K 특정 V2V 통신 차량 - K는 1부터 N까지의 정수임 - 으로부터 획득된, 상기 비교 데이터 중 제K 특정 비교 데이터는, 상기 제K 특정 V2V 통신 차량이 상기 대상 차량으로부터 제2 임계치 이하인 거리에 위치한 자신의 제K 특정 주변 차량에 대해 생성한 상기 제K 특정 주변 차량의 위치에 대한 정보를 포함하고,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, (i) (i-1) 상기 제2 참조 데이터를 참조로 하여, 상기 차량 좌표 데이터에 대응하는 좌표 평면 상에 상기 대상 차량을 기준으로 상기 참조 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 이미지 기반 좌표를 생성하는 프로세스 및 (i-2) 상기 비교 데이터를 참조로 하여, 상기 좌표 평면 상에 상기 대상 차량을 기준으로 상기 V2V 통신 차량의 주변 차량의 하나 이상의 상대 위치를 나타내는 하나 이상의 통신 기반 좌표를 생성하는 프로세스를 수행하도록 하고, (ii) 상기 이미지 기반 좌표 및 상기 통신 기반 좌표를 참조로 하여 상기 제2 각도 오차를 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 제 14항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 상황 정보가 상기 제2 조건에 대응하는 경우, 상기 보정 모듈로 하여금, 상기 카메라의 FOV(Field-Of-View)에 대한 정보 및 상기 제K 특정 V2V 통신 모듈로부터 획득된 상기 제K 특정 비교 데이터를 참조로 하여, (i) 상기 제K 특정 V2V 통신 차량에 의해 예측된 상기 제K 특정 주변 차량의 위치를 상기 좌표 평면 상에 맵핑(mapping)하도록 함으로써, 하나 이상의 제K 초기 좌표를 생성하도록 하고, (ii) 상기 제K 초기 좌표를 포함하는, 하나 이상의 제1 초기 좌표 내지 하나 이상의 제N 초기 좌표를 참조로 하여, 상기 주변 차량의 상기 통신 기반 좌표를 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  16. 제 14항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 보정 모듈로 하여금, 적어도 하나의 제1 특정 직선과 적어도 하나의 제2 특정 직선 간의 적어도 하나의 제2 차이 각도를 계산하고 이를 상기 제2 각도 오차로서 출력하도록 하되, 상기 제1 특정 직선은, 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 통신 기반 좌표 및 상기 좌표 평면 상의 원점을 포함하는 직선이며, 상기 제2 특정 직선은, 적어도 하나의 특정 참조 차량의 적어도 하나의 특정 이미지 기반 좌표 및 상기 좌표 평면의 원점을 포함하는 직선인 것을 특징으로 하는 컴퓨팅 장치.
  17. 제 16항에 있어서,
    상기 (II) 프로세스에서,
    (i) 상기 참조 차량과 상기 주변 차량에 동시에 포함되는 특정 참조 차량, (ii) 상기 특정 참조 차량에 대응하는 특정 이미지 기반 좌표, 및 (iii) 상기 특정 참조 차량에 대응되는 특정 통신 기반 좌표가 복수 개인 경우, 상기 프로세서가 하기 수식에 따라 상기 제2 각도 오차를 생성하되,
    Figure pat00040

    Figure pat00041
    은 상기 특정 참조 차량의 개수를 의미하고,
    Figure pat00042
    는 제K 특정 참조 차량의 제K 특정 이미지 기반 좌표를 의미하며,
    Figure pat00043
    는 상기 제K 특정 참조 차량의 제K 특정 통신 기반 좌표를 의미하고,
    Figure pat00044
    는 상기 제K 특정 참조 차량에 할당된 가중치를 의미하는 것을 특징으로 하는 컴퓨팅 장치.
  18. 제 10항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 대상 차량의 주행 정보가 상기 대상 차량의 CAN(Controller Area Network)으로부터 획득되면, 상기 주행 정보가 직진 주행에 대한 조건 A에 대응하는지 또는 직진이 아닌 주행에 대한 조건 B에 대응하는지를 결정하고, 상기 주행 정보가 상기 조건 A에 대응하는 경우, 상기 제1 CNN 또는 상기 제2 CNN으로 하여금, 상기 참조 이미지에 상기 제1 CNN 연산 또는 상기 제2 CNN 연산을 가하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
KR1020200007632A 2019-01-31 2020-01-20 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 KR102373492B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799386P 2019-01-31 2019-01-31
US62/799,386 2019-01-31
US16/740,165 2020-01-10
US16/740,165 US10728461B1 (en) 2019-01-31 2020-01-10 Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same

Publications (2)

Publication Number Publication Date
KR20200095379A true KR20200095379A (ko) 2020-08-10
KR102373492B1 KR102373492B1 (ko) 2022-03-14

Family

ID=69187605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007632A KR102373492B1 (ko) 2019-01-31 2020-01-20 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치

Country Status (5)

Country Link
US (1) US10728461B1 (ko)
EP (1) EP3702964A1 (ko)
JP (1) JP6856855B2 (ko)
KR (1) KR102373492B1 (ko)
CN (1) CN111510704B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033973A (ko) * 2021-09-02 2023-03-09 렉스젠(주) 영상 분석 시스템 및 그에 관한 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
JP7291953B2 (ja) * 2020-07-27 2023-06-16 株式会社ニューギン 遊技機
CN113382171B (zh) * 2021-06-21 2023-03-24 车路通科技(成都)有限公司 一种交通摄像头自动校正方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143040A (ja) * 2003-11-10 2005-06-02 Toyota Motor Corp 車両搭載カメラの光軸調整方法
US20150161456A1 (en) * 2013-12-11 2015-06-11 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle
KR20180089812A (ko) * 2017-02-01 2018-08-09 주식회사 만도 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774113B2 (en) * 2002-04-10 2010-08-10 Trw Limited Cameras to determine vehicle heading
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US8017898B2 (en) * 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
EP2720213A4 (en) * 2011-06-13 2015-03-11 Nissan Motor DEVICE FOR DETERMINING A ROAD PROFILE, VEHICLE INTERNAL IMAGE RECOGNITION DEVICE, APPARATUS FOR ADJUSTING A PICTURE BASE AXIS AND TRACE RECOGNITION METHOD
KR102047280B1 (ko) * 2012-09-27 2019-11-21 한국전자통신연구원 카메라 방향 제어를 이용한 차선 추종 장치 및 방법
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
EP3479356A4 (en) * 2016-06-29 2020-03-25 Seeing Machines Limited SYSTEM AND METHOD FOR IDENTIFYING A CAMERAPOSE OF A FORWARD-LOOKING CAMERA IN A VEHICLE
US10692244B2 (en) * 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
CN108107897B (zh) * 2018-01-11 2021-04-16 驭势科技（北京）有限公司 实时传感器控制方法及装置
CN108639065B (zh) * 2018-05-15 2019-09-27 辽宁工业大学 一种基于视觉的车辆安全行驶控制方法
US10298910B1 (en) * 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US10503174B1 (en) * 2019-01-31 2019-12-10 StradVision, Inc. Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
CN110020651B (zh) * 2019-04-19 2022-07-08 福州大学 基于深度学习网络的车牌检测定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143040A (ja) * 2003-11-10 2005-06-02 Toyota Motor Corp 車両搭載カメラの光軸調整方法
US20150161456A1 (en) * 2013-12-11 2015-06-11 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle
KR20180089812A (ko) * 2017-02-01 2018-08-09 주식회사 만도 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033973A (ko) * 2021-09-02 2023-03-09 렉스젠(주) 영상 분석 시스템 및 그에 관한 방법

Also Published As

Publication number Publication date
CN111510704A (zh) 2020-08-07
US10728461B1 (en) 2020-07-28
KR102373492B1 (ko) 2022-03-14
US20200252550A1 (en) 2020-08-06
JP2020126647A (ja) 2020-08-20
CN111510704B (zh) 2021-12-24
EP3702964A1 (en) 2020-09-02
JP6856855B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
KR102373466B1 (ko) 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치
KR102682524B1 (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
KR102373487B1 (ko) 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치
KR20200095379A (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
JP6890350B2 (ja) Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置
JP6986769B2 (ja) 経路プランニングのための自律走行車両の位置を決定する方法及び装置
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
JP6986290B2 (ja) Ｖ２ｘ情報融合を利用してｈｄマップをアップデートするための自車両位置決定を遂行する方法及び装置
KR20200043006A (ko) 위치 추정 장치 및 방법
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
KR20200094075A (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
KR20200095382A (ko) 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버
JP7378591B2 (ja) 走行経路生成装置
KR102674613B1 (ko) 차로 결정 방법 및 차로 결정 장치
CN117606506A (zh) 一种车辆定位方法、装置、电子设备及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant