KR20190107283A - 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 - Google Patents

차량용 전자 장치 및 차량용 전자 장치의 동작 방법 Download PDF

Info

Publication number
KR20190107283A
KR20190107283A KR1020190107728A KR20190107728A KR20190107283A KR 20190107283 A KR20190107283 A KR 20190107283A KR 1020190107728 A KR1020190107728 A KR 1020190107728A KR 20190107728 A KR20190107728 A KR 20190107728A KR 20190107283 A KR20190107283 A KR 20190107283A
Authority
KR
South Korea
Prior art keywords
processor
vehicle
data
depth image
camera
Prior art date
Application number
KR1020190107728A
Other languages
English (en)
Inventor
박찬호
김경희
윤태희
이동하
조계환
이주영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20190107283A publication Critical patent/KR20190107283A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 제1 카메라로부터 제1 영상 데이터를 수신하고, 제2 카메라로부터 제2 영상 데이터를 수신하고, 제1 라이다로부터 제1 센싱 데이터를 수신하고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하고, 상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터를 퓨전하는 프로세서;를 포함하는 차량용 전자 장치에 관한 것이다.

Description

차량용 전자 장치 및 차량용 전자 장치의 동작 방법{Electronic device for vehicle and method for operating the same}
본 발명은 차량용 전자 장치 및 차량용 전자 장치의 동작 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 자율 주행 차량은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다. 이러한 자율 주행 차량에는 차량 외부 오브젝트를 검출하기 위한 복수의 센서가 구비된다. 이러한 센서에는, 카메라, 라이다, 레이다, 초음파 센서 등이 있다.
한편, 차량 외부 오브젝트를 검출하기 위한 센서는 대부분 고가(高價)로 보급형 자율 주행 차량에는 고가의 센서를 장착할 수 없다. 보급형 자율 주행 차량에는 고가의 센서의 성능을 구현하면서도 저가로 납품할 수 있는 센서가 필요하다.
본 발명은 상기한 문제점을 해결하기 위하여, 로우 레벨(low level)에서 센서 퓨전을 하는 차량용 전자 장치를 제공하는데 목적이 있다.
또한, 본 발명은, 카메라 및 라이다를 포함하고, 카메라 및 라이다에서 생성 된 데이터를 로우 레벨에서 센서 퓨전하는 차량용 전자 장치를 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 전자 장치는, 제1 카메라로부터 제1 영상 데이터를 수신하고, 제2 카메라로부터 제2 영상 데이터를 수신하고, 제1 라이다로부터 제1 센싱 데이터를 수신하고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하고, 상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터를 퓨전하는 프로세서;를 포함한다.
본 발명의 실시예에 따른 차량용 전자 장치는, 차량에 장착되고, 제1 영상 데이터를 생성하는 제1 카메라와 제1 센싱 데이터를 생성하는 제1 라이다를 구비하는 제1 센싱 장치; 차량에 상기 제1 장치와 이격되어 장착되고, 제2 영상 데이터를 생성하는 제2 카메라와 제2 센싱 데이터를 생성하는 제2 라이다를 구비하는 제2 센싱 장치; 및 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하고, 상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 퓨전하는 적어도 하나의 프로세서;를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
저가의 카메라 및 라이다를 이용하여서도 거리 검출 정확도가 향상된 센서를 제공하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 3은 본 발명의 실시예에 따른 차량용 전자 장치의 제어 블럭도이다.
도 4는 본 발명의 실시예에 따른 차량용 전자 장치를 설명하는데 참조되는 도면이다.
도 5는 본 발명의 실시예에 따른 제1 센싱 장치 및 제2 센싱 장치를 설명하는데 참조되는 도면이다.
도 6은 본 발명의 실시예에 따른 라이다를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 카메라를 설명하는데 참조되는 도면이다.
도 8은 본 발명의 실시예에 따른 뎁스 이미지를 설명하는데 참조되는 도면이다.
도 9는 본 발명의 실시에에 따라 복수의 영역으로 구분된 뎁스 이미지를 설명하는데 참조되는 도면이다.
도 10은 본 발명의 실시예에 따른 색깔별 거리값이 정리된 테이블을 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 슬램 알고리즘을 이용하여 센셔 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
도 12는 본 발명의 실시예에 따라 V2X를 이용하여 센서 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
도 13 내지 도 14는 본 발명의 실시예에 따라 하이 레벨 퓨전 및 로우 레벨 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 차량을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 차량(10)은, 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
차량(10)에는 전자 장치(100)가 포함될 수 있다. 전자 장치(100)는, 차량 외부의 오브젝트에 대한 정보를 생성하는 장치일 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(100)과 오브젝트와의 거리 정보 및 차량(100)과 오브젝트와의 상대 속도 정보를 포함할 수 있다. 한편, 오브젝트는, 차로, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 중 적어도 어느 하나를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2를 참조하면, 차량(10)은, 차량용 전자 장치(100), 사용자 인터페이스 장치(200), 차량용 전자 장치(100), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
차량용 전자 장치(100)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 차량용 전자 장치(100)는, 차량(10) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 차량용 전자 장치(100)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 차량용 전자 장치(100)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다. 차량용 전자 장치(100)는, 오브젝트 검출 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다.
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버, 방송국) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
구동 제어 장치(250)는, 차량(10)내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(250)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다.
한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
차량 구동 제어 장치(250)는, 제어 ECU(Electronic Control Unit)로 명명될 수 있다.
주행 시스템(260)는, 차량용 전자 장치(100)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. 주행 시스템(260)는, 생성된 신호를, 사용자 인터페이스 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
주행 시스템(260)은, ADAS를 포함하는 개념일 수 있다. ADAS(260)는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
주행 시스템(260)은, 자율 주행 ECU(Electronic Control Unit)를 포함할 수 있다. 자율 주행 ECU는, 차량(10) 내 다른 전자 장치들 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 사용자 인터페이스 장치(200), 차량용 전자 장치(100), 통신 장치(220), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 자율 주행 경로를 따라 차량(10)이 주행하도록 제어 신호를 생성할 수 있다. 자율 주행 ECU에서 생성된 제어 신호는, 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나로 제공될 수 있다.
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(270)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(270)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
한편, 센싱부는, 텐션 센서를 포함할 수 있다. 텐션 센서는, 안전 벨트의 텐션 상태에 기초하여 센싱 신호를 생성할 수 있다.
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 차량용 전자 장치(100)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
위치 데이터 생성 장치(280)는, 위치 측위 장치로 명명될 수 있다. 위치 데이터 생성 장치(280)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치의 제어 블럭도이다.
도 3을 참조하면, 전자 장치(100)는, 메모리(140), 프로세서(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
인터페이스부(180)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 차량용 전자 장치(100), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(140), 차량 구동 장치(250), ADAS(260), 센싱부(170) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
인터페이스부(180)는, 위치 데이터 생성 장치(280)로부터, 차량(10) 위치 데이터를 수시할 수 있다. 인터페이스부(180)는, 센싱부(270)로부터 주행 속도 데이터를 수신할 수 있다. 인터페이스부(180)는, 차량용 전자 장치(100)로부터, 차량 주변 오브젝트 데이터를 수신할 수 있다.
전원 공급부(190)는, 전자 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 전자 장치(100)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는, 메인 ECU(140)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(190)는, SMPS(switched-mode power supply)로 구현될 수 있다.
프로세서(170)는, 메모리(140), 인터페이스부(280), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는, 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(170)는, 전원 공급부(190)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로부터 정보를 수신할 수 있다. 프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로 제어 신호를 제공할 수 있다.
프로세서(170)는, 여러 종류의 센서로부터 수신된 센싱 데이터를 로우 레벨(low level)로 퓨전할 수 있다. 프로세서(170)는, 카메라로부터 수신된 영상 데이터와 라이다로부터 수신된 센싱 데이터를 로우 레벨로 퓨전할 수 있다.
프로세서(170)는, 스테레오 카메라(제1 카메라 및 제2 카메라)에서 촬영된 영상 데이터에 기초하여 뎁스 이미지를 생성할 수 있다. 프로세서(170)는, 제1 카메라로부터 제1 영상 데이터를 수신할 수 있다. 제1 카메라는, 차량(10)에 장착되어, 차량(10)의 외부를 촬영할 수 있다. 프로세서(170)는, 제2 카메라로부터 제2 영상 데이터를 수신할 수 있다. 제2 카메라는, 차량(10)에 제1 카메라와 다른 위치에 장착되어, 차량(10)의 외부를 촬영할 수 있다. 제2 카메라는 제1 카메라와 같은 방향을 향할 수 있다. 예를 들면, 제1 카메라 및 제2 카메라는 함께 차량(10)의 전방을 향할 수 있다. 예를 들면, 제1 카메라 및 제2 카메라는 함께 차량(10)의 후방을 향할 수 있다. 예를 들면, 제1 카메라 및 제2 카메라는 함께 차량(10)의 좌측방을 향할 수 있다. 예를 들면, 제1 카메라 및 제2 카메라는 함께 차량(10)의 우측방을 향할 수 있다.
프로세서(170)는, 제1 라이다로부터 제1 센싱 데이터를 수신할 수 있다. 제1 라이다는, 차량(10)에 장착되어, 차량(10)의 외부를 향해 레이저 신호를 발사하고 오브젝트에 의해 반사된 레이저 신호를 수신할 수 있다. 제1 센싱 데이터는, 발사되는 레이저 신호와 수신되는 레이저 신호에 기초하여 생성되는 데이터일 수 있다.
프로세서(170)는, 제1 영상 데이터 및 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성할 수 있다. 프로세서(170)는, 제1 영상 데이터 및 제2 영상 데이터에 기초하여, 디스패러티(diaparity)를 검출할 수 있다. 프로세서(170)는, 디스패러티에 대한 정보에 기초하여, 뎁스 이미지를 생성할 수 있다. 뎁스 이미지는, RGB(red green blue)로 구성될 수 있다. 뎁스 이미지는 뎁스 맵(depth map)으로 이해될 수 있다.
한편, 실시예에 따라, 프로세서(170)는, 모노 카메라에서 촬영된 영상 데이터에 기초하여 뎁스 이미지를 생성할 수 있다. 프로세서(170)는, 제1 카메라로부터 제1 시점에 촬영된 제1 영상 데이터를 수신할 수 있다. 프로세서(170)는, 제1 카메라로부터 상기 제1 시점과 다른 제2 시점에 촬영된 제2 영상 데이터를 수신할 수 있다. 제2 시점에서의 제1 카메라의 위치는 제1 시점에서의 제1 카메라의 위치와 다를 수 있다. 프로세서(170)는, 제1 카메라로부터 수신된 제1 영상 데이터 및 제2 영상 데이터에 기초하여, 뎁스 이미지를 생성할 수 있다.
프로세서(170)는, 뎁스 이미지에 기초하여, 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(170)는, 뎁스 이미지에 기초하여, 차로, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 중 적어도 어느 하나를 검출할 수 있다.
프로세서(170)는 뎁스 이미지에서 구분된 영역별로 제1 라이다로부터 수신된 제1 센싱 데이터를 퓨전할 수 있다. 프로세서(170)는, 뎁스 이미지에 제1 센싱 데이터를 적용할 수 있다. 뎁스 이미지에 제1 센싱 데이터를 적용함으로써, 뎁스 이미지만 이용하는 경우보다 정확한 오브젝트와의 거리값을 획득할 수 있다.
프로세서(170)는, 뎁스 이미지의 영역별로 RGB 레벨 데이터를 획득할 수 있다. 프로세서(170)는, 메모리(140)에 저장된 테이블을 호출할 수 있다. 테이블은, RGB 레벨에 따른 거리값이 정리된 테이블일 수 있다. 프로세서(170)는, 테이블에 기초하여, 뎁스 이미지의 영역별 거리값을 획득할 수 있다. 영역은, 단수 또는 복수의 픽셀로 구성될 수 있다. 한편, 테이블은, 실험값에 의해 획득되어 메모리(140)에 미리 저장될 수 있다.
프로세서(170)는, 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 영역으로 구분할 수 있다. 프로세서(170)는, 구분된 영역별로 RGB 레벨 데이터를 획득할 수 있다. 프로세서(170)는, 복수의 영역 각각이, 제1 라이다의 2개 또는 3개의 빔 포인트가 형성되는 정도의 크기를 가지도록, 뎁스 이미지를 구분할 수 있다. 제1 면적에는, 제1 라이다의 2개 또는 3개의 빔 포인트가 매칭될 수 있다. 프로세서(170)는, 테이블에서 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득할 수 있다.
프로세서(170)는, 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 제1 영역 및 제1 면적보다 큰 제2 면적을 가지는 복수의 제2 영역으로 구분할 수 있다. 프로세서(170)는, 구분된 영역별로 RGB 레벨 데이터를 획득할 수 있다. 프로세서(170)는, 테이블에서 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득할 수 있다.
프로세서(170)는, 뎁스 이미지에서 관심 영역을 설정할 수 있다. 관심 영역은, 오브젝트가 위치할 확률이 높은 영역으로 정의될 수 있다. 프로세서(170)는, 관심 영역을 복수의 제1 영역으로 구분할 수 있다. 프로세서(170)는, 뎁스 이미지에서 관심 영역을 제외한 영역을 복수의 제2 영역으로 설정할 수 있다. 관심 영역을 제외한 영역은, 하늘에 해당하는 영상의 위쪽 영역이나 지면에 해당하는 영상의 아래쪽 영역일 수 있다.
프로세서(170)는, 슬램(simultaneous localization and mapping, SLAM) 알고리즘을 이용하여 뎁스 이미지와 제1 센싱 데이터를 퓨전할 수 있다. 프로세서(170)는, 제1 카메라로부터 제1 시점에 촬영된 제1 영상 데이터를 수신할 수 있다. 프로세서(170)는, 제2 카메라로부터 제1 시점에 촬영된 제2 영상 데이터를 수신할 수 있다. 프로세서(170)는, 제1 라이다로부터 제1 시점에 획득된 제1 센싱 데이터를 수신할 수 있다. 프로세서(170)는, 제1 시점에 촬영된 제1 영상 데이터 및 제1 시점에 촬영된 제2 영상 데이터에 기초하여, 제1 시점의 뎁스 이미지를 생성할 수 있다. 프로세서(170)는, 제1 시점에 촬영된 뎁스 이미지에서 구분된 영역별로 제1 시점에 획득된 제1 센싱 데이터를 퓨전할 수 있다. 프로세서(170)는, 제1 카메라로부터 제2 시점에 촬영된 제1 영상 데이터를 수신할 수 있다. 프로세서(170)는, 제2 카메라로부터 제2 시점에 촬영된 제2 영상 데이터를 수신할 수 있다. 프로세서(170)는, 제2 시점에 촬영도니 제1 영상 데이터 및 제2 시점에 촬영된 제2 영상 데이터에 기초하여, 제2 시점의 뎁스 이미지를 생성할 수 있다. 프로세서(170)는, 제1 라이다로부터 제2 시점에 획득된 제1 센싱 데이터를 수신할 수 있다. 프로세서(170)는, 제1 시점의 뎁스 이미지에서 구분된 영역별로 제2 시점에 획득된 제1 센싱 데이터를 퓨전할 수 있다. 프로세서(170)는, 제2 시점의 뎁스 이미지에서 구분된 영역별로 제2 시점에 획득된 제1 센싱 데이터를 퓨전할 수 있다. 프로세서(170)는, 제1 시점부터 제2 시점까지의 차량(10)의 이동 거리값을 획득할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)의 휠 센서에서 수신되는 휠 데이터에 기초하여, 제1 시점부터 제2 시점까지의 이동 거리값을 구할 수 있다. 예를 들면, 프로세서(170)는, 위치 데이터 생성 장치(280)에서 생성되는 위치 데이터에 기초하여, 제1 시점부터 제2 시점까지의 이동 거리값을 구할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트 검출을 위한 센서(예를 들면, 카메라, 레이다, 라이다, 초음파 센서, 적외선 센서 등)의 센싱값에 기초하여, 제1 시점부터 제2 시점까지의 이동 거리값을 구할 수 있다. 프로세서(170)는, 제1 시점에 촬영된 뎁스 이미지에 이동 거리값을 반영하고, 제2 시점에 획득된 제1 센싱 데이터를 뎁스 이미지에 퓨전할 수 있다.
프로세서(170)는, 통신 장치(220)를 통해, 타 차량의 위치 데이터를 수신할 수 있다. 프로세서(170)는, 뎁스 이미지에서 타 차량에 대응되는 객체를 검출할 수 있다. 프로세서(170)는, 위치 데이터로 차량(10)과 타 차량과의 거리값을 보정할 수 있다.
프로세서(170)는, 제2 라이다로부터 제2 센싱 데이터를 수신할 수 있다. 제2 라이다는, 차량(10)에 제1 라이다와 다른 위치에 장착되어, 차량(10)의 외부를 향해 레이저 신호를 발사하고 오브젝트에 의해 반사된 레이저 신호를 수신할 수 있다. 제2 라이다는 제1 라이다와 같은 방향을 향할 수 있다. 예를 들면, 제1 라이다 및 제2 라이다는 함께 차량(10)의 전방을 향할 수 있다. 예를 들면, 제1 라이다 및 제2 라이다는 함께 차량(10)의 후방을 향할 수 있다. 예를 들면, 제1 라이다 및 제2 라이다는 함께 차량(10)의 좌측방을 향할 수 있다. 예를 들면, 제1 라이다 및 제2 라이다는 함께 차량(10)의 우측방을 향할 수 있다. 프로세서(170)는, 뎁스 이미지에서 구분된 영역별로 제2 센싱 데이터를 더 퓨전할 수 있다. 제1 라이다와 제2 라이다를 함께 이용함으로써 라이다의 채널이 확장된 효과를 도출할 수 있다.
전자 장치(100)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 메모리(140), 인터페이스부(180), 전원 공급부(190) 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
도 4는 본 발명의 실시예에 따른 차량용 전자 장치를 설명하는데 참조되는 도면이다.
도 4를 참조하면, 차량용 전자 장치(100)는, 제1 센싱 장치(301), 제2 센싱 장치(302), 메로리(140), 프로세서(170) 및 인터페이스부(180)를 포함할 수 있다. 또한, 도 4에 도시되지는 않지만, 차량용 전자 장치(100)는, 전원 공급부를 더 포함할 수 있다.
제1 센싱 장치(301)는, 차량(10)에 장착될 수 있다. 제1 센싱 장치(301)는, 자세 조정이 가능하도록 차량(10)에 장착될 수 있다. 제1 센싱 장치(301)는, 롤, 피치, 요 방향으로 자세를 조정할 수 있다. 제1 센싱 장치(301)는, 제1 영상 데이터를 생성하는 제1 카메라(311)와 제1 센싱 데이터를 생성하는 제1 라이다(321)를 구비할 수 있다. 제1 센싱 장치(301)는, 제1 카메라(311)와 제1 라이다(321)가 나란하게 배치된 상태로 결합된 모듈 형태로 구현될 수 있다. 제1 카메라(311) 및 제1 라이다(321)는 도 3을 참조하여 설명한 제1 카메라 및 제1 라이다 에 대한 설명이 적용될 수 있다. 제1 카메라(311) 및 제1 라이다(321) 각각은, 롤, 피치, 요 방향으로 자세를 조정할 수 있다.
제1 센싱 장치(301)는, 제2 센싱 장치(302)와 지면을 기준으로 같은 높이로 차량(10)에 장착될 수 있다.
제1 카메라(311)는, 제1 카메라(311)에서 획득되는 제1 영상의 제1 주점(principal point)과 제2 카메라(312)에서 획득되는 제2 영상의 제2 주점을 이은 선이 수평선과 평행하도록 차량(10)에 장착될 수 있다.
제2 센싱 장치(302)는, 차량(10)에 제1 센싱 장치(301)와 이격되어 장착될 수 있다. 제2 센싱 장치(302)는, 자세 조정이 가능하도록 차량(10)에 장착될 수 있다. 제2 센싱 장치(302)는, 롤, 피치, 요 방향으로 제서를 조정할 수 있다. 제2 센싱 장치(302)는, 제2 영상 데이터를 생성하는 제2 카메라(312)와 제2 센싱 데이터를 생성하는 제2 라이다(322)를 구비할 수 있다. 제2 센싱 장치(302)는, 제2 카메라(312)와 제2 라이다(322)가 나란하게 배치된 상태로 결합된 모듈 형태로 구현될 수 있다. 제2 카메라(312) 및 제2 라이다(322)는 도 3을 참조하여 설명한 제2 카메라 및 제2 라이다에 대한 설명이 적용될 수 있다. 제2 카메라(312) 및 제2 라이다(322) 각각은, 롤, 피치, 요 방향으로 자세를 조정할 수 있다.
제2 카메라(312)는, 제2 카메라(312)에서 획득되는 제2 영상의 제2 주점과 제1 카메라(311)에서 획득되는 제1 영상의 제1 주점을 이은 선이 수평선과 평행하도록 차량(10)에 장착될 수 있다.
제2 센싱 장치(302)는, 제1 센싱 장치(301)와 지면을 기준으로 같은 높이로 차량(10)에 장착될 수 있다.
메모리(140)는, 도 3을 참조하여 설명한 내용이 적용될 수 있다. 인터페이스부(180)는, 도 3을 참조하여 설명한 내용이 적용될 수 있다. 전원 공급부는, 도 3을 참조하여 설명한 내용이 적용될 수 있다.
프로세서(170)는, 도 3을 참조하여 설명한 내용이 적용될 수 있다. 프로세서(170)는, 제1 영상 데이터 및 제2 영상 데이터에 기초하여, 뎁스 이미지를 생성할 수 있다. 프로세서(170)는, 뎁스 이미지에서 구분된 영역별로 제1 센싱 데이터 및 제2 센싱 데이터를 퓨전할 수 있다.
한편, 동작의 관점으로 차량용 전자 장치의 동작 방법을 설명하면 다음과 같다.
프로세서(170)는, 제1 카메라(311)로부터 제1 영상 데이터를 수신할 수 있다(S410). 프로세서(170)는, 제2 카메라(312)로부터 제2 영상 데이터를 수신할 수 있다(S415). 프로세서(170)는, 제1 라이다(321)로부터 제1 센싱 데이터를 수신할 수 있다(S420). 프로세서(170)는, 제2 라이다(322)로부터 제2 센싱 데이터를 수신할 수 있다(S425).
프로세서(170)는, 제1 영상 데이터 및 제2 영상 데이터에 기초하여, 뎁스 이미지를 생성할 수 있다(S430). 프로세서(170)는, 뎁스 이미지에서 구분된 영역별로 제1 센싱 데이터를 퓨전할 수 있다(S435).
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 뎁스 이미지의 영역별로 RGB(red green blue) 레벨 데이터를 획득하는 단계 및 적어도 하나의 프로세서가, RGB 레벨에 따른 거리값이 정리된 테이블에 기초하여, 상기 뎁스 이미지의 영역별 거리값을 획득하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 영역으로 구분하고, 구분된 영역별로 RGB 레벨 데이터를 획득하는 단계 및 적어도 하나의 프로세서가, 상기 테이블에서 상기 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 복수의 영역 각각이, 제1 라이다의 2개 또는 3개의 빔 포인트가 형성되는 정도의 크기를 가지도록, 상기 뎁스 이미지를 구분하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 제1 영역 및 상기 제1 면적보다 큰 제2 면적을 가지는 복수의 제2 영역으로 구분하고, 구분된 영역별로 RGB 레벨 데이터를 획득하는 단계 및 적어도 하나의 프로세서가, 상기 테이블에서 상기 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 뎁스 이미지에서 관심 영역을 설정하고, 상기 관심 영역을 상기 복수의 제1 영역으로 구분하는 단계 및 적어도 하나의 프로세서가, 상기 뎁스 이미지에서 상기 관심 영역을 제외한 영역을 상기 복수의 제2 영역으로 설정하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 슬램(simultaneous localization and mapping, SLAM) 알고리즘을 이용하여, 상기 뎁스 이미지와 상기 제1 센싱 데이터를 퓨전하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 제1 카메라로부터 제1 시점에 촬영된 제1 영상 데이터를 수신하는 단계, 적어도 하나의 프로세서가, 제2 카메라로부터 상기 제1 시점에 촬영된 제2 영상 데이터를 수신하는 단계, 적어도 하나의 프로세서가, 제1 라이다로부터 상기 제1 시점에 획득된 제1 센싱 데이터를 수신하는 단계, 적어도 하나의 프로세서가, 상기 제1 시점에 촬영된 제1 영상 데이터 및 상기 제1 시점에 촬영된 제2 영상 데이터에 기초하여, 상기 제1 시점의 뎁스 이미지(depth image)를 생성하는 단계 및 적어도 하나의 프로세서가, 상기 제1 시점에 촬영된 뎁스 이미지에서 구분된 영역별로 상기 제1 시점에 획득된 제1 센싱 데이터를 퓨전 단계를 포함할 수 있다. 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 제1 카메라로부터 제2 시점에 촬영된 제1 영상 데이터를 수신하는 단계, 적어도 하나의 프로세서가, 상기 제2 카메라로부터 제2 시점에 촬영된 제2 영상 데이터를 수신하는 단계 및 적어도 하나의 프로세서가, 상기 제2 시점에 촬영된 제1 영상 데이터 및 상기 제2 시점에 촬영된 제2 영상 데이터에 기초하여, 상기 제2 시점의 뎁스 이미지를 생성하는 단계를 더 포함할 수 있다. 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 제1 라이다로부터 제2 시점에 획득된 제1 센싱 데이터를 수신하는 단계, 적어도 하나의 프로세서가, 상기 제1 시점의 뎁스 이미지에서 구분된 영역별로 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하는 단계 및 적어도 하나의 프로세서가, 상기 제2 시점의 뎁스 이미지에서 구분된 영역별로 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하는 단계를 더 포함할 수 있다. 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 상기 제1 시점부터 상기 제2 시점까지의 차량의 이동 거리값을 획득 단계 및 적어도 하나의 프로세서가, 상기 제1 시점에 촬영된 뎁스 이미지에 상기 이동 거리값을 반영하고, 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하는 단계를 더 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 통신 장치를 통해, 타 차량의 위치 데이터를 수신하는 단계 및 적어도 하나의 프로세서가, 상기 뎁스 이미지에서 상기 타 차량에 대응되는 객체를 검출하고, 상기 위치 데이터로 차량과 상기 타 차량과의 거리값을 보정하는 단계를 포함할 수 있다.
한편, 퓨전하는 단계(S435)는, 적어도 하나의 프로세서가, 제2 라이다로부터 제2 센싱 데이터를 수신하고, 상기 뎁스 이미지에서 구분된 영역별로 상기 제2 센싱 데이터를 더 퓨전하는 단계를 더 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 제1 센싱 장치 및 제2 센싱 장치를 설명하는데 참조되는 도면이다.
종래 기술에 따른 오브젝트 검출 장치는, RGB 영상의 뎁스 이미지를 딥러닝 학습시켜 오브젝트의 종류를 판단한다. 영상을 이용하는 오브젝트 검출 장치는 오브젝트와의의 거리에 대한 정확도가 다른 센서를 이용할 때보다 떨어지게 된다. 본원 발명에 따른 센싱 장치(301, 302)는, RGB 픽셀 정보에 라이다의 거리 정보를 매핑하여 RGB-D 맵을 생성하고, RGB-D 맵 정보를 이용하여 딥러닝 학습하여 오브젝트와의 거리 정보를 정확하게 검출할 수 있게 된다. 이를 위해, 프로세서(170)는, 상술한 동작 외에 RGB-D 맵을 생성하는 동작과, RGB-D 맵에 기초하여 딥러닝을 더 수행할 수 있다. 이와 같이, 영상과 라이다 거리 정보의 로우(raw) 데이터를 퓨전하여 오브젝트를 검출하는 방식을 로우 레벨 센서 퓨전으로 설명할 수 있다.
한편, 보급형 차량에는 저가의 라이다가 포함될 수 있다. 저가로 구현하기 위한 라이더는, 적은 수의 레이어(layer)를 가질 수 있다. 예를 들면, 제1 라이다(321) 및 제2 라이다(322)는, 4개의 레이어를 가질 수 있다. 이러한 라이다는 레이어가 조밀하지 않아 영상의 픽셀 대비 거리 정보가 부정확할 수 있다.
본원 발명에 따른 차량용 전자 장치는, 뎁스 이미지에 라이다의 센싱 데이터를 퓨전하여, 정밀한 RBG-D를 구현할 수 있다.
도 5를 참조하면, 제1 센싱 장치(301)는, 제1 카메라(311) 및 제1 라이다 (321)를 포함할 수 있다. 제2 센싱 장치(302)는, 제2 카메라(312) 및 제2 라이다(322)를 포함할 수 있다.
제1 센싱 장치(301) 및 제2 센싱 장치(302)는, 차량(10)에 장착될 수 있다. 예를 들면, 제1 및 제2 센싱 장치(301, 302)는, 범퍼, 윈드 쉴드 내측(캐빈측)의 일부분, 헤드 램프, 사이드 미러, 라디에이터 그릴, 루프 중 적어도 어디에 장찰될 수 있다. 제1 센싱 장치(301) 및 제2 센싱 장치(302)가 윈드 쉴드 내측에 장착되는 경우, 와이퍼로 인해 별도의 이물질 제거를 위한 장치가 필요하지 않은 장점이 있다. 제1 센싱 장치(301) 및 제2 센싱 장치(302)가 루프에 장착되는 경우, 발열에 유리한 장점이 있다. 또한, 제1 센싱 장치(310) 및 제2 센싱 장치(302)가 루프에 장착되는 경우, 더 먼 거리까지 센싱할 수 있는 장점이 있다. 제1 센싱 장치(301) 및 제2 센싱 장치(302)가 헤드 램프 및 라디에이트 그릴에 장착되는 경우, 외부로 노출되지 않아 심미적인 우위를 점할 수 있다. 제1 센싱 장치(301) 및 제2 센싱 장치(302)가 사이드 미러에 장착되는 경우, 사이드 미러에 장착되는 다른 센서들과의 연동이 가능한 장점이 있다.
한편, 제1 센싱 장치(301) 및 제2 센싱 장치(302)의 장착 간격이 멀수록 더 먼 머리까지 센싱할 수 있다.
제1 센싱 장치(301)는, 제2 센싱 장치(302)와 같은 높이에 장착될 수 있다. 제1 센싱 장치(301)와 제2 센싱 장치(302)가 같은 높이에 장착됨으로써, 뎁스 이미지를 생성할 수 있다. 제1 센싱 장치(301)와 제2 센싱 장치(302)가 같은 높이에 장착됨으로써, 제1 라이다(321) 및 제2 라이다(322)로부터 획득되는 센싱 데이터를 뎁스 이미지에 매칭힐 수 있다.
도 6은 본 발명의 실시예에 따른 라이다를 설명하는데 참조되는 도면이다.
도 6을 참조하면, 제1 라이다(321) 및 제2 라이더(322)는, N채널의 레이어를 가질 수 있다. 차량(10)에 제1 센싱 장치(301) 및 제2 센싱 장치(302)가 장착되는 경우, 제1 라이다(321)의 제1 센싱 데이터 및 제2 라이다(322)의 제2 센싱 데이터를 이용할 수 있다. 이경우, 2N 채널의 레이어를 가지는 라이다처럼 동작될 수 있다. 즉, 제1 라이다(321) 및 제2 라이다(322)는, 버티컬(vertical)로 2N 포인트 디텍션(detection)이 가능한 라이다로 동작될 수 있다.
도 7은 본 발명의 실시예에 따른 카메라를 설명하는데 참조되는 도면이다.
도 7을 참조하면, 제1 카메라(311)는, 제2 카메라(312)와 수평을 이루면서 배치될 수 있다. 제1 카메라(311)의 제1 이미지 센서는, 제2 카메라(312)의 제2 이미지 센서와 수평을 이루면서 배치될 수 있다. 제1 카메라(311)에서 획득되는 제1 영상의 제1 주점과 제2 카메라(312)에서 획득되는 제2 영상의 제2 주점을 이은 선이 제1 영상 및 제2 영상에서의 수평선과 평행하도록 차량(10)에 장착될 수 있다. 또는, 제1 카메라(311)에서 획득되는 제1 영상의 제1 주점과 제2 카메라(312)에서 획득되는 제2 영상의 제2 주점을 이은 선이 지면과 평행하도록 차량(10)에 장착될 수 있다.
제1 카메라(311)와 제2 카메라(312) 사이가 멀어질수록 센싱할 수 있는 거리가 증가하고, 점점 더 원거리 센싱에 유리해진다. 제1 카메라(311)와 제2 카메라(312)의 사이가 가까워질수록 센싱할 수 있는 거리는 감소하고, 점점 더 근거리 센싱에 유리해진다.
도 8 내지 도 14를 참조하여, 차량용 전자 장치의 동작을 설명한다. 이하의 설명에서 설명되는 동작은 차량용 전자 장치의 프로세서에서 수행될 수 있다.
도 8은 본 발명의 실시예에 따른 뎁스 이미지를 설명하는데 참조되는 도면이다.
도 8을 참조하면, 지시 부호 810은, 제1 카메라(311) 또는 제2 카메라(312)에 의해 촬영된 영상을 예시한다. 지시 부호 820은, 제1 카메라(311)의 제1 이미지 및 제2 카메라(312)의 제2 이미지를 이용하여 생성된 뎁스 이미지를 예시한다. 뎁스 이미지는 픽셀별로 상대적인 위치 차이를 알 수 있으나, 차량(10)과 오브젝트(811)와의 거리에 대한 오차가 발생될 수 있다. 이러한 오차는 제1 라이다(321) 제1 센싱 데이터 및 제2 라이다(322)의 제2 센싱 데이터 중 적어도 어느 하나로 보완할 수 있다. 뎁스 이미지에 라이다의 센싱 데이터를 퓨전함으로써, 오브젝트 검출 및 분류와 라이다의 거리 정보 및 반사 강도(intensity) 정보를 이용하여 보다 정확한 물체의 검출이 가능하게 된다.
뎁스 이미지 데이터에 라이다의 센싱 데이터를 퓨전하여 생성되는 결과는 RGB-D 데이터로 명명될 수 있다. RGB는, 영상의 Red, Green, Blue에 해당하는 값이다. D는, 라이다의 센싱 데이터에 기초한 거리 정보 및 반사 강도 정보를 포함할 수 있다.
도 9는 본 발명의 실시에에 따라 복수의 영역으로 구분된 뎁스 이미지를 설명하는데 참조되는 도면이다.
도 9를 참조하면, 프로세서(170)는, RGB-D 맵을 만들기 위해 룩업 테이블을 이용한 거리 정보를 보정할 수 있다. 뎁스 이미지에서 색은, 거리를 의미할 수 있다. 뎁스 이미지에서 비슷한 영역 범위 내에서 RGB별로 색이 같으면, 시간과 무관하게 라이다의 센싱 데이터(거리 정보)를 이용하여 보정할 수 있다.
프로세서(170)는, 지시 부호 910와 같이, 뎁스 이미지를 제1 면적을 가지는 복수의 영역(M*N)으로 구분할 수 있다. 프로세서(170)는, 뎁스 이미지를 하나의 구분된 영역(911)안에 라이다가 2-3 포인트가 맺히도록 영역을 구분할 수 있다.
프로세서(170)는, 지시 부호 920과 같이, 뎁스 이미지를 서로 다른 크기의 영역(921, 922, 923)으로 구분할 수 있다. 프로세서(170)는, 뎁스 이미지를 제1 면적을 가지는 복수의 제1 영역(921), 제1 면적보다 더 큰 제2 면적을 가지는 복수의 제2 영역(922) 및 제2 면적보다 더 큰 제3 면적을 가지는 복수의 제3 영역(923)으로 구분할 수 있다. 관심 영역에 따라 구분되는 면적의 크기를 다르게 함으로써 계산량을 줄일 수 있게 된다.
A가 샘플링 타임(sampling time)이라고 하면, t=0일때, 뎁스 이미지에서 구분된 영역에서 한 영역을 선택하여 라이다의 포인트 클라우드(point cloud)에 대응되는 픽셀의 RGB값(뎁스 이미지에서 RBG값은 거리값임)을 구하여, RGB값에 해당하는 라이다 센싱 데이터(거리값)을 저장하는 룩업 테이블을 만들 수 있다.
t=Asec 일대, t=2Asec일 때, 과정을 반복하여 RGB값에 해당하는 라이다의 거리 정보를 업데이트할 수 있다. 이러한 과정을 반복하면 뎁스 이미지의 한 영역에서 뎁스 이미지의 색깍에 해당하는 라이다의 거리 정보를 가지는 룩업 테이블을 만들 수 있다. 이러한 과정을 모든 영역에 대해서 수행하면 모든 영역에서의 뎁스 이미지의 거리 정보에 해당하는 라이다 보정 정보를 구할 수 있다. 각 픽셀에 대한 라이다의 거리 정보를 구한 것을 카메라 RGB 영상 데이터에 추가하면 RGB-D 맵을 만들 수 있다. RGB-D는 영상 정보에 거리 정보가 포함된 정보로 정의될 수 있다. D에 거리 정보외에 intensity나 라이다의 다른 추가 정보를 넣을 수 있다.
공장에서 출고하기 전에 룩업 테이블이 작성되고 차량(10)은 주행을 하면서 차량 세팅에 맞는 룩업 테이블을 업데이트할 수 있다.
도 10은 본 발명의 실시예에 따른 색깔별 거리값이 정리된 테이블을 설명하는데 참조되는 도면이다.
도 10을 참조하면, 뎁스 이미지에 대한 라이다 보정 룩업 테이블이 완성되면 라이다의 도움없이도 정확한 카메라의 위치 정보를 보정할 수 있다. 뎁스 이미지의 색의 RGB 정보는(0-255, 0-255, 0-255)까지 표현 가능하다고 할 때, 256개의 R,G,B 조합으로 하면 많은 수의 룩업 테이블을 만들어야 하기 때문에 데이터 저장 및 처리에 문제가 될 수 있다.
뎁스 이미지의 R,G,B 사이즈를 작게 변환하여 룩업 테이블을 만드는 것이 메모리 이용에 더 효율적일 수 있다. 가령 4bit 등의 작은 뎁스 이미지를 만들면(0-15, 0-15, 0-15)로 지시부호 1010과 같이, 룩업 테이블을 만들 수 있다. 또는, 지시부호 1020와 같이, Red, Green, Blue 등 중에 단색의 이미지를 만들어 256개의 거리값으로 표현하면 256개의 룩업 테이블로 간단하게 표현할 수 있다.
라이다의 레졸루션(resolution)에 맞추어 룩업 테이블의 사이즈를 예상하고 이에 맞게 뎁스 이미지의 RGB bit를 설정하면 적당한 사이즈의 룩업 테이블을 생성할 수 있다.
도 11은 본 발명의 실시예에 따른 슬램 알고리즘을 이용하여 센셔 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
도 11을 참조하면, 프로세서(170)는, RGB-D를 만들기 위해, SLAM을 이용하여 차량(10)의 거리를 측정하고, 이를 이용하여 영상의 픽셀이 움직인 위치를 예측할 수 있다. 라이라의 SLAM 알고리즘을 적용하면 주변의 맵을 생성하고, 맵의 피처(feature)를 이용하여 현재 차량(10)이 얼마나 움직였는지 정확한 예측이 가능하다. 차량(10)의 휠 센서와 라이다의 SLAM 알고리즘을 이용하면, 라이다의 피처가 없는 경우도 휠센서만으로 차량(10)의 위치 예측이 가능하다. 라이다의 피처가 있는 경우에는 라이다를 이용하여 차량(10)의 이동거리를 구하고 이동 거리로 휠센서의 차량(10) 이동 거리를 보정할 수 있다.
라이다의 포인트 클라우드 정보는 조밀하지 않기 때문에 픽셀의 어느 지점에 라이다 거리 정보가 있지만 다른 픽셀에는 라이다의 거리 정보가 없다. 차량(10)이 전진하면 라이다 거리 정보가 찍힌 픽셀은 영상의 다른 위치로 이동한다. 차량(10)이 얼마나 움직였는지 정확히 알면 픽셀의 움직인 위치를 알 수 있고, 그 픽셀을 착아 거리 정보를 입력해 줄 수 있다.
도 11의 t 번째 프레임에서 라이다 정보와 그때 해당하는 RGB 정보가 있는 경우, 차량(10)의 움직임에 따라 t번째 프레임의 픽셀 다음 프레임(t+1)에서 보정되는 거리 정보는 이전 픽셀의 거리 정보에서 차량(10)의 움직인 거리 정보를 뺀 값이 된다. 이러한 과정을 라이다의 거리 정보가 있는 모든 픽셀에 대해서 시간의 흐름에 따라 거리 정보를 업데이트하면 많은 픽셀에 라이다의 거리 정보가 업데이트되어 RGB 픽셀에 대한 거리 정보를 갖게 되어 RGB-D 맵을 만들 수 있다.
만일 영상에 RGB와 RGB-D의 비율이 50% 대 50%라면, RGB의 픽셀 크기로 2-3배로 크기하면 거의 모든 RGB에 RGB-D 정보를 만들 수 있다.
도 12는 본 발명의 실시예에 따라 V2X를 이용하여 센서 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
도 12를 참조하면, 프로세서(170)는, RGB-D 맵을 만들기 위해, 통신 장치(220)를 통해 수신되는 데이터를 이용해 보정할 수 있다. 이경우, 통신 장치(220)는, V2X나 5G 통신 기법을 이용할 수 있다. V2X나 5G 통신을 통해 선행 차량의 위치를 알수 있으므로, 선행 차량의 위치를 뎁스 이미지와 매칭시켜 뎁스 이미지의 거리값을 통신을 통해 받은 차량(10)의 위치 정보로 보정할 수 있다. 카메라(311, 312) 영상을 통해 차량(10)을 인지하고, 뎁스 이미지에서 차량(10)의 윤곽을 추출할 수 있다. 통신 장치(220)를 통해 수신한 거리 정보를 이용하여 RGB-D 정보를 생성할 수 있다. 도 12를 참조하여 설명한 방식은 세이프티 관점에서 라이다가 고장나거나 이물질이 부착되어 룩업 테이블의 업데이트가 불가능할 때 적용될 수 있다.
도 13 내지 도 14는 본 발명의 실시예에 따라 하이 레벨 퓨전 및 로우 레벨 퓨전을 하는 동작을 설명하는데 참조되는 도면이다.
도 13을 참조하면, 차량용 전자 장치(100)는, 세이프티 페일(safety fail) 관점에서 중복성을 가지는 두개의 결과를 출력할 수 있다. 구체적으로, 차량용 전자 장치(100)는, 하이 레벨 퓨전과 로우 레벨 퓨전을 수행할 수 있다.
차량용 전자 장치(100)는, 센서(레이다, 라이다, 카메라)별 검출된 오브젝트의 위치 정보를 이용하여 퓨전할 수 있다. 이러한 퓨전은 하이 레벨 퓨전으로 이해될 수 있다. 차량용 전자 장치(100)는, 센서(레이다, 라이다, 카메라)의 로우 데이터(RGB 영상, 거리 정보) 단계에서 퓨전할 수 있다. 이러한 퓨전은 로우 레벨 퓨전으로 이해될 수 있다. 이후, 차량용 전자 장치(100)는, 딥러닝 학습을 통해 오브젝트를 검출할 수 있다.
도 14를 참조하면, 프로세서(170)는, 하이 레벨 퓨전 결과와 로우 레벨 퓨전 결과를 동기화 세팅을 하지 않고, 각각 알고리즘 샘플링으로 결과값을 출력할 수 있다(이하, 출력 1). 예를 들면, 하이 레벨 센서 퓨전의 결과값은 40msec 단위로 출력될 수 있다. 예를 들면, 로우 레벨 센서 퓨전의 결과값은 25msec 단위로 출력될 수 있다. 프로세서(170)는, 하이 레벨 센서 퓨전의 결과값과 로우 레벨 센서 퓨전의 결과값을 받아 판단 제어쪽에서 좋은 결과값을 취하거나, 두개의 결과값이 상이한 경우 시스템 에러를 예측할 수 있다.
프로세서(170)는, 하이 레벨 퓨전 결과와 로우 레벨 퓨전 결과를 동기화 세팅을 하여 결과값을 출력할 수 있다(이하, 출력 2). 예를 들면, 하이 레벨 센서 퓨전의 결과값과 로우 레벨 센서의 결과값은 30msec 단위로 출력될 수 있다.
출력 1의 방식은 많은 부하가 걸리지만 상대적으로 안전한 시스템 구축이 가능한 장점이 있고, 출력 2의 방식은 부하는 적게 걸리지만 다양한 알고리즘의 결과값으로 오브젝트를 검출할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 차량
100 : 차량용 전자 장치

Claims (20)

  1. 제1 카메라로부터 제1 영상 데이터를 수신하고,
    상기 제1 카메라 또는 제2 카메라로부터 제2 영상 데이터를 수신하고,
    제1 라이다로부터 제1 센싱 데이터를 수신하고,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하고,
    상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터를 퓨전하는 프로세서;를 포함하는 차량용 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 뎁스 이미지의 영역별로 RGB(red green blue) 레벨 데이터를 획득하고,
    RGB 레벨에 따른 거리값이 정리된 테이블에 기초하여, 상기 뎁스 이미지의 영역별 거리값을 획득하는 차량용 전자 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 영역으로 구분하고, 구분된 영역별로 RGB 레벨 데이터를 획득하고,
    상기 테이블에서 상기 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득하는 차량용 전자 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 복수의 영역 각각이, 제1 라이다의 2개 또는 3개의 빔 포인트가 형성되는 정도의 크기를 가지도록, 상기 뎁스 이미지를 구분하는 차량용 전자 장치.
  5. 제 2항에 있어서,
    상기 프로세서는,
    상기 뎁스 이미지를 각각이 제1 면적을 가지는 복수의 제1 영역 및 상기 제1 면적보다 큰 제2 면적을 가지는 복수의 제2 영역으로 구분하고, 구분된 영역별로 RGB 레벨 데이터를 획득하고,
    상기 테이블에서 상기 구분된 영역별로 RGB 레벨에 대응되는 거리값을 획득하는 차량용 전자 장치.
  6. 제 5항에 있어서,
    상기 프로세서는,
    상기 뎁스 이미지에서 관심 영역을 설정하고, 상기 관심 영역을 상기 복수의 제1 영역으로 구분하고,
    상기 뎁스 이미지에서 상기 관심 영역을 제외한 영역을 상기 복수의 제2 영역으로 설정하는 차량용 전자 장치.
  7. 제 1항에 있어서,
    상기 프로세서는,
    슬램(simultaneous localization and mapping, SLAM) 알고리즘을 이용하여, 상기 뎁스 이미지와 상기 제1 센싱 데이터를 퓨전하는 차량용 전자 장치.
  8. 제 7항에 있어서,
    상기 프로세서는,
    제1 카메라로부터 제1 시점에 촬영된 제1 영상 데이터를 수신하고
    제2 카메라로부터 상기 제1 시점에 촬영된 제2 영상 데이터를 수신하고,
    제1 라이다로부터 상기 제1 시점에 획득된 제1 센싱 데이터를 수신하고,
    상기 제1 시점에 촬영된 제1 영상 데이터 및 상기 제1 시점에 촬영된 제2 영상 데이터에 기초하여, 상기 제1 시점의 뎁스 이미지(depth image)를 생성하고,
    상기 제1 시점에 촬영된 뎁스 이미지에서 구분된 영역별로 상기 제1 시점에 획득된 제1 센싱 데이터를 퓨전하는 차량용 전자 장치.
  9. 제 8항에 있어서,
    상기 프로세서는,
    상기 제1 카메라로부터 제2 시점에 촬영된 제1 영상 데이터를 수신하고,
    상기 제2 카메라로부터 제2 시점에 촬영된 제2 영상 데이터를 수신하고,
    상기 제2 시점에 촬영된 제1 영상 데이터 및 상기 제2 시점에 촬영된 제2 영상 데이터에 기초하여, 상기 제2 시점의 뎁스 이미지를 생성하는 차량용 전자 장치.
  10. 제 9항에 있어서,
    상기 프로세서는,
    상기 제1 라이다로부터 제2 시점에 획득된 제1 센싱 데이터를 수신하고,
    상기 제1 시점의 뎁스 이미지에서 구분된 영역별로 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하고,
    상기 제2 시점의 뎁스 이미지에서 구분된 영역별로 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하는 차량용 전자 장치.
  11. 제 10항에 있어서,
    상기 프로세서는,
    상기 제1 시점부터 상기 제2 시점까지의 차량의 이동 거리값을 획득하고,
    상기 제1 시점에 촬영된 뎁스 이미지에 상기 이동 거리값을 반영하고, 상기 제2 시점에 획득된 제1 센싱 데이터를 퓨전하는 차량용 전자 장치.
  12. 제 1항에 있어서,
    상기 프로세서는,
    통신 장치를 통해, 타 차량의 위치 데이터를 수신하고,
    상기 뎁스 이미지에서 상기 타 차량에 대응되는 객체를 검출하고, 상기 위치 데이터로 차량과 상기 타 차량과의 거리값을 보정하는 차량용 전자 장치.
  13. 제 1항에 있어서,
    상기 프로세서는,
    제2 라이다로부터 제2 센싱 데이터를 수신하고, 상기 뎁스 이미지에서 구분된 영역별로 상기 제2 센싱 데이터를 더 퓨전하는 차량용 전자 장치.
  14. 차량에 장착되고, 제1 영상 데이터를 생성하는 제1 카메라와 제1 센싱 데이터를 생성하는 제1 라이다를 구비하는 제1 센싱 장치;
    차량에 상기 제1 센싱 장치와 이격되어 장착되고, 제2 영상 데이터를 생성하는 제2 카메라와 제2 센싱 데이터를 생성하는 제2 라이다를 구비하는 제2 센싱 장치; 및
    상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하고,
    상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 퓨전하는 적어도 하나의 프로세서;를 포함하는 차량용 전자 장치.
  15. 제 14항에 있어서,
    상기 제2 센싱 장치는,
    상기 제1 센싱 장치와 지면을 기준으로 같은 높이로 차량에 장착되는 차량용 전자 장치.
  16. 제 15항에 있어서,
    상기 제1 카메라는,
    상기 제1 카메라에서 획득되는 제1 영상의 제1 주점(principal point)과 상기 제2 카메라에서 획득되는 제2 영상의 제2 주점을 이은 선이 수평선과 평행하도록 차량에 장착되는 차량용 전자 장치.
  17. 적어도 하나의 프로세서가, 제1 카메라로부터 제1 영상 데이터를 수신하는 단계;
    적어도 하나의 프로세서가, 제2 카메라로부터 제2 영상 데이터를 수신하는 단계;
    적어도 하나의 프로세서가, 제1 라이다로부터 제1 센싱 데이터를 수신하는 단계;
    적어도 하나의 프로세서가, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 기초하여, 뎁스 이미지(depth image)를 생성하는 단계; 및
    적어도 하나의 프로세서가, 상기 뎁스 이미지에서 구분된 영역별로 상기 제1 센싱 데이터를 퓨전하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  18. 제 17항에 있어서,
    상기 퓨전하는 단계는,
    적어도 하나의 프로세서가, 상기 뎁스 이미지의 영역별로 RGB(red green blue) 데이터를 획득하는 단계; 및
    적어도 하나의 프로세서가, 색깔별 거리값이 정리된 테이블에 기초하여, 상기 뎁스 이미지의 영역별 거리값을 획득하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  19. 제 17항에 있어서,
    상기 퓨전하는 단계는,
    적어도 하나의 프로세서가, 슬램(simultaneous localization and mapping, SLAM) 알고리즘을 이용하여, 상기 뎁스 이미지와 상기 제1 센싱 데이터를 퓨전하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  20. 제 17항에 있어서,
    상기 퓨전하는 단계는,
    통신 장치를 통해, 타 차량의 위치 데이터를 수신하는 단계; 및
    상기 뎁스 이미지에서 상기 타 차량에 대응되는 객체를 검출하고, 상기 위치 데이터로 상기 객체와의 거리값을 보정하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
KR1020190107728A 2019-05-31 2019-08-30 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 KR20190107283A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/KR2019/006623 WO2020241954A1 (ko) 2019-05-31 2019-05-31 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KRPCT/KR2019/006623 2019-05-31

Publications (1)

Publication Number Publication Date
KR20190107283A true KR20190107283A (ko) 2019-09-19

Family

ID=68067789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190107728A KR20190107283A (ko) 2019-05-31 2019-08-30 차량용 전자 장치 및 차량용 전자 장치의 동작 방법

Country Status (3)

Country Link
US (1) US11507789B2 (ko)
KR (1) KR20190107283A (ko)
WO (1) WO2020241954A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210077617A (ko) * 2019-12-17 2021-06-25 모셔널 에이디 엘엘씨 융합된 카메라/LiDAR 데이터 포인트를 사용한 자동화된 대상체 주석 달기
WO2022081367A1 (en) * 2020-10-13 2022-04-21 Waymo Llc Lidar based stereo camera correction

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614323B1 (ko) 2015-04-01 2023-12-14 바야비전 리미티드 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
US11416998B2 (en) * 2019-07-30 2022-08-16 Microsoft Technology Licensing, Llc Pixel classification to reduce depth-estimation error
JP7290104B2 (ja) * 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
KR20220026657A (ko) * 2020-08-25 2022-03-07 현대모비스 주식회사 노면 검출시스템 및 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5947051A (en) * 1997-06-04 1999-09-07 Geiger; Michael B. Underwater self-propelled surface adhering robotically operated vehicle
KR20080113982A (ko) * 2007-06-26 2008-12-31 주식회사 뉴크론 입체 지형 및 지물 정보 제공장치 및 그 제공방법
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9020637B2 (en) * 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
KR101392357B1 (ko) * 2012-12-18 2014-05-12 조선대학교산학협력단 2차원 및 3차원 정보를 이용한 표지판 검출 시스템
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US20160014395A1 (en) * 2014-07-10 2016-01-14 Arete Associates Data fusion processing to identify obscured objects
US9854227B2 (en) * 2015-01-08 2017-12-26 David G Grossman Depth sensor
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
KR101772178B1 (ko) * 2015-12-04 2017-08-25 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US20170253330A1 (en) * 2016-03-04 2017-09-07 Michael Saigh Uav policing, enforcement and deployment system
KR20180072139A (ko) * 2016-12-21 2018-06-29 현대자동차주식회사 차량 및 그 제어 방법
US10699438B2 (en) * 2017-07-06 2020-06-30 Siemens Healthcare Gmbh Mobile device localization in complex, three-dimensional scenes
US10447973B2 (en) * 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
CA3028659C (en) * 2017-12-11 2021-10-12 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying and positioning objects around a vehicle
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
US20190349571A1 (en) * 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US10846923B2 (en) * 2018-05-24 2020-11-24 Microsoft Technology Licensing, Llc Fusion of depth images into global volumes
US10699430B2 (en) * 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
US11100339B2 (en) * 2019-05-20 2021-08-24 Zoox, Inc. Closed lane detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210077617A (ko) * 2019-12-17 2021-06-25 모셔널 에이디 엘엘씨 융합된 카메라/LiDAR 데이터 포인트를 사용한 자동화된 대상체 주석 달기
WO2022081367A1 (en) * 2020-10-13 2022-04-21 Waymo Llc Lidar based stereo camera correction

Also Published As

Publication number Publication date
US11507789B2 (en) 2022-11-22
US20210406618A1 (en) 2021-12-30
WO2020241954A1 (ko) 2020-12-03

Similar Documents

Publication Publication Date Title
EP3248838B1 (en) Lighting apparatus for vehicle
US11507789B2 (en) Electronic device for vehicle and method of operating electronic device for vehicle
US11242068B2 (en) Vehicle display device and vehicle
EP2955915B1 (en) Around view provision apparatus and vehicle including the same
US10964217B2 (en) Travel control method and travel control apparatus
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
KR102649709B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US20210211568A1 (en) Systems and methods for traffic light detection
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
BR112021004210A2 (pt) aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
US20210327173A1 (en) Autonomous vehicle system and autonomous driving method for vehicle
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
KR102533246B1 (ko) 항법 장치 및 이를 포함하는 차량 운전 보조장치
US20210354634A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
US20220364874A1 (en) Method of providing image by vehicle navigation device
US11414097B2 (en) Apparatus for generating position data, autonomous vehicle and method for generating position data
US20220076580A1 (en) Electronic device for vehicles and operation method of electronic device for vehicles
US20220120568A1 (en) Electronic device for vehicle, and method of operating electronic device for vehicle
KR20190115435A (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR102124998B1 (ko) 주행 중 a d a s 카메라의 위치 보정 방법 및 장치
JP7467562B1 (ja) 外界認識装置
WO2023234033A1 (ja) 測距装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal