KR102513762B1 - 사이드미러 가상 영상 생성 장치 및 방법 - Google Patents

사이드미러 가상 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102513762B1
KR102513762B1 KR1020210027616A KR20210027616A KR102513762B1 KR 102513762 B1 KR102513762 B1 KR 102513762B1 KR 1020210027616 A KR1020210027616 A KR 1020210027616A KR 20210027616 A KR20210027616 A KR 20210027616A KR 102513762 B1 KR102513762 B1 KR 102513762B1
Authority
KR
South Korea
Prior art keywords
image
side mirror
bsv
generating
view
Prior art date
Application number
KR1020210027616A
Other languages
English (en)
Other versions
KR20220124323A (ko
Inventor
이정준
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020210027616A priority Critical patent/KR102513762B1/ko
Publication of KR20220124323A publication Critical patent/KR20220124323A/ko
Application granted granted Critical
Publication of KR102513762B1 publication Critical patent/KR102513762B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

본 개시의 일 양상으로, 송수신기(transceiver); 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 동작 가능하게 연결되어 상기 적어도 하나의 프로세서가 동작들을 수행하도록 하는 적어도 하나의 명령어들(instructions)을 저장하는 적어도 하나의 메모리(memory)를 포함하고, 상기 동작들은: 상기 송수신기를 통하여 복수의 카메라로부터 촬영된 원본 이미지를 수신하고, 상기 원본 이미지를 탑 뷰(top view) 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV(blind spot view) 이미지를 생성하기 위한 LUT(look-up table)를 생성하고, 상기 LUT에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하는, 사이드미러 가상 영상 생성 장치이다.

Description

사이드미러 가상 영상 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING SIDE MIRROR VIRTUAL IMAGE}
본 개시 (present disclosure)는 사이드미러 가상 영상 생성 장치 및 방법에 관한 것이다.
오늘날 차량이 널리 보급됨에 따라 차량의 접촉 사고가 증가하고 있다. 이러한 차량의 접촉 사고를 방지하기 위하여, 일반적으로 차량에는 사이드미러가 제공된다.
일반적으로 차량에 설치된 사이드미러의 경우, 운전자에게 실질적인 시야각을 제공하기 위해 평면 유리 혹은 볼록 유리로 구성이 된다. 하지만, 이러한 경우 사이드미러의 물리적 크기로 인해 차량의 후미 쪽 좌우 영역을 충분히 보여줄 수가 없으므로, 사각지대(blind spot)가 발생한다.
이러한 문제점을 해결하기 위하여 일부 평면 유리와 볼록 유리를 나눠서 구성한 사이드미러도 있으나, 이러한 사이드미러는 사각지대 (Blind Spot) 범위를 좁힐 수는 있으나 급격한 시야각의 변화로 인해 운전자에게 혼동을 줄 수 있다는 문제가 있다.
대한민국 공개특허 10-2019-0012052 대한민국 공개특허 10-2018-0066494
본 개시의 다양한 예들은 차량에 장착된 SVM(surround view monitoring)용 카메라를 사용하여 가상의 광각 사이드미러 영상과 경고 영역을 생성하여 표시함으로써, 운전자의 사각지대를 해소하고 위험 상황을 인식할 수 있는 사이드미러 가상 영상 생성 장치 및 방법을 제공하기 위함이다.
본 개시의 다양한 예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 개시의 다양한 예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 개시의 일 양상으로, 송수신기(transceiver); 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 동작 가능하게 연결되어 상기 적어도 하나의 프로세서가 동작들을 수행하도록 하는 적어도 하나의 명령어들(instructions)을 저장하는 적어도 하나의 메모리(memory)를 포함하고, 상기 동작들은: 상기 송수신기를 통하여 복수의 카메라로부터 촬영된 원본 이미지를 수신하고, 상기 원본 이미지를 탑 뷰(top view) 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV(blind spot view) 이미지를 생성하기 위한 LUT(look-up table)를 생성하고, 상기 LUT에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하는, 사이드미러 가상 영상 생성 장치이다.
상기 탑 뷰 변환 정보는 상기 원본 이미지의 LDC(lens distortion correction) 모델, 상기 원본 이미지에 포함된 패치(patch)의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함할 수 있다.
상기 패치는 상기 원본 이미지 및 상기 탑 뷰 이미지 간 기준점일 수 있다.
상기 동작들은: 상기 탑 뷰 변환 정보에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하고, 상기 원본 이미지 및 상기 BSV 이미지 간 매핑 관계를 상기 LUT로 생성하는 것을 더 포함할 수 있다.
상기 동작들은: 경고 영역 이미지를 상기 BSV 이미지에 오버레이(overlay)하여 오버레이 이미지를 생성하고, 상기 송수신기를 통하여 턴 신호(turn signal)를 수신하는 것에 기초하여, 상기 오버레이 이미지를 전송하는 것을 더 포함할 수 있다.
본 개시의 다른 일 양상으로, 사이드미러 가상 영상 생성 장치에 의해 수행되는 사이드미러 가상 영상 생성 방법으로서, 복수의 카메라로부터 촬영된 원본 이미지를 수신하고; 상기 원본 이미지를 탑 뷰(top view) 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV(blind spot view) 이미지를 생성하기 위한 LUT(look-up table)를 생성하고; 및 상기 LUT에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하는 것을 포함하는, 사이드미러 가상 영상 생성 방법이다.
상기 탑 뷰 변환 정보는 상기 원본 이미지의 LDC(lens distortion correction) 모델, 상기 원본 이미지에 포함된 패치(patch)의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함할 수 있다.
상기 탑 뷰 변환 정보에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하고; 및 상기 원본 이미지 및 상기 BSV 이미지 간 매핑 관계를 상기 LUT로 생성하는 것을 더 포함할 수 있다.
경고 영역 이미지를 상기 BSV 이미지에 오버레이(overlay)하여 오버레이 이미지를 생성하고; 및 턴 신호(turn signal)를 수신하는 것에 기초하여, 상기 오버레이 이미지를 전송하는 것을 더 포함할 수 있다.
상술한 본 개시의 다양한 예들은 본 개시의 바람직한 예들 중 일부에 불과하며, 본 개시의 다양한 예들의 기술적 특징들이 반영된 여러 가지 예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 개시의 다양한 예들에 따르면 다음과 같은 효과가 있다.
본 개시의 다양한 예들에 따르면, SVM(surround view monitoring)용 카메라를 사용하여 가상의 광각 사이드미러 영상과 경고 영역을 생성하여 표시함으로써, 운전자의 사각지대를 해소하고 위험 상황을 인식할 수 있는 사이드미러 가상 영상 생성 장치 및 방법이 제공될 수 있다.
본 개시의 다양한 예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.
이하에 첨부되는 도면들은 본 개시의 다양한 예들에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시의 다양한 예들을 제공한다. 다만, 본 개시의 다양한 예들의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다. 각 도면에서의 참조 번호 (reference numerals) 들은 구조적 구성요소 (structural elements) 를 의미한다.
도 1은 본 개시의 일 예에 따른 사이드미러 가상 영상 생성 장치의 블록도이다.
도 2는 원본 이미지에 포함된 패치(patch)를 도시한 것이다.
도 3은 본 개시의 다양한 예들에 따라 생성된 탑 뷰(top view) 이미지를 도시한 것이다.
도 4는 원본 이미지를 도시한 것이다.
도 5는 본 개시의 다양한 예들에 따라 생성된 BSV(blind spot view) 이미지를 도시한 것이다.
도 6은 본 개시의 일 예에 따른 사이드미러 가상 영상 생성 방법의 흐름도이다.
도 7은 본 개시의 일 예에 따른 오버레이 이미지 생성 및 전송 방법의 흐름도이다.
도 8은 본 개시의 일 예에 따른 차량 또는 자율 주행 차량의 블록도이다.
이하, 본 발명에 따른 구현들을 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 구현을 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 구현 형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나 당업자는 본 개시가 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 개시의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 개시 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
본 발명의 개념에 따른 다양한 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 다양한 예들을 도면에 예시하고 본 개시에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 다양한 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 개시의 다양한 예에서, “/” 및 “,”는 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다. 나아가, “A, B, C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다.
본 개시의 다양한 예에서, “또는”은 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A 또는 B”는 “오직 A”, “오직 B”, 및/또는 “A 및 B 모두”를 포함할 수 있다. 다시 말해, “또는”은 “부가적으로 또는 대안적으로”를 나타내는 것으로 해석되어야 한다.
본 개시에서 사용한 용어는 단지 특정한 다양한 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 본 개시의 다양한 예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 개시의 일 예에 따른 사이드미러 가상 영상 생성 장치의 블록도이다.
도 1을 참조하면, 본 개시의 일 예에 따른 사이드미러 가상 영상 생성 장치(100)는 송수신기(110), 프로세서(120) 및 메모리(130)를 포함한다.
송수신기(110)는 프로세서(120)와 연결될 수 있고, 유/무선 신호를 송신 및/또는 수신할 수 있다. 예를 들어, 송수신기(110)는 차량 내 통신 네트워크를 통해 차량의 다양한 ECU(electronic control unit)와 연결될 수 있다. 여기서, 차량 내 통신 네트워크는 예를 들어 CAN(controller area network), FlexRay, Lin(local interconnect network) 또는 이더넷(Ethernet)일 수 있으나, 이에 한정되는 것은 아니다.
또는, 송수신기(110)는 무선 통신망을 통해 사용자 단말과 연결될 수 있다. 여기서, 무선 통신망은 이동 통신망, 무선 LAN, 근거리 무선 통신망 등을 포함할 수 있다. 예를 들어, 무선 통신망은 LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 예를 들어, 무선 통신망은 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비 (Zigbee), NFC(near field communication), 또는 라디오 프리퀀시(RF) 중 적어도 하나를 포함할 수 있다.
송수신기(110)는 송신기 및 수신기를 포함할 수 있다. 송수신기(110)는 RF(radio frequency) 유닛과 혼용될 수 있다. 송수신기(110)는 프로세서(120)의 제어를 통해 차량의 다양한 ECU와 신호나 데이터를 주고받을 수 있다.
프로세서(120)는 적어도 하나를 포함할 수 있고, 메모리(130) 및/또는 송수신기(110)를 제어하며, 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(120)는 송수신기(110)를 통해 신호나 데이터를 수신하고, 신호나 데이터에 포함된 정보를 메모리(130)에 저장할 수 있다. 또한, 프로세서(120)는 메모리(130)에 저장된 정보를 처리하여 신호나 데이터를 생성한 뒤, 생성한 신호나 데이터를 송수신기(110)를 통해 전송할 수 있다.
메모리(130)는 적어도 하나를 포함할 수 있고, 프로세서(120)와 연결될 수 있고, 프로세서(120)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(130)는 프로세서(120)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다.
이하에서는, 사이드미러 가상 영상 생성 장치(100)의 다양한 동작 예들에 대하여 설명한다. 하기 다양한 동작 예들은 상술한 적어도 하나의 프로세서(120)의 동작에 포함되는 것일 수 있다.
탑 뷰 이미지 생성
본 개시에 따르면, 사이드미러 가상 영상 생성 장치(100)는 사이드미러 가상 영상 생성을 위해 탑 뷰 이미지를 생성, 즉 공차 보정을 수행할 수 있다. 또는, 별도의 탑 뷰 이미지 생성 없이 기 생성된 탑 뷰 이미지의 생성에 사용된 탑 뷰 변환 정보를 이용하여 사이드미러 가상 영상을 생성할 수도 있다.
본 개시에서, 공차 보정은 원본 이미지를 왜곡 없이 사이드미러 가상 영상이나 탑 뷰 이미지로 변환하는 것을 의미할 수 있다.
본 개시에서, 사이드미러 가상 영상은 사이드미러 시점에서 바라본 이미지 및/또는 영상을 의미할 수 있다. 특히, 본 개시에 따른 사이드미러 가상 영상은 BS(blind spot)를 커버할 수 있으므로, BSV(blind spot view) 이미지로도 칭해질 수 있다.
또한, 본 개시에서 탑 뷰 이미지는 탑 뷰 시점에서 바라본 이미지 및/또는 영상을 의미할 수 있다. 탑 뷰 이미지는 SVM(surround view monitoring) 이미지, AVM(around view monitoring) 이미지로도 칭해질 수 있다.
이하에서는, 사이드미러 가상 영상 생성 장치(100)가 탑 뷰 이미지를 생성하는 경우, 탑 뷰 이미지 생성 과정을 개략적으로 설명한다.
프로세서(120)는, 송수신기(110)를 통하여 복수의 카메라로부터 촬영된 원본 이미지를 수신한다. 여기서, 복수의 카메라는 예를 들어 초광각 카메라일 수 있고, 차량의 전단, 좌측, 우측 및 후단에 설치되어 각각이 차량의 전단, 좌측, 우측 및 후단 시점의 이미지 및/또는 영상을 촬영하는 것일 수 있다. 또는, 복수의 카메라는 상술한 위치뿐만 아니라 차량의 다양한 위치에 설치될 수도 있다.
도 2는 원본 이미지에 포함된 패치(patch)를 도시한 것이다.
도 2를 참조하면, 복수의 카메라로부터 촬영된 원본 이미지에는 색상 정보를 포함하는 체크 패치(CP)가 포함될 수 있고, 체크 패치의 중심에는 관심 패치(IP)가 구비될 수 있다. 본 개시에서, 체크 패치 및 관심 패치는 패치 또는 패턴으로 통칭될 수도 있다.
이러한 패치는 원본 이미지 및 원본 이미지가 변환된 탑 뷰 이미지 간 기준점일 수 있다. 다시 말해서, 패치를 기준점으로 하여 원본 이미지가 탑 뷰 이미지로 변환되는 공차 보정이 수행될 수 있다.
프로세서(120)는, 패치가 포함된 원본 이미지에 대한 렌즈 왜곡 보정, 즉 LDC(lens distortion correction)를 수행할 수 있다. 예를 들어, 프로세서(120)는 원본 이미지의 왜곡을 LDC 모델이나 알고리즘을 적용하여 보정할 수 있다. 여기서, LDC 모델은 원본 이미지에 포함된 복수의 픽셀에 대한 방사 왜곡(radial distortion) 및 접선 왜곡(tangential distortion) 등과 같은 다양한 왜곡과 연관된 왜곡 변수, 픽셀 좌표 값 및 초점 거리 중 적어도 하나에 기초하여 정의되는 것일 수 있다.
프로세서(120)는, 왜곡 보정이 수행된 보정 이미지의 색상 정보를 색공간(예, Lab 색공간 등)으로 변환하고, 변환된 이미지에 대하여 이진화 작업을 수행할 수 있다. 예를 들어, 이진화 작업은 보정 이미지에 포함된 복수의 픽셀 중 RGB 값이 RGB 값에 대하여 설정된 기준값 이상인 픽셀을 1로 변환하고, 나머지 픽셀을 0으로 변환하는 것일 수 있다. 이진화 작업에 따라, 모든 픽셀이 0 또는 1로 변환된 이진화 이미지가 생성된다.
프로세서(120)는, 이진화 이미지에 대하여 영역 확장 작업을 수행하여 확장 이미지를 생성할 수 있다. 예를 들어, 영역 확장 작업은 이진화 이미지에서 1로 변환된 영역의 크기를 확장(예, 관심 패치의 크기가 N X N 픽셀인 경우, (N + a) X (N + a) 픽셀로 확장, 여기서 N 및 a는 자연수)시키는 것일 수 있다.
또는, 프로세서(120)는 기준값이 복수인 경우 복수의 기준값 각각에 대하여 이진화 작업과 영역 확장 작업을 수행하여, 복수의 기준값 각각에 대한 복수의 확장 이미지를 생성할 수 있다. 이러한 경우, 프로세서(120)는 복수의 확장 이미지에 AND 연산을 수행하여 최종 이미지를 생성할 수 있다.
프로세서(120)는, 확장 이미지 또는 최종 이미지로부터 관심 패치가 있을 것으로 추정되는 영역을 그룹화하고, 그룹화된 영역의 그룹 정보를 생성할 수 있다. 여기서, 그룹 정보는 각 그룹의 위치 및 크기 정보일 수 있다.
프로세서(120)는, 그룹 정보에 기초하여 관심 패치의 위치 정보를 획득할 수 있다. 구체적으로, 프로세서(120)는 엣지 추출 알고리즘에 기초하여 원본 이미지로부터 엣지(edge) 이미지를 획득하고, 그룹 정보에 기초하여, 획득된 엣지 이미지 중 상술한 그룹화된 영역에서만 교차점 탐색 작업을 수행할 수 있다. 프로세서(120)는 탐색된 교차점을 관심 패치의 위치 정보로써 추출할 수 있다.
프로세서(120)는, 관심 패치의 위치 정보에 기초하여 탑 뷰 이미지로의 공차 보정을 위한 공차 파라미터 정보를 생성하고, 공차 파라미터 정보에 기초하여 원본 이미지를 재배치(switching)하기 위한 정합 정보를 생성할 수 있다. 공차 파라미터 정보는 원본 이미지를 탑 뷰 이미지로 변환하기 위한 탑 뷰 변환 행렬을 포함할 수 있다.
여기에, 프로세서(120)는 정합 정보에 기초하여 원본 이미지와 탑 뷰 이미지 간 관계를 정의하는 LUT(look up table)를 생성할 수도 있다.
프로세서(120)는, 공차 파라미터 정보, 정합 정보 및/또는 LUT에 기초하여 원본 이미지로부터 탑 뷰 이미지를 획득할 수 있다.
도 3은 본 개시의 다양한 예들에 따라 생성된 탑 뷰(top view) 이미지를 도시한 것이다.
도 3을 참조하면, 프로세서(120)에 의해 생성된 탑 뷰 이미지는 복수의 카메라 각각으로부터 촬영된 원본 이미지가 차량의 탑 뷰 시점에서 바라본 이미지이다. 여기에, 상술한 정합 정보 및/또는 탑 뷰 LUT에 기초하여 각 탑 뷰 이미지가 관심 패치를 기준으로 정합된 탑 뷰 이미지가 생성될 수도 있다. 편의상, 본 개시에서는 정합 전후의 이미지를 모두 탑 뷰 이미지로 칭한다.
BSV 이미지 생성
이하에서는, 사이드미러 가상 영상 생성 장치(100)의 BSV 이미지 생성 과정에 대하여 설명한다.
프로세서(120)는, 송수신기(110)를 통하여 수신한 원본 이미지를 탑 뷰 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV 이미지를 생성, 즉 공차 보정하기 위한 LUT를 생성할 수 있다. 여기서, 탑 뷰 변환 정보는 상술한 탑 뷰 이미지 변환을 위해 사용되는 원본 이미지의 LDC 모델, 원본 이미지에 포함된 패치(예, 관심 패치)의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함할 수 있다.
LUT는 원본 이미지와 BSV 이미지 간 변환 관계를 정의하는 테이블로써, 본 개시에서는 특히 BSV 이미지 변환을 위해 사용되는 LUT가 탑 뷰 이미지 변환을 위해 사용되는 탑 뷰 변환 정보에 기초하여 생성된다. 다시 말해서, 탑 뷰 변환 정보는 BSV 이미지 생성에도 사용될 수 있다.
구체적으로, 프로세서(120)는 탑 뷰 변환 정보에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하고, 원본 이미지 및 변환된 BSV 이미지 간 매핑 관계를 LUT로 생성할 수 있다. 여기서, LUT는 복수의 원본 이미지 각각에 대하여 생성될 수 있다.
프로세서(120)는, 생성된 LUT에 기초하여 원본 이미지를 BSV 이미지로 변환할 수 있다. 예를 들어, BSV 이미지 변환에 사용되는 원본 이미지는 상술한 복수의 이미지 중 차량의 좌측 및 우측에 각각 설치된 카메라로부터 획득한 이미지일 수 있다.
도 4는 원본 이미지를 도시한 것이고, 도 5는 본 개시의 다양한 예들에 따라 생성된 BSV(blind spot view) 이미지를 도시한 것이다.
도 4 및 도 5를 참조하면, 본 개시에 따른 사이드미러 가상 영상 생성 장치(100)는 복수의 카메라로부터 설치된 이미지 중 좌측 및 우측에 각각 설치된 카메라로부터 획득한 좌측 원본 이미지 및 우측 원본 이미지를 LUT의 입력 데이터로하여, 좌측 및 우측 각각의 BSV 이미지를 생성할 수 있다.
상술한 바와 같이 본 개시에 따른 사이드미러 가상 영상 생성 장치(100)는, 사이드미러에 존재하는 BS 문제를 해소할 수 있는 가상의 BSV 이미지를 차량의 사용자에게 제공할 수 있다. 또한, BSV 이미지 생성 시 탑 뷰 이미지 생성에 사용되는 탑 뷰 변환 정보와, 이러한 탑 뷰 변환 정보를 기초로 생성된 LUT를 사용함으로써 BSV 이미지 생성의 연산 속도가 향상될 수 있다.
또한, 본 개시에 따르면 생성된 BSV 이미지에 경고 영역 이미지가 오버레이(overlay)될 수도 있다.
구체적으로, 프로세서(120)는, 경고 영역 이미지를 BSV 이미지에 오버레이하여 오버레이 이미지를 생성할 수 있다. 여기서, 경고 영역 이미지는 BSV 이미지에서 기 설정된 영역에 오버레이될 수 있다. 기 설정된 영역은 차량의 뒷범퍼 및/또는 측면을 기준으로 일정 거리나 면적을 갖도록 설정되는 영역일 수 있다.
프로세서(120)는, 송수신기(110)를 통하여 턴 신호(turn signal)를 수신하는 것에 기초하여, BSV 이미지 또는 오버레이 이미지를 전송할 수 있다. 여기서, 턴 신호는 차량 사용자의 방향 지시등 조작에 따라 발생하는 것일 수 있다. 즉, 차량 사용자가 방향 지시등을 조작함에 따라 턴 신호가 발생되는 경우, 프로세서(120)는 송수신기(110)를 통하여 턴 신호를 수신할 수 있고, 턴 신호가 수신되는 경우 생성한 BSV 이미지 또는 오버레이 이미지를 차량에 구비되는 표시 장치(미도시)에 전송할 수 있다.
또는, 프로세서(120)는 턴 신호를 수신하지 않는 경우에는 오버레이 이미지가 아닌 BSV 이미지를 표시 장치(미도시)에 전송할 수도 있다.
이에 따라, 차량 사용자는 표시 장치(미도시)를 통해 BSV 이미지를 실시간으로 확인할 수 있고, BSV 이미지에 오버레이된 경고 영역 이미지 내에 다른 차량이나 오브젝트(예, 사람 등)가 포함될 경우 그에 따른 대처가 가능하다.
도 6은 본 개시의 일 예에 따른 사이드미러 가상 영상 생성 방법의 흐름도이다. 이하에서는, 앞서 설명한 부분과 중복되는 부분에 대한 상세한 설명은 생략한다.
도 6을 참조하면, S110에서, 사이드미러 가상 영상 생성 장치(100)는 복수의 카메라로부터 촬영된 원본 이미지를 수신한다.
S120에서, 사이드미러 가상 영상 생성 장치(100)는 원본 이미지를 탑 뷰 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV 이미지를 생성하기 위한 LUT를 생성한다. 여기서, 탑 뷰 변환 정보는 원본 이미지의 LDC 모델, 원본 이미지에 포함된 패치의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함할 수 있다.
사이드미러 가상 영상 생성 장치(100)는 탑 뷰 변환 정보 획득을 위하여 사이드미러 가상 영상 생성 방법과 동시에 또는 이시에 탑 뷰 이미지를 생성할 수도 있다. 탑 뷰 이미지의 생성 방법은 탑 뷰 이미지 생성 에서 상술한 바와 같다.
S130에서, 사이드미러 가상 영상 생성 장치(100)는 LUT에 기초하여 원본 이미지를 BSV 이미지로 변환한다.
상술한 S120에서 생성되는 LUT는 구체적으로 다음과 같이 생성될 수 있다.
사이드미러 가상 영상 생성 장치(100)는 탑 뷰 변환 정보에 기초하여 원본 이미지를 BSV 이미지로 변환한다. 사이드미러 가상 영상 생성 장치(100)는 원본 이미지 및 변환된 BSV 이미지 간 매핑 관계를 LUT로 생성한다.
도 7은 본 개시의 일 예에 따른 오버레이 이미지 생성 및 전송 방법의 흐름도이다.
도 7을 참조하면, S210에서, 사이드미러 가상 영상 생성 장치(100)는 경고 영역 이미지를 생성한다.
S220에서, 사이드미러 가상 영상 생성 장치(100)는 생성한 경고 영역 이미지를 BSV 이미지에 오버레이하여 오버레이 이미지를 생성한다. 여기서, 경고 영역 이미지는 BSV 이미지에서 기 설정된 영역에 오버레이될 수 있다. 기 설정된 영역은 차량의 뒷범퍼 및/또는 측면을 기준으로 일정 거리나 면적을 갖도록 설정되는 영역일 수 있다.
S230에서, 사이드미러 가상 영상 생성 장치(100)는 턴 신호를 수신하는지 여부를 판단할 수 있다.
S240에서, 사이드미러 가상 영상 생성 장치(100)는 턴 신호를 수신하는 것, 즉 S230에 따라 턴 신호를 수신한 것으로 판단된 것에 기초하여, 오버레이 이미지를 표시 장치(미도시)에 전송한다.
이하에서는, 본 개시의 다양한 예들에 따른 사이드미러 가상 영상 생성 장치(100) 및 방법의 적용 예에 대하여 설명한다.
도 8은 본 개시의 일 예에 따른 차량 또는 자율 주행 차량의 블록도이다.
도 8을 참조하면, 차량 또는 자율 주행 차량(10)은 사이드미러 가상 영상 생성 장치(100), 통신부(200), 제어부(300), 메모리부(400), 구동부(500), 자율 주행부(600) 및 전원 공급부(700)를 포함한다.
사이드미러 가상 영상 생성 장치 (100)는 차량 또는 자율 주행 차량(10)에 설치된 복수의 카메라로부터 획득한 원본 이미지를 BSV 이미지로 변환할 수 있다. 사이드미러 가상 영상 생성 장치(100)가 수행하는 동작은 상술한 바와 같다. 통신부(200)는 다른 차량, 보행자가 휴대한 단말, 기지국, RSU(Road Side unit), 서버 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(300)는 차량 또는 자율 주행 차량(10)의 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(300)는 ECU를 포함할 수 있다. 구동부(500)는 차량 또는 자율 주행 차량(10)을 지상에서 주행하게 할 수 있다. 구동부(500)는 엔진, 모터, 파워 트레인, 바퀴, 브레이크, 조향 장치 등을 포함할 수 있다. 전원공급부는 차량 또는 자율 주행 차량(10)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 자율 주행부(600)는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등을 구현할 수 있다. 전원 공급부(700)는 차량 또는 자율 주행 차량(10)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다.
상술한 설명에서 제안 방식에 대한 일례들 또한 본 개시의 구현 방법들 중 하나로 포함될 수 있으므로, 일종의 제안 방식들로 간주될 수 있음은 명백한 사실이다. 또한, 상기 설명한 제안 방식들은 독립적으로 구현될 수 도 있지만, 일부 제안 방식들의 조합 (혹은 병합) 형태로 구현될 수 도 있다.
상술한 바와 같이 개시된 본 개시의 예들은 본 개시와 관련된 기술분야의 통상의 기술자가 본 개시를 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 개시의 예들을 참조하여 설명하였지만, 해당 기술 분야의 통상의 기술자는 본 개시의 예들을 다양하게 수정 및 변경시킬 수 있다. 따라서, 본 개시는 여기에 기재된 예들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
10: 차량 또는 자율 주행 차량
100: 사이드미러 가상 영상 생성 장치
110: 송수신기 120: 프로세서
130: 메모리
200: 통신부 300: 제어부
400: 메모리 500: 구동부
600: 자율 주행부 700: 전원 공급부

Claims (9)

  1. 송수신기(transceiver);
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 동작 가능하게 연결되어 상기 적어도 하나의 프로세서가 동작들을 수행하도록 하는 적어도 하나의 명령어들(instructions)을 저장하는 적어도 하나의 메모리(memory)를 포함하고,
    상기 동작들은:
    상기 송수신기를 통하여 복수의 카메라로부터 촬영된 원본 이미지를 수신하고,
    상기 원본 이미지를 탑 뷰(top view) 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV(blind spot view) 이미지를 생성하기 위한 LUT(look-up table)를 생성하고,
    상기 LUT에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하는,
    사이드미러 가상 영상 생성 장치.
  2. 제1항에 있어서,
    상기 탑 뷰 변환 정보는 상기 원본 이미지의 LDC(lens distortion correction) 모델, 상기 원본 이미지에 포함된 패치(patch)의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함하는,
    사이드미러 가상 영상 생성 장치.
  3. 제2항에 있어서,
    상기 패치는 상기 원본 이미지 및 상기 탑 뷰 이미지 간 기준점인,
    사이드미러 가상 영상 생성 장치.
  4. 제1항에 있어서,
    상기 동작들은:
    상기 탑 뷰 변환 정보에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하고,
    상기 원본 이미지 및 상기 BSV 이미지 간 매핑 관계를 상기 LUT로 생성하는 것을 더 포함하는,
    사이드미러 가상 영상 생성 장치.
  5. 제1항에 있어서,
    상기 동작들은:
    경고 영역 이미지를 상기 BSV 이미지에 오버레이(overlay)하여 오버레이 이미지를 생성하고,
    상기 송수신기를 통하여 턴 신호(turn signal)를 수신하는 것에 기초하여, 상기 오버레이 이미지를 전송하는 것을 더 포함하는,
    사이드미러 가상 영상 생성 장치.
  6. 사이드미러 가상 영상 생성 장치에 의해 수행되는 사이드미러 가상 영상 생성 방법으로서,
    복수의 카메라로부터 촬영된 원본 이미지를 수신하고;
    상기 원본 이미지를 탑 뷰(top view) 이미지로 변환하기 위한 탑 뷰 변환 정보에 기초하여, BSV(blind spot view) 이미지를 생성하기 위한 LUT(look-up table)를 생성하고; 및
    상기 LUT에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하는 것을 포함하는,
    사이드미러 가상 영상 생성 방법.
  7. 제6항에 있어서,
    상기 탑 뷰 변환 정보는 상기 원본 이미지의 LDC(lens distortion correction) 모델, 상기 원본 이미지에 포함된 패치(patch)의 위치 정보 및 탑 뷰 변환 행렬 중 적어도 하나를 포함하는,
    사이드미러 가상 영상 생성 방법.
  8. 제6항에 있어서,
    상기 탑 뷰 변환 정보에 기초하여 상기 원본 이미지를 상기 BSV 이미지로 변환하고; 및
    상기 원본 이미지 및 상기 BSV 이미지 간 매핑 관계를 상기 LUT로 생성하는 것을 더 포함하는,
    사이드미러 가상 영상 생성 방법.
  9. 제6항에 있어서,
    경고 영역 이미지를 상기 BSV 이미지에 오버레이(overlay)하여 오버레이 이미지를 생성하고; 및
    턴 신호(turn signal)를 수신하는 것에 기초하여, 상기 오버레이 이미지를 전송하는 것을 더 포함하는,
    사이드미러 가상 영상 생성 방법.
KR1020210027616A 2021-03-02 2021-03-02 사이드미러 가상 영상 생성 장치 및 방법 KR102513762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027616A KR102513762B1 (ko) 2021-03-02 2021-03-02 사이드미러 가상 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027616A KR102513762B1 (ko) 2021-03-02 2021-03-02 사이드미러 가상 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220124323A KR20220124323A (ko) 2022-09-14
KR102513762B1 true KR102513762B1 (ko) 2023-03-27

Family

ID=83279069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027616A KR102513762B1 (ko) 2021-03-02 2021-03-02 사이드미러 가상 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102513762B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015507386A (ja) 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ ３ｄ車両周辺映像生成方法および装置
KR101762726B1 (ko) 2015-11-16 2017-08-07 (주)캠시스 Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
JP2017188744A (ja) 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用周辺監視装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150073676A (ko) * 2013-12-23 2015-07-01 에스엘 주식회사 차량용 왜곡 보정 장치 및 방법
KR101954199B1 (ko) 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
KR102046468B1 (ko) 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러
KR102559686B1 (ko) * 2018-12-17 2023-07-27 현대자동차주식회사 차량 및 차량 영상 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015507386A (ja) 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ ３ｄ車両周辺映像生成方法および装置
KR101762726B1 (ko) 2015-11-16 2017-08-07 (주)캠시스 Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
JP2017188744A (ja) 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用周辺監視装置

Also Published As

Publication number Publication date
KR20220124323A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US9734425B2 (en) Environmental scene condition detection
JP7451407B2 (ja) センサ装置、電子機器、センサシステム及び制御方法
KR20200091951A (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
US10848727B2 (en) Image processing device, information generation device, and information generation method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
US10877288B2 (en) Imaging device and imaging method
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6816768B2 (ja) 画像処理装置と画像処理方法
CN110915204A (zh) 图像处理装置、图像处理方法、程序和成像装置
CN114881863A (zh) 一种图像拼接方法、电子设备及计算机可读存储介质
KR102513762B1 (ko) 사이드미러 가상 영상 생성 장치 및 방법
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
CN107948501A (zh) 自动环视方法、装置及计算机可读存储介质
CN110012215B (zh) 图像处理装置和图像处理方法
US11336849B2 (en) Image processing apparatus and image processing method
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
CN105323447A (zh) 多鱼眼图像处理方法、装置及车辆
US10848271B2 (en) Communication unit and communication system
EP4080869A1 (en) Information processing device, information processing method, program, image capturing device, and image capturing system
US20200169328A1 (en) Communication device, communication system, and communication method
KR102477510B1 (ko) 차량의 카메라들에 의해 촬영된 영상을 정합하기 위한 장치 및 방법
KR102348294B1 (ko) 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
US11417023B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant