KR101406230B1 - 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법 - Google Patents

차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR101406230B1
KR101406230B1 KR1020120149439A KR20120149439A KR101406230B1 KR 101406230 B1 KR101406230 B1 KR 101406230B1 KR 1020120149439 A KR1020120149439 A KR 1020120149439A KR 20120149439 A KR20120149439 A KR 20120149439A KR 101406230 B1 KR101406230 B1 KR 101406230B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
avm
clipping region
shifting
Prior art date
Application number
KR1020120149439A
Other languages
English (en)
Inventor
서창형
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020120149439A priority Critical patent/KR101406230B1/ko
Application granted granted Critical
Publication of KR101406230B1 publication Critical patent/KR101406230B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량용 카메라가 고정된 각도로 차량에 설치되어 있는 경우에도, 차량의 기울어짐에 따른 AVM 영상 보정 기능을 수행할 수 있는 차량용 AVM 영상 생성 시스템 및 그 방법이 제공된다. 본 발명에 따른 AVM 영상 생성 시스템은 전방 카메라, 후방 카메라, 좌우 한쌍의 측면 카메라로 구성되는 차량 주변 촬영 카메라와, 차고 센서(height sensor)와, 상기 차고 센서 및 상기 차량 주변 촬영 카메라와 연결되어, 상기 차고 센서로부터 차고 측정치를 제공받고, 상기 차량 주변 촬영 카메라로부터 제공받은 전방 영상, 좌우 측방 영상, 후방 영상을 합성하여 탑뷰 영상을 생성하되, 상기 차고 측정치에 기반하여 상기 전방 영상 및 후방 영상 영상 중 상기 탑뷰 영상에 포함되는 클리핑(clipping) 영역을 수직 방향으로 쉬프팅하는 AVM 모듈을 포함한다.

Description

차량 기울어짐에 따라 보정된 AVM 영상을 생성하는 시스템 및 방법{System and method for generating revised Around View Monitor video according to tilt of automotive}
본 발명은 차량이 기울어진 정도에 따라 AVM 영상을 보정하여 생성하는 시스템 및 방법에 관한 것이다.
일반적으로 차량의 주변 영상을 디스플레이하는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러(inside mirror) 또는 아웃사이드 미러(outside mirror)를 통해 차량 주변을 확인하였다.
그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 방향이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.
특히, 대형 차량의 경우 인사이드 미러나 아웃사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인명 사고의 발생을 방지할 수 있다.
따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 주변 환경을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 차량의 주변 영상을 디스플레이하는 장치가 개발되고 있다.
한편, 차량에 설치된 카메라는, 차량의 기울어짐에 따라 지면에 대한 촬영각이 달라질 수 있다. 이에 대응하기 위하여, 한국 공개 특허 제2012-53713호에는 차량의 차고가 변화될 때 이에 따라 적응적으로 카메라의 각도를 제어하는 장치 및 방법이 기재되어 있다. 상기 한국 공개 특허에 따른 장치는, 차고의 변화를 감지하는 적어도 하나 이상의 센서와, 상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부와, 상기 산출된 회전각에 기초하여 상기 차량용 카메라의 촬상 각도를 조절하는 카메라 조절부로 이루어진다. 그러나, 상기 한국 공개 특허는 차고의 변화를 감지하여 차체의 회전각을 산출하고, 이에 따라 카메라의 촬상각도를 조절하는 것으로, 카메라의 촬상각도가 기구적으로 고정된 경우에는 적용될 수 없는 기술이다.
본 발명이 해결하려는 과제는, 차량용 카메라가 고정된 각도로 차량에 설치되어 있는 경우에도, 차량의 기울어짐에 따른 AVM 영상 보정 기능을 수행할 수 있는 차량용 AVM 영상 생성 시스템을 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 차량용 카메라가 고정된 각도로 차량에 설치되어 있는 경우에도, 차량의 기울어짐에 따른 AVM 영상 보정 기능을 수행할 수 있는 차량용 AVM 영상 생성 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 태양(ASPECT)에 따른 차량용 AVM 영상 생성 시스템은 전방 카메라, 후방 카메라, 좌우 한쌍의 측면 카메라로 구성되는 차량 주변 촬영 카메라와, 차고 센서(height sensor)와, 상기 차고 센서 및 상기 차량 주변 촬영 카메라와 연결되어, 상기 차고 센서로부터 차고 측정치를 제공받고, 상기 차량 주변 촬영 카메라로부터 제공받은 전방 영상, 좌우 측방 영상, 후방 영상을 합성하여 탑뷰 영상을 생성하되, 상기 차고 측정치에 기반하여 상기 전방 영상 및 후방 영상 영상 중 상기 탑뷰 영상에 포함되는 클리핑(clipping) 영역을 수직 방향으로 쉬프팅하는 AVM 모듈을 포함한다.
일 실시예에 따르면, 상기 AVM 모듈은, 상기 차고 측정치에 기반하여 차량의 전후방 방향 기울기를 연산하고, 상기 기울기에 기반하여 상기 쉬프팅의 이동량을 연산할 수 있다. 또한, 상기 AVM 모듈은 상기 기울기와 기준 기울기와의 차이값에 대응하는 상기 쉬프팅의 이동량을 연산할 수 있다. 구체적으로, 상기 AVM 모듈은 상기 기울기가 차량 전방이 더 낮게 기울어진 것을 의미하는 경우(전방 눌림), 상기 전방 영상의 클리핑 영역을 상방 쉬프팅하고, 상기 후방 영상의 클리핑 영역을 하방 쉬프팅하고, 반대로 차량 후방이 더 낮게 기울어진 것을 의미하는 경우(후방 눌림), 상기 전방 영상의 클리핑 영역을 하방 쉬프팅하고, 상기 후방 영상의 클리핑 영역을 상방 쉬프팅할 수 있다.
일 실시예에 따르면, 상기 AVM 모듈은, 상기 차고 측정치에 기반하여 상기 클리핑 영역을 수직 방향으로 쉬프팅하는 동시에, 상기 차고 측정치에 기반하여 상기 클리핑 영역을 줌 인 또는 줌 아웃할 수도 있다. 구체적으로, 상기 AVM 모듈은, 상기 차고 측정치에 기반하여 차량의 전후방 방향 기울기를 연산하고, 상기 기울기가 차량 전방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 줌 아웃하고, 상기 후방 영상의 클리핑 영역을 줌 인하고, 반대로 차량 후방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 줌 인하고, 상기 후방 영상의 클리핑 영역을 줌 아웃할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 태양(ASPECT)에 따른 차량용 AVM 영상 생성 방법은, 차고 센서로부터 차고 측정치를 제공받는 단계, 차량 주변 촬영 카메라로부터 전방 영상, 좌우 측방 영상, 후방 영상을 제공 받는 단계, 상기 차고 측정치로부터 차량의 기울기를 연산하는 단계, 상기 기울기에 기반하여 상기 전방 영상의 클리핑 영역과 상기 후방 영상의 클리핑 영역을 수직 방향으로 쉬프팅하는 단계 및 상기 전방 영상의 쉬프팅된 클리핑 영역과 상기 후방 영상의 쉬프팅된 클리핑 영역 및 상기 좌우 측방 영상 중 적어도 일부 영역 영상을 합성하여 탑뷰 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 쉬프팅하는 단계는, 상기 기울기에 기반하여 상기 전방 영상의 쉬프팅된 클리핑 영역을 줌 인하고 상기 후방 영상의 쉬프팅된 클리핑 영역을 줌 아웃하거나, 상기 전방 영상의 쉬프팅된 클리핑 영역을 줌 아웃하고 상기 후방 영상의 쉬프팅된 클리핑 영역을 줌 인하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 의하면, 차량에 구비된 AVM 영상 촬영용 카메라의 촬영각이 고정된 상태로 구비되더라도, 차량의 기울기에 무관하게 일정한 영역에 대한 촬영 영상을 클리핑하여 탑뷰 영상을 생성함으로써, 차량의 기울기에 따른 AVM 영상 보정 기능을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량용 AVM 영상 생성 시스템을 설명하기 위한 개략적인 블록도이다.
도 2는 도 1의 AVM 모듈에의하여 생성된 탑뷰 영상의 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 차량용 AVM 영상 생성 시스템 구성도이다.
도 4는 본 발명에 따른 클리핑 영역 쉬프팅의 개념을 설명하기 위한 제1 개념도이다.
도 5는 본 발명에 따른 클리핑 영역 쉬프팅의 개념을 설명하기 위한 제2 개념도이다.
도 6은 본 발명에 따른 클리핑 영역 쉬프팅의 개념을 설명하기 위한 제3 개념도이다.
도 7은 본 발명의 다른 실시예에 따른 차량용 AVM 영상 생성 방법을 설명하기 위한 제1 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 차량용 AVM 영상 생성 방법을 설명하기 위한 제2 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량용 AVM 영상 생성 시스템의 구성을 설명하기 위한 개략적인 블록도이다.
도 1을 참조하면, 본 실시예에 따른 차량용 AVM 영상 생성 시스템(1)은, 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라를 포함하는 차량 주변 촬영 카메라(10), 차고 센서(20), AVM 모듈(30)을 포함한다. 물론, 차량용 AVM 영상 생성 시스템(1)은 AVM 모듈(30)에 의하여 생성된 AVM 영상을 디스플레이하는 차량 내부의 디스플레이(40)를 더 포함할 수 있다.
차고 센서(20)는 HEIGHT 센서로도 불리는 계측 장치로, 차량에 구비되어 차고를 측정하는 용도로 사용된다. 도 1에는 차고 센서(20)가 하나로 도시되어 있으나, 구현예에 따라 차량의 서로 다른 위치에 2개 이상의 차고 센서(20)가 구비될 수 있고, AVM 모듈(30)은 2개 이상의 차고 센서(20)로부터 차고 측정치를 제공받을 수 있다.
AVM 모듈(30)은 차량 주변 촬영 카메라(10)로부터 영상 데이터를 제공받는다. AVM 모듈(30)은 CAN(Controller Area Network) 통신 방식으로 영상을 제공받을 수 있으나, 다른 실시예에 따르면 이더넷(Ethernet) 방식으로 영상을 제공받을 수도 있다. AVM 모듈(30)은 제공받은 영상 데이터를 합성하여 탑뷰 영상을 생성한다. 도 2에는 AVM 모듈(30)이 생성한 탑뷰 영상의 일 예가 도시되어 있다.
본 실시예에 따른 AVM 모듈(30)은 상기 제공 받은 차고 측정치에 기반하여 차량의 전후방 방향 기울기를 연산할 수 있다. 연산된 상기 기울기를 바탕으로, 상기 전방 영상 및 후방 영상 영상 중 상기 탑뷰 영상에 포함되는 클리핑 영역을 수직 방향으로 쉬프팅할 수 있다.
이 때, 상기 쉬프팅의 이동량은 상기 기울기와 기준 기울기와의 차이값에 대응할 수 있다. 일 실시예에 따르면, 상기 기울기가 0도를 기준 기울기로 하여 "+" 방향의 기울기와 "-" 방향의 기울기로 연산될 수 있으나, 다른 실시예에 따르면 상기 기울기는 기 지정된 소정의 기울기(0도가 아닌 것)를 기준 기울기로 할 수도 있다. 상기 차이값과 상기 쉬프팅의 이동량은 AVM 모듈(30) 내부에 저장된 룩업 테이블(LOOKUP TABLE)에 기 저장되어 있거나, 상기 차이값을 입력받아 상기 이동량을 출력하는 변환함수가 AVM 모듈(30)의 연산 수단을 통하여 실행될 수 있다.
일 실시예에 따른 AVM 모듈(30)은 상기 차량 기울기에 기반하여 상기 클리핑 영역을 수직 방향으로 쉬프팅하는 동시에, 상기 차고 측정치에 기반하여 상기 클리핑 영역을 줌 인 또는 줌 아웃할 수도 있다. 이는, 차량이 기울어짐에 따라 전방 카메라 또는 후방 카메라가 각각 지면과 더 가까워지거나 더 멀어짐에 따라 영상의 줌 보정이 필요하기 때문이다.
본 실시예에 따른 AVM 영상 생성 시스템(1)은, 차량의 기울기에 무관하게 일정한 영역에 대한 촬영 영상을 클리핑하여 탑뷰 영상을 생성함으로써, 차량의 기울기에 따른 AVM 영상 보정 기능을 제공한다.
도 3은 본 발명의 다른 실시예에 따른 차량용 AVM 영상 생성 시스템 구성도이다.
도 3에 따른 시스템 구성에 따르면, 전방 IP 게이트웨이(100), 중앙 IP 게이트웨이(200), 후방 IP 게이트웨이(300)는 이더넷(ethernet)으로 연결되어, 차량용 AVM 영상 생성 시스템(1)의 각종 구성 요소들이 네트워크를 통해 서로 연결될 수 있도록 구성된다.
도 3에 도시된 바와 같이, 본 실시예에 따르면 2D가 아닌 3D 탑뷰 영상이 제공될 수도 있다. 이러한 점은 3D AVM 모듈(220)이 구비되는 것으로 도 3에 도시되어 있다. 다만, 3D AVM 모듈(220)도 탑뷰 영상을 3D로 생성하는 점을 제외하고는 도 1에 도시된 AVM 모듈(30)과 동일한 동작을 하는 점을 유의하여야 한다.
전방 카메라(110), 후방 카메라(310), 좌측 카메라(240), 우측 카메라(210)는 각각 차량 주변에 관한 전방 이미지, 후방 이미지, 좌측 이미지, 우측 이미지를 획득하도록 구성된다.
중앙 IP 게이트웨이(200)에는 차고 센서(260)가 연결된다. 차고 센서(260)는 HEIGHT 센서로도 불리는 계측 장치로, 차량에 구비되어 차고를 측정하는 용도로 사용된다. 도 3에는 차고 센서(260)가 하나로 도시되어 있으나, 구현예에 따라 차량의 서로 다른 위치에 2개 이상의 차고 센서(260)가 구비될 수 있다. 또한, 도 3에는 차고 센서(260)가 중앙 IP 게이트웨이에 연결되는 것으로 기재되어 있으나, 다른 실시예에 따른 전방 IP 게이트웨이(100), 후방 IP 게이트웨이(300)에 연결될 수도 있다.
디스플레이부(230)는 3D AVM 모듈(220)에 의해 생성된 3D 탑뷰 영상을 디스플레이한다.
3D AVM 모듈(220)은 중앙 IP 게이트웨이(200)를 통하여 차고 센서(260)로부터 차고 측정치를 제공받고, 카메라들(110, 210, 230, 310)로부터 전방 영상, 좌우 측방 영상, 후방 영상의 데이터를 제공받을 수 있다. 3D AVM 모듈(220)은 상기 차고 측정치에 기반하여 상기 전방 영상 및 후방 영상 영상 중 상기 탑뷰 영상에 포함되는 클리핑 영역을 수직 방향으로 쉬프팅한 후, 쉬프팅된 클리핑 영역의 영상과 좌우 측방 영상을 합성하여 3D 탑뷰 영상을 생성할 수 있다. 상기 3D 탑뷰 영상은 터치 디스플레이(222)를 통하여 디스플레이될 수 있다.
일 실시예에 따르면, 3D AVM 모듈(220)은 상기 차고 측정치에 기반하여 상기 쉬프팅된 클리핑 영역의 영상을 줌 인 또는 줌 아웃한 후, AVM 영상을 생성할 수도 있다.
다음으로, 도 4를 참조하여 본 발명에서 언급되는 클리핑 영역(clipping area) 및 클리핑 영역의 쉬프팅(shifting)이 의미하는 바를 설명한다.
AVM 용 카메라(10, 110, 210, 230, 310)는 넓은 화각을 가지는 렌즈를 구비한 것이 사용된다. 예를 들어, 도 4에 도시된 것과 같이 180도를 넘는 190도의 화각을 가지는 렌즈가 사용될 수도 있다. 그런데, 도 2에 도시된 것과 같은 탑뷰 영상을 생성하기 위하여 도 4에 도시된 전체 화각에 해당하는 영역(400)이 모두 사용되는 것이 아니라, 일부 영역만이 사용될 수 있다. 예를 들어, 전방 카메라에 있어서, 수직 방향으로 너무 상방에 위치한 영역은 도로 정보를 포함하는 것이 아니라, 하늘의 영상을 가리킬 수 있으므로 탑뷰 영상에 포함시킬 필요가 없고, 수직 방향으로 너무 하방에 위치한 영역은 차량에 너무 근접한 영역이어서 마찬가지로 탑뷰 영상에 포함시킬 필요가 없다. 본 발명에서는 카메라의 전체 촬영 영역 중, 탑뷰 영상 생성을 위하여 사용되는 영역을 클리핑 영역(402)이라고 지칭한다.
예를 들어, 도 4에 도시된 바와 같이, 수직 방향의 전체 화각 190도 중, 135도에 해당하는 영역이 클리핑 영역(402)으로 세팅되어 있을 수 있다.
본 발명에서는 클리핑 영역(402)을 차량의 기울기에 따라 수직 방향으로 쉬프팅한다. 도 4는 후방 카메라에 의하여 촬영된 영상이라고 가정하면, 차량의 전방이 눌리는 방향으로 기울어진 경우, 후방 카메라는 기준 기울기에 비하여 상대적으로 상방을 촬영하게 될 것이다. 기울어진 정도가 큰 경우에는 탑뷰 영상에서 차량 후방 영상 중, 차량과 가까운 부분이 표시되지 않게 되는 문제점이 발생할 수 있다. 따라서, 후방 영상의 클리핑 영역(402)은 수직 방향으로 하방(406)으로 쉬프팅되고, 쉬프팅된 클리핑 영역(402)의 영상이 탑뷰 영상 생성에 사용된다. 반대로, 차량의 후방이 눌리는 방향으로 기울어진 경우, 후방 영상의 클리핑 영역(402)은 상방(404)으로 쉬프팅될 것이다.
이해의 편의를 돕기 위하여 도 5 및 도 6을 참조하여 설명한다. 도 5 및 도 6은 차량이 기울어진 경우 클리핑 영역(402)의 쉬프팅을 설명하기 위해 차량을 측면에서 도시한 개념도이다.
도 5에서는 차량의 후방이 눌리는 방향으로 기울어진 경우를 도시한다. 이 때, AVM 모듈(30) 또는 3D AVM 모듈(220)은 전방 영상의 클리핑 영역(402)을 하방 쉬프팅(406)하고, 상기 후방 영상의 클리핑 영역(402)을 상방 쉬프팅(404)하여, 클리핑 영역의 위치를 보정한다.
도 6에서는 차량의 전방이 눌리는 방향으로 기울어진 경우를 도시한다. 이 때, AVM 모듈(30) 또는 3D AVM 모듈(220)은 전방 영상의 클리핑 영역(402)을 상방 쉬프팅(404)하고, 상기 후방 영상의 클리핑 영역(402)을 하방 쉬프팅(406)하여, 클리핑 영역의 위치를 보정한다.
이하, 본 발명의 다른 실시예에 따른 차량용 AVM 영상 생성 방법에 대하여 도 7 내지 도 8을 참조하여 설명한다.
차량의 전방, 후방, 좌측방, 우측방 영상 데이터를 수신하고(S100), 차고 센서로부터 차고 측정치를 수신한다(S102).
다음으로 차고 측정치로부터 차량 기울기가 연산된다(S104). 기울기 방향이 전방 눌림(차량 전방이 더 낮게 기울어진 것)인 경우, 전방 영상 클리핑 영역을 상방으로 쉬프팅하고, 후방 영상 클리핑 영역을 하방으로 쉬프팅한다(S108). 반대로 기울기 방향이 후방 눌림(차량 후방이 더 낮게 기울어진 것)인 경우, 전방 영상 클리핑 영역을 하방으로 쉬프팅하고, 후방 영상 클리핑 영역을 상방으로 쉬프팅한다(S110). 상기 쉬프팅은 기지정된 고정 이동량만큼 수행될 수도 있고, 상기 기울기에 따라 정해지는 이동량만큼 수행될 수도 있다.
다음으로, 전후방 영상의 상기 쉬프팅된 클리핑 영역과 측방 영상의 적어도 일부 영역을 합성하여 탑뷰 영상이 생성될 수 있다(S112).
한편, 몇몇 실시예들에 따르면, 도 8에 도시된 바와 같이, 전후방 영상에 대한 줌 인/줌 아웃이 수행 (S109, S111) 될 수도 있다.
본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 AVM 모듈(30), 3D AVM 모듈(220) 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 AVM 모듈(30), 3D AVM 모듈(220) 등의 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 차량 주변 촬영 카메라
30: AVM 모듈
40: 디스플레이
100: 전방 IP 게이트웨이
110: 전방 카메라
200: 중앙 IP 게이트웨이
210: 우측 카메라
220: 3D AVM 모듈
222: 터치 디스플레이
230: 좌측 카메라
300: 후방 IP 게이트웨이
310: 후방 카메라
20, 260: 차고 센서

Claims (8)

  1. 전방 카메라, 후방 카메라, 좌우 한쌍의 측면 카메라로 구성되는 차량 주변 촬영 카메라;
    차고 센서(height sensor);
    상기 차고 센서 및 상기 차량 주변 촬영 카메라와 연결되어, 상기 차고 센서로부터 차고 측정치를 제공받고, 상기 차량 주변 촬영 카메라로부터 제공받은 전방 영상, 좌우 측방 영상, 후방 영상을 합성하여 탑뷰 영상을 생성하되, 상기 차고 측정치에 기반하여 상기 전방 영상 및 후방 영상 영상 중 상기 탑뷰 영상에 포함되는 클리핑 영역을 수직 방향으로 쉬프팅하는 AVM 모듈을 포함하되,
    상기 AVM 모듈은,
    상기 차고 측정치에 기반하여 상기 클리핑 영역을 수직 방향으로 쉬프팅하는 동시에, 상기 차고 측정치에 기반하여 상기 클리핑 영역을 줌 인 또는 줌 아웃하는 차량용 AVM 영상 생성 시스템.
  2. 제1 항에 있어서,
    상기 AVM 모듈은,
    상기 차고 측정치에 기반하여 차량의 전후방 방향 기울기를 연산하고, 상기 기울기에 기반하여 상기 쉬프팅의 이동량을 연산하는,
    차량용 AVM 영상 생성 시스템.
  3. 제2 항에 있어서,
    상기 AVM 모듈은,
    상기 기울기와 기준 기울기와의 차이값에 대응하는 상기 쉬프팅의 이동량을 연산하는,
    차량용 AVM 영상 생성 시스템.
  4. 제2 항에 있어서,
    상기 AVM 모듈은,
    상기 기울기가 차량 전방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 상방 쉬프팅하고, 상기 후방 영상의 클리핑 영역을 하방 쉬프팅하고, 반대로 차량 후방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 하방 쉬프팅하고, 상기 후방 영상의 클리핑 영역을 상방 쉬프팅하는,
    차량용 AVM 영상 생성 시스템.
  5. 삭제
  6. 제1 항에 있어서,
    상기 AVM 모듈은,
    상기 차고 측정치에 기반하여 차량의 전후방 방향 기울기를 연산하고,
    상기 기울기가 차량 전방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 줌 아웃하고, 상기 후방 영상의 클리핑 영역을 줌 인하고, 반대로 차량 후방이 더 낮게 기울어진 것을 의미하는 경우, 상기 전방 영상의 클리핑 영역을 줌 인하고, 상기 후방 영상의 클리핑 영역을 줌 아웃하는,
    차량용 AVM 영상 생성 시스템.
  7. 차고 센서로부터 차고 측정치를 제공받는 단계;
    차량 주변 촬영 카메라로부터 전방 영상, 좌우 측방 영상, 후방 영상을 제공 받는 단계;
    상기 차고 측정치로부터 차량의 기울기를 연산하는 단계;
    상기 기울기에 기반하여 상기 전방 영상의 클리핑 영역과 상기 후방 영상의 클리핑 영역을 수직 방향으로 쉬프팅하고, 상기 차고 측정치에 기반하여 상기 클리핑 영역을 줌 인 또는 줌 아웃하는 단계; 및
    상기 전방 영상의 쉬프팅된 클리핑 영역과 상기 후방 영상의 쉬프팅된 클리핑 영역 및 상기 좌우 측방 영상 중 적어도 일부 영역 영상을 합성하여 탑뷰 영상을 생성하는 단계를 포함하는,
    차량용 AVM 영상 생성 방법.
  8. 상기 쉬프팅하는 단계는,
    상기 기울기에 기반하여 상기 전방 영상의 쉬프팅된 클리핑 영역을 줌 인하고 상기 후방 영상의 쉬프팅된 클리핑 영역을 줌 아웃하거나, 상기 전방 영상의 쉬프팅된 클리핑 영역을 줌 아웃하고 상기 후방 영상의 쉬프팅된 클리핑 영역을 줌 인하는 단계를 포함하는,
    차량용 AVM 영상 생성 방법.
KR1020120149439A 2012-12-20 2012-12-20 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법 KR101406230B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120149439A KR101406230B1 (ko) 2012-12-20 2012-12-20 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149439A KR101406230B1 (ko) 2012-12-20 2012-12-20 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101406230B1 true KR101406230B1 (ko) 2014-06-12

Family

ID=51132523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149439A KR101406230B1 (ko) 2012-12-20 2012-12-20 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101406230B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097596A (ko) * 2015-02-09 2016-08-18 현대모비스 주식회사 Avm 영상 보정 시스템 및 그 제어방법
KR101672923B1 (ko) 2015-12-23 2016-11-04 에스엘 주식회사 주변 영상 모니터링 장치 및 방법
KR20170100897A (ko) 2016-02-26 2017-09-05 한화지상방산 주식회사 주변 영상 모니터링 장치
KR101793223B1 (ko) 2016-07-13 2017-11-03 모바일 어플라이언스 주식회사 차량 운전 보조장치
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
WO2018030652A1 (ko) * 2016-08-10 2018-02-15 모바일 어플라이언스 주식회사 차량 운전 보조 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09183336A (ja) * 1995-12-28 1997-07-15 Koito Mfg Co Ltd 車輌用灯具の照射方向制御装置
KR20100034281A (ko) * 2008-09-23 2010-04-01 현대자동차주식회사 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템
KR20120017743A (ko) * 2010-08-19 2012-02-29 현대모비스 주식회사 차량 전방위 감시를 위한 영상 보정 방법
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09183336A (ja) * 1995-12-28 1997-07-15 Koito Mfg Co Ltd 車輌用灯具の照射方向制御装置
KR20100034281A (ko) * 2008-09-23 2010-04-01 현대자동차주식회사 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템
KR20120017743A (ko) * 2010-08-19 2012-02-29 현대모비스 주식회사 차량 전방위 감시를 위한 영상 보정 방법
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111218A (ko) * 2015-02-09 2021-09-10 현대모비스 주식회사 Avm 영상 보정 시스템 및 그 제어방법
KR20160097596A (ko) * 2015-02-09 2016-08-18 현대모비스 주식회사 Avm 영상 보정 시스템 및 그 제어방법
KR102326061B1 (ko) 2015-02-09 2021-11-12 현대모비스 주식회사 Avm 영상 보정 시스템 및 그 제어방법
KR102303228B1 (ko) * 2015-02-09 2021-09-16 현대모비스 주식회사 Avm 영상 보정 시스템 및 그 제어방법
KR101672923B1 (ko) 2015-12-23 2016-11-04 에스엘 주식회사 주변 영상 모니터링 장치 및 방법
KR20170100897A (ko) 2016-02-26 2017-09-05 한화지상방산 주식회사 주변 영상 모니터링 장치
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR102457264B1 (ko) * 2016-05-02 2022-10-20 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR101793223B1 (ko) 2016-07-13 2017-11-03 모바일 어플라이언스 주식회사 차량 운전 보조장치
US10708552B2 (en) 2016-07-13 2020-07-07 Mobile Appliance, Inc. Vehicle driving assistant device
JP2019523622A (ja) * 2016-07-13 2019-08-22 モバイル アプライアンス，インコーポレイテッド 車両運転補助装置
WO2018012879A1 (ko) * 2016-07-13 2018-01-18 모바일 어플라이언스 주식회사 차량 운전 보조장치
WO2018030652A1 (ko) * 2016-08-10 2018-02-15 모바일 어플라이언스 주식회사 차량 운전 보조 시스템

Similar Documents

Publication Publication Date Title
KR101406230B1 (ko) 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
US20220210344A1 (en) Image display apparatus
KR101491324B1 (ko) 차량용 영상 획득 장치
JP2001218197A (ja) 車両用周辺表示装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2012156672A (ja) 車両周辺監視装置
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
KR20180020274A (ko) 패널 변환
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP5907914B2 (ja) 車両用運転支援装置
EP3184364B1 (en) Rear view device for a vehicle
JP7183562B2 (ja) 画像処理装置
JP2018034716A (ja) 車両用操作システム及びコンピュータプログラム
JP2008230561A (ja) 撮像制御装置および測光領域調整方法
JPH0963000A (ja) 車両搭載用映像装置
CN112389423B (zh) 车辆及用于控制车辆的方法
JP2011180962A (ja) 運転支援装置、運転支援方法およびプログラム
KR20160097596A (ko) Avm 영상 보정 시스템 및 그 제어방법
US20220292841A1 (en) Vehicle camera mirror system with adjustable video feed
JP2021118435A (ja) 画像処理装置及び画像処理方法
KR101659606B1 (ko) 뒷바퀴 위치 표시 차량 후진 영상 시스템의 영상 표시 방법
JP2009262881A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6