KR20200064014A - 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법 - Google Patents

트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR20200064014A
KR20200064014A KR1020190155150A KR20190155150A KR20200064014A KR 20200064014 A KR20200064014 A KR 20200064014A KR 1020190155150 A KR1020190155150 A KR 1020190155150A KR 20190155150 A KR20190155150 A KR 20190155150A KR 20200064014 A KR20200064014 A KR 20200064014A
Authority
KR
South Korea
Prior art keywords
image
coordinate system
rotation
tractor
trailer
Prior art date
Application number
KR1020190155150A
Other languages
English (en)
Other versions
KR102232276B1 (ko
Inventor
박성령
엄태정
이형준
하수영
정명환
Original Assignee
오토아이티(주)
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주), 아진산업(주) filed Critical 오토아이티(주)
Publication of KR20200064014A publication Critical patent/KR20200064014A/ko
Application granted granted Critical
Publication of KR102232276B1 publication Critical patent/KR102232276B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Trailers, e.g. full trailers, caravans
    • B60W2300/145—Semi-trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/148—Semi-trailers, articulated vehicles

Abstract

본 발명은 트레일러 트럭용 어라운드 뷰 영상 제공 장치에 관한 것으로, 이는 트레일러 트럭의 트랙터와 트레일러 각각에 분산 배치된 전방 카메라들과 후방 카메라들을 구비하는 트레일러 트럭용 AVM 영상 제공 장치의 AVM 영상 제공 방법은, 트랙터 회전 각도를 가변하면서, 상기 전방 카메라들과 상기 후방 카메라들을 이용하여 전방 영상과 후방 영상을 반복 생성하는 단계; 첫 번째 또는 두 번째 전방 영상으로부터 전방 좌표계를, 첫 번째 후방 영상으로부터 후방 기준 좌표계를, 두 번째 후방 영상으로부터 후방 비교 좌표계를 각각 도출한 후, 좌표계간 기하학적 상관관계로부터 전방 영상과 후방 영상간 회전 중심축을 도출하는 단계; 상기 트레일러 트럭이 운행됨에 따라 전방 영상과 후방 영상이 새로이 획득되면, 전방 영상과 후방 영상간 회전 중심축에 기반하여 상기 새로운 전방 영상과 후방 영상을 오버레이 배치하는 단계; 및 상기 트랙터 회전 각도가 변화될 때마다 상기 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시키고 영상 스티칭함으로써, AVM 영상을 획득 및 출력하는 단계를 포함한다.

Description

트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법{Apparatus and method for generating AVM image in trailer truck}
본 발명은 트랙터와 트레일러가 분리 연결되는 트레일러 트럭에 있어서, 오류 정보가 포함되지 않는 어라운드 뷰 영상(Around View Monitoring, AVM)을 생성 및 제공할 수 있도록 하는 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법에 관한 것이다.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 트랙터의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안으로 편리하게 확인할 수 있는 트레일러 트럭용 어라운드 뷰 영상 제공 장치(Around View Monitoring, AVM)가 있다.
트랙터 주변영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 어라운드 뷰 영상을 생성한 후, 이를 자동차에 구비된 디스플레이 장치에 제공하도록 한다.
이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
다만, AVM이 트랙터(V1)와 트레일러(V2)가 분리 연결되는 트레일러 트럭에 적용되는 경우, 도 1에서와 같이 트레일러 트럭이 회전할 때, 트레일러 트럭의 트렉터(V1)와 트레일러(V2)가 분리 회전되고, 그에 따라 트렉터(V1)에 배치된 카메라와 트레일러(V2)에 배치된 카메라간 카메라 시야각 겸침 영역이 발생하게 된다.
그러면, 카메라 시야각 겸침 영역에 동일 영상 정보가 중복 포함되어, 차후 다수의 카메라 영상을 하나의 AVM 영상으로 합성하는 경우, 실제 트레일러 부분이 보이게 되거나, 후방 영상이 이상하게 나오게 되는 부가적 문제가 발생하게 된다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 트레일러 트럭의 트렉터와 트레일러가 분리 회전되더라도 별도의 오류 정보가 포함되지 않도록 하는 트레일러 트럭용 AVM 영상을 생성 및 제공할 수 있도록 하는 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 트레일러 트럭의 트랙터와 트레일러 각각에 분산 배치된 전방 카메라들과 후방 카메라들을 구비하는 트레일러 트럭용 AVM 영상 제공 장치의 AVM 영상 제공 방법은, 트랙터 회전 각도를 가변하면서, 상기 전방 카메라들과 상기 후방 카메라들을 이용하여 전방 영상과 후방 영상을 반복 생성하는 단계; 첫 번째 또는 두 번째 전방 영상으로부터 전방 좌표계를, 첫 번째 후방 영상으로부터 후방 기준 좌표계를, 두 번째 후방 영상으로부터 후방 비교 좌표계를 각각 도출한 후, 좌표계간 기하학적 상관관계로부터 전방 영상과 후방 영상간 회전 중심축을 도출하는 단계; 상기 트레일러 트럭이 운행됨에 따라 전방 영상과 후방 영상이 새로이 획득되면, 전방 영상과 후방 영상간 회전 중심축에 기반하여 상기 새로운 전방 영상과 후방 영상을 오버레이 배치하는 단계; 및 상기 트랙터 회전 각도가 변화될 때마다 상기 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시키고 영상 스티칭함으로써, AVM 영상을 획득 및 출력하는 단계를 포함한다.
상기 좌표계간 기하학적 상관관계는 “
Figure pat00001
”와 “
Figure pat00002
”로 정의되며, 상기 F는 전방 좌표계이고, 상기 B는 후방 기준 좌표계이고, 상기 B'는 후방 비교 좌표계이고, 상기 R 는 후방 기준 좌표계에 대응되는 회전축 좌표계이고, 상기 R'은 후방 비교 좌표계에 대응되는 회전축 좌표계이고, 상기 τi j 는 {i} 좌표계 기준으로 {j} 좌표계의 자세를 기술한 동차변환행렬(homogeneous transformation matrix, HTM)인 것을 특징으로 한다.
상기 전방 영상과 후방 영상간 회전 중심축을 도출하는 단계는 상기 좌표계간 기하학적 상관관계로부터 전방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
Figure pat00003
벡터와 후방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
Figure pat00004
벡터를 도출하는 단계; 및 상기 기준
Figure pat00005
벡터와 상기 기준
Figure pat00006
벡터 중 어느 하나를 전방 영상과 후방 영상간 회전 중심축으로 설정하는 단계를 포함하는 것을 특징으로 하며, 상기 기준
Figure pat00007
벡터는 “
Figure pat00008
”으로 정의되고, 상기 기준
Figure pat00009
벡터는 “
Figure pat00010
”으로 정의되며, 상기 Ri j 는 {i} 좌표계 기준으로 {j} 좌표계의 방향을 기술한 회전행렬(rotation matrix)이고, 상기 ti ij 는 {i} 기준
Figure pat00011
벡터, T는 전치 행렬(transpose matrix) 연산자인 것을 특징으로 한다.
상기 AVM 영상을 획득 및 출력하는 단계는 상기 트랙터 회전 각도를 영상 처리 방식과 센서 센싱 방식 중 어느 하나를 통해 획득하는 단계를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 트레일러 트럭의 트랙터와 트레일러 각각에 분산 배치된 전방 카메라들과 후방 카메라들; 상기 전방 카메라들을 통해 촬영된 영상들을 합성하여 전방 영상을 생성하는 전방 영상 생성부; 상기 후방 카메라들을 통해 촬영된 영상들을 합성하여 후방 영상을 생성하는 후방 영상 생성부; 상기 트랙터의 회전 각도가 상이한 상태에서 획득된 다수의 전방 영상과 후방 영상을 수신한 후, 위치 관계 변화 패턴을 분석하여 전방 영상과 후방 영상간의 회전 중심축을 산출하는 회전 중심축 산출부; 및 상기 전방 영상 위에 후방 영상을 오버레이시킨 후, 트랙터 회전 각도만큼 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시킨 후 영상 스티칭을 수행함으로써, AVM 영상을 생성 및 제공하는 AVM 영상 생성부를 포함하는 트레일러 트럭용 어라운드 뷰 영상 제공 장치를 제공한다.
본 발명은 트레일러 트럭의 트렉터와 트레일러가 분리 회전됨에 따라 카메라 시야각 겸침 영역이 발생하더라도, 카메라 시야각 겸침 영역의 위치를 정확하게 파악한 후 영상 편집함으로써, AVM 영상 내에 실제 트레일러 부분이 보이게 되거나, 후방 영상이 이상하게 나오게 되는 문제가 발생하는 것을 사전 차단하도록 한다. 즉, 오류 정보를 포함하지 않는 AVM 영상을 획득 및 제공할 수 있도록 한다.
도 1은 종래 기술에 따른 트레일러 트럭용 어라운드 뷰 영상의 일례를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 트레일러 트럭용 어라운드 뷰 영상 제공 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전방 영상과 후방 영상간의 회전 중심축 도출 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 트레일러 트럭용 어라운드 뷰 영상 제공 방법을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 트레일러 트럭용 어라운드 뷰 영상 제공 장치를 설명하기 위한 도면이다.
도 2를 참고하면, 트레일러 트럭용 어라운드 뷰 영상 제공 장치(200)는 다수의 전방 카메라(111~113), 다수의 후방 카메라(121~123), 전방 영상 생성부(130), 후방 영상 생성부(140), 회전 중심축 산출부(150), 및 AVM 영상 생성부(160) 등을 포함한다.
다수의 전방 카메라(111~113)는 트레일러 트럭의 트랙터(V1)에 분산 배치되어, 차량 전방, 차량 전방 좌측, 차량 전방 우측 각각을 촬영한 다수의 영상을 획득 및 제공한다.
다수의 후방 카메라(121~123)는 트레일러 트럭의 트레일러(V2)에 분산 배치되어, 차량 후방, 차량 후방 좌측, 차량 후방 우측 각각을 촬영한 다수의 영상을 획득 및 제공한다.
전방 영상 생성부(130)는 전방 카메라(111~113) 각각의 캘리브레이션 정보(카메라 내외부 파라미터)를 사전 획득 및 저장하고, 이를 기반으로 전방 카메라(111~113)를 통해 획득된 다수의 영상을 차량 어라운드 뷰 방식으로 합성하여, 하나의 전방 영상을 생성 및 출력한다.
후방 영상 생성부(140)는 후방 카메라(121~123) 각각의 캘리브레이션 정보(카메라 내외부 파라미터)를 사전 획득 및 저장하고, 이를 기반으로 후방 카메라(121~123)를 통해 획득된 다수의 영상을 차량 어라운드 뷰 방식으로 합성하여, 하나의 후방 영상을 생성 및 출력한다.
회전 중심축 산출부(150)는 트랙터의 회전 각도가 상이한 상태에서 획득된 다수의 전방 영상과 후방 영상을 수신한 후, 이들 영상의 위치 관계 변화 패턴을 분석하여 전방 영상과 후방 영상간의 회전 중심축을 산출한다.
AVM 영상 생성부(160)는 전방 영상 위에 후방 영상을 오버레이시킨 후, 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 트랙터 회전 각도만큼 회전시킨다. 그리고 나서 영상 스티칭을 통해 중복 영상을 제거함으로써, 트레일러 트럭에 최적화된 AVM 영상을 최종 생성 및 제공하도록 한다.
이때, 트랙터 회전 각도는 영상 처리 방식으로 획득하거나 센서 기반으로 획득 가능하며, 이에 대한 상세한 설명은 이하에서 하기로 한다.
이하, 도 3 및 도 4을 참고하여, 본 발명의 일 실시예에 따른 트레일러 트럭용 어라운드 뷰 영상 제공 방법에 대해 보다 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 전방 영상과 후방 영상간의 회전 중심축 도출 방법을 설명하기 위한 도면이다.
먼저, 도 3의 (a)에 도시된 바와 같이 트랙터(V1)를 제1 방향(예를 들어, 우측)으로 최대 회전시킨 후, 전방 영상과 후방 영상을 1차 획득한다.
그리고 도 3의 (b)에 도시된 바와 같이 트랙터(V1)를 제1 방향에 반대되는 제2 방향(예를 들어, 좌측)으로 최대 회전시킨 후, 전방 영상과 후방 영상을 2차 획득하도록 한다. 이때, 트랙터 회전 각도는 센서 기반으로 획득되거나, 사용자에 의해 수동 입력될 수 있다.
그리고 도 3의 (c)에 도시된 바와 같이, 첫번째 전방 영상과 두번째 전방 영상 중 어느 하나로부터 전방 좌표계 {F}를, 첫번째 후방 영상으로부터 후방 기준 좌표계 {B}를, 두번째 후방 영상으로부터 후방 비교 좌표계 {B'}를 각각 도출한다.
그리고 후방 기준 좌표계 {B}에 대응되는 회전축 좌표계(즉, 첫번째 후방 영상에 고정된 회전축 좌표계)를 {R}로, 후방 비교 좌표계 {B'}에 대응되는 회전축 좌표계(즉, 두번째 후방 영상에 고정된 회전 후 회전축 좌표계)를 {R'}로 설정한다. 이때, 모든 좌표계의 z축은 지면 방향을 향한다고 가정하기로 한다.
그러면 이들 좌표계간 기하학적 상관관계는 수학식 1 및 2로 표현되며, 본 발명에서는 이들 수학식1 및 2로부터 수학식 4로 정의되는 전방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
Figure pat00012
벡터와, 수학식 5로 정의되는 후방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
Figure pat00013
벡터를 최종 도출하도록 한다.
[수학식 1]
Figure pat00014
[수학식 2]
Figure pat00015
이때, τi j 는 {i} 좌표계 기준으로 {j} 좌표계의 자세를 기술한 동차변환행렬(homogeneous transformation matrix, HTM)이다.
[수학식 3]
Figure pat00016
이때, Ri j 는 {i} 좌표계 기준으로 {j} 좌표계의 방향을 기술한 회전행렬(rotation matrix)이고, ti ij 는 {i} 기준
Figure pat00017
벡터, 즉 {i} 좌표계의 원점에서 {j} 좌표계 원점까지의 벡터를 기술한 위치 벡터(translation vector)이다.
[수학식 4]
Figure pat00018
[수학식 5]
Figure pat00019
보다 상세하게, 수학식 4 및 5의 회전 중심축은 다음의 과정을 통해 유도된다.
먼저, 수학식 1 및 2는 수학식 6 및 7로 변환될 수 있다.
[수학식 6]
Figure pat00020
[수학식 7]
Figure pat00021
한편, {B′}와 {R'}의 기하학적 관계와 {B}와 {R}의 기하학적 관계는 동일하기 때문에 상기의 수학식들로부터 수학식 8이 도출 가능하다.
[수학식 8]
Figure pat00022
그리고 수학식 8을 수학식 9에서와 같이 정리하면, 최종적으로 앞서 기술된 수학식 4의 전방 영상 관점에서의 회전 중심축에 대응되는 기준
Figure pat00023
벡터가 도출된다.
[수학식 9]
Figure pat00024
이때, T는 전치 행렬(transpose matrix) 연산자를 의미한다.
또한 수학식 6 및 8을 수학식 10에서와 같이 정리함으로써, 수학식 5로 정의되는 후방 영상 관점에서의 회전 중심축에 대응되는 기준
Figure pat00025
벡터 또한 도출된다.
[수학식 10]
Figure pat00026
그러면, 기준
Figure pat00027
벡터와 기준
Figure pat00028
벡터를 중 어느 하나를 전방 영상과 후방 영상간의 회전 중심축으로 결정하도록 한다.
만약, 기준
Figure pat00029
벡터를 전방 영상과 후방 영상간의 회전 중심축으로 결정한 경우에는, 전방 영상을 트랙터 회전 각도에 따라 회전시키고, 기준
Figure pat00030
벡터를 전방 영상과 후방 영상간의 회전 중심축으로 결정한 경우에는, 후방 영상을 트랙터 회전 각도에 따라 회전시킴으로써, 트럭용 AVM을 최종 생성할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 트레일러 트럭용 어라운드 뷰 영상 생성 방법을 설명하기 위한 도면이다.
먼저, 도 4의 (a)와 같이, 기준
Figure pat00031
벡터와 기준
Figure pat00032
벡터로부터 {F} 좌표계, {B} 좌표계, {R} 좌표계간의 위치 관계를 파악하고, 이를 고려하여 전방 영상 위에 후방 영상(또는 후방 영상 위에 전방 영상)을 오버레이시킨다.
보다 상세하게는, 기준
Figure pat00033
벡터로부터 {F} 좌표계와 {R} 좌표계간의 위치 관계, 기준
Figure pat00034
벡터로부터 {B} 좌표계와 {R} 좌표계간의 위치 관계를 파악한다. 그리고 상기 위치 관계를 유지하되, 기준
Figure pat00035
벡터에 대응되는 {R} 좌표계의 원점과 기준
Figure pat00036
벡터에 대응되는 {R} 좌표계의 원점이 일치되도록, 전방 영상 위에 후방 영상(또는 후방 영상 위에 전방 영상)을 오버레이시킨다.
그리고 트랙터 회전 각도가 변화될 때마다 도 4의 (b)에서와 같이, 변화된 트랙터 회전 각도만큼 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시킨다.
이때, 트랙터 회전 각도는 트레일러에 대한 트랙터의 상대적 회전 각도로, 영상 처리 방식으로 획득하거나 센서 기반으로 획득 가능하다.
보다 구체적으로 영상 처리 방식은, 트레일러 트럭이 좌우로 회전되는 경우, 트랙터와 트레일러가 분리 회전됨에 따라 전방 카메라와 후방 카메라의 카메라 시야각이 겹치게 되고, 그 결과 전방 영상과 후방 영상에는 동일 영상 정보가 중복 촬영되는 특징이 있음을 고려하여, 전방 영상과 후방 영상 각각의 특징점을 추출한 후, 이들의 위치 관계를 통해 트랙터 회전 각도를 역추출하는 방식이다.
반면, 회전 각도 센서는 트렉터(V1)의 후방부와 트레일러(V2)의 전방부 중 어느 한곳에 설치되어, 차량(V1)의 후방부와 트레일러(V2)의 전방부간 거리를 센싱 및 통보하는 센서를 구비하고, 센싱 거리값을 트레일러(V2)에 대한 트렉터(V1) 의 상대적 회전 각도를 환산하여 출력하는 방식이다.
즉, 본 발명은 트랙터 회전 각도를 통해 카메라 시야각 겹침 영역을 탐색한 후, 카메라 시야각 겹침 영역에 속하는 두 개의 영상 정보가 동일 위치상에 오버레이 배치되도록 한다.
그리고 나서, 도 4의 (c)에서와 같이, 전방 영상과 후방 영상을 하나의 영상으로 합성하되, 오버레이 영역의 두 개의 영상 정보 중 어느 하나는 제거하는 영상 스티칭을 수행함으로써, 최종 AVM 영상을 생성 및 출력하도록 한다.
그 결과, 최종 AVM 영상에 실제 트레일러 부분이 보이게 되거나, 동일 영상 정보가 중복 표시되는 문제가 발생하지 않게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 트레일러 트럭의 트랙터와 트레일러 각각에 분산 배치된 전방 카메라들과 후방 카메라들을 구비하는 트레일러 트럭용 AVM 영상 제공 장치의 AVM 영상 제공 방법에 있어서,
    트랙터 회전 각도를 가변하면서, 상기 전방 카메라들과 상기 후방 카메라들을 이용하여 전방 영상과 후방 영상을 반복 생성하는 단계;
    첫 번째 또는 두 번째 전방 영상으로부터 전방 좌표계를, 첫 번째 후방 영상으로부터 후방 기준 좌표계를, 두 번째 후방 영상으로부터 후방 비교 좌표계를 각각 도출한 후, 좌표계간 기하학적 상관관계로부터 전방 영상과 후방 영상간 회전 중심축을 도출하는 단계;
    상기 트레일러 트럭이 운행됨에 따라 전방 영상과 후방 영상이 새로이 획득되면, 전방 영상과 후방 영상간 회전 중심축에 기반하여 상기 새로운 전방 영상과 후방 영상을 오버레이 배치하는 단계; 및
    상기 트랙터 회전 각도가 변화될 때마다 상기 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시킨 후 영상 스티칭함으로써, AVM 영상을 획득 및 출력하는 단계를 포함하는 트레일러 트럭용 어라운드 뷰 영상 제공 방법.
  2. 제1항에 있어서, 상기 좌표계간 기하학적 상관관계는
    “
    Figure pat00037
    ”와 “
    Figure pat00038
    ”로 정의되며,
    상기 F는 전방 좌표계이고, 상기 B는 후방 기준 좌표계이고, 상기 B'는 후방 비교 좌표계이고, 상기 R 는 후방 기준 좌표계에 대응되는 회전축 좌표계이고, 상기 R'은 후방 비교 좌표계에 대응되는 회전축 좌표계이고, 상기 τi j 는 {i} 좌표계 기준으로 {j} 좌표계의 자세를 기술한 동차변환행렬(homogeneous transformation matrix, HTM)인 것을 특징으로 하는 트레일러 트럭용 어라운드 뷰 영상 제공 방법.
  3. 제2항에 있어서, 상기 전방 영상과 후방 영상간 회전 중심축을 도출하는 단계는
    상기 좌표계간 기하학적 상관관계로부터 전방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
    Figure pat00039
    벡터와 후방 좌표계와 회전 좌표계간의 위치 관계를 나타내는 기준
    Figure pat00040
    벡터를 도출하는 단계; 및
    상기 기준
    Figure pat00041
    벡터와 상기 기준
    Figure pat00042
    벡터 중 어느 하나를 전방 영상과 후방 영상간 회전 중심축으로 설정하는 단계를 포함하는 것을 특징으로 하며,
    상기 기준
    Figure pat00043
    벡터는 “
    Figure pat00044
    ”으로 정의되고,
    상기 기준
    Figure pat00045
    벡터는
    “
    Figure pat00046
    ”으로 정의되며,
    상기 Ri j 는 {i} 좌표계 기준으로 {j} 좌표계의 방향을 기술한 회전행렬(rotation matrix)이고, 상기 ti ij 는 {i} 기준
    Figure pat00047
    벡터, T는 전치 행렬(transpose matrix) 연산자인 것을 특징으로 하는 트레일러 트럭용 어라운드 뷰 영상 제공 방법.
  4. 제1항에 있어서, 상기 AVM 영상을 획득 및 출력하는 단계는
    상기 트랙터 회전 각도를 영상 처리 방식과 센서 센싱 방식 중 어느 하나를 통해 획득하는 단계를 더 포함하는 것을 특징으로 하는 트레일러 트럭용 어라운드 뷰 영상 제공 방법.
  5. 트레일러 트럭의 트랙터와 트레일러 각각에 분산 배치된 전방 카메라들과 후방 카메라들;
    상기 전방 카메라들을 통해 촬영된 영상들을 합성하여 전방 영상을 생성하는 전방 영상 생성부;
    상기 후방 카메라들을 통해 촬영된 영상들을 합성하여 후방 영상을 생성하는 후방 영상 생성부;
    상기 트랙터의 회전 각도가 상이한 상태에서 획득된 다수의 전방 영상과 후방 영상을 수신한 후, 위치 관계 변화 패턴을 분석하여 전방 영상과 후방 영상간의 회전 중심축을 산출하는 회전 중심축 산출부; 및
    상기 전방 영상 위에 후방 영상을 오버레이시킨 후, 트랙터 회전 각도만큼 회전 중심축을 중심으로 전방 영상과 후방 영상 중 어느 하나를 회전시킨 후 영상 스티칭을 수행함으로써, AVM 영상을 생성 및 제공하는 AVM 영상 생성부를 포함하는 트레일러 트럭용 어라운드 뷰 영상 제공 장치.
KR1020190155150A 2018-11-28 2019-11-28 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법 KR102232276B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180150167 2018-11-28
KR1020180150167 2018-11-28

Publications (2)

Publication Number Publication Date
KR20200064014A true KR20200064014A (ko) 2020-06-05
KR102232276B1 KR102232276B1 (ko) 2021-03-25

Family

ID=71089032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155150A KR102232276B1 (ko) 2018-11-28 2019-11-28 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102232276B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331168B1 (ko) * 2020-08-13 2021-12-01 주식회사 아이비시스 다관절 차량의 다채널 입력 영상에 대한 실시간 어라운드뷰 영상 구현 방법
KR20220095415A (ko) * 2020-12-30 2022-07-07 아진산업(주) 길이 가변 트럭용 avm 영상 제공 장치 및 방법
KR20220131685A (ko) * 2021-03-22 2022-09-29 (주)유비크마이크로 트레일러 차량의 어라운드뷰 영상 생성 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
JP2016119526A (ja) * 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
KR20170107931A (ko) * 2016-03-16 2017-09-26 메크라 랑 게엠베하 운트 코 카게 차량, 특히 상용 차량을 위한 시각적 시스템
JP2019199150A (ja) * 2018-05-16 2019-11-21 クラリオン株式会社 牽引支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
JP2016119526A (ja) * 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
KR20170107931A (ko) * 2016-03-16 2017-09-26 메크라 랑 게엠베하 운트 코 카게 차량, 특히 상용 차량을 위한 시각적 시스템
JP2019199150A (ja) * 2018-05-16 2019-11-21 クラリオン株式会社 牽引支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331168B1 (ko) * 2020-08-13 2021-12-01 주식회사 아이비시스 다관절 차량의 다채널 입력 영상에 대한 실시간 어라운드뷰 영상 구현 방법
KR20220095415A (ko) * 2020-12-30 2022-07-07 아진산업(주) 길이 가변 트럭용 avm 영상 제공 장치 및 방법
KR20220131685A (ko) * 2021-03-22 2022-09-29 (주)유비크마이크로 트레일러 차량의 어라운드뷰 영상 생성 방법 및 시스템
WO2022203173A1 (ko) * 2021-03-22 2022-09-29 (주)유비크마이크로 트레일러 차량의 어라운드뷰 영상 생성 방법 및 시스템

Also Published As

Publication number Publication date
KR102232276B1 (ko) 2021-03-25

Similar Documents

Publication Publication Date Title
US10434945B2 (en) Method and device for displaying an image of the surroundings of a vehicle combination
KR102232276B1 (ko) 트레일러 트럭용 어라운드 뷰 영상 제공 장치 및 방법
US9100554B2 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
US7974444B2 (en) Image processor and vehicle surrounding visual field support device
CN108765496A (zh) 一种多视点汽车环视辅助驾驶系统及方法
CN106537904B (zh) 具有环境监测装置的车辆以及用于运行这种监测装置的方法
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
KR20190028667A (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US20100085170A1 (en) Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers
JP2006048451A (ja) 周辺監視装置および俯瞰画像表示方法
JP7247173B2 (ja) 画像処理方法及び装置
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
US10453173B2 (en) Panel transform
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
EP3633598A1 (en) Image processing device, image processing method, and program
US11380111B2 (en) Image colorization for vehicular camera images
CN112825546A (zh) 使用中间图像表面生成合成图像
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
US20170026572A1 (en) Rear cross traffic - quick looks
JP7168367B2 (ja) 事故通報装置
US11554718B2 (en) Driver assistance for a combination
WO2019198399A1 (ja) 画像処理装置および方法
US10825147B2 (en) Surround view system for a vehicle
CN110077320B (zh) 一种基于雷达的倒车方法及装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right