KR102422585B1 - 길이 가변 트럭용 avm 영상 제공 장치 및 방법 - Google Patents

Abstract

본 발명은 길이 가변 트럭용 AVM 영상 제공 장치에 관한 것으로, 이는 트랙터 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 전방 카메라; 트레일러 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 후방 카메라; 상기 다수의 전방 카메라를 통해 획득된 영상들을 합성하여 전방 영상을 생성하는 전방 영상 제공부; 상기 다수의 후방 카메라를 통해 획득된 영상들을 합성하여 후방 영상을 생성하는 후방 영상 제공부; 상기 트랙터와 상기 트레일러간 거리를 센싱 및 출력하는 거리 센서; 트럭의 길이 최소 또는 최대 상태에서 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하되, 트럭 길이가 변화될 때마다 상기 거리 센서를 통해 센싱된 상기 트랙터와 상기 트레일러간 거리 변화량에 기반하여 상기 트레일러 기준 좌표계를 위치 이동시켜 트레일러 보정 좌표계를 추가 획득하는 좌표계 제어부; 상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, AVM 영상을 생성 및 제공하는 AVM 영상 생성부를 포함할 수 있다.

Description

길이 가변 트럭용 AVM 영상 제공 장치 및 방법{Apparatus and method for providing AVM image for variable length truck}

본 발명은 트랙터와 트레일러간 길이가 가변되는 길이 가변 트럭에 있어서, 트랙터와 트레일러간 길이 변화에 상관없이 AVM(Around View Monitoring) 영상을 오류 없이 생성 및 제공할 수 있도록 하는 길이 가변 트럭용 AVM 영상 제공 장치 및 방법에 관한 것이다.

최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 자동차의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.

이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안으로 편리하게 확인할 수 있는 AVM 영상 제공 장치(Around View Monitoring, AVM)가 있다.

AVM 영상 제공 장치는 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 다수의 영상을 합성하여 AVM 영상을 생성한 후, 이를 차량에 구비된 디스플레이 장치에 제공하도록 한다.

이에 따라 운전자는 표시된 주변 환경을 통해 차량의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.

다만, 길이 가변 트럭의 경우, 도 1에서와 같이 트랙터와 트레일러간 거리가 수시 변화될 수 있은 데, 이러한 경우 거리 변화량을 고려한 영상 합성 동작을 수행하지 않으면 거리 변화에 따른 영상 누락분이 발생하는 문제가 발생할 수 있다.

다시 말해, 도 2에서와 같이 트랙터와 트레일러간 거리에 따라 트랙터 좌표계와 트레일러 좌표계간 위치 관계가 수시로 변화되는데, 전방 영상과 후방 영상의 영상 합성 영역이 이를 고려하지 못하면, 트랙터와 트레일러 사이의 영상 일부가 누락되는 문제가 발생할 수 있다.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 길이 가변 트럭의 영상 누락분 발생을 사전 방지할 수 있는 길이 가변 트럭용 AVM 영상 제공 장치 및 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 트랙터 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 전방 카메라; 트레일러 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 후방 카메라; 상기 다수의 전방 카메라를 통해 획득된 영상들을 합성하여 전방 영상을 생성하는 전방 영상 제공부; 상기 다수의 후방 카메라를 통해 획득된 영상들을 합성하여 후방 영상을 생성하는 후방 영상 제공부; 상기 트랙터와 상기 트레일러간 거리를 센싱 및 출력하는 거리 센서; 트럭의 길이 최소 또는 최대 상태에서 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하되, 트럭 길이가 변화될 때마다 상기 거리 센서를 통해 센싱된 상기 트랙터와 상기 트레일러간 거리 변화량에 기반하여 상기 트레일러 기준 좌표계를 위치 이동시켜 트레일러 보정 좌표계를 추가 획득하는 좌표계 제어부; 상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, AVM 영상을 생성 및 제공하는 AVM 영상 생성부를 포함하는 길이 가변 트럭용 AVM 영상 제공 장치를 제공한다.

상기 좌표계 제어부는 트럭의 길이 최소 또는 최대 상태에서 획득된 전방 영상의 좌표계를 트랙터 좌표계로 획득하고, 후방 영상의 좌표계를 트레일러 기준 좌표계로 획득하는 것을 특징으로 한다.

상기 AVM 영상 생성부는 상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 확대하거나 위치 이동시키는 것을 특징으로 한다.

상기 거리 센서는 상기 트랙터의 후면 또는 상기 트레일러의 전면에 설치되는 것을 특징으로 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 트럭의 길이 최소 또는 최대 상태에서 획득되는 다수의 전방카메라 및 다수의 후방카메라를 통해 획득한 영상을 이용하여 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하는 단계; 트럭 길이가 변화되면, 상기 트랙터의 후면 또는 상기 트레일러의 전면에 설치된 거리 센서를 통해 상기 트랙터와 상기 트레일러간 거리 변화량을 획득하는 단계; 상기 트랙터와 상기 트레일러간 거리 변화량에 따라 상기 트레일러 기준 좌표계를 위치 이동시켜 트레일러 보정 좌표계를 추가 획득하는 단계; 및 상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, AVM 영상을 생성 및 제공하는 단계를 포함하는 길이 가변 트럭용 AVM 영상 제공 방법을 제공한다.

본 발명은 트럭 길이 변화에 의해 트렉터와 트레일러간 거리가 변화되는 경우, 거리 센서를 통해 트랙터와 트레일러간 거리 변화량을 센싱한 후, 이를 이용하여 트랙터 좌표계와 트레일러 좌표계간 위치 관계를 능동 조정함으로써, 영상 누락분이 없는 AVM 영상을 보다 안정적으로 생성 및 제공할 수 있게 된다.

도 1 및 도 2은 종래 기술에 따른 길이 가변 트럭용 AVM 영상의 일례를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 장치의 전방 및 후방 카메라 교정 정보 획득 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 장치에 이용되는 좌표계들을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 방법을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 트레일러 보정 좌표계를 반영한 AVM 영상 보정 방법을 설명하기 위한 도면이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 3은 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 장치를 설명하기 위한 도면이다.

도 3을 참고하면, 길이 가변 트럭용 AVM 영상 제공 장치(100)는 다수의 전방 카메라(111~113), 다수의 후방 카메라(121~123), 전방 영상 생성부(130), 후방 영상 생성부(140), 거리 센서(150), 좌표계 제어부(160), 및 AVM 영상 생성부(170) 등을 포함한다.

다수의 전방 카메라(111~113)는 길이 가변 트럭의 트랙터(V1)에 분산 배치되어, 차량 전방, 차량 전방 좌측, 차량 전방 우측 각각을 촬영한 다수의 영상을 획득 및 제공한다.

다수의 후방 카메라(121~123)는 길이 가변 트럭의 트레일러(V2)에 분산 배치되어, 차량 후방, 차량 후방 좌측, 차량 후방 우측 각각을 촬영한 다수의 영상을 획득 및 제공한다.

전방 영상 생성부(130)는 전방 카메라(111~113) 각각의 교정 정보(카메라 내외부 파라미터)를 사전 획득 및 저장하고, 이를 기반으로 전방 카메라(111~113)를 통해 획득된 다수의 영상을 합성하여 하나의 전방 영상을 획득 및 출력한다.

후방 영상 생성부(140)는 후방 카메라(121~123) 각각의 교정 정보를 사전 획득 및 저장하고, 이를 기반으로 후방 카메라(121~123)를 통해 획득된 다수의 영상을 합성하여 하나의 후방 영상을 생성 및 출력한다.

이때, 전방 및 후방 카메라(111~113, 121~123) 각각의 교정 정보는 도 4에서와 같이 트럭 주변 바닥에 다수의 교정판을 배치하여 동시 촬영한 후, 영상내 교정판 특징점들의 위치 관계를 비교 분석함으로써 획득 가능하나, 이의 구체적인 구현 방법은 차후 다양하게 변화될 수 있을 것이다.

거리 센서(140)는 트랙터(V1)의 후면 또는 트레일러(V2)의 전면에 설치되어, 트럭 길이가 변화될 때 마다 트랙터(V1)와 트레일러(V2)간 거리를 센싱 및 출력한다.

좌표계 제어부(150)는 트럭의 길이 최소 또는 최대 상태에서 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하되, 트랙터와 트레일러간 길이가 변화될 때마다 트랙터(V1)와 트레일러(V2)간 거리 변화량에 기반하여 트레일러 기준 좌표계를 위치 이동시켜 트레일러의 현재 위치에 대응되는 트레일러 보정 좌표계를 수시 획득 및 저장하도록 한다.

AVM 영상 생성부(160)는 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, 이들 반영한 AVM 영상을 생성 및 출력한다.

도 5는 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 장치에 이용되는 좌표계들을 설명하기 위한 도면이다.

도 5를 참고하면, 본 발명은 트랙터에 대응되는 트랙터 좌표계 {F}, 길이 가변축에 대응되는 길이 가변축 기준 좌표계 {T}와 길이 가변축 보정 좌표계 {T‘}, 트레일러에 대응되는 트레일러 기준 좌표계 {B}와 트레일러 보정 좌표계 {B}를 이용함을 알 수 있다.

트랙터 좌표계 {F}와 트레일러 기준 좌표계 {B}는 트럭 길이 최소 상태(또는 최대 상태)에서 획득된 전방 영상과 후방 영상으로부터 도출 가능하고, 길이 가변축 기준 좌표계 {T}는 길이 가변축에 원점을 위치하고 {F }의 방향과 동일하게 설정 가능하다.

예를 들어, 전방 영상의 좌표계를 트랙터 좌표계 {F}로 설정하고, 후방 영상의 좌표계를 트레일러 기준 좌표계 {B}로 설정하고, 트럭의 길이 가변축에 원점을 위치시킨 후 {F}의 방향과 동일하도록 길이 가변축 기준 좌표계 {T}를 설정할 수 있다.

이때, 모든 좌표계의 z축은 지면 방향을 향한다고 가정하기로 한다.

그리고 길이 가변축 보정 좌표계 {T‘} 및 트레일러 보정 좌표계 {B‘}는 트랙터(V1)와 트레일러(V2)간 길이가 변화되는 경우, 길이 가변축 기준 좌표계 {T} 및 트레일러 기준 좌표계 {B}를 트랙터(V1)와 트레일러(V2)간 길이에 따라 보정함으로써 도출 가능하다.

예를 들어, 트랙터(V1)와 트레일러(V2)간 길이가 변화되면, 트랙터(V1)의 후면 또는 트레일러(V2)의 전면에 설치된 거리 센서를 통해 변화된 트랙터(V1)와 트레일러(V2)간 거리(△D)를 센싱한 후, 거리 센싱 결과 만큼 길이 가변축 기준 좌표계 {T} 및 트레일러 기준 좌표계 {B}를 위치 이동시킴으로써 획득 가능하다.

[수학식 1]

{T‘} = {T‘} + △D

{B‘} = {B‘} + △D

다만, 트럭은 트랙터(V1)와 트레일러(V2)간 거리가 변화될 뿐, 별도의 회전 동작은 수행하지 않는 특징을 가지므로, 트랙터 좌표계 {F}의 별도 보정은 수행하지 않도록 한다.

도 6은 본 발명의 일 실시예에 따른 길이 가변 트럭용 AVM 영상 제공 방법을 설명하기 위한 도면이다.

먼저, AVM 영상 제공 장치(100)는 트럭 길이 최소화 상태에서, 다수의 전방 및 후방 카메라를 통해 획득된 다수 영상들을 합성하여 전방 영상과 후방 영상을 생성한 후, 전방 영상의 좌표계를 트랙터 좌표계 {F}로 획득하고, 후방 영상의 좌표계를 트레일러 기준 좌표계 {B}로 획득한다(S1).

단계 S1이 완료된 상태에서 트럭 길이가 변화되면(S2), AVM 영상 제공 장치(100)는 거리 센서를 통해 트랙터(V1)와 트레일러(V2)간 거리를 센싱하여 거리 변화량(D)을 산출한 후(S3), 거리 변화량(D)를 반영하여 트레일러 기준 좌표계 {B}를 위치 이동시킴으로써, 트레일러 보정 좌표계 {B‘}를 추가 획득한다(S4).

그리고 다수의 전방 및 후방 카메라를 통해 획득된 다수 영상들을 합성하여 전방 영상과 후방 영상을 생성하되(S4), 트레일러 보정 좌표계 {B‘}를 고려하여 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 위치 조정 또는 확대하도록 한다(S5).

예를 들어, 도 7에서와 같이 트레일러 보정 좌표계 {B‘}에 따라 후방 영상의 영상 합성 영역을 트랙터(V1)쪽으로 위치 이동시킴으로써, 후방 영상이 트랙터(V1)와 트레일러(V2)간 길이 증가분에 대한 영상을 추가 구비할 수 있도록 한다.

또 다르게는 도 8에서와 같이 트레일러 보정 좌표계 {B‘}에 따라 전방 영상의 영상 합성 영역의 길이를 확대시킴으로써, 전방 영상에 트랙터(V1)와 트레일러(V2)간 길이 증가분에 대한 영상을 추가 구비할 수 있도록 한다.

그리고 트레일러 보정 좌표계 {B‘}에 따라 영상 합성 영역이 충분히 보정된 전방 영상과 후방 영상을 트랙터 좌표계 {F}와 트레일러 보정 좌표계 {B‘}의 위치 관계에 따라 오버레이시킨 후 영상 스티칭함으로써, 하나의 AVM 영상을 최종 생성한다(S6).

이와 같이, 본 발명은 거리 센서를 통해 트랙터(V1)와 트레일러(V2)간 거리 변화량을 센싱하고 이를 이용하여 트레일러 기준 좌표계 {B}를 조정할 수 있도록 한다. 이에 트랙터(V1)와 트레일러(V2)간 거리 변화량을 고려하여 AVM 영상 합성 동작을 수행할 수 있으며, 이에 따라 영상 누락분이 없는 AVM 영상을 안정적으로 생성 및 제공할 수 있게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

1. 트랙터와 트레일러간 거리만이 변화되는 길이 가변 트럭의 AVM 영상 제공을 위한 길이 가변 트럭용 AVM 영상 제공 장치에 있어서,
   트랙터 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 전방 카메라;
   트레일러 주변을 촬영한 다수의 영상을 획득 및 제공하는 다수의 후방 카메라;
   상기 다수의 전방 카메라를 통해 획득된 영상들을 합성하여 전방 영상을 생성하는 전방 영상 제공부;
   상기 다수의 후방 카메라를 통해 획득된 영상들을 합성하여 후방 영상을 생성하는 후방 영상 제공부;
   상기 트랙터와 상기 트레일러간 거리를 센싱 및 출력하는 거리 센서;
   트럭의 길이 최소 또는 최대 상태에서 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하되, 트럭 길이가 변화될 때마다 상기 거리 센서를 통해 센싱된 상기 트랙터와 상기 트레일러간 거리 변화량에 기반하여 상기 트레일러 기준 좌표계를 위치 이동시켜 트레일러 보정 좌표계를 추가 획득하는 좌표계 제어부;
   상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, AVM 영상을 생성 및 제공하는 AVM 영상 생성부를 포함하며,
   상기 좌표계 제어부는
   트럭의 길이 최소 또는 최대 상태에서 획득된 전방 영상의 좌표계를 트랙터 좌표계로 획득하고, 후방 영상의 좌표계를 트레일러 기준 좌표계로 획득하는 것을 특징으로 하는 길이 가변 트럭용 AVM 영상 제공 장치.
2. 삭제
3. 제1항에 있어서, 상기 AVM 영상 생성부는
   상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 확대하거나 위치 이동시키는 것을 특징으로 하는 길이 가변 트럭용 AVM 영상 제공 장치.
4. 제1항에 있어서, 상기 거리 센서는
   상기 트랙터의 후면 또는 상기 트레일러의 전면에 설치되는 것을 특징으로 하는 길이 가변 트럭용 AVM 영상 제공 장치.
5. 트랙터와 트레일러간 거리만이 변화되는 길이 가변 트럭의 AVM 영상 제공을 위한 길이 가변 트럭용 AVM 영상 제공 방법에 있어서,
   트럭의 길이 최소 또는 최대 상태에서 획득되는 다수의 전방카메라 및 다수의 후방카메라를 통해 획득한 영상을 이용하여 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하는 단계;
   트럭 길이가 변화되면, 상기 트랙터의 후면 또는 상기 트레일러의 전면에 설치된 거리 센서를 통해 상기 트랙터와 상기 트레일러간 거리 변화량을 획득하는 단계;
   상기 트랙터와 상기 트레일러간 거리 변화량에 따라 상기 트레일러 기준 좌표계를 위치 이동시켜 트레일러 보정 좌표계를 추가 획득하는 단계;
   상기 트레일러 보정 좌표계에 따라 전방 영상과 후방 영상 중 적어도 하나의 영상 합성 영역을 보정한 후, AVM 영상을 생성 및 제공하는 단계를 포함하며,
   상기 트랙터 좌표계와 트레일러 기준 좌표계를 획득 및 저장하는 단계는
   트럭의 길이 최소 또는 최대 상태에서 획득된 전방 영상의 좌표계를 트랙터 좌표계로 획득하고, 후방 영상의 좌표계를 트레일러 기준 좌표계로 획득하는 것을 특징으로 하는 길이 가변 트럭용 AVM 영상 제공 방법.

Images