KR101856254B1 - 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치 - Google Patents

차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101856254B1
KR101856254B1 KR1020120141896A KR20120141896A KR101856254B1 KR 101856254 B1 KR101856254 B1 KR 101856254B1 KR 1020120141896 A KR1020120141896 A KR 1020120141896A KR 20120141896 A KR20120141896 A KR 20120141896A KR 101856254 B1 KR101856254 B1 KR 101856254B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
alignment
information
image information
Prior art date
Application number
KR1020120141896A
Other languages
English (en)
Other versions
KR20140073890A (ko
Inventor
우하용
김화영
박태곤
오동언
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120141896A priority Critical patent/KR101856254B1/ko
Publication of KR20140073890A publication Critical patent/KR20140073890A/ko
Application granted granted Critical
Publication of KR101856254B1 publication Critical patent/KR101856254B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치가 개시되어 있다. 차량 간 영상 공유 방법은 근접 위치 차량을 검색하고 근접 위치 차량이 영상 제공 조건을 만족하는지 여부를 판단하는 단계, 영상 제공 조건을 만족하는 차량 중 하나인 영상 제공 차량으로부터 영상 정보를 수신하고 수신된 영상 정보 및 촬영된 영상 정보를 기초로 1차 정렬을 수행하여 1차 정렬 영상을 산출하는 단계와 1차 정렬 영상과 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 2차 정렬 영상에 대한 블렌딩을 수행하는 단계를 포함할 수 있다. 따라서, 운전시 시야에 확보되지 않는 위험물을 미리 감지하여 사고의 위험을 낮출 수 있다.

Description

차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치{METHOD OF SHARING VIDEO STREAM AND APPARATUS FOR USING THE SAME}
본 발명은 정보 공유 방법에 관한 것으로서, 보다 상세하게는 영상 공유 방법 및 장치에 관한 것이다.
현재 다자간 영상을 공유할 수 있는 기술이 개발되고 있다. 예를 들어, 다자간 영상 통화란 원격지에 위치한 다수의 사람이 네트워크를 이용하여 각자의 단말기가 촬영한 영상 및 음성을 상대방 단말기에 전송하는 방식으로 서로 간에 영상을 이용한 통화를 하는 것이다. 이러한 다자간 영상 통화는 유선 네트워크 및 무선 네트워크 모두를 통해 이용할 수 있으며, 영상 통화에 참여하는 사람의 단말기에서는 다른 복수의 사람이 촬영한 영상이 디스플레이 된다.
또 다른 영상 공유 방법으로 폐쇄 회로 텔레비전(CCTV: Closed-Circuit Television)를 이용한 촬영 영상을 공유할 수 있다. 폐쇄 회로 텔레비전(CCTV: Closed-Circuit Television)은 특정 건축물이나 특정 시설 등에서 특정 수신자를 대상으로 텔레비전 방식으로 화상을 전송하는 장치를 가리키며, 최근에는 은행 등의 보안이나 방재용 및 사내의 화상정보 전달용, 또는 교통 관제용 감시 등으로 이용되고 있다. 현재, CCTV 영상을 외부에 공개하는 경우, 일반 사용자는 웹(Web, World Wide Web의 준말) 화면이나 퍼스널컴퓨터(PC) 전용 응용 프로그램을 통하여 CCTV 영상을 보거나, 휴대폰의 무선인터넷 응용 프로그램을 통하여 CCTV 영상을 볼 수 있다. 하지만, CCTV 영상은 일반 사용자에게 단순히 보기만 가능하도록 제공되므로 그 기능이 제한적이다.
전술한 영상 공유의 경우 단순히 자신이 촬영한 영상이 상대방에게 전달되는 방법일 뿐 서로 동일한 영상을 공유하는 방법은 아닐 뿐만 아니라 개별 영상 정보 수신자의 시점을 기초로 재구성한 정보도 아니다.
본 발명의 목적은 차량에서 영상 정보를 공유하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 차량에서 영상 정보를 공유하는 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 차량 간 영상 공유 방법은 근접 위치 차량을 검색하고 상기 근접 위치 차량이 영상 제공 조건을 만족하는지 여부를 판단하는 단계, 상기 영상 제공 조건을 만족하는 차량 중 하나인 영상 제공 차량으로부터 영상 정보를 수신하고 수신된 영상 정보 및 촬영된 영상 정보를 기초로 1차 정렬을 수행하여 1차 정렬 영상을 산출하는 단계와 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계를 포함할 수 있다. 상기 근접 위치 차량을 검색하고 상기 근접 위치 차량이 영상 제공 조건을 만족하는지 여부를 판단하는 단계는 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는지 여부를 판단하는 단계와 상기 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는 경우 횡 방향으로 최소 위치에 존재하는 차량의 위치를 판단하는 단계를 포함할 수 있다. 상기 영상 제공 차량으로부터 영상 정보를 수신하고 수신된 영상 정보 및 촬영된 영상 정보를 기초로 1차 정렬을 수행하여 1차 정렬 영상을 산출하는 단계는 차량의 위치 정보와 상기 영상 제공 차량의 위치 정보를 산출하는 단계와 상기 차량의 위치 정보와 상기 영상 제공 차량의 위치 정보를 기초로 상기 수신된 영상 정보와 상기 촬영된 영상 정보의 종 방향 오프셋이 0이 되도록 정렬을 수행하여 상기 1차 정렬 영상을 산출하는 단계를 포함할 수 있다. 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계는 상기 1차 정렬 영상과 상기 촬영된 영상 정보의 특징점을 산출하는 단계와 상기 특징점을 기초로 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 매칭하여 2차 정렬 영상을 산출하는 단계를 포함할 수 있다. 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계는 상기 2차 정렬 영상 중 상기 1 차 정렬 및 상기 2차 정렬로 인해 발생한 에지를 판단하는 단계와 상기 에지를 블렌딩한 영상을 산출하는 단계를 포함할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 차량 간 영상 공유 장치는 영상 촬영부, 영상 수신부, 프로세서, 제1 정렬부, 제2 정렬부, 블렌딩부를 포함하고 상기 영상 촬영부는 현재 차량에서 촬영한 영상 정보인 촬영 영상 정보를 산출하도록 구현되고 상기 영상 수신부는 영상 제공 차량으로부터 영상 정보를 수신하여 수신 영상 정보를 산출하도록 구현되고 프로세서는 상기 영상 제공 차량을 결정하고 영상 정렬 및 블렌딩을 수행하기 위한 프로세스를 수행하도록 구현되고 제1 정렬부는 상기 촬영 영상 정보 및 상기 수신 영상 정보를 정렬하여 1차 정렬 영상을 산출하도록 구현되고 제2 정렬부는 상기 1차 정렬 영상을 기초로 추가적인 2차 정렬 영상을 산출하도록 구현되고 상기 블렌딩부는 상기 2차 정렬 영상에 대한 블렌딩을 수행하도록 구현될 수 있다. 상기 프로세서는 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는지 여부를 판단하고 상기 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는 경우 횡 방향으로 최소 위치에 존재하는 차량의 위치를 판단하여 상기 영상 제공 차량을 결정하도록 구현될 수 있다. 상기 제1 정렬부는 상기 차량의 현재 위치 정보와 상기 영상 제공 차량의 위치 정보를 기초로 상기 수신 영상 정보와 상기 촬영 영상 정보의 종 방향 오프셋이 0이 되도록 정렬을 수행하여 상기 1차 정렬 영상을 산출하도록 구현될 수 있다. 상기 제2 정렬부는 1차 정렬 영상과 상기 촬영 영상 정보의 특징점을 산출하고 상기 특징점을 기초로 상기 1차 정렬 영상과 상기 촬영 영상 정보를 매칭하여 2차 정렬 영상을 산출하도록 구현될 수 있다. 상기 블렌딩부는, 2차 정렬 영상 중 상기 1 차 정렬 및 상기 2차 정렬로 인해 발생한 에지를 판단하고 상기 에지를 블렌딩한 영상을 산출하도록 구현될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치는 다른 차량에서 제공된 영상 정보를 기초로 시야에 존재하지 않는 위험물 또는 교통 신호 정보를 얻을 수 있다. 이러한 방법을 사용함으로서 운전시 시야에 확보되지 않는 위험물을 미리 감지하여 사고의 위험을 낮출 수 있다.
도 1은 본 발명의 실시예에 따른 차량 간 영상 공유 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 영상 제공 조건을 만족하는 차량을 선택하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 차량 간 상대 위치 추정을 통한 영상 얼라인먼트 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 2차 영상 얼라인먼트와 블렌딩 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 영상 공유 방법을 수행하여 생성된 화면을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 추가 영상 정보 제공 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 영상 장치를 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
이하, 본 발명의 실시예에서는 주행 중인 두 차량 사이에 전방 카메라 영상 정보를 공유하는 기술에 대해 개시한다. 최근 자동차에 장착되는 카메라의 수가 늘어가고 있으며 특히 전방 카메라는 안전/편의 목적을 위해 널리 사용되고 있다. 그러나 카메라의 전방 가시 거리에 제한이 있다는 한계 때문에 일정 거리 이상 떨어져 있는 장애물이나 차선, 교차로 등에 대한 영상 정보를 얻기 어렵다. 또한 선행 차량에 의해 가려진 부분에 대해서는 영상 정보를 얻을 수 없으므로 역시 전방의 장애물, 도로 정보 등을 운전자에게 제공하기 어렵게 된다. 따라서 선행 차량의 전방 카메라 영상을 공유하여 자차의 카메라 가시 거리를 증대시키는 방법을 제안한다.
즉, 본 발명의 실시예에 따른 차량 간 영상 공유 방법 및 장치에서는 (1) 차량간 무선통신을 통해 선행 차량의 영상 정보를 수신하고 (2) 차량 간 상대 위치와 특징점 매칭 과정을 통하여 두 영상을 얼라인(align, 동일 영상 평면상에 위치하도록) 한다. 또한 (3) 정렬된 두 영상을 끈김없이(seamless) 하게 합성하여 사용자 또는 영상 처리 시스템(장애물 인식, 차선 인식, 신호등 인식 등의 어플리케이션)의 입력으로 활용할 수 있다. 이하, 도 1에서 이러한 본 발명의 실시예에 따른 차량 간 영상 공유 방법 및 장치에 대해 구체적으로 상술한다.
도 1은 본 발명의 실시예에 따른 차량 간 영상 공유 방법을 나타낸 순서도이다.
도 1을 참조하면, 차량 간 통신을 통해 근접 위치 차량을 검색한다(단계 S100).
본 발명의 실시예에 따른 차량 간 영상 공유 방법에서는 무선 통신 방법을 사용하여 차량 사이에서 위치 정보, 영상 정보 등을 공유할 수 있다. 다른 차량에서 영상 정보를 제공받기 위해서는 차량의 현재 위치를 기준으로 특정한 위치 조건을 만족하는 차량을 우선적으로 검색하여야 한다.
예를 들어, 우선적으로 현재 위치를 기준으로 전방에 존재하는 차량 중 동일한 차선에 위치하는 차량 또는 동일한 차선에서 한 차선의 차이가 나는 차량까지 검색할 수 있다. 또한 현재 위치를 기준으로 전방 100미터 이내에 존재하는 차량을 검색할 수 있다. 즉, 특정한 조건을 만족하는 근접 위치 차량 정보를 검색한다.
차량 간 통신을 수행하기 위한 방법은 기존의 celluar network를 이용할 수도 있고 WLAN(wireless local area network)와 같은 무선 랜 네트워크 등과 같은 통신 네트워크를 사용하여 차량 간 통신을 수행하여 복수의 차량 사이에서 차량의 위치 정보를 수신 및 송신할 수 있다.
영상 제공 조건을 만족하는지 여부를 판단한다(단계 S110).
전술한 단계 S100을 통해 검색된 차량 중 일정한 조건(예를 들어, 거리 조건) 을 만족하는 차량을 선택하여 영상 정보를 제공받기 위해 검색된 차량 중 영상 제공 조건을 만족하는 차량이 있는지 여부를 검색한다.
예를 들어, 검색된 차량 중 50 미터 내지 70미터 전방에 동일한 차선에 존재하는 차량으로부터 제공된 영상 정보가 가장 유의미한 영상 정보라고 가정하는 경우 단계 S100을 통해서 검색된 차량 중 해당 조건을 만족하는 차량을 선택하여 영상 정보를 제공받을 수 있다. 이러한 위치에 존재하는 차량이 없는 경우 다음 우선 순위 위치에 존재하는 차량을 선택하여 해당 차량으로부터 영상 정보를 제공받을 수 있다.
도 2는 본 발명의 실시예에 따른 영상 제공 조건을 만족하는 차량을 선택하는 방법을 나타낸 개념도이다.
도 2를 참조하면, 자차(200)의 위치를 기준으로 주변 차량의 위치 정보를 공유한다. 예를 들어 영상 제공 조건을 만족하는 차량은 자차(200)를 기준으로 종 방향의 조건(z_offset>z_I)을 만족하는 차량 중에서 횡 방향의 조건(x_offset)이 최소인 차량이 선택될 수 있다. 이러한 조건을 만족하는 차량은 A 차량(210)이 되고 A 차량(210)으로부터 영상 정보를 제공받을 수 있다.
영상 제공 조건은 영상 공유 방법 및 장치에서 미리 결정되어 있거나 영상 수신부가 임의로 영상 제공 조건을 설정하여 필요한 영상 정보을 선택적으로 수신할 수 있다.
선택된 차량으로부터 영상 정보를 수신한다(단계 S120).
단계 S110을 통해 영상 제공 조건을 만족하는 차량으로부터 영상 정보를 수신할 수 있다. 이하 본 발명의 실시예에서는 영상을 제공하는 차량을 영상 송신 차량이라고 하고 영상을 수신하는 차량을 영상 수신 차량이라는 용어로 정의하여 사용한다.
영상 정보는 선행 차량이 촬영한 영상 정보일 수 있다. 차량의 경우 이러한 비디오 스트림을 실시간으로 전송하는 경우 영상 끊김 현상이 발생할 수 있다. 따라서 네트워크 상태가 좋지 못한 경우, 영상 송신 차량에서 해상도를 낮추어서 보낼 수 있다. 영상 수신 차량에서 수신한 낮은 해상도의 영상은 수신 차량의 영상 처리부에서 높은 해상도로 보정될 수 있다. 예를 들어, 수신 차량의 영상 촬영 장치에서 촬영된 영상 정보를 기초로 낮은 해상도의 수신 영상을 일부 복원할 수 있다.
영상 제공 차량의 위치 정보를 기초로 1차 영상 얼라인먼트를 수행한다(단계 S130).
영상 제공 차량의 위치 정보와 여상 수신 차량의 위치 정보를 기초로 영상 얼라인먼트를 수행할 수 있다.
영상 얼라인먼트(alignment)는 파노라마 영상 생성 등에 활용되는 기술로 시점(view point)이 다른 영상들에 대해 겹치는 영역을 찾고 영상에 대한 합성을 수행하는 방법을 말한다. 얼라인먼트는 정렬이라는 용어로도 사용될 수 있다.
예를 들어, 영상 얼라인먼트를 수행하기 위해 차량 간 상대 위치(x, y, z offset)를 추정할 수 있다. 영상 송신 차량과 영상 수신 차량 사이의 사이의 x 좌표, y 좌표, z 좌표에 해당하는 3차원 상대 위치를 계산하여 두 영상 평면의 원점 상대 위치를 추정한다. 상대 위치 관계에 따라 1차적인 영상 정합이 이루어진다. 예를 들어, z_offset이 0이 되도록 영상 평면을 이동하여 전방 차량 영상의 스케일을 조정하면 동일 z 선상에 두 영상이 위치하게 된다.
도 3은 본 발명의 실시예에 따른 차량 간 상대 위치 추정을 통한 영상 얼라인먼트 방법을 나타낸 개념도이다.
도 3을 참조하면, 영상 수신 차량(300)에서 촬영한 영상(A)은 선행 차량에 의해 가림 현상이 발생할 수 있다. 이러한 경우 영상 제공 차량(320)에서 제공하는 영상(B)을 제공받아 얼라인먼트를 수행하는 경우, 선행 차량에 의해 가려진 영상 부분을 제공받을 수 있을 뿐만 아니라 상대적으로 좀 더 먼 가시 거리까지의 정보를 확보하는 것도 가능하다.
이러한 방법을 수행하기 위해 영상 제공 차량(320)과 영상 수신 차량(300) 사이에서는 x 축 방향의 오프셋(x-offset)과 z 축 방향의 오프셋(z-오프셋)을 산출할 수 있다. 영상 제공 차량(320)과 영상 수신 차량(300) 사이에 존재하는 직선 거리 차인 z offset을 0으로 보정하는 경우 영상 수신 차량 시점에서 영상(C)을 얼라인먼트할 수 있다.
단계 S130에서 수행된 영상 얼라인먼트의 경우 카메라(차량)의 방향 정위(오리엔테이션, orientation)을 고려하지 않았으므로 특징점 매칭을 통한 2차 얼라인먼트를 수행하여 보다 정확하게 영상 합성이 수행될 수 있도록 한다(두 카메라의 내부 파라메터(internal parameter)는 알려져 있다고 가정한다).
특징점 매칭 정보를 기초로 2차 영상 얼라인먼트 및 블렌딩을 수행한다(단계 S140).
2차 영상 얼라인먼트는 1차 영상 얼라인먼트보다 좀 더 세밀한 영상 얼라인먼트를 수행할 수 있다. 2 차 영상 얼라인먼트에 사용될 수 있는 기술로 영상 내의 특징점 비교를 통해 두 영상을 정렬하는 방법인 Feature-based registration이 사용될 수 있다. 이러한 기술은 하나의 예시로 2차 영상 얼라인먼트 방법으로 다른 방법이 사용되는 것도 가능하다.
단계 S130의 1차 영상 얼라인먼트 과정을 통해 두 영상을 대략적으로 정렬하였다. 1차 영상 얼라인먼트를 수행하는 경우 영상 사이의 겹치는 영역을 추정할 수 있다. 겹치는 영역에 대해 2차 영상 얼라인먼트 과정을 통해 특징점 매칭을 수행하여 좀더 세밀한 얼라인먼트가 수행될 수 있다.
정렬 과정을 마친 후 두 영상을 끊김이 없이 합성하기 위한 블렌딩(blending) 과정을 수행한다. 블렌딩 과정으로 예를 들어, 두 영상 사이의 이음새가 두드러지지 않도록 자연스럽게 합성하는 기술(seamless stitching)인 Blending algorithm이 사용될 수 있다. 블렌딩 과정에서는 1차 영상 얼라인먼트(정렬) 과정 및 2차 영상 얼라인먼트(정렬) 과정으로 인해 발생한 에지를 판단할 수 있다. 에지를 판단하는 기술로는 다양한 기술이 사용될 수 있다. 에지를 판단한 후 에지에 대해 블렌딩 기술을 사용하여 영상을 산출할 수 있다.
도 4는 본 발명의 실시예에 따른 2차 영상 얼라인먼트와 블렌딩 방법을 나타낸 개념도이다.
도 4를 참조하면, 영상 수신 차량의 전방 영상(A)과 영상 제공 차량의 전방 영상(B) 중 서로 겹치는 영역을 기준으로 2차 영상 얼라인먼트 과정을 수행할 수 있다. 즉, 특징점을 기초로 두 개의 영사에 대한 정렬을 수행할 수 있다.
다음으로 블렌딩 과정을 수행하다. 블렌딩 과정은 합쳐진 영상 사이에서 발생하는 시각적인 이질감을 주는 경계선을 부분을 이어주는 과정이다.
영상을 출력한다(단계 S150).
2차 영상 얼라인먼트 과정 및 블렌딩 과정을 거칭 영상은 디스플레이를 통해 출력될 수 있다.
이러한 차량 간 영상 공유 방법을 통해 차량 간 영상 공유를 통하여 시야가 멀리 확장되는 효과를 얻어 가시거리가 제한된다는 카메라의 한계점을 극복할 수 있다. 이를 통하여 보다 안전하고 편리한 차량 운행이 가능하다. 또한 선행 차량에 의해 시야가 가려진 경우 선행 차량의 영상을 통해 전방을 볼 수 있게 되어 편의성이 향상될 수 있다.
도 5는 본 발명의 실시예에 따른 영상 공유 방법을 수행하여 생성된 화면을 나타낸 개념도이다.
도 5를 참조하면, 영상 수신 차량의 영상(A)에서는 영상 제공 차량으로부터의 영상(B)을 수신할 수 있다. 영상 수신 차량의 시각에서는 영상 제공 차량이 일부의 시점을 가리기 때문에 일부 전방 상황을 주시할 수 없다.
이러한 경우 영상 제공 차량으로부터 수신된 영상(B)과 영상 수신 차량의 영상(A)을 합성하여 영상 제공 차량으로 인해 가려진 영상이 추가된 영상(C)을 제공받을 수 있다.
이러한 합성을 수행하기 위해 전술한 바와 같이 종 방향의 오프셋을 고려한 1차 얼라인먼트 과정 및 특징점 매칭을 통한 2차 얼라인먼트 과정이 수행될 수 있다.
도 6은 본 발명의 실시예에 따른 추가 영상 정보 제공 방법을 나타낸 개념도이다.
본 발명의 실시예에 따르면 영상 수신 차량으로 합성된 영상 정보뿐만 아니라, 추가적인 장애물 정보, 차선 정보, 신호 등의 정보를 제공할 수 있다.
도 6을 참조하면, 예를 들어, 영상 수신 차량에서 촬영된 영상(A)에서 차선이 잘 보이지 않을 경우 영상 제공 차량에서 촬영된 영상을 기초로 현재 차선 정보를 추정하여 영상 수신 차량으로 제공할 수 있다. 즉, 영상 수신 차량에서 수신한 영상을 기초로 차선 정보를 따로 분류하여 영상 수신 차량에서 촬영한 영상의 차선 정보를 추정한 영상(B)를 운전자에게 제공할 수 있다.
차선 정보뿐만 아니라 장애물 정보, 신호등 정보도 제공받을 수 있다. 예를 들어, 영상 수신 차량에서 촬영된 영상에서는 장애물 정보, 신호등 정보가 존재하지 않고 영상 제공 차량에서 촬영되어 수신된 영상에서는 장애물 정보, 신호등 정보가 존재하는 경우 별도의 이미지 정보를 통해 운전자에게 주의를 요구할 것을 요청할 수 있다.
예를 들어 영상 제공 차량으로부터 제공받은 영상에 신호 등에 관련된 정보를 추출하여 빨간 불일 경우, 이러한 정보를 추가적인 신호등 이미지 정보를 통해 현재 신호등이 빨간 불이라는 정보를 운전자에게 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 영상 장치를 나타낸 개념도이다.
도 7을 참조하면 영상 장치는 영상 촬영부(700), 영상 수신부(710), 프로세서(720), 제1 정렬부(730), 제2 정렬부(740), 블렌딩부(750), 디스플레이(760)를 포함할 수 있다.
영상 촬영부(700)는 현재 차량의 시점을 기준으로 한 영상을 촬영할 수 있다. 영상 촬영부(700)에서 촬영된 영상은 영상 수신부(710)에서 수신된 영상과 합성되어 디스플레이될 수 있다.
프로세서(720)는 영상 수신부(710)에서 어떠한 차량과 링크를 설정하여 영상 데이터를 수신할지 여부를 결정할 수 있다. 예를 들어, 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는지 여부를 판단하고 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는 경우 횡 방향으로 최소 위치에 존재하는 차량의 위치를 판단하여 영상 제공 차량을 결정할 수 있다.
또한 영상 촬영부(700), 제1 정렬부(730), 제2 정렬부(740), 블렌딩부(750), 디스플레이부(760)에서 각각 수행되는 동작을 제어할 수 있다.
영상 수신부(710)는 프로세서에서 결정된 차량과 링크를 설정한 후 해당 링크를 통해 제공된 비디오 스트림 정보를 수신할 수 있다.
제1 정렬부(730)는 영상 제공 차량의 위치 정보와 영상 수신 차량의 위치 정보를 기초로 영상 정보를 정렬할 수 있다. 예를 들어, 현재 차량의 위치와 상기 영상 제공 차량의 위치 정보를 기초로 수신 영상 정보와 촬영 영상 정보의 종 방향 오프셋이 0이 되도록 정렬을 수행하여 1차 정렬 영상을 산출하도록 구현될 수 있다.
제2 정렬부(740)는 제1 정렬부(730)에서 1차적으로 정렬된 영상을 수신하여 좀 더 정밀한 영상 정렬을 수행할 수 있다. 예를 들어, 제1 정렬부(730)에서 산출된 1차 정렬 영상과 촬영 영상 정보의 특징점을 산출하고 특징점을 기초로 1차 정렬 영상과 촬영 영상 정보를 매칭하여 2차 정렬 영상을 산출하도록 구현될 수 있다.
블렌딩부(750)는 제2 정렬부(740)에서 출력된 영상에 대해 경계 부분을 자연스럽게 만듬으로서 시각적인 이질감이 없도록 영상을 보정할 수 있다. 예를 들어 제2 정렬부(740)에서 산출된 2차 정렬 영상 중 1 차 정렬 및 상기 2차 정렬로 인해 발생한 에지를 판단하고 에지를 블렌딩한 영상을 산출하도록 구현될 수 있다.
디스플레이(760)는 블렌딩부(750)에서 블렌딩을 마친 영상을 출력하여 운전자에게 제공할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 차량 간 영상 공유 방법에 있어서,
    근접 위치 차량을 검색하고 상기 근접 위치 차량이 영상 제공 조건을 만족하는지 여부를 판단하는 단계;
    상기 영상 제공 조건을 만족하는 차량 중 하나인 영상 제공 차량으로부터 영상 정보를 수신하고 수신된 영상 정보 및 촬영된 영상 정보를 기초로 1차 정렬을 수행하여 1차 정렬 영상을 산출하는 단계; 및
    상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계를 포함하고,
    상기 근접 위치 차량을 검색하고 상기 근접 위치 차량이 영상 제공 조건을 만족하는지 여부를 판단하는 단계는,
    차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는지 여부를 판단하는 단계; 및
    상기 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는 경우 횡 방향으로 최소 위치에 존재하는 차량의 위치를 판단하는 단계를 포함하고,
    상기 영상 제공 차량으로부터 영상 정보를 수신하고 수신된 영상 정보 및 촬영된 영상 정보를 기초로 1차 정렬을 수행하여 1차 정렬 영상을 산출하는 단계는,
    차량의 위치 정보와 상기 영상 제공 차량의 위치 정보를 산출하는 단계; 및
    상기 차량의 위치 정보와 상기 영상 제공 차량의 위치 정보를 기초로 상기 수신된 영상 정보와 상기 촬영된 영상 정보의 종 방향 오프셋이 0이 되도록 정렬을 수행하여 상기 1차 정렬 영상을 산출하는 단계를 포함하는 차량 간 영상 공유 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계는,
    상기 1차 정렬 영상과 상기 촬영된 영상 정보의 특징점을 산출하는 단계; 및
    상기 특징점을 기초로 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 매칭하여 2차 정렬 영상을 산출하는 단계를 포함하는 차량 간 영상 공유 방법.
  5. 제4항에 있어서, 상기 1차 정렬 영상과 상기 촬영된 영상 정보를 기초로 추가적인 2차 정렬을 수행하여 2차 정렬 영상을 산출하고 상기 2차 정렬 영상에 대한 블렌딩을 수행하는 단계는,
    상기 2차 정렬 영상 중 상기 1 차 정렬 및 상기 2차 정렬로 인해 발생한 에지를 판단하는 단계; 및
    상기 에지를 블렌딩한 영상을 산출하는 단계를 포함하는 차량 간 영상 공유 방법.
  6. 차량 간 영상 공유 장치에 있어서, 상기 차량 간 영상 공유 장치는 영상 촬영부, 영상 수신부, 프로세서, 제1 정렬부, 제2 정렬부, 블렌딩부를 포함하고,
    상기 영상 촬영부는 현재 차량에서 촬영한 영상 정보인 촬영 영상 정보를 산출하도록 구현되고,
    상기 영상 수신부는 영상 제공 차량으로부터 영상 정보를 수신하여 수신 영상 정보를 산출하도록 구현되고,
    프로세서는 상기 영상 제공 차량을 결정하고 영상 정렬 및 블렌딩을 수행하기 위한 프로세스를 수행하도록 구현되고;
    제1 정렬부는 상기 촬영 영상 정보 및 상기 수신 영상 정보를 정렬하여 1차 정렬 영상을 산출하도록 구현되고,
    제2 정렬부는 상기 1차 정렬 영상을 기초로 추가적인 2차 정렬 영상을 산출하도록 구현되고
    상기 블렌딩부는 상기 2차 정렬 영상에 대한 블렌딩을 수행하도록 구현되고,
    상기 프로세서는
    차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는지 여부를 판단하고 상기 차량의 현재 위치를 기준으로 종 방향으로 특정 거리 이내에 차량이 존재하는 경우 횡 방향으로 최소 위치에 존재하는 차량의 위치를 판단하여 상기 영상 제공 차량을 결정하도록 구현되며,
    상기 제1 정렬부는,
    상기 차량의 현재 위치 정보와 상기 영상 제공 차량의 위치 정보를 기초로 상기 수신 영상 정보와 상기 촬영 영상 정보의 종 방향 오프셋이 0이 되도록 정렬을 수행하여 상기 1차 정렬 영상을 산출하도록 구현되는 차량 간 영상 공유 장치.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서, 상기 제2 정렬부는,
    1차 정렬 영상과 상기 촬영 영상 정보의 특징점을 산출하고 상기 특징점을 기초로 상기 1차 정렬 영상과 상기 촬영 영상 정보를 매칭하여 2차 정렬 영상을 산출하도록 구현되는 차량간 영상 공유 장치.
  10. 제9항에 있어서, 상기 블렌딩부는,
    2차 정렬 영상 중 상기 1 차 정렬 및 상기 2차 정렬로 인해 발생한 에지를 판단하고 상기 에지를 블렌딩한 영상을 산출하도록 구현되는 차량 간 영상 공유 장치.
KR1020120141896A 2012-12-07 2012-12-07 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치 KR101856254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120141896A KR101856254B1 (ko) 2012-12-07 2012-12-07 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120141896A KR101856254B1 (ko) 2012-12-07 2012-12-07 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20140073890A KR20140073890A (ko) 2014-06-17
KR101856254B1 true KR101856254B1 (ko) 2018-05-09

Family

ID=51127234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120141896A KR101856254B1 (ko) 2012-12-07 2012-12-07 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101856254B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656808B1 (ko) * 2015-03-20 2016-09-22 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置
JP2012089075A (ja) 2010-10-22 2012-05-10 Denso Corp 走行支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置
JP2012089075A (ja) 2010-10-22 2012-05-10 Denso Corp 走行支援装置

Also Published As

Publication number Publication date
KR20140073890A (ko) 2014-06-17

Similar Documents

Publication Publication Date Title
JP7307259B2 (ja) 三次元情報処理方法及び三次元情報処理装置
US11756307B2 (en) Vehicle video system
US11100806B2 (en) Multi-spectral system for providing precollision alerts
US20200356108A1 (en) Information transmission method and client device
JP4892965B2 (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
KR102580476B1 (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
CN107392092B (zh) 一种基于v2v的智能车辆前方道路环境透视感知方法
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
US11025865B1 (en) Contextual visual dataspaces
JP2008139320A (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
JP2012185540A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6060058B2 (ja) 交通流把握装置及び方法
CN114127822B (zh) 信息处理装置、信息处理方法以及信息处理程序
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
JP2016212501A (ja) 移動体用画像生成装置及びナビゲーション装置
KR101856254B1 (ko) 차량 간 영상 공유 방법 및 이러한 방법을 수행하는 장치
WO2022255190A1 (ja) 歩行者装置およびその測位方法
JP2013200820A (ja) 画像送受信システム
US20180293796A1 (en) Method and device for guiding a user to a virtual object
WO2013125301A1 (ja) 監視システム
CN112639864B (zh) 用于测距的方法和装置
CN116958195A (zh) 物件追踪整合方法及整合装置
US11076097B2 (en) Method for street view service and apparatus for performing same method
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant