KR20130053277A - 그리드를 이용한 영상내 거리 표시 장치 - Google Patents

그리드를 이용한 영상내 거리 표시 장치 Download PDF

Info

Publication number
KR20130053277A
KR20130053277A KR1020110119000A KR20110119000A KR20130053277A KR 20130053277 A KR20130053277 A KR 20130053277A KR 1020110119000 A KR1020110119000 A KR 1020110119000A KR 20110119000 A KR20110119000 A KR 20110119000A KR 20130053277 A KR20130053277 A KR 20130053277A
Authority
KR
South Korea
Prior art keywords
image
grid
vehicle
distance
camera
Prior art date
Application number
KR1020110119000A
Other languages
English (en)
Inventor
이중렬
안준식
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110119000A priority Critical patent/KR20130053277A/ko
Publication of KR20130053277A publication Critical patent/KR20130053277A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

영상의 넓은 영역에 대해 그리드(grid)로 표현하여 직관적으로 거리를 파악할 수 있게 함과 더불어 주변 장애물 인식이 용이하도록 한 그리드를 이용한 영상내 거리 표시 장치를 제시한다. 제시된 장치는 차량에 설치되어 차량 주변 영상을 획득하는 카메라, 차량에 설치되어 차량 주변 장애물 정보를 획득하는 외부 센서, 차량 주변 영상 및 차량 주변 장애물 정보중에서 하나 이상을 입력받고 카메라의 장착 특성 및 내부파라미터를 활용하여 계산된 영상내의 거리를 그리드로 표현한 그리드 영상을 출력하는 영상 처리부, 및 영상 처리부에서 출력되는 그리드 영상을 디스플레이하는 디스플레이부를 포함한다. 영상의 넓은 영역에 대해 그리드(grid)로 표현함으로써 직관적으로 거리를 산출할 수 있게 된다. 장애물 감지를 통해 이질감없는 영상을 생성하여 영상내 장애물 확인이 용이하다.

Description

그리드를 이용한 영상내 거리 표시 장치{Apparatus for displaying distance in an image using grid}
본 발명은 그리드를 이용한 영상내 거리 표시 장치에 관한 것으로, 보다 상세하게는 차량에 장착된 카메라 등에 얻은 영상내의 거리를 표시하는 장치에 관한 것이다.
차량에 장착된 광각 카메라의 영상이나 이 영상의 왜곡을 보정한 후방 와이드뷰, AVM 등의 영상의 경우 렌즈에 의한 물리적 왜곡에 의해 영상내에서 실제 거리 및 위치 관계를 파악하기 어렵다.
운전자에게 보다 정확한 차량 주변 정보를 제공하기 위해서는 이러한 왜곡 영상내의 거리정보를 정확히 전달할 필요성이 있다.
기존의 차량영상 시스템은 차량 진행 방향 등 제한된 영역에 대해 가로선을 OSD로 표현하여 거리 정보를 제공하였다.
그러나, 이러한 정보의 경우 제한된 영역으로 인해 운전자에게 직관적이지 못하고, 영상내의 거리 관계를 파악하는데 어려움이 있었다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 영상의 넓은 영역에 대해 그리드(grid)로 표현하여 직관적으로 거리를 파악할 수 있게 함과 더불어 주변 장애물 인식이 용이하도록 한 그리드를 이용한 영상내 거리 표시 장치를 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 그리드를 이용한 영상내 거리 표시 장치는, 차량에 설치되어 차량 주변 영상을 획득하는 카메라; 차량에 설치되어 차량 주변 장애물 정보를 획득하는 외부 센서; 차량 주변 영상 및 차량 주변 장애물 정보중에서 하나 이상을 입력받고, 카메라의 장착 특성 및 내부파라미터를 활용하여 계산된 영상내의 거리를 그리드로 표현한 그리드 영상을 출력하는 영상 처리부; 및 영상 처리부에서 출력되는 그리드 영상을 디스플레이하는 디스플레이부를 포함한다.
바람직하게, 영상 처리부는 차량 주변 영상 및 차량 주변 장애물 정보를 입력받은 경우 차량 주변 장애물 정보에 상응하는 장애물 영역을 제외한 그리드 영상을 생성하여 출력한다.
바람직하게, 영상 처리부는 차량 주변 영상을 입력받은 경우 카메라 파라미터를 이용한 일정간격의 그리드 영상을 생성하여 출력한다.
이러한 구성의 본 발명에 따르면, 영상의 넓은 영역에 대해 그리드(grid)로 표현함으로써 직관적으로 거리를 산출할 수 있게 된다.
장애물 감지를 통해 이질감없는 영상을 생성하여 영상내 장애물 확인이 용이하다.
추가장비없이 기존 장비를 활용하여 시스템 구축이 용이하므로, 차량 영상 시스템의 상품성을 증대시킨다.
도 1은 본 발명의 실시예에 따른 그리드를 이용한 영상내 거리 표시 장치의 블럭구성도이다.
도 2는 도 1의 디스플레이부에 나타내는 영상의 일 예이다.
도 3 및 도 4는 본 발명의 실시예 설명에 채용되는 도면이다.
본 발명에서는 카메라의 장착 특성 및 내부파라미터를 활용하여 계산된 영상내의 거리를 Grid로 넓은 범위에 직관적으로 표시하여 주고, 차량 외부 센서를 활용하여 후방 장애물을 인식하고 그 영역을 고려한 Grid OSD를 생성하여 차량 영상시스템의 상품성을 증대하도록 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 그리드를 이용한 영상내 거리 표시 장치에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 그리드를 이용한 영상내 거리 표시 장치의 블럭구성도이다.
본 발명의 실시예는 카메라(10), 외부 센서(12), 영상 처리부(14), 및 디스플레이부(16)를 포함한다.
카메라(10)는 차량에 설치되어 차량 주변 영상을 획득한다. 카메라(10)를 채용하는 이유는 카메라의 수학적 모델과 위치관계 및 장착 특성을 이용하여 영상좌표와 월드좌표관계 모델링이 가능하기 때문이다. 이에 의해 영상내 좌표들의 실제 거리관계를 계산해 낼 수 있다.
외부 센서(12)는 차량에 설치되어 차량 주변 장애물 정보를 획득한다. 예를 들어, 외부 센서(12)로는 초음파 센서, 레이더 등이 될 수 있다. 외부 센서(12)를채용하는 이유는 장애물의 크기 및 거리 정보를 획득할 수 있기 때문이다.
영상 처리부(14)는 카메라(10)로부터의 차량 주변 영상 및 외부 센서(12)로부터의 차량 주변 장애물 정보중에서 하나 이상을 입력받는다. 영상 처리부(14)는 카메라(10)의 장착 특성 및 내부파라미터를 활용하여 계산된 영상내의 거리를 그리드로 표현한 그리드 영상을 출력한다. 바람직하게, 영상 처리부(14)는 영상 보정을 할 수 있을 뿐만 아니라 HMI, OSD 등의 영상 합성을 할 수 있다.
영상 처리부(14)는 차량 주변 영상 및 차량 주변 장애물 정보를 모두 입력받은 경우 차량 주변 장애물 정보에 상응하는 장애물 영역을 제외한 그리드 영상을 생성하여 출력한다.
한편, 영상 처리부(14)는 차량 주변 영상만을 입력받은 경우 카메라 파라미터를 이용한 일정간격의 그리드 영상을 생성하여 출력한다. 이때, 영상 처리부(14)는 근거리에 대한 그리드 영상뿐만 아니라 좌/우 원거리에 대한 그리드 영상을 생성하여 출력함으로써, 원거리 장애물 및 근접 장애물과의 거리 파악을 용이하게 한다.
이러한 영상 처리부(14)를 AVM, PGS 등 차량 영상관련 제어기로 이해하여도 된다.
디스플레이부(16)는 영상 처리부(4)에서 출력되는 그리드 영상을 디스플레이한다. 예를 들어, 디스플레이부(16)는 차량내에서 운전석 전방의 대쉬보드상에 장착될 수 있다. 디스플레이부(16)에 의해서는 도 2에 예시된 바와 같은 그리드 영상이 디스플레이될 수 있다.
이어, 본 발명의 실시예에 따른 그리드를 이용한 영상내 거리 표시 장치의 동작에 대해 설명하면 다음과 같다. 도 3 및 도 4는 본 발명의 실시예 설명에 채용되는 도면이다.
일단, 차량에 장착되어 있는 카메라(10)는 차량 주변 영상을 획득하고, 외부 센서(12)는 차량 주변 장애물 정보를 획득한다.
이와 같이 획득된 차량 주변 영상 및 차량 주변 장애물 정보는 영상 처리부(14)에게로 전송된다.
그에 따라, 영상 처리부(14)는 이들을 이용하여 영상내의 거리를 그리드로 표현한 그리드 영상을 생성하여 출력한다. 이때, 그리드 영상은 근거리는 물론 좌/우 원거리까지 표시한다.
예를 들어, 차량 주변 영상만 있고 차량 주변 장애물 정보는 없는 경우, 영상 처리부(14)는 도 3에 예시한 바와 같이 카메라 파라미터를 이용한 일정간격의 그리드 이미지(도 3의 중간 영상)를 생성하여 차량 주변 영상(도 3의 좌측 영상)과의 합성을 실시한다. 즉, 차량 주변 영상과 그리드 이미지를 오버레이한다.
그에 따라, 영상 처리부(14)는 도 3의 우측 영상과 같이 영상내 그리드로 거리를 표시한 그리드 영상을 생성하여 출력한다. 최종적으로, 운전석 전방의 디스플레이부(16)는 영상 처리부(14)로부터의 그리드 영상을 화면 출력한다. 운전자가 이러한 그리드 영상을 보게 되면 직관적으로 거리를 쉽게 산출할 수 있게 된다.
다르게는, 차량 주변 영상 및 차량 주변 장애물 정보가 함께 있는 경우, 영상 처리부(14)는 도 4에 예시한 바와 같이 카메라 파라미터를 이용한 일정간격의 그리드 이미지를 생성한다. 이때, 영상내 장애물(수직물)을 고려하지 않고 그리드를 그리게 되면 수직물과의 이질감이 발생하므로, 영상 처리부(14)는 탐지된 장애물 영역을 제외한 그리드 영상(도 4의 중간 영상)을 생성한다. 그리고, 영상 처리부(14)는 생성한 그리드 영상과 차량 주변 영상(도 4의 좌측 영상)과의 합성을 실시한다. 즉, 차량 주변 영상과 그리드 이미지를 오버레이한다.
그에 따라, 영상 처리부(14)는 도 4의 우측 영상과 같이 영상내 그리드로 거리를 표시한 그리드 영상(장애물 제외)을 생성하여 출력한다. 최종적으로, 운전석 전방의 디스플레이부(16)는 영상 처리부(14)로부터의 그리드 영상을 화면 출력한다. 운전자가 이러한 그리드 영상을 보게 되면 직관적으로 거리를 쉽게 산출할 수 있게 될 뿐만 아니라 영상내의 장애물 확인이 용이하게 된다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
10 : 카메라 12 : 외부 센서
14 : 영상 처리부 16 : 디스플레이부

Claims (5)

  1. 차량에 설치되어 차량 주변 영상을 획득하는 카메라;
    차량에 설치되어 차량 주변 장애물 정보를 획득하는 외부 센서;
    상기 차량 주변 영상 및 차량 주변 장애물 정보 중에서 하나 이상을 입력받고, 상기 카메라의 장착 특성 및 내부파라미터를 활용하여 계산된 영상내의 거리를 그리드로 표현한 그리드 영상을 출력하는 영상 처리부; 및
    상기 영상 처리부에서 출력되는 그리드 영상을 디스플레이하는 디스플레이부
    를 포함하는 그리드를 이용한 영상내 거리 표시 장치.
  2. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 차량 주변 영상 및 상기 차량 주변 장애물 정보를 입력받은 경우 상기 차량 주변 장애물 정보에 상응하는 장애물 영역을 제외한 그리드 영상을 생성하여 출력하는 것을 특징으로 하는 그리드를 이용한 영상내 거리 표시 장치.
  3. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 차량 주변 영상을 입력받은 경우 카메라 파라미터를 이용한 일정간격의 그리드 영상을 생성하여 출력하는 것을 특징으로 하는 그리드를 이용한 영상내 거리 표시 장치.
  4. 제 2 항에 있어서,
    상기 영상 처리부는,
    상기 차량 주변 영상 및 상기 차량 주변 장애물을 오버레이하여 출력하는 것을 특징으로 하는 그리드를 이용한 영상내 거리 표시 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 그리드 영상은,
    근거리는 물론 좌/우 원거리를 나타내는 이미지인 것을 특징으로 그리드를 이용한 영상내 거리 표시 장치.
KR1020110119000A 2011-11-15 2011-11-15 그리드를 이용한 영상내 거리 표시 장치 KR20130053277A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110119000A KR20130053277A (ko) 2011-11-15 2011-11-15 그리드를 이용한 영상내 거리 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110119000A KR20130053277A (ko) 2011-11-15 2011-11-15 그리드를 이용한 영상내 거리 표시 장치

Publications (1)

Publication Number Publication Date
KR20130053277A true KR20130053277A (ko) 2013-05-23

Family

ID=48662562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110119000A KR20130053277A (ko) 2011-11-15 2011-11-15 그리드를 이용한 영상내 거리 표시 장치

Country Status (1)

Country Link
KR (1) KR20130053277A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114593732A (zh) * 2020-12-04 2022-06-07 财团法人船舶暨海洋产业研发中心 船舶辅助校正系统及其运作方法
KR102426854B1 (ko) * 2021-04-27 2022-08-01 주식회사 에스더블유엠 자율주행차량의 차간거리 인식장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114593732A (zh) * 2020-12-04 2022-06-07 财团法人船舶暨海洋产业研发中心 船舶辅助校正系统及其运作方法
KR102426854B1 (ko) * 2021-04-27 2022-08-01 주식회사 에스더블유엠 자율주행차량의 차간거리 인식장치

Similar Documents

Publication Publication Date Title
US8854231B2 (en) Parking assistance system and method
EP2723069B1 (en) Vehicle periphery monitoring device
JP4193886B2 (ja) 画像表示装置
EP2233358B1 (en) Obstruction detecting apparatus
US9064293B2 (en) Vehicle surroundings monitoring device
JP5505702B2 (ja) 車両周辺監視装置
CN106470877B (zh) 车辆用显示装置以及车辆用显示方法
JP2017188744A (ja) 車両用周辺監視装置
US20090121851A1 (en) Vehicle-Periphery Image Generating Apparatus and Method of Correcting Distortion of a Vehicle-Periphery Image
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
US9162621B2 (en) Parking support apparatus
KR101978119B1 (ko) 차량용 어라운드 뷰 시스템, 이를 포함하는 차량 및 차량용 어라운드 뷰 생성 방법
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
JP5374549B2 (ja) 車両周辺監視装置
KR20130053277A (ko) 그리드를 이용한 영상내 거리 표시 장치
JP2012188057A (ja) 表示装置
JP2017025503A (ja) 建設機器操作アシスト表示システム
JP5310616B2 (ja) 車両周辺表示装置
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
KR20130063593A (ko) 촬상장치를 이용하여 객체의 위치와 거리를 측정하고 이를 표현하는 장치
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法
CN114206674A (zh) 周边影像生成装置、周边影像生成方法以及程序
KR101544790B1 (ko) 차량의 물체 검출장치 및 그 검출방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application