KR20150054021A - 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법 - Google Patents

헤드업 디스플레이를 이용한 물체 표시 장치 및 방법 Download PDF

Info

Publication number
KR20150054021A
KR20150054021A KR1020130135181A KR20130135181A KR20150054021A KR 20150054021 A KR20150054021 A KR 20150054021A KR 1020130135181 A KR1020130135181 A KR 1020130135181A KR 20130135181 A KR20130135181 A KR 20130135181A KR 20150054021 A KR20150054021 A KR 20150054021A
Authority
KR
South Korea
Prior art keywords
block
head
blocks
image frame
display
Prior art date
Application number
KR1020130135181A
Other languages
English (en)
Inventor
오형석
이준묵
양지혁
금병직
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130135181A priority Critical patent/KR20150054021A/ko
Publication of KR20150054021A publication Critical patent/KR20150054021A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법에 관한 것으로, 상기 장치는 카메라를 이용해 차량의 전방 영상을 촬영하는 촬영부와, 차량의 주행속도를 검출하는 차속 검출부 및 상기 촬영되는 차량의 전방 영상을 입력받아 N개의 블록으로 분할하고, 상기 N개의 블록으로 분할된 이전 영상 프레임과 다음 영상 프레임을 비교하여 블록별로 물체의 움직임패턴을 추출하고, 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화한 후, 상기 그룹화된 큰 블록의 좌표를 추출하여 헤드업 디스플레이 화면의 대응하는 위치에 블록을 표시하는 제어부를 포함한다.

Description

헤드업 디스플레이를 이용한 물체 표시 장치 및 방법{APPARATUS FOR DISPLAYING OBJECT USING HEAD-UP DISPLAY AND METHOD THEREOF}
본 발명은 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법에 관한 것으로, 보다 상세하게는 전방 카메라를 이용하여 전방에 있는 물체를 검출하고, 상기 물체가 검출된 방향과 위치에 대응하는 헤드업 디스플레이 화면의 해당 위치에 상기 검출된 물체를 표시할 수 있도록 하는 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법에 관한 것이다.
최근 헤드업 디스플레이(Head Up Display; HUD)를 장착한 차량이 출시되면서 이에 대한 사용자들의 관심이 증가하고 있다.
상기 헤드업 디스플레이(HUD)는 차량이나 항공기 주행 중 운전자의 정면, 즉 운전자의 주시야 선을 벗어나지 않는 범위 내에서 차량의 주행 정보나 내비게이션 정보 등과 같은 차량의 운행 정보를 제공하는 장치이다. 초기의 헤드업 디스플레이는 항공기, 특히 전투기에 부착되어 비행 주행시 비행사에게 비행 정보를 제공하고자 하고자 개발되었으며, 이 원리를 차량에 부합시켜 개발하게 된 것이 차량용 헤드업 디스플레이이다.
예컨대 시속 약 100km/h로 차량을 운전하는 경우, 운전자가 시야를 계기판에 두었다가 도로에 시야를 고정시키는 시간은 약 2초가 걸리는 것으로 가정하면, 그 사이에 차량은 약 55m를 이동하기 때문에 사고가 유발될 가능성이 항상 존재한다. 이러한 위험을 줄이는 방법의 하나로 차량용 헤드업 디스플레이가 개발되고 있으며, 이는 앞 유리창의 운전자의 주시야 선에 계기판 정보(속력, 주행거리, RPM 등)나 내비게이션 정보를 나타나게 함으로써, 운전자로 하여금 운전 중에 도로로부터 눈을 떼지 않고도 차량의 중요한 운행 정보나 경로정보를 인지하도록 함으로써 안전 운행을 가능하게 한다.
상기와 같은 종래의 헤드업 디스플레이는 계기판 정보나 내비게이션 정보를 디스플레이 함으로써 운전자의 편의성을 향상시키지만, 운전자의 부주의로 전방 물체를 미처 인식하지 못했을 경우에 발생하는 충돌 사고를 방지할 수 있도록 하는 기능은 제공되지 않았다.
본 발명의 배경기술은 대한민국 공개특허 10-2005-0010429호(2005.01.27.공개, 헤드업 디스플레이 영상 위치조절장치)에 개시되어 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 전방 카메라를 이용하여 전방에 있는 물체를 검출하고, 상기 물체가 검출된 방향과 위치에 대응하는 헤드업 디스플레이 화면의 해당 위치에 상기 검출된 물체를 표시할 수 있도록 하는 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 헤드업 디스플레이를 이용한 물체 표시 장치는, 카메라를 이용해 차량의 전방 영상을 촬영하는 촬영부; 차량의 주행속도를 검출하는 차속 검출부; 및 상기 촬영되는 차량의 전방 영상을 입력받아 N개의 블록으로 분할하고, 상기 N개의 블록으로 분할된 이전 영상 프레임과 다음 영상 프레임을 비교하여 블록별로 물체의 움직임패턴을 추출하고, 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화한 후, 상기 그룹화된 큰 블록의 좌표를 추출하여 헤드업 디스플레이 화면의 대응하는 위치에 블록을 표시하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 블록별 움직임벡터를 추출하고, 각 움직임벡터에 대한 움직임패턴을 추출하여 블록별 물체의 움직임을 추적하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 차속 정보를 이용하여 상기 움직임벡터를 보정한 후, 상기 움직임패턴을 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임벡터의 보정은, 상기 영상 프레임 내의 물체의 움직임에 포함된 차량 주행에 의한 상대적인 움직임을 보상하는 보정인 것을 특징으로 한다.
본 발명에 있어서, 상기 헤드업 디스플레이에 표시하는 블록은, 사용자에게 물체가 있는 방향과 위치를 시각적으로 알리는 인디케이터용 블록인 것을 특징으로 한다.
본 발명에 있어서, 상기 헤드업 디스플레이 화면은, 상기 영상 프레임에서 분할된 N개의 블록에 대응하여 N개의 블록으로 가상적으로 분할되어, 상기 영상 프레임에서 분할된 N개의 블록좌표에 상기 헤드업 디스플레이의 화면에서 분할된 N개의 블록좌표가 대응되는 것을 특징으로 한다.
본 발명에 있어서, 상기 블록의 좌표는, 화면 전체의 픽셀을 기준으로 한 픽셀 좌표이거나, 화면 전체의 블록을 기준으로 한 블록 좌표인 것을 특징으로 한다.
본 발명의 다른 측면에 따른 헤드업 디스플레이를 이용한 물체 표시 방법은, 차량 전방의 영상을 촬영하는 단계; 상기 촬영되는 영상을 입력받아 각 프레임을 N개의 블록으로 분할하는 단계; 상기 N개의 블록으로 분할된 이전 영상 프레임과 다음 영상 프레임을 비교하여 블록별로 물체의 움직임패턴을 추출하는 단계; 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화하는 단계; 및 상기 그룹화된 큰 블록의 좌표를 추출하여 헤드업 디스플레이의 대응하는 위치에 블록을 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명은, 블록별 움직임벡터를 추출하는 단계;를 더 포함하고, 상기 블록별 각 움직임벡터에 대하여 움직임패턴을 추출하는 것을 특징으로 한다.
본 발명은, 차속 정보를 이용하여 상기 움직임벡터를 보정하는 단계;를 더 포함하고, 상기 움직임벡터의 보정은, 상기 영상 프레임 내의 물체의 움직임에 포함된 차량 주행에 의한 상대적인 움직임을 보상하는 보정인 것을 특징으로 한다.
본 발명에 있어서, 상기 헤드업 디스플레이에 표시하는 블록은, 사용자에게 물체가 있는 방향과 위치를 시각적으로 알리는 인디케이터용 블록인 것을 특징으로 한다.
본 발명에 있어서, 상기 헤드업 디스플레이 화면은, 상기 영상 프레임에서 분할된 N개의 블록에 대응하여 N개의 블록으로 가상적으로 분할되어, 상기 영상 프레임에서 분할된 N개의 블록좌표에 상기 헤드업 디스플레이의 화면에서 분할된 N개의 블록좌표가 대응되는 것을 특징으로 한다.
본 발명은 전방 카메라를 이용하여 전방에 있는 물체를 실시간 검출하여 상기 물체가 검출된 방향과 위치에 대응하는 헤드업 디스플레이 화면의 해당 위치에 상기 검출된 물체를 표시하여 운전자에게 충돌 발생을 미리 경고할 수 있도록 한다. 또한 본 발명은 퓨전 센서 대신 카메라를 사용하여 물체를 검출하므로 장치의 가격을 절감할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 물체 표시 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 물체 표시 방법을 설명하기 위한 흐름도.
도 3은 상기 도 2에 있어서, 차량이 소정 속도로 움직이고 있을 때 검출된 물체의 위치를 표시하는 방법을 설명하기 위한 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 물체 표시 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 물체 표시 장치는, 촬영부(110), 차속 검출부(120), 제어부(130) 및 헤드업 디스플레이(140)를 포함한다.
상기 촬영부(110)는 전방 카메라(미도시)를 이용해 차량의 전방 영상을 촬영하여 프레임 단위로 상기 제어부(130)에 출력한다.
상기 차속 검출부(120)는 차량의 주행속도를 검출하여 상기 제어부(130)에 출력한다.
상기 제어부(130)는 상기 촬영부(110)로부터 촬영된 영상 프레임을 n*n개의 블록(이하, N개의 블록으로 기재)으로 분할한다.
이때 상기 N개의 블록은 상기 헤드업 디스플레이(140)의 화면에 대응된다. 즉, 상기 헤드업 디스플레이(140)의 화면도 N개의 블록(소프트웨어적으로 분할된 가상의 블록)으로 분할되고, 상기 영상 프레임에서 분할된 N개의 블록에 각기 대응된다. 그러나 상기 영상 프레임을 분할한 블록의 수와 상기 헤드업 디스플레이(140)의 화면을 분할한 블록의 수가 반드시 일치해야 하는 것은 아니며, 일정 비율에 맞춰 각기 다른 개수로 분할될 수도 있다.
상기 제어부(130)는 움직임벡터 추출부(131), 움직임벡터 보정부(132), 움직임패턴 추출부(133), 움직임패턴 블록화부(134) 및 블록좌표 추출부(135)를 포함한다. 상기 각 구성수단(131 ~ 135)은 해당 기능을 별도로 수행할 수도 있고, 상기 제어부(130)에서 모든 기능을 통합하여 수행할 수도 있다. 편의상 본 실시예에서는 상기 각 구성수단(131 ~ 135)의 기능을 개별적으로 설명한다.
상기 움직임벡터 추출부(131)는 상기 N개의 블록으로 분할된 영상 프레임의 이전 영상(예 : frame0)과 다음 영상(예 : frame1)을 비교하여 물체(또는 객체)가 포함된 블록들로부터 움직임벡터를 추출한다.
참고로 상기 움직임벡터(모션벡터)는 동영상 화면의 이전 프레임과 다음 프레임을 비교할 경우, 배경은 바뀌지 않고 움직이는 물체만 바뀌는 원리를 이용하는 것으로 동영상 압축에서 많이 이용하는 기술이다. 상기 움직임벡터의 추출을 위한 알고리즘은 공지된 알고리즘들 중 용이하게 적용할 수 있는 하나를 선택하여 적용할 수 있다. 따라서 상기 움직임벡터의 추출을 위한 알고리즘에 대한 구체적인 설명은 생략한다.
상기 움직임벡터 보정부(132)는 상기 차속 검출부(120)에서 검출된 차량 속도 정보를 이용하여 상기 움직임벡터를 보정한다.
예컨대 상기 촬영부(110)를 통해서 촬영된 영상은 차량이 주행하면서 촬영된 영상이다. 따라서 상기 영상 프레임 내의 물체(객체)의 움직임도 실질적으로 상기 물체 자체의 움직임에 상기 차량 주행에 의한 상대적인 움직임이 포함된 것이다. 따라서 상기 영상 프레임에서 추출된 움직임벡터에서 상기 차량 주행에 의한 상대적인 움직임을 보상해야 한다. 즉, 상기 차량 주행에 의한 상대적인 움직임을 보상하기 위하여 차량 속도 정보를 이용하는 것이다.
이때 상기 입력된 영상 프레임에서 전방 카메라(미도시)와 물체와의 거리에 따라 상기 움직임벡터의 보정이 다르게 이루어진다.
예컨대 사람의 눈은 원근감을 가지고 있기 때문에 물체가 움직이면서 거리가 가까울 때는 많이 움직이는 것처럼 보이며, 상대적으로 물체가 같은 거리를 움직인다고 하더라도, 물체가 멀리 있을 때는 적게 움직이는 것처럼 보이게 된다. 따라서 차량 속도 보정 시, 물체의 거리에 따라 적응적으로 차량 속도 보정을 한다. 즉, 전방 카메라와 물체 간의 거리에 따라 적응적으로 보정이 이루어져야 한다. 다시 말해 차량이 동일한 속도로 주행한다고 하더라도 전방 카메라에서 멀리 있는 물체와 가까이 있는 물체의 보정을 다르게 하는 것이다.
상기 움직임패턴 추출부(133)는 상기와 같이 움직임벡터에 대한 보정을 수행한 후 움직임패턴을 추출한다.
이때 블록별 움직임 추적을 위하여, 블록별 움직임벡터를 정의하고 각 움직임벡터에 대한 움직임패턴을 추출할 수 있다.
상기 움직임패턴 블록화부(134)는 오프셋(offset)을 고려하여 비슷한 특성을 갖는 움직임벡터를 취합하여 하나의 블록으로 설정한다. 즉, 비슷한 움직임패턴을 갖는 개별 블록들을 묶어 하나의 큰 블록 그룹으로 설정한다. 가령 전방 카메라(미도시)를 이용해 촬영된 물체가 사람이라고 가정할 경우, 상기 개별 블록들은 사람의 머리, 몸통, 팔, 다리가 될 수 있으며, 상기 개별 블록들을 취합하여 사람 전체의 형상을 포함할 수 있는 하나의 큰 블록으로 설정하는 것이다.
상기 블록좌표 추출부(135)는 상기 하나의 큰 블록으로 그룹화된 블록의 좌표를 추출한다. 그리고 상기 추출된 큰 블록의 좌표 정보를 헤드업 디스플레이(140)로 출력한다.
이때 상기 추출되는 블록의 좌표는 화면 전체의 픽셀을 기준으로 한 픽셀 좌표일 수 있고, 상기 영상 프레임에서 분할된 블록 개수와 상기 헤드업 디스플레이(140)의 화면에서 분할된 블록 개수가 대응된다고 가정할 경우 화면 전체의 블록을 기준으로 한 블록 좌표일 수도 있다.
상기 헤드업 디스플레이(140)는 상기 블록좌표 추출부(135)에서 출력된 블록 좌표에 해당하는 위치에 물체가 있음을 나타내는 블록(인디케이터용 블록)을 표시한다. 예컨대 상기 전방 카메라로 촬영된 물체가 사람이라고 가정할 경우, 상기 사람이 검출된 방향과 위치에 대응하는 헤드업 디스플레이(140) 화면의 해당 위치에 상기 검출된 사람을 둘러싸는 인디케이터용 블록(빨간색이나 깜박이는 블록)을 표시하는 것이다.
이하 도 2 내지 도 3을 참조하여 헤드업 디스플레이를 이용한 물체 표시 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 물체 표시 방법을 설명하기 위한 흐름도이고, 도 3은 상기 도 2에 있어서, 차량이 소정 속도로 움직이고 있을 때 검출된 물체의 위치를 표시하는 방법을 설명하기 위한 예시도이다.
도 2에 도시된 바와 같이, 상기 제어부(130)는 상기 촬영부(110)로부터 촬영된 차량 전방의 영상을 입력받는다(S101). 그리고 상기 입력된 영상의 각 영상 프레임을 N개의 블록으로 분할한다(S102).
편의상 도 3에 도시된 바와 같이, 상기 영상 프레임이 16개(4*4)의 블록으로 분할되었다고 가정한다. 그리고 상기 영상 프레임에서 분할된 N개의 블록에 대응하여 상기 헤드업 디스플레이(140)의 화면도 16개(4*4)의 블록으로 분할된다고 가정한다. 즉, 영상 프레임에서 분할된 N개의 블록좌표에 상기 헤드업 디스플레이(140)의 화면에서 분할된 N개의 블록좌표가 대응된다고 가정한다.
그리고 도 3의 (a)와 (b)에 도시된 바와 같이, 상기 영상 프레임에서 차량 속도에 의한 움직임 좌표는 (-2, 0)이라고 가정한다. 즉, 차량 속도에 의해서 프레임의 좌표가 (-2, 0)만큼 이동한다고 가정한다. 따라서 이전 영상 프레임(도 3의 (a))과 다음 영상 프레임(도 3의 (b))을 비교하여 검출된 물체(예 : 공)의 움직임에는 차량 속도에 의한 상대적인 움직임이 포함되어 있다.
도 3의 (c)는 다음 프레임(도 3의 (b))의 움직임벡터 맵을 보인 것으로, 상기 움직임벡터 맵에서 상기 차량 속도에 의한 상대적인 움직임을 보상해야 한다. 물론 주행 중인 차량이 아닌 경우에는 움직임벡터를 보상할 필요가 없다.
즉, 상기 제어부(130)는 상기 N개의 블록으로 분할된 영상 프레임의 이전 영상(예 : frame0)과 다음 영상(예 : frame1)을 비교하여 블록별로 움직임벡터를 추출한다(S103).
그리고 차속 정보를 이용하여 블록별로 움직임벡터를 보정한다(S104).
예컨대 상기 촬영부(110)를 통해서 촬영된 영상은 차량이 주행하면서 촬영된 영상으로서, 실질적으로는 상기 물체 자체의 움직임에 상기 차량 주행에 의한 상대적인 움직임이 포함된 영상이기 때문에 상기 차량 주행에 의한 상대적인 움직임을 보상해야 하는 것이다.
즉, 도 3의 (d)를 참조하면, 상기 움직임벡터의 보정을 통해 상기 물체가 있는 블록들을 제외한 나머지 블록들은 물체가 없는 것으로 보정되었다.
이때 상기 입력된 영상 프레임에서 전방 카메라(미도시)와 물체와의 거리에 따라 상기 움직임벡터의 보정이 다르게 이루어지는 것이 더욱 바람직하다.
예컨대 영상 프레임의 상부에 있는 블록일수록 차량 속도에 의한 영향이 적고, 영상 프레임의 하부에 있는 블록일수록 차량 속도에 의한 영향을 많이 받는다. 왜냐하면 영상 프레임의 상부에 있는 블록일수록 차량에서 멀리 떨어져 있는 물체가 촬영된 부분이고, 영상 프레임의 하부에 있는 블록일수록 차량에 가까이 있는 물체가 촬영된 부분이기 때문이다.
상기 블록별 움직임벡터의 보정이 이루어지면 제어부(130)는 움직임패턴을 추출한다(S105).
그리고 제어부(130)는 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화한다(S106).
예컨대 사람이나 동물과 같이 신체가 여러 개의 작은 부분으로 구성되어 있는 물체는 개별 블록들이 동일하거나 유사한 움직임패턴을 나타내기 때문에 상기 개별 블록들을 하나의 큰 블록으로 그룹화하는 것이다.
즉, 도 3의 (e)에 도시된 바와 같이, 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화한다.
그리고 상기 제어부(130)는 상기 하나의 큰 블록으로 그룹화된 블록의 좌표를 추출하여(S107), 상기 헤드업 디스플레이(140)의 대응하는 위치에 인디케이터용 블록을 표시한다(S108).
즉, 도 3의 (f)에 도시된 바와 같이, 상기 헤드업 디스플레이(140)의 상기 하나의 큰 블록으로 그룹화된 블록에 대응하는 위치에 인디케이터용 블록을 출력한다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 촬영부 120 : 차속 검출부
130 : 제어부 131 : 움직임벡터 추출부
132 : 움직임벡터 보정부 133 : 움직임패턴 추출부
134 : 움직임패턴 블록화부 135 : 블록좌표 추출부
140 : 헤드업 디스플레이

Claims (12)

  1. 카메라를 이용해 차량의 전방 영상을 촬영하는 촬영부;
    차량의 주행속도를 검출하는 차속 검출부; 및
    상기 촬영되는 차량의 전방 영상을 입력받아 N개의 블록으로 분할하고, 상기 N개의 블록으로 분할된 이전 영상 프레임과 다음 영상 프레임을 비교하여 블록별로 물체의 움직임패턴을 추출하고, 동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화한 후, 상기 그룹화된 큰 블록의 좌표를 추출하여 헤드업 디스플레이 화면의 대응하는 위치에 블록을 표시하는 제어부;를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  2. 제 1항에 있어서, 상기 제어부는,
    블록별 움직임벡터를 추출하고, 각 움직임벡터에 대한 움직임패턴을 추출하여 블록별 물체의 움직임을 추적하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  3. 제 2항에 있어서, 상기 제어부는,
    차속 정보를 이용하여 상기 움직임벡터를 보정한 후, 상기 움직임패턴을 추출하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  4. 제 3항에 있어서, 상기 움직임벡터의 보정은,
    상기 영상 프레임 내의 물체의 움직임에 포함된 차량 주행에 의한 상대적인 움직임을 보상하는 보정인 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  5. 제 1항에 있어서, 상기 헤드업 디스플레이에 표시하는 블록은,
    사용자에게 물체가 있는 방향과 위치를 시각적으로 알리는 인디케이터용 블록인 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  6. 제 1항에 있어서, 상기 헤드업 디스플레이 화면은,
    상기 영상 프레임에서 분할된 N개의 블록에 대응하여 N개의 블록으로 가상적으로 분할되어, 상기 영상 프레임에서 분할된 N개의 블록좌표에 상기 헤드업 디스플레이의 화면에서 분할된 N개의 블록좌표가 대응되는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  7. 제 1항에 있어서, 상기 블록의 좌표는,
    화면 전체의 픽셀을 기준으로 한 픽셀 좌표이거나, 화면 전체의 블록을 기준으로 한 블록 좌표인 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 장치.
  8. 차량 전방의 영상을 촬영하는 단계;
    상기 촬영되는 영상을 입력받아 각 프레임을 N개의 블록으로 분할하는 단계;
    상기 N개의 블록으로 분할된 이전 영상 프레임과 다음 영상 프레임을 비교하여 블록별로 물체의 움직임패턴을 추출하는 단계;
    동일하거나 유사한 움직임패턴을 보이는 개별 블록들을 하나의 큰 블록으로 그룹화하는 단계; 및
    상기 그룹화된 큰 블록의 좌표를 추출하여 헤드업 디스플레이 화면의 대응하는 위치에 블록을 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 방법.
  9. 제 8항에 있어서,
    블록별 움직임벡터를 추출하는 단계;를 더 포함하고,
    상기 블록별 각 움직임벡터에 대하여 움직임패턴을 추출하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 방법.
  10. 제 9항에 있어서,
    차속 정보를 이용하여 상기 움직임벡터를 보정하는 단계;를 더 포함하고,
    상기 움직임벡터의 보정은, 상기 영상 프레임 내의 물체의 움직임에 포함된 차량 주행에 의한 상대적인 움직임을 보상하는 보정인 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 방법.
  11. 제 8항에 있어서, 상기 헤드업 디스플레이에 표시하는 블록은,
    사용자에게 물체가 있는 방향과 위치를 시각적으로 알리는 인디케이터용 블록인 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 방법.
  12. 제 8항에 있어서, 상기 헤드업 디스플레이의 화면은,
    상기 영상 프레임에서 분할된 N개의 블록에 대응하여 N개의 블록으로 가상적으로 분할되어, 상기 영상 프레임에서 분할된 N개의 블록좌표에 상기 헤드업 디스플레이의 화면에서 분할된 N개의 블록좌표가 대응되는 것을 특징으로 하는 헤드업 디스플레이를 이용한 물체 표시 방법.
KR1020130135181A 2013-11-08 2013-11-08 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법 KR20150054021A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130135181A KR20150054021A (ko) 2013-11-08 2013-11-08 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135181A KR20150054021A (ko) 2013-11-08 2013-11-08 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150054021A true KR20150054021A (ko) 2015-05-20

Family

ID=53390280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135181A KR20150054021A (ko) 2013-11-08 2013-11-08 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150054021A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170039965A (ko) * 2015-10-02 2017-04-12 현대자동차주식회사 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체
CN113822859A (zh) * 2021-08-25 2021-12-21 日立楼宇技术（广州）有限公司 基于图像识别的物品检测方法、系统、装置和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170039965A (ko) * 2015-10-02 2017-04-12 현대자동차주식회사 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체
CN113822859A (zh) * 2021-08-25 2021-12-21 日立楼宇技术（广州）有限公司 基于图像识别的物品检测方法、系统、装置和存储介质
CN113822859B (zh) * 2021-08-25 2024-02-27 日立楼宇技术（广州）有限公司 基于图像识别的物品检测方法、系统、装置和存储介质

Similar Documents

Publication Publication Date Title
US10748338B2 (en) Image processing apparatus and image processing method
JP6717377B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11241960B2 (en) Head up display apparatus and display control method thereof
CN108020923B (zh) 车用显示装置
US11194154B2 (en) Onboard display control apparatus
JP6659924B2 (ja) ヘッドマウントディスプレイの提示の調整
CN103885573B (zh) 车用显示系统的自动校正方法及其系统
US20140375816A1 (en) Vehicle Display Device with Movement Compensation
CN106226910A (zh) Hud系统及其影像调整方法
US20060262140A1 (en) Method and apparatus to facilitate visual augmentation of perceived reality
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
CN107547864B (zh) 用于车辆的周围视域监控系统和方法
KR20120067854A (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US9902341B2 (en) Image processing apparatus and image processing method including area setting and perspective conversion
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
US11024040B2 (en) Dynamic object tracking
CN108621940A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP2008285105A (ja) 情報表示装置
KR20150054021A (ko) 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법
US11694345B2 (en) Moving object tracking using object and scene trackers
WO2019026747A1 (ja) 車両用拡張現実画像表示装置
KR101767435B1 (ko) 헤드업 디스플레이의 표시 제어 장치 및 방법
CN115223231A (zh) 视线方向检测方法和装置
JP2016070951A (ja) 表示装置、制御方法、プログラム、及び記憶媒体
KR101786581B1 (ko) 헤드업 디스플레이의 표시 제어 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment