KR101459835B1 - 입체물 표시 제어 장치 및 방법 - Google Patents

입체물 표시 제어 장치 및 방법 Download PDF

Info

Publication number
KR101459835B1
KR101459835B1 KR1020120113141A KR20120113141A KR101459835B1 KR 101459835 B1 KR101459835 B1 KR 101459835B1 KR 1020120113141 A KR1020120113141 A KR 1020120113141A KR 20120113141 A KR20120113141 A KR 20120113141A KR 101459835 B1 KR101459835 B1 KR 101459835B1
Authority
KR
South Korea
Prior art keywords
distance
dimensional object
height
solid object
solid
Prior art date
Application number
KR1020120113141A
Other languages
English (en)
Other versions
KR20140046918A (ko
Inventor
최재섭
윤대중
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120113141A priority Critical patent/KR101459835B1/ko
Priority to US13/692,229 priority patent/US9082020B2/en
Priority to CN201210579732.1A priority patent/CN103727879B/zh
Publication of KR20140046918A publication Critical patent/KR20140046918A/ko
Application granted granted Critical
Publication of KR101459835B1 publication Critical patent/KR101459835B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입체물 표시 제어 장치 및 방법에 관한 것으로, 입체물 표시 제어 장치는, 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 입체물 검출부, 주변 영상 내에서 입체물의 위치를 측정하고, 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 주변 영상 내에서 입체물까지의 거리 및 입체물의 길이를 측정하는 입체물 위치 측정부, 주변 영상 내에 표시된 입체물까지의 거리 및 입체물의 길이 정보를 이용하여 입체물의 높이를 산출하는 입체물 높이 산출부, 및 산출된 입체물의 표시 제어부를 포함한다.

Description

입체물 표시 제어 장치 및 방법{Apparatus and method for display control of object}
본 발명은 입체물 표시 제어 장치 및 방법에 관한 것으로, 카메라를 통해 취득된 차량의 주변 영상 상에 입체물의 실제 높이 정보를 표시하도록 하는 장치 및 방법에 관한 것이다.
최근, 차량을 운전하는 사용자의 편의를 위해 차량 내의 디스플레이 등을 통해 주변 영상을 제공함으로써, 사용자는 주변 영상을 통해 차량 주변의 상황을 쉽게 인지할 수 있다. 일 예로서, 차량의 사방을 촬영한 영상을 탑 뷰 영상으로 변환하고, 각 변환 영상들을 합성하여 사용자에게 제공함으로써, 사용자는 사방의 영상을 한번에 확인할 수 있다. 다만, 사용자는 주변 영상을 통해 입체물의 위치 등을 확인하는 것은 어렵지 않으나, 입체물의 실제 높이를 판단하는 것은 용이하지 않으므로, 주차 시 차량과 충돌하는 사고가 발생할 수 있다.
이를 위해, 최근에는 입체물의 높이를 산출하여 높이 정보를 사용자에게 제공하는 기술이 많이 제시되고 있다. 일 예로서, 특허출원 제2009-0003291호에는 서로 다른 각도로 설치된 두 대의 카메라를 통해 획득한 영상으로부터 장애물로 추측되는 물체의 윤곽선을 추출하고, 추출된 윤곽선의 최고와 최저의 수직 위치를 산출함으로써 장애물까지의 거리 및 높이를 산출하는 기술이 개시되어 있다.
하지만, 이와 같은 경우에는 장애물의 높이를 산출하기 위해 두 대의 카메라를 서로 다른 각도로 설치해야하므로, 카메라가 하나만 설치된 차량의 경우에는 적용 불가한 문제가 있다. 또한, 두 영상을 비교하여 장애물의 높이를 산출하는 것이기 때문에 영상의 상태에 따라 오차가 발생할 수 있게 된다.
본 발명의 목적은, 카메라를 통해 취득된 차량의 주변 영상에 표시되는 입체물의 실제 높이를 산출하여 주변 영상 상에 산출된 입체물의 높이 정보를 표시하여 사용자가 입체물에 대한 정확한 정보를 파악할 수 있도록 하는 입체물 표시 제어 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 입체물 표시 제어 장치는, 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 입체물 검출부, 상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 입체물 위치 측정부, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 이용하여 상기 입체물의 높이를 산출하는 입체물 높이 산출부, 및 상기 산출된 입체물의 높이를 표시하는 표시 제어부를 포함하는 것을 특징으로 한다.
상기 입체물 높이 산출부는, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 저장된 맵핑 테이블에 적용하여 상기 입체물의 높이를 산출하는 것을 특징으로 한다.
한편, 상기 입체물 높이 산출부는, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 생성된 변환 곡선 그래프에 적용하여 상기 입체물의 높이를 산출하는 것을 특징으로 한다.
상기 변환 곡선 그래프는, 상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 높이값을 나타내는 서로 다른 변환 곡선을 일정 거리 단위로 나열한 것을 특징으로 한다.
상기 변환 곡선은, 상기 입체물의 높이가 높을수록 기울기가 작아지는 곡선인 것을 특징으로 한다.
상기 서로 다른 변환 곡선은, 동일한 높이값에 대응하여 상기 입체물까지의 거리 및 상기 입체물의 길이가 길수록 기울기가 작아지는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 입체물 표시 제어 방법은, 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 단계, 상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 단계, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 이용하여 상기 입체물의 높이를 산출하는 단계, 및 상기 산출된 입체물의 높이를 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.
상기 입체물의 높이를 산출하는 단계는, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 저장된 맵핑 테이블에 적용하여 상기 입체물의 높이를 산출하는 것을 특징으로 한다.
상기 입체물의 높이를 산출하는 단계는, 상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 생성된 변환 곡선 그래프에 적용하여 상기 입체물의 높이를 산출하는 것을 특징으로 한다.
상기 변환 곡선 그래프는, 상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 높이값을 나타내는 서로 다른 변환 곡선을 일정 거리 단위로 나열한 것을 특징으로 한다.
상기 변환 곡선은, 상기 입체물의 높이가 높을수록 기울기가 작아지는 곡선인 것을 특징으로 한다.
상기 서로 다른 변환 곡선은, 동일한 높이값에 대응하여 상기 입체물까지의 거리 및 상기 입체물의 길이가 길수록 기울기가 작아지는 것을 특징으로 한다.
본 발명에 따르면, 카메라를 통해 취득된 차량의 주변 영상에 표시되는 입체물의 실제 높이를 산출하여 주변 영상 상에 산출된 입체물의 높이 정보를 표시함으로써 사용자가 화면을 통해 표시되는 주변 영상을 통해 입체물에 대한 정확한 정보를 파악할 수 있는 이점이 있다.
또한, 본 발명은, 주변 영상에 표시되는 입체물의 거리 및 길이를 통해 입체물의 높이를 산출함으로써 별도의 장치를 추가하지 않고도 간단하고 신속하게 입체물의 높이를 산출할 수 있는 이점이 있다.
도 1 및 도 2는 본 발명에 따른 입체물 표시 제어 장치의 구성을 설명하는데 참조되는 도이다.
도 3은 본 발명에 따른 입체물 표시 제어 장치의 입체물 높이 표시 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명에 따른 입체물 표시 제어 장치의 높이 산출 동작을 설명하는데 참조되는 예시도이다.
도 5는 도 4의 다른 실시예를 도시한 예시도이다.
도 6 및 도 7은 본 발명에 따른 입체물 표시 제어 장치의 입체물 높이 표시예를 도시한 예시도이다.
도 8은 본 발명에 따른 입체물 표시 제어 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1 및 도 2는 본 발명에 따른 입체물 표시 제어 장치의 구성을 설명하는데 참조되는 도이다.
먼저, 도 1을 참조하면, 차량(10)은 차량(10) 주변에 대한 주변 영상을 촬영하는 카메라(11) 및 차량(10) 주변에 위치한 입체물간 거리를 측정하는 거리측정센서(15)가 구비된다. 도 1에서는 카메라(11) 및 거리측정센서(15)가 각각 하나인 것으로 도시하였으나, 복수 개의 카메라(11) 및 거리측정센서(15)가 차량(10)의 전, 후, 좌 및 우측 방향에 각각 배치될 수 있으며, 사용자의 선택에 따라 특정 방향에만 배치될 수도 있다.
입체물 표시 제어 장치(100)는 차량(10)의 카메라(11) 및 거리측정센서(15)를 통해 취득된 정보를 활용하여 차량(10) 주변에 위치한 입체물의 실제 높이를 산출하고, 산출된 입체물 높이를 표시함으로써 운전자가 주변 상황을 정확히 파악하도록 한다.
입체물 표시 제어 장치(100)에 대한 세부 구성은 도 2를 참조하도록 한다.
도 2를 참조하면, 본 발명에 따른 입체물 표시 제어 장치(100)는 제어부(110), 영상 취득부(120), 센서값 취득부(130), 표시부(140), 저장부(150), 영상 분석부(160), 입체물 검출부(170), 입체물 위치 측정부(180), 입체물 높이 산출부(190) 및 표시 제어부(200)를 포함한다. 여기서, 제어부(110)는 입체물 표시 제어 장치(100)의 각 부의 동작을 제어한다.
영상 취득부(120)는 카메라와 연결되어, 카메라를 통해 촬영되는 주변 영상을 취득한다. 센서값 취득부(130)는 거리측정센서와 연결되어, 거리측정센서를 통해 측정되는 거리측정센서값을 취득한다. 영상 취득부(120)에 의해 취득된 주변 영상 및 센서값 취득부(130)에 의해 취득된 거리측정센서값은 입체물의 높이를 산출하는데 활용된다.
표시부(140)는 입체물 표시 제어 장치(100)를 통해 산출된 입체물 높이를 표시하는 수단으로서, 모니터, 네비게이션 등이 해당 될 수 있다.
저장부(150)는 입체물 표시 제어 장치(100)의 동작을 위한 설정값 등이 저장되며, 각 부의 동작에 의한 결과 데이터 등이 저장된다.
영상 분석부(160)는 영상 취득부(120)에 의해 취득된 주변 영상을 분석한다. 이때, 주변 영상은 영상 취득부(120)에 의해 취득된 원본 형태의 영상일 수 있으며, 영상 취득부(120)에 의해 취득된 영상을 탑 뷰 영상으로 변환하여 합성한 형태의 영상일 수 있다. 본 발명의 실시예에서는 탑 뷰 영상을 토대로 입체물을 검출하는 것을 설명하나, 이에 한정되는 것은 아니다.
입체물 검출부(170)는 영상 분석부(160)의 주변 영상 분석 결과를 토대로 주변 영상 내의 입체물을 검출한다. 이때, 입체물 검출부(170)는 센서값 취득부(130)에 의해 취득된 거리측정값에 근거하여 입체물을 검출할 수도 있다.
입체물 위치 측정부(180)는 주변 영상 내에서 입체물 검출부(170)를 통해 검출된 입체물의 위치를 측정한다. 이때, 입체물 위치 측정부(180)는 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 입체물의 위치를 측정한다. 더욱 상세하게, 입체물 위치 측정부(180)는 주변 영상 내에서 입체물까지의 거리 및 입체물의 길이를 측정함으로써 입체물의 위치를 측정한다.
입체물 높이 산출부(190)는 주변 영상 내에 표시된 입체물까지의 거리 및 입체물의 길이 정보를 이용하여 입체물의 높이를 산출한다. 이때, 입체물 높이 산출부(190)는 주변 영상 내에 표시된 입체물까지의 거리 및 입체물의 길이 정보를 기 생성된 변환 곡선 그래프에 적용하여 입체물의 높이를 산출할 수 있다. 여기서, 변환 곡선 그래프는 입체물까지의 거리 및 입체물의 길이에 대응하는 높이값을 나타내는 서로 다른 변환 곡선을 일정 거리 단위로 나열한 것으로, 각각의 변환 곡선은 입체물의 높이가 높을수록 기울기가 작아지는 곡선이다. 또한, 서로 다른 변환 곡선은 동일한 높이값에 대응하여 입체물까지의 거리 및 입체물의 길이가 길수록 기울기가 작아지는 것으로 한다. 이에, 변환 곡선 그래프에 대한 실시예는 도 4를 참조하도록 한다.
한편, 입체물 높이 산출부(190)는 주변 영상 내에 표시된 상기 입체물까지의 거리 및 입체물의 길이 정보를 기 저장된 맵핑 테이블에 적용하여 입체물의 높이를 산출할 수 있다. 여기서, 기 저장된 맵핑 테이블에 대한 실시예는 도 5를 참조한다.
표시 제어부(200)는 주변 영상이 표시부(140)를 통해 표시된 상태에서 입체물 높이 산출부(190)에 의해 산출된 입체물의 높이가 주변 영상 상에 표시되도록 한다. 여기서, 주변 영상 상에 입체물의 높이가 표시되는 실시예는 도 6 및 도 7을 참조한다.
도 3은 본 발명에 따른 입체물 표시 제어 장치의 입체물 높이 표시 동작을 설명하는데 참조되는 예시도이다.
도 3은 카메라를 통해 취득된 주변 영상에 대한 탑 뷰 영상 상에 입체물까지의 거리, 입체물의 길이 및 입체물의 실제 높이를 표시한 것이다. 이때, 입체물까지의 거리는 거리측정센서에 의해 취득된 센서값에 근거하여 측정되며, 측정된 입체물까지의 거리값은 탑 뷰 영상 상에 표시하도록 한다. 일 예로서, 거리측정센서에 의해 좌측 방향의 입체물까지의 거리가 100cm, 우측 방향의 입체물까지의 거리가 230cm으로 측정되었다면, 입체물 표시 제어 장치는 거리측정센서를 통해 측정된 각 입체물까지의 거리가 탑 뷰 영상 상에 표시되도록 한다.
또한, 입체물 표시 제어 장치는 탑 뷰 영상 내 입체물의 길이를 측정하고, 거리측정센서를 통해 측정된 입체물까지의 실제 거리에 근거하여 탑 뷰 영상에 표시된 입체물의 길이에 대응하는 길이를 산출한다. 일 예로서, 탑 뷰 영상 상에서 좌측 방향에 표시된 입체물의 위치에 근거하여 해당 입체물의 길이가 입체물까지의 거리보다 3배 정도 길다면, 입체물까지의 거리에 근거하여 입체물의 길이가 300cm 인 것으로 산출한다. 한편, 탑 뷰 영상 상에서 우측 방향에 표시된 입체물의 위치에 근거하여 해당 입체물의 길이가 입체물까지의 거리보다 짧다면, 입체물까지의 거리에 비례하여 입체물의 길이를 산출한다.
만일, 차량 우측 방향의 입체물의 길이가 60cm인 것으로 산출되었다면, 장애물 높이 표시 장치는 차량 좌측 방향의 입체물의 길이와 함께 탑 뷰 영상 상에 표시되도록 한다.
한편, 입체물 표시 제어 장치는 탑 뷰 영상 상에 표시된 좌측 방향의 입체물 및 우측 방향의 입체물까지의 거리 및 해당 입체물의 길이 정보를 기 정의된 맵핑 테이블 또는 변환 곡선 그래프에 적용하여 입체물의 실제 높이를 산출한다. 이렇게 산출된 좌측 방향의 입체물의 실제 높이가 100cm이고, 우측 방향의 입체물의 실제 높이가 20cm이라면, 각 입체물에 대해 산출된 높이 정보를 탑 뷰 영상 상에 표시하도록 함으로써, 사용자가 탑 뷰 영상을 통해 입체물의 실제 높이를 파악할 수 있도록 한다.
도 4는 본 발명에 따른 입체물 표시 제어 장치의 높이 산출 동작을 설명하는데 참조되는 예시도이다.
도 4를 참조하면, 변환 곡선 그래프는 가로축이 영상 내 입체물의 위치(cm), 즉, 입체물까지의 거리 및 입체물의 길이를 나타내고, 세로축은 영상에 표시된 입체물의 실제 높이(cm)를 나타낸다.
도 4에서 변환 곡선 그래프는 서로 다른 변환 곡선을 입체물까지의 거리에 따라 50cm 단위로 나열한 형태를 갖는다. 이때, 각각의 변환 곡선은 입체물의 높이가 높을수록 기울기가 작아진다. 또한, 서로 다른 변환 곡선은 높이값에 대응하여 입체물까지의 거리 및 입체물의 길이가 길수록 기울기가 작아진다.
일 예로서, 도 4에 도시된 각각의 변환 곡선은 입체물의 높이가 높아질수록 오른쪽으로 기울어지는 형태를 갖는다. 한편, 입체물까지의 거리가 50cm 인 경우의 변환 곡선은 입체물의 길이가 13cm 이면 입체물의 높이가 h가 되지만, 입체물까지의 거리가 150cm 인 경우의 변환 곡선은 입체물의 길이가 31cm 이면 입체물의 높이가 h가 된다.
이러한 변환 곡선 그래프는 여러 횟수의 반복 실험을 통해 정의할 수 있으며, 모의 실험 장치 등에 의해 정의된 그래프일 수 있다. 변환 곡선 그래프를 정의하는 방법은 어느 하나에 한정되는 것은 아니며, 실시 형태에 따라 다양하게 적용가능하다. 이에, 변환 곡선 그래프를 정의하는 구체적인 설명은 생략하도록 한다.
따라서, 입체물 표시 제어 장치는 주변 영상 및 거리측정값에 근거하여 측정된 입체물까지의 거리 및 입체물의 길이 정보를 도 4에 도시된 변환 곡선 그래프에 대입하는 것으로 입체물의 높이를 쉽게 산출할 수 있다.
도 5는 도 4의 다른 실시예를 도시한 예시도로서, 입체물의 위치에 대응하는 입체물의 높이를 정의한 맵핑 테이블을 나타낸 것이다.
도 5의 맵핑 테이블에서 A 영역은 입체물까지의 거리값을 나타낸 것이고, B 영역은 입체물까지의 거리 및 입체물의 길이를 합한 값, C 영역은 입체물의 높이값을 나타낸 것이다.
다시 말해, 주변 영상 내 입체물까지의 거리가 100cm 인 경우, 입체물의 길이가 각각 0cm, 17cm, 52cm, 171cm 및 200cm라면, B 영역에서 입체물까지의 거리 및 입체물의 길이를 합한 값인 100cm, 117cm, 152cm, 271cm 및 300cm에 해당된다.
한편, 주변 영상 내 입체물까지의 거리가 200cm 인 경우, 입체물의 길이가 각각 0cm, 36cm 및 109cm라면, B 영역에서 입체물까지의 거리 및 입체물의 길이를 합한 값인 200cm, 236cm 및 309cm에 해당된다. 또한, 주변 영상 내 입체물까지의 거리가 230cm 인 경우, 입체물의 길이가 각각 0cm 및 64cm라면, B 영역에서 입체물까지의 거리 및 입체물의 길이를 합한 값인 230cm 및 294cm에 해당된다.
여기서, 입체물까지의 거리 및 입체물의 길이가 일정값 이상이면 주변 영상 상에 표시할 수 없으므로, 일정값 이내의 범위에서 맵핑 테이블을 정의하도록 한다.
이러한 맵핑 테이블은 여러 횟수의 반복 실험을 통해 정의할 수 있으며, 모의 실험 장치 등에 의해 정의된 테이블일 수 있다. 맵핑 테이블을 정의하는 방법은 어느 하나에 한정되는 것은 아니며, 실시 형태에 따라 다양하게 적용가능하다. 이에, 맵핑 테이블을 정의하는 구체적인 설명은 생략하도록 한다.
따라서, 입체물 표시 제어 장치는 입체물 위치 측정부에 의해 측정된 입체물까지의 거리 및 입체물의 길이 정보를 도 5에 도시된 맵핑 테이블에 대입하는 것으로 입체물의 높이를 쉽게 산출할 수 있다.
도 6 및 도 7은 본 발명에 따른 입체물 표시 제어 장치의 입체물 높이 표시예를 도시한 예시도이다.
주변 영상 상에 입체물의 높이를 표시하는 방법은 다양하게 구현 가능하다. 이때, 입체물은 높이는 카메라를 통해 취득된 원영상 상에 표시할 수 있으며, 탑 뷰 영상 상에 표시할 수도 있다. 또한, 입체물의 높이에 따라 색, 모양 등을 달리하여 표시할 수 있으며, 별도의 아이콘을 배치할 수도 있다. 한편, 입체물 표시 제어 장치는 기존의 주변 영상 상에 도 3과 같이 높이 정보를 문자 형태로 표시할 수도 있다.
일 예로서, 도 6은 입체물의 거리 및 종류를 인식한 후에 해당 아이콘을 배치한 예를 나타낸 것이다. 다시 말해, 차량 우측 방향의 입체물이 연석으로 감지되었다면, 연석에 해당하는 아이콘을 차량 우측에 배치할 수 있다. 물론, 입체물 표시 제어 장치는 연석이 산출된 입체물의 높이에 해당되는 높이값을 갖도록 표시한다.
다른 예로서, 도 7은 주차 지원 시점에 따른 입체물을 표시한 것으로, (a)는 차량이 전방을 향하고 있는 경우에 후방향의 입체물들을 표시한 예를 나타낸 것이고, (b)는 차량이 후방을 행하고 있는 경우에 후방향의 입체물들을 표시한 예를 나타낸 것이다. 물론, 이 경우에도 마찬가지로, 감지된 입체물들은 색상, 모양 등을 달리하여 표시할 수 있으며, 산출된 입체물의 높이에 해당되는 높이값을 갖도록 표시한다.
따라서, 사용자는 차량에서 입체물을 바라보는 시점, 입체물의 종류, 및 거리 등에 따라 구별되도록 입체물을 표시하고, 이때 산출된 높이 정보를 함께 표시하도록 함으로써, 차량의 입체물 충돌 위험 등을 파악하는 것이 용이하게 된다.
상기와 같이 구성되는 본 발명에 따른 입체물 표시 제어 장치에 대한 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 8은 본 발명에 따른 입체물 표시 제어 방법에 대한 동작 흐름을 도시한 순서도이다.
도 8을 참조하면, 본 발명에 따른 입체물 표시 제어 장치는 카메라 등을 통해 취득된 차량 주변의 영상이 입력되면(S100), 입력된 영상을 분석하여(S110), 영상내 입체물을 검출한다(S120).
이때, 입체물 표시 제어 장치는 'S120' 과정에서 검출된 입체물에 대한 위치를 측정한다(S130). 더욱 상세하게, 'S130' 과정에서는 차량으로부터 검출된 입체물까지의 거리 및 영상 내 입체물의 길이를 측정한다. 이때, 입체물까지의 거리는 거리측정센서 등에 의해 취득된 거리측정값에 근거하여 측정할 수 있으며, 입체물의 길이는 영상 내에 표시된 입체물까지의 거리에 비례하여 측정할 수 있다.
입체물 표시 제어 장치는 'S130' 과정에서 측정된 입체물까지의 거리 및 입체물의 길이를 토대로 입체물의 높이를 산출한다(S140). 이때, 입체물의 높이를 산출하기 위해, 사전에 변환 곡선 그래프 또는 맵핑 테이블을 정의하는 과정이 선행되어져야 한다.
따라서, 입체물 표시 제어 장치는 'S130' 과정에서 측정된 입체물까지의 거리 및 입체물의 길이를 기 정의된 변환 곡선 그래프 또는 맵핑 테이블에 적용하는 것으로 입체물의 높이를 산출할 수 있다.
마지막으로, 입체물 표시 제어 장치는 'S140' 과정에서 산출된 입체물의 높이 정보를 'S100' 과정에서 입력된 영상 상에 표시한다(S150). 물론, 입체물의 높이 정보는 'S100' 과정에서 입력된 영상의 변환 영상에 표시할 수도 있다.
이상과 같이 본 발명에 의한 입체물 표시 제어 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 차량 11: 카메라
15: 거리측정센서 100: 입체물 표시 제어 장치
110: 제어부 120: 영상 취득부
130: 센서값 취득부 140: 표시부
150: 저장부 160: 영상 분석부
170: 입체물 검출부 180: 입체물 위치 측정부
190: 입체물 높이 산출부 200: 표시 제어부

Claims (12)

  1. 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 입체물 검출부;
    상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 입체물 위치 측정부;
    상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 정의된 맵핑 테이블에 적용하여 상기 입체물의 높이를 산출하는 입체물 높이 산출부; 및
    상기 산출된 입체물의 높이를 표시하는 표시 제어부를 포함하는 것을 특징으로 하는 입체물 표시 제어 장치.
  2. 청구항 1에 있어서,
    상기 맵핑 테이블은,
    상기 입체물까지의 거리를 일정 단위별로 분류하고, 분류된 각 거리 단위별로 상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 상기 입체물의 높이 정보가 맵핑된 것을 특징으로 하는 입체물 표시 제어 장치.
  3. 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 입체물 검출부;
    상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 입체물 위치 측정부;
    상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 생성된 변환 곡선 그래프에 적용하여 상기 입체물의 높이를 산출하는 입체물 높이 산출부; 및
    상기 산출된 입체물의 높이를 표시하는 표시 제어부를 포함하는 것을 특징으로 하는 입체물 표시 제어 장치.
  4. 청구항 3에 있어서,
    상기 변환 곡선 그래프는,
    상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 높이값을 나타내는 서로 다른 변환 곡선을 상기 입체물까지의 거리에 따라 일정 단위로 나열한 것을 특징으로 하는 입체물 표시 제어 장치.
  5. 청구항 4에 있어서,
    상기 변환 곡선은,
    상기 입체물의 높이가 높을수록 기울기가 작아지는 곡선인 것을 특징으로 하는 입체물 표시 제어 장치.
  6. 청구항 4에 있어서,
    상기 서로 다른 변환 곡선은,
    동일한 높이값에 대응하여 상기 입체물까지의 거리 및 상기 입체물의 길이가 길수록 기울기가 작아지는 것을 특징으로 하는 입체물 표시 제어 장치.
  7. 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 단계;
    상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 단계;
    상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 저장된 맵핑 테이블에 적용하여 상기 입체물의 높이를 산출하는 단계; 및
    상기 산출된 입체물의 높이를 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 입체물 표시 제어 방법.
  8. 청구항 7에 있어서,
    상기 맵핑 테이블은,
    상기 입체물까지의 거리를 일정 단위별로 분류하고, 분류된 각 거리 단위별로 상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 상기 입체물의 높이 정보가 맵핑된 것을 특징으로 하는 입체물 표시 제어 방법.
  9. 차량에 구비된 카메라를 통해 취득한 주변 영상 내의 입체물을 검출하는 단계;
    상기 주변 영상 내에서 상기 입체물의 위치를 측정하고, 상기 차량에 구비된 거리측정센서를 통해 취득한 거리측정값에 근거하여 상기 주변 영상 내에서 상기 입체물까지의 거리 및 상기 입체물의 길이를 측정하는 단계;
    상기 주변 영상 내에 표시된 상기 입체물까지의 거리 및 상기 입체물의 길이 정보를 기 생성된 변환 곡선 그래프에 적용하여 상기 입체물의 높이를 산출하는 단계; 및
    상기 산출된 입체물의 높이를 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 입체물 표시 제어 방법.
  10. 청구항 9에 있어서,
    상기 변환 곡선 그래프는,
    상기 입체물까지의 거리 및 상기 입체물의 길이에 대응하는 높이값을 나타내는 서로 다른 변환 곡선을 일정 거리 단위로 나열한 것을 특징으로 하는 입체물 표시 제어 방법.
  11. 청구항 10에 있어서,
    상기 변환 곡선은,
    상기 입체물의 높이가 높을수록 기울기가 작아지는 곡선인 것을 특징으로 하는 입체물 표시 제어 방법.
  12. 청구항 10에 있어서,
    상기 서로 다른 변환 곡선은,
    동일한 높이값에 대응하여 상기 입체물까지의 거리 및 상기 입체물의 길이가 길수록 기울기가 작아지는 것을 특징으로 하는 입체물 표시 제어 방법.

KR1020120113141A 2012-10-11 2012-10-11 입체물 표시 제어 장치 및 방법 KR101459835B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120113141A KR101459835B1 (ko) 2012-10-11 2012-10-11 입체물 표시 제어 장치 및 방법
US13/692,229 US9082020B2 (en) 2012-10-11 2012-12-03 Apparatus and method for calculating and displaying the height of an object detected in an image on a display
CN201210579732.1A CN103727879B (zh) 2012-10-11 2012-12-27 计算和显示在显示器图像中检测的物体高度的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120113141A KR101459835B1 (ko) 2012-10-11 2012-10-11 입체물 표시 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140046918A KR20140046918A (ko) 2014-04-21
KR101459835B1 true KR101459835B1 (ko) 2014-11-07

Family

ID=50452061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113141A KR101459835B1 (ko) 2012-10-11 2012-10-11 입체물 표시 제어 장치 및 방법

Country Status (3)

Country Link
US (1) US9082020B2 (ko)
KR (1) KR101459835B1 (ko)
CN (1) CN103727879B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766040B2 (en) * 2015-01-09 2017-09-19 Evrio, Inc. Relative aiming point display
CN105136042A (zh) * 2015-08-20 2015-12-09 广东欧珀移动通信有限公司 一种高度测量方法、装置及移动终端
KR102435552B1 (ko) 2015-10-22 2022-08-24 주식회사 에이치엘클레무브 차량용 레이더 장치 장치 및 그의 타겟 선정 방법
CN106066227A (zh) * 2016-05-24 2016-11-02 扬州市东宇环保设备有限公司 移动式抗风压检测装置
CN105865744A (zh) * 2016-05-24 2016-08-17 扬州市东宇环保设备有限公司 抗风压检测装置
CN106066253A (zh) * 2016-05-24 2016-11-02 扬州市东宇环保设备有限公司 一种抗风压的方法
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
CN111353337A (zh) * 2018-12-21 2020-06-30 厦门歌乐电子企业有限公司 一种障碍物识别装置及方法
KR102323328B1 (ko) * 2019-09-17 2021-11-09 주식회사 날마다자라는아이 스마트 체중계를 이용한 어린이의 성장 상태 측정 시스템
JP7094255B2 (ja) * 2019-09-24 2022-07-01 本田技研工業株式会社 車両制御システム
US20230056390A1 (en) * 2021-08-19 2023-02-23 Qualcomm Incorporated Vehicle-to-pedestrian (v2p) communication and data association for pedestrian position determination and collision avoidance
DE102022205393A1 (de) * 2022-05-30 2023-11-30 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
KR20050036179A (ko) * 2003-10-15 2005-04-20 현대자동차주식회사 차량의 전방 감시장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062162A (ja) 1996-08-13 1998-03-06 Nissan Motor Co Ltd 障害物検出装置
CN100538763C (zh) * 2007-02-12 2009-09-09 吉林大学 基于视频的混合交通流参数的检测方法
CN101504717B (zh) * 2008-07-28 2012-07-11 上海高德威智能交通系统有限公司 特征区域的定位方法、车身深浅色与车身颜色的识别方法
KR100972041B1 (ko) 2009-01-15 2010-07-22 한민홍 카메라를 이용한 장애물 인식방법
KR101095407B1 (ko) * 2009-02-25 2011-12-16 히타치 오므론 터미널 솔루션즈 가부시키가이샤 지엽류 취급 장치, 지엽류 수입 방법 및 지엽류 배출 방법
JP2011109170A (ja) 2009-11-12 2011-06-02 Clarion Co Ltd 車両周囲表示装置、車両周囲表示方法
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
KR20050036179A (ko) * 2003-10-15 2005-04-20 현대자동차주식회사 차량의 전방 감시장치 및 방법

Also Published As

Publication number Publication date
CN103727879B (zh) 2018-07-03
US20140104423A1 (en) 2014-04-17
CN103727879A (zh) 2014-04-16
US9082020B2 (en) 2015-07-14
KR20140046918A (ko) 2014-04-21

Similar Documents

Publication Publication Date Title
KR101459835B1 (ko) 입체물 표시 제어 장치 및 방법
KR101417399B1 (ko) 차량의 주차 위치 표시 장치 및 방법
KR100969576B1 (ko) 카메라 파라미터 캘리브레이션 장치 및 방법
TWI450132B (zh) A portrait recognition device, an operation judgment method, and a computer program
US20150062305A1 (en) Image capturing device, image processing method, and recording medium
KR102130316B1 (ko) 영상 인식 장치 및 방법
US20170050567A1 (en) Dynamic camera view to aid with trailer attachment
JP2019501747A5 (ko)
US9832386B2 (en) External recognition apparatus and excavation machine using external recognition apparatus
JP2013105253A5 (ko)
KR20140114373A (ko) 차량 주변 환경을 시각화하는 방법과 장치
JP2013161267A5 (ko)
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP6380778B2 (ja) 運動姿勢分析装置及び運動姿勢分析情報生成方法
JP6791108B2 (ja) 顔位置検出装置
US8547448B2 (en) Image processing device and image processing method to generate a plan map
JP6950390B2 (ja) 表示制御プログラム、装置、及び方法
JP7361251B2 (ja) 採寸装置及び採寸方法
CN107113417B (zh) 将图像投影到对象上
KR101455236B1 (ko) 이동형 증강현실 제공 장치 및 그 방법
US20150063630A1 (en) Apparatus and method for detecting obstacle
US20180293751A1 (en) Measuring apparatus and corresponding measuring method
JP4772526B2 (ja) タッチパネル付表示装置
US10645363B2 (en) Image-based edge measurement
KR20180041525A (ko) 차량의 물체 트래킹 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 6