KR20130015972A - 다양한 조명 환경에서의 차량 검출 - Google Patents

다양한 조명 환경에서의 차량 검출 Download PDF

Info

Publication number
KR20130015972A
KR20130015972A KR1020110078347A KR20110078347A KR20130015972A KR 20130015972 A KR20130015972 A KR 20130015972A KR 1020110078347 A KR1020110078347 A KR 1020110078347A KR 20110078347 A KR20110078347 A KR 20110078347A KR 20130015972 A KR20130015972 A KR 20130015972A
Authority
KR
South Korea
Prior art keywords
input image
vehicle
information
image
lighting
Prior art date
Application number
KR1020110078347A
Other languages
English (en)
Other versions
KR101300279B1 (ko
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110078347A priority Critical patent/KR101300279B1/ko
Publication of KR20130015972A publication Critical patent/KR20130015972A/ko
Application granted granted Critical
Publication of KR101300279B1 publication Critical patent/KR101300279B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 명세서에 개시된 차량 제어 장치는 영상을 입력받는 영상 입력부; 및 상기 입력된 영상을 기초로 다른 차량을 검출하는 제어부를 포함하되, 상기 제어부는 입력된 영상으로부터 조명 정보를 추정하는 조명 추정부; 상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화하는 정규화부; 및 상기 정규화된 영상으로부터 상기 다른 차량에 대한 정보를 획득하는 검출부를 포함하도록 이루어지 차량 제어 장치이다.

Description

다양한 조명 환경에서의 차량 검출{DETECTION OF VEHICLES IN DIFFERENT ILLUMINATION ENVIRONMENTS}
본 명세서는 차량 검출에 관한 것이다. 보다 상세하게는 다양한 조명 환경하에서의 영상 정보를 이용하는 차량 검출에 관한 것이다.
최근의 차량은 주위에서 주행하는 다른 차량을 검출하는 제어 장치를 탑재하고 있다. 다른 차량의 검출을 위하여 영상 정보가 이용되나, 주변의 조명 환경이 변화함에 따라 영상 정보를 획득하는 것이 곤란하거나, 획득된 영상 정보 내에 포함될 수 있는 다양한 변화들로 인하여 차량 검출에 오류가 유발 될 수 있다.
종래에는 조명 환경의 차이에도 불구하고 차량을 효과적으로 검출할 수 있도록 하기 위하여 적외선 영상을 이용하는 방법이 제시되었다. 2003년 특허 공보 제88937호는 피검체에 적외선을 조사하는 램프와 상기 피검체로부터 반사되는 적외선을 입력받아 상기 피검체를 검출하는 방법을 개시하고 있다. 그 밖에 2004년 특허 공보 제32154호는 적외선 카메라를 이용하는 차량의 야간 주행 보조장치를 개시하고 있다. 다만, 이를 위하여 차량의 제어 장치는 차량에 별도로 탑재된 특수한 이미지 센서로부터 적외선 영상을 획득하여야 한다.
본 명세서는 영상 정보를 이용하여 차량을 검출하는 방법으로서, 다양한 조명 환경에서 획득한 영상으로부터 차량을 검출하는 방법을 제시하기 위함이다. 일반적으로 최근 차량에는 일반적인 영상 입력 장치를 구비하고 있으므로, 본 명세서는 차량 제어 장치가 특수한 영상 장치를 구비하지 아니하고 이미 구비하고 있는 영상 입력 장치로부터 획득한 영상으로부터 조명 환경의 영향을 감소시킨 채 효과적으로 다른 차량을 검출하는 방법을 제시하기 위함이다.
일 실시 형태로 차량 제어 장치가 개시된다. 상기 차량 제어 장치는 영상을 입력받는 영상 입력부; 및 상기 입력된 영상을 기초로 다른 차량을 검출하는 제어부를 포함하도록 구성될 수 있다.
상기 일 실시 형태 또는 그 밖의 형태들은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다. 상기 제어부는 입력된 영상으로부터 조명 정보를 추정하는 조명 추정부; 상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화하는 정규화부; 및 상기 정규화된 영상으로부터 상기 다른 차량에 대한 정보를 획득하는 검출부를 포함하도록 구성될 수 있다. 또한, 상기 조명 추정부는 상기 입력된 영상에 대하여 블러링 커널을 적용하여 조명 정보를 추정할 수 있다. 또한, 상기 블러링 커널은 상기 입력된 영상 전체에 적용되는 가우시안 커널(Gaussian Kernel)일 수 있다. 또한, 상기 조명 추정부는 상기 입력된 영상의 밝기 정보(Luminance)를 계산함으로써 조명 정보를 추정하되, 상기 밝기 정보는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션(convolution)을 통해 획득될 수 있다. 또한, 상기 정규화된 영상은 상기 입력 영상으로부터 상기 밝기 정보가 제거된 것일 수 있다.
상기 차량 제어 장치는 상기 입력된 영상을 표시하는 표시부를 더 포함하되, 상기 제어부는 상기 입력된 영상 중에서 상기 검출된 다른 차량을 구분하여 상기 표시부에 표시할 수 있다.
상기 차량 제어 장치는 상기 차량의 속도를 제어하는 차량 구동부를 더 포함하되, 상기 제어부는 상기 다른 차량이 검출된 경우 상기 차량의 속도가 감소되도록 상기 구동부를 제어할 수 있다.
한편, 다른 실시 형태로 차량 검출 방법이 개시된다. 상기 차량 검출 방법은 입력된 영상의 조명 정보를 추정하는 단계; 상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화하는 단계; 및 상기 정규화된 영상으로부터 다른 차량을 검출하는 단계를 포함하여 이루어질 수 있다.
상기 다른 실시 형태 또는 그 밖의 실시 형태들은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다.
상기 조명 정보를 추정하는 단계는 상기 입력된 영상의 밝기 정보(Luminance)를 계산함으로써 추정하되, 상기 밝기 정보는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션(convolution)을 통해 획득되는 것일 수 있다. 또한, 상기 정규화된 영상은 상기 입력 영상으로부터 상기 밝기 정보가 제거된 것일 수 있다. 또한 상기 블러링 커널은 상기 입력된 영상 전체에 적용되는 가우시안 커널(Gaussian Kernel)일 수 있다. 또한, 상기 정규화된 영상은 상기 입력 영상에 대한 로그 값 및 상기 밝기 정보에 대한 로그 값의 차이일 수 있다.
본 발명의 실시 예들에 따른 차량 제어 장치는 영상 입력 장치로부터 획득하는 영상 정보에 존재하는 주변의 조명 환경으로 인한 영향(예컨대, 영상 정보에 포함된 그림자 등의 영향)을 감소시켜 다양한 조명 환경에서도 효과적으로 차량을 감지할 수 있도록 한다.
본 발명의 실시 예들에 따른 차량 제어 장치는 다른 차량을 감지하기 위하여 차량에 구비된 일반적인 영상 입력 장치를 이용하므로 상기 입력된 영상에 검출된 결과를 함께 표시하여 사용자들에게 차량 검출 결과를 용이하게 알릴 수 있다.
본 발명의 실시 예들에 따른 차량 제어 장치는 주행 중에 획득할 수 있는 일반적인 영상을 이용하여 차량을 감지하므로, 차량 검출을 위한 특수 영상을 획득하는 별도의 영상장치를 구비할 필요가 없다.
도 1은 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치를 도시한다.
도 2는 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치의 블록도를 도시한다.
도 3은 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치가 다른 차량을 검출하는 방법을 나타낸 흐름도이다.
도 4는 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치의 차량 검출 결과를 활용하여 통지 또는 제어를 수행하는 과정을 나타낸 흐름도이다.
본 명세서에 개시된 기술은 차량의 검출 방법 및 장치에 적용된다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 차량 검출 장치 및 방법, 차량 제어 장치 및 방법, 그 외 사물 또는 사람의 검출 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치를 도시한다. 도 1을 참조하면, 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치(100)는 영상 입력부(110) 및 제어부(120)를 포함하도록 구성될 수 있다.
상기 영상 입력부(110)는 상기 차량 제어 장치(100)에서 차량 검출에 사용하는 영상 정보를 획득한다. 상기 영상 입력부(110)는 상기 차량 제어 장치(100)의 전방 카메라 (Forward Looking Camera)형태로 구현될 수 있다. 또한 상기 영상 입력부(110)는 그 밖의 영상 센서의 형태로 구현되거나, 영상을 획득할 수 있는 다른 장치(예, 별도의 카메라, 네비게이션, 휴대전화)로부터 획득된 영상을 수신하는 유닛의 형태로 구현될 수 있다.
상기 제어부(120)는 상기 영상 입력부(110)를 통하여 입력된 영상을 기초로 다른 차량을 검출할 수 있다. 상기 제어부(120)은 상기 입력된 영상에 포함된 반사 성분에 따른 정보를 이용하여 차량을 검출할 수 있다. 이를 위하여 상기 제어부(120)는 상기 입력된 영상으로부터 조명 성분을 추정하여 제거한다.
상기 차량 제어 장치(100)는 표시부(130)를 더 포함하도록 구성될 수 있다. 상기 표시부(130)는 상기 입력된 영상을 표시하는 것 외에 상기 제어부(120)에 의하여 검출된 차량 정보를 추가로 표시할 수 있다.
한편, 상기 제어부(120)는 상기 차량 제어 장치(100)가 탑재된 차량의 속도를 제어할 수 있는 차량 구동부(200)와 차량 검출 결과를 기초로 상기 차량을 제어하기 위하여 통신을 수행할 수 있다.
도 2는 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치의 블록도를 도시한다. 도 2를 참조하면, 상기 차량 제어 장치(100)를 구성하는 상기 제어부(120)는 조명 추정부(121), 정규화부(123) 및 검출부(125)를 포함하도록 구성될 수 있다.
상기 영상 입력부(110)를 통하여 입력된 영상은 조명 성분을 포함하고 있으며, 그 외에도 상기 입력된 영상 내에 포착된 물체 등에 반사된 성분을 포함하고 있다. 상기 차량 제어 장치(100)는 상기 입력된 영상에 포함된 조명 성분을 제거하여 상기 입력 영상내의 물체에 의한 반사 성분에 의한 정보를 이용하여 차량을 검출한다. 구체적으로, 상기 차량 제어 장치(100)는 상기 입력된 영상 내의 조명 성분을 제거하기 위하여 조명 정보를 추정하고, 상기 추정된 조명 정보에 기초한 정규화 과정을 통하여 상기 입력된 영상 내에서 조명 성분을 제거하여 반사 성분 또는 반사율(Reflectance)을 획득하는 과정을 수행한다.
먼저, 상기 조명 추정부(121)는 상기 영상 입력부(110)를 통하여 입력된 영상으로부터 조명 정보를 추정한다. 상기 조명 추정부(121)가 추정하는 조명 정보는 상기 입력된 영상에서 조명 성분을 제거하기 위하여 에 포함된 조명의 영향을 감소시켜 상기 입력된 영상에 포착되어 있는 차량 정보(예컨대, 다른 차량의 존재 여부 검출, 검출된 다른 차량과의 거리 등)를 획득하기 위함이다.
상기 조명 추정부(121)는 조명 정보를 추정하기 위하여 상기 입력된 영상 전체에 대하여 블러링(Blurring) 커널을 적용할 수 있다. 상기 조명 추정부(121)는 상기 입력된 영상에 블러링 커널을 적용함으로써 상기 입력된 영상에서 상기 커널의 필터 크기에 비하여 작은 스케일의 정보는 무시하고 평균적인 영상에 해당하는 결과 값을 획득할 수 있다.
어떤 실시 예에 있어서, 상기 조명 추정부(121)는 블러링 커널로서 가우시안 커널(Gaussian Kernel)을 적용할 수 있다. 상기 가우시안 커널은 본 명세서에 개시된 실시 예들에서 사용될 수 있는 블러링 커널들의 예일뿐 이에 제한되지 아니한다. 상기 조명 정보의 추정을 위하여 가우시안 커널을 적용한 결과는 다음 수학식 1에서의
Figure pat00001
와 같이 표현될 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 2 차원 입력 영상의 x, y 좌표에 대한 블러링된 조명 정보이고, K는 상수이고,
Figure pat00004
는 x, y의 표준 편차를 나타낸다.
상기 조명 추정부(121)는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션(convolution)을 통해 상기 조명 정보를 추정할 수 있다. 상기 입력된 영상 및 상기 블러링 커널을 적용한 결과의 컨볼루션을 밝기 정보(Luminance)로 칭할 수 있다. 즉, 상기 조명 추정부(121)는 상기 밝기 정보를 계산하여 상기 입력된 영상의 조명 정보로 추정할 수 있다.
예컨대, 상기 입력된 영상
Figure pat00005
에 대하여 상기 블러링 커널을 적용한 결과
Figure pat00006
의 컨볼루션에 해당하는 상기 밝기 정보는 다음 수학식 2에서의
Figure pat00007
와 같이 표현될 수 있다.
Figure pat00008
여기서, 상기 컨볼루션은 다음의 수학식 3에서와 같이 수 차례의 반복(iteration) 연산을 통해 획득될 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 컨볼루션 연산이 t번 반복되었을 때의 밝기 정보를 나타내고,
Figure pat00011
는 가중치 함수이고, i 및 j는 임의의 정수이다. 이러한 경우 수학식 3에서의
Figure pat00012
및
Figure pat00013
는 다음 수학식 4와 같이 표현된다.
Figure pat00014
Figure pat00015
상기 정규화부(123)는 상기 조명 추정부(121)에 의하여 추정된 상기 조명 정보를 기초로 상기 입력된 영상을 정규화한다. 즉, 상기 정규화부(123)는 반사 성분에 의한 정보를 이용하여 차량을 검출하기 위하여 상기 입력된 영상으로부터 상기 추정된 조명 정보를 기초로 조명 성분을 제거하는 과정을 수행한다. 상기 정규화부(123)는 상기 정규화 과정 수행 결과 상기 입력된 영상의 반사 성분을 획득할 수 있다.
예컨대, 상기 정규화부(123)는 상기 입력 영상으로부터 상기 밝기 정보를 제거함으로써 상기 입력된 영상의 정규화를 수행할 수 있다. 구체적으로, 상기 정규화부(123)는 상기 입력된 영상을 상기 밝기 정보로 나눔으로써 상기 반사 성분을 획득할 수 있다. 또한, 연산의 편의를 위하여, 상기 정규화부(123)는 상기 입력된 영상의 로그 값으로부터 상기 밝기 정보의 로그 값의 차이를 구함으로써 상기 반사 성분을 획득할 수 있다. 이러한 경우 상기 정규화된 영상에 해당하는 반사 성분
Figure pat00016
는 다음 수학식 5와 같이 표현될 수 있다.
Figure pat00017
상기 검출부(125)는 상기 정규화부(123)에 의하여 정규화된 영상으로부터 상기 다른 차량에 대한 정보를 획득한다.
한편, 상기 차량 제어 장치(100)는 상기 입력된 영상을 표시하는 표시부(130)를 더 포함하도록 구성될 수 있다. 상기 차량 제어 장치(100)는 상기 검출부(125)에 의하여 다른 차량이 검출된 경우에 상기 검출된 차량의 정보를 상기 표시부(130)에 표시할 수 있다. 상기 차량 제어 장치(100)는 상기 표시부(130)에 상기 입력된 영상이 표시되어 있는 경우, 상기 검출된 다른 차량이 상기 입력된 영상의 다른 부분과 구분되도록 표시할 수 있다.
한편, 상기 차량 제어 장치(100)는 상기 검출부(125)에 의하여 다른 차량이 검출된 경우에 상기 차량 구동부(200)를 제어하여 상기 차량 제어 장치(100)가 탑재되어 있는 차량의 속도를 제어할 수 있다. 즉, 상기 차량 제어 장치(100)는 상기 다른 차량이 검출된 경우 상기 차량의 속도가 감소되도록 상기 차량 구동부(200)를 제어할 수 있다.
도 3은 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치가 다른 차량을 검출하는 방법을 나타낸 흐름도이다.
먼저, 상기 차량 제어 장치(100)는 상기 영상 입력부(110)를 통하여 영상 정보를 입력 받는다(S10).
이후, 상기 차량 제어 장치(100)는 상기 입력된 영상의 조명 정보를 추정한다(S20). 상기 차량 제어 장치(100)는 상기 입력된 영상의 밝기 정보를 계산함으로써 상기 조명 정보를 추정할 수 있다. 상기 밝기 정보는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션을 통해 획득되는 것일 수 있다.
이후, 상기 차량 제어 장치(100)는 상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화한다(S30). 상기 정규화된 영상은 상기 입력 영상으로부터 상기 밝기 정보가 제거된 것일 수 있다. 계산의 편의를 위하여, 상기 차량 제어 장치(100)는 상기 입력 영상에 대한 로그 값 및 상기 밝기 정보에 대한 로그 값의 차이를 계산함으로써 상기 정규화된 영상을 획득될 수 있다.
이후, 상기 차량 제어 장치(100)는 상기 정규화된 영상으로부터 다른 차량을 검출한다(S40). 상기 차량 제어 장치(100)는 조명 성분이 제거된 상기 정규화된 영상으로부터 일반적인 영상 비교 방법(예컨대, 패턴 매칭 등)을 통하여 조명 환경과 무관하게 차량을 검출할 수 있다.
도 4는 본 명세서에 개시된 실시 예를 따르는 차량 제어 장치의 차량 검출 결과를 활용하여 통지 또는 제어를 수행하는 과정을 도시하는 흐름도이다.
도 3에서 설명된 바와 같이, 상기 차량 제어 장치(100)가 다른 차량을 검출한 경우 상기 차량 제어 장치(100)는 상기 검출된 차량의 정보를 기초로 차량의 운행 상태를 판단할 수 있다(S50). 상기 검출된 차량의 정보는 상기 차량 제어 장치(100)가 탑재된 차량과 상기 검출된 차량과의 거리일 수 있다. 예컨대, 상기 차량 제어 장치(100)는 상기 검출된 차량과의 거리가 임계 거리 이내인 경우, 상기 차량의 운행상태가 위험 상태임을 판단할 수 있다.
이후, 상기 판단 결과 상기 검출된 차량과의 거리가 임계 거리 이내인 경우에 상기 차량 제어 장치(100)는 상기 검출된 차량의 정보를 상기 표시부(130)에 표시함으로써 사용자에게 통지하거나 또는 상기 차량 구동부(200)를 제어하여 속도를 감소시킬 수 있다(S60).
이상에서 설명한 방법은 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 지금까지 설명한 방법들은 상기 차량 제어 장치에 포함된 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 상기 차량 제어 장치(100)의 메모리(미도시)에 저장되고, 제어 장치(미도시)에 의해 실행될 수 있다.
본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.

Claims (16)

  1. 영상을 입력받는 영상 입력부; 및
    상기 입력된 영상을 기초로 다른 차량을 검출하는 제어부를 포함하되,
    상기 제어부는
    입력된 영상으로부터 조명 정보를 추정하는 조명 추정부;
    상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화하는 정규화부; 및
    상기 정규화된 영상으로부터 상기 다른 차량에 대한 정보를 획득하는 검출부를 포함하도록 이루어지는 것을 특징으로 하는 차량 제어 장치.
  2. 제 1 항에 있어서, 상기 조명 추정부는
    상기 입력된 영상에 대하여 블러링 커널을 적용하여 조명 정보를 추정하는 것을 특징으로 하는 장치.
  3. 제 2 항에 있어서, 상기 블러링 커널은
    상기 입력된 영상 전체에 적용되는 가우시안 커널(Gaussian Kernel)인 것을 특징으로 하는 장치.
  4. 제 2 항에 있어서,
    상기 조명 추정부는 상기 입력된 영상의 밝기 정보(Luminance)를 계산함으로써 조명 정보를 추정하되,
    상기 밝기 정보는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션(convolution)을 통해 획득되는 것을 특징으로 하는 장치.
  5. 제 4 항에 있어서, 상기 정규화된 영상은
    상기 입력 영상으로부터 상기 밝기 정보가 제거된 것임을 특징으로 하는 장치.
  6. 제 1 항에 있어서,
    상기 입력된 영상을 표시하는 표시부를 더 포함하되,
    상기 제어부는 상기 입력된 영상 중에서 상기 검출된 다른 차량을 구분하여 상기 표시부에 표시하는 것을 특징으로 하는 장치.
  7. 제 1 항에 있어서,
    상기 차량의 속도를 제어하는 차량 구동부를 더 포함하되,
    상기 제어부는 상기 다른 차량이 검출된 경우 상기 차량의 속도가 감소되도록 상기 구동부를 제어하는 것을 특징으로 하는 장치.
  8. 입력된 영상의 조명 정보를 추정하는 단계;
    상기 추정된 조명 정보를 기초로 상기 입력된 영상을 정규화하는 단계; 및
    상기 정규화된 영상으로부터 다른 차량을 검출하는 단계를 포함하는 차량 검출 방법.
  9. 제 8 항에 있어서, 상기 조명 정보를 추정하는 단계는
    상기 입력된 영상의 밝기 정보(Luminance)를 계산함으로써 추정하되,
    상기 밝기 정보는 상기 입력된 영상 및 상기 입력된 영상에 대하여 블러링 커널을 적용한 결과의 컨볼루션(convolution)을 통해 획득되는 것을 특징으로 하는 차량 검출 방법.
  10. 제 9 항에 있어서, 상기 정규화된 영상은
    상기 입력 영상으로부터 상기 밝기 정보가 제거된 것임을 특징으로 하는 차량 검출 방법.
  11. 제 10 항에 있어서, 상기 블러링 커널은
    상기 입력된 영상 전체에 적용되는 가우시안 커널(Gaussian Kernel)인 것을 특징으로 하는 차량 검출 방법.
  12. 제 11 항에 있어서, 상기 조명 정보의 추정에 적용되는 가우시안 커널은 다음 수학식 1과 같이 표현되는 것을 특징으로 하는 차량 검출 방법.
    [수학식 1]
    Figure pat00018

    여기서,
    Figure pat00019
    는 2 차원 입력 영상의 x, y 좌표에 대한 블러링된 조명 정보이고, K는 상수이고,
    Figure pat00020
    는 x, y의 표준 편차이다.
  13. 제 12 항에 있어서, 상기 밝기 정보는 다음 수학식 2와 같이 표현되는 것을 특징으로 하는 차량 검출 방법.
    [수학식 2]
    Figure pat00021

    여기서,
    Figure pat00022
    는 밝기 정보이고,
    Figure pat00023
    는 입력 영상이다.
  14. 제 13 항에 있어서, 상기 밝기 정보는 다음 수학식 3과 같은 컨볼루션 연산을 통해 획득되는 것을 특징으로 하는 차량 검출 방법.
    [수학식 3]
    Figure pat00024

    여기서,
    Figure pat00025
    는 컨볼루션 연산이 t번 반복되었을 때의 밝기 정보를 나타내고,
    Figure pat00026
    는 가중치 함수이고, i 및 j는 임의의 정수이고,
    Figure pat00027
    및
    Figure pat00028
    는 다음 수학식 4를 만족한다.
    [수학식 4]
    Figure pat00029

    Figure pat00030
  15. 제 14 항에 있어서, 상기 정규화된 영상은
    상기 입력 영상에 대한 로그 값 및 상기 밝기 정보에 대한 로그 값의 차이를 나타내는 것을 특징으로 하는 차량 검출 방법.
  16. 제 15 항에 있어서,
    상기 정규화된 영상은 다음 수학식 5와 같이 표현되는 것을 특징으로 하는 차량 검출 방법.
    [수학식 5]
    Figure pat00031
KR1020110078347A 2011-08-05 2011-08-05 다양한 조명 환경에서의 차량 검출 KR101300279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110078347A KR101300279B1 (ko) 2011-08-05 2011-08-05 다양한 조명 환경에서의 차량 검출

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078347A KR101300279B1 (ko) 2011-08-05 2011-08-05 다양한 조명 환경에서의 차량 검출

Publications (2)

Publication Number Publication Date
KR20130015972A true KR20130015972A (ko) 2013-02-14
KR101300279B1 KR101300279B1 (ko) 2013-08-23

Family

ID=47895668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078347A KR101300279B1 (ko) 2011-08-05 2011-08-05 다양한 조명 환경에서의 차량 검출

Country Status (1)

Country Link
KR (1) KR101300279B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080155A (ko) * 2019-12-20 2021-06-30 국민대학교산학협력단 실내 조명 제어 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990051911A (ko) * 1997-12-20 1999-07-05 홍종만 차량의 자동 주행 제어 장치 및 그 제어 방법
KR100829904B1 (ko) * 2006-12-13 2008-05-16 (재)대구경북과학기술연구원 다중 해상도 기법을 이용한 차량 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080155A (ko) * 2019-12-20 2021-06-30 국민대학교산학협력단 실내 조명 제어 장치 및 방법

Also Published As

Publication number Publication date
KR101300279B1 (ko) 2013-08-23

Similar Documents

Publication Publication Date Title
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
US9473696B2 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
US9993154B2 (en) Eye gaze detection supporting device and eye gaze detection supporting method
US9684840B2 (en) Detection system
US10354413B2 (en) Detection system and picture filtering method thereof
JP5661043B2 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
US20110234542A1 (en) Methods and Systems Utilizing Multiple Wavelengths for Position Detection
US20140050387A1 (en) System and Method for Machine Vision Inspection
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
US9329684B2 (en) Eye tracking with detection of adequacy of lighting
SE542887C2 (en) Gaze tracking using mapping of pupil center position
US10803625B2 (en) Detection system and picturing filtering method thereof
WO2020255116A1 (en) Apparatus and method for obstacle detection
CN106080136B (zh) 一种入射光强控制方法及设备
KR101300279B1 (ko) 다양한 조명 환경에서의 차량 검출
KR101611273B1 (ko) 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법
US9234756B2 (en) Object tracking device capable of removing background noise and operating method thereof
JP2019176300A (ja) 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体
JP2018196426A (ja) 毛穴検出方法及び毛穴検出装置
JP2019032619A (ja) 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体
WO2019233169A1 (zh) 图像处理方法和装置、电子装置、计算机设备和存储介质
JP2020135076A (ja) 顔向き検出装置、顔向き検出方法、及びプログラム
JPWO2020202425A1 (ja) 滞在判定装置、滞在判定方法及び滞在判定プログラム
KR101610210B1 (ko) 조명 환경을 고려하는 차량의 검출

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 4