KR101281272B1 - 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 - Google Patents

원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 Download PDF

Info

Publication number
KR101281272B1
KR101281272B1 KR1020090031910A KR20090031910A KR101281272B1 KR 101281272 B1 KR101281272 B1 KR 101281272B1 KR 1020090031910 A KR1020090031910 A KR 1020090031910A KR 20090031910 A KR20090031910 A KR 20090031910A KR 101281272 B1 KR101281272 B1 KR 101281272B1
Authority
KR
South Korea
Prior art keywords
pedestrian
far
image
stereo camera
collision
Prior art date
Application number
KR1020090031910A
Other languages
English (en)
Other versions
KR20100113371A (ko
Inventor
이윤희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020090031910A priority Critical patent/KR101281272B1/ko
Publication of KR20100113371A publication Critical patent/KR20100113371A/ko
Application granted granted Critical
Publication of KR101281272B1 publication Critical patent/KR101281272B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치에 관한 것이다.
본 발명은 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라를 통해 영상을 획득하는 영상 획득부; 획득된 영상을 통해 보행자를 인식하는 보행자 인식부; 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단부; 및 충돌 위험성이 있는 것으로 판단된 경우, 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어부를 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치를 제공한다.
본 발명에 의하면, 원적외선 스테레오 카메라를 이용함으로써 배경과 보행자를 정확히 구별하여 보행자를 인식하고, 인식된 보행자와의 충돌 위험성을 판단하며, 충돌 위험성이 있는 보행자와의 충돌을 회피하도록 차량을 제어함으로써, 정확히 보행자를 보호할 수 있는 보행자 보호 장치를 제공하는 효과가 있다.
원적외선 스테레오 카메라, 보행자

Description

원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치{Method and Apparatus for Guarding Pedestrian using Far-Infra-Red Stereo Camera}
본 발명은 본 발명은 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치에 관한 것이다. 더욱 상세하게는, 보행자를 정확하게 인식하기 위해서 배제되어야 할 주변 건물, 주변 물체 등의 배경을 보행자와 정확히 구별하여, 정확히 보행자를 보호할 수 있는 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치에 관한 것이다.
최근에, 교통 사고 중 보행자(자전거 탑승자 포함) 사고가 상당 부분을 차지하며, 이러한 보행자 사고는 일단 사고가 나면 사망 등의 큰 인명 사고로 이어진다는 점에서 반드시 방지해야만 하는 사고이다.
따라서, 보행자(자전거 탑승자 포함) 보호에 대한 많은 연구들이 진행되고 있는 상황이다. 그럼에도 불구하고, 종래의 보행자 보호 장치에서는, 보행자를 정확하게 인식하기 위해서 배제되어야 할 주변 건물, 주변 물체 등의 배경을 보행자와 정확히 구별하지 못하는 문제점이 여전히 있으며, 이로 인해, 제대로 된 보행자 보호를 하지 못하고 있는 실정이다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 보행자를 정확하게 인식하기 위해서 배제되어야 할 주변 건물, 주변 물체 등의 배경을 보행자와 정확히 구별하여, 정확히 보행자를 보호할 수 있는 보행자 보호 장치를 제공하는 데 있다.
전술한 목적을 달성하기 위한 본 발명은, 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라를 통해 영상을 획득하는 영상 획득부; 상기 획득된 영상을 통해 보행자를 인식하는 보행자 인식부; 상기 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 상기 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단부; 및 상기 충돌 위험성이 있는 것으로 판단된 경우, 상기 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어부를 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치를 제공한다.
또한, 본 발명은, 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라를 통해 영상을 획득하는 영상 획득 단계; 상기 획득된 영상을 통해 보행자를 인식하는 보행자 인식 단계; 상기 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 상기 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단 단계; 및 상기 충돌 위험성이 있는 것으로 판단된 경우, 상기 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어 단계를 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 원적외선 스테레오 카메라를 이용함으로써 배경과 보행자를 정확히 구별하여 보행자를 인식하고, 인식된 보행자와의 충돌 위험성을 판단하며, 충돌 위험성이 있는 보행자와의 충돌을 회피하도록 차량을 제어함으로써, 정확히 보행자를 보호할 수 있는 보행자 보호 장치를 제공하는 효과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 원적외선(FIR: Far-Infra-Red, 이하 "FIR"이라 칭함) 스테레오 카메라(110)를 이용한 보행자 보호 장치(100)에 대한 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 FIR 스테레오 카메라(110)를 이용한 보행자 보호 장치(100)는, 캘리브레이션(Calibration) 된 FIR 스테레오 카메라(110)를 통해 영상을 획득하는 영상 획득부(120); FIR 스테레오 카메라(110)를 통해 획득된 영상을 통해 보행자(자전거 탑승자도 포함함)를 인식하는 보행자 인식부(130); 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단부(140); 및 충돌 위험성이 있는 것으로 판단된 경우, 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어부(150) 등을 포함한다.
전술한 FIR 스테레오 카메라(110)는, 제 1 FIR 카메라(예: 왼쪽 FIR 카메라) 및 제 2 원적외선 카메라(예: 오른쪽 FIR 카메라)를 포함하고, FIR 스테레오 카메라(110)를 통해 획득된 영상은 제 1 원적외선 카메라 및 제 2 원적외선 카메라를 통해 각각 획득된 제 1 영상과 제 2 영상을 포함한다.
이러한 FIR 스테레오 카메라(110)의 특성을 아래에서 간단히 알아본다.
일반 CCD, CMOS 소자를 사용하는 카메라는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득할 수 있다. 반면 FIR 스테레오 카메라(110)의 경우는 사람이 보지 못하는 적외선 대역의 빛을 투영한다. 적외선은 빛의 파장 중 750nm에서 1mm의 대역의 빛을 말하는것으로서, 이러한 적외선 대역 중에서도 NIR(Near Infra Red)의 빛은 700nm에서 1400nm의 파장을 말하며, NIR 대역의 빛은 사람의 눈에는 보이지 않지만 CCD나 CMOS 소자로도 감지가 가능하며 필터를 이용하면 NIR 대역의 빛만을 감지할 수 있다. 이에 비해, FIR의 빛은 LWIR(Long Wavelength Infra Red)라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타낸다. 특히 FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다. 사람의 체온은 10μm의 파장을 가진다.
위에서 언급한 캘리브레이션(Calibration)은, FIR 카메라(110)에서 획득된 영상과 실제 세계와의 관계를 의미한다. 즉, FIR 카메라(110)에서 투영된 영상의 좌표 실제 획득한 3차원과의 관계를 나타낸다. 카메라 좌표와 실제 세계 좌표와의 관계는 도 4와 수학식 1을 통해서 나타난다.
Figure 112009022197611-pat00001
수학식 1에서, (xi, yi)는 영상 좌표를 나타내며, (Xi, Yi, Zi)는 실제 세계의 좌표를 나타낸다.
FIR 스테레오 카메라(110)의 캘리브레이션은 수학식 1의 P matrix를 구하여 이루어진다. P matrix를 구하기 위해서는 최소 6개의 점에 대한 카메라 좌표와 실 제 세계 좌표 값을 알아야 한다. 좀더 정확한 P matrix 값을 알기 위해서는 많은 수의 점을 이용하여 구할 수 있다. 많은 수의 점들에 대한 최소 자승(Least Square) 방법을 이용하여 더욱 정확한 값을 구한다.
FIR 스테레오 카메라(110)는 두 대의 FIR 카메라(제 1 FIR 카메라 및 제 2 FIR 카메라)에서 동시에 영상을 획득하도록 한 것이기 때문에, 한 대의 FIR 카메라를 이용해서 취득할 수 없는 거리 정보를 취득할 수 있다. FIR 스테레오 카메라(110)에서는 두 대의 FIR 카메라(제 1 FIR 카메라 및 제 2 FIR 카메라)의 관계를 이용하여 3차원 깊이정보 취득이 가능하며 3차원 깊이정보는 거리정보를 의미한다. FIR 스테레오 카메라(110)는, 도 5에 도시된 바와 같이, 제 1 FIR 카메라(510) 및 제 2 FIR 카메라(520)를 포함하는 2대의 FIR 카메라로 구성될 수 있다. 도 5에 도시된 바와 같이, 실제 세계의 점 X' 및 X''는, 제 1 FIR 카메라(510) 및 제 2 FIR 카메라(520)에 각각 획득된 영상에서 투영되는 점에 차이가 있다. 각각의 FIR 카메라(510, 520)에 투영되는 점의 차이는 거리에 따라 다르게 나타나며 각각의 FIR 카메라(510, 520)에 투영되는 점의 차이가 3차원 깊이정보(즉, 거리정보)를 나타낸다.
각각의 FIR 카메라(510, 520)에 실제 세계의 점 X'이 투영된 영상 좌표의 점을 각각 x'L, x'R이라고 하면, 두 좌표의 차이는 수학식 2에서와 같이 나타난다.
Figure 112009022197611-pat00002
수학식 2에서, Z'는 3차원 깊이정보(거리정보)이며, f는 FIR 카메라(510, 52)의 초점 거리(Focal Length)이고, B는 FIR 카메라(510, 52) 간의 거리를 나타낸다. 수학식 2에서 3차원 거리정보를 획득하기 위해서, 수학식 3과 같이 변환하고, 변환된 수학식 3을 이용하여 영상의 각 픽셀의 3차원 깊이정보(거리정보)를 획득할 수 있다.
Figure 112009022197611-pat00003
이러한 특성을 갖는 FIR 스테레오 카메라(110)를 통해 영상을 획득하는 영상 획득부(120)는, 열 반사성 또는 열 흡수성의 차이가 나는 캘리브레이션 패턴(Calibration Pattern)을 이용하여 캘리브레이션 된 FIR 스테레오 카메라(110)를 통해 영상을 획득한다.
위에서 언급한 캘리브레이션 패턴은, 일 예로서, 열 반사성 또는 열 흡수성의 차이가 나는 흰색 알루미늄과 검은색 종이를 이용하여 제작된 패턴일 수 있다. 이와 같은 캘리브레이션 패턴은 도 6에 예시적으로 도시되어 있고, 이러한 캘리브레이션 패턴을 이용하여 획득된 영상에서, 도 7에 도시된 바와 같이, 흰색 알루미늄 부분은 열을 흡수하지 못하여 검은색으로 나타나고, 검은색 종이 부분은 열을 흡수하여 상대적으로 고온이 되어 흰색으로 나타나는 것으로 볼 수 있다.
도 2는 본 발명의 일 실시예에 따른 FIR 스테레오 카메라(110)를 이용한 보행자 보호 장치(100)에 포함된 보행자 인식부(130)에 대한 블록 구성도이다.
도 2를 참조하면, FIR 스테레오 카메라(110)를 이용한 보행자 보호 장치(100)에 포함된 보행자 인식부(130)는, FIR 스테레오 카메라(110)를 통해 획득된 영상을 입력받아 입력된 영상에 대한 스테레오 매칭(Stereo Matching)을 통해, 입력된 영상의 각 픽셀에서의 3차원 거리정보를 획득하는 스테레오 매칭부(210); 입력된 영상을 이진화(Binary)하고, 앞에서 획득된 3차원 거리정보를 이용하여 이진화된 영상에 대한 픽셀 분포 분석을 수행하여 보행자 후보군을 추출하는 보행자 후보군 추출부(220); 및 추출된 보행자 후보군에 대한 특징 데이터를 추출하고, 추출된 특징 데이터에 근거하여 추출된 보행자 후보군의 보행자 여부를 판단함으로써, 보행자를 인식하는 보행자 여부 판단부(230) 등으로 포함한다.
전술한 스테레오 매칭부(210)에서 획득된 3차원 거리정보는, 충돌 위험성 판단부(140)에서 충돌 위험성을 판단하기 위해 이용하는 '인식된 보행자와의 거리정보'이다.
전술한 스테레오 매칭부(210)는 입력된 영상의 각 픽셀에서 3차원 거리정보를 획득하기 위한 스테레오 매칭을 수행하는데, 여기서, 수행하는 스테레오 매칭 방법에는 영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법과 특성 기반 스테레오 매칭(Feature Based Stereo Matching) 방법이 있다.
영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법은 영상의 영역을 비교하여 최적의 대응점을 찾는 방법이고, 특성 기반 스테레오 매칭(Feature Based Stereo Matching) 방법은 영상의 특징을 추출하고 특징점을 비교하여 최적의 대응점을 찾는 방법이다.
본 발명에서, 전술한 스테레오 매칭부(210)는 입력된 영상의 각 픽셀에서 3차원 거리정보를 획득하기 위한 스테레오 매칭으로서, 영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법을 이용한다. FIR 스테레오 카메라(110)를 통해 획득된 영상은 적외선 대역의 열을 감지한다. 그러므로, 열이 높은 곳은 높은 값을 갖는 영상으로 표현되기 때문에, 영상 획득 과정에서 이미 특징을 얻을 수 있다. 따라서, 스테레오 매칭부(210)는 입력된 영상의 각 픽셀에서 3차원 거리정보를 획득하기 위한 스테레오 매칭으로서, 입력된 영상의 영역을 비교하여 대응점을 찾는 스테레오 매칭을 통해, 각 픽셀에서의 3차원 거리정보를 획득하는 영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법을 이용한다.
이때, 스테레오 매칭부(210)는, 모든 영역에 대해서 스테레오 매칭을 수행하지 않고, 입력된 영상의 모든 영역 중에서 임계 온도(예: T=85)에 대응되는 값 이상이 되는 영역을 비교하여 대응점을 찾는 스테레오 매칭을 수행한다. 왜냐하면, 영상의 모든 영역에 대해서 스테레오 매칭을 수행하면 많은 연산을 필요로 하며, 또한 임계 온도에 대응되는 일정 값을 넘지 못하는 열이 낮은 곳은 관심 영역에서 제외되는 부분이기 때문에 일정 값 이상이 되는 부분에 대해서만 스테레오 매칭을 수행하는 것이다.
스테레오 매칭부(210)에서 사용한 영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법은 아래 수학식 4에 의해서 수행된다.
Figure 112009022197611-pat00004
수학식 4에서, L은 FIR 스테레오 카메라(110) 중 제 1 FIR 카메라(예: 왼쪽 FIR 카메라)로부터 획득된 영상이고, R은 FIR 스테레오 카메라(110) 중 제 2 FIR 카메라(예: 오른쪽 FIR 카메라)로부터 획득된 영상이며, S는 영역 기반 스테레오 매칭(Region Based Stereo Matching) 방법에서의 각 픽셀의 유사도를 의미한다. 수학식 4를 참조하면, 각 픽셀의 유사도 S가 최소가 되도록 하는 s는 3차원 거리정보를 의미한다.
다시 말해, 스테레오 매칭부(210)는, 스테레오 매칭 시, 입력된 영상의 각 픽셀의 유사도(S)를 계산하고, 계산된 유사도(S)에 근거하여 각 픽셀에서의 3차원 거리정보(s)를 획득한다.
도 8은, 스테레오 매칭부(210)에 입력된 영상(도 8의 (a) 및 (b))에 대하여, 스테레오 매칭을 수행함으로써, 획득된 3차원 거리정보에 대한 영상(도 8의 (c))을 예시적으로 나타낸 도면이다. 도 8의 (a)는 FIR 스테레오 카메라(110) 중 제 1 FIR 카메라(예: 왼쪽 FIR 카메라)로부터 획득된 영상이고, 도 8의 (b)는 FIR 스테레오 카메라(110) 중 제 2 FIR 카메라(예: 오른쪽 FIR 카메라)로부터 획득된 영상이다.
전술한 보행자 후보군 추출부(220)는, 입력된 영상에서 보행자로 인식될 가능성이 있는 보행자 후보를 추출하는 모듈로서, 입력된 영상은 FIR 스테레오 카메라(110)를 통해 획득되었기 때문에, 보행자가 존재하는 부분은 밝은 색으로 나타난다. 따라서, 보행자 후보군 추출부(220)는 입력된 영상을 다음의 수학식 5와 같이 이진화(Binary) 과정을 거치면 보행자 후보가 되는 부분이 추출될 수 있다.
Figure 112009022197611-pat00005
보행자 후보군 추출부(220)에서 입력된 영상을 수학식 5를 이용하여 이진화하여 얻은 이진화된 영상은 도 9를 통해 확인할 수 있다. 도 9의 (a)는 보행자 후보군 추출부(220)에 입력된 영상이고, 도 9의 (b)는 도 9의 (a)를 이진화하여 얻은 이진화된 영상이다.
여기서, 보행자 후보군 추출부(220)는 밝은 부분만 이진화된 영상에서 보행자 부분을 추출하기 위해서는, 세로 픽셀 수와 가로 픽셀 수에 대한 픽셀 분포 분석을 수행할 수 있다. 도 9에서 도시된 바와 같이, 보행자가 있는 부분은 밝은 색 픽셀이 많이 분포하고 있기 때문에, 픽셀 개수의 분포에서 픽셀 개수가 많은 곳을 보행자 후보로 정할 수 있다. 특히, 보행자의 경우, 세로로 분포되어 있기 때문에, 세로 픽셀 분포 분석을 수행한 이후, 가로 픽셀 분포 분석을 수행하면 보행자 후보 군을 더 잘 추출할 수 있다. 밝은 색 픽셀의 세로 분포 중 최고 값의 일정 비율(예: 40%)이상의 되는 픽셀을 보행자 후보군으로 추출할 수 있다. 도 10은 밝은 색 픽셀의 세로 픽셀 분포 분석을 통해 획득한 보행자 후보군에 대한 영상이다.
이러한 세로 픽셀 분포 분석을 수행한 이후, 가로 픽셀 분포 분석을 수행하기 위해서는, 세로 픽셀 분포 분석 결과에서 보행자 후보군으로 추출된 부분을 이용할 수 있다. 세로 픽셀 분포 분석을 통해서 보행자 후보군의 위치가 결정되었기 때문에, 가로 픽셀 분포 분석을 통해 더욱 정확한 보행자 후보군을 추출할 수 있게 된다. 하지만, 세로 픽셀 분포 분석과 달리, 가로 픽셀 분포 분석은 주변 노이즈에 대한 많은 영향을 받을 수 있다. 도 10과 같이, 주변 노이즈들(예: 주변 건물들)은 보행자(즉, 사람)과 달리 가로로 배치되어 있기 때문에 영향을 주게 되며, 가로 픽셀 분포 분석을 어렵게 하는 요인이 된다. 특히, 도 10에 도시된 세로 픽셀 분포 분석의 결과를 이용하여 가로 픽셀 분포 분석을 수행함으로써 얻은 결과를 나타내는 도 11에서는, 주변 노이즈들(예: 주변 건물들)로 인하여, 보행자로 인식될 수 있는 부분이 여러 부분으로 나누어지는 상황이 발생할 수 있음을 알 수 있다.
도 11에 도시된 바와 같이, 보행자 후보군이 노이즈로 인하여 여러 부분으로 나뉜 경우, 보행자 인식을 정확하게 할 수 없는 문제점이 있으며, 이때 거리정보를 이용하면 좀 더 정확하게 보행자 후보군을 추출할 수 있다.
거리정보를 이용하기 위해서는, 보행자 영상의 거리를 알아야 하며, 이러한 보행자 영상의 거리를 알기 위해서는, 가로 픽셀 분포 분석 중 가장 길이가 긴 부분의 거리 평균을 이용한다. 그러면, 거리정보를 알 수 있다. 분석된 거리정보를 이요아형 보행자의 높이를 계산할 수 있으며, 이러한 보행자의 높이는 다음의 수학식 6을 통해서 구할 수 있다.
Figure 112009022197611-pat00006
수학식 6에서, Y는 보행자의 높이를 의미하고, Z는 보행자와의 거리를 의미하며, f는 초점 거리(Focal Length)를 의미하며, y는 영상에서의 y 좌표를 의미한다.
또한, 캘리브레이션 정보를 이용하여 도로면과 보행자가 만나는 점을 계산할 수 있는데 이를 통해 도로면(바닥) 및 영상에서의 y좌표와의 관계를 구할 수 있고, 이렇게 구해진 영상에서의 y좌표와 바닥과의 관계를 이용하고, 일반적인 사람(보행자)의 키(예: 1.8m)를 이용하여 보행자의 높이를 구하고, 구해진 보행자의 높이 값과 가장 가까운 부분을 이용하면 도 12와 같은 보행자 후보군을 더욱 정확하게 추출할 수 있다.
도 3을 참조하여 다시 말해, 입력된 영상에서 보행자로 인식될 가능성이 있는 보행자 후보를 추출하는 보행자 후보군 추출부(220)는, 이진화된 영상의 세로 픽셀에 대한 분포를 분석하여, 보행자 후보군의 위치 정보를 파악하는 세로 픽셀 분포 분석부(310); 및 이진화된 영상의 가로 픽셀에 대한 분포를 분석하여, 보행자 후보군의 높이 정보를 파악하는 가로 픽셀 분포 분석부(320)를 포함한다.
또한, 도 3을 참조하면, 보행자 후보군 추출부(220)는, 획득된 3차원 거리정 보를 이용하여 파악된 높이 정보에서 보행자 후보군에 관련이 없는 높이 정보인 노이즈를 제거하는 노이즈 제거부(330)를 포함할 수 있으며, 이를 통해 더욱 정확한 보행자 후보군을 추출할 수 있게 된다.
보행자 보호 장치(110)의 보행자 인식부(130)에 포함된 보행자 여부 판단부(230)는, 보행자 후보군 추출부(220)에서 추출된 보행자 후보군에 대한 영상을 이용하여 보행자 여부를 판단하게 되는데, 이를 위한 일 예로서, 가보 필터 뱅크(Gabor Filter Bank)를 통해, 추출된 보행자 후보군에 해당하는 영상으로부터 특징 데이터를 추출하고, 서포트 벡터 머신(SVM: Support Vector Machine)를 통해, 추출된 특징 데이터를 분류하여 추출된 보행자 후보군의 보행자 여부를 판단함으로써, 최종적으로 보행자를 인식한다.
보행자 보호 장치(110)의 충돌 위험성 판단부(140)는 보행자 인식부(130)에서의 보행자 인식 결과를 토대로, 보행자와의 거리정보 및 해당 차량의 속도정보에 근거하여 해당 보행자와의 충돌 위험성을 판단하고, 충돌 위험성이 있는 것으로 판단된 경우, 충돌 회피 제어부(150)는, 인식된 보행자와의 거리정보, 차량의 속도정보 및 차량의 제동거리 정보에 근거하여, 제동 시점을 결정하고, 결정된 제동 시점에 전자 제어 유닛(ECU: Electronic Cotnrol Unit)을 통해 제동장치를 제어함으로써, 보행자와의 충돌을 회피하여 보행자 보호를 가능하게 한다.
도 13은 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 방법에 대한 흐름도이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 방법은, 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라(110)를 통해 영상을 획득하는 영상 획득 단계(S1300); 획득된 영상을 통해 보행자를 인식하는 보행자 인식 단계(S1302); 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단 단계(S1304); 및 충돌 위험성이 있는 것으로 판단된 경우, 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어 단계(S1305) 등을 포함한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 원적외선 스테레오 카메라(110)를 이용함으로써 배경(주변 건물 및 주변 물체 등)과 보행자를 정확히 구별하여 보행자를 인식하고, 이렇게 인식된 보행자와의 충돌 위험성을 판단하며, 충돌 위험성이 있는 보행자와의 충돌을 회피하도록 차량을 제어함으로써, 정확히 보행자를 보호할 수 있는 보행자 보호 방법 및 보행자 보호 장치(100)를 제공하는 효과가 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램 으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위 가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 장치에 대한 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 장치에 포함된 보행자 인식부에 대한 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 장치에 포함된 보행자 인식부에서의 보행자 후보군 추출부에 대한 블록 구성도,
도 4는 카메라 좌표 및 실제 세게 좌표 간의 관계를 나타낸 도면,
도 5는 원적외선 스테레오 카메라의 구성을 나타낸 도면,
도 6은 캘리브레이션 패턴을 예시적으로 나타낸 도면,
도 7은 캘리브레이션 패턴을 이용하여 캘리브레이션 된 원적외선 스테레오 카메라를 통해 획득된 영상을 예시적으로 나타낸 도면,
도 8은 입력된 영상에 대한 스테레오 매칭을 통해 획득된 3차원 거리정보에 대한 영상을 예시적으로 나타낸 도면,
도 9는 입력된 영상이 이진화된 영상을 예시적으로 나타낸 도면,
도 10은 이진화된 영상의 세로 픽셀 분포에 대한 분석 결과를 예시적으로 나타낸 도면,
도 11은 이진화된 영상의 가로 픽셀 분포에 대한 분석 결과를 예시적으로 나타낸 도면,
도 12는 이진화된 영상의 가로 픽셀 분포에 대하여, 노이즈를 제거하여 얻어진 가로 픽셀 분포에 대한 분석 결과를 예시적으로 나타낸 도면,
도 13은 본 발명의 일 실시예에 따른 원적외선 스테레오 카메라를 이용한 보행자 보호 방법에 대한 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 보행자 보호 장치
110: 원적외선(FIR) 스테레오 카메라
120: 영상 획득부
130: 보행자 인식부
140: 충돌 위험성 판단부
150: 충돌 회피 제어부
210: 스테레오 매칭부
220: 보행자 후보군 추출부
230: 보행자 여부 판단부
310: 세로 픽셀 분포 분석부
320: 가로 픽셀 분포 분석부
330: 노이즈 제거부

Claims (13)

  1. 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라를 통해 영상을 획득하는 영상 획득부;
    상기 획득된 영상을 통해 보행자를 인식하는 보행자 인식부;
    상기 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 상기 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단부; 및
    상기 충돌 위험성이 있는 것으로 판단된 경우, 상기 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어부를 포함하되,
    상기 영상 획득부는,
    열 반사성 또는 열 흡수성의 차이가 나는 캘리브레이션 패턴(Calibration Pattern)을 이용하여 상기 캘리브레이션 된 원적외선 스테레오 카메라를 통해 상기 영상을 획득하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  2. 제 1항에 있어서,
    상기 원적외선 스테레오 카메라는 제 1 원적외선 카메라 및 제 2 원적외선 카메라를 포함하고, 상기 획득된 영상은 상기 제 1 원적외선 카메라 및 상기 제 2 원적외선 카메라를 통해 각각 획득된 제 1 영상과 제 2 영상을 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 캘리브레이션 패턴은,
    상기 열 반사성 또는 상기 열 흡수성의 차이가 나는 흰색 알루미늄과 검은색 종이를 이용하여 제작된 패턴인 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  5. 제 1항에 있어서,
    상기 보행자 인식부는,
    상기 획득된 영상을 입력받아 상기 입력된 영상에 대한 스테레오 매칭을 통해, 상기 입력된 영상의 각 픽셀에서의 3차원 거리정보를 획득하는 스테레오 매칭부;
    상기 입력된 영상을 이진화하고, 상기 획득된 3차원 거리정보를 이용하여 상기 이진화된 영상에 대한 픽셀 분포 분석을 수행하여 보행자 후보군을 추출하는 보행자 후보군 추출부; 및
    상기 추출된 보행자 후보군에 대한 특징 데이터를 추출하고, 상기 추출된 특 징 데이터에 근거하여 상기 추출된 보행자 후보군의 보행자 여부를 판단함으로써, 상기 보행자를 인식하는 보행자 여부 판단부
    를 포함하되,
    상기 획득된 3차원 거리정보는 상기 인식된 보행자와의 거리정보인 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  6. 제 5항에 있어서,
    상기 스테레오 매칭부는,
    상기 입력된 영상의 영역을 비교하여 대응점을 찾는 상기 스테레오 매칭을 통해, 상기 각 픽셀에서의 상기 3차원 거리정보를 획득하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  7. 제 6항에 있어서,
    상기 스테레오 매칭부는,
    상기 입력된 영상의 모든 영역 중에서 임계 온도에 대응되는 값 이상이 되는 영역을 비교하여 상기 대응점을 찾는 상기 스테레오 매칭을 수행하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  8. 제 5항에 있어서,
    상기 스테레오 매칭부는,
    상기 스테레오 매칭 시, 상기 입력된 영상의 각 픽셀의 유사도를 계산하고, 상기 계산된 유사도에 근거하여 상기 각 픽셀에서의 상기 3차원 거리정보를 획득하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  9. 제 5항에 있어서,
    상기 보행자 후보군 추출부는,
    상기 이진화된 영상의 세로 픽셀에 대한 분포를 분석하여, 상기 보행자 후보군의 위치 정보를 파악하는 세로 픽셀 분포 분석부; 및
    상기 이진화된 영상의 가로 픽셀에 대한 분포를 분석하여, 상기 보행자 후보군의 높이 정보를 파악하는 가로 픽셀 분포 분석부
    를 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  10. 제 9항에 있어서,
    상기 보행자 후보군 추출부는,
    상기 획득된 3차원 거리정보를 이용하여 상기 파악된 높이 정보에서 상기 보행자 후보군에 관련이 없는 높이 정보인 노이즈를 제거하는 노이즈 제거부를 포함하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  11. 제 5항에 있어서,
    상기 보행자 여부 판단부는,
    가보 필터 뱅크(Gabor Filter Bank)를 통해, 상기 추출된 보행자 후보군에 해당하는 영상으로부터 상기 특징 데이터를 추출하고,
    서포트 벡터 머신(SVM: Support Vector Machine)를 통해, 상기 추출된 특징 데이터를 분류하여 상기 추출된 보행자 후보군의 보행자 여부를 판단함으로써, 상기 보행자를 인식하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  12. 제 1항에 있어서,
    상기 충돌 회피 제어부는,
    상기 충돌 위험성이 있는 것으로 판단된 경우, 상기 인식된 보행자와의 거리정보, 상기 차량의 속도정보 및 상기 차량의 제동거리 정보에 근거하여, 제동 시점을 결정하고, 상기 결정된 제동 시점에 전자 제어 유닛(ECU: Electronic Cotnrol Unit)을 통해 상기 제동장치를 제어하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 장치.
  13. 캘리브레이션(Calibration) 된 원적외선(FIR: Far-Infra-Red) 스테레오 카메라를 통해 영상을 획득하는 영상 획득 단계;
    상기 획득된 영상을 통해 보행자를 인식하는 보행자 인식 단계;
    상기 인식된 보행자와의 거리정보 및 차량의 속도정보에 근거하여, 상기 인식된 보행자와의 충돌 위험성을 판단하는 충돌 위험성 판단 단계; 및
    상기 충돌 위험성이 있는 것으로 판단된 경우, 상기 인식된 보행자와의 충돌을 회피하도록 제동장치를 제어하는 충돌 회피 제어 단계를 포함하되,
    상기 영상 획득 단계는,
    열 반사성 또는 열 흡수성의 차이가 나는 캘리브레이션 패턴(Calibration Pattern)을 이용하여 상기 캘리브레이션 된 원적외선 스테레오 카메라를 통해 상기 영상을 획득하는 것을 특징으로 하는 원적외선 스테레오 카메라를 이용한 보행자 보호 방법.
KR1020090031910A 2009-04-13 2009-04-13 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 KR101281272B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090031910A KR101281272B1 (ko) 2009-04-13 2009-04-13 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090031910A KR101281272B1 (ko) 2009-04-13 2009-04-13 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100113371A KR20100113371A (ko) 2010-10-21
KR101281272B1 true KR101281272B1 (ko) 2013-07-03

Family

ID=43132969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090031910A KR101281272B1 (ko) 2009-04-13 2009-04-13 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101281272B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
KR20200081841A (ko) 2018-12-28 2020-07-08 넵코어스 주식회사 비행 안전 시야 확보를 위한 항공기용 신호처리 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365B (zh) * 2011-05-06 2014-07-30 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
KR20140039831A (ko) * 2012-09-25 2014-04-02 한양대학교 산학협력단 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법
KR101427032B1 (ko) * 2013-01-28 2014-08-05 주식회사 만도 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
KR101501531B1 (ko) * 2013-10-10 2015-03-11 재단법인대구경북과학기술원 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
KR101663574B1 (ko) * 2014-12-01 2016-10-07 계명대학교 산학협력단 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
KR101684095B1 (ko) * 2015-04-09 2016-12-07 현대자동차주식회사 보행자 거리 추정장치 및 방법
WO2018092934A1 (ko) * 2016-11-17 2018-05-24 주식회사 토비스 나이트 비젼 시스템
KR102313026B1 (ko) 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
KR102636739B1 (ko) * 2018-12-18 2024-02-15 현대자동차주식회사 차량 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032154A (ko) * 2002-10-01 2004-04-17 현대모비스 주식회사 차량의 야간주행 보조장치 및 그 방법
KR20070019166A (ko) * 2005-08-11 2007-02-15 주식회사 현대오토넷 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법
JP2008003880A (ja) * 2006-06-23 2008-01-10 Honda Motor Co Ltd 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
KR20090021724A (ko) * 2007-08-28 2009-03-04 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032154A (ko) * 2002-10-01 2004-04-17 현대모비스 주식회사 차량의 야간주행 보조장치 및 그 방법
KR20070019166A (ko) * 2005-08-11 2007-02-15 주식회사 현대오토넷 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법
JP2008003880A (ja) * 2006-06-23 2008-01-10 Honda Motor Co Ltd 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
KR20090021724A (ko) * 2007-08-28 2009-03-04 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
KR20200081841A (ko) 2018-12-28 2020-07-08 넵코어스 주식회사 비행 안전 시야 확보를 위한 항공기용 신호처리 시스템

Also Published As

Publication number Publication date
KR20100113371A (ko) 2010-10-21

Similar Documents

Publication Publication Date Title
KR101281272B1 (ko) 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
US9351683B2 (en) Wrinkle detection method, wrinkle detection device and recording medium storing wrinkle detection program, as well as wrinkle evaluation method, wrinkle evaluation device and recording medium storing wrinkle evaluation program
EP3270354B1 (en) Living body detection device, living body detection method, and recording medium
JP4263737B2 (ja) 歩行者検知装置
CN109271921B (zh) 一种多光谱成像的智能识别方法及系统
US8345100B2 (en) Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis
KR102021152B1 (ko) 원적외선 카메라 기반 야간 보행자 인식 방법
KR101281260B1 (ko) 차량 인식 방법 및 장치
US11227170B2 (en) Collation device and collation method
KR102317180B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
US8319854B2 (en) Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
US9197860B2 (en) Color detector for vehicle
KR101498975B1 (ko) 차선 이탈 경보 시스템
JPWO2009107237A1 (ja) 生体認証装置
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN108197523A (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
JP2009301495A (ja) 画像処理装置及び画像処理方法
Negied Human biometrics: Moving towards thermal imaging
JP2009295112A (ja) 物体認識装置
CN106991379A (zh) 结合深度信息的人体皮肤识别方法及装置和电子装置
JP2010020557A (ja) 画像処理装置及び画像処理方法
JP4611919B2 (ja) 歩行者認識装置
EP3329419A1 (en) Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same
JP7078386B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 7