KR20140010674A - 스테레오 카메라를 이용한 장애물 검출 장치 및 방법 - Google Patents

스테레오 카메라를 이용한 장애물 검출 장치 및 방법 Download PDF

Info

Publication number
KR20140010674A
KR20140010674A KR1020120077233A KR20120077233A KR20140010674A KR 20140010674 A KR20140010674 A KR 20140010674A KR 1020120077233 A KR1020120077233 A KR 1020120077233A KR 20120077233 A KR20120077233 A KR 20120077233A KR 20140010674 A KR20140010674 A KR 20140010674A
Authority
KR
South Korea
Prior art keywords
obstacle
vertical
horizontal
stereo camera
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120077233A
Other languages
English (en)
Other versions
KR101362462B1 (ko
Inventor
김회율
백열민
오승택
김대선
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020120077233A priority Critical patent/KR101362462B1/ko
Publication of KR20140010674A publication Critical patent/KR20140010674A/ko
Application granted granted Critical
Publication of KR101362462B1 publication Critical patent/KR101362462B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

스테레오 카메라를 이용하여 장애물을 검출하는 장치 및 방법이 개시된다. 스테레오 카메라를 이용한 장애물 검출 장치는, 장애물의 영상을 획득하여 장애물의 수직 특성과 수평 특성을 검출하는 스테레오 카메라부와, 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성하는 시차지도 생성부와, V-시차지도 및 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하는 장애물 검출부를 포함한다. 영상의 수직 경계선과 수평 경계선 정보를 이용한 V-시차지도와 U-시차지도를 이용하여 장애물을 실시간으로 정확하게 검출할 수 있다.

Description

스테레오 카메라를 이용한 장애물 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING AN OBSTACLE USING STEREO CAMERAS}
본 발명은 장애물의 검출에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 이용하여 장애물을 검출하는 장치 및 방법에 관한 것이다.
인간의 시각 체계는 서로 다른 위치에서 획득된 두 영상의 차이에 기반하여 3차원 정보를 인식한다. 즉, 인간의 두 눈이 떨어져 있기 때문에 발생하는 양안 시차로 인하여 인간은 입체감을 느낄 수 있다.
스테레오 카메라는 컴퓨터 비전에서 3차원 영상을 표현하기 위하여 양안 시차가 발생하는 인간의 시각 체계의 원리를 응용하여 개발되었다.
스테레오 카메라를 이용한 장애물체 검출 방법은 수평 스테레오 카메라를 구성하여 좌안 카메라와 우안 카메라의 다른 시점 때문에 나타나는 시차정보를 이용하여 깊이지도(depth map)를 생성하고, 깊이지도 정보를 바탕으로 장애물을 검출하였다. 하지만 복잡한 배경과 다양한 조명환경에서 정확한 깊이지도를 생성하기 어려우며, 부정확한 깊이지도 생성시 장애물 검출에 실패하는 문제가 있다.
또한, 2개의 수평 스테레오 카메라로 구성된 이중 스테레오 카메라를 이용하여 장애물을 검출하는 방법이 있다. 이 방법은, 깊이지도를 쌍으로 생성하여 하나의 스테레오 카메라에서 생성한 깊이지도의 오차를 다른 스테레오 카메라에서 생성한 깊이지도 정보를 이용하여 보정하고 보정된 깊이지도 정보를 분석하여 장애물체를 검출할 수 있다. 그러나 이러한 방법은 깊이지도를 쌍으로 생성하기 때문에 많은 연산량이 요구되어 실시간 구동이 어려운 문제가 있다.
장애물의 검출을 필요로 하는 지능형 자동차, 로봇 등은 실시간으로 장애물을 검출하는 것이 필요하다. 하지만, 실제 환경에서 실시간으로 정확한 깊이지도를 생성하기 어려우며, 정확한 깊이지도를 생성하기 위해서는 많은 연산량이 필요하여 실시간으로 동작하기 어려운 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 스테레오 카메라를 이용하여 장애물을 실시간으로 검출할 수 있는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 스테레오 카메라를 이용하여 장애물을 실시간으로 검출할 수 있는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 카메라를 이용한 장애물 검출 장치는, 장애물의 영상을 획득하여 장애물의 수직 특성과 수평 특성을 검출하는 스테레오 카메라부와, 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성하는 시차지도 생성부와, V-시차지도 및 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하는 장애물 검출부를 포함한다.
여기에서, 스테레오 카메라부는, 장애물의 수직 특성을 검출하는 수평 스테레오 카메라와 장애물의 수평 특성을 검출하는 수직 스테레오 카메라를 포함할 수 있다.
여기에서, 수평 스테레오 카메라는 중첩 카메라를 기준으로 적어도 하나의 카메라가 수평으로 배치되고, 수직 스테레오 카메라는 중첩 카메라를 기준으로 적어도 하나의 카메라가 수직으로 배치되어, 수평 스테레오 카메라와 수직 스테레오 카메라는 중첩 카메라를 공유할 수 있다.
여기에서, 시차지도 생성부는, 주변 픽셀들 사이의 상관 관계에 기반한 로컬 바이너리 패턴(LBP)을 이용하여 변환된 수직 경계선과 수평 경계선에 대한 영상을 이용하여 V-시차지도와 U-시차지도를 생성할 수 있다.
여기에서, 장애물 검출부는, V-시차지도의 수평축을 수평 스테레오 카메라의 시차값으로 하고, V-시차지도의 수직축을 장애물의 영상의 수직축으로 하며, U-시차지도의 수직축을 수직 스테레오 카메라의 시차값으로 하고, U-시차지도의 수평축을 장애물의 영상의 수평축으로 하여 장애물 정보를 추출할 수 있다.
여기에서, 장애물 검출 장치는, 스테레오 카메라부가 획득한 장애물의 영상을 필터링하여 노이즈를 제거하는 필터부를 더 포함할 수 있으며, 필터부는, 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter)중 적어도 하나를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 스테레오 카메라를 이용한 장애물 검출 방법은, 장애물의 영상을 획득하여 장애물의 수직 특성과 수평 특성을 검출하는 단계와, 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성하는 단계와, V-시차지도 및 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하는 단계를 포함한다.
상기와 같은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 장치 및 방법을 이용할 경우, 깊이지도를 생성하지 않고 영상의 수직 경계선과 수평 경계선 정보를 이용한 V-시차지도와 U-시차지도를 이용하여 장애물을 실시간으로 정확하게 검출할 수 있다.
또한, 지능형 자동차, 로봇 등과 같이 장애물의 검출이 필요한 응용 분야에 적용하여 효과적으로 장애물을 검출할 수 있다.
도 1은 본 발명의 실시예에 따른 장애물 검출 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 스테레오 카메라부를 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따라 수평 스테레오 카메라가 획득한 영상이다.
도 4는 본 발명의 실시예에 따라 수직 스테레오 카메라가 획득한 영상이다.
도 5는 본 발명의 실시예에 따라 수평 스테레오 카메라가 검출한 장애물의 수직 특성을 나타내는 영상이다.
도 6은 본 발명의 실시예에 따라 수직 스테레오 카메라가 검출한 장애물의 수평 특징을 나타내는 영상이다.
도 7은 본 발명의 실시예에 따라 생성된 V-시차지도이다.
도 8은 본 발명의 실시예에 따라 생성된 U-시차지도이다.
도 9는 본 발명의 실시예에 따른 V-시차지도와 U-시차지도를 적용한 시뮬레이션 영상이다.
도 10은 본 발명의 실시예에 따른 장애물 검출 방법을 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 장애물 검출 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 장애물 검출 장치(10)는 스테레오 카메라부(100), 필터부(200), 시차지도 생성부(300), 장애물 검출부(400)를 포함한다.
스테레오 카메라부(100)는 장애물의 영상을 획득하여 장애물의 수직 특성과 수평 특성을 검출할 수 있다. 스테레오 카메라부(100)는 수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)를 포함하여 구성될 수 있다. 스테레오 카메라부(100)는 수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)를 이용하여 장애물에 대한 복수의 영상을 획득하여 장애물의 수직 특성과 수평 특성을 검출할 수 있다.
예를 들어, 수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)로 구성되는 스테레오 카메라부(100)는 3대의 카메라를 이용하여 구성될 수 있다. 수평 스테레오 카메라(120)는 수평 방향으로 배치된 카메라의 집합을 의미하고, 수직 스테레오 카메라(130)는 수직 방향으로 배치된 카메라의 집합을 의미할 수 있다.
수평 스테레오 카메라(120)는 장애물에 대한 좌안 영상과 우안 영상을 획득하여 장애물의 수직 특성을 검출할 수 있다. 여기서, 장애물의 수직 특성은 장애물을 포함하는 영상에 있어서, 수직 경계에 대한 정보를 포함하는 영상을 의미할 수 있다.
또한, 수직 스테레오 카메라(130)는 장애물에 대한 상안 영상과 하안 영상을 획득하여 장애물의 수평 특성을 검출할 수 있다. 여기서, 장애물의 수평 특성은 장애물을 포함하는 영상에 있어서, 수평 경계에 대한 정보를 포함하는 영상을 의미할 수 있다.
즉, 수평 스테레오 카메라(120)는 좌안 영상과 우안 영상 간의 시차에 기반하여 장애물의 수직 특성을 검출할 수 있도록 하고, 수직 스테레오 카메라(130)는 상안 영상과 하안 영상 간의 시차에 기반하여 장애물의 수평 특성을 검출할 수 있도록 한다.
스테레오 카메라부(100)가 획득한 장애물의 영상은 미세 경계선과 같은 다양한 노이즈를 포함할 수 있다. 이러한 노이즈를 포함한 장애물 영상으로부터 장애물의 수직 특성과 수평 특성을 추출할 경우 오류가 발생하여 장애물을 정확히 검출할 수 없다.
필터부(200)는 스테레오 카메라부(100)가 획득한 장애물의 영상을 필터링하여 노이즈를 제거할 수 있다. 필터부(200)는 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter) 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 필터부(200)는 스테레오 카메라부(100)에 포함되어 구성되거나 별도로 구성될 수 있다.
예를 들어, 필터부(200)는 수평 스테레오 카메라(120)가 획득한 좌안 영상과 우안 영상 각각에 대하여 필터링 수행하고, 수직 스테레오 카메라(130)가 획득한 상안 영상과 하안 영상 각각에 대하여 필터링을 수행할 수 있다. 따라서, 스테레오 카메라부(100)는 필터링된 영상에 기반하여 장애물의 수직 특성과 수평 특성을 검출할 수 있다.
시차지도 생성부(300)는 스테레오 카메라부(100)가 검출한 수직 특성과 수평 특성에 기반하여 장애물의 수직 경계선과 수평 경계선을 추출할 수 있다. 시차지도 생성부(300)는 장애물의 수직 경계선을 이용하여 V-시차지도(V-Disparity Map)를 생성하고, 장애물의 수평 경계선을 이용하여 U-시차지도(U-Disparity Map)를 생성할 수 있다. 즉, 시차지도 생성부(300)는 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성할 수 있다. 또한, 시차지도 생성부(300)는 주변 픽셀들 사이의 상관 관계에 기반한 로컬 바이너리 패턴(LBP: Local Binary Patterns)을 이용하여 변환된 수직 경계선과 수평 경계선에 대한 영상을 이용하여 V-시차지도와 U-시차지도를 생성할 수 있다.
장애물 검출부(400)는 V-시차지도와 U-시차지도에 기반하여 장애물을 검출할 수 있다. 예컨대, 장애물 검출부(400)는 V-시차지도의 수평축을 수평 스테레오 카메라(120)의 시차값으로 하고 V-시차지도의 수직축을 장애물의 영상의 수직축으로 하며, U-시차지도의 수직축을 수직 스테레오 카메라(130)의 시차값으로 하고 U-시차지도의 수평축을 장애물의 영상의 수평축으로 하여 장애물을 검출할 수 있다. 즉, 장애물 검출부(400)는 V-시차지도 및 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출할 수 있다.
상술한 본 발명에서의 스테레오 카메라부(100), 필터부(200), 시차지도 생성부(300) 및 장애물 검출부(400)는 서로 독립적으로 개시되지만, 스테레오 카메라부(100), 필터부(200), 시차지도 생성부(300) 및 장애물 검출부(400)는 하나의 단일한 형태, 하나의 물리적 장치로 구현될 수 있다. 이뿐만 아니라, 스테레오 카메라부(100), 필터부(200), 시차지도 생성부(300) 및 장애물 검출부(400)가 각각 하나의 물리적인 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 스테레오 카메라부(100)를 나타내는 예시도이다.
도 2을 참조하면, 스테레오 카메라부(100)는 장애물의 수직 특성을 검출하는 수평 스테레오 카메라(120)와 장애물의 수직 특성을 검출하는 수직 스테레오 카메라(130)를 포함할 수 있다.
또한, 수평 스테레오 카메라(120)는 중첩 카메라(110)를 기준으로 수평으로 적어도 하나의 카메라를 배치하고 수직 스테레오 카메라(130)는 중첩 카메라(110)를 기준으로 수직으로 적어도 하나의 카메라를 배치하여 구성될 수 있다. 따라서, 수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)는 중첩 카메라(110)를 공유하며 배치될 수 있다.
예를 들어, 도 2는 3개의 카메라로 구성되는 스테레오 카메라부(100)를 나타낸다. 수평 스테레오 카메라(120)는 중첩 카메라(110)를 우안 카메라로 하여 구성되고, 수직 스테레오 카메라(130)는 중첩 카메라(110)를 하안 카메라로 하여 구성될 수 있다.
다만, 본 발명에 있어서, 스테레오 카메라부(100)를 구성하는 카메라의 개수에 대해서는 특별히 제한하지 않고, 구현되는 기술 분야 또는 구현 방법에 따라 다르게 설정될 수 있다.
또한, 수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)는 수직으로 배치되는 것이 바람직하나 필요에 따라서는 다른 각도를 가지도록 배열될 수도 있다.
본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출을 보다 상세히 설명하면 다음과 같다.
수평 스테레오 카메라(120)에서 획득한 좌안 영상과 우안 영상에서 장애물의 수직 특성을 검출하여 장애물의 수직 경계선을 추출하고, 수직 경계선의 상관계수를 계산하여 V-시차지도를 생성할 수 있다.
이때 미세 경계선 정보를 포함하는 노이즈로 인해 상관계수 연산에 오류가 발행할 수 있다. 노이즈에 의한 문제를 해결하기 위해 전처리 과정으로 좌안 영상과 우안 영상 각각에 영상 필터(image filter)를 적용할 수 있다. 영상 필터를 적용하면 영상에 존재하는 노이즈를 제거하여 상관계수 연산에 오류를 발생시킬 수 있는 미세 경계선 정보를 제거할 수 있다. 예컨대, 영상 필터로는 가우시안 필터(Gaussian Filter)가 있으며, 이외에도 평균 필터(Average Filer), 미디언 필터(Median Filter)등이 사용될 수 있다. 즉, 필터를 이용하여 보다 정확한 V-시차지도를 생성할 수 있다.
또한, 수직 스테레오 카메라(130)에서 획득한 상안 영상과 하안 영상에 기반한 수평 경계선을 이용하여 U-시차지도를 생성하는 경우, V-시차지도를 생성하는 경우와 동일한 방법으로 상안 영상과 하안 영상에 가우시안 필터와 같은 영상 필터를 적용한 후 상관계수를 계산하여 보다 정확한 U-시차지도를 생성할 수 있다.
수평 스테레오 카메라(120)에서 획득한 영상에 대한 전처리 과정을 수행한 후, 수직 경계선 정보를 추출할 수 있다. 이때, 1차 미분 연산 또는 2차 미분 연산을 통하여 추출한 수직 경계선이나 캐니 경계선(Canny Edge)등이 장애물의 수직 경계선으로 사용될 수 있다.
마찬가지로, 수직 스테레오 카메라(130)에서 획득한 영상에 대한 전처리 과정을 수행한 후, 수평 경계선 정보를 추출할 수 있다. 이때 장애물의 경계선 추출에는 수직 경계선 추출 방법과 동일한 방법이 사용될 수 있다.
수직 경계선과 수평 경계선을 이용하여 V-시차지도와 U-시차지도를 생성하는 경우에 있어서, 좌안 영상의 픽셀에 대응하는 우안 영상의 픽셀을 찾을 수 있고, 하안 영상의 픽셀에 대응하는 상한 영상의 픽셀을 찾을 수 있다.
경계선 영상의 픽셀값을 이용하여 대응 관계에 있는 픽셀을 찾는 경우에 있어, 다른 시점(view point)에서 촬영된 스테레오 카메라의 두 영상간의 픽셀들의 미세한 차이로 인하여 잘못된 픽셀들이 대응될 수 있고, 이로 인하여 정확한 V-시차지도와 U-시차지도를 생성하기 어려울 수 있다.
이에 본 발명의 실시예에 따르면, 로컬 바이너리 패턴(LBP)을 이용하여 V-시차지도와 U-시차지도를 생성할 수 있다. 로컬 바이너리 패턴(LBP)은 픽셀의 절대값을 사용하는 것이 아니라 주변 픽셀간의 밝기 관계를 8bit 의 이진수로 나타내는 방법이다. 즉, 이웃 픽셀값이 중심 픽셀의 값보다 크거나 같으면 1, 그렇지 않으면 0으로 나타낼 수 있고, 이웃 8픽셀의 이진수 값들을 순차적으로 배열하여 8bit의 이진수로 나타낼 수 있다. 또한, 8bit의 이진수를 10진수로 나타내면 0~255사이의 값을 가지고, 이 값을 통해서 LBP에 따른 방법으로 변환된 영상을 구할 수 있다.
LBP에 따른 방법은 상술한 바와 같이 주변 픽셀들 사이의 관계를 나타낼 수 있으므로, 시점의 변화에 따라 영상의 픽셀들의 값이 변화하여도 주변 픽셀들 사이의 상관 관계를 이용하여 대응 관계에 있는 픽셀들을 정확하게 찾을 수 있다. 이는 시점의 변화에 따라 영상의 픽셀들의 값이 변화하더라도 주변 픽셀들 사이의 상관 관계의 변화는 미미하기 때문이다.
따라서, 본 발명에 따른 스테레오 카메라를 이용한 장애물 검출 장치는, LBP에 따른 방법으로 변환된 수평 경계선과 수직 경계선에 대한 영상을 이용하여 V-시차지도와 U-시차지도를 생성할 수 있다.
수평 스테레오 카메라(120)에서 획득한 영상을 이용하여 V-시차지도를 생성하는데 있어 영상의 수직 경계선을 이용할 수 있다.
Figure pat00001
V-시차지도는 좌안 영상과 우안 영상의 각 열의 상관계수 연산을 통하여 생성할 수 있다. 즉, 수학식 1을 이용한 상관계수 연산을 통하여 V-시차지도를 생성할 수 있다.
여기서, d는 좌안 영상과 우안 영상의 시차값이고, U-Max disparity는 좌안 영상과 우안 영상 사이의 최대 수평 시차값이다.
또한, Rowr은 너비와 높이가 1×N 인 우안 영상의 각 열이고, Rowl은 너비와 높이가 1ㅧN 인 좌안 영상의 각 열이다.
즉, Vdisparity(d)은 수학식 1의 연산 결과로 생성된 각 열의 V-시차지도 영상을 나타내며 영상의 모든 열에 수학식 1을 적용하면 V-시차지도를 생성할 수 있다.
따라서, V-시차지도는 수평축의 크기가 최대 수평 시차값을 가지고, 수직축의 크기는 영상의 높이와 동일한 크기를 가질 수 있다.
예컨대, V-시차지도의 각 열의 정규화(normalization)를 통해 영상 화소의 표현 범위에 부합하게 설정할 수 있고, 일반적으로 각 열에 화소 값의 표현 범위가 0~255사이의 값을 가지도록 정규화할 수 있다.
수직 스테레오 카메라(130)에서 획득한 영상을 이용하여 U-시차지도를 생성하는데 있어 영상의 수평 경계선을 이용할 수 있다.
Figure pat00002
U-시차지도는 상안 영상과 하안 영상의 각 행의 상관계수 연산을 통하여 생성될 수 있다. 즉, 수학식 2을 이용한 상관계수 연산을 통하여 U-시차지도를 생성할 수 있다.
여기서, d는 상안 영상과 하안 영상의 시차값이고, V-Max disparity는 상안 영상과 하안 영상 사이의 최대 수직 시차값이다,
또한, Colt은 너비와 높이가 M×1 인 상안 영상의 각 행이고, Colb은 너비와 높이가 M×1 인 하안 영상의 각 행이다.
Udisparity(d)은 수학식 2의 연산 결과로 생성된 각 행의 U-시차지도 영상을 나타내며 영상의 모든 행에 수학식 2를 적용하면 U-시차지도를 생성할 수 있다.
따라서, U-시차지도는 수직축의 크기가 최대 수직 시차값을 가지고, 수평축의 크기는 영상의 너비와 동일한 크기를 가질 수 있다.
예컨대, U-시차지도 각 행의 정규화(normalization)를 통해 영상 화소의 표현 범위에 부합하게 설정할 수 있고, 일반적으로 각 행에 화소 값의 표현 범위가 0~255사이의 값을 가지도록 정규화할 수 있다.
본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물의 검출은, 수평 스테레오 카메라(120)를 이용해 좌우 영상을 촬영하면, 영상의 수직 경계선 정보를 바탕으로 V-시차지도를 생성할 수 있다.
이 경우, 장애물은 V-시차지도에서 영상의 수평축에 수직한 성분으로 나타낼 수 있다. 즉, V-시차지도에서 그 수직한 성분은 영상에서 장애물과 동일한 수직축 좌표를 가지며 그 길이는 영상에서 장애물의 높이와 동일할 수 있다.
또한, 수직 스테레오 카메라(130)를 이용해 상하 영상을 촬영하면, 영상의 수평 경계선 정보를 바탕으로 U-시차지도를 생성할 수 있다.
이 경우, 장애물은 U-시차지도에서 영상의 수평축과 수평한 성분으로 나타날 수 있다. 즉, U-시차지도에서 그 수평한 성분은 영상의 장애물과 동일한 수평축 좌표를 가지며 그 길이는 영상에서의 장애물의 너비와 동일할 수 있다.
따라서, V-시차지도의 수직 성분과 U-시차지도의 수평 성분을 조합하면 영상에서 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출할 수 있다.
도 3은 본 발명의 실시예에 따라 수평 스테레오 카메라(120)가 획득한 영상이고, 도 4는 본 발명의 실시예에 따라 수직 스테레오 카메라(130)가 획득한 영상이다.
도 3을 참조하면, 도 3(a)는 수평 스테레오 카메라(120)가 획득한 좌안 영상이고, 도 3(b)는 수평 스테레오 카메라(120)가 획득한 우안 영상이다.
도 4를 참조하면, 도 4(a)는 수직 스테레오 카메라(130)가 획득한 하안 영상이고, 도 4(b)는 수직 스테레오 카메라(130)가 획득한 상안 영상이다.
본 발명의 실시예에 따르면, 도 3 및 도 4의 좌안 영상, 우안 영상, 하안 영상 및 상안 영상에 필터를 적용하여 노이즈를 제거할 수 있다.
노이즈가 제거된 좌안 영상과 우안 영상으로부터 영상의 수직 특성을 검출할 수 있고, 노이즈 제거된 하안 영상과 상안 영상으로부터 영상의 수평 특성을 검출할 수 있다.
도 5는 본 발명의 실시예에 따라 수평 스테레오 카메라(120)가 검출한 장애물의 수직 특성을 나타내는 영상이고, 도 6은 본 발명의 실시예에 따라 수직 스테레오 카메라(130)가 검출한 장애물의 수평 특징을 나타내는 영상이다.
도 5를 참조하면, 수평 스테레오 카메라(120)가 획득한 좌안 영상과 우안 영상으로부터 수평 경계에 대한 정보를 포함하는 영상을 추출할 수 있다.
또한, 도 6을 참조하면, 수직 스테레오 카메라(130)가 획득한 하안 영상과 상안 영상으로부터 수직 경계에 대한 정보를 포함하는 영상을 추출할 수 있다.
예컨대, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 방법은 도 3의 영상에 소벨(Sobel) 수직 연산자를 적용하고 LBP에 따른 방법을 이용하여 영상을 변환하여 도 5와 같은 LBP수직 경계선에 대한 영상을 생성할 수 있다. 또한, 도 4의 영상에 소벨 수평 연산자를 적용하고 LBP에 따른 방법을 이용하여 영상을 변환하여 도 6와 같은 LBP수평 경계선에 대한 영상을 생성할 수 있다.
즉, 본 발명은 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출할 수 있고, 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출할 수 있다.
도 7은 본 발명의 실시예에 따라 생성된 V-시차지도이고, 도 8은 본 발명의 실시예에 따라 생성된 U-시차지도이다.
도 7 및 도 8를 참조하면, 도 5와 도 6에서 추출된 장애물의 LBP수직 경계선과 LBP수평 경계선에 대한 정보를 바탕으로 생성된 V-시차지도와 U-시차지도를 나타낸다.
도 5의 좌안 영상과 우안 영상으로부터 추출된 장애물의 LBP수직 경계선에 대한 정보에 수학식 1을 적용하여 도 7과 같은 V-시차지도를 생성할 수 있다.
V-시차지도의 수평축은 좌안 영상과 우안 영상의 시차값이며, 수직축은 장애물의 수직축과 동일할 수 있다. 즉, 장애물이 존재할 경우, V-시차지도에서 수직한 성분으로 나타나는 특성이 있고, 이 수직한 성분의 수직축 좌표와 장애물의 수직축 좌표는 동일하며, 그 높이는 장애물의 높이와 같을 수 있다.
또한, 도 6의 하안 영상과 상안 영상으로부터 추출된 장애물의 LBP수평 경계선에 대한 정보에 수학식 2를 적용하여 도 8과 같은 U-시차지도를 생성할 수 있다.
U-시차지도의 수직축은 상안 영상과 하안 영상의 시차값이며, 수평축은 장애물의 수평축과 동일할 수 있다. 즉, 장애물이 존재할 경우, U-시차지도에서 수평한 성분으로 나타나는 특성이 있으며, 이 수평한 성분의 수평축 좌표와 장애물의 수평축 좌표는 동일하며, 그 너비는 장애물의 너비와 같을 수 있다.
여기서, 보통의 경우 영상의 아랫부분의 시차가 작고 영상의 아랫부분으로 갈수록 점점 시차가 작아질 수 있다.
도 9는 본 발명의 실시예에 따른 V-시차지도와 U-시차지도를 적용한 시뮬레이션 영상이다.
도 9를 참조하면, V-시차지도의 수직 성분의 특성과 U-시차지도의 수평 성분의 특성을 분석하여 장애물을 검출할 수 있다. 여기서, M은 영상의 너비를 의미하고, N은 영상의 높이를 의미한다.
즉, V-시차지도의 수평축을 수평 스테레오 카메라(120)의 시차값으로 하고, V-시차지도의 수직축을 장애물의 영상의 수직축으로 하며, U-시차지도의 수직축을 수직 스테레오 카메라(130)의 시차값으로 하고, U-시차지도의 수평축을 장애물의 영상의 수평축으로 하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출할 수 있다.
도 10은 본 발명의 실시예에 따른 장애물 검출 방법을 설명하는 흐름도이다.
도 10을 참조하면, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 방법은 스테레오 카메라를 이용하여 장애물의 영상을 획득하고 획득한 장애물의 영상으로부터 장애물의 수직 특성과 수평 특성을 검출할 수 있다.
장애물의 수직 특성은 장애물의 수직 경계선에 대한 정보를 포함하므로, 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성할 수 있다. 또한, 장애물의 수평 특성은 장애물의 수평 경계선에 대한 정보를 포함하므로 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성할 수 있다.
장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보는 V-시차지도와 U-시차지도에 기반하여 추출할 수 있다. 그리하여, 획득한 장애물의 영상으로부터 장애물의 위치 및 크기에 대한 정보를 생성할 수 있으며, 이를 통하여 영상으로부터 장애물을 검출할 수 있다.
본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 방법을 보다 상세히 설명하면 다음과 같다.
수평 스테레오 카메라(120)와 수직 스테레오 카메라(130)를 이용하여 장애물의 영상을 획득할 수 있다(S100).
장애물의 영상은 장애물의 수직 특성과 수평 특성을 포함하고 있으므로, 장애물의 영상으로부터 장애물의 수직 특성과 수평 특성을 검출할 수 있다(S200).
또한, 장애물의 영상에 필터를 적용하여 미세 경계선 정보를 포함하는 노이즈를 제거할 수 있다(S300).
노이즈가 제거된 장애물의 영상을 이용하여 장애물의 수직 경계선과 수평 경계선을 추출할 수 있고(S400), 추출된 장애물의 수직 경계선과 수평 경계선에 기반하여 V-시차지도와 U-시차지도를 생성할 수 있다(S500).
V-시차지도와 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하여 스테레오 카메라를 이용하여 획득한 장애물의 영상으로부터 장애물을 검출할 수 있다.
또한, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 방법은 상술한 스테레오 카메라를 이용한 장애물 검출 장치(10)에 의해 수행될 수 있다.
스테레오 카메라부(100)는 장애물의 수평 특성과 수직 특성을 검출할 수 있도록 장애물의 영상을 획득할 수 있고, 시차지도 생성부(300)는 장애물의 수직 특성으로부터 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 장애물의 수평 특성으로부터 장애물의 수평 경계선을 추출하여 U-시차지도를 생성할 수 있다.
또한, 장애물 검출부(400)는 V-시차지도 및 상기 U-시차지도에 기반하여 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하여 획득한 영상으로부터 장애물을 검출할 수 있다.
상술한 본 발명의 실시예에 따른 스테레오 카메라를 이용한 장애물 검출 장치 및 방법을 이용할 경우, 깊이지도를 생성하지 않고 영상의 수직, 수평 경계선 정보를 이용한 V-시차지도와 U-시차지도를 이용하여 장애물을 빠르고 정확하게 검출할 수 있다.
즉, 깊이지도를 이용한 장애물 검출 장치 및 방법은 부정확한 깊이지도의 생성 또는 정확한 깊이지도 생성을 위한 연산량 증가에 따른 문제점이 있으나, 본 발명은 영상(장애물의 영상)의 수직 경계선과 수평 경계선의 정보에 기반한 V-시차지도와 U-시차지도를 이용함으로써 실시간으로 장애물을 검출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 장애물 검출 장치
100: 스테레오 카메라부 110: 중첩 카메라
120: 수평 스테레오 카메라 130: 수직 스테레오 카메라
200: 필터부 300: 시차지도 생성부
400: 장애물 검출부

Claims (14)

  1. 장애물의 영상을 획득하여 상기 장애물의 수직 특성과 수평 특성을 검출하는 스테레오 카메라부;
    상기 장애물의 수직 특성으로부터 상기 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 상기 장애물의 수평 특성으로부터 상기 장애물의 수평 경계선을 추출하여 U-시차지도를 생성하는 시차지도 생성부; 및
    상기 V-시차지도 및 상기 U-시차지도에 기반하여 상기 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하는 장애물 검출부를 포함하는 장애물 검출 장치.
  2. 청구항 1에 있어서, 상기 스테레오 카메라부는,
    상기 장애물의 수직 특성을 검출하는 수평 스테레오 카메라와 상기 장애물의 수평 특성을 검출하는 수직 스테레오 카메라를 포함하는 것을 특징으로 하는 장애물 검출 장치.
  3. 청구항 2에 있어서,
    상기 수평 스테레오 카메라는 중첩 카메라를 기준으로 적어도 하나의 카메라가 수평으로 배치되고, 상기 수직 스테레오 카메라는 상기 중첩 카메라를 기준으로 적어도 하나의 카메라가 수직으로 배치되어,
    상기 수평 스테레오 카메라와 상기 수직 스테레오 카메라는 상기 중첩 카메라를 공유하는 것을 특징으로 하는 장애물 검출 장치.
  4. 청구항 1에 있어서, 상기 시차지도 생성부는,
    주변 픽셀들 사이의 상관 관계에 기반한 로컬 바이너리 패턴(LBP)을 이용하여 변환된 상기 수직 경계선과 상기 수평 경계선에 대한 영상을 이용하여 상기 V-시차지도와 상기 U-시차지도를 생성하는 것을 특징으로 하는 장애물 검출 장치.
  5. 청구항 2에 있어서, 상기 장애물 검출부는,
    상기 V-시차지도의 수평축을 상기 수평 스테레오 카메라의 시차값으로 하고, 상기 V-시차지도의 수직축을 상기 장애물의 영상의 수직축으로 하며,
    상기 U-시차지도의 수직축을 상기 수직 스테레오 카메라의 시차값으로 하고, 상기 U-시차지도의 수평축을 상기 장애물의 영상의 수평축으로 하여 상기 장애물 정보를 추출하는 것을 특징으로 하는 장애물 검출 장치.
  6. 청구항 1에 있어서, 상기 장애물 검출 장치는,
    상기 스테레오 카메라부가 획득한 상기 장애물의 영상을 필터링하여 노이즈를 제거하는 필터부를 더 포함하는 것을 특징으로 하는 장애물 검출 장치.
  7. 청구항 6에 있어서, 상기 필터부는,
    가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter)중 적어도 하나를 포함하는 것을 특징으로 하는 장애물 검출 장치.
  8. 장애물의 영상을 획득하여 상기 장애물의 수직 특성과 수평 특성을 검출하는 단계;
    상기 장애물의 수직 특성으로부터 상기 장애물의 수직 경계선을 추출하여 V-시차지도를 생성하고, 상기 장애물의 수평 특성으로부터 상기 장애물의 수평 경계선을 추출하여 U-시차지도를 생성하는 단계; 및
    상기 V-시차지도 및 상기 U-시차지도에 기반하여 상기 장애물의 수평좌표, 수직좌표, 높이, 너비를 포함하는 장애물 정보를 추출하는 단계를 포함하는 장애물 검출 방법.
  9. 청구항 8에 있어서, 상기 장애물의 수직 특성과 수평 특성을 검출하는 단계는,
    수평 스테레오 카메라가 상기 장애물의 수직 특성을 검출하고, 수직 스테레오 카메라가 상기 장애물의 수평 특성을 검출하는 것을 특징으로 하는 장애물 검출 방법.
  10. 청구항 9에 있어서,
    상기 수평 스테레오 카메라는 중첩 카메라를 기준으로 적어도 하나의 카메라를 수평으로 배치하고, 상기 수직 스테레오 카메라는 상기 중첩 카메라를 기준으로 적어도 하나의 카메라를 수직으로 배치하여,
    상기 수평 스테레오 카메라와 상기 수직 스테레오 카메라는 상기 중첩 카메라를 공유하는 것을 특징으로 하는 장애물 검출 방법.
  11. 청구항 8에 있어서, 상기 V-시차지도와 상기 U-시차지도를 생성하는 단계는,
    주변 픽셀들 사이의 상관 관계에 기반한 로컬 바이너리 패턴(LBP)을 이용하여 변환된 상기 수직 경계선과 상기 수평 경계선에 대한 영상을 이용하여 상기 V-시차지도와 상기 U-시차지도를 생성하는 것을 특징으로 하는 장애물 검출 장 검출 방법.
  12. 청구항 9에 있어서, 상기 장애물 정보를 추출하는 단계는,
    상기 V-시차지도의 수평축을 상기 수평 스테레오 카메라의 시차값으로 하고, 상기 V-시차지도의 수직축을 상기 장애물의 영상의 수직축으로 하며,
    상기 U-시차지도의 수직축을 상기 수직 스테레오 카메라의 시차값으로 하고, 상기 U-시차지도의 수평축을 상기 장애물의 영상의 수평축으로 하여 상기 장애물 정보를 추출하는 것을 특징으로 하는 장애물 검출 방법.
  13. 청구항 8에 있어서, 상기 장애물 검출 방법은,
    상기 장애물의 영상을 필터링하여 노이즈를 제거하는 필터링 단계를 더 포함하는 것을 특징으로 하는 장애물 검출 방법.
  14. 청구항 13에 있어서, 상기 필터링 단계는,
    가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter)중 적어도 하나를 적용하는 것을 특징으로 하는 장애물 검출 방법.
KR1020120077233A 2012-07-16 2012-07-16 스테레오 카메라를 이용한 장애물 검출 장치 및 방법 Expired - Fee Related KR101362462B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120077233A KR101362462B1 (ko) 2012-07-16 2012-07-16 스테레오 카메라를 이용한 장애물 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120077233A KR101362462B1 (ko) 2012-07-16 2012-07-16 스테레오 카메라를 이용한 장애물 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140010674A true KR20140010674A (ko) 2014-01-27
KR101362462B1 KR101362462B1 (ko) 2014-02-12

Family

ID=50143218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120077233A Expired - Fee Related KR101362462B1 (ko) 2012-07-16 2012-07-16 스테레오 카메라를 이용한 장애물 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101362462B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139521A (ko) * 2015-04-27 2017-12-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치 및 화상 처리 시스템
CN114521266A (zh) * 2019-09-19 2022-05-20 京瓷株式会社 物体检测装置、物体检测系统、移动体以及物体检测方法
CN119130985A (zh) * 2024-09-09 2024-12-13 元橡科技（北京）有限公司 地面视差误检的判断方法、装置、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199178A (ja) * 2016-04-27 2017-11-02 Ｋｙｂ株式会社 路面状態検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101163042B1 (ko) * 2009-11-26 2012-07-05 재단법인대구경북과학기술원 차량 검출 장치 및 방법
KR101208647B1 (ko) * 2010-10-28 2012-12-06 재단법인대구경북과학기술원 도로상의 장애 물체 검출 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139521A (ko) * 2015-04-27 2017-12-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치 및 화상 처리 시스템
CN114521266A (zh) * 2019-09-19 2022-05-20 京瓷株式会社 物体检测装置、物体检测系统、移动体以及物体检测方法
CN119130985A (zh) * 2024-09-09 2024-12-13 元橡科技（北京）有限公司 地面视差误检的判断方法、装置、系统及存储介质

Also Published As

Publication number Publication date
KR101362462B1 (ko) 2014-02-12

Similar Documents

Publication Publication Date Title
CN107729856B (zh) 一种障碍物检测方法及装置
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
WO2013038833A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
CN110926330A (zh) 图像处理装置和图像处理方法
KR101362462B1 (ko) 스테레오 카메라를 이용한 장애물 검출 장치 및 방법
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
US20180173982A1 (en) System and method for 1d root association providing sparsity guarantee in image data
CN105741265A (zh) 深度图像的处理方法及装置
CN111222432A (zh) 人脸活体检测方法、系统、设备及可读存储介质
EP2916288A1 (en) Camera calibration method and apparatus using a color-coded structure
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
WO2022190206A1 (ja) 骨格認識方法、骨格認識プログラムおよび体操採点支援システム
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
JP2012248004A (ja) 画像処理装置、画像認識装置及び方法
Navarro et al. Reliable light field multiwindow disparity estimation
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR101278636B1 (ko) 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법
CN112053434A (zh) 视差图的生成方法、三维重建方法及相关装置
CN113128258A (zh) 活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120716

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130830

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140129

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161227

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20181114