KR101139389B1 - 스테레오 카메라를 이용한 영상인식장치 및 방법 - Google Patents

스테레오 카메라를 이용한 영상인식장치 및 방법 Download PDF

Info

Publication number
KR101139389B1
KR101139389B1 KR1020100039366A KR20100039366A KR101139389B1 KR 101139389 B1 KR101139389 B1 KR 101139389B1 KR 1020100039366 A KR1020100039366 A KR 1020100039366A KR 20100039366 A KR20100039366 A KR 20100039366A KR 101139389 B1 KR101139389 B1 KR 101139389B1
Authority
KR
South Korea
Prior art keywords
central axis
depth
image
actual length
length
Prior art date
Application number
KR1020100039366A
Other languages
English (en)
Other versions
KR20110119933A (ko
Inventor
강인배
Original Assignee
주식회사 아이티엑스시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스시큐리티 filed Critical 주식회사 아이티엑스시큐리티
Priority to PCT/KR2010/002673 priority Critical patent/WO2011136407A1/ko
Priority to KR1020100039366A priority patent/KR101139389B1/ko
Publication of KR20110119933A publication Critical patent/KR20110119933A/ko
Application granted granted Critical
Publication of KR101139389B1 publication Critical patent/KR101139389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

스테레오 카메라를 이용한 영상인식장치 및 방법이 개시된다. 본 발명의 영상처리장치는 영상으로부터 움직이는 객체를 추출하고, 해당 객체의 중심축과 객체를 대표하는 길이를 구하여 기 설정된 값이나 패턴 마스크와 비교하는 방법으로 해당 객체를 인식한다. 여기서, 객체를 대표하는 실제 길이는 두 개의 카메라를 이용하여 획득한 3차원 심도 맵(Depth Map) 데이터를 이용하여 구할 수 있다.

Description

스테레오 카메라를 이용한 영상인식장치 및 방법{Video Analysing Apparatus and Method Using Stereo Cameras}
본 발명은, 2개의 카메라를 이용하여 획득한 3차원 심도 맵(Depth Map) 데이터를 기반으로 사물을 인식할 수 있는, 스테레오 카메라를 이용한 영상인식장치 및 방법에 관한 것이다.
영상으로부터 3차원 공간상의 심도 정보(Depth Map), 다시 말해 3차원 공간상의 피사체와의 거리를 얻기 위한 방법에는, 스테레오 카메라를 이용하는 방법, 레이저 스캔을 이용하는 방법, TOF(Time of Flight)를 이용하는 방법 등이 알려지고 있다.
이 중에서, 스테레오 카메라를 이용하는 스테레오 정합(Stereo Matching)은, 사람이 두 눈을 이용하여 입체를 인지하는 과정을 하드웨어적으로 구현한 것으로서, 동일한 피사체를 두 개의 카메라로 촬영하여 획득한 한 쌍의 이미지에 대한 해석과정을 통해 공간에서의 깊이(또는 거리)에 대한 정보를 추출하는 방법이다. 이를 위해, 두 개의 카메라로부터 획득한 영상의 동일한 에피폴라 선(Epipolar Line)상의 양안차를 계산한다. 양안차는 거리 정보를 포함하며, 이러한 양안차로부터 계산된 기하학적 특성이 깊이(depth)가 된다. 입력 영상으로부터 실시간으로 양안차값을 계산하면 관측 공간의 삼차원 거리 정보 등을 측정할 수 있다.
스테레오 정합 알고리즘으로 알려진 것에는, 예컨대, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용한 영상 정합 방법"이나, 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안차 추정방법"이 있다.
본 발명의 목적은 2개의 카메라를 이용하여 획득한 3D 심도 맵 데이터를 기반으로 피사체를 인식할 수 있는, 스테레오 카메라를 이용한 영상인식장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 스테레오 카메라를 이용한 영상인식방법은, 동일한 영역을 촬영하는 두 개의 카메라를 이용하여, 한 쌍의 디지털 영상을 생성하는 단계, 상기 변환된 한 쌍의 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산하는 단계, 상기 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하는 단계, 상기 추출된 객체의 중심축을 추출하는 단계, 상기 심도 맵 데이터로부터 확인한 상기 객체까지의 거리정보를 기초로 상기 객체를 대표하는 실제 길이인 대표 길이를 계산하는 단계, 및 상기 계산된 객체의 대표 길이가 제1 범위 내에 속하는 경우, 제1 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식하는 단계를 포함한다.
여기서, 상기 객체의 대표 길이는, 상기 중심축의 실제 길이, 상기 객체의 실제 폭 및 상기 객체의 실제 높이 중 어느 하나인 것이 바람직하다.
실시 예에 따라, 본 발명의 영상처리방법은, 상기 계산된 객체의 대표 길이가 상기 제1 범위와 다른 제2 범위 내에 속하는 경우, 제2 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 따른 스테레오 카메라를 이용한 영상인식장치는, 스테레오카메라부, 거리정보계산부, 객체추출부, 중심축추출부 및 객체인식부를 포함한다.
스테레오카메라부는 동일한 영역을 촬영하는 두 개의 카메라를 구비하여, 한 쌍의 디지털 영상을 생성하고, 거리정보계산부는 상기 스테레오카메라부에서 생성한 한 쌍의 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산한다.
객체추출부는 상기 스테레오카메라부에서 생성한 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하고, 중심축추출부 상기 추출된 객체의 중심축을 추출한다.
객체인식부는 상기 심도 맵 데이터로부터 확인한 상기 객체까지의 거리정보를 기초로 상기 객체를 대표하는 실제 길이인 대표 길이를 계산하고, 상기 계산된 객체의 대표 길이가 제1 범위 내에 속하는 경우 제1 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식한다.
본 발명의 영상인식장치는 촬영 영역에서 움직이는 객체를 보다 간단한 방법으로 인식할 수 있다. 이러한 방법은, 두 개의 카메라를 이용하여 생성한 영상을 처리하는 대신에, 2차원 이미지 처리에 비해 그 인식 알고리즘이 상대적으로 간단하여 인식 속도와 효율이 개선되며, 무엇보다 인식률이 뛰어난 특징이 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원 영상인식장치의 블록도,
도 2는 본 발명의 3차원 영상인식과정의 설명에 제공되는 흐름도,
도 3은 영상으로부터 객체영역을 추출하는 단계에서의 영상처리 결과를 도시한 도면,
도 4는 객체의 중심축의 추출방법의 설명에 제공되는 도면, 그리고
도 5는 객체의 대표길이를 계산하는 방법의 설명에 제공되는 도면이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 영상인식장치(100)는 스테레오카메라부(110) 및 영상처리부(130)를 포함하여 3차원 공간상의 피사체를 인식하게 된다.
스테레오카메라부(110)는 제1 카메라(111), 제2 카메라(113) 및 영상수신부(115)를 포함한다.
제1 카메라(111) 및 제2 카메라(113)는 동일한 영역을 촬영하도록 상호 이격되어 설치된 한 쌍의 카메라들로서, 소위 스테레오 카메라라고 한다. 제1 카메라(111) 및 제2 카메라(113)는 영역을 촬영한 아날로그 영상신호를 영상수신부(115)로 출력한다.
영상수신부(115)는 제1 카메라(111) 및 제2 카메라(113)에서 입력되는 연속적인 프레임의 영상신호(또는 이미지)를 디지털 영상으로 변환하고, 그 프레임 동기를 맞추어 영상처리부(130)에게 제공한다.
실시 예에 따라, 스테레오카메라부(110)의 제1 카메라(111)와 제2 카메라(113)는 아날로그 영상이 아닌 디지털 영상신호를 생성하는 카메라일 수 있으며, 이 경우 영상수신부(115)는 다른 변환처리없이 영상처리부(130)와의 인터페이스를 제공하며 한 쌍의 영상의 프레임 동기를 맞추는 역할을 한다.
또한, 스테레오카메라부(110)는 IP(Internet Protocol) 망을 통해 영상처리부(130)에 연결되기 위한 유선 또는 무선 인터페이스를 더 포함할 수 있다.
영상처리부(130)는 스테레오카메라부(110)로부터 출력되는 한 쌍의 디지털 영상 프레임으로부터 촬영영역 상에서 움직이는 객체의 영역을 추출하여 해당 객체가 관심 사물인지를 판단하며, 스테레오카메라부(110)로부터 연속적으로 입력되는 영상(동영상)의 모든 프레임에 대해 실시간으로 이상의 판단과정을 수행할 수 있다.
이상의 처리를 위해, 영상처리부(130)는 거리정보계산부(131), 객체추출부(133) 및 객체인식부(137)를 포함한다. 이하에서는, 도 2를 참조하여 거리정보계산부(131), 객체추출부(133), 중심축추출부(135) 및 객체인식부(137)의 동작을 설명한다.
먼저, 제1 카메라(111) 및 제2 카메라(113)가 아날로그 영상신호를 생성하면, 영상수신부(115)가 해당 아날로그 영상신호를 디지털 영상신호로 변환한 다음 프레임 동기를 맞추어 영상처리부(130)에게 제공한다(S201 단계).
<심도 맵 데이터 계산: S203 단계>
거리정보계산부(131)는 영상수신부(115)로부터 실시간으로 입력받는 한 쌍의 디지털 영상으로부터 각 픽셀의 거리정보를 포함하는 3차원 심도 맵(3D Depth Map) 데이터를 계산한다.
여기서, 각 픽셀의 거리 정보는 종래기술에서 설명한 스테레오 정합방법에 의해 구해지는 양안차 정보로서, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용한 영상 정합 방법"이나 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안차 추정방법에 제시된 그래프 컷(Graph Cut) 알고리즘 등을 이용하여 계산할 수 있다. 따라서, 거리정보계산부(131)에서 계산한 심도 맵 데이터에는 각 픽셀에 대한 거리정보가 포함된다.
<움직이는 객체의 영역 추출: S205 단계>
객체추출부(133)는 영상수신부(115)를 통해 입력되는 한 쌍의 디지털 이미지 중 하나의 이미지로부터 움직이는 객체의 영역을 추출한다. 여기서, 움직이는 객체라 함은, 카메라의 촬영 영역 내에 존재한 객체로서 그 위치나 동작이 변경된 객체 또는 촬영 영역 내로 새롭게 진입한 객체를 말한다.
이러한 움직이는 객체의 영역을 추출하는 방법은 다양하게 이루어질 수 있다. 예컨대, 본 발명의 객체추출부(133)는 입력된 영상 프레임에서 기 보유한 배경영상을 빼는 방법(Background Subtraction)으로 움직이는 객체의 영역을 추출한다. 여기서, 뺄셈 연산은 대응되는 두 개 영상 프레임의 각 픽셀의 화소 값을 빼는 방법으로 이루어진다. 또한, 기준 배경영상은 움직이는 객체가 없다고 설정한 경우의 영상으로서, 객체추출부(133)는 저장매체(미도시)에 기준 배경영상을 저장해 두었다가 사용할 수 있다.
나아가, 객체 영역이 아닌 배경부분에서도 카메라 잡음이나 촬영영역에 대한 조명의 변화에 의한 차 영상(Difference Image)이 발생할 수 있으므로, 객체추출부(133)는 뺄셈 연산의 결과영상에 대하여 가우시안 분포(Gaussian Distribution)처리 등을 적용하는 배경 모델링(Background Modeling)을 통해 잡음이나 조명의 변화 등에 대응할 수 있다.
도 3을 참조하면, (a)는 영상수신부(115)로부터 입력된 영상, (b)는 기본 배경영상, 그리고 (c)는 뺄셈연산의 결과영상이다. 도 3의 (c)를 참조하면, 영상수신부(115)로부터 입력된 영상에서 움직이는 객체의 영역이 추출되었음을 알 수 있다.
<움직이는 객체의 외곽선 검출: S207 단계>
객체추출부(133)는 S207 단계의 뺄셈 연산의 결과영상에서 외곽선 검출을 수행하여 움직이는 객체의 외곽선을 검출한다. 외곽선 검출은 객체의 경계선 넓이와 형태에 따라 여러 종류의 형태의 에지를 사용하여 처리된다.
객체추출부(133)는 외곽선 검출을 위해, 뺄셈 영상에 모폴로지(Morphology) 연산을 적용하여 잡음을 제거하고, 외각선이나 골격선을 간단하게 할 수 있다. 모폴로지 연산에는 기본적으로 잡음을 제거하는 침식(Erosion) 연산과 객체 내의 작은 구멍을 메우는 팽창(Dilation) 연산이 사용될 수 있다.
<움직이는 객체의 중심축 추출: S209 단계>
중심축추출부(135)는 객체추출부(133)가 추출한 객체에 대해 골격화 또는 세선화 알고리즘을 적용하여 1 픽셀의 폭을 가지는 객체의 중심축(Medial Axis}을 추출한다. 골격화 알고리즘에는 외곽선을 이용하는 중심축변환(MAT: Medial Axis Transform)알고리즘 또는 Zhang Suen 알고리즘과 같이 기 알려진 다양한 방식을 적용할 수 있다.
예컨대, 중심축 변환에 의할 경우, 객체의 중심축(a)은 도 4에서처럼 객체(R) 내의 각 점(또는 픽셀)들 중에서 복수 개의 경계점을 가지는 점들의 집합이다. 여기서, 경계점은 외곽선(B) 상의 점들 중에서 객체 내의 해당 점과의 거리가 가장 가까운 점을 말하는 것으로, 외곽선상의 점 b1, b2는 객체(R) 내의 점 P1의 경계점이 된다. 따라서, 중심축 알고리즘은 경계점이 복수 개인 점들을 추출하는 과정이 되며 다음의 수학식 1과 같이 표현될 수 있다.
Figure 112010027454502-pat00001
여기서, Pma는 x의 집합으로 표시되는 중심축이고, x는 객체(R)내에 존재하는 점, bmin(x)는 점 x의 경계점의 수이다. 따라서, 중심축은 경계점의 수가 1보다 큰 점 x들의 집합이 된다. 여기서, 경계점을 계산하기 위해, 내부의 점 x에서 외곽선상의 임의의 픽셀까지의 거리를 구하는 방법(예컨대, 4-Distance, 8-Distance, Euclidean Distance 등)에 따라, 골격의 구조가 다소 바뀔 수 있다.
그 밖에도, 객체가 비교적 간단한 형태의 것인 경우, 객체에 대한 가우시안 값의 피크값을 추출하는 방법으로 중심선을 추출할 수 있으며, 이러한 알고리즘에 의할 경우 S207 단계의 외곽선 검출단계는 생략될 수도 있다.
<움직이는 객체의 대표 길이 계산: S211 단계>
객체인식부(137)는 S205 단계에서 구한 심도 맵 데이터를 이용하여, S207 또는 S209 단계에서 추출한 객체의 대표 길이를 구한다.
객체의 대표 길이는 객체를 대표하는 것으로 설정된 객체의 실제 길이로서 영상으로부터 계산된 값이며, 중심축의 실제 길이, 객체의 실제 폭 또는 객체의 실제높이 등이 해당할 수 있다. 다만, 객체의 대표 길이는 카메라의 위치, 촬영각도 및 촬영영역의 특성 등에 따라 영향을 받게 된다.
나아가, 객체의 실제길이의 계산은, S205 단계에서 추출된 객체가 위치한 거리(do)에서의 픽셀 당 실제 길이(이하, 픽셀의 '단위 길이'라 함)를 구한 다음, 해당 객체를 대표하는 픽셀의 수를 곱하는 방법으로 이루어진다. 여기서, 객체를 대표하는 픽셀의 수는 앞서 중심축을 형성하는 픽셀의 수, 해당 객체의 폭이나 높이가 되는 픽셀의 수 등이 해당될 수 있다.
객체를 대표하는 픽셀의 수로서의, 객체의 폭이나 높이는 객체 영역의 x축좌표의 범위 또는 y축좌표의 범위를 통해 구해질 수 있으며, 중심축의 길이는 예컨대 중심축에 포함된 픽셀의 수를 모두 더함으로써 구할 수 있다.
특정 픽셀의 단위 길이는 픽셀마다(정확하게는 픽셀의 심도에 따라) 달라지며, 도 5를 참조하여 다음과 같이 구할 수 있다. 여기서, 설명의 편리를 위해, 영상 프레임의 크기를 720×640 픽셀이라 가정한다.
도 5에서, 기존 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 Lmax와, 추출된 객체의 위치 do에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 L(do)가 표시되어 있다. 먼저 해당 객체가 위치하는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제길이 L(do)는 다음의 수학식 2와 같이 구할 수 있다.
Figure 112010027454502-pat00002
여기서, L(do)는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제 길이이고, Lmax는 기존 배경영상을 기준으로 최대 거리(L)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이이며, do는 객체의 심도, D는 최대 심도이다.
다음으로, 객체가 위치하는 거리(do)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이 L(do)을 프레임 전체의 세로축(또는 가로축)의 픽셀 수(Px, Py, 예에서 Px=720, Py=640)로 나눔으로써, 객체 영역에 포함된 픽셀의 단위 길이 Lp(do)을 다음의 수학식 3과 같이 구할 수 있다.
Figure 112010027454502-pat00003
여기서, Lp(do)는 심도 do에 위치한 객체 영역에 포함된 픽셀의 단위 길이, Py는 프레임 전체의 세로축의 픽셀 수이다. 수학식 2에 의하면, Lp(do)은 3차원 심도 맵 데이터의 거리 정보로부터 확인한 해당 객체까지의 심도(do)와 맵 데이터 상의 최대 심도에 따라 달라짐을 알 수 있다.
픽셀의 단위 길이가 구해지면, 객체인식부(137)는 객체의 대표 길이를 구한다. 객체의 대표 길이는 픽셀의 단위 길이 Lp(do)에 해당 객체를 대표하는 픽셀의 수 po를 곱함으로써 다음의 수학식 4와 같이 구할 수 있다.
Figure 112010027454502-pat00004
여기서, po는 해당 객체를 대표하는 픽셀의 수이다.
<움직이는 객체의 골격패턴 및 크기로 객체 인식: S213 ~ S217 단계>
픽셀의 단위 길이가 구해지면, 객체인식부(137)는 객체의 대표길이와 객체의 골격을 이용하여 객체를 인식한다.
먼저, 객체인식부(137)는 객체의 대표길이가 제1 범위 내에 속하는지를 1차 판단한다(S213).
여기서, 제1 범위는 검색하고자 하는 제1 사물(또는 1군의 사물들)의 대표 길이의 범위가 된다. 앞서 설명한 바와 같이, 객체를 대표 길이는 카메라의 위치, 촬영각도 및 촬영영역의 특성 등에 따라 영향을 받게 된다. 예컨대, 교차로에서 하방 45°의 각도로 도로를 촬영하는 카메라의 경우와 비교적 낮은 높이에서 밀폐 공간을 촬영하는 경우에 동일한 사물에 대한 대표 길이가 달라질 수 밖에 없다. 또한, 카메라의 위치에 따라, 같은 영상내에서 존재하는 각종 사물의 대표 길이도 그 형태적 특성에 따라 달라질 수 있다. 따라서 대표 길이는 이러한 점들을 고려하여 설정되어야 한다.
만약, 객체의 대표길이가 제1 범위 내에 속하지 않으면, 객체인식부(137)는 객체의 대표길이가 제2 사물의 대표 길이에 해당하는 제2 범위에 속하는지를 다시 판단할 수 있다(S215).
객체인식부(137)는 객체의 대표길이가 제1 범위 내에 속하는 경우, 해당 객체의 중심축의 패턴이 제1군의 패턴 마스크들 중 하나와 일치하는지 여부를 2차 판단하여, 최종적으로 객체를 인식한다. 다시 말해, 제1 범위가 제1 사물 또는 제1군의 사물들에 대응되는 것처럼, 제1군의 패턴 마스크 역시 제1 사물 또는 제1군의 사물들에 대응될 수 있다. 여기서, 패턴이 일치한다 함은 용인 가능한 범위내에서의 일치를 의미할 수 있다.
이상의 과정을 통해 본 발명의 영상인식장치는 스테레오 카메라를 이용한 3차원 심도 맵 데이터를 구하고, 영상에 포착된 객체를 인식하게 된다.
여기에서 시계열적으로 선행하는 것처럼 설명되는 것과 달리, S203 단계의 심도 맵 데이터의 계산은 도 2에 도시된 것처럼 S205 및 S207 단계의 움직이는 객체의 추출과정과 병렬적으로 수행될 수 있을 뿐만 아니라, S205 및 S207 단계 후에 수행될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (5)

  1. 동일한 방향으로 동일한 영역을 촬영하는 한 쌍의 스테레오 카메라를 이용하여, 한 쌍의 디지털 영상을 생성하는 단계;
    상기 생성된 한 쌍의 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산하는 단계;
    상기 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하는 단계;
    상기 추출된 객체의 중심축을 추출하는 단계;
    상기 심도 맵 데이터로부터 확인한 상기 객체까지의 거리정보를 기초로 상기 객체를 대표하는 실제 길이인 대표 길이를 계산하는 단계: 및
    상기 계산된 객체의 대표 길이가 제1 범위 내에 속하는 경우, 제1 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식하는 단계를 포함하고,
    상기 대표 길이는 상기 객체의 중심축의 실제 길이이고,
    수학식
    Figure 112011086128045-pat00010
    ,
    수학식
    Figure 112011086128045-pat00011
    및
    수학식
    Figure 112011086128045-pat00012
    에 의해 구하되,
    여기서, D는 최대 심도, do는 상기 객체의 심도, L(do)는 상기 객체의 심도 do에서의 상기 디지털 영상 프레임의 세로축 전체에 대응되는 실제 길이, Lmax는 최대 심도(D)에서의 상기 디지털 영상 프레임의 세로축 전체에 대응되는 실제 길이, Lp(do)는 심도 do에 위치한 객체 영역에 포함된 단위 픽셀의 실제 길이, Py는 프레임 전체의 세로축의 픽셀 수, po는 상기 객체의 중심축을 형성하는 픽셀의 수인 것을 특징으로 하는 스테레오 카메라를 이용한 영상인식방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 계산된 객체의 대표 길이가 상기 제1 범위와 다른 제2 범위 내에 속하는 경우, 제2 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 영상인식방법.
  4. 동일한 방향으로 동일한 영역을 촬영하는 한 쌍의 스테레오 카메라를 구비하여, 한 쌍의 디지털 영상을 생성하는 스테레오카메라부;
    상기 스테레오카메라부에서 생성한 한 쌍의 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산하는 거리정보계산부;
    상기 스테레오카메라부에서 생성한 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하는 객체추출부;
    상기 추출된 객체의 중심축을 추출하는 중심축추출부; 및
    상기 심도 맵 데이터로부터 확인한 상기 객체까지의 거리정보를 기초로 상기 객체를 대표하는 실제 길이인 대표 길이를 계산하고, 상기 계산된 객체의 대표 길이가 제1 범위 내에 속하는 경우 제1 범위에 매핑된 복수 개의 패턴 마스크와 상기 추출된 객체의 중심축을 비교하는 방법으로 상기 객체를 인식하는 객체인식부를 포함하고,
    상기 대표 길이는 상기 객체의 중심축의 실제 길이이고,
    상기 객체인식부는,
    수학식
    Figure 112011086128045-pat00013
    ,
    수학식
    Figure 112011086128045-pat00014
    및
    수학식
    Figure 112011086128045-pat00015
    에 의해 구하되,
    여기서, D는 최대 심도, do는 상기 객체의 심도, L(do)는 상기 객체의 심도 do에서의 상기 디지털 영상 프레임의 세로축 전체에 대응되는 실제 길이, Lmax는 최대 심도(D)에서의 상기 디지털 영상 프레임의 세로축 전체에 대응되는 실제 길이, Lp(do)는 심도 do에 위치한 객체 영역에 포함된 단위 픽셀의 실제 길이, Py는 프레임 전체의 세로축의 픽셀 수, po는 상기 객체의 중심축을 형성하는 픽셀의 수인 것을 특징으로 하는 스테레오 카메라를 이용한 영상인식장치.
  5. 삭제
KR1020100039366A 2010-04-28 2010-04-28 스테레오 카메라를 이용한 영상인식장치 및 방법 KR101139389B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2010/002673 WO2011136407A1 (ko) 2010-04-28 2010-04-28 스테레오 카메라를 이용한 영상인식장치 및 방법
KR1020100039366A KR101139389B1 (ko) 2010-04-28 2010-04-28 스테레오 카메라를 이용한 영상인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100039366A KR101139389B1 (ko) 2010-04-28 2010-04-28 스테레오 카메라를 이용한 영상인식장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110119933A KR20110119933A (ko) 2011-11-03
KR101139389B1 true KR101139389B1 (ko) 2012-04-27

Family

ID=44861683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100039366A KR101139389B1 (ko) 2010-04-28 2010-04-28 스테레오 카메라를 이용한 영상인식장치 및 방법

Country Status (2)

Country Link
KR (1) KR101139389B1 (ko)
WO (1) WO2011136407A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373034B2 (en) 2012-07-23 2016-06-21 Hanwha Techwin Co., Ltd. Apparatus and method for tracking object
US11176719B2 (en) 2018-10-24 2021-11-16 Samsung Electronics Co., Ltd. Method and apparatus for localization based on images and map data

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101203121B1 (ko) * 2012-04-20 2012-11-21 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101942288B1 (ko) * 2012-04-23 2019-01-25 한국전자통신연구원 위치 보정 장치 및 방법
KR101645451B1 (ko) * 2015-04-14 2016-08-12 공간정보기술 주식회사 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템
KR101976495B1 (ko) * 2016-05-17 2019-05-10 에스케이 텔레콤주식회사 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법
KR101748780B1 (ko) * 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
KR102048381B1 (ko) * 2018-04-16 2019-11-25 주식회사 루씨드드림 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템
CN112686931A (zh) * 2020-12-22 2021-04-20 北京百度网讯科技有限公司 图像识别方法、垃圾倾倒行为检测方法、设备和介质
WO2024063242A1 (ko) * 2022-09-20 2024-03-28 한화비전 주식회사 영상 분석 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145368A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の移動追跡方法
JPH09145362A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の高さ測定方法
KR20000032853A (ko) * 1998-11-18 2000-06-15 김운용 3차원 마스킹법에 의한 형상인식시스템 및 그 방법
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145368A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の移動追跡方法
JPH09145362A (ja) * 1995-11-29 1997-06-06 Ikegami Tsushinki Co Ltd ステレオ画像による物体の高さ測定方法
KR20000032853A (ko) * 1998-11-18 2000-06-15 김운용 3차원 마스킹법에 의한 형상인식시스템 및 그 방법
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373034B2 (en) 2012-07-23 2016-06-21 Hanwha Techwin Co., Ltd. Apparatus and method for tracking object
US11176719B2 (en) 2018-10-24 2021-11-16 Samsung Electronics Co., Ltd. Method and apparatus for localization based on images and map data

Also Published As

Publication number Publication date
KR20110119933A (ko) 2011-11-03
WO2011136407A1 (ko) 2011-11-03

Similar Documents

Publication Publication Date Title
KR101139389B1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
KR101283262B1 (ko) 영상 처리 방법 및 장치
US6701005B1 (en) Method and apparatus for three-dimensional object segmentation
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
CN104048969A (zh) 一种隧道病害的识别方法
CN110243390B (zh) 位姿的确定方法、装置及里程计
JP6091658B2 (ja) 情報処理装置及び情報処理方法及びプログラム
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
KR101148029B1 (ko) 3ｄ 카메라를 이용한 영상인식장치 및 방법
JP6054771B2 (ja) 背景モデル構築装置、背景モデル構築方法、およびプログラム
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
KR101226668B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
JP2020006788A (ja) 建築限界判定装置
KR20140000833A (ko) 스테레오 매칭 장치 및 그 방법
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
CN113409334B (zh) 一种基于质心的结构光角点检测方法
Jorissen et al. Multi-view wide baseline depth estimation robust to sparse input sampling
KR101581586B1 (ko) 깊이 영상의 노이즈를 보정하는 방법
CN110473246B (zh) 一种基于双目视觉的多重遮挡目标的测距方法
CN114694204A (zh) 社交距离检测方法、装置、电子设备及存储介质
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
KR20130036511A (ko) 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법
KR102461980B1 (ko) 3차원 지도의 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150507

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170407

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180402

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 8