KR102116791B1 - 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR102116791B1
KR102116791B1 KR1020130064133A KR20130064133A KR102116791B1 KR 102116791 B1 KR102116791 B1 KR 102116791B1 KR 1020130064133 A KR1020130064133 A KR 1020130064133A KR 20130064133 A KR20130064133 A KR 20130064133A KR 102116791 B1 KR102116791 B1 KR 102116791B1
Authority
KR
South Korea
Prior art keywords
image
frame
motion
segment
depth image
Prior art date
Application number
KR1020130064133A
Other languages
English (en)
Other versions
KR20140142554A (ko
Inventor
한정호
김정섭
강봉순
강현중
장경훈
조호상
Original Assignee
삼성전자주식회사
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 동아대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130064133A priority Critical patent/KR102116791B1/ko
Priority to US14/295,962 priority patent/US9489742B2/en
Publication of KR20140142554A publication Critical patent/KR20140142554A/ko
Application granted granted Critical
Publication of KR102116791B1 publication Critical patent/KR102116791B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 본 발명의 실시 예에 따른 장치는, 입력되는 프레임의 깊이 이미지를 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성하는 세그먼트 이미지 생성부; 상기 깊이 이미지와 이전 프레임의 배경 이미지에 이동 평균법을 적용하여 배경 이미지를 생성하는 배경 이미지 생성부; 및 상기 깊이 이미지와 상기 현재 배경 이미지를 비교하여 상기 깊이 이미지에서 움직인 부분을 찾아 움직임 마스크를 생성하는 움직임 마스크 생성부를 포함할 수 있다.

Description

깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR DETECTING MOVING OBJECT USING DEPTH MAP}
본 발명은 움직인 물체 검출 장치에 관한 것으로서, 더욱 자세하게는 깊이 정보를 사용하여 움직인 물체를 검출할 수 있는 장치에 관한 것이다.
최근 인간과 컴퓨터의 상호작용(HUI: Human Computer Interface)에 관한 연구에 있어서 마우스, 키보드, 리모트 컨트롤러 등의 별도의 장치 없이 컴퓨터를 제어할 수 있는 기술이 개발되고 있다. 이에 따라, 비접촉식 인터랙션으로 손동작이나 몸짓만으로 각종 디바이스와 상호작용할 수 있는 동작인식 기술은 주목받고 있다. 동작인식의 방법 중 움직인 물체를 검출하여 동작인식에 활용하는 방법이 있다. 이를 위해선 입력된 영상의 전경(foreground)과 배경(background)을 분리하는 기술이 중요하다.
종래의 움직인 물체를 검출하는 기술에서 배경을 분리하기 위해 배경을 모델링하는 방법으로 가우시안 혼합 모델(Mixture of Gaussian, 이하 MoG)을 사용한다. MoG는 위치에서의 밝기 히스토그램을 1차원 가우시안으로 모델링하는 방법이다. 입력 데이터를 복수 개의 가우시안 분포함수의 합으로 나타낼 수 있다, 예를 들어 입력 데이터에 대한 M차원의 MoG 모델링은 가우시안 확률밀도함수(probability density function)의 선형결합(linear combination)으로 표현될 수 있다.
하지만 MoG 모델링은 입력 데이터의 각각의 픽셀을 처리하기 위해선 많은 연산이 필요하여 실시간 처리에는 어려움이 있다.
본 발명의 일 실시 예는 움직인 물체를 깊이 이미지를 사용하여 추출하고 움직이지 않은 배경 이미지를 제거할 수 있는 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공한다.
또한, 본 발명의 일 실시 예는 배경 이미지와 깊이 이미지의 잡음 성분으로 인하여 움직인 물체 검출 과정에서 발생할 수 있는 오 검출을 감소시킬 수 있는 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 일 측면에 따르면, 깊이 정보를 사용한 움직인 물체 검출 장치는, 입력되는 프레임의 깊이 이미지를 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성하는 세그먼트 이미지 생성부; 상기 깊이 이미지와 이전 프레임의 배경 이미지에 이동 평균법을 적용하여 배경 이미지를 생성하는 배경 이미지 생성부; 및 상기 깊이 이미지와 상기 현재 배경 이미지를 비교하여 상기 깊이 이미지에서 움직인 부분을 찾아 움직임 마스크를 생성하는 움직임 마스크 생성부를 포함할 수 있다.
바람직하게는, 상기 세그먼트 이미지는, 상기 현재 프레임의 깊이 이미지에 레이블링 알고리즘을 사용하여 생성되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 배경 이미지 생성부는, 상기 이동 평균법을 적용 전에 상기 깊이 이미지에서 깊이 값을 "0"으로 가지는 각 픽셀에 최댓값을 할당하는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 이전 프레임의 배경 이미지는, 상기 배경 이미지 생성부로부터 다시 상기 배경 이미지 생성부로 입력되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크는, 상기 깊이 이미지와 상기 배경 이미지의 차이가 미리 설정된 임계값을 초과할 경우 상기 움직임 마스크의 값으로 "1"이 할당되고, 그 외에는 "0"이 할당되어 생성되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크에 모폴로지 연산을 적용하여 잡음 성분이 제거된 움직임 마스크를 생성하는 움직임 마스크 모폴로지 적용부를 더 포함할 수 있다.
바람직하게는, 상기 이전 프레임의 배경 이미지는, 상기 움직임 마스크 모폴로지 적용부로부터 상기 배경 이미지 생성부로 입력되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크 모폴로지 적용부는, 상기 움직임 마스크에 침식 연산을 적용한 후 팽창 연산을 적용하는 열림 연산을 사용하여 상기 움직임 마스크 내에 잡음 성분을 제거하는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 잡음 성분이 제거된 움직임 마스크와 상기 세그먼트 이미지를 샘플링한 후, 상기 움직인 부분의 히스토그램을 생성하고, 움직임 세그먼트를 상기 히스토그램을 통해 판별하여 배경이 제거된 이미지를 출력하는 움직임 세그먼트 히스토그램 생성부를 더 포함할 수 있다.
바람직하게는, 상기 움직임 세그먼트 히스토그램 생성부는, 상기 샘플링 비율을 조절할 수 있는 것을 특징 포함할 수 있다.
바람직하게는, 상기 히스토그램은, 상기 움직인 부분의 좌표와 동일한 위치의 상기 세그먼트의 값들로부터 생성되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 세그먼트는, 상기 히스토그램의 개수가 미리 설정된 임계값 이상을 갖는 경우에 움직임 세그먼트로 판별하고, 상기 히스토그램의 개수가 미리 설정된 임계값 미만인 경우에는 움직이지 않은 세그먼트로 판별하는 것을 특징으로 포함할 수 있다.
본 발명의 다른 측면에 따르면, 깊이 정보를 사용한 움직인 물체 검출 방법은, 입력되는 프레임의 깊이 이미지를 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성하는 과정; 상기 깊이 이미지와 이전 프레임의 배경 이미지에 이동 평균법을 적용하여 배경 이미지를 생성하는 과정; 및 상기 깊이 이미지와 상기 현재 배경 이미지를 비교하여 상기 깊이 이미지에서 움직인 부분을 찾아 움직임 마스크를 생성하는 과정을 포함할 수 있다.
바람직하게는, 상기 세그먼트 이미지는, 상기 현재 프레임의 깊이 이미지에 레이블링 알고리즘을 사용하여 생성되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 배경 이미지를 생성 전에, 상기 깊이 이미지에서 깊이 값을 "0"으로 가지는 각 픽셀에 최댓값을 할당하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 이전 프레임의 배경 이미지는, 상기 배경 이미지 생성 과정에서 생성되어 상기 배경 이미지 생성 과정에 입력되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크는, 상기 깊이 이미지와 상기 배경 이미지의 차이가 미리 설정된 임계값을 초과할 경우 상기 움직임 마스크의 값으로 "1"이 할당되고, 그 외에는 "0"이 할당되어 생성되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크에 모폴로지 연산을 적용하여 잡음 성분이 제거된 움직임 마스크를 생성하는 움직임 마스크 모폴로지 적용 과정을 더 포함할 수 있다.
바람직하게는, 상기 이전 프레임의 배경 이미지는, 상기 움직임 마스크 모폴로지 적용 과정에서 생성되어 상기 배경 이미지 생성 과정으로 입력되는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 움직임 마스크 모폴로지 적용 과정은, 상기 움직임 마스크에 침식 연산을 적용한 후 팽창 연산을 적용하는 열림 연산을 사용하여 상기 움직임 마스크 내에 잡음 성분을 제거하는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 잡음 성분이 제거된 움직임 마스크와 상기 세그먼트 이미지를 샘플링하는 과정; 상기 움직인 부분의 히스토그램을 생성하는 과정; 및 움직임 세그먼트를 상기 히스토그램을 통해 판별하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 샘플링하는 과정은, 상기 샘플링의 비율을 조절할 수 있는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 히스토그램을 생성하는 과정은, 상기 움직인 부분의 좌표와 동일한 위치의 상기 세그먼트의 값들로부터 생성하는 것을 특징으로 포함할 수 있다.
바람직하게는, 상기 판별하는 과정은, 상기 히스토그램의 개수가 미리 설정된 임계값 이상을 갖는 경우에 움직임 세그먼트로 판별하고, 상기 히스토그램의 개수가 미리 설정된 임계값 미만인 경우에는 움직이지 않은 세그먼트로 판별하는 것을 특징으로 포함할 수 있다.
한편, 상기 과정 중 적어도 어느 하나는 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk), 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 임베디드 멀티미디어 카드(eMMC) 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명에 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치는 입력되는 깊이 이미지에 대해 실시간으로 움직인 물체의 검출을 수행할 수 있다.
또한, 깊이 이미지를 사용하여 배경 이미지를 생성하고, 움직인 영역을 추정하여 움직인 물체를 추출하고 움직이지 않은 배경 이미지를 제거할 수 있다.
또한, 배경 이미지 생성시 양수 값만 사용하고, 움직임 마스크의 모폴로지 연산 과정을 통해 배경 이미지와 입력되는 깊이 이미지의 잡음 성분으로 인한 움직인 물체 검출 과정에서 발생할 수 있는 오 검출을 감소시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치의 블록도.
도 2는 본 발명의 실시 예에 따른 세그먼트 이미지 생성부가 생성한 세그먼트 이미지의 예시도.
도 3은 본 발명의 실시 예에 따른 배경 이미지 생성부가 입력되는 현재 프레임의 깊이 이미지에서 깊이 값을 0으로 가지는 픽셀에 최댓값을 할당한 이미지의 예시도.
도 4는 본 발명의 실시 예에 따른 배경 이미지 생성부가 생성한 현재 배경 이미지의 예시도.
도 5는 본 발명의 실시 예에 따른 입력되는 현재 프레임의 깊이 이미지 내의 픽셀인 Point 1과 현재 배경 이미지 내의 픽셀인 Point 1을 시간 축으로 표현한 예시도.
도 6은 본 발명의 실시 예에 따른 움직임 마스크 생성부가 생성된 마스크 이미지에 잡음 및 잔상을 제거한 이미지의 예시도.
도 7의 (a)는 본 발명의 실시 예에 따른 움직인 마스크 생성부가 생성한 마스크 이미지의 예시도, (b)는 본 발명의 실시 예에 따른 움직임 마스크 모폴로지 적용부가 잡음 및 잔상을 제거한 이미지의 예시도.
도 8의 (a)는 본 발명의 실시 예에 따른 모폴로지 연산이 적용된 움직임 마스크 이미지의 예시도, (b)는 본 발명의 실시 예에 따른 세그먼트 이미지에서 움직임 세그먼트의 번호가 부여된 이미지의 예시도.
도 9는 본 발명의 실시 예에 따른 움직임 세그먼트 히스토그램 생성부가 생성하는 히스토그램의 예시도.
도 10은 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 방법의 데이터 처리 과정의 순서도.
도 11은 본 발명의 실시 예에 따른 세그먼트 이미지 생성부의 데이터 처리 과정의 순서도.
도 12는 본 발명의 실시 예에 따른 배경 이미지 생성부의 이전 프레임의 배경 이미지 데이터 처리 과정의 순서도.
도 13은 본 발명의 실시 예에 따른 배경 이미지 생성부의 데이터 처리 과정의 순서도.
도 14는 본 발명의 실시 예에 따른 움직임 마스크 생성부의 데이터 처리 과정의 순서도.
도 15는 본 발명의 실시 예에 따른 움직임 마스크 모폴로지 적용부의 데이터 처리 과정의 순서도.
도 16은 본 발명의 실시 예에 따른 움직임 세그먼트 히스토그램 생성부의 데이터 처리 과정의 순서도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치의 블록도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치 (100)는 세그먼트 이미지 생성부(Segment Image Generator unit)(110), 배경 이미지 생성부(Background Image Generator unit)(120), 움직임 마스크 생성부(Moving Mask Generator unit)(130), 움직임 마스크 모폴로지 적용부(Morphology Unit Apply the Moving Mask)(140), 움직임 세그먼트 히스토그램 생성부(Moving Segment Histogram Generator unit)(150)를 포함할 수 있다.
세그먼트 이미지 생성부(110)는 본 발명에 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치(100)에서 움직인 물체 검출에 앞서, 입력되는 현재 프레임의 깊이 이미지(Depth Image)를 사용하여 현재 프레임 내의 각각의 물체를 구별한다. 세그먼트 이미지 생성부(110)는 레이블링 알고리즘을 사용하여 현재 프레임의 깊이 이미지 내에서 각각의 물체가 구별된 세그먼트 이미지(Segment Image)를 생성할 수 있다.
예를 들어 세그먼트 이미지 생성부(110)는 현재 프레임의 깊이 이미지 입력과 이전 프레임의 깊이 이미지 입력을 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성할 수 있다. 여기서 각각의 물체를 구별하기 위해 현재 프레임의 깊이 이미지 내에 각각의 픽셀의 거리 차이가 미리 설정된 임계값 미만일 경우에는 동일한 물체의 픽셀들로 인식하고, 각각의 픽셀의 거리 차이가 임계값을 초과할 경우에는 서로 다른 물체에 속한 각각의 픽셀로 인식하여 현재 프레임의 깊이 이미지 내에서 각각의 물체가 구별할 수 있다. 따라서 각각의 물체가 구별된 세그먼트 이미지를 생성할 수 있다. 상기 생성된 세그먼트 이미지는 하기에 자세히 설명될 움직임 세그먼트 히스토그램 생성부(150)의 입력 신호로 사용되어 움직인 물체를 검출하는데 사용될 수 있다.
배경 이미지 생성부(120)는 입력되는 현재 프레임의 깊이 이미지와 이전 프레임에서 생성되어 피드백되는 이전 배경 이미지를 이동 평균법(moving average method, running average method)을 통해 현재 프레임의 깊이 이미지를 반영하는 현재 배경 이미지를 생성할 수 있다. 배경 이미지 생성부(120)로 피드백되는 이전 배경 이미지는 배경 이미지 생성부(120)에서 출력된 이전 프레임의 이전 배경 이미지일 수 있다.
또한, 이전 배경 이미지는 하기에서 자세히 설명될 움직임 마스크 모폴로지 적용부(140)에서 출력되어 상기 배경 이미지 생성부(120)로 피드백될 수 있다.
배경 이미지 생성부(120)는 초기에는 생성된 이전 배경 이미지가 없기 때문에 첫 번째 입력되는 프레임과 두 번째 입력되는 프레임을 바탕으로 이전 프레임의 이전 배경 이미지를 생성하고 다음 입력되는 세 번째 프레임부터 사용할 수 있다, 예를 들어 초기의 이전 배경 이미지를 생성하기 위하여 첫 번째 입력되는 프레임의 깊이 이미지를 임시 저장소에 저장할 수 있다. 저장된 첫 번째 입력되는 프레임의 깊이 이미지와 두 번째 입력되는 프레임의 깊이 이미지를 대상으로 이동 평균법을 수행하여 이전 프레임의 배경 이미지를 생성할 수 있다. 여기서 생성된 이전 프레임의 배경 이미지는 다시 배경 이미지 생성부(120)의 입력 신호로 피드백할 수 있다.
또한, 배경 이미지 생성부(120)는 입력되는 현재 프레임의 깊이 이미지에서 깊이 값을 0으로 가지는 각 픽셀의 값을 최댓값으로 할당할 수 있다. 따라서 하기에 기술되는 움직임 마스크 생성부(130)가 깊이 값이 0으로 할당된 부분에서 움직임 마스크 검출 시 발생할 수 있는 잔상 현상과 잡음 성분을 제거할 수 있다.
또한, 배경 이미지 생성부(120)는 현재 입력되는 프레임의 깊이 이미지에서 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당한 후, 깊이 값을 0으로 가지는 각 픽셀이 최댓값으로 할당된 현재 프레임의 깊이 이미지와 이전 배경 이미지에 하기 수학식 1과 같은 이동 평균법을 적용하여 현재 배경 이미지를 생성할 수 있다.
Figure 112013049816174-pat00001
상기 수학식 1에서 Bi는 현재 배경 이미지, Bi -1은 이전 배경 이미지, α는 가중치 값, Di는 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당된 현재 프레임의 깊이 이미지를 의미한다. 여기서 α는 가중치 값으로 이전 배경 이미지와 상기 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당된 현재 프레임의 깊이 이미지 간의 가중치 값이다. 이에 α를 사용하여 필요에 따라 가중치를 변경할 수 있다.
또한, 가중치 값 α는 민감도 값을 의미할 수 있으므로 사용자가 조절할 수 있다.
움직임 마스크 생성부(130)는 상기 배경 이미지 생성부(120)로부터 전달받은 현재 배경 이미지와 상기 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당된 현재 프레임의 깊이 이미지 간의 차이를 이용하여 움직인 영역을 검출하여 움직임 마스크를 생성할 수 있다. 여기서 움직인 영역 검출은 하기 수학식 2와 같이 현재 배경 이미지와 상기 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당된 현재 프레임의 깊이 이미지 간의 차이가 미리 설정된 임계값을 초과하면 움직임 마스크 값으로 "1"을 할당하고, 그 외에는 "0"을 할당하여 움직인 영역을 검출할 수 있다. 따라서 움직임 마스크 생성부(130)에서 생성된 마스크는 "0"과 "1"의 값을 갖는 움직인 영역의 정보를 포함할 수 있다.
Figure 112013049816174-pat00002
상기 수학식 2에서 mov_maski는 움직임 마스크, Bi는 현재 배경 이미지, Di는 깊이 값을 0으로 가지는 각 픽셀을 최댓값으로 할당된 현재 프레임의 깊이 이미지, diff_th는 임계 값(Threshold)을 의미한다. 여기서 diff_th는 미리 설정된 임계값으로 사용자에 의해 설정될 수 있다.
움직임 마스크 모폴로지 적용부(140)는 상기 움직임 마스크 생성부(130)로부터 전달받은 움직임 마스크에 모폴로지 연산을 적용하여 모폴로지가 적용된 움직임 마스크를 생성할 수 있다. 여기서 모폴로지 연산을 통해 움직임 마스크 내에 잡음 성분을 제거하여 움직인 영역 추출 시 정확도를 향상시킬 수 있다. 여기서 모폴로지 연산으로는 침식 연산, 팽창 연산, 열림 연산, 닫힘 연산, 탐-헷 연산, 웰 연산, 모폴로지 그래디언트 연산 및 스무딩 연산 중 적어도 어느 하나를 사용할 수 있다. 예를 들어 움직임 마스크 모폴로지 적용부(140)는 잡음 성분 제거와 정확한 움직인 영역 추출을 위하여 상기 움직임 마스크 생성부(130)에서 생성된 움직임 마스크에 모폴로지 연산 중 열림 연산을 통해 군집화되어 있는 움직인 영역은 강조하고, 잡음과 같이 퍼져있는 움직인 영역은 제거하여 움직임 마스크를 모폴로지 연산 적용 전의 움직임 마스크보다 더 정확하게 추정할 수 있다.
움직임 세그먼트 히스토그램 생성부(150)는 상기 움직임 마스크 모폴로지 적용부(140)로부터 전달받은 모폴로지가 적용된 움직임 마스크와 상기 세그먼트 이미지 생성부(110)로부터 전달받은 세그먼트 이미지를 샘플링한 후 움직인 부분에 해당하는 히스토그램을 생성하며, 생성된 히스토그램을 통해 움직임 세그먼트를 결정하여 배경이 제거된 이미지를 출력할 수 있다. 예를 들어 모폴로지가 적용된 움직임 마스크에서 움직인 영역이라고 판단되어 1이 할당된 부분에 한하여 세그먼트 이미지의 동일한 좌표의 값의 히스토그램을 생성할 수 있다.
여기서 세그먼트의 히스토그램 개수가 미리 설정된 임계값 이상의 개수를 가지는 세그먼트 값들은 움직임 세그먼트로 결정하여 출력할 수 있다. 반면 여기서 움직임 세그먼트의 히스토그램 개수가 미리 설정된 임계값 미만의 개수를 가지는 세그먼트 값들은 움직이지 않았다고 판단하여 제거한 후 출력할 수 있다. 따라서 움직임 마스크와 움직인 물체의 세그먼트 이미지가 유사하게 겹치기 때문에 움직임 세그먼트를 검출할 수 있다.
또한, 움직임 세그먼트 히스토그램 생성부(150)에서 수행되는 샘플링은 샘플링 비율을 조절하여 수행될 수 있다. 따라서 샘플링 비율을 조절하여 잡음 성분을 제거할 수 있다.
도 2는 본 발명의 실시 예에 따른 세그먼트 이미지 생성부가 생성한 세그먼트 이미지의 예시도이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 세그먼트 이미지 생성부(110)는 입력되는 현재 프레임의 깊이 이미지에 레이블링 알고리즘을 통해 각각의 물체를 구별할 수 있는 세그먼트 이미지를 도 2와 같이 생성할 수 있다.
도 3은 본 발명의 실시 예에 따른 배경 이미지 생성부가 입력되는 현재 프레임의 깊이 이미지에서 깊이 값을 0으로 가지는 픽셀에 최댓값을 할당한 이미지의 예시도이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 배경 이미지 생성부(120)는 입력되는 현재 프레임의 깊이 이미지에서 깊이 값을 0으로 가지는 각 픽셀의 값을 최댓값으로 도 3에 도시된 이미지와 같이 할당할 수 있다.
도 4는 본 발명의 실시 예에 따른 배경 이미지 생성부가 생성한 현재 배경 이미지의 예시도이다. 도 4를 참조하면, 본 발명의 실시 예에 따른 배경 이미지 생성부(120)는 현재 프레임의 깊이 이미지와 이전 배경 이미지를 이동 평균법을 적용하여 도 4와 같은 이미지를 생성할 수 있다.
일반적인 이동 평균법을 적용한 움직인 검출 장치는 배경 이미지와 입력되는 현재 프레임의 이미지 간의 차이를 절댓값과 비교하여 움직임을 판단한다. 하지만, 본 발명의 실시 예에 따른 배경 이미지 생성부(120)에서는 입력되는 현재 프레임의 깊이 이미지의 특징을 사용하기 때문에 움직인 물체 검출 시 잡음 성분에 강하다.
도 5는 본 발명의 실시 예에 따른 입력되는 현재 프레임의 깊이 이미지 내의 픽셀인 Point 1과 현재 배경 이미지 내의 픽셀인 Point 1을 시간 축으로 표현한 예시도이다. 도 5를 참조하면, 움직임 마스크 생성부(130)는 도 3의 현재 프레임의 깊이 이미지의 특정 픽셀(Point 1)과 배경 이미지 생성부(120)에서 생성된 도 4의 현재 배경이미지의 특정 픽셀(Point 1)이 시간 축으로 표현되었다. 도 3과 도 4의 특정 픽셀(Point 1)은 동일한 지점의 픽셀이다.
일반적인 움직임 검출 장치는 배경 이미지와 입력 이미지 간의 차이를 절댓값을 사용하여 움직임을 검출하기 때문에 움직이는 물체가 특정 좌표에 들어와 있다가 다시 사라질 때 배경 이미지가 다시 물체의 값에 접근하면 잔상 효과가 발생할 수 있다. 반면 본 발명의 실시 예에 따른 움직임 마스크 생성부(130)는 도 5에 도시된 것과 같이 배경 이미지와 입력 이미지 간의 차이가 양 수 일 때만 취하여 잔상 효과를 제거할 수 있다. 따라서 움직임 검출의 정확성을 향상시킬 수 있다.
도 6은 본 발명의 실시 예에 따른 움직임 마스크 생성부에서 생성된 마스크 이미지에 일반적인 방법으로 잡음 및 잔상을 제거된 이미지의 예시도이다. 도 6을 참조하면, 움직임 마스크 생성부(130)가 도 5에 도시된 배경 이미지와 입력 이미지 간의 차이가 양수일 때만 취하여 잔상 효과를 제거하고 도 6와 같은 이미지를 생성할 수 있다. 하지만, 움직임 마스크 생성부(130)에서 잔상 효과와 움직임 마스크 이미지의 잡음 성분을 다수 제거할 수 있지만, 물체와 물체 사이의 경계 영역에서 잡음 성분은 제거되지 않고 존재할 수 있다.
도 7의 (a)는 본 발명의 실시 예에 따른 움직인 마스크 생성부가 생성한 마스크 이미지의 예시도, (b)는 본 발명의 실시 예에 따른 움직임 마스크 모폴로지 적용부가 잡음 및 잔상을 제거한 이미지의 예시도이다. 도 7의 (a)를 참조하면, 움직임 마스크 생성부(130)에서 생성된 마스크 이미지로서 움직임 마스크 모폴로지가 적용되기 전의 이미지가 도시되어 있다. 도 7의 (a)에 도시된 바와 같이 물체와 물체 사이의 경계 영역에서 잡음 성분은 제거되지 않고 존재하는 것을 볼 수 있다. 따라서 도 7의 (b)에 도시된 바와 같이 움직임 마스크 모폴로지 적용부(140)가 움직임 마스크 생성부(130)에서 생성된 마스크 이미지에 모폴로지 연산 중 5×5 열림 연산을 적용하여 도 7의 (b)에 도시된 바와 같이 물체와 물체 사이의 경계 영역에서 잡음 성분을 제거할 수 있다. 여기서 사용된 모폴로지 연산의 마스크는 5×5 열림 연산을 사용한 예를 도시하였지만, 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 장치는 다양한 사이즈의 마스크를 사용하여 모폴로지 연산을 수행할 수 있다.
도 8의 (a)는 본 발명의 실시 예에 따른 움직임 마스크 모폴로지 적용부에 의해 모폴로지 연산이 적용된 움직임 마스크 이미지의 예시도, (b)는 본 발명의 실시 예에 따른 세그먼트 이미지 생성부에 의해 움직임 세그먼트의 번호가 부여된 세그먼트 이미지의 예시도이다. 도 8의 (a)를 참조하면, 움직임 마스크 모폴로지 적용부(140)에 의해 모폴로지 연산이 적용된 움직임 마스크의 이미지가 도시하였다.
도 8의 (b)를 참조하면, 도 8의 (a)와 동일한 프레임에서 입력되는 세그먼트 이미지가 세그먼트 이미지 생성부(110)에 의해 움직임 세그먼트의 번호를 부여되어 도시되었다. 움직임 마스크와 움직인 물체의 세그먼트 이미지가 유사하게 겹치기 때문에 움직임 세그먼트를 검출할 수 있다.
도 9는 본 발명의 실시 예에 따른 움직임 세그먼트 히스토그램 생성부가 생성하는 히스토그램의 예시도이다. 도 9를 참조하면, 움직임 세그먼트의 히스토그램을 생성한 후 미리 설정된 임계값 이상의 히스토그램 개수를 가지는 움직임 세그먼트의 번호를 검출하여 움직이는 물체를 검출할 수 있다.
한편, 상기 장치의 각각의 구성요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.
그리고 본 명세서에서 각 생성부, 적용부(또는 구성요소)라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합에 의해 구형될 수 있다. 예컨대, 상기 각 기능부는 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 10은 본 발명의 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 방법의 데이터 처리 과정의 순서도이다. 도 10을 참조하면, 먼저 현재 세그먼트 이미지 생성부(110)는 입력되는 현재 프레임의 깊이 이미지를 입력받을 수 있다. 입력받은 현재 프레임의 깊이 이미지를 대상으로 레이블링 과정을 수행하여 각각의 물체를 구별할 수 있는 세그먼트 이미지를 생성할 수 있다(1010). 생성된 세그먼트 이미지는 하기 자세히 설명될 움직임 세그먼트의 히스토그램 생성 과정에서 입력 신호로 사용될 수 있다.
또한, 각각의 물체를 구별할 수 있는 세그먼트 이미지에 대해서는 하기 도 11의 설명에서 상세히 설명되므로 생략한다.
배경 이미지 생성부(120)의 수행 과정은 상기 1010 과정과 동시에 이루어진다. 배경 이미지 생성부(120)는 입력되는 현재 프레임의 깊이 이미지를 바탕으로 이전 프레임의 배경 이미지를 생성하여 다시 배경 이미지 생성부(120)의 입력 신호로 피드백할 수 있다(1020). 이전 프레임의 배경 이미지의 생성에 대해서는 하기 도 12의 설명에서 상세히 설명되므로 생략한다.
그 후, 배경 이미지 생성부(120)는 피드백 되는 이전 프레임의 배경 이미지와 현재 프레임의 깊이 이미지를 입력받고, 이동 평균법을 수행하여 현재 프레임의 깊이 이미지를 반영하는 현재 배경 이미지를 생성하여 출력할 수 있다(1030). 여기서 현재 프레임의 깊이 이미지를 반영하는 현재 배경 이미지에 대해서는 하기 도 13의 설명에서 상세히 설명되므로 생략한다.
또한, 상기 현재 배경 이미지를 생성하는 과정(1030)에서 배경 이미지 생성부(120)는 현재 배경 이미지 생성 전에 입력되는 현재 프레임의 깊이 이미지 중 깊이 값을 0으로 가지는 각 픽셀에 최댓값을 할당하는 과정을 수행할 수 있다.
그 후, 움직임 마스크 생성부(130)는 상기 배경 이미지 생성부(120)로부터 출력되는 현재 배경 이미지와 깊이 값을 "0"으로 가지는 각 픽셀에 최댓값이 할당된 현재 프레임의 깊이 이미지를 입력받아 두 데이터 간의 차이 값을 계산할 수 있다. 이때 차이 값이 미리 설정된 임계값을 초과하는 경우에는 움직임 마스크의 값으로 1을 할당할 수 있다. 반면 차이 값이 미리 설정된 임계값의 이하인 경우에는 움직임 마스크의 값으로 "1"을 할당할 수 있다. 따라서 움직임 마스크 생성부(130)는 "0"과 "1"의 값으로 움직인 영역의 정보를 포함하는 이진 영상인 움직임 마스크를 생성하여 출력할 수 있다(1040). 여기서 움직임 마스크에 대해서는 하기 도 14의 설명에서 상세히 설명되므로 생략한다.
그 후, 움직임 마스크 모폴로지 적용부(140)는 상기 움직임 마스크 생성부(130)로부터 출력되는 움직임 마스크를 입력받아 잡음 성분이 제거되도록 모폴로지 연산을 수행하고, 모폴로지가 적용된 움직임 마스크를 생성하여 출력할 수 있다. 여기서 모폴로지가 적용된 움직임 마스크에 대해서는 하기 도 15의 설명에서 상세히 설명되므로 생략한다.
또한, 움직임 마스크 모폴로지 적용부(140)는 모폴로지 연산으로 침식 연산, 팽창 연산, 열림 연산, 닫힘 연산, 탐-헷 연산, 웰 연산, 모폴로지 그래디언트 연산 및 스무딩 연산 중 적어도 어느 하나의 연산법을 수행할 수 있다.
그 후, 움직임 세그먼트 히스토그램 생성부(150)는 상기 움직임 마스크 모폴로지 적용부(140)로부터 출력되는 모폴로지가 적용된 움직임 마스크와 상기 세그먼트 이미지 생성부(110)로부터 출력되는 세그먼트 이미지를 입력받을 수 있다. 입력받은 모폴로지가 적용된 움직임 마스크와 세그먼트 이미지를 샘플링한 후 움직인 부분에 해당하는 세그먼트들의 각각의 히스토그램을 생성할 수 있다(1060). 이때 생성된 각각의 세그먼트의 히스토그램의 개수가 미리 설정된 임계값 이상의 개수를 가지는 세그먼트 값들은 움직임 세그먼트로 결정하여 배경이 제거된 이미지를 출력할 수 있다. 반면 여기서 움직임 세그먼트의 히스토그램 개수가 미리 설정된 임계값 미만의 개수를 가지는 세그먼트 값들은 움직이지 않았다고 판단하여 제거하여 배경이 제거된 이미지를 출력할 수 있다.
도 11은 본 발명의 실시 예에 따른 세그먼트 이미지 생성부의 데이터 처리 과정의 순서도이다. 도 11을 참조하면, 먼저 세그먼트 이미지 생성부(110)는 현재 프레임의 깊이 이미지가 입력 중인가 판단할 수 있다(1011). 이때 현재 프레임의 깊이 이미지가 입력되는 경우에는 다음 과정을 수행할 수 있다. 반면 현재 프레임의 깊이 이미지가 입력되지 않는 경우에는 입력될 때까지 대기할 수 있다.
그 후, 입력받은 현재 프레임의 깊이 이미지의 픽셀 간의 거리 차이가 미리 설정된 임계값 값을 초과하는지 판단할 수 있다(1012). 이때 픽셀 간의 거리 차이가 미리 설정된 임계값 값을 초과하는 경우에는 서로 다른 물체에 속한 각각의 픽셀로 인식하고 레이블링할 수 있다(1013). 반면 픽셀 간의 거리 차이가 미리 설정된 임계값 값의 이하인 경우에는 서로 동일한 물체에 속한 픽셀들로 인식하고 레이블링할 수 있다(1014). 따라서 입력되는 현재 프레임의 깊이 이미지(1024)를 사용하여 각각의 물체를 구분할 수 있는 세그먼트 이미지를 생성할 수 있다(1015).
도 12는 본 발명의 실시 예에 따른 배경 이미지 생성부의 이전 프레임의 배경 이미지 데이터 처리 과정의 순서도이다. 도 12를 참조하면, 먼저 배경 이미지 생성부(120)는 첫 번째 입력되는 프레임의 깊이 이미지를 임시 저장소에 저장할 수 있다(1021). 저장된 첫 번째 입력되는 프레임의 깊이 이미지와 두 번째 입력되는 프레임의 깊이 이미지를 대상으로 이동 평균법을 수행할 수 있다(1022). 그 후, 이전 프레임의 배경 이미지를 생성할 수 있다(1023). 여기서 생성된 이전 프레임의 배경 이미지는 배경 이미지 생성부(120)의 입력 신호로 피드백할 수 있다.
또한, 이전 프레임의 배경 이미지의 생성 전에 상기 두 번째 입력되는 프레임의 깊이 이미지 중 깊이 값을 0으로 가지는 픽셀 값을 최댓값으로 할당할 수 있다.
도 13은 본 발명의 실시 예에 따른 배경 이미지 생성부의 데이터 처리 과정의 순서도이다. 도 13을 참조하면, 먼저 배경 이미지 생성부(120)는 현재 프레임의 깊이 이미지가 입력되고 있는지 판단할 수 있다(1031). 이때 현재 프레임의 깊이 이미지가 입력되는 경우에는 다음 과정을 진행할 수 있다. 반면 현재 프레임의 깊이 이미지가 입력되는 않는 경우에는 현재 프레임의 깊이 이미지가 입력될 때까지 대기할 수 있다.
그 후, 현재 프레임의 깊이 이미지가 입력되고 있는 경우에는 입력 신호 중 이전 프레임의 배경 이미지가 입력되고 있는지 판단할 수 있다(1032). 이때 이전 프레임의 배경 이미지가 입력되는 경우에는 다음 과정을 진행할 수 있다. 반면 이전 프레임의 배경 이미지가 입력되는 않는 경우에는 상기 도 12의 1020 과정으로 이동하여 이전 프레임의 배경 이미지를 생성할 수 있다.
그 후, 현재 프레임의 깊이 이미지와 이전 프레임의 배경 이미지가 입력되는 경우에는 현재 프레임의 깊이 이미지 중 깊이 값이 0인 각 픽셀에 최댓값을 할당할 수 있다(1033).
그 후, 깊이 값이 0인 각 픽셀에 최댓값을 할당된 현재 프레임의 깊이 이미지와 이전 프레임의 배경 이미지를 대상으로 이동 평균법을 수행할 수 있다(1034). 여기서 수행되는 이동 평균법은 가중치 값이 적용되어 수행될 수 있다. 이때 가중치 값은 미리 설정될 수 있으며 사용자에 의해 재설정될 수 있다.
그 후, 이동 평균법이 수행이 완료되면 현재 프레임의 깊이 이미지가 반영된 현재 배경 이미지를 생성하여 출력할 수 있다(1035).
도 14는 본 발명의 실시 예에 따른 움직임 마스크 생성부의 데이터 처리 과정의 순서도이다. 도 14를 참조하면, 먼저 움직임 마스크 생성부(130)는 깊이 값이 "0"인 각 픽셀에 최댓값을 할당된 현재 프레임의 깊이 이미지와 현재 배경 이미지를 입력 신호로 받을 수 있다. 상기 두 신호의 입력된 후 상기 두 신호 간의 차이를 계산할 수 있다(1041). 차이가 계산이 완료되면 계산된 차이가 미리 설정된 임계값을 초과하는지를 판단할 수 있다(1042). 이때 계산된 차이가 미리 설정된 임계값을 초과하는 경우에는 움직임 마스크의 값으로 "1"을 할당할 수 있다(1043). 반면 계산된 차이가 미리 설정된 임계값의 미만인 경우에는 움직임 마스크의 값으로 "0"을 할당할 수 있다(1044). 상기 1042 과정 내지 1044 과정을 통해 움직임 마스크의 값이 "0"과 "1"로 할당되어 움직임 마스크를 생성하여 출력할 수 있다(1045). 예를 들어 움직임 마스크 생성부(130)는 생성된 움직임 마스크는 "0"과 "1"의 값으로 움직인 영역의 정보를 포함하는 이진 영상의 움직임 마스크를 생성하여 출력할 수 있다.
도 15는 본 발명의 실시 예에 따른 움직임 마스크 모폴로지 적용부의 데이터 처리 과정의 순서도이다. 도 15를 참조하면, 먼저 움직임 마스크 모폴로지 적용부(140)는 움직임 마스크가 입력되고 있는지 판단할 수 있다(1051). 이때 움직임 마스크가 입력되는 경우에는 다음 과정을 진행할 수 있다. 반면 움직임 마스크가 입력되지 않는 경우에는 움직임 마스크가 입력될 때까지 대기할 수 있다.
그 후, 움직임 마스크가 입력되는 경우에는 입력된 움직임 마스크를 대상으로 모폴로지 연산 방법 중 침식 연산을 수행할 수 있다(1052). 침식 연산이 수행된 후 다시 모폴로지 연산 방법 중 팽창 연산을 수행할 수 있다(1053). 팽창 연산이 수행되면 잡음 성분이 제거된 모폴로지가 적용된 움직임 마스크를 생성하여 출력할 수 있다(1054). 여기서 모폴로지 연산 방법 중 침식 연산 후 침식 연산을 수행하는 열림 연산을 예를 들어 설명하였지만 이에 한정되지 않고, 모폴로지 연산으로 침식 연산, 팽창 연산, 열림 연산, 닫힘 연산, 탐-헷 연산, 웰 연산, 모폴로지 그래디언트 연산 및 스무딩 연산 중 적어도 어느 하나를 수행하여 잡음 성분을 제거할 수 있다.
도 16은 본 발명의 실시 예에 따른 움직임 세그먼트 히스토그램 생성부의 데이터 처리 과정의 순서도이다. 도 16을 참조하면, 움직임 세그먼트 히스토그램 생성부(150)는 세그먼트 이미지가 입력되고 있는지를 판단할 수 있다(1061). 이때 세그먼트 이미지가 입력되고 있으면 다음 과정을 진행할 수 있다. 반면 세그먼트 이미지가 입력되지 않으면 세그먼트 이미지가 입력될 때까지 대기할 수 있다.
그 후, 세그먼트 이미지가 입력되면, 모폴로지가 적용된 움직임 마스크가 입력되고 있는지를 판단할 수 있다(1062). 이때 모폴로지가 적용된 움직임 마스크가 입력되고 있으면 다음 과정을 진행할 수 있다. 반면 모폴로지가 적용된 움직임 마스크가 입력되지 않으면 모폴로지가 적용된 움직임 마스크가 입력될 때까지 대기할 수 있다.
그 후, 입력되는 세그먼트 이미지와 모폴로지가 적용된 움직임 마스크를 대상으로 샘플링할 수 있다(1063).
그 후, 움직인 부분(영역)에 해당하는 히스토그램을 생성할 수 있다(1064).
그 후, 생성된 각각의 세그먼트의 히스토그램의 개수가 미리 설정된 임계값 이상의 개수를 가지는지를 판단할 수 있다(1065). 이때 세그먼트의 히스토그램의 개수가 미리 설정된 임계값 이상의 개수를 가지는 경우에는 해당 세그먼트를 움직임 세그먼트로 결정할 수 있다(1066). 반면 세그먼트의 히스토그램의 개수가 미리 설정된 임계값 미만의 개수를 가지는 경우에는 세그먼트 값들은 움직이지 않았다고 판단하여 해당 세그먼트를 제거할 수 있다(1067).
그 후, 움직임 세그먼트가 판단된 배경이 제거된 이미지를 생성하여 출력할 수 있다(1068).
한편, 상술한 본 발명의 일 실시 예에 따른 깊이 정보를 사용한 움직인 물체 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital versatile disc)와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 깊이 이미지를 사용한 움직인 물체 검출 장치
110: 세그먼트 이미지 생성부 120: 배경 이미지 생성부
130: 움직임 마스크 생성부 140: 움직임 마스크 모폴로지 적용부
150: 움직임 세그먼트 히스토그램 생성부

Claims (25)

  1. 입력되는 제 1 프레임의 깊이 이미지를 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성하는 세그먼트 이미지 생성부;
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 이전 프레임인 제 2 프레임의 배경 이미지에 이동 평균법을 적용하여 상기 제 1 프레임의 배경 이미지를 생성하는 배경 이미지 생성부;
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 배경 이미지를 비교하여 상기 제 1 프레임의 깊이 이미지에서 움직인 부분을 검출하여 움직임 마스크를 생성하는 움직임 마스크 생성부; 및
    상기 움직임 마스크와 상기 세그먼트 이미지를 샘플링한 후, 상기 움직인 부분의 히스토그램을 생성하고, 움직임 세그먼트를 상기 히스토그램을 통해 판별하여 배경이 제거된 이미지를 출력하는 움직임 세그먼트 히스토그램 생성부를 포함하며,
    상기 움직임 세그먼트 히스토그램 생성부는,
    상기 움직임 마스크 및 상기 세그먼트 이미지에 기반하여, 상기 세그먼트 이미지에 포함된 복수의 세그먼트들 중 적어도 일부를 움직임 세그먼트로 판별하며,
    상기 히스토그램의 개수가 미리 설정된 임계값 이상을 갖는 경우에 움직임 세그먼트로 판별하고, 상기 히스토그램의 개수가 미리 설정된 임계값 미만인 경우에는 움직이지 않은 세그먼트로 판별하는, 깊이 이미지를 사용한 움직인 물체 검출 장치.
  2. 제 1항에 있어서, 상기 세그먼트 이미지는,
    상기 제 1 프레임의 깊이 이미지에 레이블링 알고리즘을 사용하여 생성되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  3. 제 1항에 있어서, 상기 배경 이미지 생성부는,
    상기 이동 평균법을 적용 전에 상기 제 1 프레임의 깊이 이미지에서 깊이 값을 "0"으로 가지는 각 픽셀에 최댓값을 할당하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  4. 제 1항에 있어서, 상기 제 2 프레임의 배경 이미지는,
    상기 배경 이미지 생성부로부터 다시 상기 배경 이미지 생성부로 입력되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  5. 제 1항에 있어서, 상기 움직임 마스크는,
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 배경 이미지의 차이가 미리 설정된 임계값을 초과할 경우 상기 움직임 마스크의 값으로 "1"이 할당되고, 그 외에는 "0"이 할당되어 생성되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  6. 제 1항에 있어서,
    상기 움직임 마스크에 모폴로지 연산을 적용하여 잡음 성분이 제거된 움직임 마스크를 생성하는 움직임 마스크 모폴로지 적용부를 더 포함하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  7. 제 6항에 있어서, 상기 제 2 프레임의 배경 이미지는,
    상기 움직임 마스크 모폴로지 적용부로부터 상기 배경 이미지 생성부로 입력되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  8. 제 6항에 있어서, 상기 움직임 마스크 모폴로지 적용부는,
    상기 움직임 마스크에 침식 연산을 적용한 후 팽창 연산을 적용하는 열림 연산을 사용하여 상기 움직임 마스크 내에 잡음 성분을 제거하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  9. 삭제
  10. 제 6항에 있어서, 상기 움직임 세그먼트 히스토그램 생성부는,
    샘플링 비율을 조절할 수 있는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  11. 제 6항에 있어서, 상기 히스토그램은,
    상기 움직인 부분의 좌표와 동일한 위치의 세그먼트의 값들로부터 생성되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 장치.
  12. 삭제
  13. 입력되는 제 1 프레임의 깊이 이미지를 사용하여 각각의 물체를 구분할 수 있도록 세그먼트 이미지를 생성하는 과정;
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 이전 프레임인 제 2 프레임의 배경 이미지에 이동 평균법을 적용하여 상기 제 1 프레임의 배경 이미지를 생성하는 과정;
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 배경 이미지를 비교하여 상기 제 1 프레임의 깊이 이미지에서 움직인 부분을 검출하여 움직임 마스크를 생성하는 과정;
    상기 움직임 마스크와 상기 세그먼트 이미지를 샘플링하는 과정;
    상기 움직인 부분의 히스토그램을 생성하는 과정;
    움직임 세그먼트를 상기 히스토그램을 통해 판별하여 배경이 제거된 이미지를 출력하는 과정; 및
    상기 움직임 마스크 및 상기 세그먼트 이미지에 기반하여, 상기 세그먼트 이미지에 포함된 복수의 세그먼트들 중 적어도 일부를 움직임 세그먼트로 판별하는 과정을 포함하며,
    상기 히스토그램의 개수가 미리 설정된 임계값 이상을 갖는 경우에 움직임 세그먼트로 판별하고, 상기 히스토그램의 개수가 미리 설정된 임계값 미만인 경우에는 움직이지 않은 세그먼트로 판별하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  14. 제 13항에 있어서, 상기 세그먼트 이미지는,
    상기 제 1 프레임의 깊이 이미지에 레이블링 알고리즘을 사용하여 생성되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  15. 제 13항에 있어서, 상기 제 1 프레임의 배경 이미지를 생성 전에,
    상기 제 1 프레임의 깊이 이미지에서 깊이 값을 "0"으로 가지는 각 픽셀에 최댓값을 할당하는 과정을 더 포함하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  16. 제 13항에 있어서, 상기 제 2 프레임의 배경 이미지는,
    상기 제 1 프레임의 배경 이미지 생성 과정에서 생성되어 상기 제 1 프레임의 배경 이미지 생성 과정에 입력되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  17. 제 13항에 있어서, 상기 움직임 마스크는,
    상기 제 1 프레임의 깊이 이미지와 상기 제 1 프레임의 배경 이미지의 차이가 미리 설정된 임계값을 초과할 경우 상기 움직임 마스크의 값으로 "1"이 할당되고, 그 외에는 "0"이 할당되어 생성되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  18. 제 13항에 있어서,
    상기 움직임 마스크에 모폴로지 연산을 적용하여 잡음 성분이 제거된 움직임 마스크를 생성하는 움직임 마스크 모폴로지 적용 과정을 더 포함하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  19. 제 18항에 있어서, 상기 제 2 프레임의 배경 이미지는,
    상기 움직임 마스크 모폴로지 적용 과정에서 생성되어 상기 상기 제 1 프레임의 배경 이미지 생성 과정으로 입력되는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  20. 제 18항에 있어서, 상기 움직임 마스크 모폴로지 적용 과정은,
    상기 움직임 마스크에 침식 연산을 적용한 후 팽창 연산을 적용하는 열림 연산을 사용하여 상기 움직임 마스크 내에 잡음 성분을 제거하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  21. 삭제
  22. 제 18항에 있어서, 상기 샘플링하는 과정은,
    샘플링의 비율을 조절할 수 있는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  23. 제 18항에 있어서, 상기 히스토그램을 생성하는 과정은,
    상기 움직인 부분의 좌표와 동일한 위치의 세그먼트의 값들로부터 생성하는 것을 특징으로 하는 깊이 이미지를 사용한 움직인 물체 검출 방법.
  24. 삭제
  25. 청구항 제20항, 제22항 및 제 23항 중 어느 한 항에 기재된 방법의 각 과정을 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020130064133A 2013-06-04 2013-06-04 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 KR102116791B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130064133A KR102116791B1 (ko) 2013-06-04 2013-06-04 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US14/295,962 US9489742B2 (en) 2013-06-04 2014-06-04 Apparatus, method and computer-readable recording medium for detecting moving object using depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130064133A KR102116791B1 (ko) 2013-06-04 2013-06-04 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20140142554A KR20140142554A (ko) 2014-12-12
KR102116791B1 true KR102116791B1 (ko) 2020-06-09

Family

ID=51985154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130064133A KR102116791B1 (ko) 2013-06-04 2013-06-04 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
US (1) US9489742B2 (ko)
KR (1) KR102116791B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834253B2 (ja) 2013-03-27 2015-12-16 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN104202533B (zh) * 2014-09-24 2019-05-21 中磊电子（苏州）有限公司 移动检测装置及移动检测方法
KR101866660B1 (ko) * 2016-10-19 2018-06-12 한국과학기술원 동적인 환경에서 배경모델에 기반한 rgb-d 시각 주행 거리 측정 방법 및 장치
CN108596128B (zh) * 2018-04-28 2020-06-26 京东方科技集团股份有限公司 对象识别方法、装置及存储介质
CN109087351B (zh) * 2018-07-26 2021-04-16 北京邮电大学 基于深度信息对场景画面进行闭环检测的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
US20130084006A1 (en) * 2011-09-29 2013-04-04 Mediatek Singapore Pte. Ltd. Method and Apparatus for Foreground Object Detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
JP4307910B2 (ja) * 2003-03-07 2009-08-05 富士フイルム株式会社 動画像切り出し装置および方法並びにプログラム
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8515134B2 (en) * 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8615136B2 (en) * 2010-10-08 2013-12-24 Industrial Technology Research Institute Computing device and method for motion detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
US20130084006A1 (en) * 2011-09-29 2013-04-04 Mediatek Singapore Pte. Ltd. Method and Apparatus for Foreground Object Detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dedeoglu et al. Silhouette based method for object classification and human action recognition in video. ECCV, 2006년 5월, pp. 64-77. 1부.*
Feng et al. Real time fingertip tracking and detection using Kinect depth sensor for a new writing in the air system. ICIMCS, 2012년, pp. 70-74. 1부.*

Also Published As

Publication number Publication date
US20140355831A1 (en) 2014-12-04
US9489742B2 (en) 2016-11-08
KR20140142554A (ko) 2014-12-12

Similar Documents

Publication Publication Date Title
KR102116791B1 (ko) 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101929560B1 (ko) 이미지 에지 검출 방법 및 장치
US10424341B2 (en) Dynamic video summarization
JP6509275B2 (ja) 画像の背景差分に用いられる背景モデルを更新する方法及び装置
CN108875465B (zh) 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
KR102492369B1 (ko) 텍스트 제거를 위한 이진화 및 정규화 기반 인페인팅
JP6608465B2 (ja) ジェスチャーの検知識別の方法及びシステム
KR101508310B1 (ko) 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치
Spruyt et al. Real-time multi-colourspace hand segmentation
CN106331746B (zh) 用于识别视频文件中的水印位置的方法和装置
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
US20190102889A1 (en) Post processing to improve motion detection results
KR101967858B1 (ko) 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105205786B (zh) 一种图像深度恢复方法及电子设备
KR102089523B1 (ko) 소형 표적 검출 장치 및 방법
JP2004038980A (ja) 画像を解析する方法、しきい値を生成する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するコンピュータ可読媒体および該方法を実行するように適応した装置
KR101380329B1 (ko) 영상의 변화를 검출하는 방법
US20200134323A1 (en) Information processing apparatus, control method, and program
KR101908938B1 (ko) 배경모델 기반 시간축 최소값 필터링 및 로그 히스토그램을 이용한 전경 객체 검출 방법
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
WO2012162200A2 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
KR101999338B1 (ko) 실시간 객체 트래킹 방법 및 장치
Rahmat et al. Removing shadow for hand segmentation based on background subtraction
KR101511671B1 (ko) 적외선 영상에서 비표적을 제거하는 방법 및 영상 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant