KR101870902B1

KR101870902B1 - 영상 처리 장치 및 영상 처리 방법

Info

Publication number: KR101870902B1
Application number: KR1020110133251A
Authority: KR
Inventors: 황원준; 김동수; 노경식; 심영보; 상성 후앙
Original assignee: 삼성전자주식회사
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2018-06-26
Also published as: JP6204659B2; KR20130066438A; US20130148853A1; US9311524B2; JP2013122763A

Abstract

얼굴 검출 기술과 깊이 영상을 이용한 인체 영역 추출(human segmentation) 기술을 정합함으로써, 움직이는 대상 중 사람만을 정확하게 분리하고, 움직임이 없는 사람(예: 첫 번째 프레임의 영상에 존재하는 사람)도 정확하게 분리할 수 있는 영상 처리 장치 및 영상 처리 방법을 제안한다.
이를 위해 본 발명은 입력되는 컬러 영상으로부터 사람의 얼굴을 검출하는 얼굴 검출부; 입력되는 첫 번째 프레임의 깊이 영상 및 얼굴 검출부의 검출 결과를 이용하여 배경 모델을 생성하는 배경 모델 생성/갱신부; 입력되는 두 번째 이후 프레임의 깊이 영상과 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고, 얼굴 검출부의 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출하는 후보 영역 추출부; 및 이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출하는 인체 영역 추출부를 포함한다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

입력 영상으로부터 인체(human body)와 같은 타깃 오브젝트(target object) 영역을 추출(분리)하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

최근 영상 처리 기술의 발달에 따라, 인체(human body)와 같은 타깃 오브젝트(target object)를 3D 모델링 하는 분야에 대한 관심이 커지고 있다. 인체를 3D 모델링 하는 경우, 가상 현실(virtual reality), 영화 또는 비디오 게임에서의 컴퓨터 그래픽(computer graphic; CG) 등에 활용될 수 있으므로, 활용도가 클 것으로 예상된다.

인체 영역 추출(human segmentation)이라는 명칭으로 불릴 수 있는 이러한 기술에 있어서, 종래에는 입력되는 첫 번째 프레임의 영상을 이용하여 배경 화면을 모델링하고(이 때, 배경에는 사람이 없다고 가정함), 이후에 입력되는 영상과 배경 화면을 비교함으로써 움직이는 모든 영역을 인체 영역으로 추출(분리)하였다. 이렇다 보니 종래 기술의 경우, 첫 번째 프레임의 영상에 사람이 존재할 때 이를 배경으로 분류하여 인체 영역을 분리해내지 못하는 문제점이 있었다. 또한 종래 기술의 경우, 입력 영상과 배경 화면을 비교하여 움직이는 모든 영역을 인체 영역으로 분리하기 때문에 사람이 아닌 움직이는 대상(예: 동물 등)까지도 사람(인체 영역)으로 분리되는 문제점이 있었다.

얼굴 검출 기술과 깊이 영상을 이용한 인체 영역 추출(human segmentation) 기술을 정합함으로써, 움직이는 대상 중 사람만을 정확하게 분리하고, 움직임이 없는 사람(예: 첫 번째 프레임의 영상에 존재하는 사람)도 정확하게 분리할 수 있는 영상 처리 장치 및 영상 처리 방법을 제안하고자 한다.

이를 위해 본 발명의 일 측면은 입력되는 컬러 영상으로부터 사람의 얼굴을 검출하는 얼굴 검출부; 입력되는 첫 번째 프레임의 깊이 영상 및 얼굴 검출부의 검출 결과를 이용하여 배경 모델을 생성하는 배경 모델 생성/갱신부; 입력되는 두 번째 이후 프레임의 깊이 영상과 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고, 얼굴 검출부의 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출하는 후보 영역 추출부; 및 이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출하는 인체 영역 추출부를 포함한다.

또한 인체 영역 추출부는: 경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 통해 상기 인체 영역을 찾아내는 제 1 연산부; 연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 통해 제 1 연산부에서 찾아낸 인체 영역을 확장시켜 인체 영역을 완성시키는 제 2 연산부; 및 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역을 추출하는 제 3 연산부를 포함한다.

또한 제 1 연산부는 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에서 추출된 하나의 점이 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 현재 프레임의 깊이 영상으로부터 추출한 후보 영역의 교차 영역에 속하면 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 교차 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 찾아내되, 경성 제약 조건은 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만인 경우를 나타낸다.

또한 제 1 연산부는 각 인접하는 점이 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 각 인접하는 점에 대해 에지 영역으로 설정한다.

또한 제 2 연산부는 에지 영역에 속하는 하나의 점을 추출하고, 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 상기 인체 영역을 추출하되, 연성 제약 조건은 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만인 경우를 나타낸다.

또한 제 3 연산부는 경성 제약 조건을 이용한 트래킹 수행 과정 및 연성 제약 조건을 이용한 트래킹 수행 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 속하는 하나의 점을 추출하고, 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 남아 있는 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 다른 새로운 라벨을 설정하여 남아있는 후보 영역으로부터 새로운 인체 영역을 추출한다.

또한 인체 영역 추출부는 추출된 인체 영역을 정제하여 최종 인체 영역을 추출하는 후처리부를 더 포함한다.

또한 얼굴 검출부는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영상을 검출한다.

또한 입력되는 깊이 영상의 샘플 수를 감소시켜 깊이 영상의 해상도를 낮추는 다운샘플링부를 더 포함한다.

또한 배경 모델 생성/갱신부는 입력되는 두 번째 이후 프레임의 깊이 영상을 배경 모델을 갱신한다.

본 발명의 다른 측면은 입력되는 깊이 영상으로부터 사람의 얼굴을 검출하는 얼굴 검출부; 입력되는 첫 번째 프레임의 깊이 영상 및 얼굴 검출부의 검출 결과를 이용하여 배경 모델을 생성하는 배경 모델 생성/갱신부; 입력되는 두 번째 이후 프레임의 깊이 영상과 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고, 얼굴 검출부의 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출하는 후보 영역 추출부; 및 이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출하는 인체 영역 추출부를 포함한다.

본 발명의 일 측면은 입력되는 컬러 영상으로부터 사람의 얼굴을 검출하고; 입력되는 첫 번째 프레임의 깊이 영상 및 얼굴 검출 결과를 이용하여 배경 모델을 생성하고; 입력되는 두 번째 이후 프레임의 깊이 영상과 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고; 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출하고; 이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출한다.

또한 인체 영역 추출하는 것은: 경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 통해 인체 영역을 찾아내고; 연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 통해 경성 제약 조건을 이용한 트래킹 수행 과정 찾아낸 인체 영역을 확장시켜 인체 영역을 완성시키고; 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역을 추출한다.

또한 경성 제약 조건을 이용한 트래킹 수행 과정은: 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에서 추출된 하나의 점이 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 현재 프레임의 깊이 영상으로부터 추출한 후보 영역의 교차 영역에 속하면 추출된 하나의 점에 인접하는 복수의 점들을 추출하고; 각 인접하는 점이 교차 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 찾아내는 것을 포함하되, 경성 제약 조건은 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만인 경우를 나타낸다.

또한 경성 제약 조건을 이용한 트래킹 수행 과정은: 각 인접하는 점이 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 각 인접하는 점에 대해 에지 영역으로 설정하는 것을 더 포함한다.

또한 경성 제약 조건을 이용한 트래킹 수행 과정은: 에지 영역에 속하는 하나의 점을 추출하고; 추출된 하나의 점에 인접하는 복수의 점들을 추출하고; 각 인접하는 점이 현재 프레임의 깊이 영상으로부터 추출한 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출하는 것을 포함하되, 연성 제약 조건은 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만인 경우를 나타낸다.

또한 새로운 인체 영역을 추출하는 것은: 경성 제약 조건을 이용한 트래킹 수행 과정 및 연성 제약 조건을 이용한 트래킹 수행 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 속하는 하나의 점을 추출하고; 추출된 하나의 점에 인접하는 복수의 점들을 추출하고; 각 인접하는 점이 남아 있는 후보 영역에 속하고 추출된 하나의 점과 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 각 인접하는 점에 대해 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 다른 새로운 라벨을 설정하여 남아있는 후보 영역으로부터 새로운 인체 영역을 추출한다.

또한 얼굴의 검출은 아다부스트(Adaboost) 알고리즘을 이용하여 수행된다.

또한 입력되는 깊이 영상의 샘플 수를 감소시켜 깊이 영상의 해상도를 낮추는 것을 더 포함한다.

입력되는 깊이 영상으로부터 사람의 얼굴을 검출하고; 입력되는 첫 번째 프레임의 깊이 영상 및 얼굴 검출 결과를 이용하여 배경 모델을 생성하고; 입력되는 두 번째 이후 프레임의 깊이 영상과 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고; 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출하고; 이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 후보 영역으로부터 인체 영역을 추출한다.

제안된 영상 처리 장치 및 영상 처리 방법에 의하면, 얼굴 검출 기술과 깊이 영상을 이용한 인체 영역 추출(human segmentation) 기술을 정합함으로써, 움직이는 대상 중 사람만을 정확하게 분리하고, 움직임이 없는 사람(예: 첫 번째 프레임의 영상에 존재하는 사람)도 정확하게 분리할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 처리 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
도 5는 도 3 및 도 4에 도시된 후보 영역 검색 과정을 도시한 흐름도이다.
도 6은 이전(t-1) 프레임에서 추출된 인체 영역과 현재(t) 프레임에서 추출된 후보 영역, 교차 영역 및 에지 영역의 개념을 설명하기 위한 도면이다.
도 7은 도 3 및 도 4에 도시된 경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 도시한 흐름도이다.
도 8은 하나의 점에 대해 인접하는 8개의 점들을 추출하는 방식을 설명하기 위한 도면이다.
도 9는 도 3 및 도 4에 도시된 연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 도시한 흐름도이다.
도 10은 도 3 및 도 4에 도시된 새로운 유효 영역 추출 과정을 도시한 흐름도이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치의 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 처리 장치(10)는 얼굴 검출부(20), 다운샘플링부(30), 배경 모델 생성/갱신부(40), 후보 영역 추출부(50), 인체 영역 추출부(60) 및 저장부(70)를 포함한다.

컬러 영상 정보 획득부(1)는 대상 공간을 일정 시간 간격으로 촬영하고, 촬영을 통해 얻은 대상 공간에 대한 컬러 영상 정보를 얼굴 검출부(20)로 전송한다. 컬러 영상 정보 획득부(1)로는 컬러 CCD(charge-coupled device) 카메라, 컬러 CMOS(complementary metal oxide) 카메라 등이 이용될 수 있으며, 이외에도 대상 공간에 대한 컬러 영상 정보를 획득할 수 있는 장치라면 어떠한 장치라도 사용 가능함은 물론이다.

깊이 영상 정보 획득부(2)는 대상 공간을 일정 시간 간격으로 촬영하여 얻은 3차원 깊이 영상으로부터 대상 공간 상에 존재하는 사람(인체)이나 물체에 대한 3차원 깊이(거리) 정보를 획득하는 3차원 측정 장비로, 최근 3차원 측정 장비의 기술 발달로 인해 대상 공간 상에 위치하는 다양한 물체에 대한 3차원 깊이 정보를 쉽게 획득할 수 있다.

깊이 영상 정보 획득부(2)로는 TOF(Time of Flight) 카메라가 이용될 수 있으며, TOF 카메라 이외에도 레이저 거리 센서, 초음파 센서 등 대상 공간 상에 위치하는 사람이나 물체에 대한 3차원 깊이 영상 정보를 획득할 수 있는 장치라면 어떠한 장치라도 사용 가능함은 물론이다.

TOF 카메라는 발광부에서 나온 적외선 광선이 물체에 반사되어 수광부로 돌아오는 시간을 측정하는 Time of Flight 방식을 이용하여 3차원 깊이 정보를 획득하는 장치로, 적외선 강도(intensity) 영상으로부터 3차원 깊이 정보를 별도의 복잡한 계산 과정 없이 산출할 수 있어 실시간으로 3차원 깊이 정보의 획득이 가능하다.

컬러 영상 정보 획득부(1) 및 깊이 영상 정보 획득부(2)는 각각 별도의 장치로 구성할 수도 있지만, 컬러 영상(RGB 영상)과 깊이 영상(depth 영상)을 동시에 촬영할 수 있는 단일 장치(예: kinect sensor, prime sensor)로 구성하는 것도 가능하다.

얼굴 검출부(20)는 컬러 영상 정보 획득부(1)로부터 전송된 입력 컬러 영상으로부터 배경 영역을 제거하고, 얼굴 내의 특정 구성 요소를 검출하고, 얼굴 영역 내의 특정 구성 요소를 기준으로 하여 얼굴 영상을 검출한다. 얼굴 검출부(20)는 입력되는 컬러 영상으로부터 대표적인 얼굴 검출 알고리즘인 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 정보를 추출하게 된다. 얼굴 검출부(20)는 얼굴 검출 수행 결과를 배경 모델 생성/갱신부(40) 및 후보 영역 추출부(50)에 전송한다.

다운샘플링부(30)는 깊이 영상 정보 획득부(2)로부터 입력되는 깊이 영상 정보의 샘플 수를 감소시킨다. 즉, 다운샘플링부(30)는 3차원 깊이(거리) 정보를 이용한 연산 수행 시 속도 개선을 위해 고해상도의 깊이 영상을 저해상도의 깊이 영상으로 변환시킨다. 예를 들어, 다운샘플링부(30)는 해상도 640ㅧ480의 입력 영상을 해상도 320ㅧ480의 영상으로 샘플링한다. 다운샘플링부(30)는 로우 패스 필터(low-pass filter) 기반 다운샘플링 방식(예: 3ㅧ3 weighted sum 방식)을 이용하여 입력되는 깊이 영상의 해상도를 변환시킨다.

배경 모델 생성/갱신부(40)는 다운샘플링부(30)로부터 전송된 첫 번째 프레임의 깊이 영상 정보 및 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 배경 모델을 생성한다. 또한 배경 모델 생성/갱신부(40)는 다운샘플링부(30)로부터 전송된 두 번째 이후의 프레임의 깊이 영상 정보를 이용하여 배경 모델을 갱신(업데이트)한다. 배경 모델 생성/갱신부(40)의 동작은 도 5를 참조하여 보다 상세하게 후술하기로 한다.

후보 영역 추출부(50)는 입력되는 깊이 영상 정보로부터 배경 모델보다 가까이 있는 영역(깊이 값이 임계값 미만인 영역)을 타깃 오브젝트 영역인 인체 영역이 될 수 있는 후보 영역으로 추출한다. 또한 후보 영역 추출부(50)는 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상(예: 동물 등)이라고 판단되는 영역은 후보 영역에서 제거한다. 후보 영역 추출부(50)의 동작은 도 5를 참조하여 보다 상세하게 후술하기로 한다.

인체 영역 추출부(60)는 이전 프레임의 깊이 영상에서 추출한 인체 영역(유효 영역)을 이용하여 현재 프레임의 깊이 영상에서 추출한 후보 영역으로부터 인체 영역(유효 영역)을 추출한다. 인체 영역 추출부(60)는 다시 제 1 연산부(62), 제 2 연산부(64), 제 3 연산부(66) 및 후처리부(68)를 포함하여 이루어진다.

제 1 연산부(62)는 경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 통해 인체 영역을 찾아낸다. 제 1 연산부(62)의 동작은 도 6 내지 도 8을 참조하여 보다 상세하게 후술하기로 한다.

제 2 연산부(64)는 연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 통해 제 1 연산부(62)에서 찾아낸 인체 영역(경성 제약 조건을 이용한 트래킹 수행의 결과로 추출된 인체 영역)을 확장시켜 인체 영역(유효 영역)을 완전하게 만든다. 제 2 연산부(64)의 동작은 도 9를 참조하여 보다 상세하게 후술하기로 한다.

제 3 연산부(66)는 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역(유효 영역)을 추출한다(예: 이전 프레임에서는 존재하지 않았던 새로운 사람이 출현한 경우, 이를 추출해 내는 과정임). 제 3 연산부(66)의 동작은 도 10을 참조하여 보다 상세하게 후술하기로 한다.

후처리부(68)는 추출된 인체 영역(선택된 픽셀들)에 대해 다양한 후처리(postprocessing), 예를 들면 아웃라이어(outlier) 제거, 홀(hole) 채우기, 로우 패스 필터링(low-pass filtering), 밴드 패스 필터링(band pass filtering) 등을 수행함으로써 최종 인체 영역(최종 타깃 오브젝트 영역)을 추출한다.

저장부(70)는 인체 영역 추출을 수행하기 위해 필요로 하는 사전 정보 및 인체 영역 추출의 수행 결과를 저장하기 위한 메모리로, 저장부(70)에는 경성 제약 조건을 이용한 트래킹 수행 과정에서 이용되는 제 1 설정값 정보, 연성 제약 조건을 이용한 트래킹 수행 과정에서 이용되는 제 2 설정값 정보, 얼굴 검출부(20)를 통해 수행된 얼굴 검출의 결과, 배경 모델 생성/갱신부(40)를 통해 생성되거나 갱신되는 배경 모델, 경성 제약 조건을 이용한 트래킹 및 경성 제약 조건을 이용한 트래킹 수행의 결과로 획득되는 인체 영역 추출 결과 등이 저장된다.

도 2는 본 발명의 다른 실시예에 따른 영상 처리 장치의 구성도이다.

본 발명의 다른 실시예에서는 얼굴 검출부(20)가 깊이 영상 정보 획득부(2)를 통해 획득된 깊이 영상으로부터 얼굴 영상을 검출할 수 있도록 구성된다. 즉, 본 발명의 다른 실시예에서는 얼굴 검출부(20)가 별도의 컬러 영상 정보를 입력 받아 얼굴 검출을 수행하는 것이 아니라, 인체 영역 추출을 위해 이용되는 깊이 영상 정보를 입력 받아 얼굴 영상을 검출할 수 있도록 구성된다는 점에서 본 발명의 실시예와 차이가 있다(본 발명의 실시예에서는 입력 영상 정보로서 컬러 영상 정보 및 깊이 영상 정보 두 가지를 모두 입력 받는데 비해, 본 발명의 다른 실시예에서는 입력 영상 정보로서 깊이 영상 정보만을 입력 받음).

도 2에 도시된 본 발명의 다른 실시예에 따른 영상 처리 장치(10)의 구성에서, 다운샘플링부(30)로부터 전송된 입력 깊이 영상으로부터 얼굴 영상을 검출하는 얼굴 검출부(20) 이외의 다른 구성 요소들은 도 1에 도시된 본 발명의 실시예에 따른 영상 처리 장치(10)의 구성과 동일하므로, 여기서는 자세한 설명을 생략하도록 한다.

이하에서는 도 3을 참조하여 본 발명의 실시예에 따른 영상 처리 방법을 설명하도록 한다.

인체 영역 추출 동작(영상 처리 수행)이 시작되면 먼저 얼굴 검출부(20)는 컬러 영상 정보 획득부(1)로부터 컬러 영상 정보를 입력받는다(100). 이후 얼굴 검출부(20)는 입력되는 컬러 영상으로부터 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 검출 동작을 수행한다(200).

다음으로, 얼굴 검출부(20)는 입력 컬러 영상에서 얼굴이 검출되었는가 여부를 판단한다(300).

입력 컬러 영상에서 얼굴이 검출되었으면(300에서의 '예') 얼굴 검출부(20)는 얼굴 검출의 수행 결과를 배경 모델 생성/갱신부(40) 및 후보 영역 추출부(50)로 전송하여 얼굴 검출 결과가 타깃 오브젝트 영역인 인체 영역이 될 수 있는 후보 영역을 검색하는 과정(600)에 반영될 수 있도록 한다.

한편, 입력 컬러 영상에서 얼굴이 검출되지 않았으면(300에서의 '아니오') 동작 1100으로 진행한다.

얼굴 검출부(20)가 컬러 영상 정보 획득부(1)로부터 컬러 영상 정보를 입력 받는 동안 다운샘플링부(30)는 깊이 영상 정보 획득부(2)로부터 깊이 영상 정보를 입력받는다(400). 즉, 컬러 영상 정보의 획득(100)과 깊이 영상 정보의 획득(400)은 동시에 또는 아주 짧은 시간차 간격으로 진행된다. 이후 다운샘플링부(30)는 입력되는 깊이 영상 정보의 샘플 수를 감소시킨다(500). 즉, 다운샘플링부(30)는 3차원 깊이(거리) 정보를 이용한 연산 수행 시 속도 개선을 위해 고해상도의 깊이 영상을 저해상도의 깊이 영상으로 변환시킨다.

다음으로, 배경 모델 생성/갱신부(40)는 다운샘플링부(30)로부터 전송된 첫 번째 프레임의 깊이 영상 정보 및 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 배경 모델을 생성한다. 또한 배경 모델 생성/갱신부(40)는 다운샘플링부(30)로부터 전송된 두 번째 이후의 프레임의 깊이 영상 정보를 이용하여 배경 모델을 갱신(업데이트)한다.

이후 후보 영역 추출부(50)는 입력되는 깊이 영상 정보로부터 배경 모델보다 가까이 있는 영역(깊이 값이 임계값 미만인 영역)을 타깃 오브젝트 영역인 인체 영역이 될 수 있는 후보 영역으로 추출한다. 또한 후보 영역 추출부(50)는 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상(예: 동물 등)이라고 판단되는 영역은 후보 영역에서 제거한다.

전술한 배경 모델의 생성, 배경 모델의 갱신 및 후보 영역의 추출 과정을 통칭하여 후보 영역 검색 과정(600)으로 정의한다. 후보 영역 검색 과정(600)은 도 5를 참조하여 보다 상세하게 후술하기로 한다.

다음으로, 제 1 연산부(62)는 경성 제약 조건을 이용한 트래킹을 수행하여 인체 영역을 찾아낸다(700). 경성 제약 조건을 이용한 트래킹 수행 과정 과정(600)은 도 6 내지 도 8을 참조하여 보다 상세하게 후술하기로 한다.

이후 제 2 연산부(64)는 연성 제약 조건을 이용한 트래킹을 수행하여 제 1 연산부(62)에서 찾아낸 인체 영역(경성 제약 조건을 이용한 트래킹 수행의 결과로 추출된 인체 영역)을 확장시켜 인체 영역(유효 영역)을 완전하게 만든다(800). 연성 제약 조건을 이용한 트래킹 수행 과정(800)은 도 9를 참조하여 보다 상세하게 후술하기로 한다.

다음으로, 제 3 연산부(66)는 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역(유효 영역)을 추출한다(900). 새로운 유효 영역 추출 과정(900)은 도 10을 참조하여 보다 상세하게 후술하기로 한다.

이후 후처리부(68)는 추출된 인체 영역(선택된 픽셀들)에 대헤 다양한 후처리(postprocessing), 예를 들면 아웃라이어(outlier) 제거, 홀(hole) 채우기, 로우 패스 필터링(low-pass filtering), 밴드 패스 필터링(band pass filtering) 등을 수행함으로써 최종 인체 영역(최종 타깃 오브젝트 영역)을 추출한다(1000).

다음으로, 인체 영역 추출 동작(영상 처리 수행)이 필요한가 여부를 판단한다(110). 여기서, 사용자로부터 인체와 같은 타깃 오브젝트를 3D 모델링하는 가상 현실(virtual reality), 영화 또는 비디오 게임 등의 정지 신호가 입력되면 인체 영역 추출 동작(영상 처리 수행)의 필요성이 없어진 것으로 판단한다.

인체 영역 추출 동작(영상 처리 수행)이 필요한 것으로 판단되면(1100에서의 '예') 영상 처리 장치(100)는 맨 처음 동작(100, 400)으로 돌아가 다음 프레임의 컬러 영상 정보 및 깊이 영상 정보를 획득하여 인체 영역 추출 동작을 계속적으로 수행한다.

한편, 인체 영역 추출 동작(영상 처리 수행)이 더 이상 필요하지 않은 것으로 판단되면(1100에서의 '아니오') 영상 처리 장치(100)는 인체 영역 추출 동작(영상 처리 수행)을 종료한다.

이하에서는 도 4를 참조하여 본 발명의 실시예에 따른 영상 처리 방법을 설명하도록 한다.

인체 영역 추출 동작(영상 처리 수행)이 시작되면 다운샘플링부(30)는 깊이 영상 정보 획득부(2)로부터 깊이 영상 정보를 입력받는다(400). 이후 다운샘플링부(30)는 입력되는 깊이 영상 정보의 샘플 수를 감소시킨다(500). 즉, 다운샘플링부(30)는 3차원 깊이(거리) 정보를 이용한 연산 수행 시 속도 개선을 위해 고해상도의 깊이 영상을 저해상도의 깊이 영상으로 변환시킨다.

다음으로, 얼굴 검출부(20)는 다운샘플링부(30)를 통해 입력되는 깊이 영상으로부터 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 검출 동작을 수행한다(510).

이후, 얼굴 검출부(20)는 입력 깊이 영상에서 얼굴이 검출되었는가 여부를 판단한다(520).

입력 깊이 영상에서 얼굴이 검출되었으면(520에서의 '예') 얼굴 검출부(20)는 얼굴 검출의 수행 결과를 배경 모델 생성/갱신부(40) 및 후보 영역 추출부(50)로 전송하여 얼굴 검출 결과가 타깃 오브젝트 영역인 인체 영역이 될 수 있는 후보 영역을 검색하는 과정(600)에 반영될 수 있도록 한다.

한편, 입력 깊이 영상에서 얼굴이 검출되지 않았으면(520에서의 '아니오') 동작 1100으로 진행한다.

본 발명의 다른 실시예에서는 얼굴 검출부(20)가 깊이 영상 정보 획득부(2)를 통해 획득된 깊이 영상으로부터 얼굴 영상을 검출한다. 즉, 본 발명의 다른 실시예에서는 얼굴 검출부(20)가 별도의 컬러 영상 정보를 입력 받아 얼굴 검출을 수행하는 것이 아니라, 인체 영역 추출을 위해 이용되는 깊이 영상 정보를 입력 받아 얼굴 영상을 검출한다는 점에서 본 발명의 실시예와 차이가 있다.

도 4에 도시된 본 발명의 다른 실시예에 따른 영상 처리 방법에서, 동작 600 내지 동작 1100은 도 3에 도시된 본 발명의 실시예에 따른 영상 처리 방법의 동작 600 내지 동작 1100과 동일하므로, 여기서는 자세한 설명을 생략하도록 한다.

이하에서는 도 5를 참조하여 도 3 및 도 4에 도시된 후보 영역 검색 과정을 설명하도록 한다.

먼저, 배경 모델 생성/갱신부(40)는 다운샘플링부(30)로부터 입력된 깊이 영상이 첫 번째 프레임의 영상인지 여부를 판단한다(610).

입력된 깊이 영상이 첫 번째 프레임의 영상이면(610에서의 '예') 배경 모델 생성/갱신부(40)는 첫 번째 프레임의 깊이 영상 정보 및 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 배경 모델을 생성하고(620), 동작 1100으로 이동한다.

종래 기술의 경우, 입력되는 첫 번째 프레임의 영상에 사람이 존재할 때 이(사람)를 배경으로 인지하여 인체 영역을 분리해내지 못하는 문제점이 있었다. 하지만, 본 발명의 실시예에서는 배경 모델링 과정에 얼굴 검출 결과를 반영하여 첫 번째 프레임에서도 사람(인체)의 위치를 판별함으로써, 첫 번째 프레임의 영상에 사람이 존재하는 경우에도 이를 배경에 포함시키지 않고 정확하게 분리해낼 수 있다. 즉, 본 발명의 실시예는 인체 영역 추출의 기동(起動)을 위해 사람이 반드시 움직여야 하는 문제를 해결할 수 있다.

한편, 동작 610의 판단 결과 입력된 깊이 영상이 첫 번째 프레임의 영상이 아니면 즉, 입력된 깊이 영상이 두 번째 이후의 프레임의 영상이면(610에서의 '아니오') 배경 모델 생성/갱신부(40)는 입력된 두 번째 이후의 프레임의 깊이 영상 정보를 이용하여 배경 모델을 갱신한다(630). 이 때, 배경 모델 생성/갱신부(40)는 현재 저장되어 있는 배경 영역보다 멀리 있는 영역의 깊이 영상 정보가 입력되면 이 깊이 영상 정보를 이용하여 현재 저장되어 있는 배경 모델을 갱신한다. 또한 배경 모델 생성/갱신부(40)는 깊이 영상 정보 획득부(2)의 노이즈로 인해 빈(blank) 영역으로 남아 있는 배경 영역을 갱신하거나, 첫 번째 프레임의 영상에 사람이 존재하여 배경에서 제외되었던 영역이 두 번째 이후의 프레임의 영상에서 사람이 이동하여 나타나게 되면 그 제외되었던 영역(첫 번째 프레임의 영상에 사람이 존재하던 영역)을 배경 영역으로 갱신한다.

다음으로, 후보 영역 추출부(50)는 입력되는 깊이 영상 정보로부터 배경 모델보다 가까이 있는 영역(깊이 값이 임계값 미만인 영역)을 타깃 오브젝트 영역인 인체 영역이 될 수 있는 후보 영역으로 모델링한다. 또한 후보 영역 추출부(50)는 얼굴 검출부(20)로부터 전송된 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상(예: 동물 등)이라고 판단되는 영역은 후보 영역에서 제거하여 최종적인 후보 영역을 추출한다. 즉, 본 발명의 실시예에서는 후보 영역 추출 과정에 얼굴 검출 결과를 반영함으로써, 움직이는 대상 중에서 사람(인체)만을 정확하게 분리해낼 수 있다.

도 6은 이전(t-1) 프레임에서 추출된 인체 영역과 현재(t) 프레임에서 추출된 후보 영역, 교차 영역 및 에지 영역의 개념을 설명하기 위한 도면이다.

도 6에서, 참조 부호 A로 표시된 점선 표시의 직사각형은 이전(t-1) 프레임에서 추출된 인체 영역을 나타내고, 참조 부호 B로 표시된 실선 표시의 직사각형은 현재(t) 프레임에서 추출된 후보 영역을 나타낸다. 또한, 참조 부호 C로 표시된 빗금친 영역은 이전 프레임에서 추출된 인체 영역과 현재 프레임에서 추출된 후보 영역의 교차 영역(cross region)을 나타내고, 참조 부호 E로 표시된 도트(dot) 표시 영역은 에지 영역(edge region)을 나타낸다.

이하에서는 도 6 내지 도 8을 참조하여 도 3 및 도 4에 도시된 경성 제약 조건을 이용한 트래킹 수행 과정을 설명하도록 한다.

먼저, 제 1 연산부(62)는 후보 영역 추출부(50)를 통해 현재의 프레임에서 추출된 후보 영역에 속하는 하나의 점을 추출한다(710).

다음으로, 제 1 연산부(62)는 추출된 점이 이전 프레임에서 추출된 인체 영역과 현재 프레임에서 추출된 후보 영역의 교차 영역에 속하는가 여부를 판단한다(720).

추출된 점이 이전 프레임에서 추출된 인체 영역과 현재 프레임에서 추출된 후보 영역의 교차 영역에 속하지 않으면(720에서의 '아니오') 제 1 연산부(62)는 다시 동작 710으로 돌아가 현재의 프레임에서 추출된 후보 영역에 속하는 다른 하나의 점을 추출한다.

한편, 추출된 점이 이전 프레임에서 추출된 인체 영역과 현재 프레임에서 추출된 후보 영역의 교차 영역에 속하면(720에서의 '예') 제 1 연산부(62)는 추출된 하나의 점에 인접하는 8개의 점들을 추출한다(730). 여기서, 추출된 점에 인접하는 8개의 점들은 도 8에 도시된 바와 같이, 추출된 점(x, y)을 상하좌우, 대각선 방향에서 포위하는 8개의 점들을 의미한다.

이후 제 1 연산부(62)는 인접하는 점이 교차 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 1 설정값(예: 50㎜) 미만(경성 제약 조건 만족)인가 여부를 판단한다(740).

인접하는 점이 교차 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면(740에서의 '예') 제 1 연산부(62)는 동작 740에서의 조건을 만족시키는 인접하는 점들에 대해 이전 프레임에서 추출된 인체 영역(유효 영역)과 동일한 라벨을 설정한다(750). 예를 들어, 이전 프레임에서 추출된 인체 영역에 대해 라벨 "1"을 설정(저장)하였다면 동작 740에서의 조건을 만족시키는 인접하는 점들에 대해서도 동일한 라벨 "1"을 설정한다.

한편, 동작 740에서의 조건을 만족시키지 않으면(740에서의 '아니오') 제 1 연산부(62)는 인접하는 점이 현재의 프레임에서 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 2 설정값(예: 500㎜) 미만인가 여부를 판단한다(760).

인접하는 점이 현재의 프레임에서 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 2 설정값(예: 500㎜) 미만이면(760에서의 '예') 제 1 연산부(62)는 동작 760에서의 조건을 만족시키는 인접하는 점들에 대해 에지 영역(E)으로 설정한다(770).

한편, 동작 760에서의 조건을 만족시키지 않으면(760에서의 '아니오') 제 1 연산부(62)는 인접하는 점들을 무시(skip)하고 동작 780으로 이동한다.

다음으로, 제 1 연산부(62)는 후보 영역에 존재하는 모든 점들에 대한 검사(동작 740, 760에서의 조건을 만족시키는지 여부에 대한 검사)가 완료되었는가 여부를 판단한다(780).

후보 영역에 존재하는 모든 점들에 대한 검사가 완료되지 않았으면(780에서의 '아니오') 제 1 연산부(62)는 동작 730으로 돌아가 동작 750에서 이전 프레임의 유효 영역과 동일한 라벨이 설정된 점들 각각에 인접하는 8개의 점들을 추출하여 전술한 동작 740 내지 동작 770을 후보 영역에 존재하는 모든 점들에 대한 검사가 완료될 때까지 반복적으로 수행한다.

한편, 후보 영역에 존재하는 모든 점들에 대한 검사가 완료되었으면(780에서의 '예') 제 1 연산부(62)는 경성 제약 조건을 이용한 트래킹 수행의 결과를 제 2 연산부(64)로 전송한다.

이하에서는 도 6, 도 8 및 도 9를 참조하여 도 3 및 도 4에 도시된 연성 제약 조건을 이용한 트래킹 수행 과정을 설명하도록 한다. 연성 제약 조건을 이용한 트래킹 과정에서는 경성 제약 조건을 이용한 트래킹 과정에서 설정된 에지 영역을 기준으로 다시 한 번 주변 영역으로 확장하면서 경성 제약 조건으로 인해 인체 영역(유효 영역)으로 추출되지 않았던 영역을 연성 제약 조건을 이용한 트래킹 수행 결과 추출된 인체 영역에 합치거나, 크기가 작은 유효 영역이어서 노이즈로 가정되어 삭제되었던 영역을 복원하게 된다.

먼저, 제 2 연산부(64)는 경성 제약 조건을 이용한 트래킹 수행 과정에서 설정된 에지 영역(E)에 속하는 하나의 점을 추출한다(810).

다음으로, 제 2 연산부(64)는 동작 810을 통해 추출된 하나의 점에 인접하는 8개의 점들을 추출한다(820). 여기서, 추출된 점에 인접하는 8개의 점들은 도 8에 도시된 바와 같이, 추출된 점(x, y)을 상하좌우, 대각선 방향에서 포위하는 8개의 점들을 의미한다.

이후 제 2 연산부(64)는 인접하는 점이 현재의 프레임에서 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 2 설정값(예: 500㎜) 미만(연성 제약 조건 만족)인가 여부를 판단한다(830).

인접하는 점이 현재의 프레임에서 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면(830에서의 '예') 제 2 연산부(64)는 동작 830에서의 조건을 만족시키는 인접하는 점들에 대해 이전 프레임에서 추출된 인체 영역(유효 영역)과 동일한 라벨을 설정한다(840). 예를 들어, 이전 프레임에서 추출된 인체 영역에 대해 라벨 "1"을 설정(저장)하였다면 동작 830에서의 조건을 만족시키는 인접하는 점들에 대해서도 동일한 라벨 "1"을 설정한다.

한편, 동작 830에서의 조건을 만족시키지 않으면(830에서의 '아니오') 제 2 연산부(64)는 인접하는 점들을 무시(skip)하고 동작 850으로 이동한다.

다음으로, 제 2 연산부(64)는 에지 영역에 존재하는 모든 점들에 대한 검사(동작 830에서의 조건을 만족시키는지 여부에 대한 검사)가 완료되었는가 여부를 판단한다(850).

에지 영역에 존재하는 모든 점들에 대한 검사가 완료되지 않았으면(850에서의 '아니오') 제 2 연산부(64)는 동작 820으로 돌아가 동작 840에서 이전 프레임의 유효 영역과 동일한 라벨이 설정된 점들 각각에 인접하는 8개의 점들을 추출하여 전술한 동작 830 내지 동작 840을 에지 영역에 존재하는 모든 점들에 대한 검사가 완료될 때까지 반복적으로 수행한다.

한편, 에지 영역에 존재하는 모든 점들에 대한 검사가 완료되었으면(850에서의 '예') 제 2 연산부(64)는 연성 제약 조건을 이용한 트래킹 수행의 결과를 제 3 연산부(66)로 전송한다.

이하에서는 도 6, 도 8 및 도 10을 참조하여 도 3 및 도 4에 도시된 새로운 유효 영역 추출 과정을 설명하도록 한다. 새로운 유효 영역 추출 과정에서는 경성 제약 조건을 이용한 트래킹 과정 및 연성 제약 조건을 이용한 트래킹 과정에서 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역(유효 영역)을 추출한다. 예를 들어, 이전 프레임에서는 존재하지 않았던 새로운 사람이 출현한 경우에 이를 추출해 내는 과정을 의미한다.

먼저, 제 3 연산부(66)는 현재의 프레임에서 새롭게 추출된 후보 영역에 속하는 하나의 점을 추출한다(910).

다음으로, 제 3 연산부(66)는 동작 910을 통해 추출된 하나의 점에 인접하는 8개의 점들을 추출한다(920). 여기서, 추출된 점에 인접하는 8개의 점들은 도 8에 도시된 바와 같이, 추출된 점(x, y)을 상하좌우, 대각선 방향에서 포위하는 8개의 점들을 의미한다.

이후 제 3 연산부(66)는 인접하는 점이 현재의 프레임에서 새롭게 추출된 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 1 설정값(예: 50㎜) 미만(경성 제약 조건 만족)인가 여부를 판단한다(930).

인접하는 점이 현재의 프레임에서 새롭게 추출된 후보 영역에 속하고, 추출된 하나의 점과 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면(930에서의 '예') 제 3 연산부(66)는 동작 930에서의 조건을 만족시키는 인접하는 점들에 대해 이전 프레임에서 추출된 인체 영역(유효 영역)과 다른 새로운 라벨을 설정한다(940). 예를 들어, 이전 프레임에서 추출된 인체 영역에 대해 라벨 "1"을 설정(저장)하였다면 동작 930에서의 조건을 만족시키는 인접하는 점들에 대해서는 새로운 라벨 "2"를 설정한다.

한편, 동작 930에서의 조건을 만족시키지 않으면(930에서의 '아니오') 제 3연산부(66)는 인접하는 점들을 무시(skip)하고 동작 950으로 이동한다.

다음으로, 제 3 연산부(66)는 새로운 후보 영역에 존재하는 모든 점들에 대한 검사(동작 930에서의 조건을 만족시키는지 여부에 대한 검사)가 완료되었는가 여부를 판단한다(950).

에지 영역에 존재하는 모든 점들에 대한 검사가 완료되지 않았으면(950에서의 '아니오') 제 3 연산부(66)는 동작 920으로 돌아가 동작 940에서 이전 프레임의 유효 영역과 다른 새로운 라벨이 설정된 점들 각각에 인접하는 8개의 점들을 추출하여 전술한 동작 930 내지 동작 940을 새로운 후보 영역에 존재하는 모든 점들에 대한 검사가 완료될 때까지 반복적으로 수행한다.

한편, 새로운 후보 영역에 존재하는 모든 점들에 대한 검사가 완료되었으면(950에서의 '예') 제 3 연산부(66)는 새로운 유효 영역 추출 수행의 결과를 후처리부(68)로 전송한다.

10 : 영상 처리 장치 20 : 얼굴 검출부
30 : 다운샘플링부 40 : 배경 모델 생성/갱신부
50 : 후보 영역 추출부 60 : 인체 영역 추출부
70 : 저장부

Claims

입력되는 컬러 영상으로부터 사람의 얼굴을 검출하는 얼굴 검출부;
입력되는 첫 번째 프레임의 깊이 영상 및 상기 얼굴 검출부의 검출 결과를 이용하여 배경 모델을 생성하는 배경 모델 생성/갱신부;
입력되는 두 번째 이후 프레임의 깊이 영상과 상기 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고, 상기 얼굴 검출부의 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 상기 후보 영역에서 제거하여 최종적인 후보 영역을 추출하는 후보 영역 추출부; 및
이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하는 인체 영역 추출부를 포함하는 영상 처리 장치.
제 1 항에 있어서, 상기 인체 영역 추출부는:
경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 통해 상기 인체 영역을 찾아내는 제 1 연산부;
연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 통해 상기 제 1 연산부에서 찾아낸 상기 인체 영역을 확장시켜 상기 인체 영역을 완성시키는 제 2 연산부; 및
상기 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 상기 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역을 추출하는 제 3 연산부를 포함하는 영상 처리 장치.
제 2 항에 있어서, 상기 제 1 연산부는 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에서 추출된 하나의 점이 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역의 교차 영역에 속하면 상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 상기 교차 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 찾아내되,
상기 경성 제약 조건은 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 상기 제 1 설정값 미만인 경우를 나타내는 영상 처리 장치.
제 3 항에 있어서, 상기 제 1 연산부는 상기 각 인접하는 점이 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 상기 각 인접하는 점에 대해 에지 영역으로 설정하는 영상 처리 장치.
제 4 항에 있어서, 상기 제 2 연산부는 상기 에지 영역에 속하는 하나의 점을 추출하고, 상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하되,
상기 연성 제약 조건은 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 상기 제 2 설정값 미만인 경우를 나타내는 영상 처리 장치.
제 5 항에 있어서, 상기 제 3 연산부는 상기 경성 제약 조건을 이용한 트래킹 수행 과정 및 상기 연성 제약 조건을 이용한 트래킹 수행 과정에서 상기 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 속하는 하나의 점을 추출하고, 상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고, 각 인접하는 점이 상기 남아 있는 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 다른 새로운 라벨을 설정하여 상기 남아있는 후보 영역으로부터 상기 새로운 인체 영역을 추출하는 영상 처리 장치.
제 2 항에 있어서, 상기 인체 영역 추출부는 상기 추출된 인체 영역을 정제하여 최종 인체 영역을 추출하는 후처리부를 더 포함하는 영상 처리 장치.
제 7 항에 있어서, 상기 얼굴 검출부는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영상을 검출하는 영상 처리 장치.
제 1 항에 있어서,
상기 입력되는 깊이 영상의 샘플 수를 감소시켜 상기 깊이 영상의 해상도를 낮추는 다운샘플링부를 더 포함하는 영상 처리 장치.
제 1 항에 있어서,
상기 배경 모델 생성/갱신부는 상기 입력되는 두 번째 이후 프레임의 깊이 영상을 이용하여 상기 배경 모델을 갱신하는 영상 처리 장치.
입력되는 깊이 영상으로부터 사람의 얼굴을 검출하는 얼굴 검출부;
입력되는 첫 번째 프레임의 깊이 영상 및 상기 얼굴 검출부의 검출 결과를 이용하여 배경 모델을 생성하는 배경 모델 생성/갱신부;
입력되는 두 번째 이후 프레임의 깊이 영상과 상기 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고, 상기 얼굴 검출부의 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 상기 후보 영역에서 제거하여 최종적인 후보 영역을 추출하는 후보 영역 추출부; 및
이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하는 인체 영역 추출부를 포함하는 영상 처리 장치.
입력되는 컬러 영상으로부터 사람의 얼굴을 검출하고;
입력되는 첫 번째 프레임의 깊이 영상 및 상기 얼굴 검출 결과를 이용하여 배경 모델을 생성하고;
입력되는 두 번째 이후 프레임의 깊이 영상과 상기 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고;
상기 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 상기 후보 영역에서 제거하여 최종적인 후보 영역을 추출하고;
이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하는 영상 처리 방법.
제 12 항에 있어서, 상기 인체 영역 추출하는 것은:
경성 제약 조건(hard constraint)을 이용한 트래킹 수행 과정을 통해 상기 인체 영역을 찾아내고;
연성 제약 조건(soft constraint)을 이용한 트래킹 수행 과정을 통해 상기 경성 제약 조건을 이용한 트래킹 수행 과정 찾아낸 상기 인체 영역을 확장시켜 상기 인체 영역을 완성시키고;
상기 경성 제약 조건을 이용한 트래킹 및 연성 제약 조건을 이용한 트래킹 과정에서 상기 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 대한 검사를 통해 새로운 인체 영역을 추출하는 영상 처리 방법.
제 13 항에 있어서, 상기 경성 제약 조건을 이용한 트래킹 수행 과정은:
상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에서 추출된 하나의 점이 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역의 교차 영역에 속하면 상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고;
각 인접하는 점이 상기 교차 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 찾아내는 것을 포함하되,
상기 경성 제약 조건은 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 상기 제 1 설정값 미만인 경우를 나타내는 영상 처리 방법.
제 14 항에 있어서, 상기 경성 제약 조건을 이용한 트래킹 수행 과정은:
상기 각 인접하는 점이 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 상기 각 인접하는 점에 대해 에지 영역으로 설정하는 것을 더 포함하는 영상 처리 방법.
제 15 항에 있어서, 상기 경성 제약 조건을 이용한 트래킹 수행 과정은:
상기 에지 영역에 속하는 하나의 점을 추출하고;
상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고;
각 인접하는 점이 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 2 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 동일한 라벨을 설정하여 상기 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하는 것을 포함하되,
상기 연성 제약 조건은 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 상기 제 2 설정값 미만인 경우를 나타내는 영상 처리 방법.
제 16 항에 있어서, 상기 새로운 인체 영역을 추출하는 것은:
상기 경성 제약 조건을 이용한 트래킹 수행 과정 및 상기 연성 제약 조건을 이용한 트래킹 수행 과정에서 상기 인체 영역으로 추출되지 않은 남아 있는 후보 영역에 속하는 하나의 점을 추출하고;
상기 추출된 하나의 점에 인접하는 복수의 점들을 추출하고;
각 인접하는 점이 상기 남아 있는 후보 영역에 속하고 상기 추출된 하나의 점과 상기 각 인접하는 점 사이의 깊이 차가 제 1 설정값 미만이면 상기 각 인접하는 점에 대해 상기 이전 프레임의 깊이 영상으로부터 추출한 인체 영역과 다른 새로운 라벨을 설정하여 상기 남아있는 후보 영역으로부터 상기 새로운 인체 영역을 추출하는 영상 처리 방법.
제 12 항에 있어서, 상기 얼굴의 검출은 아다부스트(Adaboost) 알고리즘을 이용하여 수행되는 영상 처리 방법.
제 12 항에 있어서,
상기 입력되는 깊이 영상의 샘플 수를 감소시켜 상기 깊이 영상의 해상도를 낮추는 것을 더 포함하는 영상 처리 방법.
입력되는 깊이 영상으로부터 사람의 얼굴을 검출하고;
입력되는 첫 번째 프레임의 깊이 영상 및 상기 얼굴 검출 결과를 이용하여 배경 모델을 생성하고;
입력되는 두 번째 이후 프레임의 깊이 영상과 상기 배경 모델을 비교하여 인체 영역이 될 수 있는 후보 영역을 생성하고;
상기 얼굴 검출 결과를 이용하여 사람이 아닌 움직이는 대상이라고 판단되는 영역은 상기 후보 영역에서 제거하여 최종적인 후보 영역을 추출하고;
이전 프레임의 깊이 영상으로부터 추출한 인체 영역을 이용하여 현재 프레임의 깊이 영상으로부터 추출한 상기 최종적인 후보 영역으로부터 상기 인체 영역을 추출하는 영상 처리 방법.