KR20030062584A - 객체 추출방법 - Google Patents

객체 추출방법 Download PDF

Info

Publication number
KR20030062584A
KR20030062584A KR1020020002840A KR20020002840A KR20030062584A KR 20030062584 A KR20030062584 A KR 20030062584A KR 1020020002840 A KR1020020002840 A KR 1020020002840A KR 20020002840 A KR20020002840 A KR 20020002840A KR 20030062584 A KR20030062584 A KR 20030062584A
Authority
KR
South Korea
Prior art keywords
region
area
color
extraction
head
Prior art date
Application number
KR1020020002840A
Other languages
English (en)
Other versions
KR100438303B1 (ko
Inventor
이진수
김현준
이지은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0002840A priority Critical patent/KR100438303B1/ko
Publication of KR20030062584A publication Critical patent/KR20030062584A/ko
Application granted granted Critical
Publication of KR100438303B1 publication Critical patent/KR100438303B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이동 통신 환경에서, 이미지에서 객체를 자동으로 추출하는 방법에 관한 것이다.
본 발명은 입력된 영상이 첫 프레임일 경우 객체 영역을 추출하고 해당 객체 영역 추출에 이용된 추출정보를 학습하여 저장하는 초기 추출단계, 입력된 영상이 첫 프레임 이후의 프레임일 경우 상기 학습된 추출정보를 이용해서 객체 영역을 추출하는 이후 추출단계; 로 이루어진 객체 영역 추출방법으로서, 상기 학습된 추출정보의 유효성을 판단하여 유효하지 않은 경우에는 초기 추출단계를 수행하고, 유효할 경우에만 이후 추출단계를 수행한다.
본 발명에서 상기 객체는 사람 얼굴 영역, 사람 얼굴 영역을 기반으로 추출되는 사람 머리 영역, 사람 얼굴 영역을 기반으로 추출되는 사람 몸 영역, 사람 얼굴과 머리 및 몸으로 이루어지는 사람 영역인 것을 특징으로 한다.

Description

객체 추출방법{OBJECT DETECTION SYSTEM}
본 발명은 이전 영상 프레임에서의 객체 학습 정보를 기반으로 하여 현재 영상 프레임에서 해당 객체를 분리하여 검출하는 방법에 관한 것이다.
영상 프레임에서 특정 객체를 분리하는 기술은 대부분 실시간 처리가 어렵거나 다양한 데이터에 대해 만족할 만한 결과를 주지 못하고 있다. 특히 이동 카메라 환경, 즉 움직이는 배경에서 사람과 같은 객체를 분리하는 것은 더욱 어렵다.
종래에 객체를 분리하는 기술로는 차영상과 에지 영상을 이용하여 객체를 분리하는 방법이 있다. 이 방법은 사용하는 특징정보가 단순하여 빠른 처리는 가능하지만 복잡한 화면에서는 분리가 어렵고, 배경은 정지되어 있고 움직이는 물체가 객체라는 전제 하에 분리를 행하므로 이동 카메라 환경에는 적용하기 어렵다. 종래에 객체를 분리하는 또 다른 기술로는 영상 프레임에서 칼라 정보를 기반으로 하여 특정 객체를 분리하는 기법이 있다. 알려진 기법으로는 칼라가 일정한 영역을 분리한 후 이를 다시 병합하는데 상당한 처리 시간이 걸리기 때문에 실시간 처리를 요하는 이동 통신 환경에는 역시 적용하기 어려운 문제가 있다.
칼라 정보를 기반으로 하여 객체를 분리하는 기술 중에서 얼굴 영역을 추출하는 방법이 있다. 이 방법은 색공간 내에서 살색에 해당하는 범위를 사전에 정의하여 해당 범위에 속한 픽셀, 즉 살색을 갖는 픽셀들만을 사용하여 얼굴 영역을 지정하는 방법이다.
상기 기술한 칼라 기반의 얼굴영역 추출은 모두 사전에 스킨 칼라의 범위를 정의하여 이를 이용하는데, 이 방법은 빠른 프로세싱 시간을 요하는 장점을 가지고 있는 반면, 다음과 같은 이유로 실제 적용하기에 적합하지 않다.
같은 사람의 얼굴을 다양한 장소와 다양한 촬영장치를 사용하여 취득한 영상에서 살색 영역에 대한 색상을 분석하면 각 영상마다 색상이 매우 다양하게 나타난다. 즉, 살색 영역이 색상에 따라 색좌표 상에서 매우 다양하게 나타나므로, 사전에 모든 가능한 살색 범위를 지정할 경우 그 범위가 너무 광범위하게 되어 한 영상에서 살색 이외의 영역을 포함하는 경우가 많아진다. 이러한 원인은 크게 조명에 따라 색이 왜곡되는 조명에 의한 색상 왜곡과, 영상을 취득하는 장치에 의존적인 영상 취득장치에 의한 색상 왜곡, 그리고 영상의 재생장치에 의존적인 재생장치에 의한 색상 왜곡 등이 있다. 상기 기술한 두번째와 세번째의 경우는 영상 취득 및 재생 기술이 자연 영상의 칼라를 그대로 반영시킬 수 있는 수준에 다다르지 못하는 이유와 이를 보정하기 위하여 자체적인 색상 필터 등을 적용하기 때문에 야기된다.
상기 기술한 문제점 때문에 칼라 이외의 정보를 사용한 얼굴 영역 추출방법으로 탬플리트 매칭을 이용한 방법도 제안되고 있다. 이 방법은 사람 얼굴의 탬플리트를 구성하고 구성된 탬플리트를 이미지 전 영역에 대해서 최소 사이즈에서 출발하여 최대 사이즈까지 크기를 조절해 가면서 스캔 및 매칭해 나가는 방법이다.
그러나 이 방법은 탬플리트 매칭 회수가 매우 많기 때문에 탬플리트 크기가 작아도 프로세싱 시간이 매우 길다는 문제점이 따른다. 또 다른 종래의 기술로는 상기 살색 영역을 이용하는 방법과 탬플리트를 이용하는 방법을 조합하여 얼굴을 검출하는 방법이 있다.
지금까지 기술한 것과 같이 정지된 배경을 전제로 하여 오브젝트 분리 기술을 개발하는 것은 분리 기술 자체가 정지된 배경일 경우 움직임 정보를 사용하여 오브젝트를 추출할 수 있으므로, 보다 쉽게 접근할 수 있기 때문이다. 하지만 이동 카메라 환경일 경우 오브젝트와 배경을 구분할 수 있는 특별한 특징 정보가 없어 현재까지는 기술적인 한계로 상용화하지 못하고 있는 실정이다. 그럼에도 불구하고 실제 응용에서는 PC 카메라와 같은 유선환경 보다는 IMT2000과 같은 무선환경에서 오브젝트 분리 기술을 더 요구하고 있다. 이것은 무선 환경이 유선환경보다 네트워크 환경이 더 취약하기 때문이다.
오브젝트 분리 기술은 상기 기술하였듯이 제한된 네트워크 환경에서 고화질의 영상을 전송하는 데 이용될 뿐 아니라 다양한 영상 편집에도 유용하게 이용될 수 있다. 예를 들어 비디오 메일과 같이 오프라인 편집이 가능한 경우, 얼굴 이외의 배경을 재미있는 다른 탬플리트로 전환하거나, 경우에 따라서는 선글래스를 부착한 모습, 다른 헤어스타일로 변환한 모습 등으로 편집하여 전환된 영상을 전송할 수도 있다. 이는 사용자가 자신이 있는 위치의 배경이 맘에 들지 않거나, 상대방에게 나타내기를 꺼리는 경우 유용하게 사용될 수 있다.
본 발명은 화상 통신을 위한 영상 프레임에서 사람 영역을 분리할 때, 이전 영상 프레임에서 사용한 사람 영역 추출정보를 학습하여 현재 프레임에서의 사람 영역 추출에 이용함으로써, 사람 영역을 실시간 분리하여 객체 기반의 비트율 조절이나, 비디오 편집 등에 응용할 수 있도록 한 사람 영역 추출방법을 제공함을 그 목적으로 한다.
또한 본 발명을 확장하여, 영상 프레임에서 특정한 객체를 추출할 때 이전 프레임에서 사용한 객체 추출 정보를 학습하여 현재 프레임에서의 객체 추출시 이용하도록 함으로써 객체 추출을 실시간으로 보다 빠르고 정확하게 추출할 수 있도록 한 객체 추출방법을 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은 입력된 영상이 첫 프레임일 경우 객체 영역을 추출하고 해당 객체 영역 추출에 이용된 추출정보를 학습하여 저장하는 초기 추출단계, 입력된 영상이 첫 프레임 이후의 프레임일 경우 상기 학습된 추출정보를 이용해서 객체 영역을 추출하는 이후 추출단계; 로 이루어진 것을 특징으로 하는 객체 영역 추출방법을 제공한다.
또한 본 발명의 객체 영역 추출방법에서, 상기 학습된 추출정보의 유효성을 판단하여 유효하지 않은 경우에는 초기 추출단계를 수행하고, 유효할 경우에만 이후 추출단계를 수행함을 특징으로 한다.
또한 본 발명의 객체 영역 추출방법에 의하여 추출되는 객체는, 살색 칼라를 기반으로 하여 추출되는 사람 얼굴 영역이거나, 추출된 사람 얼굴 영역을 기반으로 하여 추출되는 사람 머리 영역이거나, 추출된 사람 얼굴 영역을 기반으로 하여 추출되는 사람 몸 영역이거나, 상기 추출된 얼굴과 머리 및 몸으로 이루어지는 사람 영역인 것을 특징으로 한다.
도1은 본 발명의 객체 추출방법의 전체적인 과정을 나타낸 플로우차트
도2는 본 발명 응용 예로 사람 영역 추출방법의 전체적인 과정을 나타낸 플로우차트
도3은 본 발명에서 칼라 그룹화를 이용한 얼굴 영역 추출 방법을 나타낸 플로우차트
도4는 본 발명에서 칼라 그룹화를 위한 중심영역을 설명하기 위한 도면
도5는 본 발명에서 칼라 그룹화 과정을 나타낸 플로우차트
도6은 본 발명에 적용되는 얼굴 모델의 예를 나타낸 도면
도7은 본 발명에서 머리 참조 영역을 설명하기 위한 도면
도8은 본 발명에서 머리 틀을 설명하기 위한 도면
도9는 본 발명에서 머리 영역 추출방법을 나타낸 플로우차트
도10은 본 발명에서 몸 참조 영역을 설명하기 위한 도면
도11은 본 발명에서 몸 틀을 설명하기 위한 도면
도12는 본 발명에서 몸 영역 추출방법을 나타낸 플로우차트
도13은 본 발명에서 객체 학습을 고려한 얼굴 영역 추출방법의 플로우차트
도14는 본 발명에서 객체 학습을 고려한 머리 영역 추출방법의 플로우차트
도15는 본 발명에서 객체 학습을 고려한 몸 영역 추출방법의 플로우차트
도16은 본 발명에서 객체 학습을 고려한 얼굴 영역 검출방법의 다른 실시예를 나타낸 플로우차트
동영상은 연속된 정지영상 집합이라고 할 수 있다. 화상 통신 환경에서의 주요영역은 사람 영역이며 특히 얼굴 영역은 가장 중요한 영역이다. 본 발명에서 사람 영역을 추출하는 방법은 최초로 첫 영상에서 사람 영역을 추출하는 초기 추출 단계와, 초기 추출 단계에서 추출된 정보를 이용하여 이후 영상에서 연속적으로 사람 영역을 추출하는 이후 추출 단계로 나눌 수 있다.
도1은 이러한 본 발명의 객체 추출방법의 전체적인 프로세스를 나타낸다.
객체 추출을 위해서 영상 입력단계(S11)에서 입력된 영상에 대하여 첫번째 영상인지를 판단한다(S12). 입력 영상이 첫번째 프레임일 경우에는 초기 추출 단계(S13)에 의해 해당 객체 영역이 추출되고 초기의 객체 추출에 사용되었던 정보를 학습하여 저장한다(S14). 입력 영상이 첫번째 이후의 프레임인 경우에는 상기 첫번째 프레임에 대한 객체 추출시의 학습정보가 유효한가를 판단한다(S16). 학습 정보가 유효하지 않다면 초기 추출단계(S13)부터 다시 실행하고, 학습 정보가 유효하다면 그 학습정보를 이용한 이후 추출단계(S17)를 실행하고 이후 추출 단계에서의 학습정보를 저장한다(S18). 상기 일련의 과정을 마지막 영상까지 실행함으로써 학습에 의한 객체 추출이 이루어진다(S15).
상기한 이후 추출 단계(S17)에서는 초기 추출 단계(S13)에서 사용한 추출 알고리즘을 기반으로 하되 초기 추출 단계에서 취득된 정보(학습 정보)를 사용함으로써 초기 추출 단계에서 사용한 알고리즘들의 일부를 생략할 수 있다. 시간과 환경이 바뀌면 앞에서 추출된 정보가 더 이상 맞는 정보가 아닐 수 있는데, 예를 들어 조명이 바뀌는 등의 환경 변화에 의해 더 이상 학습정보가 현재 입력 영상에 적용될 수 없게 된다. 따라서 이러한 경우를 판단하는 학습 정보 유효 판단 단계(S16)를 먼저 수행함으로써, 학습 정보가 유효할 경우 이후 추출 단계(S17)를 수행하고 유효하지 않을 경우 초기 추출 단계(S13)를 다시 수행하는 것이다. 각 단계 별로 자세한 객체 추출방법을 살펴보면 다음과 같다
1. 초기 추출 과정
도2는 객체의 추출을 사람 영역에 대해서 실행하는 경우를 보인 사람 영역 검출방법의 전체적인 플로우차트이다.
상기 기술하였듯이 입력된 영상이 첫번째 프레임일 경우 초기 추출 단계를 수행한다. 초기 추출 단계와 이후 추출 단계 모두 기본적으로는 얼굴 영역 추출과정, 머리 영역 추출과정, 몸 영역 추출과정으로 구성된다.
도2는 사람 영역을 추출하기 위한 본 발명의 사람 영역 검출방법의 전체 프로세스를 보여준다. 먼저, 영상이 CIF나 QCIF로 입력되면 입력된 영상을 44*36 픽셀 크기로 줄이는 리사이징(resizing)을 수행한다(S21,S22). 이러한 리사이징은 이 정도의 크기의 이미지를 처리하게 되면 전체적인 성능에는 영향을 주지 않으면서도 매우 빠른 처리가 가능하기 때문이다.
다음에는 줄여진 영상에서 먼저 얼굴 영역을 추출한다(S23,S24). 얼굴 영역의 추출은 살색을 기반으로 한 얼굴 후보 영역을 추출하는 과정(S23)과, 얼굴 영역을 확인하는 과정(S24)을 통해서 수행된다. 얼굴 영역의 추출이 이루어진 후에는 추출된 얼굴 영역을 기반으로 머리 영역을 추출하고(S25), 또한 상기 추출된 얼굴 영역을 기반으로 하여 몸 영역을 추출한다(S26). 여기서 머리 영역의 추출과 몸 영역의 추출 순서는 바뀔 수도 있다.
다음에는 상기 추출된 얼굴과 머리, 몸 영역을 합쳐서 사람 영역으로 하고, 후처리 과정(S27)(이 과정은 후에 상세하게 설명하기로 한다)을 거치고, 다시 원래의 영상 크기로 확대(resizing)하는 과정(S28)을 통해 사람 영역의 추출이 끝나게 된다.
이와 같이 전체 프로세스는 초기 추출단계와 이후 추출단계가 동일하지만 각 단계를 자세히 살펴보면 초기 추출단계에는 주어진 영상만을 분석하여 상기 기술한 과정을 수행하지만, 이후 추출단계에서는 이전에 추출한 결과의 정보를 활용하여 일부 정보를 다시 추출하지 않고 재사용함으로써 보다 단순한 과정을 통해 객체(이 경우는 얼굴영역, 머리영역, 몸영역; 사람영역)를 추출할 수 있다.
지금까지 기술한 바와 같이 본 발명에 따른 사람 영역 추출방법은, 얼굴 영역을 추출하는 과정, 머리 영역을 추출하는 과정, 몸 영역을 추출하는 과정으로 이루어지고 각각의 과정에는 초기 추출단계와 이후 추출단계가 포함된다.
먼저 초기 추출단계에 의한 얼굴 영역 추출방법, 머리 영역 추출방법, 몸 영역 추출방법으로 각각 나누어 더욱 상세히 설명한다.
1.1 얼굴 영역 추출방법(초기 추출단계)
얼굴 영역의 추출은 살색 영역 추출을 기반으로 한다. 살색 영역이란 영상의각 픽셀이 가지는 칼라 값이 사람의 살색 범위에 해당하는지를 조사하여 이를 이용하는 방법이다. 이 방법은 처리 속도는 빠르지만 조명이나 영상 취득 장치에 따라 다양하게 변조되는 색상의 다양성으로 인하여 살색의 범위가 너무 광범위한 문제가 있다. 즉, 살색 범위에 속하는 픽셀을 취하더라도 사람의 피부 이외의 영역도 살색으로 오인되어 추출되는 문제가 일반적으로 나타난다. 이를 해결하기 위해서 본 발명에서는 살색 영역에 속한 픽셀들 중에서 서로 유사한 칼라 그룹이 모여 있을 경우 이를 하나의 칼라 그룹(color group)으로 보고, 칼라 그룹별로 얼굴 후보 영역을 추출하여 최종적인 얼굴 영역을 추출하는 방법을 취하였다.
이러한 방법을 통해 광범위한 살색 범위로 인하여 살색으로 오인되는 배경이 있더라도 실제 얼굴 영역과 구분할 수 있게 된다. 이 것은 한 프레임 내에서는 같은 조명에 같은 영상 취득장치를 사용했기 때문에 살색이 일정한 범위 안에 나타나기 때문이다. 또한 사람의 얼굴, 즉 하나의 오브젝트 내에서는 굴곡에 따른 그림자로 인하여, 밝기의 차이가 나는 것 이외에는 단순한 칼라 분포를 갖는 칼라들로 구성되기 때문이다.
도3은 얼굴 영역 추출방법을 보여준다. 영상이 입력되면 모든 픽셀에 대하여 각 픽셀의 칼라가 살색 영역 안에 속하는지를 비교 판단한다(S31). 여기서 살색 영역에 대한 판단 조건은 사전에 준비된 학습 데이터를 이용하여 사전 정의되었다. 살색 영역 안에 속하는 지의 비교는 특정 색공간에서 그 범위를 지정하여, 주어진 픽셀의 칼라가 해당 범위 내에 포함되어 있는지를 판단하게 된다. RGB 색공간에서 정의된 살색 범위는 다음과 같이 정의된다.
if(r>b.AND.r>g)
｛
if(b>g)
if(r+g>100.AND.r+g<480.AND.r-g>5.AND.r-g<100)
살색;
else
살색아님;
else
if(r+b>100.AND.r+b<480.AND.r-b.AND.r-b<100)
살색;
else
살색아님
｝
else
살색아님;
이와 같이 살색 영역으로 판단된 픽셀들에 대해서 칼라 히스토그램을 구성한다(S22). 여기서 칼라 히스토그램은 두 가지를 생성하게 되는데, 먼저 입력 영상의 전체 영역에서 살색 영역에 해당하는 영역들에 대해서 히스토그램(hist)을 추출하고 나면, 영상의 중심 영역 내에서 나타난 살색 영역들을 대상으로 히스토그램(cneter_hist)을 추출한다. 중심 영역은 도4에서 나타나 있듯이 중심으로부터 일정 영역을 의미하며, 본 발명의 실시 예에서는 세로축에 대해서는 전체 이미지 세로 길이의 66%, 가로축에 대해서는 전체 이미지 가로 길이의 42%에 해당하는 길이를 갖는 부분 영역을 중심을 기준으로 지정하였다. 이와 같이 중심 영역에서 히스토그램을 따로 구성하는 이유는 이후에서 기술될 칼라 그룹화 단계에서, 칼라 분포가 가장 큰 칼라라도 중심에 모여 있는 칼라가 아니면 우선 순위를 중심에 모여 있는 칼라보다 후순위로 하기 위함이다. 이는 칼라 그룹화를 할 때에 중심에 모여 있는 칼라 그룹을 먼저 생성함으로써 얼굴 영역에 있는 유사한 칼라들을 하나로 모두 묶는데 효과적일 뿐 아니라, 추출된 칼라 그룹 중 가장 얼굴 영역일 확률이 높은 칼라 그룹을 지정할 수 있게 한다.
히스토그램(hist)과 중앙 히스토그램(center_hist)이 모두 구해지고 나면 이 두 히스토그램을 가지고 칼라 그룹화를 시행한다(S33). 그룹화 단계는 다음 도5에서 자세히 설명된다. 살색 칼라 범위에 속한 살색 칼라들은 칼라 그룹화에 의해 보통 2 내지 3개의 칼라 그룹으로 묶어진다. 이들 2 내지 3개의 칼라 그룹 중에서 중요도가 높은 하나의 칼라 그룹을 우선 얼굴 영역 후보로 지정하고(S34), 탬플리트 매칭 등의 얼굴 확인 작업(S35)을 통해 최종적으로 얼굴 영역을 추출할 수 있다.
탬플리트 매칭이란 사전에 통계적으로 얻은 얼굴 탬플리트를 구성한 후 탬플리트와 후보 영역을 비교하여 유사하면 얼굴 영역이라고 판단하는 비교 방법이다.
만일 첫번째 중요도를 갖는 칼라 그룹에 속한 영역에서 매칭되는 얼굴이 없을 경우 다음 중요도를 갖는 칼라 그룹에 속한 영역에서 탬플리트 매칭을 시도한다. 하지만 본 실험에 의하면 통신환경에서 대부분 첫번째 중요도를 갖는 칼라 그룹에 속한 영역에서 얼굴 영역이 검출되었다. 따라서 이러한 얼굴 확인 과정은 경우에 따라 생략될 수도 있다. 이렇게 구해진 얼굴 영역을 포함하는 MBR(Minimum Boundary Rectangle)을 구하고(S36), MBR에 적합한 얼굴 모델(face model)을 얼굴 영역으로 정한다. 얼굴 모델(Face model)은 사전에 정의된 얼굴의 일반적인 모양으로서, 이후 머리 영역과 몸 영역을 추출하는데 사용된다. 얼굴 모델(Face model)은 도6에 나타나 있다.
상기 기술한 두개의 칼라 히스토그램(hist, center_hist)을 가지고 수행되는 칼라 그룹화 과정은 도5에 나타나 있다.
먼저, 칼라 그룹화를 처음 시도하는가를 판단한다(S41). 처음 시도하는 경우에는 중앙 히스토그램(center_hist)에서 가장 큰 빈값을 갖는 binmax를 구한다(S42).
만일 binmax의 값(V(binmax))이 일정 임계치(Th1) 보다 크면 binmax의 칼라(C(binmax))와 유사한 칼라를 갖는 빈들을 구하여 집합A로 세팅하고(S43,S44,S45), 그렇지 않으면 종료한다.
다음 단계(S46)에서는 히스토그램(hist)에서 집합A에 속한 빈(bin) 값들을 모두 더하고, 값을 임계치(Th2)와 비교한다(S47). 히스토그램(hist)에서 집합A에 속한 빈 값을 모두 더한 값(Portion)이 임계치(Th2) 보다 크면 집합A에 속한 빈들을 모두 하나의 칼라 그룹에 해당하도록 설정하고 이를 중요도1의 칼라 그룹으로 정한다(S48). 그런 다음 히스토그램(hist)에서 집합A에 속한 빈들을 모두제외한다(S49). 만일 히스토그램(hist)에서 집합A에 속한 빈 값을 모두 더한 값(Portion)이 임계치(Th2) 보다 작으면 히스토그램에서 binmax만을 제외하고 처음 단계(S41)로 이동한다.
상기 과정이 한 번 실행되면 이후부터는 단계(S43)부터 실행하여 히스토그램(hist)에서 가장 큰 빈 값 binmax을 찾아 그 이하의 과정(S44-S49)을 반복한다.
1.2 머리 영역 추출방법(초기 추출단계)
상기 기술한 얼굴 영역 추출의 결과를 사용하여 사람의 머리 영역을 추출하는 과정을 행한다. 머리 영역의 추출은 크게 칼라, 에지, 모양 등 세 가지 정보를 사용한다. 각 정보를 이용하는 방법을 살펴보면 다음과 같다.
1.2.1 칼라(homogeneous color)를 이용한 머리 후보 영역 추출
사람의 머리색은 인종뿐만 아니라 개인의 특성과 기호에 따라서도 매우 다양하다. 따라서 특정한 색을 머리색으로 지정하여 머리 영역을 추출할 수 없다. 또한, 머리 모양도 다양하므로 얼굴 영역을 기준으로 특정한 영역을 강제로 분리하여 머리 영역이라고 칭할 수도 없다. 본 발명에서는 얼굴 영역을 기준으로 머리 영역일 확률이 높은 일부 영역(머리 참조 영역(hair reference region)이라고 함)에서 평균 칼라를 취하여 이를 머리 참조 칼라로 지정한 후, 이와 동일한 칼라를 지닌 영역들을 구하여 머리 영역의 후보로 지정하는 방법을 사용한다. 이렇게 함으로써 다양한 머리색을 포함한 문제들을 해결할 수 있다.
얼굴 영역이 주어졌을 때 머리 참조 영역은 도7에 나타낸 바와 같이 정의된다. 도7의 (a)에서 얼굴 영역의 상단 중 양쪽 일부분을 머리 참조영역으로 하여 평균 칼라를 취하였다. 이와 같이 양쪽을 모두 머리 참조영역으로 취함으로써, 잡음으로 인한 잘못된 머리 참조 칼라를 구하는 문제점을 줄일 수 있다. 만일 얼굴의 상단이 화면 끝에 붙어 있을 경우는 머리 참조 영역의 대부분이 화면 바깥쪽에 위치하여 도7의 (a)와 같이 머리 참조 칼라를 구할 수 없다. 이러한 경우는 도7의 (b)에 나타낸 바와 같이 얼굴 영역의 양쪽 끝에서 머리 참조 영역을 구하게 된다. 얼굴 상단이 화면의 끝에 붙어 있는지의 여부는 얼굴 영역의 좌표를 통해서 쉽게 판단할 수 있다.
상기 기술한 방법은 대부분 좋은 결과를 나타낼 수 있지만, 얼굴 영역이 정확하지 않거나 대머리 등의 예외적인 경우가 발생할 경우 머리 참조 영역이 실제 머리가 아닌 영역을 포함할 수 있어 잘못된 후보 영역을 추출하는 경우도 있을 수 있다. 이러한 문제점을 해결하기 위해, 일반적인 경우 보다 높은 정확성을 갖도록 머리색 범위를 사용하였다. 즉, 광범위한 머리색 범위를 사전에 지정하여 머리 참조영역에 포함된 픽셀이 머리색 범위에 속했을 때에만 평균 칼라에 참여하도록 하는 것이다. 이러한 방법은 예외적인 머리색을 지닌 경우 해결하지 못하는 문제점이 있으나, 범위가 광범위하여 대부분의 문제에 적합하고, 예외적인 경우에는 머리색 범위를 사용하지 않을 수도 있기 때문에 선택적인 적용이 가능하다. 즉, 일반적인 경우 보다 높은 정확성을 갖고, 예외적인 경우 덜 정확하더라도 해결할 수 있도록 선택적 사용을 가능하게 하였다.
1.2.2 에지 정보를 이용한 머리 후보 오류 영역 제거
이동 통신 환경에서는 야외에서 영상을 취득하는 경우가 많다. 야외가 배경이어서 숲이나 나무 같은 배경이 머리 뒤에 위치할 경우에는 같은 머리색으로 구분되지 않을 경우가 많다. 이러한 경우, 머리 영역과 배경 영역을 구분하기 위해 에지 정보를 사용한다. 상기 구해진 머리 후보 영역에서 에지가 검출된 픽셀은 제외시킨다. 일반적으로 머리 영역에는 에지가 생성되지 않으며 머리 영역과 배경과의 경계나 배경 중에는 에지가 검출된다. 따라서 에지가 검출된 픽셀을 제외시킬 경우 머리색으로 오인된 배경 중 일부가 제외됨과 동시에, 머리 영역과 배경과의 경계 부분이 대부분 제외된다. 다음에는, 남은 영역들을 연결된 픽셀들을 하나의 영역으로 묶는 연결 요소(connected component)를 구한다. 이 경우 머리 영역과 배경과의 경계 대부분이 에지로 인하여 지워졌기 때문에 머리 영역과 배경은 서로 다른 영역으로 레이블링된다. 따라서 추출된 얼굴과 붙어 있는 연결 요소(connected component)만을 머리 영역으로 판단하면 대부분의 배경 영역이 지워지게 된다. 본 발명에서 에지는 Roberts filter에 의해 구하였다 Roberts filter는 다음의 수학식 1과 같이 정의된다.
1.2.3 모양 정보에 의한 오류 방지
상기 기술한 머리 영역 추출 알고리즘은 모두 얼굴 영역을 중심으로 사전 정의된 모양틀 내부에서 이루어진다. 모양틀은 도8과 같다. 얼굴 영역이 추출되면 해당하는 크기와 가로 세로 비율로 모양틀은 재구성되며, 재구성된 모양틀 내부에서 상기 기술한 과정이 이루어지게 된다. 이는 처리의 오류로 인해 배경 영역이 머리 영역으로 잘못 오인되는 경우라도 강제로 머리보다 떨어진 영역을 제함으로써 최악의 경우를 방지하는 효과가 있다. 또한 제한된 영역에서만 처리가 이루어지므로 불필요한 처리 시간을 줄이는 효과도 있다. 모양틀은 일반적인 머리 영역에 비해 훨씬 크게 정의되었으므로 실제 머리 영역이 모양틀로 인해 제외되는 경우를 방지하였다.
지금까지 칼라, 에지, 모양 정보를 사용하여 머리 영역을 추출하는 단위 알고리즘에 대해서 기술하였다. 이를 종합하여 머리 영역을 추출하는 전체적인 과정을 나열하면 도9와 같다.
입력으로 사용되는 영상은 앞서 기술한 전체 프로세스에서 이미 리사이징을 거친 영상이므로 44*36(CFI/8 = 44*36) 영상이고, 얼굴 영역도 이미 추출된 상태이다.
먼저, 앞서 추출된 얼굴 영역을 사용하여 머리 후보 영역을 머리틀을 사용하여 정의한다(S51). 다음 단계(S52)부터 모든 과정은 머리틀에 의해 제한된 후보 영역을 대상으로 이루어진다. 다음 대상 픽셀들 중에서 사전에 정의된 머리 색 범위에 해당하는 픽셀을 구하여 이를 집합 H(set H)라고 한다(S52). 다음 Roberts 필터를 사용하여 에지가 발생한 픽셀을 구하여 이를 집합 E(set E)라고 한다(S53). 이 두 집합(set H, set E)을 사용하여 에지가 없으면서 머리색을 지니는 픽셀들의 집합 A(= H ∩Ec)를 구한다(S54). 다음, 앞에서 구해진 얼굴 영역을 이용하여 머리 참조 영역을 구하고(S55), 머리 참조 영역에서 머리색에 해당하는 픽셀 칼라들을 평균하여 머리 참조 칼라를 구한다(S56). 그리고, 상기 집합A(set A)에서 머리 참조 칼라와 유사한 칼라만을 남기고 이를 집합 Hair(set Hair)라고 한다(S57). 다음에는 집합 Hair에서 연결요소를 구한 후, 얼굴 영역과 인접한 연결요소만을 머리 영역이라고 판단함으로써 본 과정이 끝나게 된다(S58,S59). 상기 기술한 과정에서 각 단계의 순서는 편의에 따라 바뀔 수 있다.
1.3 몸 영역 추출방법(초기 추출단계)
상기 기술된 방법으로 얼굴과 머리 영역이 추출되고 나면 추출된 얼굴 영역을 기준으로 몸 영역을 추출하게 된다. 몸 영역은 다른 영역과 달리 사람이 착용하는 옷의 종류와 모양이 다양하여 정확히 몸 영역을 추출하기 힘들다. 정지 카메라의 경우 움직임 정보를 사용할 수 있으나 이동 카메라 환경에서 몸 영역 추출은 매우 어렵다. 본 발명에서는 실제 응용을 위한 실용적인 기술 개발이 목적이므로 주어진 문제에서 자동으로 몸 영역을 추출할 수 있을 경우에는 최대한 몸 영역을 추출하고 그렇지 못할 경우에는 사전에 정의된 몸 틀을 사용하여 강제로 추출하게 된다. 몸 영역의 추출은 비트율 조절에 사용되므로 정확한 영역을 추출하지 못하더라도 큰 문제가 없고 이동 통신 환경에서 몸이 화면에 잡히는 경우는 드물기 때문에 실제 적용 시에 크게 문제가 되지는 않는다.
몸 영역의 추출은 크게 칼라와 모양정보를 사용하게 된다. 각각의 사용 방법을 살펴보면 다음과 같다.
1.3.1 칼라(Homogeneous color)를 이용한 몸 후보 영역 추출
추출된 얼굴 영역을 기준으로 몸 참조 영역을 지정한다. 몸 참조 영역은 사용자의 옷에 해당하는 영역일 확률이 높은 곳을 지정하는 것으로서 도10과 같이 얼굴의 양쪽 끝을 화면의 맨 밑으로 연결했을 때 접하는 좌우 두개의 영역을 취하게 된다. 다음 머리 영역 추출에서와 마찬가지로 몸 참조 영역에서 평균 칼라 값을 취하여 이를 몸 참조 칼라로 지정한다. 이후 몸 참조 칼라와 유사한 칼라를 갖는 픽셀들로 구성된 영역을 몸 영역으로 지정한다.
1.3.2 모양 정보를 이용한 몸 영역 추출 오류 제거
얼굴 영역이 정해지면 사람의 몸에 해당하는 대략의 영역을 예측할 수 있다.
이러한 대략의 영역보다 넓게 후보 영역을 지정한 것이 몸 틀이다. 몸 틀은 도11과 같이 지정된다. 즉 ,얼굴 영역이 주어지면 얼굴 크기에 맞게 틀의 크기도 맞추어지고 얼굴의 하단에 틀이 위치하게 된다. 이 틀로 제한된 몸 영역을 몸의 후보 영역으로 하여 상기 기술한 칼라 기반의 처리가 이루어지게 된다. 때문에 사용자의 옷 색과 유사한 색을 가지는 배경을 포함하더라도 이러한 틀에 의해 그 배경이 제외될 수 있다.
몸 영역에는 사용자의 옷 이외에 목, 팔과 같은 사용자의 몸이지만 실제 피부가 드러난 곳을 포함한다. 따라서 상기 기술한 몸 참조 칼라만으로 몸 영역을 추출했을 경우 이러한 목이나 팔이 제외될 수 있다. 그러므로 몸 틀 내부에서 몸 참조 칼라와 유사한 칼라를 지닌 영역 뿐 아니라 살색을 갖는 영역도 몸으로 포함하여야 한다. 즉, 몸 틀 내부에서 몸 참조 칼라와 유사한 칼라나 살색을 갖는 영역을 몸 영역으로 지정함으로써 몸 영역을 추출하게 된다. 이 때 사용되는 살색은 앞서 기술한 얼굴 영역 추출에서 추출된 얼굴 영역과 동일한 칼라 그룹에 해당하는 색이 된다.
지금까지 기술한 몸 영역 추출방법을 도12에 나타내었다.
먼저 상기 기술한 몸 참조 영역을 추출된 얼굴 영역을 이용하여 지정하고(S61), 지정된 영역에서 평균 칼라값을 취하여 몸 참조 칼라를 구한다(S62). 다음, 도11에서 기술한 몸 틀을 추출된 얼굴 영역을 사용하여 지정하고(S63), 지정된 몸 틀 영역 내부에서 몸 참조 칼라와 유사한 픽셀을 취하여 이를 집합 Body(set Body)라고 한다(S64). 다음 몸 틀 영역 내부에서 살색 칼라를 갖는 픽셀 값을 취하여 이를 집합 Skin(set Skin)이라고 한다(S65). 다음, 두 집합 Body와 Skin을 합한 영역을 몸 영역으로 지정함으로써 몸 영역 추출과정이 끝나게 된다(S66).
1.4 사람 영역 합성 및 후처리
상기 기술한 얼굴 영역 추출과 머리 영역 추출, 그리고 몸 영역 추출을 통해 구해진 모든 영역을 합하면 사람 영역이 된다. 일반적으로 잡음으로 인해 상기 기술한 영역은 경계 영역 부근이 매끄럽지 못하고 사람 영역 내에 구멍 등이 발생하기도 한다. 이를 해결하기 위해 다음과 같이 후처리를 통하여 전체 사람 영역을 마무리하게 된다.
후처리는 크게 잡음이 일어난 가장자리 영역을 다듬는 모폴리지 적용 단계와추출된 몸 영역에 발생한 홀(hall)을 제거하는 홀 메움 과정으로 구성된다. 앞서 기술한 내용은 픽셀 단위로 구성되므로 추출된 영역의 가장자리는 매끄럽지 못하고 작은 가지가 돌출되거나 들어가는 등의 잡음이 있을 수 있다. 이러한 잡음을 없애기 위해 간단한 모폴로지를 행한다.
먼저 크기 A의 엘리먼트를 이용한 다일레이션(dilation)을 행한다. 크기 A의 엘리먼트를 이용한 다일레이션(dilaition)을 행하면 A보다 작은 크기의 홈들이 메워지고 매끄럽게 된다. 다음 크기 B의 엘리먼트를 이용한 일루션(Erosion)을 행한다. 그러면 B보다 작은 크기의 돌출된 잔가지들이 제거된다. 본 발명에서 크기 A는 크기 B보다 약간 크게 설정하였다.
다일레이션(Dilation)은 영역 확장을 이용한 잡음 제거이고 일루션(Erosion)은 영역 축소를 이용한 잡음 제거이므로, 두개의 모폴로지 과정을 행하면 원래 추출된 영역보다 크게 영역이 정의된다. 이는 비트율 조절이라는 응용에서 중요 영역이 오인되어 배경으로 인식되는 경우가 배경이 중요 영역으로 오인되는 경우보다 중요한 오류로 작용되기 때문에 원래 추출된 영역보다 크게 영역을 설정하는 것이다. 두 개의 모폴로지 과정이 끝나면 추출된 영역에 발생한 홀을 제거하는 과정을 거친다.
2. 이후 추출 단계
상기 기술하였듯이 입력된 영상이 첫번째 프레임일 경우에는 초기 추출 단계를 수행하지만 이후에는 이전 프레임에서 영역 추출 결과로 취득한 정보를 사용하여 보다 단순한 과정을 거쳐 영역을 추출하게 된다. 이후 추출 단계에서 사용한 이전 정보가 현재 프레임에서도 유효한지는 이후 추출 단계의 초기 부분에 이전 정보를 적용한 결과를 검사하는 방법으로 결정할 수 있다. 상기 기술하였듯이 기본적인 전체 프로세스는 도2와 같이 초기 추출 단계의 그것과 동일하지만 얼굴 영역 추출 단계, 머리 영역 추출 단계, 몸 영역 추출 단계 내부에서 칼라 정보를 이용하는 과정이 보다 단순해진다. 각 단계 별로 이후 추출 단계에 적용되는 알고리즘을 자세히 살펴보면 다음과 같다.
2.1. 얼굴 영역 추출방법(이후 추출단계)
이후 추출 단계에서도 얼굴 영역 추출은 살색 영역 추출을 기반으로 한 얼굴 추출을 행한다. 앞서 기술하였듯이 이후 추출단계는 이전 프레임에서의 학습정보를 이용하여 보다 빠르고 정확하게 얼굴 영역을 추출하게 되는데, 이후 추출단계에서의 얼굴 영역 검출에서 학습 정보는 얼굴 영역을 구성하는 살색 그룹이 되고, 학습 정보의 유효성을 판단하는 단계는 이전에 사용된 살색 그룹을 적용했을 때 얼굴이 확인되는지의 여부에 의해 판단하는 것이 이후 추출단계(얼굴 영역 검출)의 특징이다.
초기 추출 단계에서 얼굴 영역 추출 단계를 기술한 도3을 살펴보면 주어진 영상에서 전체 히스토그램(hist)과 중앙 히스토그램(center_hist)을 구한 후, 이를 이용하여 살색 그룹화를 행한다. 살색의 그룹화는 먼저 중앙 히스토그램에서 가장 큰 값을 갖는 빈, 즉 칼라 요소를 구한 후 해당 칼라 요소와 유사한 칼라들을 묶어 그룹화하게 된다. 그룹화된 칼라들은 전체 히스토그램에서 그 분포를 보아 일정 임계치 이상이면 해당 칼라들을 주어진 영상의 일차 살색 그룹이라고 정의한다. 그룹화에 참여한 칼라 요소를 전체 히스토그램에서 제외한 후, 이후부터는 전체 히스토그램에서 가장 큰 값을 갖는 칼라 요소를 구하는 단계를 시작으로 상기 기술한 과정을 반복하여 다음 살색 그룹을 정의하게 된다. 살색 그룹화가 끝나면 각 그룹별로 생성된 영역이 얼굴 영역인지를 확인하는 과정을 통해 얼굴 영역을 결정하게 된다.
이후 추출 단계에서는 이러한 두개의 히스토그램을 생성하는 단계와 살색 그룹화 과정을 수행하는 대신, 이전에 추출된 얼굴 영역을 구성하는 살색 그룹을 현재 프레임에 대해 똑같이 적용한다. 즉 이전 프레임에서의 살색은 현재 프레임에서도 유사하게 나타날 것이므로, 이전 프레임에서 얼굴로 확인된 영역의 색 범위를 사용하여 현재 프레임에 적용하는 것이다. 그렇게 하기 위해 이전 프레임에서 추출된 얼굴 영역을 구성하는 살색 그룹으로 구성된 영역을 후보 영역으로 지정한 후 얼굴 확인 작업을 거쳐 얼굴 영역으로 최종 결정을 하게 된다.
만일 확인 결과 얼굴 영역이 아니라고 판단될 경우에는 조명 등의 환경 변화에 의해 이전 프레임에서의 살색 그룹이 더 이상 유효하다고 판단하지 않고 초기 추출 단계에서의 얼굴 영역과 동일한 과정을 수행하도록 한다.
즉, 앞서 도1에서 기술한 학습 정보는 얼굴 영역 추출 단계의 경우 얼굴 영역을 구성하는 살색 그룹이 되고, 학습 정보의 유효성을 판단하는 단계는 이전에 사용된 살색 그룹을 적용했을 때 얼굴이 확인되는지의 여부에 의해 판단하게 되는 것이다.
이와 같이 이전의 살색 그룹을 사용하게 되면, 현재 프레임에 맞는 살색 범위를 별도의 처리시간 없이 이용하여 바로 얼굴을 추출하는 것과 같으므로 빠르고 정확한 영역 추출이 가능하다. 상기 기술하였듯이 살색 그룹은 빈들의 집합으로 표현된다. 히스토그램을 구성하는 빈들은 각각 칼라의 일부 범위를 의미하므로 빈들의 집합은 결국 색공간 상에서의 특정 칼라 범위를 기술하는 것이다. 따라서 이전 프레임에서의 살색 그룹을 이용한다는 것은 실제 구현상에서는 이전 프레임에서 얼굴 영역을 구성한 살색 그룹에 속하는 빈들을 이용하는 것으로서 이는 이전 살색 그룹이 정의하는 색공간 상에서의 칼라 범위를 이용하는 것과 같다.
이러한 일련의 과정이 도13에 기술되어 있다.
먼저, 모든 픽셀에 대해 이전 살색 그룹에 속하는 픽셀인지를 조사하고(S71), 살색 그룹에 속하는 픽셀들로 형성된 영역을 얼굴 후보 영역으로 지정한다(S72). 그리고 상기 지정된 얼굴 후보 영역이 얼굴 영역인지를 확인하고(S73), 얼굴로 확인되는가를 판단한다(S74). 얼굴로 확인되면 최적의 얼굴 영역 MBR을 추출하고(S75), 이 MBR에 맞는 얼굴 모델(face model)을 추출된 얼굴 영역으로 지정하며, 상기 얼굴 후보 영역이 얼굴로 확인되지 않으면 초기 추출단계에서의 얼굴 영역 추출단계를 수행한다(S77).
즉, 도13에 나타낸 바와 같이 이후 추출단계에서의 얼굴 영역 검출방법은 먼저 이전 프레임에서 얼굴로 확인된 영역을 구성하는 살색 그룹에 속하는 픽셀들을 추출한 후 이들로 구성된 영역을 얻고, 이후에는 얼굴 확인 과정을 거쳐 얼굴로 확인되면 MBR을 지정하고 얼굴 모델(face model)을 사용하여 얼굴 영역을 최종 결정하는 단계를 거치고, 만일 얼굴이 확인되지 않으면 다시 도3에 기술된 초기 추출과정에서의 얼굴 영역 추출 과정을 수행하는 것이다.
지금까지 기술한 방법은 단지 처리 속도를 빠르게 할 뿐 아니라, 갑작스런 사용자의 동작에 의한 오류를 해결할 수 있는 효과가 있다. 일반적으로 사용자는 화상 통신 시 중앙 영역에 얼굴을 위치시키지만 경우에 따라 순간적으로 단말기가 흔들려서 얼굴이 중앙에서 벗어나는 경우가 발생할 수 있다. 이 경우 초기 추출 단계만으로 영역을 추출할 경우 중앙 히스토그램에서 주요 칼라가 얼굴 영역을 구성하는 칼라가 아니므로 순간적으로 실제 얼굴 영역을 구성하는 칼라 그룹의 우선 순위가 밀려날 수 있다. 하지만 이후 단계 추출 과정을 사용할 경우 이전에 바르게 추출한 얼굴 영역을 구성하는 살색 그룹을 사용하므로 이러한 순간적인 오류를 방지할 수 있다.
이전 정보의 학습을 이용한 얼굴 영역 추출의 또 다른 방법이 있는데 이는 다음과 같다.
상기 기술한 것과 같은 초기 추출과정이 지나면 얼굴 영역이 추출된다. 초기 추출과정에서는 살색 그룹화를 위해 전체 히스토그램과 중앙 히스토그램을 구하게 된다. 초기 추출과정에 의해 얼굴 영역을 추출한 이후 프레임부터는 중앙 히스토그램을 중앙 영역 대신에 이전 프레임에서 추출된 얼굴 영역을 대상으로 구하게 된다. 이는 이전 프레임에서 구해진 얼굴 영역 근처에서 주로 분포하는 칼라를 중심으로 다음 프레임에서의 칼라 그룹을 구하고자 하는 것이다. 이 방법에 따른 일련의 과정이 도16에 기술되어 있다. 도16에 기술된 바와 같이 모든 픽셀에 대해서 살색 칼라 픽셀인지를 조사하고(S101), 살색 칼라 픽셀만을 대상으로 하여 히스토그램(hist)을 구성하며(S102), 이전 프레임 얼굴 영역을 대상으로 중앙 히스토그램(center_hist)을 구성한다(S103). 이와 같이 중앙 히스토그램(center_hist)을 이전 프레임의 얼굴 영역을 대상으로 추출하는 것 이외의 나머지 과정(S104-S108)은 앞서 설명한 도3에서 기술한 초기 추출과정(S33-S37)과 동일하므로 이후 설명은 생략한다. 지금까지 기술한 방법은 처리 속도 측면에서는 초기 추출 방법과 동일하지만 얼굴 영역 추출의 정확성 측면에서 조명의 변화 등에 민감하지 않은 높은 성능을 구할 수 있다.
2.2. 머리 영역 추출방법(이후 추출단계)
이후 추출 단계에서도 머리 영역 추출은 칼라, 에지, 모양 등 세 가지 정보를 사용한다. 에지와 모양 정보를 사용하여 추출하는 과정은 초기 추출 단계에서의 그것과 동일하므로 여기서는 설명을 생략하기로 한다. 칼라 정보를 사용하여 머리 영역을 추출하는 과정을 살펴보면 도14에 나타낸 바와 같이, 머리 참조 영역을 지정하는 단계와 머리 참조 영역에서 머리 참조 색을 지정하는 단계가 생략된다.
즉, 도14에 나타낸 머리 영역 추출방법(이후 추출단계)에서는 이전 프레임에서 머리 참조색을 사용하여 머리 픽셀을 구하고(S81), 구해진 머리 영역이 올바른 위치에 있는가를 판단하여 올바른 위치에 있지 않다면 상기 초기 추출단계에서의 머리 영역 추출과정을 수행하고(S83), 올바른 위치에 머리 영역이 있다면 이후 과정(S84-S9)을 수행하는데, 이후 과정(S84-S90)은 앞서 기술한 도9의 머리 영역 추출과정(S53-S59)과 동일하게 이루어진다.
이를 다시 살펴보면, 도14에 나타낸 바와 같이 도9에서 첫번째 수행 단계인머리 참조 영역 설정 및 머리 참조 색을 계산하는 단계가 생략되고, 이전 프레임에서 사용된 머리 참조 색을 사용하여 머리 후보 영역을 구한 후, 만일 머리 후보 영역이 얼굴 영역 위치와 비교하여 머리 틀 내부에 존재하면 사용한 머리 참조 색이 유효하다고 보고 다음 단계를 계속하며, 그렇지 않을 경우 초기 추출 단계에서의 머리 영역 추출을 다시 수행한다. 에지 추출 이후의 과정(S84-S90)는 도9의 과정(S53-S59)와 동일하므로 설명을 생략하도록 한다.
이와 같이 이후 추출단계에서의 머리 영역 검출은 이전 프레임에서 사용한 머리 참조 색을 현재 프레임에서 바로 사용하여 칼라 정보를 이용한 머리 후보 영역을 바로 추출하게 된다. 이것은 얼굴 영역 추출과 마찬가지로 조명 등의 환경 변화가 발생하지 않는 한 이전 프레임에서의 머리색과 현재 프레임에서의 머리색이 유사하기 때문이다.
만일 이전 프레임에서 사용된 머리 참조 색을 이용하여 머리 후보 영역을 추출 했을 때, 그 영역이 앞서 추출한 얼굴 영역의 위치와 비교하여 머리가 있어야 할 위치(즉, 머리틀 내부)에 머리 영역이 위치하지 않는다면 이전 프레임에서의 머리 참조 색이 더 이상 유효하지 않다고 판단하여 다시 초기 추출 단계에서의 머리 영역 추출 모듈을 수행한다. 따라서, 이후 추출단계의 머리 영역 검출에서 학습 정보는 머리 참조 색이 되고, 학습 정보의 유효성을 판단하는 단계는 이전에 사용된 머리 참조 색을 적용했을 때 머리 영역이 있어야 할 위치에 머리 영역이 나타나는 지 여부에 의해 판단하게 되는 것이다.
2.3. 몸 영역 추출방법(이후 추출단계)
이후 추출 단계에서 몸 영역 추출은 칼라와 모양 정보를 사용한다. 모양 정보를 사용하여 추출하는 과정은 초기 추출 단계에서의 그것과 동일하므로 여기서는 설명을 생략하기로 한다. 칼라 정보를 사용하여 몸 영역을 추출하는 과정을 살펴보면 도12에서 기술한 몸 참조 영역을 지정하는 단계와 몸 참조 영역에서 몸 참조 색을 지정하는 단계가 생략된다. 즉 이전 프레임에서 사용한 몸 참조 색을 현재 프레임에서 바로 사용하여 칼라 정보를 이용한 몸 후보 영역을 바로 추출하게 된다.
따라서, 이후 추출단계에서 몸 영역 추출시 학습 정보는 몸 참조색이고, 학습 정보의 유효성 판단은 올바른 위치에 몸 영역이 있는가의 여부가 된다.
만일 이전 프레임에서 사용된 몸 참조 색을 이용하여 몸 후보 영역을 추출 했을 때, 그 영역이 앞서 추출한 얼굴 영역의 위치와 비교하여 몸이 있어야 할 위치(즉, 몸틀 내부)에 머리 영역이 위치하지 않는다면 이전 프레임에서의 몸 참조 색이 더 이상 유효하지 않다고 판단하여 다시 초기 추출 단계에서의 몸 영역 추출 과정을 수행한다. 즉, 도1에서 기술한 학습 정보는 이후 추출단계의 몸 영역 추출과정의 경우 몸 참조 색이 되고, 학습 정보의 유효성을 판단하는 단계는 이전에 사용된 몸 참조 색을 적용했을 때 몸 영역이 있어야 할 위치에 몸 영역이 나타나는지의 여부에 의해 판단하게 되는 것이다.
이러한 일련의 과정이 도15에 기술되어 있다. 도15에 나타낸 바와 같이 이후 추출단계에서 몸 영역 검출과정은 도12에서 첫번째 수행 단계인 몸 참조 영역 설정 및 몸 참조 색을 계산하는 단계가 생략되었다. 먼저 이전 프레임에서 몸 참조색을 사용하였는가를 판단한다(S91). 이전 프레임에서 몸 참조색을 사용하지 않았다면도11에서 기술한 몸 틀을 추출된 얼굴 영역을 사용하여 지정하고 몸틀 만을 사용하여 몸 영역을 구한다(S92,S93). 그러나 이전 프레임에서 몸 참조색을 사용하였다면 이전 프레임에서 사용한 몸 참조색을 현재 프레임의 몸 참조색으로 지정하고(S94), 추출된 얼굴 영역을 사용하여 몸 틀을 지정한 후 지정된 몸틀 영역 내부에서 몸 참조 칼라와 유사한 픽셀을 취하여 이를 집합 Body(set Body)라고 한다(S95,S96).
다음에는 올바른 위치에 몸 영역이 있는가를 판단한다(S97). 올바른 위치에 몸 영역이 있지 않다면 초기 추출 단계에서의 몸 영역 추출과정을 수행하고, 올바른 위치에 몸 영역이 있다면 몸틀 영역 내부에서 살색 칼라를 갖는 픽셀 값을 취하여 이를 집합 Skin(set Skin)이라고 한다(S99). 다음, 두 집합 Body와 Skin을 합한 영역을 몸 영역으로 지정함으로써 몸 영역 추출과정이 끝나게 된다(S100).
상기한 바와 같이 이후 추출단계의 몸 영역 검출에서는 이전 프레임에서 몸 참조색을 사용하였다면 사용된 몸 참조 색을 사용하여 몸 후보 영역을 구한 후 만일 몸 후보 영역이 얼굴 영역 위치와 비교하여 몸 틀 내부에 존재하면 사용한 몸 참조 색이 유효하다고 보고 다음 단계를 계속하며, 그렇지 않을 경우 초기 추출 단계에서의 머리 영역 추출을 다시 수행한다. 만일 이전 프레임에서 몸 참조 색 대신 몸 틀만으로 몸 영역을 분리하였다면 바로 몸 틀을 이용하여 몸 영역을 추출하게 되는 것이다.
본 발명은 이동 카메라 환경에서의 화상 통신에서 배경과 사용자를 빠르게 자동 분리하기 위해, 이전 단계에서의 추출 정보를 활용하는 알고리즘을 제시하고있다. 본 발명은 이동 통신 환경에서 실시간 처리가 가능할 정도의 빠른 처리 시간으로 사용자 영역을 분리하는 방법을 제시함으로써, 객체 기반의 화상 통신 데이터 응용을 가능하게 하였다.
특히 네트워크 부하에 적응적으로 적용되는 비트율 조절이나, 자동 비디오 메일 편집과 같이 이동 통신에 유용하게 사용될 수 있는 핵심 기술로서 적용될 수 있으며, 시간과 성능 측면에서의 두 가지 문제점을 모두 해결하여 실제 적용이 가능하게 하였다. 또한 본 발명에서 제시하고 있는 방법은 처리 시간 측면에서의 개선 이외에 불규칙적인 사용자의 움직임으로 인하여 발생할 수 있는 순간적인 오류를 방지함으로써, 정확성 측면에서도 개선을 가져온다.

Claims (12)

  1. 입력된 영상이 첫 프레임일 경우 객체 영역을 추출하고 해당 객체 영역 추출에 이용된 추출정보를 학습하여 저장하는 초기 추출단계,
    입력된 영상이 첫 프레임 이후의 프레임일 경우 상기 학습된 추출정보를 이용해서 객체 영역을 추출하는 이후 추출단계;
    로 이루어진 것을 특징으로 하는 객체 영역 추출방법.
  2. 제 1 항에 있어서, 상기 학습된 추출정보의 유효성을 판단하여 유효하지 않은 경우에는 초기 추출단계를 수행하고, 유효할 경우에만 이후 추출단계를 수행함을 특징으로 하는 객체 영역 추출방법.
  3. 제 1 항에 있어서, 상기 객체는 사람 얼굴이고,
    사람 얼굴 영역의 초기 추출단계는; 살색 칼라를 기반으로 하여 그룹화된 살색 그룹 정보를 이용해서 사람 얼굴 영역의 추출 및, 학습정보로 살색 그룹정보를 저장하고,
    사람 얼굴 영역의 이후 추출단계는; 상기 초기 추출단계에서 구한 살색 그룹 정보를 이용해서 현재 프레임의 사람 얼굴 영역을 추출하는 것을 특징으로 하는 객체 영역 추출방법.
  4. 제 3 항에 있어서, 상기 사람 얼굴 영역의 이후 추출단계에서는, 이전 프레임에서의 사람 얼굴 영역을 구하는데 사용된 살색 그룹 정보에 해당하는 살색을 갖는 영역을 얼굴 영역으로 추출하는 것을 특징으로 하는 객체 영역 추출방법.
  5. 제 3 항에 있어서, 상기 사람 얼굴 영역의 이후 추출단계에서는, 이전 프레임에서 학습된 살색 범위로 추출된 영역이 얼굴 영역인지 확인하여, 얼굴이면 상기 학습된 정보가 유효하다고 판단하여 이후 추출단계를 실행하고, 그렇지 않으면 무효하다고 판단하여 초기 추출단계를 수행함을 특징으로 하는 객체 영역 추출방법.
  6. 제 1 항에 있어서, 상기 객체는 사람 머리이고,
    사람 머리 영역의 초기 추출단계는; 추출된 얼굴 영역을 기준으로 머리 참조 영역과 머리 참조색을 구하여, 구해진 머리 참조색과 유사한 색을 갖는 영역을 머리 영역으로 추출 및, 학습 정보로 머리 참조색을 저장하고,
    사람 머리 영역의 이후 추출단계는; 상기 이전 프레임에서 학습된 머리 참조색과 유사한 색을 갖는 현재 프레임에서의 영역을 구하여 머리 영역으로 지정함을 특징으로 하는 객체 영역 추출방법.
  7. 제 6 항에 있어서, 상기 얼굴 영역을 기준으로 하여 머리틀을 지정하고, 지정된 머리틀에 포함된 픽셀에 한정하여 상기 머리 영역 추출과정을 수행하는 것을 특징으로 하는 객체 영역 추출방법.
  8. 제 7 항에 있어서, 상기 얼굴 영역을 기준으로 하여 머리틀을 지정하고, 상기 지정된 머리틀 내에 추출된 머리 영역이 일정 임계치 이상 위치하면 상기 머리 영역 이후 추출단계를 수행하고, 그렇지 않으면 머리 영역 초기 추출단계를 수행함을 특징으로 하는 객체 영역 추출방법.
  9. 제 1 항에 있어서, 상기 객체는 사람 몸이고,
    사람 몸 영역 초기 추출단계는; 추출된 얼굴 영역을 기준으로 몸 참조색과 몸틀을 지정하고, 지정된 몸틀에서 구해진 몸 참조색과 유사한 색을 갖는 영역을 몸 영역으로 추출 및, 학습 정보로 몸 참조색을 저장하고,
    사람 몸 영역 이후 추출단계는; 상기 이전 프레임에서 학습된 몸 참조색과 유사한 색을 갖는 현재 프레임에서의 영역을 구하여 몸 영역으로 지정함을 특징으로 하는 객체 영역 추출방법.
  10. 제 9 항에 있어서, 상기 얼굴 영역을 기준으로 하여 몸틀을 지정하고, 상기 지정된 몸틀 내에 추출된 몸 영역이 일정 임계치 이상 위치하면 상기 몸 영역 이후 추출단계를 수행하고, 그렇지 않으면 몸 영역 초기 추출단계를 수행함을 특징으로 하는 객체 영역 추출방법.
  11. 제 1 항에 있어서, 상기 객체는 사람 얼굴이고,
    사람 얼굴 영역의 초기 추출단계는; 살색 칼라를 기반으로 하여 살색 그룹 정보를 추출하는 단계와, 추출된 살색 그룹 정보를 이용해서 사람 얼굴 영역을 추출하는 단계와, 학습 정보로 추출된 얼굴 영역을 저장하는 단계로 구성되고,
    사람 얼굴 영역에 대한 이후 추출단계는; 상기 초기 추출단계에서의 살색 그룹 정보 추출 시 이전 프레임에서의 추출된 얼굴 영역을 대상으로 하여 살색 그룹 정보를 추출하는 것을 특징으로 하는 객체 영역 추출방법.
  12. 제 11 항에 있어서, 상기 사람 얼굴 영역의 이후 추출단계에서는, 이전 프레임에서 학습된 얼굴 영역을 대상으로 추출된 영역이 얼굴 영역인지 확인하여, 얼굴 영역이면 상기 학습된 정보가 유효하다고 판단하여 이후 추출단계를 실행하고, 그렇지 않으면 무효하다고 판단하여 초기 추출단계를 수행함을 특징으로 하는 객체 영역 추출방법.
KR10-2002-0002840A 2002-01-17 2002-01-17 객체 추출방법 KR100438303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0002840A KR100438303B1 (ko) 2002-01-17 2002-01-17 객체 추출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0002840A KR100438303B1 (ko) 2002-01-17 2002-01-17 객체 추출방법

Publications (2)

Publication Number Publication Date
KR20030062584A true KR20030062584A (ko) 2003-07-28
KR100438303B1 KR100438303B1 (ko) 2004-07-01

Family

ID=32218426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0002840A KR100438303B1 (ko) 2002-01-17 2002-01-17 객체 추출방법

Country Status (1)

Country Link
KR (1) KR100438303B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696725B1 (ko) * 2005-08-30 2007-03-20 경북대학교 산학협력단 객체의 대칭성과 거리 벡터를 사용한 그림자 제거방법
KR100813167B1 (ko) * 2006-06-09 2008-03-17 삼성전자주식회사 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템
KR100965129B1 (ko) * 2008-08-11 2010-06-23 (주)제이티 보행자 검지 및 보행밀도 계산방법
KR20200010658A (ko) * 2018-06-29 2020-01-31 한양대학교 산학협력단 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564477B1 (ko) 2015-11-30 2023-08-07 삼성전자주식회사 객체 검출 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
JP2000132688A (ja) * 1998-10-29 2000-05-12 Matsushita Electric Ind Co Ltd 顔パーツ検出方法及びその装置
KR100350790B1 (ko) * 1999-01-22 2002-08-28 엘지전자 주식회사 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법
JP4092059B2 (ja) * 2000-03-03 2008-05-28 日本放送協会 画像認識装置
KR20010044393A (ko) * 2001-02-16 2001-06-05 김영익 인간의 얼굴정보를 이용한 출입통제 및 보안 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696725B1 (ko) * 2005-08-30 2007-03-20 경북대학교 산학협력단 객체의 대칭성과 거리 벡터를 사용한 그림자 제거방법
KR100813167B1 (ko) * 2006-06-09 2008-03-17 삼성전자주식회사 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템
KR100965129B1 (ko) * 2008-08-11 2010-06-23 (주)제이티 보행자 검지 및 보행밀도 계산방법
KR20200010658A (ko) * 2018-06-29 2020-01-31 한양대학교 산학협력단 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Also Published As

Publication number Publication date
KR100438303B1 (ko) 2004-07-01

Similar Documents

Publication Publication Date Title
US8170350B2 (en) Foreground/background segmentation in digital images
EP1800259B1 (en) Image segmentation method and system
CN100393106C (zh) 检测和/或追踪图像或图像序列中颜色区域的方法和装置
US7057636B1 (en) Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
KR100997064B1 (ko) 멀티-모드 관심-영역 비디오 오브젝트 세그먼트화
US6697502B2 (en) Image processing method for detecting human figures in a digital image
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
US20080181507A1 (en) Image manipulation for videos and still images
CN110163810B (zh) 一种图像处理方法、装置以及终端
WO2007092904A2 (en) Inter-mode region-of-interest video object segmentation
JP2009015372A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
KR100439377B1 (ko) 이동 통신 환경에서의 사람 영역 추출방법
KR100438303B1 (ko) 객체 추출방법
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
JP2005242582A (ja) 顔検出装置およびその方法
CN110598568A (zh) 一种基于人脸表情分类的旅游景点智能拍照系统和方法
Sheng et al. Fast and automatic facial feature extraction for 3-d model-based video coding
CN116112619A (zh) 一种视频特效叠加方法、装置、设备及存储介质
Karaman Towards Robust Object Segmentation in Video Sequences and its Applications
CODING Centre for Communication Systems Research University of Surrey, Guildford, GU27XH, UK E-mail: y. sheng (@ surrey. ac. uk
Karaman Towards Robust Object Segmentation in Video Sequences and its Applications

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120521

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee