KR101315464B1

KR101315464B1 - 이미지 처리방법

Info

Publication number: KR101315464B1
Application number: KR1020070016214A
Authority: KR
Inventors: 사카노브 아딜베크 코블라노비치; 바이켄테비치 에필모브 설지; 발렌티노비치 네페도브 알렉세이
Original assignee: 삼성전자주식회사
Priority date: 2006-05-24
Filing date: 2007-02-15
Publication date: 2013-10-04
Also published as: KR20070113099A; RU2329535C2

Abstract

본 발명은 이미지 처리방법에 관한 것이다. 본 발명에 따른 이미지 처리방법은, 수평 또는 수직 스트라이프들의 불균일성을 텍스쳐 특징들에 의한 상기 이미지의 사각형 영역들의 클러스터링화를 사용하여 분석하는 단계와; 사람의 얼굴들을 검출하는 단계와; 상기 이미지에서 상기 검출된 얼굴들에 대한 정보를 사용하여 트리밍을 교정하는 것을 포함하는 것을 특징으로 한다. 이에 의하여, 이미지 중 중요한 피사체를 손상시키지 않으면서도 이미지 트리밍을 효율적으로 수행할 수 있다.

Description

이미지 처리방법{IMAGE PROCESSING METHOD}

도 1은 본 발명에 따른 이미지 처리방법을 수행하는 시스템의 구성을 도시한 블록도이며,

도 2는 본 발명에 따른 이미지 처리방법을 도시한 흐름도이며,

도 3은 본 발명에 따른 이미지 처리방법의 단계 S201을 도시한 도면이며,

도 4는 본 발명에 따른 이미지 처리방법의 단계 S201을 도시한 흐름도이며,

도 5는 본 발명에 따른 이미지 처리방법에서 얼굴을 검출하는 방법을 도시한 흐름도이며,

도 6은 본 발명에 따른 이미지 처리방법에서 얼굴을 검출하는 방법의 단계 S503을 도시한 도면이며,

도 7은 본 발명에 따른 이미지 처리방법에 따라 "눈과 입"의 상태를 판단하는 방법의 흐름도를 도시한 도면이며,

도 8은 본 발명에 따른 이미지 처리방법에 따라 "눈과 입"의 상태를 판단하는 방법의 단계 S703을 도시한 도면이며,

도 9는 본 발명에 따른 이미지 처리방법에 따라 "눈과 입"의 상태를 판단하는 방법의 단계 S705를 도시한 도면이며,

도 10은 본 발명에 따른이미지 처리방법에서 검출된 얼굴에 대한 정보를 사 용하는 과정을 설명하기 위한 교정도이며,

도 11 내지 도 14는 종래의 방법에 의해 트리밍된 이미지와 본 발명에 따른 이미지 처리방법에 의해 트리밍된 이미지를 비교한 도면이다.

* 도면의 주요부분에 대한 부호의 설명 *

101 : 프로세서 102 : 입력장치

103 : 데이터 버스 104 : 메모리

105 : 프린팅 장치 106 : 디스플레이장치

본 발명은 이미지 처리방법에 관한 것이다. 보다 상세하게는 이미지의 트리밍(trimming)을 수행하는 이미지 처리방법에 관한 것이다. 디지털 이미지 처리에서의 스마트 트리밍(Smart Trimming) 방법들은 이미지의 상측/하측 또는 좌측/우측에서 스트라이프들을 트리밍하여, 원본 이미지의 종횡비를 변경하기 위한 것이다. 여기서 "스마트(smart)"라는 말은 그러한 트리밍이 이미지의 주요 피사체들을 손상시키지 않는 것을 뜻한다. 이미지 종횡비 변경은 소비자의 디지털 사진에서 필요할 수 있고, 통상적으로 디지털 카메라들은 4:3 종횡비의 사진들을 생성하는 반면, 종래의 인화지는 종횡비가 3:2이다.

사진의 종횡비를 변경하기 위한 방법으로서, 디지털 처리 방법들과 별개의 두 가지 방법들이 있다.

"크럽 투 휠(crop to fill)"이라는 방법은 이미지의 상측과 하측에 대하여 트리밍 양을 등량으로 하거나 또는 상측에서 필요한 트리밍 양을 20%로 하고, 이미지의 하측에서 나머지 80%로 하는 것이다. 일반적으로 이 방법은 사진을 찍는 사람들이 사진에서의 주요부분을 중간에 있도록 사진을 구성하기 때문에 만족스런 인쇄물을 생성하지만, 원본 이미지의 상측과 하측 부근에 위치하는 주제의 얼굴이나, 머리 또는 기타 부분들을 절삭하는 등의 치명적인 훼손을 야기할 수 있다.

"크럽 투 휫(crop to fit)"이라고 하는 방법은 원하는 종횡비를 얻기 위해 흰색 공간으로 4:3 이미지의 우측과 좌측을 메우는 것이다. 그러나 이 방법은 종이 사이즈 전체를 사용하지 않는다.

자동 트리밍의 중요한 문제점은 이미지의 주요부분과 배경을 결정하는 것이다. 주요부분을 검출하는 방법들은 두개의 주요 카테고리로 나눌 수 있다.

"픽셀에 기초한(pixel-based)" 방법들은 이미지 내에, 통상적으로 관심 있는 피사체 또는 주체들의 실체에 해당하지 않는 픽셀들이나 또는 특정 지점(블록)을 위치시키도록 설계된다.

"영역에 기초한(region-based)" 방법들은 이미지 내에, 피사체들 또는 주체들의 의미 있는 실체들에 관심 있는 영역들을 위치시키도록 설계된다. 관심 있는 영역 검출에 대한 대부분의 픽셀에 기초한 접근법들은 에지 검출기(edge detector)가 필수적이다.

지금까지 그러한 작업을 수행할 때 겪어야 하는 어려움으로 인하여, 자동 트리밍 및 절삭(trim and crop)에 관한 연구가 거의 없었다. 공지된 종래의 이미지 편집 소프트웨어는 어느 것이나 이미지의 장면 내용을 이용하여 절삭량을 자동으로 결정하지 않았다.

예를 들어, 미국, 펜실바니아 대학의 죤 브래이들리에 의해 개발된 프리웨어 패키지(freeware package)로서, "XV"(http://www.trilon.com/xv) 라고 이름붙여진 프로그램은 이미지들을 편집하기 위한 "자동절삭(autocrop)" 기능을 제공하고 있으며, 다음과 같은 방식으로 동작한다:

1. 그 프로그램은 이미지의 모든 방향 즉, 상, 하, 좌 및 우측의 경계선을 조사한다;

2. 그 프로그램은 라인 내의 변화를 점검한다. 그레이 스케일 이미지에서는 절삭할 라인이 완전히 균일해야한다. 컬러 이미지에서는 작은 비율의 픽셀들을 제외하고 공간적인 상관대비(spatial correlation)와 스팩트럼 대비가 절삭에 적합한 라인에 대하여 낮아야 한다. 다시 말해, 큰 변화량을 포함하고 있을 경우에 라인은 절삭되지 않을 것이다;

3. 1 차원의 라인이 기준을 통과하면, 그 다음의 내측 라인(행 또는 열)이 조사된다;

4. 위의 반복과정이 종료되면, 최종 절삭된 이미지가 결정된다.

이 프로그램은 본질적으로 이미지의 경계 주변의 상대적인 균일 마진을 제거하기 위한 것이다. 그것은 이미지의 전체 내용을 조사하지 않는다. 실제로, XV 프로그램은 주사공정 동안 부정확한 정렬로 인하여 발생되는 어두운 경계를 절단하는 데 효율적이다. 그러나, 이미지 장면의 이해 부족으로 인하여 치명적인 결과가 종 종 일어난다. 어떤 심한 경우에는 전체 사진이 절단되기도 한다.

미국특허 제5,978,519호, "자동 이미지 절단"에서 볼만 등은 이미지에서 상이한 강도 레벨들에 기초하여 이미지를 절단하는 방법을 개시하고 있다. 여기서, 통상의 이미지는 강도 레벨과 컬러가 균일한 영역과 강도 레벨과 컬러가 상당히 다양한 나머지 영역들을 포함한다. 예컨대, 이미지의 "배경"은 전경으로부터 배경을 분리하는 뚜렷한 "에지"로 일정할 수 있다. 예를 들어, 인물사진은 통상적으로 일정한 배경 또는 바탕에 대하여 설정되는 주제를 포함하며, 주제와 배경 사이에는 선명한 에지 또는 경계가 존재한다. 이러한 시스템에서, 절단되는 이미지는 축소되어 격자형 또는 비중첩되는 블록들로 분할된다. 각 블록마다 레벨 강도들의 평균 및 분산을 산출한다. 블록들에서의 분산들의 분포에 기초하여 변수에 대한 임계값들이 선택된다. 임계 븐산값보다 더 큰 분산을 가지는 모든 블록들은 관심 있는 영역들로서 선택된다. 그 다음, 관심 있는 영역들을 전경에 물체를 감싸는 최소면적의 사각형으로 절단한다. 그러나, 그러한 시스템은, 절단되지 않은 이미지들이 레벨 강도가 균일한 영역들과 레벨 강도가 상당히 다양한 영역들을 포함하고 있을 때에만 유효하다. 그러한 시스템의 유효성은 XV 프로그램의 유효성에 비교될 수 있는 것으로 예측된다. 그 차이점은 미국특허 제5,978,519호가 균일한 영역을 식별하기 위해 한 블록씩 이미지를 조사하는 반면, XV 프로그램은 균일한 영역을 식별하기 위해 한 라인씩 이미지를 조사하는 것이다. 요약하면, 두 기술은 모두 균일하지 않은 배경을 가지는 이미지들을 처리할 수 없다.

직관적인 절삭 기능을 제공하는 2006년 마이크로소프트 디지털 이미지 슈트 (Digital Image Suite 2006) 패키지의 새로운 버전이 발표되었다. 그것은 사용자가 "절삭 작업" 을 클릭할 때, 인물사진 또는 가족사진에서 얼굴과 같은 사진의 구성들을 분석하여, 사진의 절삭 방법을 제시함으로써, 주제를 적합하게 프레임하여 최상의 가능한 이미지를 생성하도록 하는 것을 가능하게 한다.

제1 위치에서, 프로그램은 자동 분류기의 관점에서 최적의 절삭모드 즉, 커스텀 모드를 제시한다. 나아가, 사용자는 표준 프린팅 규격들의 대형 리스트로부터 이미지의 비율을 선택하는 것이 가능하다. 게다가, 사용자가 픽셀들의 비를 직접 설정할 수 있다. 제3의 규칙에 대한 가이드라인들을 제시할 수 있는 기회가 있다.

1997년 패턴인식에 관한 논문들, 볼륨 18, 1077-1081페이지의 "관심 있는 영역들을 검출하기 위한 로컬 오퍼레이터들"에서 부이. 디. 게수(V. D. Gesu) 등은 개별 순간 변환(Discrete Moment Transform: DMT)과 개별 대칭 변환(Discrete Symmetry Transform: DST)을 사용하여, 각 픽셀과 로컬 방사상 대칭에 대하여 로컬 중심 모멘트를 측정하였다. 평범한 대칭의 경우들을 배제하기 위하여, 불균일 영역의 선택이 필요하였다. 특정의 DMT 오퍼레이터는 두드러진 에지들(교합 경계들)의 검출기와 같이 작용하며, DST 오퍼레이터는 대칭적인 얼룩들의 검출기와 같이 작용한다. 이 두 오퍼레이터들로부터의 결과들은 논리 "AND"연산에 의해 조합된다. DMT 오퍼레이터에 의해 생성되는 에지 형태의 원출력 맵을 넓히기 위해서는 형태학적인 작업들이 필요하다.

1993년 스위스 제네바 대학, 박사 논문, "이미지에서 두드러진 영역들의 검출: 생태에서 실시까지"에서 알. 밀라니즈는 시각적 관심의 연산적 모델을 개발하 였는데, 여기서 인간 시각 시스템에 대한 지식을 컴퓨터 시각 기술과 조합하였다. 이 모델은 3개의 주요 스테이지로 구성된다. 첫째, 다중 피쳐 맵들을 입력 이미지(방향, 곡률, 컬러 콘트라스트 등)으로부터 추출한다. 둘째, 상응하는 수의 가시성 있는 맵들을 가우시안(Gaussian) 모델의 유도식을 사용하여 연산하여, 각각의 특징적인 맵에서 관심 있는 영역들을 강화한다. 마지막으로, 비선형 완화 프로세스를 사용하여 맵 간 및 맵 내의 불일치들 간에 절충점을 찾아냄으로써 가시성 있는 맵들을 단일한 표현으로 통합한다.

최적의 색조 제현을 결정하기 위하여, 미국특허 제5,724,456호에서 제이. 알. 보약 등은 이미지를 여러 블록으로 나누어, 특정한 블록들을 섹터들로 조합한 다음, 각 섹터마다 최대 및 최소의 평균 블록값들 간의 차이를 결정하는 시스템을 개발하였다. 만일 그 차이가 예정된 문턱값을 초과할 경우, 섹터를 활동 섹터로서 규정한다. 활동 섹터들의 모든 가중된 값들은 평균 휘도 섹터값들에 대하여 히스토그램으로 구성된다. 이 때, 이를 예정된 기준에 의하여 쉬프트하여, 관심 있는 평균 휘도 섹터값이 대상이 되는 응용 프로그램의 색 재현 능력에 상응하는 대상 윈도우 내에 들어갈 수 있도록 하였다.

1998년 IEEE 패턴 인식 국제 회의, 회보에 발표한 "이미지에서 지각 있는 중요한 영역들의 자동 식별"에서 W. Osberger 등은 각 영역에서의 각 특징들에 대하여 중요한 값을 생성하도록 구획된 이미지의 각 영역마다 인간의 시각적 관심에 영향을 주는 것으로 알려진 여러 가지 특징들을 평가하였다. 평가된 특징들로서 저레벨의 요소들(콘트라스트, 사이즈, 형상, 컬러, 움직임) 및 고레벨의 요소들(위치, 전경/배경, 사람, 환경) 등이 언급되었지만, 오직 콘트라스트, 사이즈, 형상, 위치 및 전경/배경 (각 영역에 포함된 전체 이미지 경계의 비율을 결정함으로써 배경을 결정)만이 충족되었다.

1995년 IEEE 이미지 프로세스 국제 회의 회보에 발표한 "다중 큐의 통합에 의해 컬러 이미지의 전경/배경 구획"에서 Q. Huang 등은 컬러 클러스터링, 최소 묘사 길이(Minimum Description Length:MDL) 원리에 기초한 비감시 구획, 에지에 기초한 전경/배경 분리, 및 양 영역 및 에지에 기초한 구획의 통합 등과 같은 다중레벨 구획 방안을 사용함으로써 컬러 이미지들을 전경/배경으로 자동 구획하는 것을 주장하였다. 특히, MDL에 기초한 구획 알고리즘을 사용하여 초기 컬러 클러스터링으로부터 영역들을 더 그룹화 하였으며, 이미지의 네 개의 코너들을 사용하여 배경 구배 크기를 적응적으로 추정하였다.

1997년 국제 J. 컴퓨트 비젼, 21권 제1호 9-36페이지의 "컬러 영역들을 사용하는 데이터 및 모델 구동 선택"에서 T. F. Syeda-Mahmood 는 컬러 영역 구획 및 영역에 기초한 두드러진 측정을 사용하는 데이터 구동 영역 선택 방법을 제안하였다. 220개의 주요한 컬러 카테고리들의 집합을 컬러 룩업 테이블의 형태로 미리 정의하였다. 픽셀들을 컬러 카테고리들 중 하나로 맵핑하고, 연관된 성분 분석을 통하여 함께 그룹화하고, 호환 가능한 컬러 카테고리들에 따라 합병하였다. 두 가지 타입의 두드러진 특징들, 즉, 자기 두드러짐과 상대 두드러짐을 발견적인 가중 인자들을 사용하여 선형으로 조합하여 전체적인 두드러짐을 결정하였다. 특히, 자기 두드러짐에는 컬러 포화, 휘도 및 사이즈가 있는 반면, 상대 두드러짐에는 관심 있 는 영역과 이웃 간에 연속적인 순서에 따른 사이즈, 범위 및 콘트라스트 간의 최고의 순위를 랭크하는 주위 영역 간의 컬러 콘트라스트 및 사이즈 콘트라스트 등이 있다.

요약하면, 거의 모든 보고된 방법들은 목표로 한 이미지의 타입들; 주요한 주제를 가지는 사진이 상대적으로 간단한 정적인 배경(Osberg, Marichal); 상대적으로 깨끗한 배경(Huang)의 큰 영역에 대해 이미지의 중심에 위치한 저명한 주요 주제가 있는 박물관 이미지들; 및 주제가 몇 개의 뚜렷한 컬러의 형태로 된 피사체들(Milanese, Syeda)인 토이 월드(toy-world) 이미지들에 대하여 개발되었다. 이 방법들은 한정되지 않는 사진 이미지들을 위해 설계된 것이 아니며, 또는 심지어 일반적인 원리에 의해 설계된 경우에서조차도, 오히려 간단한 이미지들에서 그들의 유효성이 증명되었다.

미국특허 제6,282,317호는 이미지에서 주요 주제를 검출하기 위한 방법을 개시하고 있다. 이 방법은 디지털 이미지를 수신하고; 수신된 디지털 이미지로부터 실제의 피사체들에 의해 정해지는 임의 형상과 사이즈의 영역들을 추출하고; 추출된 영역들을 물리적으로 연관된 피사체들에 상응하는 더 큰 구획들로 그룹화하고; 각 영역들마다 적어도 하나의 구조적으로 두드러진 특징과 적어도 하나의 의미 있는 두드러진 특징을 추출하고; 추출된 두드러진 특징들을 개연적 이성 엔진(probabilistic reasoning engine)을 사용하여 각 영역이 주요 주제라고 확신하여 통합하는 것을 포함한다.

미국특허 제6,654,506호는 디지털 이미지를 절삭하기 위한 방법 및 컴퓨터 프로그램/시스템을 개시하고 있다. 이 방법은 사진 이미지의 확신 맵을 입력하고, (확신 맵 내의 한 위치에서의 확신값은 사진 이미지에서 동일 위치에서의 사진 주제의 중요성을 나타낸다), 줌 팩터 및 절삭 윈도우를 선택하고, 확신 맵의 영역들을 클러스터링하여 배경부분들, 부차적인 부분들 및 주요 부분들을 선택하고, 절삭 윈도우가 최고의 확신값을 갖는 주요부분 주위에 위치하도록 설정하고, 절삭 윈도우를 이동시켜서 이미지에 완전히 포함되도록 하고, 절삭 윈도우를 이동시켜서 확신값들의 합이 최대가 되게 하고, 절삭 윈도우에 따라 이미지를 절삭하는 것을 포함한다.

미국특허 제6,654,507호는 디지털 이미지의 확신 맵을 연산하는 픽셀들을 포함하는 디지털 이미지의 적어도 일부 영역의 이미지를 생성하는 방법을 개시하고 있다. 이 방법은 디지털 이미지의 픽셀들을 사용하여 일련의 특징들을 결정하고 또한 그러한 특징들을 이용하여 절삭 윈도우의 사이즈를 결정하는 형상과 줌 팩터를 가지는 절삭 윈도우를 결정하는 확신 맵 내에 디지털 이미지의 주요 주제가 위치하는 확률을 할당하고, 확신 맵 및 절삭 윈도우에 응답하여 이미지의 일부 중 주요한 주제 내용을 포함하도록 디지털 이미지를 절삭한다.

미국특허 제6,907,136호는 사람의 이미지로부터 일 영역을 절삭하여 간단한 조작으로 적절한 영역을 얻는 소위 ID 사진 제작을 개시하고 있다. 이 방법은 사람 얼굴을 포함하는 원본 이미지상의 얼굴 영역 주위를 둘러싸는 사각형을 표시하는 단계와, 사각형의 표시 단계에 의해 표시된 사진의 수직 길이 및 수평 길이를 산출하는 단계와, 산출된 수직 길이 및 수평 길이에 기초하여 얼굴 영역을 포함하는 절 삭 영역을 결정하는 단계를 포함한다.

미국공개특허출원 제2002/0191861호는 전자 이미지들의 자동화 및 반 자동화 절삭을 개시하고 있으며, 특히, 그러한 전자 이미지들을 포착 및 절삭하기 위해 전자 카메라를 사용하는 방법을 개시하고 있다. 전자 이미지를 절삭하기 위한 전자 이미지 처리 장치는 이미지 처리 수단을 포함하며, 이 이미지 처리 수단은 전자 프로세서 및 펌웨어 및/또는 소프트웨어를 포함한다. 이 장치는 전자 이미지를 처리하여 전자 이미지의 구성에 관한 하나 이상의 특징들을 식별하며, 각각의 그러한 특징은 미리 예정된 복수의 상이한 구성적 특성들로부터 하나 이상의 구성적으로 중요한 특성들을 가지며, 각각의 그러한 특성은 전자 이미지의 서브 영역을 차지한다. 그 다음 전자 이미지 처리 장치는 하나 이상의 식별된 특징들의 구성적으로 중요한 속성에 대한 구성적 규칙의 관련성에 기초하여 미리 정해진 일련의 구성적 규칙들로부터 하나 이상의 구성적 규칙들을 선택한다. 그 다음, 이 장치는 하나 이상의 선택된 구성적 규칙들을 적용함으로써 하나 이상의 적합한 절삭 경계들을 결정한다.

미국공개특허출원 제2005/0025387호는 원본 디지털 이미지로부터 바람직한 종횡비에 따라 새로운 이미지를 생성하는 방법을 개시하고 있다. 이 방법은 바람직한 종횡비 및 미리 예정된 크기의 절삭 윈도우를 결정하고; 위치를 나타내는 확신값들의 어레이 및 원본 디지털 이미지에서 주제의 상대적인 중요성을 포함하는 요부 주제에 대한 확신을 얻고; 요부 주제의 확신 맵을 사용하여 미리 예정된 세트의 기준을 만족하는 원본 디지털 이미지에서 절삭 윈도우의 위치를 결정하고; 원하는 종횡비의 절삭된 이미지를 생성하는 것을 포함한다.

사진을 찍는 사람은 사진을 보는 사람들에게 하나 이상의 주요 주제들에 관한 관심을 전달하고자 한다. 그렇게 하기 위한 메카니즘들로는 프레임 내에 주요 주제의 위치를 조절하고, 그 주요 주제와 그의 주변 간의 색조 대비, 컬러 또는 텍스쳐를 조정하고, 그 주요 주제를 최대 밝기로 강조하는 것을 포함한다. 사진을 찍는 사람이 특정 사진에서 주요 주제를 강조할 수 있도록 하기 위해서는, 사진과 무관한 제3자들이 그 주요 주제에 대하여 서로 간에 의견일치가 있어야 할 것이며, 이 의견일치가 사진을 찍는 사람의 의도를 반영할 것인지에 대하여 논의한 결과 실제로, 자동 시스템은 사진을 찍는 사람이 사람, 설치물, 이벤트 등에 대하여 특정한 지식을 가지고 있지 않는다는 것으로 예측된다.

따라서, 본 발명은 자동 알고리즘들을 개발하여 당사자가 아닌 제3자의 입장에서 사진 속의 주요 주제를 식별하여 그것을 트리밍할 수 있도록 하는 것이다.

또한, 2000 이상의 이미지들의 사진 이미지 데이터베이스에 관한 연구(2005년 S. Li, A. Jain의 "얼굴 인식 핸드북")에 의하면, 사진 이미지들의 70% 이상이 사람을 가지고 있으며, 거의 그와 동일한 수의 이미지들이 그들 내에 얼굴들을 가지고 있다. 정말로, 사람들은 사진들 속에서 가장 중요한 주제의 하나이다. 그러므로, 본 발명은 사람 얼굴의 존재를 효과적으로 검출할 수 있는 알고리즘을 제공할 수 있도록 하는 것이다.

비록 얼굴 인식 연구가 아주 조기에 시작되기는 하였지만, 최근까지 얼굴 검출 문제에 대한 관심이 그렇게 많지 않았다. 최근 십년 여 동안에 얼굴 검출 문제 에 대하여 더 많은 관심이 기울여졌으며, 얼굴 검출에 대한 관심 덕분에 다양한 방법들이 개발되었고, 그 수는 크게 증가 하고 있다.

임의의 크기를 가지는 이미지가 주어지면, 이미지 속에 나타나는 사람 얼굴의 존재를 검출하여, 만일 있을 경우, 그들의 위치들로 되돌아 간다. 사진들은 상이한 크기, 방향 및 상이한 머리 자세들을 표현한다는 사실 때문에, 얼굴 검출은 도전할 가치가 있는 작업이 된다. 그 외에도, 밝기, 사진들의 불연속성, 얼굴 표정의 변화, 및 안경, 화장 또는 수염과 같은 얼굴 특징들의 존재와 같은 상태들은 이미지 속의 얼굴 모양의 변화에 크게 기여한다.

지금까지 수많은 얼굴 검출 방법들이 문헌에 보고되었다. 2005년 S. Li, A. Jain의 "얼굴 인식 핸드북"에서는 기존 방법들에 대한 개괄적인 고찰을 제시하였다. 이 책에 의하면, 얼굴 검출 방법들은 주로 두 개의 카테고리 즉, 외형에 기초하는 방법과 특징에 기초하는 방법으로 나눌 수 있다. 후자의 방법은 우선 많은 포인트의 특징들을 추출한 다음, 추출된 특징들을 얼굴 모델과 맞춰보지만, 전자는 곧바로 픽셀 강도들을 맞춰본다. 분명히 특징에 기초한 방법은 머리, 눈과 입의 형상, 위치, 얼굴 색, 텍스쳐, 및 얼굴의 3D 모델과 같은 사전 지식이 필요하다. 이와 대조적으로 외형에 기초한 방법들은 사전 지식이 필요 없다. 왜냐하면, 그들 대부분은 픽셀 강도들의 벡터로서 전체 얼굴을 처리한 다음, 특정한 테크닉들을 사용하여 그들을 맞춰보기 때문이다. 외양에 기초한 방법들은 정면이 아닌 얼굴들에 더 적합하고 또한 복합 장면에서 더 성공적인 것으로 알려져 있지만, 간단한 장면들에서는 특징에 기초한 방법들이 더 성공적인 것으로 알려져 있다.

따라서, 본 발명은 이미지 내의 중요한 피사체를 손상하지 않고, 당사자가 아닌 제3자의 입장에서 사진 속의 주요 주제를 식별하여 그것을 트리밍할 수 있도록 하는 이미지 처리방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 사람 얼굴의 존재를 효과적으로 검출할 수 있는 알고리즘을 제공하는 이미지 처리방법을 제공하는 것을 목적으로 한다.

상기 목적은, 이미지 처리방법에 있어서, 수평 또는 수직 스트라이프들의 불균일성을 텍스쳐 특징들에 의한 상기 이미지의 사각형 영역들의 클러스터링화를 사용하여 분석하는 단계와; 사람의 얼굴들을 검출하는 단계와; 상기 이미지에서 상기 검출된 얼굴들에 대한 정보를 사용하여 트리밍을 교정하는 것을 포함하는 것을 특징으로 하는 이미지 처리방법에 의해 달성된다.

여기서, 상기 클리스터링화를 사용하는 단계는, 트리 클러스터링화를 사용하는 것이 바람직하다.

또한, 상기 클리스터링화를 사용하는 단계는, k-이웃 클러스터링화를 사용하는 것이 바람직하다.

그리고, 상기 텍스쳐 특징들은 상기 이미지 영역들을 설명하기 위해 평균 휘도값과, 휘도- 편차 σ²와, R = 1- 1/ 1+σ²와, U = h₁ ²+ h₂ ²(h₁은 128 이하의 값을 갖는 영역 픽셀들의 분수이고, h₂는 128 이상의값을 갖는 영역 픽셀들의 분수)와, e = -h₁log₂h₁ - h₂log₂h₂와, m = 1 (h₀>h₁) 및 2 (h₀<=h₁) 중 적어도 어느 하나를 사용하는 것이 바람직하다.

또한, 상기 얼굴들을 검출하는 단계는, 얼굴 검출기를 사용하여 상기 얼굴들을 검출할 수 있다.

그리고, 상기 이미지 트리밍을 교정하는 단계는, 고레벨 피사체 검출기를 사용하여 교정할 수 있다.

여기서, 상기 이미지 트리밍을 교정하는 단계는, 상기 검출된 얼굴들을 둘러싸는 사각형의 y좌표 중 최대/최소값을 산출하는 단계와; 절삭 프레임의 센터를 상기 최대 및 상기 최소값의 점들에 의해 형성되는 수직 구획의 센터와 정렬하는 단계를 포함하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 이미치 처리방법에 대해 설명한다.

도 1은 본 발명에 따른 이미지 처리방법을 수행할 수 있는 이미지 처리장치를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 이미지 처리장치는 프로그램 코드를 실행하는 프로세서(101)와, 이미지 처리에 대한 입력을 받는 입력장치(102)와, 정보의 교환을 수행하는 데이터 버스(103)와, 프로그램 코드를 저장하는 메모리(104)와, 처리된 이미지를 프린팅하는 프린팅 장치(105)와, 처리된 이미지를 표시하는 디스플레이장치(106)을 포함할 수 있다.

도 2는 본 발명에 따른 이미지 처리방법을 도시한 흐름도이며, 도 3은 본 발명에 따른 이미지 처리방법에서의 단계 S201을 설명하기 위한 도면이다. 종횡비를 4:3에서 3:2로 변환하기 위해 수직방향을 따라 4l x 3l 크기의 픽셀들(l은 정수)을 가지는 이미지의 1l/3을 절취하기 위해, 높이 8l/3의 절삭 프레임을 어떻게든 위치시켜야한다. 도 3에서 적색 점선 A 및 D는 이미지에서 수직으로 위치하는 절삭 프레임을 나타낸다. 녹색 점선 B는 이미지에서 바닥 위치를 가지는 프레임의 상측이다. 청색 점선 C는 이미지에서 상부 위치를 갖는 프레임의 하측이다.

여기서, 수평 스트라이프는 경치방향을 의미하고, 수직 스트라이프는 인물방향을 의미할 수 있다.

도 4는 본 발명에 따른 이미지 처리방법에서의 단계 S201을 도시한 흐름도이다. 단계 S401에서, 주어진 컬러 이미지는 256개의 그레이 레벨들을 가지는 단색의 이미지로 전환된 후, 도 3에서 밝은 회색으로 나타나는 P×Q 인접 사각형 영역들로 분할된다.

단계 S402에서, 각각의 사각형 영역에 대해 텍스쳐의 특징들이 산출된다. 본 발명의 바람직한 실시예에 의하면 아래와 같은 6개의 특징들을 사용한다.

1) 평균 밝기값;

2) 휘도-편차 σ²;

3) R = 1- 1/ 1+σ²;

4) U = h₁ ²+ h₂ ² , 여기서 h₁ 은 128 이하의 값을 갖는 영역 픽셀들의 분수 이고, h₂ 는 128 이상의 값을 갖는 영역 픽셀들의 분수이다.

5) e = -h₁log₂h₁ - h₂log₂h₂;

6) m = 1 (h₀>h₁) 및 2 (h₀<=h₁)

단계 S403에서, 이미지의 PㆍQ 사각형 영역들은 산출된 특징들을 사용하여 k그룹들로 클러스터링된다. 본 발명의 바람직한 실시예에 따르면, 트리 클러스터링화 도표(tree clusterization scheme)를 사용한다. 따라서, 유사한 텍스쳐 특성들을 가지는 이미지 영역들이 그룹별로 식별된다.

단계 S404에서, 이미지의 각 행 I에 대해, 선택된 행을 포함하는 이미지의 사각형 영역들 간에 상이한 클러스터들의 수 g(i)가 산출된다. 이 숫자는 이미지 g행의 균일성의 정도를 추산한다. 낮은 g값을 가지는 행들은 균일하고, 중요도가 낮은 정보를 포함하는 것으로 추정되는 반면, 높은 g값을 가지는 행들은 이질적인 것이며, 중요도가 높은 정보를 포함하는 것으로 추정된다.

단계 S406, S408, S410, S411에서, 예비 이미지 트리밍은 대응하는 상태들 S405, S407, S409에 따라 수행된다.

숫자 P, Q, k는 이 방법에서 조정가능한 파라미터이다. 1024 × 768 크기의 이미지의 경우, P = 32, Q = 32, 및 k = 50을 선택할 때, 최상의 결과를 나타냄이 실험적으로 밝혀졌다.

도 2에 도시된 단계 S202에서, 얼굴 검출이 수행된다. 이 단계에서 사용될 수 있는 수많은 공지된 얼굴 검출 알고리즘들이 있다. 본 발명의 바람직한 실시예 에 따르면, A. Shakenov에 의해 공동으로 양수된 러시아 공개특허출원 "디지털 이미지 프린트 준비과정에서 자동 얼굴 검출 방법"에 개시된 얼굴 검출기를 사용한다. 이 검출기는 도 5에 도시된 흐름도에 따라 작업한다. 단계 S501에서, 하르 클래스파이어 캐스케이드(Harr classifier cascade)를 사용하여 얼굴 검출을 수행한다. 이 단계에서는 사람의 얼굴들로 추정되는 상이한 크기의 이미지 사각형 영역들의 세트가 출력된다. 이 세트의 각 영역을 더 분석하여, 그것이 우리의 출원과 관련된 3가지 상태들, 즉, "사진", "피부" 및 "눈과 입" 상태를 만족하는지를 볼 수 있다.

단계 S502에서, "사진" 상태가 점검된다. 폭이 w 픽셀 및 높이가 h 픽셀을 가지며, 폭이 v 픽셀 및 높이가 u 픽셀을 가지는 이미지의 일부인 영역은 아래의 부등식 중 하나를 유지할 경우 이 상태를 만족한다.

w < 100인 경우 min(u/h, v/w) < 8.

w ≥ 100인 경우 min(u/h, v/w) < 12.

단계 S503에서, "피부" 상태가 점검된다. 영역은 아래의 부등식이 유지될 경우 이 상태를 만족한다.

Ns/N ≥ 0, 2,

여기서 N은 도 6에 도시된 형태의 서브영역 내의 픽셀들의 총수이고, Ns는 RGB 컬러 공간에서 적색 성분값이 아래와 같은 값이 되는 서브영역 픽셀들의 수이다.

1) 녹색 및 청색 성분값보다 큼.

2) 청색 성분값의 5배 이하.

단계 S504에서, "눈과 입" 상태가 도 7에 도시된 흐름도에 따라 점검된다. 단계 S701에서, 피부 픽셀들의 검출이 상술한 규칙들을 사용하여 수행된다. 단계 S702에서, 검출된 피부 픽셀들은 최소자승법을 사용하는 타원에 의해 둘러싸인다. 그 후 단계에서, 타원 내부의 영역만이 고려된다.

단계 S703에서, 눈과 입에 대한 필터링이 도 8에 도시된 R1 × R2 마스크로 그 영역을 감싸줌으로써 수행된다. 여기서 R1 = 0.09h, R2 = 0.02w이다. 얻어진 필터링된 이미지는 문턱값 t = m + 2σ를 사용하여 단계 S704에서 스레스홀딩된다. 여기서, m은 필터링된 이미지의 평균 밝기이고, σ는 밝기의 표준편차이다.

단계 S705에서, 연결된 성분들이 추출된다. 도 9에 도시된 각각의 원들 A,B 및 C에서 하나의 연결된 성분은 최대영역을 가지는 것이 선택된다.

마지막으로, 다음의 상태들이 단계 S706에서 점검된다:

1) 각 원은 성분을 가져야한다.

2) 원 C에서 선택된 성분의 x-좌표 센터는 구획[xA + 0.2D, xB - 0.2D]에 존재해야 한다. 여기서, xA 및 xB는 원들 A 및 B 내의 상응하는 선택된 성분들의 x-좌표이고, D는 성분들 간의 거리이다. "눈과 입" 상태는 이들 상태들이 유지될 경우 유지된다.

도 2에 도시된 흐름도에서 단계 S202에서 어떤 얼굴들이 발견되면, 즉, 단계 S203이 참이면, 예비 트리밍의 교정이 단계 S204에서 수행된다. 이 교정은 예컨대 아래의 방법에 의해 수행되며, 이 방법은 도 10에 도시된 바와 같다.

1. 검출된 얼굴들을 둘러싸는 사각형의 y좌표들로서, 최대(yt) 및 최소(yb)가 산출된다.

2. 절삭 프레임의 센터는 yt 및 yb 점들에 의해 형성되는 수직 구획의 센터와 정렬된다.

여기서, 도 2의 흐름도에서 보는 바와 같이, 얼굴을 검출하는 단계 S202는 단계 S201과 병행으로 이미지에 적용될 수 있다. 또한 사람의 몸, 빌딩 등을 구획하여 보존하기 위해 제시된 방안들에서는 다른 타입의 의미 있는 피사체 검출기들이 사용될 수도 있다.

그리고, 프린터에서 수행되는 트리밍 방법을 위한 연산 시간은 통상의 프린터가 현재 약 1분에 한 장의 컬러 사진을 인쇄하기 때문에 임계값이 되지 않는다. 따라서, 이미지 당 수 초의 시간이 경과하여도 이미지를 트리밍하는 것이 허용될 수 있다.

또한 본 발명에 따른 이미지 처리방법은 단독의 소프트웨어 패키지들에서뿐만 아니라 이미지들을 출력하기 위해 프린팅 장치에 연결될 수 있는 디지털 카메라 및 기타 장치용 펌웨어에서 구현될 수도 있다. LCD를 가지는 프린팅 장치에서, 사용자는 이미지들을 인쇄하기 전에 트리밍된 이미지들을 볼 수 있고 또한 "업" 및 "다운" 버튼을 사용하여 절삭 프레임의 위치를 변경할 수 있는 능력을 제공할 수 있다.

도 11 내지 도 14는 본 발명에 따른 이미지 처리방법에 의해 트리밍되는 이미지들을 나타낸다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

상기한 바와 같이, 본 발명에 따른 이미지 처리방법에 의하면 이미지 내의 중요한 피사체를 손상하지 않고, 당사자가 아닌 제3자의 입장에서 사진 속의 주요 주제를 식별하여 그것을 트리밍할 수 있다.

또한, 본 발명에 따른 이미지 처리방법에 의하면 사람 얼굴의 존재를 효과적으로 검출할 수 있는 알고리즘을 제공할 수 있다.

그리고, 본 발명에 따른 이미지 처리용 소프트웨어 패키지를 프린팅 장치 및 디지털 카메라의 펌웨어에서 구현할 수 있다.

Claims

이미지 처리방법에 있어서,

상기 이미지의 프레임을 수평 또는 수직으로 분할하는 단계와;

상기 분할에 의해 형성된 사각형 영역 각각에 대해 텍스쳐 특징을 산출하는 단계와;

산출된 상기 텍스쳐 특징을 사용하여 상기 수평 또는 수직으로 분할된 프레임의 중요도를 산출하는 단계와;

사람의 얼굴을 검출하는 단계와;

상기 검출된 얼굴에 대한 정보 및 상기 산출된 중요도에 기초하여 상기 프레임을 트리밍하는 단계를 포함하는 이미지 처리방법.
제1항에 있어서,

상기 중요도를 산출하는 단계는,

상이한 텍스쳐 특성을 갖는 상기 사각형 영역의 수를 산출하는 단계를 포함하는 이미지 처리방법.
제2항에 있어서,

상기 상이한 텍스쳐 특성을 갖는 상기 사각형 영역의 수는, 상기 분할된 프레임의 균일성의 정도를 추정하기 위한 것이며, 낮을수록 상기 중요도가 낮고, 높을수록 상기 중요도가 높은 것을 특징으로 하는 이미지 처리방법.
제1항에 있어서,

상기 텍스쳐 특징들은 상기 이미지 영역들을 설명하기 위해 평균 휘도값과, 휘도- 편차 σ²와, R = 1- 1/ 1+σ²와, U = h₁ ²+ h₂ ²(h₁은 128 이하의 값을 갖는 영역 픽셀들의 분수이고, h₂는 128 이상의값을 갖는 영역 픽셀들의 분수)와, e = -h₁log₂h₁ - h₂log₂h₂와, m = 1 (h₀>h₁) 및 2 (h₀<=h₁) 중 적어도 어느 하나를 사용하는 것을 특징으로 하는 이미지 처리방법.
제1항에 있어서,

상기 얼굴들을 검출하는 단계는, 얼굴 검출기를 사용하여 상기 얼굴들을 검출하는 것을 특징으로 하는 이미지 처리방법.
제1항에 있어서,

상기 분할하는 단계는,

상기 이미지가 컬러 이미지인 경우, 상기 컬러 이미지는 256개의 그레이 레벨들을 가지는 단색의 이미지로 전환하는 단계를 포함하는 이미지 처리방법.
제1항에 있어서,

상기 프레임을 트리밍하는 단계는,

상기 검출된 얼굴들을 둘러싸는 사각형의 y좌표 중 최대 및 최소값을 산출하는 단계와;

절삭 프레임의 센터를 상기 최대 및 상기 최소값의 점들에 의해 형성되는 수직 구획의 센터와 정렬하는 단계를 포함하는 것을 특징으로 하는 이미지 처리방법.