KR20150109987A - 영상 처리 장치, 그 제어 방법 및 컴퓨터 판독 가능 기록 매체 - Google Patents

Abstract

본 발명은 영상 처리 장치, 그 제어 방법 및 컴퓨터 판독 가능 기록 매체에 관한 것으로, 영상 처리 장치는 복수의 영상들로부터 얼굴을 검출하고, 상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하여, 상기 추정된 헤드 포즈 별로 상기 복수의 영상들을 분류하고, 상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하여, 상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 처리부 및 상기 그루핑 결과를 표시하는 표시부를 포함한다.

Description

영상 처리 장치, 그 제어 방법 및 컴퓨터 판독 가능 기록 매체{VIDEO PROCESSOR, method for controlling the same and a computer-readable storage medium}

본 발명의 실시예들은 영상 처리 장치, 영상 처리 장치 제어 방법 및 컴퓨터 판독 가능 기록매체에 관한 것이다.

휴대용 단말기 및 디지털 카메라의 급속한 확산에 의하여 사용자들은 언제 어디에서나 사진을 촬영하고, 촬영한 사진들을 타인에게 전송할 수 있게 되었다. 대부분의 사용자들은 카메라가 내장된 모바일 기기에 많은 양의 영상 정보들을 저장하고 있고, 이에 따라, 이러한 영상 정보들의 효율적 관리를 돕기 위하여 영상으로부터 특징을 추출하고 추출된 특징 정보 간에 유사도가 높은 영상들끼리 그루핑해주는 서비스가 제공되고 있다. 얼굴을 인식하여 영상 정보들을 그루핑(grouping)하는 서비스도 그 중 하나이다. 그러나 얼굴 인식을 기반으로 하는 영상 그루핑을 제공하는 종래의 기술들은 촬영 환경, 피사체의 자세 등 다양한 변수에 따라 얼굴 인식의 정확도가 떨어지는 문제가 있다.

본 발명의 실시예들은, 얼굴 인식을 기반으로 복수의 영상 정보를 그루핑 함에 있어서 헤드 포즈 정보를 함께 고려하여 그루핑의 정확도 및 효율을 향상시키기 위한 것이다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예의 일 측면에 따르면,

복수의 영상들로부터 얼굴을 검출하는 단계;

상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하는 단계;

상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계;

상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하는 단계;

상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 단계; 및

상기 그루핑 결과에 따라 상기 복수의 영상들을 표시하는 단계

를 포함하는 영상 처리 방법이 제공된다.

이 때, 상기 헤드 포즈는

머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도에 대해서 각도 별로 분류된 포즈,

머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도 각도에 대해서 각도 별로 분류된 포즈,

머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 대해서 각도 별로 분류된 포즈를 포함하는 것을 특징으로 한다.

또한, 상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계는 상기 제2각도에 대해서 각도 별로 분류된 포즈는 고려하지 않을 수 있다.

상기 얼굴 특징 추출 단계는, 헤드 포즈에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소하는 단계를 더 포함할 수 있다.

영상 처리 방법은 상기 그루핑 된 복수의 영상들에 그룹별로 태그를 부여하는 단계를 더 포함할 수 있다.

또한, 상기 영상 처리 방법은 상기 그루핑 된 복수의 영상들에 그룹별로 대표 특징 정보를 저장하는 단계를 더 포함할 수 있다.

또한, 상기 영상 처리 방법은 상기 그루핑 된 복수의 영상들 중 적어도 하나의 영상을 사용자의 입력에 따라 다른 그룹으로 이동 시키는 단계를 더 포함할 수 있다.

이 경우, 이동된 영상이 원래 속해 있던 그룹의 대표 특징 정보를 이동된 영상이 원래 속해 있던 그룹의 나머지 영상들로부터 추출한 대표 특징 정보로 업데이트 하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예의 또 다른 측면에 따르면,

복수의 영상들로부터 얼굴을 검출하고, 상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하여, 상기 추정된 헤드 포즈 별로 상기 복수의 영상들을 분류하고, 상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하여, 상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 처리부; 및

상기 그루핑 결과에 따라 상기 복수의 영상들을 표시하는 표시부

를 포함하는 영상 처리 장치가 제공될 수 있다.

이 때, 상기 헤드 포즈는

머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도에 대해서 각도 별로 분류된 포즈,

머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도 각도에 대해서 각도 별로 분류된 포즈,

머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 대해서 각도 별로 분류된 포즈를 포함할 수 있다.

상기 처리부에 의한, 상기 헤드 포즈 별 상기 복수의 영상들의 분류는 상기 제2각도에 대해서 각도 별로 분류된 포즈는 고려하지 않을 수 있다.

또한 상기 처리부에 의한, 상기 얼굴 특징 추출은, 헤드 포즈 별에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소할 수 있다.

상기 처리부는 상기 그루핑 된 복수의 영상들에 대하여 그룹별로 태그를 부여하는 기능을 더 포함할 수 있다.

또한, 상기 처리부는 상기 그루핑 된 복수의 영상들에 대하여 그룹별로 대표 특징 정보를 저장하는 특징 정보 저장 기능을 더 포함할 수 있다.

또한, 상기 처리부는 상기 그루핑 된 복수의 영상들 중 적어도 하나의 영상을 사용자의 입력에 따라 다른 그룹으로 이동 시키는 기능을 더 포함할 수 있다.

상기 처리부는 이동된 영상이 원래 속해 있던 그룹의 대표 특징 정보를 이동된 영상이 원래 속해 있던 그룹의 나머지 영상들로부터 추출한 대표 특징 정보로 업데이트 한다.

본 발명의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 영상 처리 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상 처리 방법은,

복수의 영상들로부터 얼굴을 검출하는 단계;

상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하는 단계;

상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계;

상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하는 단계;

상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 단계; 및

상기 그루핑 결과에 따라 상기 복수의 영상들을 표시하는 단계

를 포함하는 컴퓨터 판독 가능 기록매체가 제공된다.

상기 헤드 포즈는

머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도에 대해서 각도 별로 분류된 포즈,

머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도 각도에 대해서 각도 별로 분류된 포즈,

머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 대해서 각도 별로 분류된 포즈를 포함할 수 있다.

상기 얼굴 특징 추출 단계는, 헤드 포즈에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소하는 단계를 더 포함할 수 있다.

상기 그루핑 된 복수의 영상들에 그룹별로 태그를 부여하는 단계를 더 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 헤드 포즈의 개념을 설명하기 위한 도면이다.
도 3는 본 발명의 일 실시예에 따른 헤드 포즈의 분류를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 그루핑 결과를 표시부에 표시하는 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치 제어 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 헤드 포즈의 분류 중 제2각도에 대해서 각도 별로 분류된 포즈를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 얼굴 특징 정보의 차원 축소 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 사용자 입력에 의한 클러스터 변경의 예시를 도시한다.
도 9는 본 발명의 일 실시예에 따른 복수의 얼굴이 존재하는 영상의 그루핑에 대한 예시를 도시한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 사진 등을 포함한 복수의 영상들을 저장하고 관리할 수 있는 장치로서 처리부(110)와 표시부(120)를 포함할 수 있다.

처리부(110)는 장치에 저장된 복수의 영상들로부터 얼굴을 검출하고 검출된 얼굴의 헤드 포즈(head pose)를 추정하여 헤드 포즈 별로 얼굴을 분류하고, 분류된 얼굴로부터 얼굴 특징을 추출하여 유사한 얼굴 특징을 가진 영상끼리 그루핑 하는 기능을 수행한다.

표시부(120)는 영상 처리 장치에 저장된 영상을 사용자에게 디스플레이 한다. 표시부(120)는 처리부(110)의 처리 결과로 그루핑 된 영상들을 표시하여 사용자가 확인할 수 있도록 한다. 표시부(120)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 표시부(120)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.

표시부(120)는 디지털 카메라의 디스플레이, 휴대 전화의 디스플레이 또는 기타 카메라를 내장한 영상 처리 장치의 디스플레이 등을 포함할 수 있다.

도 1에 도시된 영상 처리 장치(100)는 본 발명의 일 실시예이며, 본 발명의 실시예들에 따른 영상 처리 장치(100)는 도 1에 도시된 영상 처리 장치(100)에 한정되지 않는다.

도 2는 본 발명의 일 실시예에 따른 헤드 포즈의 개념을 설명하기 위한 도면이다.

본 명세서에서 "헤드 포즈"는 영상에서 얼굴의 방향과 기울어진 각도를 의미한다. 일 실시예에 따르면, 헤드 포즈는 머리의 상하를 통과하는 제1축을 중심으로 회전하는 각, 머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각, 머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각에 의해 정의될 수 있다.

예를 들어, 헤드 포즈는 제1축(200)을 중심으로 회전하는 제1 각도(210)에 따라, 정면, 우측면, 좌측면으로 분류될 수 있다.

또한, 제2축(230)을 중식으로 회전하는 각에 대하여 분류한 제2 각도(220)에 따라, 정면을 향하고 있는 상태에서 고개를 똑바로 하고 있는 모습인지, 고개를 어느 한 쪽으로 기울인 모습인지 또, 고개를 기울이고 있다면 얼마나 기울이고 있는지 등이 헤드 포즈로 정의될 수 있다.

또한, 제3축(240)을 중심으로 회전하는 제3 각도(240)에 따라, 정면을 향하고 있는지, 고개를 들어 위를 향하고 있는지, 또는 고개를 숙여 아래를 향하고 있는지 등이 헤드 포즈로 정의될 수 있다.

촬영 장치를 통하여 촬영 되는 얼굴 영상은 정면 얼굴 포즈뿐 아니라 아주 다양한 포즈를 가질 수 있으므로, 다양한 헤드 포즈를 고려하여 얼굴 특징을 추출하고 영상을 그루핑 하는 것은 그루핑의 정확도를 향상시킨다는 측면에서 매우 중요하다.

도 3는 본 발명의 일 실시예에 따른 헤드 포즈의 분류를 설명하기 위한 도면이다.

도 3에서 볼 수 있듯이, 제1 각도(210)에 대해서는 얼굴 정면을 기준으로 20도 까지는 거의 정면 얼굴 형태를 보이고, 추출된 얼굴 특징의 변화도가 크지 않다. 반면, 제1 각도가 20도 이하일 때와 20도 초과 40도 이하에 있을 때의 얼굴의 특징을 추출하여 유사도를 비교하면 차이가 비교적 클 수 있다. 마찬가지로, 제1 각도가 20도 초과 40 이하에 있을 때와 40도 초과 60도 이하에 있을 때의 얼굴의 특징을 추출하여 유사도를 비교하면 차이가 비교적 클 수 있다.

또한, 도 3에 도시된 바와 같이, 제3 각도(250)에 대해서는 15도 이하에서는 거의 정면 얼굴 형태를 보이고, 15도를 넘는 각도의 포즈에서는 추출된 얼굴 특징 유사도에서 큰 차이를 보일 수 있다.

따라서, 본 발명의 일 실시예에서는 헤드 포즈를 제1각(210)에 대하여 20도 이하, 20도 초과 40도 이하, 40도 초과 60도 이하, 60도 이상의 4개 그룹으로 분류하고, 제3각(250)에 대하여 15도 이하, 15도 초과 30도 이하, 30도 이상의 3개 그룹으로 분류하여, 총 7개의 헤드 포즈로 분류할 수 있다.

일 실시예에 따르면, 제1 각도(210)로 좌로 회전한 것과 우로 회전한 것을 서로 구분하지 않고, 제1 각도(210)의 크기만 고려하여 헤드 포즈를 분류할 수 있다.

본 발명의 다른 실시예에서는 제1 각도나 제3 각도에 대하여 10도 단위로 분류하는 등과 같이 헤드 포즈 분류를 더 세분화 할 수 있다.

본 발명의 또 다른 실시예에서는 제1 각도나 제3 각도에 대하여 30도 단위로 분류하는 등과 같이 헤드 포즈 분류를 덜 세분화 할 수도 있다.

도 4는 본 발명의 일 실시예에 따른 그루핑 결과를 표시부(120)에 표시하는 예를 도시한다.

만일, 도 3의 실시예와 같이 헤드 포즈를 7개로 분류하고, 각 헤드 포즈 별로 얼굴 특징을 추출하여 그루핑을 수행하면, 그 결과가 S42와 같이 표시부(120)에 디스플레이 될 수 있다. S42의 410, 420, 430 및 440 사진은 각 그룹의 대표 사진을 나타낸다. 상기 대표 사진은 실시예에 따라, 각 그룹의 최초 촬영된 사진, 사용자가 지정한 사진, 각 그룹의 얼굴 특징점 정보에 가장 매치되는 사진 등으로 결정될 수 있다. 또한, 상기 대표 사진은 저장된 이미지의 썸네일 이미지일 수 있다. 다른 실시예에 따르면, 상기 대표 사진은 저장된 이미지의 얼굴 부분만 나타낸 이미지일 수 있다. 다른 예로서, 각 그룹은 아이콘, 각 포즈를 나타내는 텍스트, 캐릭터 등으로 표시될 수 있다.

예를 들어, 제1 그룹(410)은 헤드 포즈가 제1각에 대하여 20도 이하인(정면에 가까운 얼굴이 촬영된) A라는 사람의 영상들을 포함할 수 있고, 제2 그룹(420)은 헤드 포즈가 제1각도(210)에 대하여 60도 이상인(옆 모습이 촬영된) A라는 사람의 영상들을 포함할 수 있으며, 제3 그룹(430)은 헤드 포즈가 제1각도에 대하여 20도 이하인(정면에 가까운 얼굴이 촬영된) B라는 사람의 영상들을 포함할 수 있고, 제4 그룹(440)은 헤드 포즈가 제1각도에 대하여 20도 이하인(정면에 가까운 얼굴이 촬영된) C라는 사람의 영상들을 포함할 수 있다.

이 때, 사용자가 S42 화면 단계에서 제2 그룹(420)을 선택하면, S44 단계 화면이 디스플레이 되는데, S44 단계에서는 사용자가 선택한 제2 그룹(420)에 포함된 A라는 사람의 옆 모습이 촬영된 여러 사진들이 디스플레이 될 수 있다.

도 4에 도시된 표시 예는 본 발명의 일 실시예이며, 본 발명의 실시예들에 따른 그루핑 결과의 표시는 도 4에 도시된 표시 예에 한정되지 않는다. 예를 들어, 또 다른 실시예에서는 S42단계에서 제1 그룹(410)이 디스플레이 되는 자리에 제1 그룹(410)에 속한 몇 장의 사진을 디스플레이 하는 것과 같이 그룹 별로 그룹 내의 몇몇 사진들을 디스플레이 할 수 있으며, 그 중 하나만 크기가 클 수도 있다.

도 5는 본 발명의 일 실시예에 따른 영상 처리 장치 제어 방법을 나타낸 흐름도이다.

먼저, S510 단계에서 처리부(110)는 저장된 복수의 영상들로부터 얼굴을 검출한다. 얼굴 검출은 Harr-like feature 알고리즘, adaboost 알고리즘 등과 같이 이미 알려진 얼굴 인식 관련 알고리즘을 이용하여 이루어질 수 있고, 언급된 특정 방법론에 국한되지 않고 얼굴 검출이 가능한 모든 알고리즘이 사용될 수 있다.

이 때, 4명의 얼굴이 함께 촬영된 사진과 같이 하나의 영상에 복수의 얼굴이 존재하는 경우, 일 실시예에 따르면, 4개의 얼굴이 모두 검출될 수 있다. 다른 실시예에 따르면, 복수의 얼굴들 중, 소정의 기준을 만족하는 얼굴만 인식될 수 있다. 상기 소정의 기준은 예를들면, 소정 크기 이상인 얼굴, 영상의 소정 영역에 속하는 얼굴, 헤드 포즈를 정의하는 제1 각도 및 제3 각도가 소정 범위 이내인 얼굴 등으로 결정될 수 있다.

S520 단계에서는 상기 검출된 얼굴에서 헤드 포즈를 추정한다. 헤드 포즈는 AAM(Active Appearance Model) 등과 같은 잘 알려진 알고리즘을 이용하여 추정될 수 있고, 그 외에도 헤드 포즈 추정이 가능한 모든 알고리즘이 사용 될 수도 있다.

S530 단계에서는 추정된 헤드 포즈 별로 영상들을 분류한다. 이 때 헤드 포즈는 도 3의 실시예와 같이 7개로 분류될 수 있다. 상기 포즈 별로 얼굴을 분류하는 기준은 시나리오에 따라 변할 수 있으며 상기 실시예에 한정되지 않는다.

S540 단계에서는 헤드 포즈 별로 얼굴 특징을 추출한다. 얼굴 특징 추출은 일반적으로 많이 사용되는 Gaber feature 알고리즘, Local binary pattern, Midified Census Transform 및 이들의 조합 등의 방법을 사용하여 이루어질 수 있다.

각 포즈 별로 분류된 그룹 G1, G2 … Gn 에 대하여 각각 얼굴 특징 정보 F1, F2 … Fn 을 추출할 수 있는데, 각 헤드 포즈 별로 각 포즈의 특징을 가장 잘 추출할 수 있는 서로 다른 추출 방법론이 사용될 수도 있다.

만일, 얼굴 특징 추출 단계에서 추출된 얼굴 정보의 차원이 너무 클 경우 클러스터링(clustering)을 수행하기 위한 시간이 너무 많이 소모될 수 있으므로, 이러한 문제를 해결하기 위하여 특징 정보의 차원을 줄인 후 클러스터링을 수행하는 방법이 사용될 수 있다. 본 발명은 특징 정보의 차원을 줄일 때도 포즈 별로 구분하여 차원을 축소하는 방법을 사용할 수 있다. 차원 축소 방법에 대하여 자세한 부분은 후술하기로 한다.

S550 단계에서는 각 헤드 포즈 그룹 별로 추출된 얼굴 특징 정보를 이용하여 유사한 얼굴끼리 묶이도록 그루핑을 수행하여 서브 그룹들을 생성한다. 여기서는 이렇게 생성된 서브 그룹들을 클러스터(cluster)라고 부르기로 한다. 또한 클러스터는 C(k,l)로 표현할 수 있다. 이 때, K는 1부터 n까지 분류한 헤드 포즈 중 k번째 포즈를 나타내고, l은 k번째 헤드 포즈 그룹의 l번째 클러스터를 나타낸다.

본 발명의 일 실시예에 따르면, 생성된 클러스터와 그에 포함되는 영상들에 관한 정보를 별도의 관리 파일에 저장하는 방식으로 클러스터 정보를 관리할 수 있다. 다른 실시예에 따르면, 생성된 클러스터 별로 폴더를 생성하여 해당 클러스터에 포함된 영상들을 저장하는 방식으로 클러스터 정보를 관리할 수도 있다. 또 다른 실시예에 따르면, 클러스터에 대한 정보가 영상 파일의 헤더부에 저장될 수 있다.

본 발명의 일 실시예에서, 각 클러스터는 클러스터를 대표하는 하나 이상의 대표 특징 정보를 가질 수 있다. 상기 대표 특징 정보는 해당 클러스터에 속하는 얼굴들을 나타내는 얼굴 특징점이다. 일 실시예에 따르면, 상기 대표 특징 정보는 해당 클러스터에 속하는 얼굴 특징 정보의 평균으로 설정될 수 있다.

본 발명의 일 실시예에서 상기 대표 특징 정보는 표시부(120)에 표시되지 않고, 내부적으로 정보처리에만 사용될 수 있다. 또한 본 발명의 일 실시예에서 상기 대표 특징 정보는 그루핑 정보를 관리하는 관리 파일에 포함될 수 있다. 다른 실시예에서는 대표 특징 정보만을 저장하는 별도의 파일을 둘 수도 있다. 또 다른 실시예에서는 클러스터 별 대표 특징 정보가 각 클러스터 별로 생성된 폴더에 저장될 수도 있다.

본 발명의 다른 실시예에 따르면, 각 클러스터는 클러스터 내에서 클러스터링을 추가적으로 수행하여 서브 클러스터를 만들고, 각 서브 클러스터의 대표 특징 정보 중 하나를 서브 클러스터로 구분하기 이전 클러스터의 대표 특징 정보로 사용할 수 있다.

본 발명의 일 실시예는 각 클러스터에 포함된 영상의 일부 또는 전부에 태그(tag)를 부여할 수 있다. 예를 들어, 클러스터 C(k,l)에 포함된 몇몇 사진들을 선택하여 A라는 이름으로 태깅하는 개별 태깅 방식으로 태깅을 할 수도 있고, 클러스터 C(k,l)에 포함된 모든 사진을 A라는 이름으로 태깅하는 그룹 태깅 방식으로 태깅을 할 수도 있다.

S560 단계에서는 클러스터 단위로 그루핑된 결과를 표시부(120)에 표시할 수 있다. 본 발명의 일 실시예에서 표시부(120)에 표시된 결과는 도 4의 실시예와 같을 수 있다.

도 6은 본 발명의 일 실시예에 따른 헤드 포즈의 분류 중 제2각도에 대해서 각도 별로 분류된 포즈를 설명하기 위한 도면이다.

본 발명의 일 실시예는 헤드 포즈 별로 복수의 영상들을 분류하는 단계에서 제2각도(220)는 고려하지 않을 수 있다. 이러한 경우, 얼굴이 제2 각도에 따라 회전하는 경우, 제2 각도가 0도가 되는 위치로 검출된 얼굴을 회전하여 얼굴 인식을 수행할 수 있다. 예를 들면, 도 6에 도시된 바와 같이 얼굴을 검출한 후, 두 눈을 검출하여 두 눈을 기준으로 제2 각도가 0도가 되는 정규화 된 얼굴 영역을 찾으면 정면 얼굴과 같은 얼굴을 검출할 수 있다.

예를 들어, 도 6의 610~640과 같이 제2 각도에 따라 회전한 얼굴의 경우, 정규화된 얼굴 영역을 찾으면 정면 얼굴(600)과 같은 얼굴을 검출할 수 있으므로, 헤드 포즈 분류시 제2 각도에 따라 회전한 얼굴을 따로 고려하지 않을 수 있다.

도 7은 본 발명의 일 실시예에 따른 얼굴 특징 정보의 차원 축소 방법을 나타낸 흐름도이다.

S710 단계에서는 헤드 포즈 별 얼굴 특징 정보를 추출한다. 예를 들어, 각 포즈 별로 분류된 그룹 G1, G2 … Gn 에 대하여 각각 얼굴 특징 정보 F1, F2 … Fn 을 추출할 수 있다.

S720 단계에서는 헤드 포즈에 기초하여 차원 축소를 위한 변환 함수 T1, T2 … Tn 을 결정한다. 변환 함수는 이미지들을 이용한 학습 데이터를 통하여 결정될 수 있다. 학습은 차원 축소 후 분류된 이미지들의 분류 결과를 피드백 받아서 이루어질 수 있고, 사용자가 특정 사진의 클러스터를 이동시키는 입력을 기초로 해서도 이루어질 수 있다. 일 실시예에 따르면, S710 단계에서 추출된 얼굴 정보의 차원이 크지 않다면, S720-S730의 차원 축소 과정은 생략될 수도 있다.

S730 단계에서는 추출된 얼굴 특징 정보 F1, F2 … Fn 과 변환 함수 T1, T2 … Tn 을 이용하여 차원 축소를 진행한다. 특징 정보의 차원 축소를 위하여 Principle component analysis(PCA), Linear discriminant analysis(LDA)와 같은 방법들이 사용될 수 있지만, 차원 축소에 사용되는 알고리즘이 위 2개로 한정 되는 것은 아니다.

S740 단계에서는 각 포즈 별로 차원이 축소된 얼굴 특징 정보에 따라 유사한 얼굴 별로 묶이도록 그루핑을 수행하여 클러스터를 생성한다.

도 8은 본 발명의 일 실시예에 따른 사용자 입력에 의한 클러스터 변경의 예시를 도시한다.

도 8의 실시예와 같이 그루핑 결과, 복수의 영상들이 C1-C4의 4개의 클러스터로 분류된 경우, 사용자는 표시부(120)를 통하여 위 클러스터들을 확인할 수 있다. 이 때, 사용자는 원치 않는 사진(850)이 C1(810)에 포함된 것을 발견할 수도 있다.

본 발명의 일 실시예에서 사용자는 C1 클러스터에 포함되기를 원치 않는 사진(850)을 다른 클러스터(840)로 이동시킬 수 있다. 이동을 지시하는 사용자 입력은, 예를 들면, 터치 스크린, 마우스, 스크롤 바, 컨트롤 패널, 모바일 장치, 터치 패드, 트랙 볼 또는 사용자의 입력을 감지할 수 있는 다른 장치나 구성 요소를 이용하여 이루어질 수 있다.

일 실시예에 따르면, 사진(850)이 원래 속해 있던 클러스터 C1(810)의 대표 특징 정보는 이동된 사진(850)을 제외한 나머지 영상들만을 이용하여 새롭게 얻어진 대표 특징 정보로 업데이트 되고, 사진(850)이 이동해 간 클러스터 C4(840)는 대표 특징 정보가 업데이트 되지 않는다. 이동된 사진(850)의 특징 정보는 사용자가 원하는 클러스터링을 제공하지 못한 불량한 특징 정보이기 때문에 사진이 이동해 간 클러스터 C4(840)에서는 특징 정보가 업데이트 되지 않는다.

본 발명의 일 실시예에서 처리부(110)는 클러스터 별로 태그를 부여할 수 있는데, 상기 태그는 사용자에 의해 수동으로 추가, 삭제, 변경될 수 있다.

예를 들어, 클러스터 C(kA, 1A)에 A라는 이름으로 태깅된 A의 사진들이 포함되어 있고, 클러스터 C(kB, 1B)에 B라는 이름으로 태깅 된 B의 사진들이 주로 포함되어 있는 상태에서, 태깅이 안된 A의 사진 a가 클러스터 C(kB, 1B)에 포함되어 있는 경우에, 사용자는 사진 a에 A라는 태그를 추가할 수 있다. A라는 태그가 추가된 사진 a는 클러스터 C(kA, lA)로 이동할 것이다. 이 경우 클러스터 C(kB, lB)의 대표 특징은 사진 a를 제외한 사진들로부터 얻은 대표 특징으로 업데이트 되지만 클러스터 C(kA, 1A)는 대표 특징이 업데이트 되지 않는다.

본 발명의 일 실시예에서, 동일인의 클러스터 C(k,l), C(k,m)에 대하여 클러스터 C(k,l)에 속한 데이터는 A로 태깅이 되어 있고, C(k,m)에 속한 데이터는 태그가 달려 있지 않은 상태에서, 사용자가 C(k,m)을 A로 태깅할 경우 클러스터 C(k,m)의 모든 데이터는 클러스터 C(k,l)로 이동하고 클러스터 C(k,l)의 대표 특징 정보는 초기 클러스터 C(k,l), 클러스터 C(k,m)의 대표 특징 정보 두 개를 새롭게 특징 정보로 사용할 수 있다.

본 발명의 다른 실시예에서, 개별 태그가 삭제될 경우 태그가 삭제된 사진의 특징 정보는 각 클러스터의 대표 특징 정보들과 비교되어 특정 임계치 이상의 유사도를 갖는 클러스터가 발견될 경우 그 클러스터로 태그가 삭제된 사진이 이동될 수 있다. 만일, 특정 임계치 이상의 유사도를 갖는 클러스터가 발견되지 않을 경우, 처리부(110)는 태그가 삭제된 사진을 포함하는 새로운 클러스터 생성하거나, 클러스터를 이루지 못한 영상들을 별도로 모아 놓은 그룹으로 태그가 삭제된 사진을 이동 시킬 수 있다.

도 9는 본 발명의 일 실시예에 따른 복수의 얼굴이 존재하는 영상의 그루핑에 대한 예시를 도시한다.

본 발명의 일 실시예는 A, B, C, D 네 사람이 함께 촬영된 영상(910)에 대한 그루핑을 포함할 수 있는데, A, B, C, D라는 사람의 얼굴이 포함된 클러스터가 각각 C(k, A), C(k, B), C(k, C), C(j, D)라면, 동일한 한 장의 사진이 각각 클러스터 C(k, A), C(k, B), C(k, C), C(j, D)에 각각 포함되어 디스플레이 될 수 있다.

한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.

상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.

컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 복수의 영상들로부터 얼굴을 검출하는 단계;
   상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하는 단계;
   상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계;
   상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하는 단계;
   상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 단계; 및
   상기 그루핑 결과를 표시하는 단계
   를 포함하는 영상 처리 방법.
2. 제1항에 있어서,
   상기 헤드 포즈는,
   머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도,
   머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도,
   머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 의해 정의되는 것을 특징으로 하는 영상 처리 방법.
3. 제2항에 있어서,
   상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계는, 상기 복수의 영상들을 분류할 때, 상기 제2각도는 고려하지 않는 영상 처리 방법.
4. 제1항에 있어서,
   각 그룹에 대해 헤드 포즈에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소하는 단계를 더 포함하는 영상 처리 방법.
5. 제1항에 있어서,
   상기 그루핑 된 복수의 영상들에 그룹별로 태그를 부여하는 단계를 더 포함하는 영상 처리 방법.
6. 제1항에 있어서,
   상기 그루핑 된 복수의 영상들에 그룹별로 대표 특징 정보를 저장하는 단계를 더 포함하는 영상 처리 방법.
7. 제1항에 있어서,
   상기 그루핑 된 복수의 영상들 중 적어도 하나의 영상을 사용자의 입력에 따라 다른 그룹으로 이동 시키는 단계를 더 포함하는 영상 처리 방법.
8. 제7항에 있어서,
   이동된 영상이 원래 속해 있던 그룹의 대표 특징 정보를 이동된 영상이 원래 속해 있던 그룹의 나머지 영상들로부터 추출한 대표 특징 정보로 업데이트 하는 단계를 더 포함하는 영상 처리 방법.
9. 복수의 영상들로부터 얼굴을 검출하고, 상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하여, 상기 추정된 헤드 포즈 별로 상기 복수의 영상들을 분류하고, 상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하여, 상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 처리부; 및
   상기 그루핑 결과를 표시하는 표시부
   를 포함하는 영상 처리 장치.
10. 제9항에 있어서,
    상기 헤드 포즈는,
    머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도,
    머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도,
    머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 의해 정의 되는 것을 특징으로 하는 영상 처리 장치.
11. 제10항에 있어서,
    상기 처리부는, 상기 헤드 포즈 별로 상기 복수의 영상들을 분류할 때, 상기 제2각도는 고려하지 않는 영상 처리 장치.
12. 제9항에 있어서,
    상기 처리부는, 상기 얼굴 특징을 추출할 때, 상기 헤드 포즈에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소하는 것을 특징으로 하는 영상 처리 장치.
13. 제9항에 있어서,
    상기 처리부는, 상기 그루핑 된 복수의 영상들에 대하여 그룹별로 태그를 부여하는 영상 처리 장치.
14. 제9항에 있어서,
    상기 처리부는 각 그룹에 대해 그룹별로 대표 특징 정보를 저장하는 영상 처리 장치.
15. 제9항에 있어서,
    상기 처리부는, 상기 그루핑 된 복수의 영상들 중 적어도 하나의 영상을 사용자의 입력에 따라 다른 그룹으로 이동시키는 것을 특징으로 하는 영상 처리 장치.
16. 제15항에 있어서,
    상기 처리부는, 이동된 영상이 원래 속해 있던 그룹의 대표 특징 정보를 이동된 영상이 원래 속해 있던 그룹의 나머지 영상들로부터 추출한 대표 특징 정보로 업데이트 하는 것을 특징으로 하는 영상 처리 방법.
17. 프로세서에 의해 독출되어 수행되었을 때, 영상 처리 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상 처리 방법은,
    복수의 영상들로부터 얼굴을 검출하는 단계;
    상기 검출된 얼굴에 대해, 얼굴의 방향 및 각도를 나타내는 헤드 포즈(head pose)를 추정하는 단계;
    상기 헤드 포즈 별로 상기 복수의 영상들을 분류하는 단계;
    상기 헤드 포즈 별로 분류된 복수의 영상들로부터 얼굴 특징을 추출하는 단계;
    상기 헤드 포즈 및 상기 얼굴 특징에 기초해서 상기 복수의 영상들을 그루핑(grouping) 하는 단계; 및
    상기 그루핑 결과를 표시하는 단계
    를 포함하는 컴퓨터 판독 가능 기록매체.
18. 제17항에 있어서,
    상기 헤드 포즈는,
    머리의 상하를 통과하는 제1축을 중심으로 회전하는 각을 나타내는 제1 각도,
    머리의 정면과 후면을 통과하는 제2축을 중심으로 회전하는 각을 나타내는 제2 각도,
    머리의 좌우를 통과하는 제3축을 중심으로 회전하는 각을 나타내는 제3 각도에 의해 정의되는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
19. 제17항에 있어서,
    상기 얼굴 특징을 추출하는 단계는, 상기 헤드 포즈에 따라 결정된 변환 함수를 이용하여 얼굴 특징 정보의 차원을 축소하는 단계를 더 포함하는 컴퓨터 판독 가능 기록매체.
20. 제17항에 있어서,
    상기 그루핑 된 복수의 영상들에 그룹별로 태그를 부여하는 단계를 더 포함하는 컴퓨터 판독 가능 기록매체.

Images