KR20130099521A

KR20130099521A - 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말

Info

Publication number: KR20130099521A
Application number: KR1020120021091A
Authority: KR
Inventors: 손병준; 조성대
Original assignee: 삼성전자주식회사
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2013-09-06
Also published as: JP2013182616A; EP2634727A3; EP2634727A2; CN103310186B; EP2634727B1; AU2013200807A1; KR101977638B1; US20130222644A1; JP6165459B2; AU2013200807B2; CN103310186A; US9288388B2; WO2013129792A1

Abstract

본 발명의 일 측면에 따른, 영상 내 사용자의 시선 보정 방법은, 영상 내 사용자의 얼굴을 검출하는 단계와; 상기 검출된 얼굴 내 눈 영역의 외곽 점들을 검출하는 단계와; 상기 영상 내 상기 검출된 눈 영역의 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변화시키는 단계와; 상기 변화된 외곽 점들에 따라 상기 눈 영역을 변형시키는 단계를 포함한다.

Description

영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말{METHOD FOR CORRECTING USER’S GAZE DIRECTION IN IMAGE, MACHINE-READABLE STORAGE MEDIUM AND COMMUNICATION TERMINAL}

본 발명은 영상 보정 방법에 관한 것으로서, 특히 카메라를 응시하는 시선과 표시부를 응시하는 시선의 차를 보정하는 방법에 관한 것이다.

카메라를 이용한 화상 통화 및 화상 회의에서 카메라를 응시하는 시선과 표시부를 응시하는 시선의 차이에 의해서 표시부를 바라보며 대화를 하는 사용자의 시선은 다양하게 나타날 수 있다. 카메라가 표시부의 왼쪽 상단에 위치하면 디스플레이를 바라보는 사용자의 시선은 표시부의 오른쪽 하단을 바라보는 것처럼 보이고, 카메라가 표시부의 오른쪽 상단에 위치하면 디스플레이를 바라보는 사용자의 시선은 디스플레이의 왼쪽 하단을 바라보는 것처럼 보인다. 또한, 디스플레이의 가운데 상단에 카메라가 위치하면 사용자의 시선은 디스플레이의 정중앙 아래쪽을 바라보는 것처럼 보인다.

종래의 시선 보정 방법으로는 화상 회의시 표시부의 위/아래 또는 좌/우에 설치된 2대의 카메라를 통해서 입력된 두 영상의 차이를 비교 분석하여 정면(카메라)을 보는 듯한 영상을 생성하는 기술이 있다. 정면을 바라보는 영상을 생성하기 위하여 3D 얼굴 모델을 사용하거나 3D 눈 모델을 사용하는 기술들이 사용된다.

시선 불일치 문제를 해결하고자 한 종래의 기술에서는 주로 2대의 카메라 위치가 고정되고, 사용자와 카메라와의 거리 및 카메라와 표시부와 관련된 시선 차이를 계산하여 얼굴 전체의 포즈를 변화시킴으로써 시선 불일치 현상을 해결하고자 했다. 이렇게 헤드 포즈를 변화시키기 위해서는 얼굴 외곽선 영역과 배경을 분리해야 하는 기술이 필요하다. 자동으로 얼굴 외곽선 영역과 배경을 분리하는 기술은 시간이 오래 걸릴 뿐만 아니라 그 성능도 정교하지 못하다. 또한, 2대의 카메라를 사용해야 하는 문제가 있다. 사용자가 이동하며 통화를 할 수 있는 휴대 통신 단말 상에서는 카메라와 사용자와의 거리 및 배경이 수시로 변화하기 때문에 실시간 화상 통화 및 거울 기능, 셀프 촬영 등에는 더욱더 활용하기 어렵다고 할 수 있다.

본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.

상기 문제점을 해결하기 위하여 안출된 본 발명은, 단일 카메라를 이용한 화상 통화 및 화상 회의, 거울 기능, 셀프 촬영 등 카메라와 표시부와 관련된 시선 차이에 의해서 시선 불일치가 발생하는 모든 응용 기술 및 장치에서 실시간 또는 고속으로 영상 내 사용자의 시선을 보정하는데 그 목적이 있다.

본 발명의 다른 측면에 따라, 영상 내 사용자의 시선 보정 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공된다.

본 발명의 또 다른 측면에 따라, 상기 기계로 읽을 수 있는 저장 매체를 포함하는 통신 단말이 제공된다.

본 발명은 휴대 통신 단말과 같이 기종별, 제조사별로 카메라가 휴대 통신 단말의 좌측 상단, 가운데 상단, 우측 상단 등 다양한 위치에 장착되어 있는 전자 장치와 제한된 용량의 저장매체 및 연산 처리 능력을 구비하는 전자 장치에서 별도의 카메라나 센서를 추가하지 않고도 전자 장치에 장착된 단일 카메라를 사용하여　화상 통화 및 화상 회의, 거울 기능, 셀프 촬영 등 카메라와 표시부와 관련된 시선 차이에 의해서 시선 불일치가 발생하는 모든 응용기술에서 실시간 또는 고속으로 사용자의 시선을 보정할 수 있다. 본 발명에 따르면, 화상 통화 및 화상 회의시 대화자 간의 시선 일치(eye contact)를 통하여 좀 더 대화에 집중할 수 있을 뿐만 아니라 사용자 편의성을 증대시키는 효과가 있다. 또한, 본 발명에 따르면, 거울 기능에서 실제 거울을 바라보는 듯한 효과를 주며, 셀프 촬영에서 사용자들이 잘 나온 자신의 영상을 얻기 위하여 휴대 통신 단말을 들어올려 카메라를 보면서 촬영을 하지 않고 표시부에 보이는 자신의 얼굴을 바라보며 촬영을 할 수 있도록 하는 편의성을 부여하는 이점이 제공된다.

도 1은 본 발명의 바람직한 실시 예에 따른 통신 단말의 구성을 나타내는 도면,
도 2는 본 발명의 시선 보정 방법을 나타내는 흐름도,
도 3은 검출된 얼굴 영상의 예를 나타내는 도면,
도 4는 눈 및 코 검출 정보를 재조정하는 프로세스를 나타내는 흐름도,
도 5는 시선 보정의 적합 여부를 판단하는 단계를 설명하기 위한 도면,
도 6은 검출된 눈의 외곽선을 보여 주는 예시도,
도 7은 눈의 외곽선 변환을 설명하기 위한 도면,
도 8은 텍스쳐 워핑에 따라 변환된 눈의 모양을 예시하는 도면,
도 9는 텍스쳐 워핑에 사용되는 타원 마스크를 설명하기 위한 도면,
도 10은 본 발명의 시선 보정 방법에 따른 효과를 설명하기 위한 도면.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 바람직한 실시 예에 따른 통신 단말의 구성을 나타내는 도면이다. 상기 통신 단말(100)은 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북, 랩탑, 태블릿(Tablet) PC, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다.

통신 단말(100)은 스피커(112), 마이크(114) 및 표시부(116)를 포함하는 사용자 인터페이스(110), 센서부(120), 메모리(130), 통신부(140), 카메라(150) 및 제어부(160)를 포함한다. 이외에, 통신 단말(100)은 다수의 버튼을 포함하는 키 패드, 마우스 등을 더 포함할 수 있다.

상기 스피커(112)는 제어부(160)로부터 입력된 음성 신호(또는 음성 데이터)를 대기로 출력하고, 상기 마이크(114)는 사용자의 음성을 전기적 음성 신호로 검출하여 상기 제어부(160)로 출력한다.

상기 표시부(116)는 제어부(160)로부터 입력된 영상 신호에 따른 영상을 표시함과 동시에 사용자 입력 데이터를 수신하여 상기 제어부(160)로 출력할 수 있다. 상기 표시부(116)는 LCD(liquid crystal display), OLED(Organic Light Emitting Diodes), LED 등과 같은 디스플레이 유닛과, 디스플레이 유닛의 아래 또는 위에 배치되는 터치 패널을 포함할 수 있다. 상기 터치 패널은 사용자 입력을 감지한다. 상기 터치 패널은 사용자 입력 수단(예를 들어, 손가락, 스타일러스 펜(stylus pen) 등)이 표시부의 표면을 누르면, 입력 위치(또는 좌표) 및/또는 입력 상태(마우스 다운, 마우스 업, 마우스 이동 등)에 대한 정보를 갖는 감지 신호(또는 터치 감지 신호)를 출력한다. 예를 들어, 사용자는 상기 표시부(116)의 화면(즉, 상기 표시부(116)의 표면)에 표시된 다양한 실행 가능한 아이템을 터치하여 상기 아이템과 관련된 애플리케이션을 실행한다. 상기 표시부(116)는 사용자의 입력을 수신하는 수단이며, 카메라 애플리케이션, 화상 통신 애플리케이션 등의 애플리케이션과 관련된 화면들을 출력한다. 본 예에서, 표시부의 예로서 터치스크린을 들고 있으나, 표시부는 통상의 디스플레이 유닛만으로 구성될 수도 있다.

센서부(120)는 통신 단말(100)의 위치, 방위, 움직임을 감지하는 센서로서, 가속도 센서, 중력센서, 충격센서, GPS, 나침반 센서 및 가속도 센서 중 적어도 하나를 포함한다.

상기 메모리(130)는 통신 단말(100)의 운영 시스템, 다양한 애플리케이션들, 통신 단말(100)로 입력되는 정보, 데이터, 파일 등과 그 내부에서 생성되는 정보, 데이터, 파일 등을 저장한다.

상기 통신부(140)는 상기 제어부(160)에 의해 생성된 메시지, 데이터, 파일 등을 유선 또는 무선으로 전송하거나, 유선 또는 무선으로 메시지, 데이터, 파일 등을 수신하여 상기 제어부(160)로 출력한다.

카메라(150)는 렌즈계, 이미지 센서, 플래쉬 등을 포함할 수 있다. 카메라는 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 영상 신호로 변환하여 제어부로 출력하고, 사용자는 이러한 카메라를 통해 동영상 또는 정지 영상을 촬영할 수 있다.

렌즈계는 외부로부터 입사된 광을 수렴시킴으로써 피사체의 이미지를 형성한다. 상기 렌즈계는 적어도 하나의 렌즈를 포함하며, 각 렌즈는 볼록 렌즈, 비구면 렌즈 등일 수 있다. 상기 렌즈계는 그 중심을 지나는 광축(optical axis)에 대해 대칭성을 가지며, 상기 광축은 이러한 중심 축으로 정의된다, 상기 이미지 센서는 렌즈계를 통해 입사된 외부 광에 의해 형성된 광학적 영상을 전기적 영상 신호로 검출한다. 상기 이미지 센서는 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하며, 상기 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 상기 화소 유닛은 입사된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 상기 입사된 광의 조도를 나타낸다. 정지 영상 또는 동영상을 구성하는 한 영상을 처리하는 경우에 있어서, 상기 이미지 센서로부터 출력되는 영상 신호는 상기 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 상기 영상 신호는 하나의 프레임(즉, 정지 영상)을 나타낸다. 또한, 상기 프레임은 M×N 화소로 구성된다. 상기 이미지 센서로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.

상기 제어부(160)는 중앙처리장치로서 통신 단말(100)의 전반적인 동작을 제어하고, 본 발명에 따른 시선 보정 방법을 수행하는 역할을 한다.

상기 프로그램 제공 장치(20)는 상기 통신 단말(100)이 시선 보정 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 프로그램의 업데이트 정보 등을 저장하기 위한 메모리(21)와, 상기 통신 단말(100)과의 유선 또는 무선 통신을 수행하기 위한 통신부(22)와, 상기 통신 단말(100)의 요청 또는 자동으로 해당 프로그램 또는 업데이트 정보를 상기 통신 단말(100)로 전송하는 제어부(23)를 포함한다.

도 2는 본 발명의 시선 보정 방법을 나타내는 흐름도이다.

S210 단계에서, 제어부(160)는 카메라(150)로부터 영상 프레임을 수신하거나, 메모리(130)에 저장된 영상 프레임을 독취한다. 본 방법은 하나의 영상 프레임에 대해 기술되고 있으나, 본 방법은 순차로 입력 또는 독취되는 영상 프레임들에 대해 각각 적용될 수 있다. 또한, 본 방법은 통신 단말(100)이 일대일 화상 통화 또는 다자간 화상 회의를 수행하는 도중에 카메라로부터 실시간으로 입력되는 영상에 대해 수행되거나, 다른 애플리케이션 모드에서 카메라를 통해 실시간으로 입력되는 영상에 대해 수행될 수 있다.

S220 단계에서, 제어부(160)는 영상 프레임에서 얼굴, 눈 및 코를 검출한다. 본 예에서는, 얼굴 및 눈 이외에 코까지 검출하는 것을 예시하고 있으나, 본 발명은 시선 보정에 관한 것이므로, 코나 코의 좌표를 검출하는 것은 생략될 수 있다.

제어부(160)는 영상 프레임에 얼굴 영상이 포함되어 있는지 여부를 판단하고, 얼굴 영상이 포함되어 있으면 해당 얼굴 영상을 추출한다. 여기서, 얼굴 검출은 통상의 얼굴 검출 방법을 이용하여 수행되는데, 얼굴의 윤곽선, 얼굴 피부의 색상 및/또는 질감, 템플리트 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예를 들어, 제어부(160)는 다수의 얼굴 영상을 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 영상 프레임으로부터 얼굴 영상을 검출할 수 있다.

도 3은 검출된 얼굴 영상의 예를 나타내는 도면이다.

제어부(160)는 눈 및 코의 정보를 검출한다. 이러한 눈 및 코의 검출은 전술한 얼굴 학습 데이터를 이용하여 이루어질 수 있다. 제어부는 좌측 및 우측 눈의 중심 좌표들과 코의 중심 좌표를 검출한다. 눈의 중심 좌표는 동공의 중심점에 대한 X, Y축 좌표일 수 있고, 코의 중심 좌표는 코끝의 X, Y축 좌표일 수 있다.

제어부(160)는 시선 보정의 성능 안정화를 위하여 눈 검출 정보 및 코 검출 정보를 재조정하는 프로세스를 수행할 수 있다. 각 영상 프레임에 대해서 눈과 코를 검출했을 때, 이웃한 프레임들에 있어서 눈과 코의 위치 변화가 크게 나타날 수 있다. 즉, 검출된 눈의 좌표와 코의 좌표에 해당하는 점들을 순차적인 프레임들에 걸쳐서 표시부(116)에 표시하면 불안정하게 떨리는 현상이 발생할 수 있다. 이런 현상은 눈 외곽 경계선 검출과 얼굴의 각도 및/또는 기울기 추정에 영향을 미칠 수 있으며, 결과적으로 시선 보정된 눈이 떨리는 현상이 발생하게 된다.

도 4는 눈 및 코 검출 정보를 재조정하는 프로세스를 나타내는 흐름도이다. 본 프로세스에서 좌표 조정이 수행되지 않으면, 현재 프레임에서의 눈 및 코 좌표가 그대로 사용된다.

S410 단계에서, 제어부(160)는 현재 프레임에서 눈 및 코 좌표를 검출한다.

S420 단계에서, 제어부(160)는 이전 프레임에서 검출된 눈 및 코 좌표가 메모리(130)에 저장되어 있는지를 판단한다. 이전 눈 및 코 좌표가 존재하는 경우에 S430 단계를 수행하고, 이전 눈 및 코 좌표가 존재하지 않는 경우에 본 프로세스를 종료한다.

S430 단계에서, 제어부(160)는 이전 프레임의 눈 좌표와 현재 프레임의 눈 좌표의 차이 D_EYE를 미리 설정된 임계치 T_eye와 비교한다. D_eye가 T_eye 미만인 경우에 S440 단계를 수행하고, D_eye가 T_eye 이상인 경우에 S450 단계를 수행한다. 이때 S430 단계는 왼쪽 및 오른쪽 눈 각각에 대해 수행된다.

S430 단계에서, 제어부(160)는 현재 프레임의 눈 좌표를 재조정한다.

S450 단계에서, 제어부(160)는 이전 프레임의 코 좌표와 현재 프레임의 코 좌표의 차이 D_nose를 미리 설정된 임계치 T_nose와 비교한다. D_nose가 T_nose 미만인 경우에 S460 단계를 수행하고, D_nose가 T_nose 이상인 경우에 본 프로세스를 종료한다.

S460 단계에서, 제어부(160)는 현재 프레임의 눈 좌표를 재조정한다.

S440 단계 및 S460 단계에서 좌표의 재조정은 아래와 같이 수행될 수 있다. 본 좌표를 재조정하는 단계는, 현재 프레임의 좌표를 이전 프레임의 좌표와 현재 프레임의 좌표의 사이에 위치하는 좌표로 변경하는 단계이다.

Final_LeftEyeX = ALPHA*Curr_LeftEyeX + (1-ALPHA)*Prev_LeftEyeX

Final_LeftEyeY = ALPHA*Curr_LeftEyeY 　+ (1-ALPHA)*Prev_LeftEyeY

Final_RightEyeX = ALPHA*Curr_RightEyeX + (1-ALPHA)*Prev_RightEyeX

Final_RightEyeY　= ALPHA*Curr_RightEyeY + (1-ALPHA)*Prev_RightEyeY

Final_NoseX = ALPHA*Curr_NoseX + (1-ALPHA)*Prev_NoseX

Final_NoseY = ALPHA*Curr_NoseY + (1-ALPHA)*Prev_NoseY

ALPHA는 가중치, Final_LeftEyeX와 Final_LeftEyeY는 왼쪽 눈의 최종 X, Y축 좌표, Final_RightEyeX와 Final_RightEyeY는 오른쪽 눈의 최종 X, Y축 좌표, Curr_LeftEyeX와 Curr_LeftEyeY는 현재 프레임에서 검출된 왼쪽 눈의 X, Y축 좌표, Curr_RightEyeX와 Curr_RightEyeY는 현재 프레임에서 검출된 오른쪽 눈의 X, Y축 좌표, Pre_LeftEyeX와 Pre_LeftEyeY는 이전 프레임에서 검출된 왼쪽 눈의 X, Y축 좌표, Pre_RightEyeX와 Pre_RightEyeY는 이전 프레임에서 검출된 오른쪽 눈의 X, Y축 좌표를 나타낸다. 그리고 Final_NoseX와 Final_NoseY는 코의 최종 X, Y축 좌표, Curr_NoseX와 Curr_NoseY는 현재 프레임에서 검출된 코의 좌표, Prev_NoseX와 Prev_NoseY는 이전 프레임에서 검출된 코의 좌표를 나타낸다. 눈 및 코 검출 정보를 재조정하는데 사용된 가중치 ALPHA의 결정은 검출된 눈 및 코의 좌표를 기반으로 사용자에 의해서 다양하게 정의되어 사용될 수 있다. 이러한 좌표 재조정은 눈 및 코 검출 정보 이외에도 얼굴 검출 정보와 입 검출 정보에도 적용될 수 있다. 예를 들어, 가중치 ALPHA는 0.5로 설정함으로써, 이전 프레임과 현재 프레임에 가중치를 동일하게 부여할 수 있다. 또한, 왼쪽 눈, 오른쪽 눈, 코에 대한 가중치 ALPHA를 아래와 같이 D_left, D_right, D_nose, T_eye, T_nose에 따라 동적으로 변화하도록 결정할 수도 있다. 　

ALPHA_LeftEye = D_left/T_eye

ALPHA_RightEye = D_right/T_eye

ALPHA_Nose = D_nose/T_nose

다시 도 2를 참조하면, S230 단계에서, 제어부(160)는 검출된 얼굴과, 눈 및 코의 좌표 정보를 이용하여 얼굴의 크기, 위치, 각도를 추정한다.

제어부(160)는 얼굴 응시 방향(또는 얼굴 각도) 및/또는 얼굴 기울기를 검출할 수 있으며, 검출된 얼굴 영상이 정면 위치를 바라보는지, 아니면 좌측, 우측, 상측, 하측 또는 대각 위치(좌상측, 우상측, 좌하측 또는 우하측 위치)를 바라보는지를 판단할 수 있다. 예를 들어, 제어부(160)는 다양한 각도의 얼굴 영상을 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 영상 프레임으로부터 얼굴 각도 또는 얼굴 응시 방향을 검출할 수 있다.

실시간으로 시선 보정을 할 경우 화면에서 얼굴이 차지하는 비율과 위치, 각도/기울기에 따라서 얼굴/눈/코 검출 실패와 성공이 빈번하게 교차하는 경우가 발생한다. 이런 경우에, 시선 보정의 수행/미수행이 교차하여 눈을 깜박이는 것과 같은 현상이 나타난다. 이러한 문제를 해결하기 위하여, 제어부(160)는 시선 보정의 적합 여부를 판단할 수 있다.

S240 단계에서, 제어부(160)는 시선 보정의 적합 여부를 판단하기 위하여, 아래의 조건들의 만족 여부를 결정할 수 있다. 즉, 제어부(160)는 아래의 3가지 단계들 중 적어도 하나를 수행함으로써, 시선 보정의 적합 여부를 판단할 수 있다.

도 5는 시선 보정의 적합 여부를 판단하는 단계를 설명하기 위한 도면이다.

첫 번째로, 얼굴 크기에 따른 다음 조건을 만족할 때만 시선 보정이 이루어진다. 왼쪽, 오른쪽 눈의 중심 좌표(510, 520) 사이의 거리 D_eyes가 미리 설정된 임계치 Tsize 이하인 경우에는 시선 보정이 이루어지고, D_eyes가 T_size를 초과하는 경우에는 얼굴/눈/코 검출이 실패하기 전까지 시선 보정이 이루어진다. 그리고 얼굴/눈/코 검출이 실패한 이후에는 D_eyes가 T_size 이하가 될 때까지는 시선 보정을 하지 않는다. D_eyes가 T_size를 초과하고 얼굴/눈/코 검출이 실패한 이후에는 표시부(116)에 시선 보정이 이루어지기에 적합한 얼굴 영역 가이드(또는 가이드 영역)(530)를 표시하거나 메시지를 표시할 수 있다.

두 번째로 얼굴 위치에 따른 조건으로서, 양쪽 눈의 좌표(510, 520)를 활용하여 미리 정해 놓은 얼굴/눈/코 검출이 가능한 가이드 영역(530)을 기준으로 가이드 영역 안쪽에 있는 경우 시선 보정이 이루어지고, 바깥쪽에 있는 경우 굴/눈/코 검출이 실패하기 전까지 시선 보정이 이루어진다. 그리고 얼굴/눈/코 검출이 실패한 이후에는 양쪽 눈의 좌표(510, 520)가 가이드 영역(530) 안쪽에 놓일 때까지는 시선 보정을 하지 않는다.

세 번째로 양쪽 눈의 좌표(510, 520)를 이용하여 기울기를 추정한 후, 즉 양쪽 눈의 좌표(510, 520)를 잇는 가상 선분이 화면상의 X축과 이루는 각도가 미리 정해 놓은 기울기 이하이면 시선 보정을 하고, 이를 초과하면 얼굴/눈/코 검출이 실패하기 전까지 시선 보정이 이루어지며, 양쪽 눈의 기울기가 정해진 기울기 이하가 될 때까지는 시선 보정을 하지 않는다. 첫 번째 경우와 마찬가지로 두 번째, 세 번째의 경우에도 얼굴/눈/코 검출이 실패한 이후에는 표시부(116)에 시선 보정이 이루어지기에 적합한 얼굴 영역 가이드(530)나 X축을 표시하거나 메시지를 표시할 수 있다.

S250 단계에서, 제어부(160)는 최종적으로 검출된 눈의 좌표를 기준으로 눈(즉, 눈 영역)의 외곽선을 검출한다. 본 단계는, 상기 눈 영역의 중심 좌표를 기준으로 미리 설정된 눈 모델의 각 외곽 점을 지나는 벡터 방향으로 픽셀 밝기 값 변화가 최대인 점을 상기 눈 영역의 외곽 점으로 설정하는 단계이다.

정확한 눈의 외곽선 검출을 위하여 눈 모델 기반의 외곽선 추출 기술을 사용할 수 있다. 먼저, 눈 모델을 생성하기 위해서 다양한 눈 모양의 학습 데이터를 이용한다. 학습 데이터의 영상에 대해서 눈 외곽선에 N개의 점을 정의하고 이 점들을 이용하여 주성분 분석을 통하여 눈 모델을 생성한다. 눈 검출을 통하여 얻어진 눈 영역에 빛의 영향을 최소화하기 위하여 조명 보정을 적용한 후, 조명 보정이 된 눈 영역에 눈 모델의 평균 형상(mean shape)을 놓고, 눈의 중심 좌표와 눈의 끝점을 초기 점들로 하여 ASM(Active Shape Mode)을 적용한다. 눈의 끝점은 해당 동공과 타측 동공 사이의 간격에서 해당 동공에 가까운 1/5 지점을 끝점으로 정의하며, 초기 점을 선택한 이후에는 눈 모델의 평균 형상에 있는 N개의 점에 대하여 각각의 법선 벡터 방향(즉, 중심 좌표와 눈 모델의 각 점을 잇는 벡터 방향)으로 픽셀 밝기 값 변화가 최대인 점을 찾는다. 이렇게 픽셀 밝기 값 변화가 최대가 되는 N개의 점을 연결한 곡선을 눈의 외곽선으로 정의한다.

도 6은 검출된 눈의 외곽선을 보여 주는 예시도이다. 도시된 바와 같이, 검출된 눈의 외곽선(620)은 8개의 외곽 점(610)을 잇는 곡선으로 정의된다.

시선 보정한 눈의 떨림을 최소화하기 위하여 눈/코 좌표를 재조정했던 것처럼 눈의 외곽선을 결정하는 N개의 점에 대해서도 이전 프레임에서 얻어진 외곽선 정보를 이용하여 재조정 프로세스를 수행할 수 있다. 재조정에 대한 예는 다음과 같다. 이전 프레임에서 얻어진 외곽선을 결정하는 N개의 점과 현재 프레임에서 얻어진 N개의 점들에 대해서 서로 매칭되는 각 점들간의 이동 거리 Di(i=1, 2, 3, ..., N)와 평균 이동 거리 DM을 구한다. 평균 이동 거리가 미리 정해 놓은 임계치 T_contour 이하이면, 이전 프레임과 현재 프레임의 좌표 정보에 가중치를 두어 각 점의 좌표를 재조정하고, T_contour를 초과하면 현재 프레임에서 얻어진 외곽선 정보를 그대로 사용한다. 각 점들의 점들을 재조정하는데 사용되는 가중치는 눈/코 좌표 재조정 때와 같이 고정된 값을 사용할 수도 있고, 얼굴/눈/코 좌표 정보와 Di, DM을 이용하여 동적으로 결정된 수치를 사용할 수도 있다. 또한, 눈 외곽선을 결정하는 점들의 추출시 일부 점들이 잘못 추출되는 현상이 발생할 수도 있다. 이런 경우를 방지하기 위하여 이전 프레임의 점들과의 평균 이동 거리보다 크게 이동한 점들에 대해서는 이전 프레임의 점들 쪽으로 가중치를 높게 부여하는 방법을 사용할 수도 있다.

S260 단계에서, 제어부(160)는 카메라를 응시하는 방향으로 눈의 외곽선을 변환한다. 즉, 제어부(160)는 현재 프레임 내 눈 영역의 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변화시킨다. 바람직하게는, 제어부(160)는 현재 프레임 내 사용자의 얼굴 응시 방향(즉, 얼굴 각도 또는 기울기)과 미리 설정된 기준 카메라 응시 방향(즉, 얼굴 각도 또는 기울기)의 차이에 근거하여, 눈의 외곽선을 정의하는 외곽 점들을 변화시킨다. 즉, 제어부(160)는 카메라(150)를 바라보고 있는 형태의 눈을 만들어 주기 위하여 정면을 응시하는 미리 저장된 눈 영역의 외곽 점들과 정합(즉, 매칭)하도록 검출된 외곽 점들의 적어도 일부를 이동시킨다. 외곽 점들을 이동시키는 방법으로는, 표시부(116)를 바라보는 눈 데이터와 카메라(150)를 바라보는 눈 학습 데이터를　이용하여 눈 모양을 변화시키는 변환 함수를 생성하여 사용할 수 있다. 예를 들면 표시부(116)를 바라보는 데이터의 눈 외곽선 점들이 카메라를 바라보는 데이터의 눈 외곽선 점들로 변환되는 어파인(affine) 변환 함수를 생성하여 사용하거나, 눈 상부의 외곽선 점들과 눈 하부의 외곽선 점들을 분리하여 2개의 어파인 변환 함수를 생성하여 사용할 수도 있다. 또 다른 예로는, 학습 데이터로부터 눈 상부의 외곽선 점들에 대해서 어파인 변환 함수를 생성하여 변환하고, 눈 하부의 외곽선은 각 눈의 안쪽 끝점과 바깥쪽 끝점을 연결하는 직선을 구하여 이 직선에 가까워지는 형태로 변환할 수 있다. 또는, 사용자가 눈 상부의 외곽선의 점들에 대해서 Y축 상의 이동 범위를 조절할 수 있게 함으로써 사용자가 시선 보정된 눈의 크기를 조절할 수 있도록 할 수도 있다.

도 7은 눈의 외곽선 변환을 설명하기 위한 도면이다. 어파인 변환 함수에 따라 눈 상부의 검출된 외곽선(720) 점들(710)을 상측으로 이동하여 얻어진 새로운 눈 상부의 외곽선(720a) 점들(710a)이 도시되어 있다. 또한, 직선 함수에 따라, 눈 하부의 외곽선(740) 점들(730)을 상측으로 이동하여 얻어진 새로운 눈 하부의 외곽선(740a) 점들(730a)이 도시되어 있다.

다시 도 2를 참고하면, S270 단계에서, 제어부(160)는 변환된 눈 외곽선에 따라 눈 영역을 텍스쳐 워핑한다. 즉, 제어부(160)는 포워드 워핑 기술 또는 백워드 워핑 기술을 이용하여 눈 영역의 텍스쳐 맵핑을 수행한다.

이러한 텍스쳐 워핑을 통해 비로소 시선 보정된 눈의 형태를 얻을 수 있다. 워핑은 워핑 전 눈 영역의 각 점을 기준으로 맵핑하는 포워드 워핑(forward warping)과 워핑 후 눈 영역의 각 점을 기준으로 맵핑하는 백워드 워핑(backward warping) 두 가지 모두 사용될 수 있고, 이러한 워핑 기법은 통상적인 것이므로 상세히 기술하지 않는다. 포워드 워핑　시에는 텍스쳐가 채워지지 않은 홀(hole)이 생기게 되는데 이런 경우에는 주위 텍스쳐 정보를 이용하여 홀을 채우는 작업이 병행된다. 포워드 워핑과는 달리 백워드 워핑 시에는 홀이 생기지 않으므로, 백워드 워핑 방법을 사용하는 것이 바람직하다.

도 8은 텍스쳐 워핑에 따라 변환된 눈의 모양을 예시하는 도면이다. 도 8의 (a)는 변환 전 눈의 모양을 나타내고, 도 8의 (b)는 변환 후 눈의 모양을 나타낸다.

본 발명에서는 워핑에 소요되는 처리시간을 줄이고 안경을 착용한 사람에 대해서 워핑 시 나타나는 안경테 주위의 부자연스러움을 해결하기 위하여 타원 마스크를 사용할 수 있다.

도 9는 텍스쳐 워핑에 사용되는 타원 마스크를 설명하기 위한 도면이다. 눈 외곽선(910) 점들(920)을 모두 포함하는 사각 윈도우(930) 내에 타원 마스크(940)를 생성하고 타원 마스크(940) 내부에서 워핑을 수행한다. 또한, 워핑 수행 후 타원 경계 부분의 부자연스러움을 해결하기 위하여 타원 경계 영역을 블러링(blurring)할 수 있다.

도 10은 본 발명의 시선 보정 방법에 따른 효과를 설명하기 위한 도면이다. 본 발명의 시선 보정에 따르면, 예를 들어 사용자의 관점에서, 상측을 보는 눈(1010), 좌상측을 보는 눈(1020), 좌측을 보는 눈(1030), 좌하측을 보는 눈(1040), 하측을 보는 눈(1050), 우하측을 보는 눈(1060), 우측을 보는 눈(1070), 우상측을 보는 눈(1080)은 모두 정면을 보는 눈(1000)으로 변환된다. 즉, 표시부를 응시하는 눈이 카메라를 응시하는 눈으로 변환된다. 이때, 전체적인 얼굴 형태, 각도 및 기울기는 변환되지 않고, 눈의 형태만 변환된다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

100: 통신 단말, 110: 터치 인터페이스, 120: 센서부, 130: 메모리, 140: 통신부, 150: 카메라, 160: 제어부

Claims

영상 내 사용자의 시선 보정 방법에 있어서,
영상 내 사용자의 얼굴을 검출하는 단계와;
상기 검출된 얼굴 내 눈 영역의 외곽 점들을 검출하는 단계와;
상기 영상 내 상기 검출된 눈 영역의 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변화시키는 단계와;
상기 변화된 외곽 점들에 따라 상기 눈 영역을 변형시키는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서, 상기 영상 내 사용자의 얼굴을 검출하는 단계는,
이전 프레임의 눈 좌표와 현재 프레임의 눈 좌표의 차이를 미리 설정된 임계치와 비교하는 단계와;
상기 눈 좌표의 차이가 임계치 미만인 경우에, 상기 현재 프레임의 눈 좌표를 조정하는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제2항에 있어서,
상기 눈 좌표를 조정하는 단계는, 상기 현재 프레임의 눈 좌표를 상기 이전 프레임의 눈 좌표와 상기 현재 프레임의 눈 좌표의 사이에 위치하는 좌표로 변경하는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서, 상기 검출된 얼굴 내 눈 영역의 외곽 점들을 검출하는 단계는,
상기 눈 영역의 중심 좌표를 기준으로 미리 설정된 눈 모델의 각 외곽 점을 지나는 벡터 방향으로 픽셀 밝기 값 변화가 최대인 점을 상기 눈 영역의 외곽 점으로 설정하는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서,
상기 미리 설정된 기준 카메라 응시 방향은 정면을 응시하는 방향임을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서, 상기 외곽 점들을 변화시키는 단계는,
정면을 응시하는 미리 저장된 눈 영역의 외곽 점들과 정합하도록 상기 검출된 외곽 점들의 적어도 일부를 이동시키는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서, 상기 눈 영역을 변형시키는 단계는,
포워드 워핑 기술 또는 백워드 워핑 기술을 이용하여 상기 눈 영역의 텍스쳐 맵핑을 수행하는 단계를 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제7항에 있어서, 상기 텍스쳐 맵핑은 상기 눈 영역의 외곽 점들을 타원 내부에서 수행됨을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서,
상기 영상 내 양쪽 눈의 거리가 미리 설정된 임계치 이하인지를 판단하는 단계와,
상기 양쪽 눈이 미리 설정된 가이드 영역 내에 위치하는지를 판단하는 단계와,
상기 양쪽 눈의 좌표를 이용하여 측정된 상기 검출된 얼굴의 기울기가 미리 설정된 기울기 이하인지를 판단하는 단계 중 적어도 하나를 수행함으로써, 시선 보정의 적합 여부를 판단하는 단계를 더 포함함을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항에 있어서, 상기 외곽 점들을 변화시키는 단계는,
상기 영상 내 상기 사용자의 얼굴 응시 방향과 미리 설정된 기준 응시 방향의 차이에 근거하여, 상기 외곽 점들을 변화시키는 단계임을 특징으로 하는 영상 내 사용자의 시선 보정 방법.
제1항 내지 제10항 중 어느 한 항에 따른 영상 내 사용자의 시선 보정 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.
제11항의 기계로 읽을 수 있는 저장 매체를 포함하는 통신 단말.