KR20140010541A - 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 - Google Patents

이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 Download PDF

Info

Publication number
KR20140010541A
KR20140010541A KR1020120076452A KR20120076452A KR20140010541A KR 20140010541 A KR20140010541 A KR 20140010541A KR 1020120076452 A KR1020120076452 A KR 1020120076452A KR 20120076452 A KR20120076452 A KR 20120076452A KR 20140010541 A KR20140010541 A KR 20140010541A
Authority
KR
South Korea
Prior art keywords
eye
outline
user
image
points
Prior art date
Application number
KR1020120076452A
Other languages
English (en)
Other versions
KR101979669B1 (ko
Inventor
손병준
김대진
신종주
최인호
홍태화
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120076452A priority Critical patent/KR101979669B1/ko
Priority to US13/757,256 priority patent/US9111171B2/en
Publication of KR20140010541A publication Critical patent/KR20140010541A/ko
Priority to US14/813,971 priority patent/US9613286B2/en
Application granted granted Critical
Publication of KR101979669B1 publication Critical patent/KR101979669B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 측면에 따른 이미지 내 사용자의 시선 보정 방법은, 원본 이미지 내 사용자의 눈 영역을 정의하는 눈 외곽 점들을 설정하는 단계와; 상기 설정된 눈 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변환하는 단계와; 상기 변환된 외곽 점들에 따라 상기 원본 이미지의 눈 영역을 변환하는 단계를 포함한다.

Description

이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말{METHOD FOR CORRECTING USER’S GAZE DIRECTION IN IMAGE, MACHINE-READABLE STORAGE MEDIUM AND COMMUNICATION TERMINAL}
본 발명은 이미지 보정 방법에 관한 것으로서, 특히 카메라를 응시하는 시선과 표시부를 응시하는 시선의 차를 보정하는 방법에 관한 것이다.
카메라를 이용한 화상 통화 및 화상 회의에서 카메라를 응시하는 시선과 표시부를 응시하는 시선의 차이에 의해서 표시부를 바라보며 대화를 하는 사용자의 시선은 다양하게 나타날 수 있다. 카메라가 표시부의 왼쪽 상단에 위치하면 표시부를 바라보는 사용자의 시선은 표시부의 오른쪽 하단을 바라보는 것처럼 보이고, 카메라가 표시부의 오른쪽 상단에 위치하면 표시부를 바라보는 사용자의 시선은 표시부의 왼쪽 하단을 바라보는 것처럼 보인다. 또한, 표시부의 가운데 상단에 카메라가 위치하면 사용자의 시선은 표시부의 정중앙 아래쪽을 바라보는 것처럼 보인다.
종래의 시선 보정 방법으로는 화상 회의시 표시부의 위/아래 또는 좌/우에 설치된 2대의 카메라를 통해서 입력된 두 이미지의 차이를 비교 분석하여 정면(카메라)을 보는 듯한 이미지를 생성하는 기술이 있다.
시선 불일치 문제를 해결하고자 한 종래의 기술에서는 주로 2대의 카메라 위치가 고정되고, 사용자와 카메라와의 거리 및 카메라와 표시부와 관련된 시선 차이를 계산하여 얼굴 전체의 포즈를 변화시킴으로써 시선 불일치 현상을 해결하고자 했다. 이렇게 헤드 포즈를 변화시키기 위해서는 얼굴 외곽선 영역과 배경을 분리해야 하는 기술이 필요하다. 자동으로 얼굴 외곽선 영역과 배경을 분리하는 기술은 시간이 오래 걸릴 뿐만 아니라 그 성능도 정교하지 못하다. 또한, 2대의 카메라를 사용해야 하는 문제가 있다. 사용자가 이동하며 통화를 할 수 있는 이동 단말 상에서는 카메라와 사용자와의 거리 및 배경이 수시로 변화하기 때문에 실시간 화상 통화 및 거울 기능, 셀프 촬영 등에는 더욱더 활용하기 어렵다고 할 수 있다.
본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.
본 발명의 일 목적은. 2차원 얼굴 이미지에서 눈의 외곽선만을 추출하여 검색 대상이 되는 이미지의 영역을 제한하며, 활성 형상 모델(Active Shape Model: ASM)이라는 연산량이 복잡하지 않은 방법을 사용함으로써, 눈 외곽선 피팅에 필요한 연산량과 처리 시간을 효과적으로 줄일 수 있기 때문에 모바일 기기 및 저사양 기기에서 시선 보정을 효과적으로 수행할 수 있도록 함에 있다.
또한, 본 발명은 시선 보정된 눈 영역이 배경 이미지와 조화롭게 보이도록, 2차원 눈 모델을 이용한 눈 모양 변환 방법과 2차원 가상 눈을 삽입하는 방법을 제공하고, 3차원 눈 모델을 이용하여 3차원 가상 눈을 생성하는 방법을 제공한다.　
본 발명의 일 측면에 따른 이미지 내 사용자의 시선 보정 방법은, 원본 이미지 내 사용자의 눈 영역을 정의하는 눈 외곽 점들을 설정하는 단계와; 상기 설정된 눈 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변환하는 단계와; 상기 변환된 외곽 점들에 따라 상기 원본 이미지의 눈 영역을 변환하는 단계를 포함한다.
본 발명의 다른 측면에 따라, 이미지 내 사용자의 시선 보정 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체가 제공된다.
본 발명의 또 다른 측면에 따라, 상기 기계로 읽을 수 있는 저장 매체를 포함하는 이동 단말이 제공된다.
본 발명에 따르면, 사용자 이미지에서 눈의 정확한 외곽선을 찾아낼 수 있고, 미리 학습된 시선 차이를 이용하여 눈 외곽 점들을 이동함으로서 정면 시선의 눈 모양을 생성할 수 있다. 또한, 가상의 눈을 사용하여 더욱 선명하고 시선 보정 효과가 뚜렷하게 나타나는 시선 보정 결과를 생성할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 이동 단말의 구성을 나타내는 도면,
도 2는 본 발명의 바람직한 실시 예에 따른 화상 통화 기능을 수행하는 이동 단말의 개략적인 외관 구성을 나타내는 도면,
도 3은 본 발명의 시선 보정 방법을 나타내는 흐름도,
도 4는 추출된 얼굴 영역의 예를 나타내는 도면,
도 5는 추출된 양쪽 눈 영역들의 중심점들을 나타내는 도면,
도 6은 눈 모델의 평균 형상과 3개의 고유 벡터들의 형상들을 나타내는 도면,
도 7은 후보 눈 외곽 점을 설정하는 단계를 설명하기 위한 도면,
도 8은 최종 눈 외곽 점을 설정하는 제2 서브 단계를 설명하기 위한 도면,
도 9는 검출된 최종 눈 외곽선을 보여 주는 예시도,
도 10은 아래를 보는 눈의 평균적인 눈 외곽선과 정면을 보는 눈의 평균적인 눈 외곽선을 나타내는 도면,
도 11은 눈 외곽선의 변환을 설명하기 위한 도면,
도 12 내지 도 15는 텍스쳐 워핑 단계를 설명하기 위한 도면들,
도 16은 가상의 눈을 나타내는 도면,
도 17은 가상 눈이 삽입된 시선 보정된 사용자 이미지를 나타내는 도면,
도 18은 가상 눈의 밝기를 조절하는 방법을 설명하기 위한 도면,
도 19는 밝기 조절된 가상 눈이 삽입된 시선 보정된 사용자 이미지를 나타내는 도면,
도 20 내지 도 22는 3차원 가상 눈을 이용하여 텍스쳐 워핑을 수행하는 방법을 설명하기 위한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 바람직한 실시 예에 따른 이동 단말의 구성을 나타내는 도면이다.
이동 단말(100)은 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북, 랩탑, 태블릿(Tablet) PC, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다. 상기 이동 단말(100)은 무선 통신 기능을 갖는 휴대용 이동 단말로서 구현될 수 있다.
이동 단말(100)은 스피커(111), 마이크(114) 및 표시부(116)를 포함하는 사용자 인터페이스(110), 센서부(120), 메모리(130), 통신부(140), 카메라(150) 및 제어부(160)를 포함한다.
사용자 인터페이스(110)는 사용자 입력을 수신하거나 사용자에게 정보를 알리기 위한 수단으로서, 복수의 버튼, 진동모터, 커넥터, 키패드 등을 더 포함할 수 있다. 사용자 인터페이스(110)의 예들은, 이에 한정되지 않지만, 마우스, 트랙볼(trackball), 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 상기 제어부(160)와의 정보 통신 및 상기 표시부(116) 상의 커서 움직임 제어를 위해 제공될 수 있다.
스피커(112)는 제어부(160)의 제어에 따라 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 이동 단말(100) 외부로 출력할 수 있다. 스피커(112)는 이동 단말(100)이 수행하는 기능에 대응되는 사운드를 출력할 수 있다. 스피커(112)는 상기 이동 단말(100)의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
마이크(114)는 제어부(160)의 제어에 따라 음성(voice) 또는 사운드(sound)를 수신하여 전기적인 신호를 생성한다.
버튼은 상기 이동 단말(100)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨 버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 등을 포함할 수 있다.
진동 모터는 제어부(160)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 이동 단말(100)은 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 모터가 동작한다. 진동 모터는 상기 이동 단말(100) 내에 하나 또는 복수로 형성될 수 있다. 진동 모터는 터치스크린 상을 터치하는 사용자의 터치 동작 및 터치스크린 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터는 이동 단말(100)과 서버, 외부 장치 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(160)의 제어에 따라 커넥터에 연결된 유선 케이블을 통해 이동 단말(100)의 메모리(130)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치에서부터 데이터를 수신할 수 있다. 커넥터에 연결된 유선 케이블을 통해 전원소스에서부터 전원이 입력되거나 배터리를 충전할 수 있다.
키패드는 이동 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드는 이동 단말(100)에 형성되는 물리적인 키패드 또는 표시부에 표시되는 가상의 키패드를 포함한다.
상기 표시부(116)는 상기 제어부(160)로부터 입력된 이미지를 화면에 표시한다. 이러한 표시부(116)로는 액정표시장치(liquid crystal display: LCD), 터치스크린(touch screen) 등을 사용할 수 있다. 상기 터치스크린은 상기 제어부(160)의 제어에 따른 이미지를 표시하고, 그 표면에 손가락, 스타일러스 펜(stylus pen) 등과 같은 사용자 입력 수단이 접촉하면 키 접촉 인터럽트(interrupt)를 발생시키고, 상기 제어부(160)의 제어에 따라 입력 좌표 및 입력 상태를 포함하는 사용자 입력 정보를 상기 제어부(160)로 출력한다.
상기 표시부(116)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진/동영상 촬영)에 대응되는 그래픽 사용자 인터페이스를 제공할 수 있다. 상기 표시부(116)는 그래픽 사용자 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 사용자 입력 정보를 제어부(160)로 출력할 수 있다. 상기 표시부(116)는 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 상기 표시부(116)는 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 상기 표시부(116)는 입력되는 터치의 연속적인 움직임에 대응되는 사용자 입력 정보를 제어부(160)로 전송할 수 있다.
본 발명에서 터치는 상기 표시부(116)와 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 표시부(116)와 사용자의 신체 또는 터치 가능한 입력 수단과 검출 가능한 간격이 1 mm 이하)을 포함할 수 있다. 상기 표시부(116)는 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식의 터치스크린으로 구현될 수 있다.
센서부(120)는 이동 단말(100)의 상태(위치, 방위, 움직임 등)를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(120)는 사용자의 이동 단말(100)에 대한 접근 여부를 검출하는 근접 센서, 또는 이동 단말(100)의 동작(예를 들어, 이동 단말(100)의 회전, 가속, 감속, 진동 등)을 검출하는 모션/방위 센서 등을 포함할 수 있다. 또한, 모션/방위 센서는 가속도 센서, 중력센서, 지자기 센서, 자이로(gyro) 센서, 충격센서, GPS, 나침반 센서(compass sensor), 가속도 센서 등을 포함할 수 있다. 센서부(120)는 이동 단말(100)의 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(160)로 전송할 수 있다. 예를 들어, GPS 센서는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 이동 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 이동 단말(100)의 GPS 위치를 산출할 수 있다. 나침반 센서는 이동 단말(100)의 자세 또는 방위를 산출한다.
상기 통신부(140)는 서버 또는 외부 장치와의 직접 연결 또는 네트워크를 통한 연결을 위해 제공되며, 유선 또는 무선 통신부일 수 있으며, 상기 제어부(160), 메모리(130), 카메라(150) 등으로부터의 데이터를 유선 또는 무선으로 전송하거나, 외부 통신선 또는 대기로부터 데이터를 유선 또는 무선 수신하여 상기 제어부(160)로 전달하거나 메모리(130)에 저장한다.
상기 통신부(140)는 성능에 따라 이동통신 모듈, 무선랜 모듈 및 근거리통신 모듈 중 적어도 하나를 포함할 수 있다. 상기 통신부(140)의 예들은, 이에 한정되지 않지만, 종합 정보 통신망(integrated services digital network: ISDN) 카드, 모뎀, 근거리 통신망(LAN) 카드, 적외선 포트, 블루투스 포트(Bluetooth port), 지그비(zigbee) 포트 및 무선 포트를 포함한다.
이동통신 모듈은 제어부(160)의 제어에 따라 적어도 하나의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 이동 단말(100)이 외부 장치와 연결되도록 한다. 이동통신 모듈은 이동 단말(100)에 입력되는 전화번호, 또는 네트워크 주소를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 등의 데이터 교환 또는 일방향 전송 또는 수신을 위한 무선 신호를 송/수신한다.
무선랜 모듈은 제어부(160)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈은 제어부(170)의 제어에 따라 이동 단말(100)과 화상 형성 장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.
카메라(150)는 렌즈계, 이미지 센서, 플래쉬 등을 포함할 수 있다. 카메라는 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(160)로 출력하고, 사용자는 이러한 카메라(150)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
렌즈계는 외부로부터 입사된 광을 수렴시킴으로써 피사체의 이미지를 형성한다. 상기 렌즈계는 적어도 하나의 렌즈를 포함하며, 각 렌즈는 볼록 렌즈, 비구면 렌즈 등일 수 있다. 상기 렌즈계는 그 중심을 지나는 광축(optical axis)에 대해 대칭성을 가지며, 상기 광축은 이러한 중심 축으로 정의된다, 상기 이미지 센서는 렌즈계를 통해 입사된 외부 광에 의해 형성된 광학적 이미지를 전기적 이미지 신호로 검출한다. 상기 이미지 센서는 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하며, 상기 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 상기 화소 유닛은 입사된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 상기 입사된 광의 조도를 나타낸다. 정지 이미지 또는 동영상을 구성하는 한 이미지를 처리하는 경우에 있어서, 상기 이미지 센서로부터 출력되는 이미지 신호는 상기 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 상기 이미지 신호는 하나의 프레임(즉, 정지 이미지)을 나타낸다. 또한, 상기 프레임은 M×N 화소로 구성된다. 상기 이미지 센서로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.
상기 구동부는 제어부(160)의 제어에 따라 상기 이미지 센서를 구동한다. 상기 구동부는 제어부(160)로부터 수신한 제어 신호에 따라 상기 이미지 센서의 전체 화소들 또는 전체 화소 중에서 관심 영역의 화소들만을 노출시키고, 상기 화소들로부터 출력되는 이미지 데이터는 제어부(160)로 출력된다.
상기 제어부(160)는 상기 카메라(150)로부터 입력되는 이미지 또는 상기 메모리(130)에 저장된 이미지를 프레임(frame) 단위로 처리하며, 상기 표시부(116)의 화면 특성(크기, 화질, 해상도 등)에 맞도록 변환된 이미지 프레임을 출력한다.
상기 메모리(130)는 내비게이션, 화상 통화, 게임 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 시선 보정 방법과 관련된 데이터베이스들, 상기 이동 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라에 의해 촬영된 이미지들 등을 저장할 수 있다. 상기 메모리(130)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계에게 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 메모리(130)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punchcard), 페이퍼 테이프(papertape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
상기 제어부(160)는 사용자 입력 정보에 따른 애플리케이션을 실행하고, 상기 애플리케이션은 사용자 입력 정보에 따른 프로그램 동작을 수행한다. 이때, 사용자 입력은 키패드, 터치스크린 등을 통한 입력 또는 카메라 기반의 입력을 포함한다.　상기 제어부(160)는 정보 통신을 위한 버스(bus) 및 정보 처리를 위해 상기 버스와 연결된 프로세서(processor)를 포함할 수 있다. 상기 제어부(160)는 또한 상기 프로세서에 의해 요구되는 정보를 저장하기 위해 상기 버스와 연결된 램(random access memory: RAM)을 포함할 수 있다. 상기 램은 상기 프로세서에 의해 요구되는 임시 정보를 저장하는데 사용될 수 있다. 상기 이동 단말(100)은 상기 프로세서에 의해 요구되는 정적 정보(static information)를 저장하기 위해 상기 버스와 연결되는 롬(read only memory: ROM)을 더 포함할 수 있다. 상기 제어부(160)는 중앙처리장치로서 이동 단말(100)의 전반적인 동작을 제어하고, 본 발명에 따른 시선 보정 방법을 수행하는 역할을 한다. 상기 제어부(160)는 통신부(140), 사용자 인터페이스(110) 및 카메라(150)를 이용하여 상대 이동 단말과의 화상 통화를 수행하며, 카메라(150)로부터 입력된 원본 사용자 이미지에 대하여 시선 보정 처리를 수행하고, 시선 보정 처리된 사용자 이미지와 마이크(114)를 통해 수신된 사용자의 음성 신호를 통신부(140)를 통해 상대 이동 단말로 전송한다.
상기 프로그램 제공 장치(20)는 상기 이동 단말(100)이 시선 보정 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 프로그램의 업데이트 정보 등을 저장하기 위한 메모리(21)와, 상기 이동 단말(100)과의 유선 또는 무선 통신을 수행하기 위한 통신부(22)와, 상기 이동 단말(100)의 요청 또는 자동으로 해당 프로그램 또는 업데이트 정보를 상기 이동 단말(100)로 전송하는 제어부(23)를 포함한다.
도 2는 본 발명의 바람직한 실시 예에 따른 화상 통화 기능을 수행하는 이동 단말의 개략적인 외관 구성을 나타내는 도면이다.
도 2에는, 이동 단말(100)의 전면에 배치된 표시부(116)와, 상기 표시부(116)의 위에 배치된 스피커(112) 및 카메라(150)와, 상기 표시부(116)의 아래에 배치된 홈 버튼(113)이 도시되어 있다. 상기 이동 단말(100)의 일 측면에는 음량 버튼(115)이 배치되고, 상기 이동 단말(100)의 타 측면에는 전원 버튼(117)이 구비된다.
제어부(160)는 사용자 인터페이스(110)를 통해 제1 사용자의 화상 통화 명령이 입력된 경우에, 통신부(140)를 통해 상대 이동 단말로부터 수신한 제2 사용자의 제2 사용자 이미지와 카메라(150)에 의해 촬영된 제1 사용자의 제1 사용자 이미지를 제1 사용자에게 표시하고, 통신부(140)를 통해 상대 이동 단말로부터 수신한 음성 신호를 스피커(112)를 통해 제1 사용자에게 출력한다.
제어부(160)는 카메라(150)로부터 제1 사용자의 제1 사용자 이미지를 수신하고, 상기 제1 사용자 이미지에 포함된 제1 사용자의 시선이 보정되도록 제1 사용자 이미지를 보정하고, 시선 보정된 제1 사용자 이미지를 통신부(140)를 통해 상대 이동 단말로 전송한다. 또한, 제어부(160)는 마이크(114)를 통해 수신한 제1 사용자의 음성 신호를 통신부(140)를 통해 상대 이동 단말로 전송한다.
도 3은 본 발명의 시선 보정 방법을 나타내는 흐름도이다.
S310 단계에서, 제어부(160)는 카메라(150)로부터 사용자 이미지를 입력받거나, 메모리(130)에 저장된 사용자 이미지를 독취한다. 본 방법은 하나의 사용자 이미지에 대해 기술되고 있으나, 본 방법은 순차로 입력 또는 독취되는 이미지들에 대해 각각 적용될 수 있다. 또한, 본 방법은 이동 단말(100)이 일대일 화상 통화 또는 다자간 화상 회의를 수행하는 도중에 카메라(150)로부터 실시간으로 입력되는 사용자 이미지에 대해 수행되거나, 통화 애플리케이션이 아닌 다른 애플리케이션에서 카메라(150)를 통해 실시간으로 입력되는 사용자 이미지에 대해 수행될 수 있다. 이하, 입력된 사용자 이미지를 시선 보정된 사용자 이미지와 구별할 필요가 있을 때, 상기 입력된 사용자 이미지를 원본 사용자 이미지라고 칭한다.
S320 단계에서, 제어부(160)는 사용자 이미지에서 얼굴 영역 및 눈 영역을 검출(또는 추출)한다. 사용자의 눈 또는 얼굴과 사용자 이미지에서의 얼굴 및 눈을 구분하기 위해, 사용자 이미지에서의 얼굴 및 눈을 얼굴 영역 및 눈 영역으로 지칭하고 있으나, 얼굴 영역 및 눈 영역은 얼굴(또는 얼굴 이미지) 및 눈(또는 눈 이미지)으로 각각 지칭할 수도 있다.
제어부(160)는 사용자 이미지에 얼굴이 포함되어 있는지 여부를 판단하고, 사용자의 얼굴이 포함되어 있으면 해당 얼굴 영역을 추출한다. 여기서, 얼굴 영역 추출은 통상의 얼굴 영역 추출 방법을 이용하여 수행되는데, 얼굴의 윤곽선, 얼굴 피부의 색상 및/또는 질감, 템플리트 등을 이용한 얼굴 영역 추출 기술이 이용될 수 있다. 예를 들어, 제어부(160)는 다수의 다른 사용자의 얼굴 이미지들을 통해 얼굴 학습을 수행하고, 이러한 얼굴 학습에 근거하여 입력된 사용자 이미지로부터 얼굴 영역을 추출할 수 있다.
도 4는 추출된 얼굴 영역의 예를 나타내는 도면이고, 도 5는 추출된 양쪽 눈 영역들의 중심점들을 나타내는 도면이다. 왼쪽 눈 영역(510)의 중심점(520)과 오른쪽 눈 영역(530)의 중심점(540) 사이의 거리는 D_eyes로 정의된다.
제어부(160)는 추출된 얼굴 영역에서 양쪽 눈 영역들(510, 530)을 추출한다. 이러한 눈 영역의 추출은 전술한 얼굴 학습과 마찬가지로 눈 학습에 근거하여 이루어질 수 있다. 예를 들어, 제어부(160)는 다수의 다른 사용자의 눈 이미지들(즉, 전술한 얼굴 이미지들의 눈 부분들)을 통해 눈 학습을 수행하고, 이러한 눈 학습에 근거하여 입력된 사용자 이미지로부터 눈 영역을 추출할 수 있다.
제어부(160)는 좌측 및 우측 눈 영역들(510, 530)의 중심점들(520, 540)을 검출한다. 눈 영역의 중심점(520, 540)은 동공의 중심점에 대한 x, y 좌표로 나타낼 수 있다.
S330 단계에서, 제어부(160)는 눈의 외곽선을 검출한다.
시선 보정을 수행하려면 눈 영역이 어디인지를 판별해야 하며 눈 영역의 정확한 눈 외곽선을 검출하여야 한다. 눈 외곽선은 다수의 눈 외곽 점들로 정의된다. 눈 외곽선을 선택하는 방법은 추출된 눈 영역과 가장 유사한 눈 외곽선의 형태를 찾는 것이다. 눈 외곽선을 검출하기 위해서 활성 형상 모델(Active Shape Model: ASM)이라는 형상 모델에 기반한 피팅 방법을 사용한다. 눈의 형상 모델을 생성하기 위해서 수백여 장의 다른 사용자들의 눈 형상 데이터를 사용한다. 눈 형상 데이터는 눈 외곽선을 대표하는 다수(본 예에서는 8개)의 눈 외곽 점들로 구성되어 있으며, 이러한 다수의 눈 형상 데이터의 눈 외곽 점들을 토대로 주성분 분석(Primary Components Analysis: PCA)을 수행하여 눈 모델의 평균 형상과 눈 형상을 대표하는 고유 벡터들(eigen vectors)(또는 눈 모델의 고유 형상들 내지 눈 모델의 단위 벡터들)을 추출한다. 추출된 고유 벡터들을 이용하여 추출된 눈 영역의 눈 모델 형상 파라미터들(즉, 고유 값들(eigen values)에 해당함)을 추출하고, 이들을 눈 외곽선 검출에 사용한다. 본 발명에서 눈 외곽선을 대표하는 점을 8개로 한정하여 사용하고 있으나, 그 수에 대한 제한은 없다.
수백여 장에 해당하는 n개의 눈 형상 데이터에서 고유 벡터들을 추출하는 수식은 아래와 같다. 먼저, 모든 눈 형상 데이터에 대한 평균 벡터
Figure pat00001
를 계산하고, 각각의 눈 형상 데이터에 대한 벡터 xi에서 평균 벡터를 뺀 행렬 D를 아래와 같이 산출한다.
Figure pat00002
행렬 D에서 공분산 행렬 S와 D의 전치(transpose) 행렬에 대한 공분산 행렬 T를 아래와 같이 산출한다.
Figure pat00003
행렬 T를 고유값 분해하여 3개의 고유 벡터들을 선택한다.
도 6은 눈 모델의 평균 형상과 3개의 고유 벡터들의 형상들을 나타내는 도면이다.
도 6의 (a)는 눈 모델의 평균 형상을 나타내고, 도 6의 (b), (c) 및 (d)는 3개의 고유 벡터들의 형상들(즉, 고유 형상들)을 나타낸다. 눈 모델의 평균 형상은 눈 외곽 점들을 검출하기 위한 초기 조건이 되고, 고유 벡터들은 임의의 눈 형상을 표현하기 위한 단위 벡터들에 해당한다. 예를 들어, 3개의 고유 벡터들을 A, B 및 C라고 할 때, 임의의 눈 형상은 aA+bB+cC로 표현될 수 있고, a, b 및 c는 눈 모델 형상 파라미터들에 해당한다.
본 S330 단계는, 후보 눈 외곽 점을 설정하는 제1 서브 단계와, 최종 눈 외곽 점을 설정하는 제2 서브 단계를 포함한다.
제1 서브 단계에서, 추출된 눈 영역에 빛의 영향을 최소화하기 위하여 조명 보정을 적용한 후, 눈 영역과 평균 형상이 서로 정렬되도록, 조명 보정이 된 눈 영역에 눈 모델의 평균 형상을 배치한다. 예를 들어, 눈 영역의 중심점과 평균 형상의 중심점이 서로 일치하고, 눈 영역의 중심점 및 눈 영역의 내측 끝점을 잇는 선분과 평균 형상의 중심점 및 평균 형상의 내측 끝점을 잇는 선분이 서로 평행하도록, 눈 영역과 평균 형상이 서로 정렬될 수 있다. 오른쪽 눈 영역의 끝점은 오른쪽 중심점과 왼쪽 눈 영역의 중심점 사이의 간격에서 오른쪽 중심점에 가까운 1/5 지점에 해당할 수 있다.
도 7은 후보 눈 외곽 점을 설정하는 단계를 설명하기 위한 도면이다. 평균 형상을 나타내는 초기 눈 외곽선(710)에서, 초기 눈 외곽선(710)의 바깥쪽 끝에 위치한 제1 초기 눈 외곽 점(721)을 기준으로 시계 방향으로 초기 눈 외곽선의 궤적을 따라 제2 내지 제8 초기 눈 외곽 점들(722~728)이 설정되어 있다. 각 초기 눈 외곽 점에 대한 법선 방향(또는 법선 벡터 방향)은 화살표로 표시되어 있으며, 제1 내지 제8 법선 방향에는 ①~⑧의 참조 번호들이 부여되어 있다. 각 후보 눈 외곽 점은 해당 초기 눈 외곽 점에서 해당 법선 방향으로 탐색하게 되며, 픽셀 밝기 값 변화가 최대인 점이 상기 후보 외곽 점으로 설정된다. 법선 방향은 눈 영역(730)의 중심점과 초기 눈 외곽 점을 지나는 직선 방향으로 설정되거나, 직선 선분들로 이루어진 초기 눈 외곽선(710)을 곡선으로 근사화한 경우 초기 눈 외곽 점을 지나는 법선 방향으로 설정될 수 있다.
후보 눈 외곽 점을 선택하는 수식은 아래와 같다.
Figure pat00004
여기서 I(Xi)는 눈 영역(730)의 픽셀(또는 복수의 픽셀들로 이루어진 블록) Xi에서의 픽셀 값(즉, 밝기 값)이며, 법선 벡터 방향으로 밝기 차이가 가장 큰 픽셀을 후보 눈 외곽 점으로서 선택한다. 이때 초기 눈 외곽 점으로부터 후보 눈 외곽 점으로 변위될 수 있는 범위는 초기 눈 외곽 점의 위치에 따라 다르므로, 하기 표 1과 같이 초기 눈 외곽 점의 위치에 따라 검색 범위를 다르게 제한할 수 있다. 예를 들어, 눈 영역(730)의 가운데 부분은 상하로 움직임이 많으므로 검색 범위를 넓게 하고, 눈 영역(730)의 끝 부분은 움직임이 적기 때문에 범위를 좁게 설정할 수 있다.
법선 방향 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧
상한 2 6 7 6 2 5 6 5
하한 -2 -2 -3 -2 -2 -2 -3 -2
도 8은 최종 눈 외곽 점을 설정하는 제2 서브 단계를 설명하기 위한 도면이다.
도 8의 (a)는 후보 눈 외곽 점들을 나타낸다. 상기 후보 눈 외곽 점들(810)을 잇는 경우에 후보 눈 외곽선은 일반적인 눈 형상에서 많이 벗어나게 된다.
따라서, 후보 눈 외곽 점들(810)을 고유 벡터들에 투영을 하여, 눈 모델 형상 파라미터들을 추출하고, 눈 형상이 일그러지지 않도록 추출된 눈 모델 형상 파라미터들 각각의 범위를 제한함으로써, 도 8의 (b)에 도시된 바와 같이 최종 눈 외곽 점들(820)을 설정하게 된다.
눈 모델 형상 파라미터들은 아래와 같은 수식으로 계산할 수 있다.
Figure pat00005
여기서, Y는 후보 눈 외곽 점들이며, M은 고유 벡터들을 나타내며, P는 눈 모델 형상 파라미터들을 나타낸다.
눈 학습의 대상이 되는 다수의 눈 이미지는 고유 벡터들을 축들로 한 공간에 표시되며, 다수의 눈 이미지의 밀집 분포 범위를 고려하여 눈 모델 형상 파라미터들의 범위들을 각각 제한할 수 있다. 본 제2 서브 단계는 생략되거나, 제1 서브 단계의 검색 범위를 설정하는데 사용될 수도 있다.
도 9는 검출된 최종 눈 외곽선을 보여 주는 예시도이다. 도시된 바와 같이, 검출된 최종 눈 외곽선(910)은 8개의 눈 외곽 점들(920)을 잇는 선분들로 정의된다. 이하, 최종 눈 외곽선을 제1 눈 외곽선이라고 하고, 최종 눈 외곽 점을 제1 눈 외곽 점이라고 한다.
S340 단계에서, 제어부(160)는 카메라(150)를 응시하는 방향으로 제1 눈 외곽선을 변환(또는 변형)한다. 즉, 제어부(160)는 사용자 이미지 내 눈 영역의 눈 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변화시킨다. 바람직하게는, 제어부(160)는 현재 이미지 내 사용자의 얼굴 응시 방향(즉, 얼굴 각도 또는 기울기)과 미리 설정된 기준 카메라 응시 방향(즉, 얼굴 각도 또는 기울기)의 차이에 근거하여, 눈 외곽선을 정의하는 눈 외곽 점들을 변환시킨다.
제어부(160)는 얼굴 응시 방향(또는 얼굴 각도) 및/또는 얼굴 기울기를 검출할 수 있으며, 검출된 얼굴 이미지가 정면 위치를 바라보는지, 아니면 좌측, 우측, 상측, 하측 또는 대각 위치(좌상측, 우상측, 좌하측 또는 우하측 위치)를 바라보는지를 판단할 수 있다. 예를 들어, 제어부(160)는 다양한 각도의 얼굴 이미지들을 통해 얼굴 학습을 수행하고, 이러한 얼굴 학습에 근거하여 사용자 이미지로부터 얼굴 각도 또는 얼굴 응시 방향을 검출할 수 있다.
눈 외곽선을 변환하기 위해서, 다수의 눈 이미지 쌍을 통해 눈 학습을 수행하고, 이러한 눈 학습에 근거하여 눈 외곽선을 변환한다. 즉, 동일인에 대하여 이동 단말(100)의 표시부(116)를 보는 눈(즉, 아래를 보는 눈)과 이동 단말(100)의 카메라(150)를 보는 눈(즉, 정면을 보는 눈)을 촬영하여 두 이미지들에서 눈 형상이 어떻게 변환되는지를 학습한다.
도 10은 아래를 보는 눈의 평균적인 눈 외곽선(1012)과 정면을 보는 눈의 평균적인 눈 외곽선(1010)을 나타내는 도면이다.
아래의 수식은 아래를 보는 눈과 정면을 보는 눈 사이에 각 눈 외곽 점이 평균적으로 얼마나 변하는지를 계산하는 식이다.
Figure pat00006
는 정면을 보는 j번째 눈 이미지의 i번째 눈 외곽 점을 의미하고,
Figure pat00007
는 아래를 보는 j번째 눈 이미지의 i번째 눈 외곽 점을 나타낸다.
Figure pat00008
제1 눈 외곽 점 Xi에 변화량 dXi(즉, 평균 변위)를 더함으로써 제2 눈 외곽 점 X'i를 산출할 수 있고, 수식으로 표현하면 아래와 같다.
Figure pat00009
도 11은 눈 외곽선의 변환을 설명하기 위한 도면이다. 제1 눈 외곽선(1110) 및 제1 눈 외곽 점들(1120)과 제2 눈 외곽선(1130) 및 제2 눈 외곽 점들(1140)이 도시되어 있다.
다시 도 3을 참고하면, S350 단계에서, 제어부(160)는 제1 눈 외곽선의 내부를 제2 눈 외곽선의 내부로 텍스쳐 워핑한다.
도 12 내지 도 15는 텍스쳐 워핑 단계를 설명하기 위한 도면들이다.
도 12를 참조하면, 제1 눈 외곽선(1210)의 다수(본 예에서는 8개)의 제1 눈 외곽 점들(1220)을 서로 연결하여 다수(본 예에서는 6개)의 제1 삼각형(1230)을 만든다.
도 13을 참조하면, 제1 눈 외곽 점들 Xa, Xb, Xc를 사용하여 만든 제1 삼각형(1310) 내부의 픽셀들과 제2 외곽 점들 X'a, X'b, X'c를 사용하여 만든 제2 삼각형(1320) 내부의 픽셀들을 맵핑(즉, 픽셀 값들의 맵핑)하여야 한다. 이러한 과정을 텍스쳐 워핑(texture warping)이라고 한다. 이때, 제1 삼각형(1310) 및 제2 삼각형(1320)은 모두 동일한 사용자 이미지 내에 위치한다. 즉, 사용자 이미지에서 제1 삼각형(1310)은 제2 삼각형(1320)으로 대체된다.
각 삼각형의 꼭짓점을 이루는 좌표를 이용하여 아래와 같은 행렬을 만들 수 있다.
Figure pat00010
　S를 구성하는 Xa, Xb, Xc는 제1 눈 외곽 점들 중에서 어느 한 제1 삼각형(1310)을 이루는 세 점들의 x, y 좌표들이고, T를 구성하는 X'a, X'b, X'c는 Xa, Xb, Xc가 눈 외곽선 변환에 따라 이동한 이후 제1 삼각형(1310)과 대응되는 제2 삼각형(1320)을 이루는 세 점들의 x, y 좌표들을 의미한다. S와 T는 각각 3x3 행렬이다.
예를 들어, S와 T는 아래와 같이 표현될 수 있다.
Figure pat00011
제2 삼각형(1320) 내 모든 픽셀(또는 점)에 대해 값을 대입하는 것이기 때문에 제1 및 제2 삼각형(1310, 1320) 사이의 관계를 알아야 한다. 두 행렬 S와 T의 관계를 수식적으로 표현하면 아래와 같다.
Figure pat00012
위의 식에서 T를 S로 변환시켜 주는 행렬 B를 어파인 변환 행렬이라고 한다. 어파인 변환 행렬 B는 다음과 같은 식으로 구할 수 있다.
Figure pat00013
제2 삼각형(1320) 내 픽셀(또는 복수의 픽셀들로 이루어진 블록) X'i을 위 식에서 구한 B와 곱하면 제1 삼각형(1310) 내 픽셀(또는 복수의 픽셀들로 이루어진 블록) Xi을 구할 수 있다. 즉, 아래의 식을 통하여, X'i에 대응하는 Xi와, X'i의 픽셀 값(예를 들어, 밝기 값)을 구할 수 있다.
Figure pat00014
Xi의 x, y 좌표는 2차원의 값이기 때문에 어파인 변환 행렬 B의 2x3 부분 행렬만을 사용한다. 어파인 변환 행렬의 첫 번째 및 두 번째 열은 좌표의 크기와 회전에 대한 정보에 각각 대응되고, 어파인 변환 행렬의 세 번째 열은 좌표의 이동에 대한 정보에 대응된다. 따라서, X'i의 아래에 1을 추가하여 이동이 가능하도록 한다. Xi의 값(예를 들어, 픽셀 값, 픽셀의 세기(intensity) 값, 픽셀의 색상 값, 픽셀 값들의 평균 값, 픽셀 값들의 대표 값(최대 값, 중간 값 등))을 읽은 후 X'i에 읽은 값을 대입한다. 즉, Xi의 값은 X'i의 값에 대입된다. 이러한 과정을 제2 눈 외곽선 내 모든 삼각형들에 대해서 실행함으로써 정면을 바라보는 시선 보정된 눈 영역을 만들 수 있다.
이러한 텍스쳐 워핑은 사용자 이미지에서 제1 눈 외곽선을 포함하는 제1 윈도우를 제2 눈 외곽선을 포함하는 제2 윈도우로 대체하는 경우에도 동일하게 적용될 수 있다.
도 14는 텍스쳐 워핑에 따라 변환된 눈의 모양을 예시하는 도면이다. 도 14의 (a)는 변환 전 눈의 모양을 나타내고, 도 14의 (b)는 변환 후 눈의 모양을 나타낸다.
눈 외곽선의 내부만 텍스쳐 워핑할 경우 눈 영역만 이동하기 때문에 부자연스러울 수 있으므로, 눈 영역의 주변 영역을 동시에 텍스쳐 워핑하는 것이 바람직하다.
도 15는 텍스쳐 워핑에 사용되는 윈도우를 설명하기 위한 도면이다. 제1 눈 외곽선(1210)의 제1 눈 외곽 점들(1220)과 제2 눈 외곽선의 제2 눈 외곽 점들(미도시)을 모두 포함하도록, 제1 눈 외곽선(1210)의 주변 영역에 제1 윈도우(1500)를 정의하는 움직이지 않는 4개의 제1 윈도우 점들(1510~1540)(즉, 윈도우 픽셀들)을 설정한다. 또한, 제1 눈 외곽 점들(1220) 및 제1 윈도우 점들(1510~1540)을 서로 연결하여 다수(본 예에서는 6개)의 제1 삼각형을 만든다. 제2 눈 외곽선의 주변 영역에 설정되는 제2 윈도우(미도시)는, 제1 윈도우(1500)와의 구별을 위해 명칭을 달리하였으나, 제1 윈도우(1500)와 동일한 위치 및 면적을 갖도록 설정된다. 이후, 전술한 텍스쳐 워핑과 동일한 방식으로, 제1 윈도우(1500) 내 영역을 제2 윈도우 내 영역으로 텍스쳐 워핑한다.
본 발명의 텍스쳐 워핑 단계는 가상의 눈을 이용하여 수행될 수 있다.
즉, 원본 사용자 이미지의 눈 영역을 사용하지 않고, 가상의 눈을 사용하여 텍스쳐 워핑 단계를 수행함으로써 시선 보정된 사용자 이미지를 생성할 수 있다. 원본 사용자 이미지에서 사용자가 좌측 또는 우측을 보고 있을 경우, 시선 보정을 수행하여도 시선 보정된 사용자 이미지에서 사용자는 여전히 좌측 또는 우측을 보고 있게 된다. 즉, 동공의 수직 위치는 전술한 시선 보정에 의해 이동되지만, 동공의 수평 위치는 전술한 시선 보정에 의해 이동되지 않는다. 이러한 문제를 해결하기 위해서, 정면을 바라보는 가상의 눈을 사용하되, 상기 가상의 눈을 사용자의 눈과 유사하도록 만든다.
이하, 2차원 가상 눈을 이용한 텍스쳐 워핑에 대해 먼저 기술하고, 3차원 가상 눈을 이용한 텍스쳐 워핑에 대해 후술하기로 한다.
도 16은 가상의 눈을 나타내는 도면이다.
상기 가상 눈은 동공(1610), 홍채(1620) 및 공막(1630)을 갖는 제1 눈 외곽선(1640) 내 눈 영역과, 제1 눈 외곽선(1640) 외부의 눈 주변 영역(1650) (또는 피부 영역)을 포함한다. 또한, 가상 눈의 각 부분에 해당하는 텍스쳐 정보는 다양한 사람들의 눈 이미지들을 기반으로 만들어진 표준 텍스쳐 정보를 사용할 수 있다.
상기 표준 텍스쳐 정보는 동공, 홍채, 공막 및 눈 주변 영역에 대하여 다양한 인종, 색상별로 구분된 눈 이미지들을 사용하여 모델링될 수 있다. 각 부분별 표준 텍스쳐 정보를 생성하는 가장 기본적인 예로는 평균 정보를 활용하는 방법이 있을 수 있다. 홍채의 표준 텍스쳐 정보를 생성하는 예를 들면, 비슷한 색상을 가진 n개의 홍채 이미지들의 평균 색상 값을 홍채의 표준 텍스쳐 정보로 활용할 수 있다. 홍채의 경우와 유사하게, 동공, 공막 및 눈 주변 영역에 대한 표준 텍스쳐 정보를 모델링 할 수 있다. 표준 텍스쳐 정보는 상술한 평균 정보를 이용한 모델링 이외에 다양한 통계적인 방법을 통하여 모델링될 수 있다.
제2 눈 외곽선, 제2 눈 외곽 점들 및 제2 윈도우(미도시)가 설정되면, 제1 윈도우(1660) 내 영역을 제2 윈도우 내 영역으로 텍스쳐 워핑한다. 즉, 사용자 이미지에서 제1 윈도우를 제2 윈도우로 대체한다.
사용자 이미지의 텍스쳐 정보(예를 들어, 세기 값)을 이용하지 않고, 상기 텍스쳐 정보와 유사한 가상의 표준 텍스쳐 정보를 이용함으로써, 시선 보정을 더욱 빠르게 수행할 수 있다.
제1 윈도우(1660) 내 픽셀과 제2 윈도우 내 픽셀 간의 매칭을 위한 어파인 변환 행렬은 수학식 7 내지 10을 이용하여 구할 수 있다. 다만, S는 사용자 이미지가 아니라 가상 눈에 대해 설정된다.
제2 윈도우 내 픽셀 X'i에 대응하는 제1 윈도우(1660) 내 픽셀 Xi와, X'i의 픽셀 값은 아래의 식을 이용하여 구할 수 있다.
V는 가상 눈 내 Xi의 픽셀 값을 나타낸다.
Figure pat00015
도 17은 가상 눈이 삽입된 시선 보정된 사용자 이미지를 나타내는 도면이다. 원본 사용자 이미지에서 사용자가 좌측 또는 우측을 보고 있다고 하여도, 가상 눈을 사용하기 때문에, 시선 보정된 사용자 이미지에서 사용자는 정면을 보고 있게 된다. 그러나, 가상 눈과 실제 눈 영역의 전체적인 밝기가 서로 다르면, 도시된 바와 같이 눈이 부자연스럽게 보일 수 있다.
따라서, 수학식 12에서 X'i의 픽셀 값은 후술하는 바와 같이 가상 눈과 실제 눈 영역의 전체적인 밝기 차이를 고려하여 산출될 수 있다.
가상 눈의 밝기를 실제 눈 영역의 밝기를 고려하여 조절함에 있어서, 실제 눈 영역에서 공막의 밝기와 가상 눈에서 공막의 밝기의 차이를 비교하면, 가상 눈의 밝기를 얼마나 변화시켜야 할지 알 수 있다. 이미지의 밝기는 0~255사이의 값을 가지는데 0은 검정색을 의미하고, 255는 흰색을 의미한다.
도 18은 가상 눈의 밝기를 조절하는 방법을 설명하기 위한 도면이다.
원본 사용자 이미지에서 눈 영역의 가장 밝은 픽셀을 효과적으로 찾기 위해서, 제1 눈 외곽선의 좌우 끝점에 해당하는 눈 외곽 점들 Xleft 및 Xright(1810, 1820)을 잇는 선분(1830) 상에 위치하는 픽셀들의 밝기만을 비교해서 가장 밝은 픽셀의 값이 얼마인지를 찾는다.
Figure pat00016
Xi는 선분(1830) 상에 위치하는 Xleft 및 Xright(1810, 1820) 사이의 임의의 점을 의미하며, 선분(1830) 상의 픽셀들이 갖는 밝기 값들 중 가장 큰 값을 b라고 한다. 가장 큰 밝기 b를 갖는 픽셀이 Xb라고 했을 때 Xb와 동일한 위치를 갖는 픽셀을 가상 눈에서 찾는다. 가상 눈에서 검색된 픽셀의 밝기를 b'라고 하면, 원본 사용자 이미지의 눈 영역과 가상 눈의 밝기 차는 아래와 같이 근사화될 수 있다.
Figure pat00017
수학식 12에서 I(X'i)를 아래와 같이 변경함으로써, 가상 눈의 밝기를 원본 사용자 이미지의 눈 영역의 밝기를 고려하여 조절할 수 있다.
Figure pat00018
도 19는 밝기 조절된 가상 눈이 삽입된 시선 보정된 사용자 이미지를 나타내는 도면이다. 가상 눈의 밝기가 원본 사용자 이미지의 눈 영역의 밝기를 고려하여 조절됨으로써, 도 17과 비교하여 눈이 보다 자연스럽게 보이는 것을 알 수 있다.
전술한 가상 눈을 이용한 텍스쳐 워핑 방법에서, 다양한 색상을 갖는 2차원 가상 눈들 중의 하나를 사용함으로써 시선 보정과 동시에 눈 영역의 색상을 바꿀 수도 있다.
또한, 미리 표준 텍스쳐 정보를 사용하지 않고 사용자의 눈 색상을 가상 눈에 적용할 수도 있다. 예를 들어, 제1 눈 외곽 점들의 상하 중심 선을 따라 밝기 값의 변화를 측정하여 동공, 홍채 및 공막을 구별하여 인식하고, 동공, 홍채 및 공막의 텍스쳐 정보를 가상 눈에 맵핑할 수도 있다. 제1 눈 외곽 점들의 상하 중심 선 대신에 눈 영역의 중심 좌표로부터 좌측 또는 우측 끝에 위치한 눈 외곽 점을 잇는 선분을 사용할 수도 있다. 또한, 동공과 홍채의 분리가 쉽지 않은 경우에는, 동공을 포함한 홍채의 텍스쳐 정보를 가상 눈의 동공을 포함한 홍채 내부에 맵핑할 수도 있다.
이하, 3차원 가상 눈을 이용하여 텍스쳐 워핑을 수행하는 방법에 대해 설명하자면 아래와 같다. 본 방법에서는, 정면 시선으로 보정하기 위해 3차원 가상 눈을 원본 사용자 이미지에 삽입한다. 3차원 가상의 눈을 생성하기에 앞서 다수의 3차원 눈을 이용하여 3차원 눈 모델을 생성한다.
도 20 내지 도 22는 3차원 가상 눈을 이용하여 텍스쳐 워핑을 수행하는 방법을 설명하기 위한 도면들이다.
3차원 눈 모델은 다양한 다른 사용자들의 3차원 눈의 형상과 컬러 정보를 이용하여 소수의 파라미터들로 다양한 눈을 표현할 수 있는 모델을 지칭한다. 3차원 눈 모델은 2차원 가상 눈과 마찬가지로 다양한 인종, 색상별로 구분된 데이터를 사용하여 1개 이상 모델링 될 수 있다.
다양한 3차원 눈 데이터를 활용하여 모델링된 눈 모델은 아래와 같은 수식으로 표현할 수 있다.
Figure pat00019
여기서, S는 눈 모델로 생성한 눈의 형상을 나타내며, S0는 평균 눈 형상, αiSi는 i번째 눈 형상 파라미터와 i번째 눈 형상 고유 벡터의 곱을 의미한다. T는 눈 모델로 생성한 눈의 컬러를 나타내며, T0는 평균 눈 컬러, βiTi는 i번째 눈 컬러 파라미터와 i번째 눈 컬러 고유 벡터의 곱을 의미한다. 즉, 각 3차원 눈의 형상은 눈 형상 고유 벡터들을 각각의 축들로 하는 공간에 표시될 수 있고, 각 3차원 눈의 컬러는 눈 컬러 고유 벡터들을 각각의 축들로 하는 공간에 표시될 수 있다.
도 20의 (a)는 3차원 평균 우측 눈 형상을 나타내고, 도 20의 (b)는 3차원 평균 좌측 눈 형상을 나타낸다.
도 21의 (a)는 평균 우측 눈 컬러를 나타내고, 도 21의 (b)는 평균 좌측 눈 컬러를 나타낸다.
3차원 가상 눈을 이용하여 텍스쳐 워핑을 수행하는 방법에서는, 원본 사용자 이미지에서 눈 영역을 추출하고, 상기 눈 영역의 눈 형상 파라미터들 및 눈 컬러 파라미터들을 산출한다.
눈 형상 파라미터들 및 눈 컬러 파라미터들은 아래와 같은 수식으로 계산할 수 있다.
Figure pat00020
여기서, PS와 PT는 원본 사용자 이미지에서의 눈 형상과 눈 컬러를 각각 나타내고,
Figure pat00021
및
Figure pat00022
는 S 및 T의 전치 행렬들을 나타낸다.
즉, 추출된 눈 영역의 눈 형상을 눈 형상 고유 벡터들을 각각의 축들로 하는 공간에 표시하고, 사용자 이미지의 눈 형상과 가장 가까운 다른 사용자의 3차원 눈 형상을 검출한다.
또한, 추출된 눈 영역의 눈 컬러를 눈 컬러 고유 벡터들을 각각의 축들로 하는 공간에 표시하고, 사용자 이미지의 눈 컬러와 가장 가까운 다른 사용자의 눈 컬러를 검출한다.
검출된 다른 사용자의 눈 형상과 검출된 다른 사용자의 눈 컬러를 조합하여 3차원 눈을 생성할 수 있다. 이때, 비교 대상이 되는 다른 사용자들의 3차원 눈 형상들과 다른 사용자들의 눈 컬러들은 메모리의 데이터베이스에 미리 저장되어 있다.
3차원 가상 눈을 원본 사용자 이미지에 삽입(또는 텍스쳐 워핑)하는 방법은 전술한 2차원 가상 눈을 원본 사용자 이미지에 삽입하는 방법과 동일하므로, 이에 대한 구체적인 설명은 생략한다.
도 22는 3차원 가상 눈이 삽입된 시선 보정된 사용자 이미지들을 나타낸다. 도 22의 (a), (b) 및 (c) 각각에서 보는 방향에서 좌측은 원본 사용자 이미지를 나타내고, 우측은 시선 보정된 사용자 이미지를 나타낸다.
　본 발명에 따른 시선 보정 방법은 전술한 화상 통화에만 국한되지 않고, 통상의 사진 촬영, 얼굴 캐릭터 생성 시스템 등에 활용될 수 있다.　
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
100: 통신 단말, 110: 터치 인터페이스, 120: 센서부, 130: 메모리, 140: 통신부, 150: 카메라, 160: 제어부

Claims (14)

  1. 이미지 내 사용자의 시선 보정 방법에 있어서,
    원본 이미지 내 사용자의 눈 영역을 정의하는 눈 외곽 점들을 설정하는 단계와;
    상기 설정된 눈 외곽 점들을 미리 설정된 기준 카메라 응시 방향으로 변환하는 단계와;
    상기 변환된 외곽 점들에 따라 상기 원본 이미지의 눈 영역을 변환하는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  2. 제1항에 있어서, 상기 눈 외곽 점들을 설정하는 단계는,
    상기 원본 이미지의 눈 영역과 정렬되도록 초기 눈 외곽 점들을 갖는 눈 모델의 평균 형상을 배치하는 단계와;
    상기 각 초기 눈 외곽 점의 법선 방향으로 픽셀 밝기 값의 변화가 최대인 점을 검색하여 해당 눈 외곽 점으로 설정하는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  3. 제2항에 있어서, 상기 초기 눈 외곽 점들의 위치들에 따라서 상기 눈 외곽 점들의 검색 범위들을 서로 다르게 설정하는 것을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  4. 제2항에 있어서, 상기 눈 모델의 고유 벡터들에 대한 상기 눈 외곽 점들의 눈 모델 형상 파라미터들을 추출하고, 상기 추출된 눈 모델 형상 파라미터들 각각의 범위를 제한함으로써, 상기 눈 외곽 점들을 설정함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  5. 제1항에 있어서,
    상기 미리 설정된 기준 카메라 응시 방향은 정면을 응시하는 방향임을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  6. 제1항에 있어서, 상기 눈 외곽 점들을 변환하는 단계는,
    상기 각 눈 외곽 점의 좌표에 아래를 보는 눈과 정면을 보는 눈 사이의 평균 변위를 합산한 위치로 상기 각 눈 외곽 점을 이동시키는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  7. 제1항에 있어서, 상기 원본 이미지의 눈 영역을 변환하는 단계는,
    상기 설정된 눈 외곽 점들을 시계 방향으로 차례로 연결한 제1 눈 외곽선 내부의 픽셀들과 상기 변환된 눈 외곽 점들을 시계 방향으로 차례로 연결한 제2 눈 외곽선 내부의 픽셀들을 맵핑하는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  8. 제1항에 있어서, 상기 원본 이미지의 눈 영역을 변환하는 단계는,
    상기 설정된 눈 외곽 점들을 시계 방향으로 차례로 연결한 제1 눈 외곽선을 포함하는 제1 윈도우 내부의 픽셀들과 상기 변환된 눈 외곽 점들을 시계 방향으로 차례로 연결한 제2 눈 외곽선을 포함하는 제2 윈도우 내부의 픽셀들을 맵핑하는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  9. 제7항에 있어서, 상기 제1 및 제2 눈 외곽선은 각각 해당 눈 외곽 점들을 서로 연결한 복수의 삼각형들로 분할되고, 상기 맵핑은 상기 제1 및 제2 눈 외곽선의 서로 대응되는 삼각형들을 단위로 하여 수행됨을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  10. 제1항에 있어서, 상기 원본 이미지의 눈 영역을 변환하는 단계는,
    미리 설정된 가상 눈의 픽셀들과 상기 변환된 눈 외곽 점들을 시계 방향으로 차례로 연결한 눈 외곽선을 포함하는 윈도우 내부의 픽셀들을 맵핑하는 단계를 포함함을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  11. 제10항에 있어서,
    상기 원본 이미지의 눈 영역의 밝기와 상기 미리 설정된 가상 눈의 밝기의 차이에 근거하여 상기 미리 설정된 가상 눈의 밝기를 조절하고, 상기 맵핑은 밝기 조절된 가상 눈에 근거하여 수행됨을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  12. 제10항에 있어서,
    상기 가상 눈은 3차원 가상 눈임을 특징으로 하는 이미지 내 사용자의 시선 보정 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 따른 이미지 내 사용자의 시선 보정 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.
  14. 제13항의 기계로 읽을 수 있는 저장 매체를 포함하는 이동 단말.
KR1020120076452A 2012-07-13 2012-07-13 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 KR101979669B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120076452A KR101979669B1 (ko) 2012-07-13 2012-07-13 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US13/757,256 US9111171B2 (en) 2012-07-13 2013-02-01 Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
US14/813,971 US9613286B2 (en) 2012-07-13 2015-07-30 Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120076452A KR101979669B1 (ko) 2012-07-13 2012-07-13 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말

Publications (2)

Publication Number Publication Date
KR20140010541A true KR20140010541A (ko) 2014-01-27
KR101979669B1 KR101979669B1 (ko) 2019-05-17

Family

ID=49914045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120076452A KR101979669B1 (ko) 2012-07-13 2012-07-13 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말

Country Status (2)

Country Link
US (2) US9111171B2 (ko)
KR (1) KR101979669B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115928A1 (en) * 2015-06-26 2017-01-11 Samsung Electronics Co., Ltd. Display apparatus and image correction method thereof
KR102195068B1 (ko) * 2019-08-27 2020-12-24 재단법인대구경북과학기술원 시선 일치화 기능을 탑재한 사용자 단말기 및 그것을 이용한 시선 일치화 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380185B (zh) 2012-05-18 2017-07-28 瑞尔D斯帕克有限责任公司 定向背光源
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
KR102617760B1 (ko) 2013-02-22 2023-12-27 리얼디 스파크, 엘엘씨 지향성 백라이트
US9626597B2 (en) 2013-05-09 2017-04-18 Tencent Technology (Shenzhen) Company Limited Systems and methods for facial age identification
CN104143079B (zh) * 2013-05-10 2016-08-17 腾讯科技（深圳）有限公司 人脸属性识别的方法和系统
KR102366346B1 (ko) 2013-10-14 2022-02-23 리얼디 스파크, 엘엘씨 지향성 백라이트를 위한 광 입력
JP2016009873A (ja) * 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2016057690A1 (en) 2014-10-08 2016-04-14 Reald Inc. Directional backlight
CN104574321B (zh) 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
RU2596062C1 (ru) * 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
WO2016168305A1 (en) 2015-04-13 2016-10-20 Reald Inc. Wide angle imaging directional backlights
WO2016176225A1 (en) * 2015-04-28 2016-11-03 Microsoft Technology Licensing, Llc Eye gaze correction
GB201507224D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
GB201507210D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
ES2912310T3 (es) 2016-01-05 2022-05-25 Reald Spark Llc Corrección de la mirada en imágenes multivista
US10664949B2 (en) * 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US11079619B2 (en) 2016-05-19 2021-08-03 Reald Spark, Llc Wide angle imaging directional backlights
EP3464996B1 (en) 2016-05-23 2022-09-14 RealD Spark, LLC Wide angle imaging directional backlights
US10217275B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of performing eye reconstruction using a parametric model
US10217265B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of generating a parametric eye model
JP6822482B2 (ja) 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
KR20180071589A (ko) * 2016-12-20 2018-06-28 삼성전자주식회사 홍채 인식 기능 운용 방법 및 이를 지원하는 전자 장치
EP3566094B1 (en) 2017-01-04 2023-12-06 RealD Spark, LLC Optical stack for imaging directional backlights
WO2018187154A1 (en) 2017-04-03 2018-10-11 Reald Spark, Llc Segmented imaging directional backlights
CN111183405A (zh) 2017-08-08 2020-05-19 瑞尔D斯帕克有限责任公司 调整头部区域的数字表示
US11115647B2 (en) 2017-11-06 2021-09-07 Reald Spark, Llc Privacy display apparatus
US10388002B2 (en) * 2017-12-27 2019-08-20 Facebook, Inc. Automatic image correction using machine learning
KR20200120650A (ko) 2018-01-25 2020-10-21 리얼디 스파크, 엘엘씨 프라이버시 디스플레이를 위한 터치스크린
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
CN108388347B (zh) * 2018-03-15 2021-05-25 网易（杭州）网络有限公司 虚拟现实中的交互控制方法和装置及存储介质、终端
CN108595010B (zh) * 2018-04-27 2021-06-18 网易（杭州）网络有限公司 虚拟现实中虚拟物体的交互方法及装置
US10765864B2 (en) * 2018-08-09 2020-09-08 National Technology & Engineering Solutions Of Sandia, Llc Retinal-inspired method and system for improved detection
SE543273C2 (en) * 2019-03-29 2020-11-10 Tobii Ab Training an eye tracking model
CN110189408B (zh) * 2019-06-04 2023-04-11 西安科技大学 一种根据人体照片得到人体外表数据的系统及方法
US12029483B2 (en) * 2020-08-27 2024-07-09 Revieve Oy System and method for finding an area of an eye from a facial image
CN116194812A (zh) 2020-09-16 2023-05-30 瑞尔D斯帕克有限责任公司 车辆外部照明装置
KR20220047719A (ko) * 2020-10-08 2022-04-19 구글 엘엘씨 토킹 헤드에 대한 퓨-샷 합성
US11647158B2 (en) 2020-10-30 2023-05-09 Microsoft Technology Licensing, Llc Eye gaze adjustment
TWI792137B (zh) * 2020-12-31 2023-02-11 瑞昱半導體股份有限公司 視線方向校正方法
CN112329752B (zh) * 2021-01-06 2021-04-06 腾讯科技（深圳）有限公司 人眼图像处理模型的训练方法、图像处理方法及装置
US11871147B2 (en) 2021-06-09 2024-01-09 Microsoft Technology Licensing, Llc Adjusting participant gaze in video conferences
CN114201046B (zh) * 2021-12-10 2023-12-01 北京字跳网络技术有限公司 注视方向优化方法、装置、电子设备及存储介质
WO2024030274A1 (en) 2022-08-02 2024-02-08 Reald Spark, Llc Pupil tracking near-eye display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675376A (en) * 1995-12-21 1997-10-07 Lucent Technologies Inc. Method for achieving eye-to-eye contact in a video-conferencing system
WO2011030263A1 (en) * 2009-09-11 2011-03-17 Koninklijke Philips Electronics N.V. Image processing system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206435B2 (en) * 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8274544B2 (en) * 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
KR20110088361A (ko) 2010-01-26 2011-08-03 한국전자통신연구원 정면 얼굴 영상 생성 장치 및 방법
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
CN110234000B (zh) * 2013-06-17 2021-07-13 瑞尔D斯帕克有限责任公司 远程会议方法和远程通信系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675376A (en) * 1995-12-21 1997-10-07 Lucent Technologies Inc. Method for achieving eye-to-eye contact in a video-conferencing system
WO2011030263A1 (en) * 2009-09-11 2011-03-17 Koninklijke Philips Electronics N.V. Image processing system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Banf & Blanz. Example Based Rendering of Eye Movements. Computer Graphics Forum, Vol. 28, No. 2, 2009년 4월, pp. 659-666. 1부.* *
최인호, 김대진. 적외선 영상에서의 Active Shape Model을 이용한 정밀한 눈 외곽선 추출. 한국HCI학회 학술대회, 2011년, pp. 180-182. 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115928A1 (en) * 2015-06-26 2017-01-11 Samsung Electronics Co., Ltd. Display apparatus and image correction method thereof
US10067562B2 (en) 2015-06-26 2018-09-04 Samsung Electronics Co., Ltd. Display apparatus and image correction method thereof
EP3540645A1 (en) * 2015-06-26 2019-09-18 Samsung Electronics Co., Ltd. Display apparatus and image correction method thereof
KR102195068B1 (ko) * 2019-08-27 2020-12-24 재단법인대구경북과학기술원 시선 일치화 기능을 탑재한 사용자 단말기 및 그것을 이용한 시선 일치화 방법

Also Published As

Publication number Publication date
US9613286B2 (en) 2017-04-04
US20150339512A1 (en) 2015-11-26
US9111171B2 (en) 2015-08-18
KR101979669B1 (ko) 2019-05-17
US20140016871A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
KR101979669B1 (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US11989350B2 (en) Hand key point recognition model training method, hand key point recognition method and device
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
CN103310186B (zh) 校正图像中用户的注视方向的方法和便携式终端
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
JP5450739B2 (ja) 画像処理装置及び画像表示装置
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
EP3382510A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN108712603B (zh) 一种图像处理方法及移动终端
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN105427369A (zh) 移动终端及其三维形象的生成方法
KR20200038111A (ko) 전자 장치 및 제스처 인식 방법
CN109413399A (zh) 使用深度图合成对象的装置及其方法
CN113850709A (zh) 图像变换方法和装置
WO2019218879A1 (zh) 拍照交互方法、装置、存储介质及终端设备
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
CN115482359A (zh) 目标的尺寸测量方法、电子设备及其介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
KR20200111144A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN111310701A (zh) 手势识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant