KR20140090538A - 디스플레이 장치 및 제어 방법 - Google Patents

디스플레이 장치 및 제어 방법 Download PDF

Info

Publication number
KR20140090538A
KR20140090538A KR20130061214A KR20130061214A KR20140090538A KR 20140090538 A KR20140090538 A KR 20140090538A KR 20130061214 A KR20130061214 A KR 20130061214A KR 20130061214 A KR20130061214 A KR 20130061214A KR 20140090538 A KR20140090538 A KR 20140090538A
Authority
KR
South Korea
Prior art keywords
face
face shape
shape
captured
model
Prior art date
Application number
KR20130061214A
Other languages
English (en)
Inventor
김도완
김성열
김성진
김주희
이진성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14150030.6A priority Critical patent/EP2755164A3/en
Priority to US14/150,265 priority patent/US9536133B2/en
Priority to CN201410008787.6A priority patent/CN103914806A/zh
Publication of KR20140090538A publication Critical patent/KR20140090538A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 얼굴 형상을 촬상하는 촬상부, 얼굴 형상의 방향 및 각도를 검출하는 검출부, 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 믹싱된 얼굴 형상을 변형하는 변형부 및 변형된 얼굴 형상을 출력하는 출력 인터페이스를 포함한다. 이에 따라, 디스플레이 장치는 촬상된 사용자의 시선을 자연스럽게 처리하여 출력할 수 있다.

Description

디스플레이 장치 및 제어 방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 촬상된 사용자의 시선을 조정하는 디스플레이 장치 및 제어 방법에 관한 것이다.
전자 기술 및 통신 기술의 발전에 따라 다양한 기능을 수행할 수 있는 전자 장치가 개발되고 있다. 예를 들어, 예전의 TV는 방송 신호를 수신하여 방송 프로그램을 출력하는 기능만이 있었다. 그러나, 최근의 TV는 인터넷 연결, 화상 통화 등의 기능을 추가적으로 수행할 수 있다.
TV는 화상 통화를 위해 카메라를 구비한다. 일반적으로, 카메라는 TV의 디스플레이부의 주변(예, 상단면)에 배치되고, 화상 통화를 하는 사용자는 카메라를 보는 것이 아니라 화면에 표시되는 상대방을 본다. 따라서, 카메라는 시선이 아래쪽으로 향한 사용자를 촬상하게 되므로 상대방에게 전송되는 상대방의 TV에는 시선이 아래쪽으로 향한 사용자가 표시되게 된다. 마찬가지로, 사용자의 TV도 시선이 아래쪽으로 향한 상대방을 표시한다. 따라서, 사용자와 상대방 간에 시선의 불일치가 발생하게 되고, 이러한 시선의 불일치는 화상 통화시 몰입감을 방해하는 요소로 작용한다.
종래에는, 시선의 불일치를 해결하기 위해 기구적 방식 또는 영상처리를 통한 방식 등이 사용되고 있다. 그러나, 디스플레이 장치의 크기가 커짐에 따라 기구적 방식으로 문제를 해결하는 것은 한계가 있다. 영상처리를 통한 방식은 눈의 시선 방향을 보정해 주는 것이다. 그러나, 종래의 영상처리를 통한 방식은 눈 영역만 보정해 주기 때문에 디스플레이 장치를 응시하는 사용자의 얼굴 각도에 따라 얼굴과 눈이 자연스럽게 매칭되지 않는 문제점이 있었다.
따라서, 얼굴 각도에 상관없이 촬상된 사용자의 시선을 자연스럽게 처리할 수 있는 기술에 대한 필요성이 대두되고 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 촬상된 사용자의 시선을 자연스럽게 처리하여 출력할 수 있는 디스플레이 장치 및 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 디스플레이 장치는 얼굴 형상을 촬상하는 촬상부, 상기 얼굴 형상의 방향 및 각도를 검출하는 검출부, 상기 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 상기 믹싱된 얼굴 형상을 변형하는 변형부 및 상기 변형된 얼굴 형상을 출력하는 출력 인터페이스를 포함한다.
그리고, 상기 변형부는 상기 촬상된 얼굴 형상의 얼굴 경계 부분의 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 얼굴 경계 부분을 추가 변형할 수 있다.
그리고, 상기 검출부는 상기 촬상된 얼굴 형상으로부터 특징점을 추출하고, 저장된 기준 3D 얼굴 모델의 특징점을 추출하여 그물 형태의 기준 3D 얼굴 모델을 생성하여 투영시킨 후 대응되는 특징점을 매칭시켜 상기 촬상된 얼굴 형상에 대응되는 그물 형태의 3D 얼굴 모델을 생성할 수 있다.
또한, 상기 검출부는 상기 기준 3D 얼굴 모델과 상기 생성된 3D 얼굴 모델의 기 설정된 부분의 위치 차이를 이용하여 상기 얼굴 방향 및 각도를 검출할 수 있다.
그리고, 상기 변형부는 상기 그물 형태의 3D 얼굴 모델의 기 설정된 부분을 투영시킨 후 대응되는 단위 그물을 상기 촬상된 얼굴 형상의 단위 그물과 믹싱시켜 그물 형태의 믹싱된 얼굴 형상을 생성할 수 있다.
한편, 기 설정된 부분은 눈 부분이 될 수 있다.
한편, 상기 변형부는 정면을 향하도록 상기 믹싱된 얼굴 형상을 변형할 수 있다.
또한, 상기 변형부는 상기 촬상된 얼굴 형상 및 상기 변형된 얼굴 형상의 얼굴 경계선을 기준으로 기 설정된 차이를 가지고 상기 얼굴 형상 안쪽으로 형성되는 제1 경계선 및 기 설정된 차이를 가지고 상기 얼굴 형상 바깥쪽으로 형성되는 제2 경계선을 검출하고, 상기 촬상된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분에 대한 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분을 추가 변형할 수 있다.
한편, 디스플레이 장치는 상기 변형된 얼굴 형상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.
그리고, 디스플레이 장치는 상기 변형된 얼굴 형상 데이터의 전송 기능 및 외부 디스플레이 장치에서 변형이 수행된 얼굴 형상 데이터를 수신 기능 중 적어도 하나의 기능을 수행하는 통신부를 더 포함할 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은 얼굴 형상을 촬상하는 단계, 상기 얼굴 형상의 방향 및 각도를 검출하는 단계, 상기 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 상기 믹싱된 얼굴 형상을 변형하는 단계 및 상기 변형된 얼굴 형상을 출력하는 단계를 포함한다.
그리고, 상기 변형하는 단계는 상기 촬상된 얼굴 형상의 얼굴 경계 부분의 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 얼굴 경계 부분을 추가 변형할 수 있다.
그리고, 상기 검출하는 단계는 상기 촬상된 얼굴 형상으로부터 특징점을 추출하고, 저장된 기준 3D 얼굴 모델의 특징점을 추출하여 그물 형태의 기준 3D 얼굴 모델을 생성하여 투영시킨 후 대응되는 특징점을 매칭시켜 상기 촬상된 얼굴 형상에 대응되는 그물 형태의 3D 얼굴 모델을 생성할 수 있다.
또한, 상기 검출하는 단계는 상기 기준 3D 얼굴 모델과 상기 생성된 3D 얼굴 모델의 기 설정된 부분의 위치 차이를 이용하여 상기 얼굴 방향 및 각도를 검출할 수 있다.
그리고, 상기 변형하는 단계는 상기 그물 형태의 3D 얼굴 모델의 기 설정된 부분을 투영시킨 후 대응되는 단위 그물을 상기 촬상된 얼굴 형상의 단위 그물과 믹싱시켜 그물 형태의 믹싱된 얼굴 형상을 생성할 수 있다.
한편, 기 설정된 부분은 눈 부분이 될 수 있다.
한편, 상기 변형하는 단계는 정면을 향하도록 상기 믹싱된 얼굴 형상을 변형할 수 있다.
그리고, 상기 변형하는 단계는 상기 촬상된 얼굴 형상 및 상기 변형된 얼굴 형상의 얼굴 경계선을 기준으로 기 설정된 차이를 가지고 상기 얼굴 형상 안쪽으로 형성되는 제1 경계선 및 기 설정된 차이를 가지고 상기 얼굴 형상 바깥쪽으로 형성되는 제2 경계선을 검출하고, 상기 촬상된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분에 대한 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분을 추가 변형할 수 있다.
한편, 디스플레이 장치의 제어 방법은 상기 변형된 얼굴 형상을 디스플레이하는 단계를 더 포함할 수 있다.
그리고, 디스플레이 장치의 제어 방법은 상기 변형된 얼굴 형상 데이터의 전송 기능 및 외부 디스플레이 장치에서 변형이 수행된 얼굴 형상 데이터를 수신 기능 중 적어도 하나의 기능을 수행하는 단계를 더 포함할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 촬상된 사용자의 시선을 자연스럽게 처리할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블록도.
도 2는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시 예에 따른 촬상된 얼굴에서 특징점의 추출에 대해 설명하는 도면.
도 4는 본 발명의 일 실시 예에 따른 3D 얼굴 모델을 생성하는 과정을 설명하는 도면.
도 5는 본 발명의 일 실시 예에 따른 얼굴 형상의 방향 및 각도를 검출하는 과정을 설명하는 도면.
도 6은 본 발명의 일 실시 예에 따른 촬상된 얼굴 영상과 3D 얼굴 모델을 믹싱하는 과정을 설명하는 도면.
도 7은 본 발명의 일 실시 예에 따른 얼굴 경계 부분의 추가 변형을 설명하는 도면.
도 8은 본 발명의 일 실시 예에 따른 사용자 시선을 처리하여 출력하는 디스플레이 장치를 설명하는 도면.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법의 흐름도.
도 10은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 제어 방법의 흐름도.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 디스플레이 장치(100)는 촬상부(110), 검출부(121), 변형부(122), 출력 인터페이스부(130)을 포함한다.
디스플레이 장치(100)는 촬상부(110)를 포함하고 영상을 출력할 수 있는 장치이다. 예를 들어, 태블릿(Tablet) 개인 컴퓨터(Personal Computer), 노트북, 랩탑 컴퓨터, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰, 디지털 액자, 디지털 TV, 모니터 등으로 구현될 수 있다.
촬상부(110)는 디스플레이 장치(100)의 외곽 영역에 배치된다. 예를 들어, 촬상부(110)는 디스플레이 장치(100)의 상단 중앙, 좌단 중앙 또는 우단 중안에 배치될 수 있다. 일반적으로 사용자는 디스플레이 장치(100)의 중앙부(예, 화면)를 바라본다. 따라서, 촬상부(110)가 디스플레이 장치(100)의 상단 중앙에 배치된 경우, 촬상부(110)로 입력되는 사용자 형상의 시선은 아래쪽을 향하게 된다.
촬상부(110)는 얼굴 형상을 촬상한다. 촬상부(110)는 렌즈를 포함한 렌즈 모듈과 이미지 센서를 포함한다. 렌즈를 통해 입력된 사용자의 얼굴 형상은 필름의 역할을 하는 이미지 센서에 광학 신호로서 입력되고, 이미지 센서는 입력된 광학 신호를 전기적 신호로 변환하여 검출부(121)로 전송한다.
검출부(121)는 얼굴 형상의 방향 및 각도를 검출한다. 디스플레이 장치(100)는 기준 3D 얼굴 모델을 저장하고 있다. 기준 3D 얼굴 모델은 표준형의 사람 얼굴에 대한 3D 모델을 의미한다. 검출부(121)는 촬상된 얼굴 형상으로부터 특징점을 추출하여 기준 3D 얼굴 모델에 대응되는 특징점과 매칭시킨다. 즉, 검출부(121)는 촬상된 얼굴 형상의 정보를 이용하여 기준 3D 얼굴 모델을 변형시킨다. 이에 따라, 검출부(121)는 촬상된 얼굴 형상에 대한 3D 얼굴 모델을 생성할 수 있다. 검출부(121)는 촬상된 얼굴 형상에 대한 3D 얼굴 모델과 기준 3D 얼굴 모델을 비교하여 얼굴 형상의 방향 및 각도를 검출할 수 있다. 구체적인 과정에 대해서는 후술하기로 한다.
변형부(122)는 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 믹싱된 얼굴 형상을 변형한다. 여기서, 촬상된 얼굴 형상은 특징점을 추출하고 추출된 특징점을 연결하여 그물 형태의 얼굴 형상을 의미한다. 3D 얼굴 모델은 검출부(121)에서 촬상된 얼굴 형상의 정보를 이용하여 기준 3D 얼굴 모델을 변형하여 생성한 촬상된 얼굴 형상에 대한 3D 얼굴 모델을 의미한다. 3D 얼굴 모델의 믹싱은 얼굴 형상의 보정을 위한 과정으로서 그물 형태의 얼굴 형상에 3D 얼굴 모델을 투영(projection)시켜 특징점 또는 단위 그물을 매칭시키는 방법으로 수행된다.
3D 얼굴 모델의 믹싱은 얼굴 전체에 대해 이루어질 수 있다. 또는, 특정 부위에 대해서만 이루어질 수 있다. 예를 들어, 변형부(122)는 3D 얼굴 모델의 눈 부분을 추출하고, 추출된 눈 부분을 투영시켜 그물 형태의 촬상된 얼굴 형상과 믹싱시킬 수 있다. 변형부(122)는 믹싱된 얼굴 형상을 검출된 방향 및 각도 정보에 기초하여 변형시킨다.
출력 인터페이스부(130)는 변형된 얼굴 형상을 출력한다. 출력 인터페이스부(130)는 출력을 위한 다른 구성부로 변형된 얼굴 형상 데이터를 전송한다. 출력을 위한 다른 구성부는 변형된 얼굴 형상을 출력할 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 디스플레이 장치(100a)는 촬상부(110), 제어부(120), 출력 인터페이스(130), 디스플레이부(140), 통신부(150)를 포함할 수 있다. 촬상부(110), 출력인터페이스(130)는 도 1에서 설명하였으므로 여기에서는 설명을 생략하기로 한다.
제어부(120)는 검출부(121), 변형부(122)를 포함할 수 있다. 검출부(121)는 촬상된 얼굴 형상의 방향 및 각도를 검출한다. 변형부(122)는 촬상된 얼국 형상과 3D 얼굴 모델을 믹싱하고, 검출된 얼굴 방향 및 각도를 이용하여 믹싱된 얼굴 형상을 변형한다. 검출부(121) 및 변형부(122)는 하나의 제어부(120)로 구현될 수 있다. 즉, 검출부(121) 및 변형부(122)는 하나의 제어부(120) 내에서 하드웨어 칩 또는 소프트웨어 모듈로서 구현될 수 있다.
또한, 제어부(120)는 촬상부(110), 출력 인터페이스(130), 디스플레이부(140) 및 통신부(150)를 제어한다. 제어부(120)는 변형된 얼굴 형상을 화면에 표시하도록 출력 인터페이스(130)와 디스플레이부(140)를 제어할 수 있다. 또는, 제어부(120)는 변형된 얼굴 형상 데이터를 타 디스플레이 장치(미도시)로 전송하도록 출력 인터페이스(130)와 통신부(150)를 제어할 수 있다. 경우에 따라, 제어부(120)는 변형된 얼굴 형상을 화면에 표시하고 동시에 타 디스플레이 장치로 전송되도록 출력 인터페이스(130), 디스플레이부(140) 및 통신부(150)를 제어할 수도 있다.
디스플레이부(140)는 변형된 얼굴 형상을 표시할 수 있다. 이 경우, 사용자는 변형된 자신의 얼굴 형상을 볼 수 있다. 또는, 디스플레이부(140)는 통신부(150)를 통해 수신된 상대방의 얼굴 형상을 표시할 수도 있다. 예를 들어, 디스플레이부(140)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이부(140)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 근접 센서나 터치 센서를 이용한 사용자 조작을 인식할 수 있는 터치 디스플레이 패널로 구현될 수 있다. 터치 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다.
통신부(150)는 변형된 얼굴 형상 데이터를 타 디스플레이 장치로 전송할 수 있고, 타 디스플레이 장치에서 변형이 수행된 얼굴 형상 데이터를 수신할 수 있다.
예를 들어, 통신부(150)는 무선랜 모듈(미도시), 유선랜 모듈(미도시) 또는 근거리 통신 모듈(미도시)을 포함할 수 있다. 무선랜 모듈은 제어부(120)의 제어에 따라 무선 AP(access point)(미도시)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 유선랜 모듈은 유선을 통해 인터넷에 연결될 수 있다. 통신부(150)는 무선 또는 유선랜 모듈을 통해 타 디스플레이 장치로 변형된 얼굴 형상 데이터를 전송할 수 있다.
근거리 통신 모듈은 제어부(120)의 제어에 따라 디스플레이 장치(100a)와 외부 기기 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등을 포함할 수 있다.
지금까지 디스플레이 장치의 구성부에 대해 설명하였다. 아래에서는 사용자 얼굴 형상을 촬상하여 변형하는 과정에 대해 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 촬상된 얼굴에서 특징점의 추출에 대해 설명하는 도면이다.
도 3을 참조하면, 촬상부(110)에서 촬상된 사용자 얼굴 형상(11)이 도시되어 있다. 촬상된 사용자 얼굴 형상(11)은 검출부(121)로 전송된다. 일 실시 예로서, 특징점 검출은 동적 외형 모델(Active Appearance Model: AAM)을 사용할 수 있다. 동적 외형 모델(AAM)은 객체 모양의 통계적 모델과 새로운 이미지의 외형을 매칭시키기 위한 컴퓨터 비전 알고리즘이다. 이러한 알고리즘은 현재 측정 외형과 최적화 과정을 구동하기 위한 목표 이미지 사이의 차이점을 이용한다.
검출부(121)는 사용자 얼굴 형상(11)으로부터 특징점(51-1, 51-2, 51-n)들을 추출한다. 예를 들어, 검출부(121)는 얼굴 형상(11)의 눈, 눈썹, 코, 윗입술, 아랫입술, 턱선에 대한 위치 정보 88개를 찾아 실시간으로 추적한다. 또한 정면 얼굴 이외에 좌/우 각도에 따라 4개의 AAM 모델을 추가하여 총 5개의 AAM 모델을 사용하여 얼굴 형상을 검출한다.
또한, 검출부(121)는 저장된 기준 3D 얼굴 모델의 특징점을 추출하여 그물(mesh) 형태의 3D 얼굴 모델을 생성한다.
도 4는 본 발명의 일 실시 예에 따른 3D 얼굴 모델을 생성하는 과정을 설명하는 도면이다.
도 4(a)에는 특징점(53-1, 53-n)을 추출한 얼굴 형상 모델과 기준 3D 얼굴 모델(13)이 도시되어 있다. 기준 3D 얼굴 모델(13)은 평균적인 사람의 얼굴 형상을 3D로 구현한 것이다. 기준 3D 얼굴 모델(13)은 평균적인 사람의 얼굴 형상이므로 촬상된 사용자에 상관없이 사용될 수 있다.
예를 들어, 기준 3D 얼굴 모델(13)은 113개의 3D 메쉬 포인트를 가지고 190개의 메쉬 트라이앵글(또는 단위 그물)을 구성한다. 메쉬 포인트는 얼굴 형상의 눈, 눈썹, 코, 윗입술, 아랫입술 등에서 추출한 포인트이다. 메쉬 트라이앵글은 메쉬 포인트(또는 특징점) 3개를 연결하여 이루어진 삼각형의 형상을 의미한다. 메쉬 포인트와 메쉬 트라이앵글은 사용자 시점을 조정한 영상을 생성하기 위한 기본 단위로 이용된다. 기준 3D 얼굴 모델(13)은 추출된 메쉬 포인트와 메쉬 포인트를 연결한 메쉬 트라이앵글로 다시 생성될 수 있으며, 이렇게 생성된 기준 3D 얼굴 모델(13)은 그물 형태의 기준 3D 얼굴 모델이 된다. 촬상된 얼굴 형상(11)도 특징점을 추출하고 특징점을 추출한 메쉬 형태로 생성될 수 있고, 이렇게 생성된 얼굴 형상은 그물 형태의 얼굴 형상이 된다.
도 4(b)는 기눈 3D 얼굴 모델(13)의 메쉬 포인트와 얼굴 형상의 특징점을 매칭시킨 모델을 도시하였다. 기준 3D 얼굴 모델(13)은 3D이므로 메쉬 포인트를 평면상에 투영시킬 수 있다. 투영시킨 메쉬 포인트는 대응되는 얼굴 형상의 특징점에 매칭시킨다. 예를 들어, 기준 3D 얼굴 모델(13) 내 좌측 눈의 좌측 끝 메쉬 포인트와 대응되는 얼굴 형상의 특징점을 매칭시키고, 우측 눈의 우측 끝 메쉬 포인트와 대응되는 얼굴 형상의 특징점을 매칭시킨다. 이와 같은 방식으로 매칭된 특징점(55-1, 55-n)을 포함하는 얼굴 형상 모델이 생성된다.
도 4(c)는 그물 형태의 3D 얼굴 모델(15)을 도시하였다. 도 4(b)에서 설명한 바와 같이 매칭된 특징점(55-1, 55-n)을 포함하는 얼굴 형상으로부터 그물 형태의 3D 얼굴 모델(15)을 생성할 수 있다. 즉, 그물 형태의 3D 얼굴 모델(15)은 기준 3D 얼굴 모델(13)을 촬상된 사용자 얼굴 형상에 매칭되도록 조정된 얼굴 모델이다. 3D 얼굴 모델은 2D의 촬상 얼굴 형상과 3D의 기준 얼굴 모델간의 에러를 고려하여 생성될 수 있다.
예를 들어, 가우시안-뉴톤 반복 업데이팅 과정(Gaussian-Newton iterative updating process)이 수행될 수 있다. 즉, 촬상된 이미지의 2D 평균 모델과 변형된 외형 간의 에러(E2D), 2D 형상(shape)와 2D 상에 투영된 기준 3D 얼굴 모델의 형상간의 에러(E3D), 촬상된 이미지의 변형된 텍스쳐와 키 프레임의 기준 텍스쳐 간의 에러(Etexture), 현재 프레임과 이전 프레임간의 거리 특징(Epoint)를 종합적으로 고려하여 3D 얼굴 모델(15)이 생성된다.
도 4에서는 하나의 이미지에 대해서 설명하였으나, 이러한 과정은 연속하여 실시간으로 수행될 수 있다. 도 4에서 생성된 3D 얼굴 모델(15)로부터 촬상된 얼굴 형상의 방향 및 각도를 검출할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 얼굴 형상의 방향 및 각도를 검출하는 과정을 설명하는 도면이다.
도 5를 참조하면, 기준 3D 얼굴 모델(13)과 생성된 3D 얼굴 모델(15a)가 도시되어 있다. 3D 얼굴 모델(15a)의 생성 과정은 도 4에서 설명하였다. 생성된 3D 얼굴 모델(15a)는 촬상된 얼굴 형상의 정보를 포함하고 있다. 즉, 촬상된 얼굴 형상이 기준 3D 얼굴 모델(13)보다 넓적하다면, 생성된 3D 얼굴 모델(15a)도 기준 얼굴 모델(13)보다 넓게 변형되어 생성될 수 있다. 또한, 촬상된 얼굴 형상이 한쪽으로 기울어져 있다면 생성된 3D 얼굴 모델(15a)도 한쪽으로 기울어져 생성될 수 있다.
기준 3D 얼굴 모델(13)는 표준 얼굴 모델이므로 정면을 향하는 형상의 모델일 수 있다. 따라서, 생성된 3D 얼굴 모델(15a)은 기준 3D 얼굴 모델(13)을 기초로 X, Y, Z 축 회전이 존재하고, X, Y 축의 위치 변화 및 스케일 변화가 존재한다. 따라서, 검출부(121)는 생성된 3D 얼굴 모델(15a)의 roll, pitch, yaw 방향으로 각각 회전한 양을 검출할 수 있고, 촬상된 얼굴 방향 및 각도를 검출할 수 있다. 또한, 촬상된 얼굴 방향이 좌측으로 약간 회전된 상태라면, 생성된 3D 얼굴 모델(15a)의 좌측 안면 메쉬 트라이앵글은 기준 3D 얼굴 모델(13)의 대응되는 영역보다 작게 표현될 것이고, 생성된 3D 얼굴 모델(15a)의 우측 안면 메쉬 트라이앵글은 기준 3D 얼굴 모델(13)의 대응되는 영역보다 크게 표현될 것이다. 이렇게 대응되는 영역의 메쉬 트라이앵글의 면적을 비료함으로써 촬상된 얼굴 형상의 방향을 검출할 수도 있다.
또는, 검출부(121)는 얼굴 형상의 코의 수직 방향, 눈의 수직 방향 등을 이용하여 방향 및 각도를 검출할 수 있다. 즉, 검출부(121)는 기준 3D 얼굴 모델(13)과 생성된 3D 얼굴 모델(15a)의 기 설정된 부분(예, 눈, 코, 좌안면, 우안면 등)의 위치 및 수직 방향 차이를 이용하여 얼굴 방향 및 각도를 검출할 수 있다.
디스플레이 장치(100)는 검출된 얼굴 형상의 방향 및 각도를 이용하여 촬상된 얼굴 형상을 변형시킨다. 디스플레이 장치(100)는 촬상된 얼굴 형상을 변형하기 전에 3D 얼굴 모델(15a)의 특정 부분만을 이용할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 촬상된 얼굴 영상과 3D 얼굴 모델을 믹싱하는 과정을 설명하는 도면이다.
도 6에는 그물 형태의 촬상된 얼굴 형상(11a)와 생성된 3D 얼굴 형상(15)이 도시되어 있다. 변형부(122)는 생성된 3D 얼굴 형상(15)으로부터 눈 부분(72)의 정보를 추출할 수 있다. 변형부(122)는 추출된 눈 부분(72)을 투영시켜 대응되는 촬상된 얼굴 형상(11a)의 눈 부분(71)의 특징점 또는 메쉬 트라이앵글(또는 단위 그물)을 믹싱시켜 믹싱된 얼굴 형상을 생성할 수 있다. 변형부(122)는 믹싱된 얼굴 형상을 검출된 방향 및 각도에 따라 변형하여 변형된 얼굴 형상을 생성할 수 있다.
만일, 2D 형태의 촬상된 얼굴 형상(11a)만을 이용하는 경우, 얼굴 형상은 평면 상의 정보만을 가진다. 얼굴 형상(11a)이 정면을 바라보도록 변형되는 경우, 눈 부분은 상대적으로 많은 변화가 발생되고, 얼굴의 일단면은 상대적으로 적은 변화가 발생된다. 이와 같이, 촬상된 얼굴 형상(11a)이 2D 정보만을 가지고 있는 상태에서 부분적으로 다른 변화가 발생되면 눈 부분의 왜곡이 심해진다(예, 안경을 쓰고 있는 경우, 안경의 형태가 왜곡).
또한, 생성된 3D 얼굴 형상(15)만을 이용하여 변형하는 경우, 얼굴 형상의 요철, 굴곡 등의 영향으로 얼굴의 일단면의 윤곽선이 굵게 변형되는 왜곡이 발생된다.
따라서, 이러한 왜곡 현상을 해결하기 위하여, 생성된 3D 얼굴 모델(15)로부터 기 설정된 부분(예, 눈 부분)을 추출하여 촬상된 얼굴 형상(11a)와 믹싱시켜 그물 형태의 믹싱된 얼굴 형상을 생성할 수 있다. 이후, 변형부(122)는 믹싱된 얼굴 형상을 변형하여 변형된 얼굴 형상을 생성할 수 있다. 예를 들어, 변형부(122)는 얼굴 형상 및 시선이 정면을 바라보도록 믹싱된 얼굴 형상을 변형시킬 수 있다.
디스플레이 장치(100)는 더욱 자연스러운 얼굴 형상을 생성하기 위하여 추가 변형을 수행할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 얼굴 경계 부분의 추가 변형을 설명하는 도면이다.
도 7(a)는 촬상된 얼굴 형상을 도시한 도면이다. 변형부(122)는 촬상된 얼굴 형상의 얼굴 윤곽선(11)으로부터 일정 거리 안팎으로 가상의 경계선을 생성할 수 있다. 예를 들어, 일정 거리는 얼굴 윤곽선(11)으로부터 1mm 또는 얼굴 윤곽선(11)으로부터 10픽셀 떨어진 지점 등과 같이 설정될 수 있다. 일정거리 떨어진 지점들이 연결되면 도 7(a)에서 도시된 바와 같은 경계선이 된다. 설명의 편의를 위해, 얼굴 형상의 안쪽으로 생성되는 경계선을 제1 경계선(11-1)이라고 칭하고, 바깥쪽으로 생성되는 경계선을 제2 경계선(11-2)으로 칭한다.
촬상된 얼굴 형상의 윤곽선(11), 제1 경계선(11-1) 및 제2 경계선(11-2)으로부터 특징점이 추출되고, 특징점이 연결되어 메쉬 트라이앵글(또는, 단위 그물)(31)을 포함하는 형상이 생성될 수 있다. 특징점 및 메쉬 트라이앵글(31)은 얼굴 형상의 윤곽선(11)을 따라 연속적으로 형성될 수 있다. 또는, 얼굴 형상 전체적으로 특징점 및 메쉬 트라이앵글이 형성될 수 있다. 즉, 그물 형태의 얼굴 형상이 생성될 수도 있다.
얼굴 형상의 한측면에 도시된 수평선(21a)는 배경을 의미한다. 얼굴 형상의 촬상은 얼굴 형상을 포함하여 촬상한다는 의미이지 얼굴 형상만을 분리하여 촬상한다는 의미는 아니다. 따라서, 얼굴 형상 상하좌우측 면으로는 배경 이미지가 포함될 수 있다. 즉 얼굴 형상의 한측면에 수평하게 도시된 수평선(21a)는 촬상된 이미지에서 왜곡되지 않는 배경 이미지를 의미한다. 즉, 얼굴 형상과 맞닿은 수평선 영역(75)는 얼굴 형상의 접선과 수직하게 표시된다.
도 7(b)는 변형된 얼굴 형상을 도시한 도면이다. 도 7(b)에는 변형된 얼굴 형상의 윤곽선(17), 제1 경계선(17-1), 제2 경계선(17-2), 특징점 및 메쉬 트라이앵글(33)이 도시되어 있다. 변형된 얼굴 형상의 윤곽선(17), 제1 경계선(17-1), 제2 경계선(17-2), 특징점 및 메쉬 트라이앵글(33)은 도 7(a)에서 설명한 바와 동일하므로 생략하기로 한다.
얼굴 형상의 한측면에 도시된 수평선(21b)는 배경을 의미한다. 그러나, 도 7(b)에 도시된 배경은 약간의 왜곡된 영역(76)을 포함한다. 즉, 얼굴 형상에 대해 변형 과정이 수행되었기 때문에 얼굴 윤곽선(17)과 맞닿은 수평선(21b)은 왜곡되어 표시된다. 왜곡된 영역(76)을 중심으로 살펴보면, 제2 경계선(17-2) 부근부터 왜곡이 시작되고, 얼굴 형상 윤곽선(17) 부분에서 왜곡이 제일 심하다. 따라서, 변형부(122)는 촬상된 원래 얼굴 형상의 제1 경계선(11-1) 내지 제2 경계선(11-2) 부분 정보를 이용하여 추가 변형을 수행할 수 있다.
도 7(c)는 추가 변형된 얼굴 형상을 도시한 도면이다. 도 7(c)에는 추가 변형된 얼굴 형상의 윤곽선(19), 제1 경계선(19-1), 제2 경계선(19-2), 특징점 및 메쉬 트라이앵글(35)이 도시되어 있다. 그리고, 배경에 해당하는 수평선(21c)와 추가 변형된 영역(77)이 도시되어 있다.
촬상된 원래 얼굴 형상의 외곽 배경의 수평선(21a)은 일적선으로 표시된다. 따라서, 변형부(122)는 왜곡된 수평선(21b) 영역(76)을 원래 얼굴 형상의 배경에 해당하는 수평선(21a) 영역(75)으로 대체함으로써 자연스럽게 추가 변형된 수평선(21c) 영역(77)을 표시할 수 있다. 제1 및 제2 경계선은 디스플레이 장치(100)의 화면 크기 등에 따라 설정될 수 있다. 추가 변형된 얼굴 형상의 배경 이미지에 해당하는 수평선(21c)은 이상적으로 변형되는 것은 아니지만, 사용자는 일정 거리 떨어진 지점에서 디스플레이되는 얼굴 형상을 주시하게 되므로 배경 수평선(21c)의 왜곡을 거의 느낄 수 없다.
도 7에서는 얼굴 윤곽선과 제2 경계선 사이 영역에 대한 추가 변형이 설명되었으나, 제1 경계선과 얼굴 윤곽선 영역에 대해서도 동일하게 추가 변형이 적용될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 사용자 시선을 처리하여 출력하는 디스플레이 장치를 설명하는 도면이다.
도 8을 참조하면, 변형이 수행된 얼굴 형상을 디스플레이하는 디스플레이 장치(100)와 화상 통화를 수행하는 사용자(3)가 도시되어 있다. 도 8에서는 외부 디스플레이 장치(미도시)가 상대방의 얼굴 형상의 변형을 수행하여 통신부를 통해 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)는 전송된 상대방의 변형된 얼굴 형상(5)을 디스플레이한다. 또는, 디스플레이 장치(100)는 사용자의 얼굴 형상을 촬상하고, 촬상한 얼굴 형상을 변형하여 통신부를 통해 외부 디스플레이 장치로 전송하거나 디스플레이부를 통해 디스플레이할 수 있다.
도 8에서는 촬상부가 디스플레이 장치(100)의 상단 중앙에 배치된 경우에 대해 도시하고 있다. 외부 디스플레이 장치도 동일한 위치에 촬상부가 배치되어 있다면, 외부 디스플레이 장치는 시선이 아래쪽으로 향하는 상대방의 얼굴 형상을 촬상하게 된다. 외부 디스플레이 장치는 상술한 과정을 거쳐 얼굴 형상을 변형하고 디스플레이 장치(100)로 변형된 얼굴 형상을 전송한다. 디스플레이 장치(100)는 정면을 바라보고 있는 상대방의 얼굴 형상(5)을 디스플레이한다.
따라서, 사용자는 디스플레이되는 상대방의 시선과 일치됨을 느낄 수 있으며, 배경의 왜곡은 거의 느낄 수 없기 때문에 화상 통화와 같은 동작 수행시 상대방의 모습에 더욱 몰입할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법의 흐름도이다.
도 9에 따르면, 디스플레이 장치는 얼굴 형상을 촬상한다(S910). 디스플레이 장치는 얼굴 형상의 방향 및 각도를 검출한다(S920). 디스플레이 장치는 촬상된 얼굴 형상으로부터 특징점을 추출할 수 있다. 디스플레이 장치는 기준 3D 얼굴 모델을 저장해두고, 기준 3D 얼굴 모델로부터 특징점(또는, 메쉬 포인트)을 추출하여 그물 형태의 기준 3D 얼굴 모델을 생성한다. 기준 3D 얼굴 모델을 투영시켜 대응되는 촬상된 얼굴 형상의 특징점과 매칭시켜 그물 형태의 3D 얼굴 모델을 생성한다. 기준 3D 얼굴 모델과 생성된 3D 얼굴 모델을 비교하여 얼굴 형상의 방향 및 각도를 검출한다.
디스플레이 장치는 촬상된 얼굴 형상과 3D 모델을 믹싱하고, 검출된 방향 및 각도를 이용하여 믹싱된 얼굴 형상을 변형한다(S930). 디스플레이 장치는 생성된 3D 모델의 기 설정된 부분을 추출하여 촬상된 얼굴 형상과 대응되도록 믹싱한다. 믹싱된 얼굴 형상은 검출된 방향 및 각도에 따라 변형된다.
디스플레이 장치는 변형된 얼굴 형상을 출력한다(S940). 디스플레이 장치는 디스플레이부를 통해 변형된 얼굴 형상을 디스플레이할 수 있다. 또는, 통신부를 통해 타 디스플레이 장치로 변형된 얼굴 형상 데이터를 전송할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 제어 방법의 흐름도이다. 디스플레이 장치는 얼굴 형상의 변형 외에 추가적으로 얼굴 형상과 맞닿은 영역에 대해 변형을 수행할 수 있다.
도 10에 따르면, 디스플레이 장치는 촬상된 얼굴 형상의 얼굴 경계 부분의 정보를 이용하여 대응되는 변형된 얼굴 형상의 얼굴 경계 부분을 추가 변형할 수 있다(S1010). 디스플레이 장치는 촬상된 얼굴 형상 및 변형된 얼굴 형상의 얼굴 경계선을 기준으로 기 설정된 차이를 가지고 얼굴 형상 안쪽으로 형성되는 제1 경계선 및 기 설정된 차이를 가지고 얼굴 형상 바깥쪽으로 형성되는 제2 경계선을 검출한다.
디스플레이 장치는 촬상된 얼굴 형상의 제1 경계선과 제2 경계선 사이 부분에 대한 정보를 이용하여 대응되는 변형된 얼굴 형상의 제1 경계선과 제2 경계선 사이의 부분을 추가 변형할 수 있다.
상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 촬상된 얼굴 형상으로부터 방향 및 각도를 검출하는 단계, 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 믹싱된 얼굴 형상을 변형하는 단계 및 변형된 얼굴 형상을 출력하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 장치
110 : 촬상부 120 : 제어부
121 : 검출부 122 : 변형부
130 : 출력 인터페이스
140 : 디스플레이부 150 : 통신부

Claims (20)

  1. 얼굴 형상을 촬상하는 촬상부;
    상기 얼굴 형상의 방향 및 각도를 검출하는 검출부;
    상기 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 상기 믹싱된 얼굴 형상을 변형하는 변형부; 및
    상기 변형된 얼굴 형상을 출력하는 출력 인터페이스;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 변형부는,
    상기 촬상된 얼굴 형상의 얼굴 경계 부분의 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 얼굴 경계 부분을 추가 변형하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 검출부는,
    상기 촬상된 얼굴 형상으로부터 특징점을 추출하고, 저장된 기준 3D 얼굴 모델의 특징점을 추출하여 그물 형태의 기준 3D 얼굴 모델을 생성하여 투영시킨 후 대응되는 특징점을 매칭시켜 상기 촬상된 얼굴 형상에 대응되는 그물 형태의 3D 얼굴 모델을 생성하는 것을 특징으로 하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 검출부는,
    상기 기준 3D 얼굴 모델과 상기 생성된 3D 얼굴 모델의 기 설정된 부분의 위치 차이를 이용하여 상기 얼굴 방향 및 각도를 검출하는 것을 특징으로 하는 디스플레이 장치.
  5. 제3항에 있어서,
    상기 변형부는,
    상기 그물 형태의 3D 얼굴 모델의 기 설정된 부분을 투영시킨 후 대응되는 단위 그물을 상기 촬상된 얼굴 형상의 단위 그물과 믹싱시켜 그물 형태의 믹싱된 얼굴 형상을 생성하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    기 설정된 부분은 눈 부분인 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 변형부는,
    정면을 향하도록 상기 믹싱된 얼굴 형상을 변형하는 것을 특징으로 하는 디스플레이 장치.
  8. 제2항에 있어서,
    상기 변형부는,
    상기 촬상된 얼굴 형상 및 상기 변형된 얼굴 형상의 얼굴 경계선을 기준으로 기 설정된 차이를 가지고 상기 얼굴 형상 안쪽으로 형성되는 제1 경계선 및 기 설정된 차이를 가지고 상기 얼굴 형상 바깥쪽으로 형성되는 제2 경계선을 검출하고, 상기 촬상된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분에 대한 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분을 추가 변형하는 것을 특징으로 하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 변형된 얼굴 형상을 디스플레이하는 디스플레이부;를 더 포함하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 변형된 얼굴 형상 데이터의 전송 기능 및 외부 디스플레이 장치에서 변형이 수행된 얼굴 형상 데이터를 수신 기능 중 적어도 하나의 기능을 수행하는 통신부;를 더 포함하는 디스플레이 장치.
  11. 얼굴 형상을 촬상하는 단계;
    상기 얼굴 형상의 방향 및 각도를 검출하는 단계;
    상기 촬상된 얼굴 형상과 3D 얼굴 모델을 믹싱(mixing)하고, 검출된 얼굴 방향 및 각도를 이용하여 상기 믹싱된 얼굴 형상을 변형하는 단계; 및
    상기 변형된 얼굴 형상을 출력하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 변형하는 단계는,
    상기 촬상된 얼굴 형상의 얼굴 경계 부분의 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 얼굴 경계 부분을 추가 변형하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 검출하는 단계는,
    상기 촬상된 얼굴 형상으로부터 특징점을 추출하고, 저장된 기준 3D 얼굴 모델의 특징점을 추출하여 그물 형태의 기준 3D 얼굴 모델을 생성하여 투영시킨 후 대응되는 특징점을 매칭시켜 상기 촬상된 얼굴 형상에 대응되는 그물 형태의 3D 얼굴 모델을 생성하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 검출하는 단계는,
    상기 기준 3D 얼굴 모델과 상기 생성된 3D 얼굴 모델의 기 설정된 부분의 위치 차이를 이용하여 상기 얼굴 방향 및 각도를 검출하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제13항에 있어서,
    상기 변형하는 단계는,
    상기 그물 형태의 3D 얼굴 모델의 기 설정된 부분을 투영시킨 후 대응되는 단위 그물을 상기 촬상된 얼굴 형상의 단위 그물과 믹싱시켜 그물 형태의 믹싱된 얼굴 형상을 생성하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제15항에 있어서,
    기 설정된 부분은 눈 부분인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  17. 제11항에 있어서,
    상기 변형하는 단계는,
    정면을 향하도록 상기 믹싱된 얼굴 형상을 변형하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  18. 제12항에 있어서,
    상기 변형하는 단계는,
    상기 촬상된 얼굴 형상 및 상기 변형된 얼굴 형상의 얼굴 경계선을 기준으로 기 설정된 차이를 가지고 상기 얼굴 형상 안쪽으로 형성되는 제1 경계선 및 기 설정된 차이를 가지고 상기 얼굴 형상 바깥쪽으로 형성되는 제2 경계선을 검출하고, 상기 촬상된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분에 대한 정보를 이용하여 대응되는 상기 변형된 얼굴 형상의 상기 제1 경계선과 상기 제2 경계선 사이의 부분을 추가 변형하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  19. 제11항에 있어서,
    상기 변형된 얼굴 형상을 디스플레이하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  20. 제11항에 있어서,
    상기 변형된 얼굴 형상 데이터의 전송 기능 및 외부 디스플레이 장치에서 변형이 수행된 얼굴 형상 데이터를 수신 기능 중 적어도 하나의 기능을 수행하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
KR20130061214A 2013-01-09 2013-05-29 디스플레이 장치 및 제어 방법 KR20140090538A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14150030.6A EP2755164A3 (en) 2013-01-09 2014-01-02 Display apparatus and control method for adjusting the eyes of a photographed user
US14/150,265 US9536133B2 (en) 2013-01-09 2014-01-08 Display apparatus and control method for adjusting the eyes of a photographed user
CN201410008787.6A CN103914806A (zh) 2013-01-09 2014-01-08 用于调整拍摄的用户的眼睛的显示装置和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361750536P 2013-01-09 2013-01-09
US61/750,536 2013-01-09

Publications (1)

Publication Number Publication Date
KR20140090538A true KR20140090538A (ko) 2014-07-17

Family

ID=51738143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130061214A KR20140090538A (ko) 2013-01-09 2013-05-29 디스플레이 장치 및 제어 방법

Country Status (2)

Country Link
US (1) US9536133B2 (ko)
KR (1) KR20140090538A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090538A (ko) * 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN105022982B (zh) * 2014-04-22 2019-03-29 北京邮电大学 手部运动识别方法和装置
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500671A (en) 1994-10-25 1996-03-19 At&T Corp. Video conference system and method of providing parallax correction and a sense of presence
JP2000101982A (ja) 1998-09-18 2000-04-07 Kokusai Electric Co Ltd 画像通信装置
US6806898B1 (en) 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US6753900B2 (en) 2002-05-07 2004-06-22 Avaya Techology Corp. Method and apparatus for overcoming the limitations of camera angle in video conferencing applications
KR100469727B1 (ko) 2003-03-07 2005-02-02 삼성전자주식회사 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
JP2007006016A (ja) 2005-06-22 2007-01-11 Sharp Corp 撮影装置
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
JP4907470B2 (ja) 2006-08-30 2012-03-28 パナソニック株式会社 画像信号処理装置、画像符号化装置及び画像復号化装置、並びに、その方法、そのプロセッサ及びテレビ会議システムのための画像プロセッサ
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
US8301130B1 (en) * 2007-08-02 2012-10-30 Sprint Communications Company L.P. Detect and connect wireless phone services and local phone networks
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
WO2013014872A1 (ja) * 2011-07-25 2013-01-31 パナソニック株式会社 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
KR20140090538A (ko) * 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
US8982177B2 (en) * 2013-07-08 2015-03-17 Avaya Inc. System and method for whiteboard collaboration

Also Published As

Publication number Publication date
US9536133B2 (en) 2017-01-03
US20150009123A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20220124295A1 (en) Marker-based guided ar experience
KR101979669B1 (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US11854147B2 (en) Augmented reality guidance that generates guidance markers
EP2755164A2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US20140240225A1 (en) Method for touchless control of a device
CN106027952B (zh) 摄像机系统相对于车辆的自动方向估算
US20240211057A1 (en) Augmented reality eyewear 3d painting
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
TW202009786A (zh) 可由頭部操控的電子裝置與其操作方法
US11587255B1 (en) Collaborative augmented reality eyewear with ego motion alignment
US11741679B2 (en) Augmented reality environment enhancement
KR20140090538A (ko) 디스플레이 장치 및 제어 방법
US20190369807A1 (en) Information processing device, information processing method, and program
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11803234B2 (en) Augmented reality with eyewear triggered IoT
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
US20240070243A1 (en) Authenticating a selective collaborative object
CN113703161B (zh) 扩增实境系统与其锚定显示方法
US12019773B2 (en) Timelapse of generating a collaborative object
US20240069642A1 (en) Scissor hand gesture for a collaborative object
US20240070298A1 (en) Selective collaborative object access
US11863860B2 (en) Image capture eyewear with context-based sending

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid