KR101733246B1 - 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 - Google Patents

얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 Download PDF

Info

Publication number
KR101733246B1
KR101733246B1 KR1020100111791A KR20100111791A KR101733246B1 KR 101733246 B1 KR101733246 B1 KR 101733246B1 KR 1020100111791 A KR1020100111791 A KR 1020100111791A KR 20100111791 A KR20100111791 A KR 20100111791A KR 101733246 B1 KR101733246 B1 KR 101733246B1
Authority
KR
South Korea
Prior art keywords
face
image
video call
screen
pose
Prior art date
Application number
KR1020100111791A
Other languages
English (en)
Other versions
KR20120050346A (ko
Inventor
이지영
조성대
박기현
김종만
김진호
이철환
장동훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100111791A priority Critical patent/KR101733246B1/ko
Priority to US13/293,720 priority patent/US8810624B2/en
Publication of KR20120050346A publication Critical patent/KR20120050346A/ko
Priority to US14/463,109 priority patent/US20140359486A1/en
Application granted granted Critical
Publication of KR101733246B1 publication Critical patent/KR101733246B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

본 발명은 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 영상으로부터 얼굴을 인식하고, 인식된 얼굴의 포즈에 대한 얼굴 포즈 정보를 산출한 후 얼굴 포즈 정보와 얼굴의 포즈 변화를 판단하기 위해서 미리 설정된 기준 포즈 정보를 비교하여 인식된 얼굴의 포즈 변화가 있으면 화상 통화 화면 내에서 포즈 변화에 대응하는 화상 영상을 선택하고, 이를 이용하여 화상 통화 화면을 재구성함으로써 사용자가 큰 동작을 하지 않고도 편리하게 관심 인물의 영상을 선택할 수 있고, 사용자의 의도치 않은 얼굴 움직임에 의해서 잘못된 영상이 선택되지 않도록 한다.

Description

얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법{APPARATUS AND METHOD FOR COMPOSITION OF PICTURE FOR VIDEO CALL USING FACE POSE}
본 발명은 화면 구성 장치 및 방법에 관한 것으로, 특히 다수의 사용자들 중 관심 사용자의 영상을 선택하여 화상 통화를 하기 위한 화면을 구성하는 장치 및 방법을 제공한다.
일반적으로 화상 통화는 일반적으로 카메라를 통해서 화자의 모습을 촬영하여 화면에 디스플레이하고, 대화하고자 하는 사람의 모습을 화면의 특정 위치에 표시하여 통화하도록 한다.
또한, 다수의 사람들과 휴대 단말기를 이용하여 화상 통화를 수행하는 다자간 화상 통화 방식은 입술 인식을 통해서 화자를 자동으로 판별하고, 화자의 영상을 화면 중앙으로 배치하여 표시하여 다수의 사람들과 통화를 가도록 한다.
이러한 다자간 화상 통화 장치에서 디스플레이는 화상 통화 화면의 가장 큰 영역을 가지는 주 화면과 적어도 하나의 부 화면으로 구성된다.
상기와 같이 종래의 다자간 화상 통화 방식은 여러 사용자가 입술을 움직이는 경우 부정확하게 동작할 수 있다.
또한, 사용자가 화자 이외에 다른 사람에게 관심을 가지고, 다른 사람과 대화를 하고 싶은 경우 해당 다른 사람의 영상을 임의적으로 선택하기 어렵다는 단점이 있다.
따라서, 본 발명은 다수의 사용자와 화상 통화를 할 시 얼굴 포즈를 추정하여 관심 인물에 대한 영상을 선택한 후 선택된 관심 인물과 화상 통화를 할 수 있는 화상 통화 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치에 있어서, 영상으로부터 얼굴을 인식하고, 상기 인식된 얼굴의 포즈에 대한 얼굴 포즈 정보를 산출하는 얼굴 포즈 정보 산출부와, 상기 산출된 얼굴 포즈 정보와 상기 얼굴의 포즈 변화를 판단하기 위해서 미리 설정된 기준 포즈 정보를 비교하여 상기 인식된 얼굴의 포즈 변화가 있는지 판단하는 얼굴 포즈 판단부와, 상기 화상 통화를 위해 입력된 복수의 화상 영상들을 포함하는 화상 통화 화면을 구성하는 화면 구성부와, 상기 판단 결과, 상기 포즈 변화가 있으면 상기 화상 통화 화면 내에서 상기 포즈 변화에 대응하는 화상 영상을 선택하는 영상 선택부를 포함하고, 상기 화면 구성부는 상기 선택된 화상 영상을 이용하여 상기 화상 통화 화면을 재구성하는 것을 특징으로 한다.
또한, 본 발명은 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 방법에 있어서, 상기 화상 통화를 위해 입력된 복수의 화상 영상들을 포함하는 화상 통화 화면을 구성하는 과정과, 영상으로부터 얼굴을 인식하고, 상기 인식된 얼굴의 포즈에 대한 얼굴 포즈 정보를 산출하는 과정과, 상기 산출된 얼굴 포즈 정보와 상기 얼굴의 포즈 변화를 판단하기 위해서 미리 설정된 기준 포즈 정보를 비교하여 상기 인식된 얼굴의 포즈 변화가 있는지 판단하는 과정과, 상기 판단 결과, 상기 포즈 변화가 있으면 상기 화상 통화 화면 내에서 상기 포즈 변화에 대응하는 화상 영상을 선택하는 과정과, 상기 선택된 화상 영상을 이용하여 상기 화상 통화 화면을 재구성하는 과정을 포함함을 특징으로 한다.
본 발명은 사용자의 얼굴 포즈를 추정하여 화상 통화 화면상의 관심 인물에 대한 영상을 선택함으로써 사용자가 큰 동작을 하지 않고도 편리하게 관심 인물의 영상을 선택할 수 있다는 이점이 있다.
또한 본 발명은 화상 통화 장치의 디스플레이 화면에 따라 정확하고, 직관적이며, 편리한 기능을 제공하여 사용자의 편의성으로 높이는 이점이 있다.
뿐만 아니라, 본 발명은 관심 인물에 대한 영상을 선택하기 위한 범위를 설정함으로써 사용자의 의도치 않은 얼굴 움직임에 의해서 잘못된 영상이 선택되지 않도록 하는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 화면 구성 장치의 구성도,
도 2는 본 발명의 실시 예에 따른 화면 구성 장치에서 얼굴 포즈의 변화를 추정하기 위해 사용되는 기준 포즈 정보를 추출하는 과정을 나타내는 흐름도,
도 3은 본 발명의 실시 예에 따라 기준 포즈 정보를 추출하는 과정을 설명하기 위한 예시도들,
도 4는 본 발명의 실시 예에 따른 화면 구성 장치에서 화상 통화 중 얼굴 포즈 변화에 따른 화상 통화 화면을 구성하기 위한 과정을 나타내는 흐름도,
도 5 내지 7은 본 발명의 실시 예에 따라 화상 통화 화면을 구성하는 과정을 설명하기 위한 예시도들.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시 예에 따른 화면 구성 장치의 구성도이다.
본 발명의 화면 구성 장치는 얼굴 포즈 정보 산출부(100), 얼굴 포즈 판단부(110), 영상 선택부(120), 화면 구성부(130)를 포함한다.
먼저, 얼굴 포즈 정보 산출부(100)는 화상 통화 시 카메라로부터 입력되는 입력 영상 또는 외부로부터 화상 통화를 위해 수신된 수신 영상들의 프레임 내에서 얼굴 포즈 정보를 산출한다.
또한, 얼굴 포즈 정보 산출부(100)는 화상 통화를 하기 전에 카메라로부터 입력되는 입력 영상으로부터 화상 통화 시 얼굴 포즈 변화를 판단하기 위해 사용되는 기준 포즈 정보를 미리 설정한다.
이러한 얼굴 포즈 정보 산출부(100)는 얼굴 인식부(101), 얼굴 특징점 추출부(102), 얼굴 각도 산출부(103)를 포함한다.
얼굴 인식부(101)는 입력 영상 내의 얼굴 영역을 인식하는데, 일반적인 얼굴 인식 방법을 이용한다. 예를 들어, 얼굴 인식부(101)는 입력 영상 내에서 미리 설정된 얼굴 피부색에 해당하는 영역을 얼굴 영역으로 인식할 수 있다.
얼굴 특징점 추출부(102)는 인식된 얼굴 영역 내에서 얼굴 특징점을 추출한다. 이러한 얼굴 특징점 추출은 일반적인 얼굴 특징점 추출 방법을 이용한다. 여기서, 얼굴 특징점은 눈, 코, 입, 턱 등과 같은 얼굴 구성 요소를 나타내는 특징점을 의미한다.
얼굴 각도 산출부(103)는 추출된 얼굴 특징점을 기반으로 기준 얼굴 각도를 산출한다. 구체적으로, 얼굴 각도 산출부(103)는 산출된 얼굴 특징점을 연결하여 다각형의 면을 구성하고, 구성된 면들을 이용하여 인식된 얼굴의 각도를 산출한다. 이러한 얼굴 각도 산출은 일반적인 얼굴 각도 산출 방법을 이용한다.
이후 화상 통화가 시작되면 화면 구성부(130)가 화상 통화를 위한 화상 통화 화면이 구성하는데, 화면 구성부(130)는 화상 통화 시 수신된 적어도 하나의 수신 영상과 카메라를 통해서 입력된 사용자의 영상을 이용하여 화상 통화를 위한 화상 통화 화면을 구성한다. 이때, 적어도 하나의 수신 영상을 적어도 하나의 부 영상으로 정의하고, 카메라를 통해서 입력되는 사용자의 영상을 주 영상으로 정의한다.
즉, 화면 구성부(130)는 화상 통화 화면에서 미리 설정된 크기의 영역에 주 영상을 디스플레이하고, 주 영상이 디스플레이된 영역을 제외한 나머지 영역에 적어도 하나의 부 영상을 디스플레이하도록 구성한다. 여기서, 화면 구성부(130)는 화상 통화 화면 상에서 주 영상이 디스플레이되는 영역의 크기를 적어도 하나의 부 영상이 디스플레이되는 영역의 크기보다 더 크게 설정한다.
얼굴 포즈 판단부(110)는 화상 통화 시 얼굴 포즈 정보 산출부(100)로부터 산출된 주 영상의 얼굴 포즈 정보와 미리 설정된 기준 포즈 정보를 비교하여 얼굴 포즈의 변화가 있는지를 판단한다.
구체적으로 얼굴 포즈 판단부(110)는 얼굴 각도 산출부(103)를 통해서 산출된 주 영상의 얼굴 각도와 미리 설정된 기준 얼굴 각도를 비교하여 얼굴 각도의 변화가 있는지 확인한다.
이후 판단 결과에 따라 얼굴 포즈 정보의 변화가 있으면 영상 선택부(120)는 화상 통화 화면상에 위치하는 복수의 부 영상들 중 변화된 얼굴 포즈에 대응하는 부 영상을 선택한다.
다시 말해서, 영상 선택부(120)는 산출된 주 영상의 얼굴 각도와 미리 설정된 기준 얼굴 각도의 차이가 미리 설정된 값 이상이면 주 영상의 얼굴 각도에 대응하는 얼굴 방향을 추정하고, 화상 통화 화면상에서 주 영상의 얼굴 영역을 기준으로 추정된 얼굴 방향에 대응하는 부 영상을 선택한다.
상기에서 설명한 화면 구성부(130)는 미리 설정된 시간 동안 얼굴 포즈 변화가 계속적으로 인식되면 영상 선택부(120)를 통해서 선택된 부 영상을 이용하여 얼굴 포즈 변화에 따른 화상 통화 화면을 재구성한 후 디스플레이한다.
구체적으로, 화면 구성부(130)는 미리 설정된 시간 동안 영상 선택부(120)로부터 추정된 얼굴 방향이 계속적으로 인식되면 화상 통화 화면상에서 주 영상의 화면과 선택된 부 영상의 화면을 서로 전환하여 디스플레이한다.
이와 같이 본 발명은 사용자의 얼굴 포즈를 추정하여 화상 통화 화면상의 관심 인물에 대한 영상을 선택함으로써 사용자가 큰 동작을 하지 않고도 편리하게 관심 인물의 영상을 선택할 수 있다.
도 2는 본 발명의 실시 예에 따라 화면 구성 장치에서 기준 포즈 정보를 설정하기 위한 과정을 나타내는 흐름도이다.
200단계에서 카메라로부터 영상이 입력되면 얼굴 포즈 정보 산출부(100)는 210단계에서 입력된 영상 내의 얼굴을 인식한다. 상기에서 설명한 바와 같이 영상 내의 얼굴 인식은 일반적인 얼굴 인식 방법을 이용하는데, 피부색을 학습하여 학습된 피부색에 해당하는 영역을 얼굴 영역으로 인식하는 방법을 이용할 수도 있다. 예를 들어, 도 3을 참조하여 설명하면 얼굴 포즈 정보 산출부(100)는 입력된 영상(300)내에서 얼굴 영역(301)을 인식한다.
220단계에서 얼굴 포즈 정보 산출부(100)는 인식된 얼굴 내에서 얼굴 특징점을 추출한다. 도면부호 310과 같이 얼굴 포즈 정보 산출부(100)는 얼굴 영역 내의 눈, 코, 입, 턱에 해당하는 위치에 얼굴 특징점을 추출한다.
230단계에서 얼굴 포즈 정보 산출부(100)는 추출된 얼굴 특징점을 이용하여 인식된 얼굴에 대한 얼굴 각도를 산출한다. 예를 들어, 얼굴 포즈 정보 산출부(100)는 얼굴 특징점을 서로 연결하여 다각형의 면적을 이용한 영상(320)내의 얼굴 각도(321)를 산출한 후 기준 포즈 정보의 설정을 종료한다.
이를 통해서 본 발명은 화상 통화 시 입력되는 영상 내의 얼굴 포즈 변화를 인식하여 얼굴 포즈 변화에 따른 화상 통화 화면을 재구성할 수 있게 된다.
도 4는 본 발명의 실시 예에 따른 화면 구성 장치에서 화상 통화 중 얼굴 포즈 변화에 따른 화상 통화 화면을 재구성하기 위한 과정을 나타내는 흐름도이다.
본 발명의 실시 예에서는 카메라를 통해서 입력되는 사용자의 전면 영상을 주 영상으로 정의하고, 외부로부터 수신되는 적어도 하나의 수신 영상을 적어도 하나의 부 영상으로 정의하여 설명하도록 한다. 또한, 본 발명의 실시 예에서는 도 5 내지 7를 참조하여 설명하도록 한다.
도 5 내지 7은 본 발명의 실시 예에 따라 화상 통화 화면을 구성하는 과정을 설명하기 위한 예시도들이다.
400단계에서 화상 통화가 시작되면 화면 구성부(130)는 401단계에서 주 영상의 화면 및 적어도 하나의 부 영상의 화면을 포함하는 화상 통화 화면을 구성하여 디스플레이한다.
화면 구성부(130)는 화상 통화 화면에서 미리 설정된 크기의 영역에 주 영상을 디스플레이하고, 주 영상이 디스플레이된 영역을 제외한 나머지 영역에 적어도 하나의 부 영상을 디스플레이하도록 구성한다. 여기서, 화면 구성부(130)는 화상 통화 화면상에서 주 영상이 디스플레이되는 영역의 크기를 적어도 하나의 부 영상이 디스플레이되는 영역의 크기보다 더 크게 설정한다.
이와 같이 디스플레이된 화상 통화 화면은 도 5와 같이 도시될 수 있다.
402단계에서 얼굴 포즈 정보 산출부(100)는 주 영상 내에서 얼굴을 인식하고, 인식한 얼굴의 얼굴 특징점을 산출한 후 산출된 얼굴 특징점을 이용하여 얼굴 각도를 산출한다.
다시 말해서, 얼굴 인식부(101)는 일반적인 얼굴 인식 방법을 이용하여 주 영상 내의 얼굴 영역을 인식하는데, 입력 영상 내에서 미리 설정된 얼굴 피부색에 해당하는 영역을 얼굴 영역으로 인식할 수 있다.
이후 얼굴 특징점 추출부(102)는 인식된 얼굴 영역 내에서 얼굴 특징점을 추출하고, 얼굴 각도 산출부(103)는 추출된 얼굴 특징점을 기반으로 기준 얼굴 각도를 산출한다.
403단계에서 얼굴 포즈 판단부(110)는 얼굴 포즈 정보 산출부(100)로부터 산출된 주 영상의 얼굴 각도와 미리 설정된 기준 얼굴 각도를 비교한다.
404단계에서 얼굴 각도의 변화가 있는지 확인하여 얼굴 각도의 변화가 있으면 영상 선택부(120)는 405단계를 진행하고, 그렇지 않으면 401단계로 진행하여 화상 통화 화면을 계속적으로 디스플레이한다.
405단계에서 영상 선택부(120)는 주 영상의 얼굴 각도에 대응하여 화상 통화 화면 상에 위치하는 부 영상을 선택한다.
다시 말해서, 영상 선택부(120)는 산출된 주 영상의 얼굴 각도와 미리 설정된 기준 얼굴 각도의 차이가 미리 설정된 값 이상이면 주 영상의 얼굴 각도에 대응하는 얼굴 방향을 추정하고, 화상 통화 화면 상에서 주 영상의 얼굴 영역을 기준으로 추정된 얼굴 방향에 대응하는 부 영상을 선택한다.
이에 대해서 도 5 및 도 6을 참조하여 살펴보면, 영상 선택부(120)는 주 영상(500)의 얼굴 각도에 대응하는 얼굴 방향(502)을 추정하고, 얼굴 영역을 기준으로 추정된 얼굴 방향(502)에 대응하는 부 영상(501)을 선택한다.
이때, 화면 구성부(130)는 도 5와 같이 화상 통화 화면에 사용자에게 얼굴 각도에 대응하는 얼굴 방향을 인지하도록 하기 위한 얼굴 방향 화살표 아이콘들을 더 디스플레이할 수 있다. 이러한 얼굴 방향 화살표 아이콘들은 주 영상의 화면과 겹쳐서 디스플레이될 수 있다.
또한, 선택된 부 영상이 선택된 영상임을 강조하기 위해 화면 구성부(130)는 부 영상의 테두리를 굵게 표시하거나 다른 부 영상들보다 큰 사이즈로 변경하여 디스플레이할 수도 있다.
406단계에서 화면 설정부(130)는 미리 설정된 시간 동안 각도 변화가 계속적으로 인식되는지를 판단하여 계속적으로 인식되면 407단계로 진행하고, 그렇지 않으면 401단계로 진행하여 화상 통화 화면을 계속적으로 디스플레이한다.
이와 같이 화면 설정부(130)에서 미리 설정된 시간 동안 각도 변화가 있는지를 판단하는 것은 사용자의 의도치 않은 얼굴 움직임에 의해서 잘못된 영상이 선택되지 않도록 하기 위함이다.
407단계에서 화면 설정부(130)는 영상 선택부(130)를 통해서 선택된 부 영상을 이용하여 얼굴 포즈 변화에 따른 화상 통화 화면을 재구성한 후 디스플레이한다. 예를 들어, 화면 설정부(130)는 도 6과 같이 주 영상의 화면과 선택된 부 영상의 화면의 위치를 서로 전환하여 선택된 부 영상의 위치가 주 영상의 영역에 디스플레이되도록 화상 통화 화면을 재구성한다.
뿐만 아니라, 화면 설정부(130)는 도 7과 같이 구성된 화상 통화 화면상에서 주 영상의 화면(700)과 부 영상의 화면(701)을 전환하여 부 영상의 화면이 주 영상의 화면에 위치하도록 할 수도 있다.
408단계에서 화상 통화가 완료되었는지 확인하여 완료되면 화상 통화 동작을 종료하고, 그렇지 않으면 401단계로 진행하여 화상 통화 화면을 계속적으로 디스플레이한 후 401단계~407단계를 수행한다.
이와 같이 본 발명은 사용자의 얼굴 포즈를 추정하여 화상 통화 화면 상의 관심 인물에 대한 영상을 선택함으로써 사용자가 큰 동작을 하지 않고도 편리하게 관심 인물의 영상을 선택할 수 있고, 관심 인물에 대한 영상을 선택하기 위한 범위를 설정함으로써 사용자의 의도치 않은 얼굴 움직임에 의해서 잘못된 영상이 선택되지 않도록 할 수 있다.
100: 얼굴 포즈 정보 산출부
101: 얼굴 인식부
102: 얼굴 특징점 추출부
103: 얼굴 각도 산출부
110: 얼굴 포즈 판단부
120: 영상 선택부
130: 화면 구성부

Claims (16)

  1. 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치에 있어서,
    디스플레이를 포함하고, 상기 화면 구성 장치는,
    화상 통화를 위해 입력된 복수의 화상 영상들을 포함하는 화상 통화 화면을 구성하여 상기 디스플레이 상에 표시하고,
    상기 복수의 화상 영상들 중 주 영상으로부터 얼굴을 인식하고, 상기 인식된 얼굴의 포즈에 대한 얼굴 포즈 정보를 산출하고,
    상기 산출된 얼굴 포즈 정보에 근거하여 얼굴 방향을 추정하고,
    상기 복수의 화상 영상들 중에서 상기 얼굴 방향이 가리키는 부 영상을 선택하고,
    상기 선택된 부 영상을 강조하여 표시하도록 구성된 것을 특징으로 하는 화면 구성 장치.
  2. 제1항에 있어서,
    상기 주 영상은 상기 화면 구성 장치의 카메라로부터 입력되고, 상기 부 영상은 외부로부터 화상 통화를 위해 수신됨을 특징으로 하는 화면 구성 장치.
  3. 제1항에 있어서, 상기 화면 구성 장치는,
    상기 주 영상 내에서 얼굴을 인식하고, 상기 인식된 얼굴의 얼굴 특징점을 추출한 후 상기 추출된 얼굴 특징점을 이용하여 상기 인식된 얼굴의 얼굴 각도를 산출하는 것을 특징으로 하는 화면 구성 장치.
  4. 제3항에 있어서, 상기 화면 구성 장치는,
    상기 화상 통화를 하기 전에 입력된 영상으로부터 얼굴 각도를 산출하고, 상기 산출된 얼굴 각도를 기준 얼굴 각도로 설정하는 것을 특징으로 하는 화면 구성 장치.
  5. 제4항에 있어서, 상기 화면 구성 장치는,
    상기 산출된 얼굴 각도와 상기 기준 얼굴 각도를 비교하여 상기 산출된 얼굴 각도와 상기 기준 얼굴 각도의 차이가 미리 설정된 임계 값 이상인지를 판단하는 것을 특징으로 하는 화면 구성 장치.
  6. 제5항에 있어서, 상기 화면 구성 장치는,
    상기 판단 결과 상기 산출된 얼굴 각도와 상기 기준 얼굴 각도의 차이가 상기 임계값 이상이면 상기 산출된 얼굴 각도에 대응하는 얼굴 방향을 추정하고, 상기 화상 통화 화면상에서 상기 주 영상의 얼굴 영역을 기준으로 상기 추정된 얼굴 방향에 대응하는 부 영상을 선택하는 것을 특징으로 하는 화면 구성 장치.
  7. 제1항에 있어서, 상기 화면 구성 장치는,
    상기 화상 통화 화면상에서 상기 주 영상의 화면과 상기 선택된 부 영상의 화면을 전환하여 상기 화상 통화 화면을 재구성하는 것을 특징으로 하는 화면 구성 장치.
  8. 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 방법에 있어서,
    화상 통화를 위해 입력된 복수의 화상 영상들을 포함하는 화상 통화 화면을 구성하는 과정과,
    상기 복수의 화상 영상들 중 주 영상으로부터 얼굴을 인식하고, 상기 인식된 얼굴의 포즈에 대한 얼굴 포즈 정보를 산출하는 과정과,
    상기 산출된 얼굴 포즈 정보에 근거하여 얼굴 방향을 추정하는 과정과,
    상기 복수의 화상 영상들 중에서 상기 얼굴 방향이 가리키는 부 영상을 선택하는 과정과,
    상기 선택된 부 영상을 강조하여 표시하는 과정을 포함함을 특징으로 하는 화면 구성 방법.
  9. 제8항에 있어서,
    상기 주 영상은 카메라로부터 입력되고, 상기 부 영상은 외부로부터 화상 통화를 위해 수신됨을 특징으로 하는 화면 구성 방법.
  10. 제8항에 있어서, 상기 얼굴 포즈 정보를 산출하는 과정은,
    상기 주 영상 내에서 얼굴을 인식하는 과정과,
    상기 인식된 얼굴의 얼굴 특징점을 추출한 후 상기 추출된 얼굴 특징점을 이용하여 상기 인식된 얼굴의 얼굴 각도를 산출하는 과정을 포함함을 특징으로 하는 화면 구성 방법.
  11. 제10항에 있어서,
    상기 화상 통화를 하기 전에 입력된 영상으로부터 얼굴 각도를 산출하고, 상기 산출된 얼굴 각도를 기준 얼굴 각도로 설정하는 과정을 더 포함함을 특징으로 하는 화면 구성 방법.
  12. 제11항에 있어서, 상기 얼굴 방향을 추정하는 과정은,
    상기 산출된 얼굴 각도와 상기 기준 얼굴 각도를 비교하여 상기 산출된 얼굴 각도와 상기 기준 얼굴 각도의 차이가 미리 설정된 임계 값 이상인지를 판단하는 과정임을 특징으로 하는 화면 구성 방법.
  13. 제12항에 있어서, 상기 부 영상을 선택하는 과정은,
    상기 판단 결과 상기 산출된 얼굴 각도와 상기 기준 얼굴 각도의 차이가 상기 임계값 이상이면 상기 산출된 얼굴 각도에 대응하는 얼굴 방향을 추정하는 과정과,
    상기 화상 통화 화면상에서 상기 주 영상의 얼굴 영역을 기준으로 상기 추정된 얼굴 방향에 대응하는 부 영상을 선택하는 과정을 포함함을 특징으로 하는 화면 구성 방법.
  14. 제8항에 있어서, 상기 부 영상을 강조하여 표시하는 과정은,
    상기 화상 통화 화면상에서 상기 주 영상의 화면과 상기 선택된 부 영상의 화면을 전환하는 과정임을 특징으로 하는 화면 구성 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 제8항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 구비한 휴대 단말기.
KR1020100111791A 2010-11-10 2010-11-10 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 KR101733246B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100111791A KR101733246B1 (ko) 2010-11-10 2010-11-10 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법
US13/293,720 US8810624B2 (en) 2010-11-10 2011-11-10 Apparatus and method for configuring screen for video call using facial expression
US14/463,109 US20140359486A1 (en) 2010-11-10 2014-08-19 Apparatus and method for configuring screen for video call using facial expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100111791A KR101733246B1 (ko) 2010-11-10 2010-11-10 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120050346A KR20120050346A (ko) 2012-05-18
KR101733246B1 true KR101733246B1 (ko) 2017-05-08

Family

ID=46019250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100111791A KR101733246B1 (ko) 2010-11-10 2010-11-10 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법

Country Status (2)

Country Link
US (2) US8810624B2 (ko)
KR (1) KR101733246B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890965B2 (en) * 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
USD772253S1 (en) * 2013-02-19 2016-11-22 Sony Computer Entertainment Inc. Display panel or screen with an animated graphical user interface
KR102169523B1 (ko) 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9104907B2 (en) * 2013-07-17 2015-08-11 Emotient, Inc. Head-pose invariant recognition of facial expressions
US9547808B2 (en) * 2013-07-17 2017-01-17 Emotient, Inc. Head-pose invariant recognition of facial attributes
CN103401981B (zh) * 2013-07-25 2016-03-30 深圳市金立通信设备有限公司 一种发起通信请求的方法和移动终端
TWD166922S (zh) * 2013-08-14 2015-04-01 新力電腦娛樂股份有限公司 顯示面板之圖形化使用者介面
USD752079S1 (en) * 2013-10-15 2016-03-22 Deere & Company Display screen with graphical user interface
KR102205498B1 (ko) 2014-09-18 2021-01-20 삼성전자주식회사 입력 영상으로부터 특징을 추출하는 방법 및 장치
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107635110A (zh) * 2017-09-30 2018-01-26 维沃移动通信有限公司 一种视频截图方法及终端
CN108366221A (zh) * 2018-05-16 2018-08-03 维沃移动通信有限公司 一种视频通话方法和终端
CN113342239A (zh) * 2021-05-31 2021-09-03 锐迪科微电子科技（上海）有限公司 感兴趣区域确定方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4206053B2 (ja) 2004-03-31 2009-01-07 株式会社国際電気通信基礎技術研究所 ユーザインタフェース装置およびユーザインタフェースプログラム
CN1735163A (zh) 2004-08-14 2006-02-15 鸿富锦精密工业（深圳）有限公司 一种预览及切换喜好频道的系统及方法
JP2006285715A (ja) 2005-04-01 2006-10-19 Konica Minolta Holdings Inc 視線検出システム
KR100735415B1 (ko) 2005-09-01 2007-07-04 삼성전자주식회사 휴대단말기의 다자간 화상통화수행방법
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
US8098273B2 (en) * 2006-12-20 2012-01-17 Cisco Technology, Inc. Video contact center facial expression analyzer module
US8289363B2 (en) * 2006-12-28 2012-10-16 Mark Buckler Video conferencing
US20100208078A1 (en) * 2009-02-17 2010-08-19 Cisco Technology, Inc. Horizontal gaze estimation for video conferencing
US8477174B2 (en) * 2009-02-27 2013-07-02 Avaya Inc. Automatic video switching for multimedia conferencing
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR101944416B1 (ko) * 2012-07-02 2019-01-31 삼성전자주식회사 영상 통화 분석 서비스를 제공하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US8810624B2 (en) 2014-08-19
KR20120050346A (ko) 2012-05-18
US20120113211A1 (en) 2012-05-10
US20140359486A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR101733246B1 (ko) 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법
EP2664131B1 (en) Apparatus and method for compositing image in a portable terminal
CN107528938B (zh) 一种视频通话方法、终端及计算机可读存储介质
EP3154270B1 (en) Method and device for adjusting and displaying an image
JP5365885B2 (ja) 手持ち式電子装置、それに適用される二重像取得方法及びそれにロードされるプログラム
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
CN106453962B (zh) 双屏智能终端的摄像控制方法
KR102090624B1 (ko) 이미지 촬영장치 및 방법
CN108712603B (zh) 一种图像处理方法及移动终端
US10204591B2 (en) Display device and display control method thereof
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN105631804B (zh) 图片处理方法及装置
KR20150119621A (ko) 디스플레이 장치 및 그의 이미지 합성 방법
KR20130088493A (ko) Ｕｉ 제공 방법 및 이를 적용한 영상 수신 장치
CN106204743B (zh) 一种增强现实功能的控制方法、装置及移动终端
EP2712176B1 (en) Method and apparatus for photography
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
US9582179B2 (en) Apparatus and method for editing image in portable terminal
CN104902318B (zh) 播放控制方法及终端设备
CN111818382B (zh) 一种录屏方法、装置及电子设备
WO2018133305A1 (zh) 一种图像处理的方法及装置
CN105335067B (zh) 一种对图片进行马赛克处理的方法及装置
CN107992256B (zh) 窗口控制方法、装置及系统
CN112449097A (zh) 视频通信方法、终端及存储介质
US20150103150A1 (en) Information processing method and electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
GRNT Written decision to grant