KR102127351B1 - 사용자 단말 장치 및 그 제어 방법 - Google Patents

사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102127351B1
KR102127351B1 KR1020130144795A KR20130144795A KR102127351B1 KR 102127351 B1 KR102127351 B1 KR 102127351B1 KR 1020130144795 A KR1020130144795 A KR 1020130144795A KR 20130144795 A KR20130144795 A KR 20130144795A KR 102127351 B1 KR102127351 B1 KR 102127351B1
Authority
KR
South Korea
Prior art keywords
image
metadata
user
still image
voice
Prior art date
Application number
KR1020130144795A
Other languages
English (en)
Other versions
KR20150011742A (ko
Inventor
정재윤
김성진
김용규
조성대
최지환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14829479.6A priority Critical patent/EP3008893B1/en
Priority to CA2919333A priority patent/CA2919333C/en
Priority to CN201480042063.1A priority patent/CN105409202B/zh
Priority to CN201810949716.4A priority patent/CN108632496B/zh
Priority to EP19174524.9A priority patent/EP3562144B1/en
Priority to PCT/KR2014/005729 priority patent/WO2015012495A1/en
Priority to BR112016001527-4A priority patent/BR112016001527B1/pt
Priority to MX2016000834A priority patent/MX362009B/es
Priority to US14/326,001 priority patent/US9749494B2/en
Publication of KR20150011742A publication Critical patent/KR20150011742A/ko
Priority to US15/631,765 priority patent/US20170287192A1/en
Application granted granted Critical
Publication of KR102127351B1 publication Critical patent/KR102127351B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Abstract

사용자 단말 장치가 개시된다. 본 장치에 의하면, 사용자를 촬영하는 카메라부, 카메라부에서 촬영된 촬영 이미지로부터 사용자 영상을 검출하고, 사용자 영상의 특징 부분(feature part)을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성하며, 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 제어부, 정지 영상 파일을 저장하는 저장부, 및 정지 영상 파일이 선택되면, 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이하는 디스플레이부를 포함한다.

Description

사용자 단말 장치 및 그 제어 방법{USER TERMINAL DEVICE AND THE CONTROL METHOD THEREOF}
본 발명은 사용자 단말 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 사용자 영상의 특징 부분을 국부적으로 변화시키는 사용자 단말 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어, 다양한 휴대용 단말기들이 개발 및 보급되고 있다. 최근에 보급되고 있는 휴대용 단말기는 대부분 디스플레이 수단 및 촬영 수단을 구비하고 있어 촬영 기능을 지원한다. 촬영 기능을 지원하는 휴대용 단말기는 렌즈를 통해 입사되는 광을 이용하여, 디스플레이 수단에 대해 라이브 뷰(Live view)를 디스플레이한다. 사용자는 디스플레이된 라이브 뷰를 보면서 촬영을 수행할 수 있다.
이에 따라, 사진 촬영이 일상화되어, 다양한 장소에서 촬영이 이루어지고, 촬영된 사진을 다양하게 활용하는 네트워크 시스템 또는 어플리케이션이 개발되고 있다. 일 예로, 사용자들은 자신이 촬영한 사진을 블로그나 웹 까페, SNS(Social Network Service) 등에 업로드하여 타인과 공유할 수 있다.
한편, 사용자는 유명한 장소를 배경으로 자신의 모습을 촬영하고자 하는 경우가 많다. 이 경우, 자신의 모습이 포함된 배경을 정지영상으로 촬영하여 저장하게 된다면 사실감 또는 현장감이 다소 떨어질 수 밖에 없다.
이러한 이유로, 사용자는 자신의 모습이 포함된 배경을 동영상으로 촬영하여 저장하게 되는데, 이 경우 저장된 동영상 파일은 용량이 크기 때문에 저장 공간을 많이 차지하게 된다는 문제가 발생하게 된다.
이에 따라, 용량을 작게 함과 동시에 사실감 또는 현장감을 극대화하도록 하는 촬영 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용자 영상의 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이하는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 사용자 단말 장치는 사용자를 촬영하는 카메라부, 카메라부에서 촬영된 촬영 이미지로부터 사용자 영상을 검출하고, 사용자 영상의 특징 부분(feature part)을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성하며, 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 제어부, 정지 영상 파일을 저장하는 저장부, 및 정지 영상 파일이 선택되면, 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이하는 디스플레이부를 포함한다.
또한, 제어부는, 촬영 이미지 내의 배경 이미지를 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 정지 영상 파일을 생성하며, 정지 영상 파일이 선택되면, 배경 이미지 상에 사용자 영상을 중첩시켜 디스플레이할 수 있다.
또한, 제어부는, 별도로 촬영된 배경 이미지를 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 정지 영상 파일을 생성하며, 정지 영상 파일이 선택되면, 배경 이미지 상에 사용자 영상을 중첩시켜 디스플레이할 수 있다.
또한, 카메라부는, 사용자를 복수 회 연속 촬영하여 복수의 사용자 영상을 획득하며, 제어부는, 복수의 사용자 영상을 비교하여 특징 부분의 변화를 검출하고, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다.
또한, 카메라부는, 사용자를 동영상으로 촬영하여 사용자 동영상을 획득하며, 제어부는, 사용자 동영상의 각 프레임을 비교하여 특징 부분의 변화를 검출하고, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다.
또한, 촬영 시점의 사용자 음성을 입력하기 위한 마이크부를 더 포함하고, 제어부는, 사용자 음성이 입력되면, 사용자 음성에 기초하여 영상 메타 데이터를 생성하고, 사용자 음성을 음성 메타 데이터로 변환하여 변환된 음성 메타 데이터를 정지 영상 파일에 포함시켜 저장부에 저장할 수 있다.
또한, 정지 영상 파일이 선택되면, 음성 메타 데이터에 대응되는 사용자 음성을 출력하는 스피커부를 더 포함할 수 있다.
또한, 특징 부분은, 사용자의 눈썹, 눈, 입, 턱선 중 적어도 하나를 포함하며, 영상 메타 데이터는, 특징 부분 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터를 포함할 수 있다.
또한, 카메라부는, 제1 방향으로 배치된 제1 카메라 및 제1 방향의 반대인 제2 방향으로 배치된 제2 카메라를 포함하며, 제어부는, 제1 카메라를 통해 획득되는 제1 이미지로부터 사용자 영상을 검출하고, 제2 카메라를 통해 획득되는 제2 이미지를 배경 이미지로 선택하여, 배경 이미지에 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성할 수 있다.
또한, 저장부는, 적어도 하나의 이모티콘에 대한 정보를 저장하며, 제어부는, 이모티콘이 선택되면 선택된 이모티콘에 따라 사용자 영상의 특징 부분을 변경시키기 위한 영상 메타 데이터를 생성할 수 있다.
또한, 제어부는, 생성된 영상 메타 데이터를 적용할 이미지가 선택되면, 이미지 및 영상 메타 데이터를 매칭시켜 저장부에 저장하고, 저장된 이미지가 선택되면, 이미지를 디스플레이부에 디스플레이하고, 이미지의 특징 부분을 영상 메타 데이터에 따라 국부적으로 변경할 수 있다.
한편, 본 발명의 일 실시예에 따른 사용자 단말 장치의 제어 방법은 사용자를 촬영하는 단계, 촬영된 촬영 이미지로부터 사용자 영상을 검출하는 단계, 사용자 영상의 특징 부분(feature part)을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성하는 단계, 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 단계, 정지 영상 파일을 저장하는 단계, 및 정지 영상 파일이 선택되면, 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이하는 단계를 포함한다.
또한, 정지 영상 파일을 생성하는 단계는, 촬영 이미지 내의 배경 이미지를 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 정지 영상 파일을 생성하고, 사용자 영상을 디스플레이하는 단계는, 정지 영상 파일이 선택되면, 배경 이미지 상에 사용자 영상을 중첩시켜 디스플레이할 수 있다.
또한, 정지 영상 파일을 생성하는 단계는, 별도로 촬영된 배경 이미지를 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 정지 영상 파일을 생성하고, 사용자 영상을 디스플레이하는 단계는, 정지 영상 파일이 선택되면, 배경 이미지 상에 사용자 영상을 중첩시켜 디스플레이할 수 있다.
또한, 사용자를 촬영하는 단계는, 사용자를 복수 회 연속 촬영하여 복수의 사용자 영상을 획득하고, 사용자 영상을 검출하는 단계는, 복수의 사용자 영상을 비교하여 특징 부분의 변화를 검출하며, 영상 메타 데이터를 생성하는 단계는, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다.
또한, 사용자를 촬영하는 단계는, 사용자를 동영상으로 촬영하여 사용자 동영상을 획득하고, 사용자 영상을 검출하는 단계는, 사용자 동영상의 각 프레임을 비교하여 특징 부분의 변화를 검출하며, 영상 메타 데이터를 생성하는 단계는, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다.
또한, 촬영 시점의 사용자 음성을 입력하는 단계, 사용자 음성이 입력되면, 사용자 음성에 기초하여 영상 메타 데이터를 생성하는 단계, 사용자 음성을 음성 메타 데이터로 변환하는 단계, 및 변환된 음성 메타 데이터를 정지 영상 파일에 포함시켜 저장하는 단계를 더 포함할 수 있다.
또한, 정지 영상 파일이 선택되면, 음성 메타 데이터에 대응되는 사용자 음성을 출력하는 단계를 더 포함할 수 있다.
또한, 특징 부분은, 사용자의 눈썹, 눈, 입, 턱선 중 적어도 하나를 포함하며, 영상 메타 데이터는, 특징 부분 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터를 포함할 수 있다.
또한, 적어도 하나의 이모티콘에 대한 정보를 저장하는 단계를 더 포함하고, 영상 메타 데이터를 생성하는 단계는, 이모티콘이 선택되면 선택된 이모티콘에 따라 사용자 영상의 특징 부분을 변경시키기 위한 영상 메타 데이터를 생성할 수 있다.
또한, 생성된 영상 메타 데이터를 적용할 이미지가 선택되면, 이미지 및 영상 메타 데이터를 매칭시켜 저장하는 단계, 저장된 이미지가 선택되면, 이미지를 디스플레이하는 단계, 및 이미지의 특징 부분을 영상 메타 데이터에 따라 국부적으로 변경하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시예에 따르면, 사용자 영상의 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 제공하여, 용량이 작고, 사실감 또는 현장감이 있는 사용자 영상을 디스플레이할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치에 관한 블럭도의 일 예,
도 2는 본 발명의 일 실시예에 따른 이미지 합성을 설명하기 위한 도면,
도 3은 본 발명의 다른 실시예에 따른 이미지 합성을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 사용자 영상으로부터 객체를 분리하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 사용자 영상의 특징 부분 및 정지 영상 파일의 구성에 관한 도면,
도 6은 본 발명의 또 다른 실시예에 따른 이미지 합성을 설명하기 위한 도면,
도 7 및 도 8은 본 발명의 다양한 실시예에 따른 정지 영상에 관한 설명을 하기 위한 도면,
도 9는 본 발명의 다른 실시예에 따른 사용자 단말 장치에 관한 블럭도의 일 예,
도 10은 본 발명의 일 실시예에 따른 입 영역 정보를 검출하는 과정을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 변환된 영상을 설명하기 위한 도면,
도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치의 제어 방법에 관한 순서도의 일 예, 그리고,
도 13은 본 발명의 또 다른 실시예에 따른 사용자 단말 장치의 구성을 종합적으로 설명하기 위한 블럭도의 일 예이다.
이하에서는 도면을 참조하여, 본 발명에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치(100)에 관한 블럭도의 일 예이다. 본 발명의 일 실시예에 따른 사용자 단말 장치(100)는 카메라부(110), 디스플레이부(120), 저장부(130), 제어부(140)를 포함한다.
사용자 단말 장치(100)는 휴대폰, 스마트 폰, 태블릿 PC, 랩탑 컴퓨터, PDA, MP3 플레이어, 디지털 카메라, 캠코더 등과 같은 다양한 유형의 장치로 구현될 수 있다.
카메라부(110)는 촬영 동작을 수행하기 위한 구성요소이다. 카메라부(110)는 사용자 단말 장치(100)에 장착되어 외부 영상을 촬영한다. 이 경우, 외부 영상은 정지 영상 또는 동영상일 수 있다. 또한, 카메라부(110)는 사용자 단말 장치(100)의 전면부에 장착된 전면 카메라 및 사용자 단말 장치(100)의 후면부에 장착된 후면 카메라와 같이 복수 개로 구현될 수 있다.
카메라부(110)는 렌즈와 이미지 센서를 포함한다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 사용자 단말 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
디스플레이부(120)는 카메라부(110)에 의해 획득되는 라이브 뷰를 디스플레이한다. 라이브 뷰란, 피사체를 뷰 파인더가 아닌 디스플레이부(120)를 통해 확인할 수 있도록 제공하는 이미지를 의미한다. 구체적으로, 카메라부(110)의 렌즈를 통해 입사되는 광은 이미지 센서로 입사되고, 이미지 센서는 입사된 광에 대응되는 전기 신호를 디스플레이부(120)로 전송한다. 이에 따라, 현재 촬영 중인 촬영 범위 내의 피사체의 영상이 라이브 뷰 영역에 표시된다. 라이브 뷰는 컨트라스트 AF(Auto Focus) 라이브 뷰 방식, 위상차 AF 라이브 뷰 방식, 라이브 뷰 처리를 위한 별도의 이미지 센서를 이용하는 방식 등과 같이 다양한 방식에 따라 제공될 수 있다.
제어부(140)는 사용자 단말 장치(100)의 전반적인 동작을 제어한다.
구체적으로는, 제어부(140)는 카메라부(110)에서 촬영된 영상으로부터 배경 영상을 검출한다. 제어부(140)는 검출된 배경 영상을 저장부(130)에 저장한다. 이 경우, 배경 영상은 정지 영상 또는 동영상일 수 있다.
제어부(140)는 카메라부(110)에서 촬영된 영상으로부터 사용자 영상을 검출하고, 검출된 사용자 영상에 대한 정지 영상을 검출한다. 이 경우, 사용자 정지 영상은 검출된 다양한 사용자 영상 중에서 선택된 하나의 정지 영상을 의미할 수 있다. 또한, 제어부(140)는 사용자 영상의 특징 부분(feature part)을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성할 수 있다. 따라서, 제어부(140)는 사용자 영상 및 영상 메타 데이터를 매칭시켜 영상 파일을 생성할 수 있다.
영상 메타 데이터는 검출된 사용자 영상으로부터 추출된 데이터로서 배경 영상 파일에 부가되는 데이터를 의미한다. 즉, 카메라부(110)에서 촬영된 배경 영상은 제어부(140)에 의해 영상 파일로 변환될 수 있는데, 제어부(140)는 카메라부(110)에서 촬영된 사용자 영상으로부터 영상 메타 데이터를 생성하여 변환된 영상 파일에 삽입할 수 있다. 다시 말하자면, 제어부(140)는 사용자 영상을 별도의 파일로 생성하는 것이 아니라, 사용자 영상에 관한 영상 메타 데이터를 생성하여 이를 배경 영상에 관한 파일에 부가하게 되는 것이다.
영상 메타 데이터는 검출된 사용자 영상 중 특징 부분에 대한 움직임을 나타내는 것일 수 있다. 이에 따라, 영상 파일은 배경 영상 데이터, 사용자 정지 영상 데이터, 영상 메타 데이터를 포함하게 된다.
한편, 제어부(140)는 카메라부(110)에서 촬영된 영상으로부터 사용자 영상을 검출하고, 검출된 사용자 영상에 대한 동영상을 검출할 수도 있다. 이 경우, 제어부(140)는 사용자 동영상에 포함된 사용자의 얼굴, 음성 등 국부적인 특징 부분에 대하여 영상 메타 데이터로 변환 및 저장할 수 있다. 따라서, 영상 메타 데이터는 검출된 사용자 동영상 중 특징 부분에 대한 움직임을 나타내는 데이터일 수 있으며, 영상 파일은 배경 영상 데이터, 사용자 동영상 데이터, 영상 메타 데이터를 포함하게 된다.
따라서, 제어부(140)는 촬영된 영상 내의 배경 영상을 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 영상 파일을 생성하고, 영상 파일이 선택되면 배경 영상에 사용자 영상을 중첩시켜 디스플레이할 수 있다. 뿐만 아니라, 제어부(140)는 별도로 촬영된 배경 영상을 사용자 영상 및 영상 메타 데이터와 함께 매칭시켜 영상 파일을 생성할 수도 있다. 이 경우, 저장된 배경 영상이 정지 영상이면, 제어부(140)는 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성할 수 있다. 저장된 배경 영상이 동영상이면, 제어부(140)는 사용자 영상 및 영상 메타 데이터를 매칭시켜 동영상 파일을 생성할 수 있다.
저장부(130)는 제어부(140)에 의해 생성된 영상 파일을 저장한다. 따라서, 배경 영상이 정지 영상이면 저장부(130)는 정지 영상 파일을 저장하고, 배경 영상이 동영상이면 저장부(130)는 동영상 파일을 저장한다.
디스플레이부(120)는 저장부(130)에 저장된 영상 파일이 선택되면 이에 대응되는 영상을 디스플레이한다. 즉, 저장된 영상 파일이 선택되면, 디스플레이부(120)는 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이한다.
한편, 카메라부(110)는 사용자를 복수 회 연속 촬영하여 복수의 사용자 영상을 획득할 수 있다. 이 경우, 제어부(140)는 복수의 사용자 영상을 비교하여 특징 부분의 변화를 검출하고, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다. 뿐만 아니라, 카메라부(110)는 사용자를 동영상으로 촬영하여 사용자 동영상을 획득할 수도 있다. 이 경우, 제어부(140)는 사용자 동영상의 각 프레임을 비교하여 특징 부분의 변화를 검출하고, 검출된 변화 상태에 따라 영상 메타 데이터를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 합성을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 사용자는 사용자 단말 장치(100)를 통해 영상을 촬영할 수 있고, 촬영 명령이 입력되면 객체를 포함하는 촬영 영상이 획득된다. 이 경우, 제어부(140)는 카메라부(110)를 활성화시켜 라이브 뷰를 디스플레이한다. 사용자 단말 장치(100)를 통해 촬영되는 영상은 제1 객체(50)가 포함된 제1 영상(10)일 수 있다. 이 경우, 제1 객체(50)는 사용자일 수 있고, 제1 영상(10)은 사용자를 포함하는 배경 영상(11)일 수 있다.
제어부(140)는 제1 영상(10)에 포함된 제1 객체(50)를 인식할 수 있다. 따라서, 제1 영상(10)이 촬영되는 경우, 제어부(140)는 촬영 영상으로부터 제1 객체(50)를 분리한다. 촬영 영상으로부터 제1 객체(50)를 분리할 경우, 제1 영상(10)은 배경 영상(11)과 사용자 영상(12)으로 분리될 수 있다.
제어부(140)는 분리된 배경 영상(11)을 배경 영상(11) 데이터로 변환한 후 영상 파일을 생성할 수 있다. 이 경우, 분리된 배경 영상(11)이 정지 영상이면 생성된 영상 파일은 정지 영상에 관한 파일이고, 분리된 배경 영상(11)이 동영상이면 생성된 영상 파일은 동영상에 관한 파일이다. 이에 따라, 제어부(140)는 생성된 영상 파일을 저장부(130)에 저장할 수 있다.
또한, 제어부(140)는 분리된 사용자 영상(12)으로부터 제1 객체(50)의 정지 영상을 검출할 수 있다. 제어부(140)는 촬영된 제1 객체(50)에 대한 복수의 영상 프레임 중 어느 하나를 정지 영상으로 검출할 수 있다. 이에 따라, 제어부(140)는 제1 객체(50)에 대한 정지 영상을 정지 영상 데이터로 변환하여 저장부(130)에 저장할 수 있다. 이 경우, 제어부(140)는 정지 영상 데이터를 영상 파일에 부가할 수 있다. 따라서, 영상 파일은 배경 영상(11) 데이터와 정지 영상 데이터를 포함할 수 있다.
또한, 제어부(140)는 분리된 사용자 영상(12)으로부터 제1 객체(50)의 특징 부분의 움직임을 검출할 수 있다. 제어부(140)는 검출된 제1 객체(50)의 특징 부분에 대한 움직임을 영상 메타 데이터로 변환할 수 있다. 이에 따라, 제어부(140)는 제1 객체(50)에 대한 움직임을 영상 메타 데이터로 변환하여 저장부(130)에 저장할 수 있다. 이 경우, 제어부(140)는 영상 메타 데이터를 영상 파일에 부가할 수 있다. 따라서, 영상 파일은 배경 영상(11) 데이터, 정지 영상 데이터, 영상 메타 데이터를 포함할 수 있다.
저장된 영상 파일을 선택할 경우, 제어부(140)는 영상 파일에 포함된 배경 영상 데이터, 정지 영상 데이터, 영상 메타 데이터를 디코딩할 수 있다. 따라서, 하나의 영상 파일을 선택하면 배경 영상 및 사용자 영상이 디스플레이된다. 특히, 영상 메타 데이터가 디코딩되므로, 사용자 영상은 정지 영상임에도 불구하고 제1 객체(50)의 특징 부분에 대한 움직임에 대응하여 국부적으로 변경된 제2 객체(50A)를 사용자 영상으로써 표현할 수 있게 된다.
도 3은 본 발명의 다른 실시예에 따른 이미지 합성을 설명하기 위한 도면이다. 이하에서는 도 2에서 설명한 부분과 중복된 사항에 대해서는 생략하기로 한다.
도 3에 도시된 바와 같이, 사용자는 사용자 단말 장치(100)를 통해 영상을 촬영할 수 있고, 촬영 명령이 입력되면 객체를 포함하는 촬영 영상이 획득된다. 제어부(140)는 제1 영상(10)에 포함된 제1 객체(50)를 인식하고, 촬영 영상으로부터 제1 객체(50)를 분리할 수 있다. 따라서, 제1 영상(10)은 제1 배경 영상(11)과 사용자 영상(12)으로 분리될 수 있다. 제어부(140)는 분리된 사용자 영상(12)으로부터 제1 객체(50)의 정지 영상을 검출할 수 있고, 제1 객체(50)에 대한 정지 영상을 정지 영상 데이터로 변환하여 저장부(130)에 저장할 수 있다. 또한, 제어부(140)는 분리된 사용자 영상(12)으로부터 제1 객체(50)의 특징 부분의 움직임을 검출할 수 있고, 검출된 제1 객체(50)의 특징 부분에 대한 움직임을 영상 메타 데이터로 변환하여 저장부(130)에 저장할 수 있다.
한편, 도 3에 도시된 바와 같이, 제어부(140)는 제1 배경 영상(11)을 이와 다른 제2 배경 영상(13)으로 치환할 수 있다. 여기서, 제1 배경 영상(11)은 카메라부(110)를 통해 촬영한 배경 영상이고, 제2 배경 영상(13)은 저장부(130)에 미리 저장된 배경 영상일 수 있다. 뿐만 아니라, 제1 배경 영상(11)은 사용자 단말 장치(100)의 전면 카메라를 통해 촬영된 배경 영상이고, 제2 배경 영상(13)은 사용자 단말 장치(100)의 후면 카메라를 통해 촬영된 배경 영상일 수 있다.
이 경우, 제어부(140)는 정지 영상 데이터 및 영상 메타 데이터를 제2 배경 영상 파일에 부가할 수 있다. 따라서, 제2 배경 영상 파일은 제2 배경 영상 데이터, 정지 영상 데이터, 영상 메타 데이터를 포함할 수 있다. 정지 영상 데이터 및 영상 메타 데이터가 부가된 제2 배경 영상 파일은 저장부(130)에 저장될 수 있다.
저장된 제2 배경 영상 파일을 선택할 경우, 제어부(140)는 제2 배경 영상 파일에 포함된 제2 배경 영상 데이터, 정지 영상 데이터, 영상 메타 데이터를 디코딩할 수 있다. 따라서, 제2 배경 영상 파일을 선택하면, 제2 배경 영상 및 사용자 영상이 디스플레이된다. 특히, 영상 메타 데이터가 디코딩되므로, 사용자 영상은 정지 영상임에도 불구하고 제1 객체(50)의 특징 부분에 대한 움직임에 대응하여 국부적으로 변경된 제2 객체(50B)를 사용자 영상으로써 표현할 수 있게 된다. 또한, 제어부(140)는 사용자 영상에 대한 배경 영상을 자유롭게 치환할 수 있으므로, 사용자 단말 장치(100)는 객체를 다양한 배경과 함께 디스플레이할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 사용자 단말 장치(100)는 라이브 뷰에 기초하여 객체를 추적하여 분리할 수도 있다. 도 4는 이러한 실시예에 따른 객체 분리 방법을 설명하기 위한 도면이다.
사용자는 사용자 단말 장치(100)를 통해 영상을 촬영할 수 있고, 촬영 명령이 입력되면 객체를 포함하는 촬영 영상이 획득된다. 이 경우, 제어부(140)는 카메라부(110)를 활성화시켜 라이브 뷰를 디스플레이한다. 라이브 뷰에는 피사체에 대응되는 객체가 표시될 수 있다.
제어부(140)는 라이브 뷰의 각 프레임을 모니터링하여 객체를 탐색한다. 구체적으로는, 제어부(140)는 라이브 뷰를 프레임 단위로 추출하여 그 프레임을 분석하여 에지를 검출한다. 에지에 의해 구분되는 픽셀 영역 중 유사한 픽셀 값을 가지면서 연속적으로 배치되는 픽셀들을 포함하는 픽셀 영역들을 하나의 객체로 판단할 수 있다.
다만, 픽셀 영역의 크기가 임계치 미만인 경우에는 객체 판단이 어려울 수 있다. 가령, 도 4의 (a)에 도시된 바와 같이 사용자의 뒤통수가 보이고 있거나, 도 4의 (b)에 도시된 바와 같이 옆 모습이 보이고 있는 경우에는, 얼굴 영역 판단에 어려움이 있을 수 있다. 이 경우, 제어부(140)는 얼굴 영역이 판단될 때까지 라이브 뷰를 지속적으로 모니터링할 수 있다.
도 4의 (c)에 도시된 바와 같이 사용자가 얼굴을 정면으로 돌린 경우에는, 얼굴 영역의 크기가 임계치 이상이 되므로, 얼굴 영역 및 이에 연결된 사용자 신체 영역을 포함하여 하나의 객체로 판단할 수 있다. 제어부(140)는 일단 객체가 탐색되면, 탐색된 객체의 크기가 변하거나 이동하더라도 이를 지속적으로 추적할 수 있다. 따라서, 도 4의 (d)에 도시된 바와 같이 사용자가 다양한 형태로 움직임으로 인해 얼굴 형태가 변경되더라도, 제어부(140)는 객체를 정확하게 판단할 수 있다. 이러한 상태에서 촬영이 이루어지면, 도 4의 (e)와 같은 촬영 영상이 획득된다. 그 후, 제어부(140)는 촬영 영상으로부터 객체를 분리할 수 있다.
한편, 도 4에서는 자동으로 객체가 분리(Auto segmentation)되는 과정을 설명하였으나, 이에 한정되는 것은 아니다. 즉, 정밀도를 높이기 위해서 사용자가 추가적으로 객체 분리 영역을 조정하는 실시예로 구현될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 영상의 특징 부분 및 정지 영상 파일의 구성을 설명하기 위한 도면이다. 도 5를 참조하면, 사용자 영상에 포함된 사용자 얼굴 형상(50)이 도시된다.
제어부(140)는 촬영 영상으로부터 사용자 영상을 검출하고, 검출된 사용자 영상에 대한 정지 영상을 검출한다. 도 5에 도시된 바와 같은 사용자 얼굴 형상(50)은 검출된 사용자 영상에 대한 정지 영상일 수 있고, 이러한 정지 영상은 사용자 정지 영상 데이터로 변환되어 영상 파일에 삽입된다. 이 경우, 영상 파일에는 배경 영상 데이터가 미리 삽입되어 있을 수 있다.
한편, 제어부(140)는 사용자 영상에 관한 라이브 뷰를 통해 사용자 얼굴 형상(50)에 관한 변화를 나타내는 영상 메타 데이터를 생성할 수 있다. 이를 위해, 제어부(140)는 사용자 얼굴 형상(50)에 대한 적어도 하나의 특징 부분을 추출할 수 있다.
한편, 적어도 하나의 영상 메타 데이터는 적어도 하나의 특징 부분 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터를 포함한다. 또한, 하나의 특징 부분에는 복수 개의 기준점이 설정될 수 있고, 설정된 복수 개의 기준점 각각의 좌표 데이터가 영상 메타 데이터에 포함될 수 있다.
도 5에 도시된 바와 같이, 제1-1 특징 부분(51-1)은 사용자의 우측 눈썹에 관한 것이고, 제1-1 특징 부분(51-1)에 포함된 복수 개의 기준점 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터는 제1-1 영상 메타 데이터에 포함된다. 제1-2 특징 부분(51-2), 제2-1 특징 부분(52-1), 제2-2 특징 부분(52-2), 제3 특징 부분(53), 제4 특징 부분(54), 제5 특징 부분(55)은 각각 사용자의 좌측 눈썹, 우측 눈, 좌측 눈, 코, 입, 턱선에 관한 것이다. 또한, 이들 각각의 특징 부분에 포함된 복수 개의 기준점의 위치 및 위치 이동 상태를 나타내는 좌표 데이터가 이들 각각에 대응되는 영상 메타 데이터에 포함되는 것은 전술한 바와 같다. 제어부(140)는 이와 같은 복수 개의 영상 메타 데이터를 영상 파일에 삽입한다.
영상 파일에는 배경 영상 데이터 및 사용자 정지 영상 데이터가 삽입되므로, 영상 파일이 선택되면 배경 영상 상에 사용자 영상이 디스플레이된다. 뿐만 아니라, 영상 파일에는 영상 메타 데이터도 삽입되므로, 영상 파일이 선택되면 정지 영상인 사용자 영상의 복수 개의 특징 부분이 각각의 메타 데이터에 따라 국부적으로 자동 변경되어 디스플레이된다.
도 5에서는 사용자 얼굴 형상(50)에 대해 7개의 특징 부분으로 구분하였으나, 이에 한정되는 것은 아니며, 이와 다른 특징 부분을 부가적으로 추출할 수도 있음은 물론이다. 예를 들어, 제어부(140)는 사용자 얼굴 형상(50)에 대한 색상을 특징 부분으로 추출할 수 있다. 이러한 색상에 관한 특징 부분은 사용자의 구강 내의 색상 또는 눈, 코, 입술, 귀, 볼, 미간, 주름 등에 대한 색상에 관한 것일 수 있다. 또한, 이러한 색상에 관한 특징 부분이 영상 메타 데이터에 포함되는 방식 및 국부적으로 자동 변경되어 디스플레이되는 방식은 전술한 바와 동일하다.
도 6은 본 발명의 두 개의 카메라를 이용하여 합성 영상(621)을 생성하는 방법의 일 예를 설명하기 위한 도면이다.
도 6에 따르면, 사용자 단말 장치(100)의 일 측면에는 디스플레이부(120)가 배치된다. 제1 카메라는 디스플레이부(120)와 동일한 면에 배치되고, 제2 카메라는 디스플레이부(120)와 반대 면에 배치된다. 즉, 제1 카메라는 제1 방향으로 배치된 전면 카메라이고, 제2 카메라는 제1 방향과 반대인 제2 방향으로 배치된 후면 카메라일 수 있다.
배경 영상과 사용자 영상을 합성한 합성 영상(621)을 촬영하고자 하는 경우, 하나의 카메라에 의해 배경 영상과 사용자 영상을 순차적으로 촬영할 수도 있으나, 도 6에서는 제1 카메라가 사용자 영상을 촬영함과 동시에 제2 카메라가 배경 영상을 촬영하는 실시예를 도시하였다.
우선, 사용자가 제1 카메라 및 제2 카메라를 턴온할 경우, 제어부(140)는 디스플레이부(120)에 제1 카메라의 라이브 뷰와 제2 카메라의 라이브 뷰가 동시에 디스플레이 할 수 있다. 일 예에 따르면, 제1 카메라의 라이브 뷰는 디스플레이부(120)의 상부 화면에 디스플레이되고, 제2 카메라의 라이브 뷰는 디스플레이부(120)의 하부 화면에 디스플레이될 수 있다. 다른 예에 따르면, 제1 카메라의 라이브 뷰는 디스플레이부(120)의 좌측 화면에 디스플레이되고, 제2 카메라의 라이브 뷰는 디스플레이부(120)의 우측 화면에 디스플레이될 수 있다. 또 다른 예에 따르면, 제1 카메라의 라이브 뷰와 제2 카메라의 라이브 뷰는 하나의 디스플레이 화면에 중첩되어 디스플레이될 수 있다. 따라서, 사용자는 두 개의 라이브 뷰를 동시에 보면서 촬영을 수행할 수 있게 된다.
다음으로, 사용자가 촬영을 개시할 경우, 제어부(140)는 제1 카메라 및 제2 카메라가 각각의 영상을 촬영하도록 제어한다. 즉, 제1 카메라는 제1 방향에 위치한 제1 영상을 촬영하고, 제2 카메라는 제2 방향에 위치한 제2 영상을 촬영한다. 이 경우, 제1 영상은 사용자를 포함하는 영상일 수 있다.
제어부(140)는 제1 카메라를 통해 획득되는 제1 영상으로부터 사용자 영상(650)을 검출한 후 이를 분리한다. 또한, 제어부(140)는 제2 카메라를 통해 획득되는 제2 영상을 배경 영상으로 선택할 수 있다. 따라서, 제어부(140)는 분리된 사용자 영상(650) 및 배경 영상을 합성한 합성 영상(621)을 생성할 수 있다. 이 경우, 합성 영상(621)은 사용자 영상 및 영상 메타 데이터를 매칭시켜 생성된 것임은 전술한 바와 같다.
도 7 및 도 8은 본 발명의 다양한 실시예에 따른 정지 영상에 관한 설명을 하기 위한 도면이다.
도 7을 참조하면, 사용자 형상에 해당하는 제1 객체(750-1)가 사용자 단말 장치(100)를 통해 촬영됨으로써 제1 영상(710)이 획득된 상태이다. 여기서, 저장부(130)는 적어도 하나의 이모티콘(750-3) 파일을 저장할 수 있다. 저장된 이모티콘(750-3) 파일은 미리 정해진 영상 메타 데이터를 포함한다. 이 경우, 이모티콘(750-3) 파일에 포함된 영상 메타 데이터는 해당 이모티콘(750-3)과 관련이 있도록 설정되어 저장되는 것이 바람직하다.
제1 영상(710) 파일은 제1 객체(750-1)에 대한 정지 영상 데이터 및 영상 메타 데이터를 포함하고 있음은 전술한 바와 같다. 제1 영상(710) 파일 선택되면, 제어부(140)는 정지 영상 데이터를 디코딩함으로써 사용자 영상을 디스플레이할 수 있다. 이러한 상태에서, 저장된 하나의 이모티콘(750-3)이 선택되면, 제어부(140)는 제1 영상(710) 파일에 포함된 영상 메타 데이터를 디코딩하지 않고, 선택된 이모티콘(750-3) 파일에 포함된 영상 메타 데이터와 동일한 영상 메타 데이터를 생성할 수 있다. 즉, 제어부(140)는 선택된 이모티콘(750-3)에 따라 사용자 영상의 특징 부분을 변경시키기 위한 영상 메타 데이터를 생성할 수 있다.
따라서, 도 7의 우측에 도시된 바와 같이, 제어부(140)는 제1 영상(710) 파일에 포함된 정지 영상 데이터를 디코딩하므로, 제1 객체(750-1)에 대한 정지 영상이 디스플레이된다. 또한, 제어부(140)는 선택된 이모티콘(750-3)에 포함된 영상 메타 데이터와 동일한 영상 메타 데이터를 생성하여 디코딩하므로, 디스플레이된 사용자 영상의 특징 부분은 선택된 이모티콘(750-3)에 대응되도록 국부적으로 변경될 수 있다.
도 8을 참조하면, 사용자 형상에 해당하는 제1 객체(850-1)가 사용자 단말 장치(100)를 통해 촬영됨으로써 제1 영상(810) 파일이 생성된 상태이다. 여기서, 저장부(130)는 적어도 하나의 제2 영상(821) 파일을 저장할 수 있다. 제2 영상(821) 파일은 제1 객체(850-1)와 다른 제2 객체(850-2)에 대한 정지 영상 데이터를 포함할 수 있다. 또한, 제2 영상(821) 파일은 미리 정해진 영상 메타 데이터를 포함한다. 이 경우, 제2 영상(821) 파일에 포함된 영상 메타 데이터의 종류는 제1 영상(810) 파일에 포함된 영상 메타 데이터의 종류와 동일하게 설정되어 저장되는 것이 바람직하다.
제1 영상(810) 파일은 제1 객체(850-1)에 대한 정지 영상 데이터 및 영상 메타 데이터를 포함하고 있음은 전술한 바와 같다. 제1 영상(810) 파일 선택되면, 제어부(140)는 정지 영상 데이터를 디코딩함으로써 사용자 영상을 디스플레이할 수 있다. 이러한 상태에서, 제2 영상(821) 파일이 선택되면, 제어부(140)는 제1 영상(810) 파일에 포함된 정지 영상 데이터를 디코딩하지 않고, 선택된 제2 영상(821) 파일에 포함된 정지 영상 데이터를 디코딩할 수 있다. 또한, 제어부(140)는 선택된 제2 영상(821) 파일의 정지 영상 데이터를 디코딩함과 동시에, 제1 영상(810) 파일에 포함된 영상 메타 데이터를 디코딩할 수 있다.
따라서, 도 8의 우측에 도시된 바와 같이, 제어부(140)는 제2 영상(821) 파일에 포함된 정지 영상 데이터를 디코딩하므로, 제2 객체(850-2)에 대한 정지 영상이 디스플레이된다. 또한, 제어부(140)는 제1 영상(810) 파일에 포함된 영상 메타 데이터를 디코딩하므로, 디스플레이된 제2 객체(850-2)의 특징 부분은 제1 영상(810) 파일에 포함된 영상 메타 데이터에 따라 국부적으로 변경될 수 있다.
예를 들어, 제1 영상(810) 파일이 제1 객체(850-1)에 대한 정지 영상 데이터 및 영상 메타 데이터를 포함하고 있는 상태에서, 사용자는 제2 영상(821) 파일을 선택할 수 있다. 이 경우, 제2 영상(821) 파일은 저장부에 저장된 이미지 파일 또는 카메라부(110)에 의해 촬영되어 생성된 새로운 이미지 파일일 수 있다. 사용자가 제2 영상(821) 파일을 선택하면, 제어부(140)는 제1 영상(810) 파일에 포함된 영상 메타 데이터 및 제2 영상(821) 파일에 포함된 정지 영상 데이터를 디코딩할 수 있다. 따라서, 제1 객체(850-1)의 표정 등에 관한 변화는 제2 객체(850-2)에 적용되어 제2 영상(821)이 디스플레이된다.
도 9는 본 발명의 다른 실시예에 따른 사용자 단말 장치(100A)에 관한 블럭도의 일 예이다. 이하에서는 도 1에서 설명한 부분과 중복되는 부분에 대한 설명은 생략하기로 한다.
본 발명의 다른 실시예에 따른 사용자 단말 장치(100A)는 마이크부(150), 스피커부(160)를 더 포함할 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성요소이다. 마이크부(150)는 촬영 시점의 사용자 음성을 입력할 수 있다. 한편, 마이크부(150)는 사용자 단말 장치(100A)에 내장되어 있을 수 있다. 또한, 마이크부(150)는 입력되는 사용자 음성의 크기를 설정에 의해 조절할 수 있다.
한편, 사용자 음성이 마이크부(150)로 입력되면, 제어부(140)는 입력된 사용자 음성을 음성 메타 데이터로 변환할 수 있다. 이 경우, 제어부(140)는 사용자 음성에 기초하여 영상 메타 데이터를 생성할 수 있다. 또한, 사용자 음성에 기초하여 생성된 영상 메타 데이터는 저장부(130)에 저장될 수 있다. 사용자 음성에 기초하여 영상 메타 데이터를 생성하는 부분에 대한 설명은 도 10 내지 도 11에서 상세하도록 한다.
한편, 입력된 사용자 음성이 음성 메타 데이터로 변환되면, 제어부(140)는 변환된 음성 메타 데이터를 정지 영상 파일에 포함시켜 저장부(130)에 저장할 수 있다. 이 경우, 정지 영상 파일은 사용자 음성이 입력된 시점에 카메라부(110)에 의해 촬영되어 생성된 것일 수 있다. 또한, 정지 영상 파일은 저장부(130)에 미리 저장된 것일 수도 있다. 따라서, 제어부(140)는 변환된 음성 메타 데이터를 정지 영상 파일에 포함시킬 수 있다.
스피커부(160)는 오디오 데이터를 사용자 음성이나 기타 소리로 변환하여 출력하는 구성요소이다. 정지 영상 파일이 선택되면, 스피커부(160)는 음성 메타 데이터를 디코딩하고, 제어부(140)는 음성 메타 데이터에 대응되는 영상 메타 데이터를 생성한 후 이를 디코딩할 수 있다. 따라서, 정지 영상 파일이 선택되면, 스피커부(160)는 음성 메타 데이터에 대응되는 사용자 음성을 출력하고, 제어부(140)는 음성 메타 데이터에 대응되는 사용자 영상을 출력한다. 여기서, 음성 메타 데이터에 대응되는 사용자 영상은 음성 메타 데이터에 따라 변경된 입 모양 영상을 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 입 영역 정보를 검출하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 음소(Phoneme)와 음소에 대응되는 시각적 음소(Viseme)가 도시되어 있다. 음소란 말의 의미를 나누어 뜻을 구별하게 하는 소리의 단위를 의미하고, 시각적 음소란 특정한 소리를 묘사하는 데에 사용될 수 있는 영상을 의미한다. 예를 들어, 시각적 음소는 각 음소에 대응되는 입 모양 영상일 수 있다.
저장부(130)는 음소 및 음소에 대응되는 입 모양 영상을 저장할 수 있다. 도 10을 참조하면, 발음 기호로 [a] 음소(9-1)와 [a]를 발음하는 입 모양 영상(19-1)이 대응되며, [a] 음소(9-1)와 [a]의 입 모양 영상(19-1)은 저장부(130)에 저장된다. 마찬가지로, 발음 기호로 [e] 음소(9-2), [i] 음소(9-3), [o] 음소(9-4), [u] 음소(9-5)와 이들 각각에 대응되는 입 모양 영상(19-2, 19-3, 19-4, 19-5)이 저장부(130)에 저장된다.
저장부(130)는 각 음소와 대응되는 표준 사용자의 입 모양 영상을 미리 저장할 수 있다. 이 경우, 카메라부(110)가 사용자의 입 모양 영상을 입력하면, 제어부(140)는 입력된 입 모양 영상을 음소에 매칭하여 새로운 입 모양 영상을 생성할 수 있고, 저장부(130)는 새로운 입 모양 영상을 저장할 수 있다. 예를 들어, [a] 음소(9-1)에 매칭되는 표준 사용자의 입 모양 영상이 저장부(130)에 미리 저장된 상태에서 사용자가 [a] 음소(9-1)를 발음하면, 저장부(130)는 미리 저장된 표준 사용자의 입 모양 영상 대신 사용자가 발음한 [a] 음소에 대응되는 사용자의 입 모양 영상(19-1)을 저장할 수 있다.
또한, 사용자가 발음한 음소를 마이크부(150)가 입력하면, 제어부(140)는 입력된 음소와 매칭되는 입 모양 영상을 검출할 수 있다. 예를 들어, 사용자가 [a] 음소(9-1)를 발음하면, 제어부(140)는 [a] 음소(9-1)에 대응하는 입 모양 영상(19-1)을 검출할 수 있다. 이하에서는 사용자가 발음한 음소 및 이에 대응되는 입 모양 영상에 따라 사용자 영상이 국부적으로 변경되는 방법에 대해서 구체적으로 설명하기로 한다.
도 11은 본 발명의 일 실시예에 따른 변환된 영상을 설명하기 위한 도면이다. 도 11에서는 사용자가 발음한 “Hello”에 따라 사용자 영상에 포함된 입 모양 영상이 순차적으로 변경되는 과정을 도시하였다.
우선, 마이크부(150)는 사용자가 발음한 “Hello”를 입력한다. 이 후, 도 11에 도시된 바와 같이, 제어부(140)는 입력된 “Hello”를 [he-] 음소(9-6), [lo-] 음소(9-7), [u-] 음소(9-8)로 분할한다. 제어부(140)는 분할된 3개의 음소(9-6, 9-7, 9-8) 각각에 대응되는 음성 메타 데이터를 생성한 후 이를 저장부(130)에 저장한다.
한편, 제어부(140)는 각각의 음성 메타 데이터에 대응되는 영상 메타 데이터를 생성할 수 있다. 영상 메타 데이터는 사용자가 발음한 음소에 대응되는 입 모양 영상에 관한 메타 데이터일 수 있다. 따라서, [he-] 음소(9-6)에 대응되는 [he-] 입 모양 영상(19-6), [lo-] 음소(9-7)에 대응되는 [lo-] 입 모양 영상(19-7), [u-] 음소(9-8)에 대응되는 [u-] 입 모양 영상(19-8)이 각각 영상 메타 데이터로 생성될 수 있다. 생성된 영상 메타 데이터는 영상 파일에 포함되어 저장부(130)에 저장될 수 있다.
한편, 각각의 음성 메타 데이터에는 음성 특징을 포함할 수도 있으며, 이러한 음성 특징은 톤(Tone), 음질, 높낮이 등일 수 있다. 이러한 음성 특징은 음성 메타 데이터에 포함될 수 있고, 영상 메타 데이터는 음성 특징에 대응되도록 생성될 수 있다.
음성 메타 데이터는 배경 영상 데이터, 사용자 정지 영상 데이터, 영상 메타 데이터와 함께 영상 파일에 포함될 수 있음은 전술한 바와 같다. 따라서, 영상 파일이 선택되면 배경 영상과 사용자 영상이 결합되어 디스플레이되며, 특히 사용자 입 모양 영상은 음성 메타 데이터와 대응되도록 생성된 영상 메타 데이터에 따라 디스플레이된다. 즉, [he-] 입 모양 영상(19-6)을 포함하는 제1 영상(921-6), [lo-] 입 모양 영상(19-7)을 포함하는 제2 영상(921-7), [u-] 입 모양 영상(19-8)을 포함하는 제3 영상(921-8)이 연속적으로 디스플레이된다. 이에 따라, 사용자 단말 장치(100)는 사용자 영상이 정지 영상임에도 불구하고 사실감 및 현장감이 있도록 사용자 영상을 표현할 수 있다.
도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치(100, 100A)의 제어 방법에 관한 순서도의 일 예이다. 이하에서는 전술한 부분과 중복되는 설명은 생략하기로 하며, 도 12를 참조하여 본 발명의 일 실시예에 따른 사용자 단말 장치(100, 100A)의 제어 방법을 설명하면 다음과 같다.
우선, 사용자 단말 장치(100, 100A)는 사용자를 촬영한다(S1210). 이 경우, 사용자 단말 장치(100, 100A)는 하나의 카메라로써 배경과 사용자를 동시에 촬영할 수 있고, 두 개의 카메라로써 배경과 사용자를 동시에 촬영할 수도 있다. 또한, 사용자 단말 장치(100, 100A)는 사용자를 촬영함과 동시에 사용자 음성 기타 소리를 입력할 수 있다.
사용자 단말 장치(100, 100A)는 촬영된 촬영 영상으로부터 사용자 영상을 검출한다(S1220). 검출된 사용자 영상은 배경 영상과 분리될 수 있다. 분리된 배경 영상은 배경 영상 데이터로 변환되어 영상 파일에 삽입될 수 있다. 또한, 분리된 사용자 영상에 대한 정지 영상은 사용자 정지 영상 데이터로 변환되어 영상 파일에 삽입될 수 있다. 이 경우, 영상 파일은 정지 영상 파일 또는 동영상 파일일 수 있다.
한편, 분리된 사용자 영상은 영상 메타 데이터로 변환될 수 있다. 따라서, 사용자 단말 장치(100)는 사용자 영상의 특징 부분을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성할 수 있다(S1230). 또한, 입력된 사용자 음성은 음성 메타 데이터로 변환될 수 있다.
따라서, 생성된 영상 메타 데이터 또는 음성 메타 데이터는 배경 영상 데이터 및 사용자 정지 영상 데이터와 함께 영상 파일에 삽입될 수 있다. 이 경우, 사용자 영상 및 영상 메타 데이터를 매칭시켜 영상 파일을 생성할 수 있다(S1240). 따라서, 사용자 단말 장치(100, 100A)는 생성된 영상 파일을 저장할 수 있으며(S1250), 영상 파일에는 배경 영상 데이터, 사용자 정지 영상 데이터, 영상 메타 데이터, 음성 메타 데이터가 포함될 수 있다.
이 후, 영상 파일이 선택되면, 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 사용자 영상을 디스플레이할 수 있다(S1260). 즉, 디스플레이되는 사용자 영상은 정지 영상이지만, 사용자 영상의 특징 부분이 영상 메타 데이터에 의해 국부적으로 변경되어 디스플레이되므로, 사실감 및 현장감이 있도록 사용자 영상을 표현할 수 있다.
도 13은 본 발명의 일 실시예에 따른 사용자 단말 장치(100B)의 구성을 종합적으로 설명하기 위한 블럭도의 일 예이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말 장치(100B)는 카메라부(110), 디스플레이부(120), 저장부(130), 제어부(140), 마이크부(150), 스피커부(160)를 포함한다.
카메라부(110)는 촬영 동작을 수행하기 위한 구성요소이다. 카메라부(110)는 사용자 단말 장치(100B)에 장착되어 외부 영상을 촬영한다. 이 경우, 외부 영상은 정지 영상 또는 동영상일 수 있다. 또한, 카메라부(110)는 사용자 단말 장치(100B)의 전면부에 장착된 전면 카메라 및 사용자 단말 장치(100B)의 후면부에 장착된 후면 카메라와 같이 복수 개로 구현될 수 있다.
디스플레이부(120)는 상술한 바와 같은 다양한 영상을 디스플레이한다. 디스플레이부(120)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(120) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
디스플레이부(120)는 일반적인 LCD 디스플레이로 구현될 수도 있고, 터치 스크린 형태로 구현될 수도 있다. 터치 스크린으로 구현될 경우, 사용자는 화면을 터치하여 사용자 단말 장치(100B)의 동작을 제어할 수 있다.
한편, 비디오 프로세서(미도시)는 저장부(130)에 저장된 영상 파일의 다양한 영상 데이터를 처리하기 위한 구성요소이다. 즉, 비디오 프로세서(미도시)는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 영상 처리를 수행할 수 있다. 이 경우, 디스플레이부(120)는 비디오 프로세서(미도시)에서 생성한 이미지 프레임을 디스플레이할 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성요소이다. 마이크부(150)는 촬영 시점의 사용자 음성을 입력할 수 있다. 한편, 마이크부(150)는 사용자 단말 장치(100B)에 내장되어 있을 수 있다. 또한, 마이크부(150)는 입력되는 사용자 음성의 크기를 설정에 의해 조절할 수 있다.
한편, 사용자 음성이 마이크부(150)로 입력되면, 제어부(140)는 입력된 사용자 음성을 음성 메타 데이터로 변환할 수 있다. 이 경우, 제어부(140)는 사용자 음성에 기초하여 영상 메타 데이터를 생성할 수 있다. 또한, 사용자 음성에 기초하여 생성된 영상 메타 데이터는 저장부(130)에 저장될 수 있다.
스피커부(160)는 오디오 데이터를 사용자 음성이나 기타 소리로 변환하여 출력하는 구성요소이다. 정지 영상 파일이 선택되면, 스피커부(160)는 음성 메타 데이터를 디코딩하고, 제어부(140)는 음성 메타 데이터에 대응되는 영상 메타 데이터를 생성한 후 이를 디코딩할 수 있다. 따라서, 정지 영상 파일이 선택되면, 스피커부(160)는 음성 메타 데이터에 대응되는 사용자 음성을 출력하고, 제어부(140)는 음성 메타 데이터에 대응되는 사용자 영상을 출력한다.
한편, 오디오 프로세서(미도시)는 저장부(130)에 저장된 오디오 데이터를 처리하기 위한 구성요소이다. 이 경우, 저장부(130)에 저장된 오디오 데이터는 사용자 음성 데이터 및/또는 배경 오디오 데이터일 수 있고, 영상 파일의 음성 메타 데이터일 수도 있다. 오디오 프로세서(미도시)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 따라서, 스피커부(160)는 오디오 프로세서(미도시)에서 생성한 오디오 데이터를 출력한다.
저장부(130)는 사용자 단말 장치(100B)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성요소이다. 제어부(140)는 저장부(130)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치(100B)의 동작을 전반적으로 제어한다.
뿐만 아니라, 저장부(130)는 영상 파일을 저장한다. 구체적으로, 영상 파일은 촬영 영상에 포함된 배경 영상에 대응하는 배경 영상 데이터, 사용자 영상에 대응하는 사용자 정지 영상 데이터, 사용자 영상의 특징 부분에 대응하는 영상 메타 데이터, 사용자 음성에 대응하는 음성 메타 데이터를 포함할 수 있다. 저장부(130)는 이와 같은 다양한 데이터를 포함하는 영상 파일을 저장할 수 있다.
제어부(140)는 사용자 단말 장치(100B)의 전반적인 동작을 제어한다. 제어부(140)는 RAM(141), ROM(142), CPU(143), GPU(144), 버스(145)를 포함한다. RAM(141), ROM(142), CPU(143), GPU(144) 등은 버스(145)를 통해 서로 연결될 수 있다.
CPU(143)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 뿐만 아니라, CPU(143)는 저장부(130)에 저장된 영상 파일 또는 음성 파일을 실행할 수 있다. 이러한 영상 파일 또는 음성 파일에 대해서는 전술한 바와 같으므로, 상세는 생략하기로 한다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(143)는 저장부(130)에 저장된 각종 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(144)는 사용자 단말 장치(100B)의 부팅이 완료되면, 배경 영상, 사용자 영상 등을 디스플레이한다. 구체적으로는, GPU(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부(미도시)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(120)로 제공되어, 디스플레이 영역 내에 표시된다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 제어 방법은, 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다. 일 예로, 사용자를 촬영하는 단계, 촬영된 촬영 이미지로부터 사용자 영상을 검출하는 단계, 사용자 영상의 특징 부분(feature part)을 국부적으로 변화시키기 위한 영상 메타 데이터를 생성하는 단계, 사용자 영상 및 영상 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 단계, 정지 영상 파일을 저장하는 단계, 및 정지 영상 파일이 선택되면, 영상 메타 데이터에 따라 특징 부분이 국부적으로 자동 변경되는 상기 사용자 영상을 디스플레이하는 단계를 포함하는 사용자 단말 장치의 제어 방법을 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100, 100A, 100B : 사용자 단말 장치
110 : 카메라부 120 : 디스플레이부
130 : 저장부 140 : 제어부
150 : 마이크부 160 : 스피커부

Claims (21)

  1. 객체를 촬영하는 카메라부;
    상기 카메라부에서 촬영된 촬영 이미지로부터 객체를 검출하고, 상기 객체의 일부인 특징 부분(feature part)의 변화를 나타내는 메타 데이터를 생성하며, 상기 객체와 상기 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 제어부;
    상기 정지 영상 파일을 저장하는 저장부; 및
    상기 정지 영상 파일이 선택되면, 상기 메타 데이터에 따라 상기 특징 부분이 국부적으로 자동 변경되는 상기 객체를 디스플레이하는 디스플레이부;를 포함하며,
    상기 제어부는,
    상기 객체가 포함된 복수의 촬영 이미지를 비교하여 상기 특징 부분의 변화를 식별하고, 상기 변화에 기초하여 상기 메타 데이터를 생성하는 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 촬영 이미지 내의 배경 이미지를 상기 객체 및 상기 메타 데이터와 함께 매칭시켜 상기 정지 영상 파일을 생성하며, 상기 정지 영상 파일이 선택되면, 상기 배경 이미지 상에 상기 객체를 중첩시켜 디스플레이하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    별도로 촬영된 배경 이미지를 상기 객체 및 상기 메타 데이터와 함께 매칭시켜 상기 정지 영상 파일을 생성하며, 상기 정지 영상 파일이 선택되면, 상기 배경 이미지 상에 상기 객체를 중첩시켜 디스플레이하는 것을 특징으로 하는 단말 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 카메라부는,
    상기 객체를 동영상으로 촬영하여 객체 동영상을 획득하며,
    상기 제어부는,
    상기 객체 동영상의 각 프레임을 비교하여 상기 특징 부분의 변화를 검출하고, 검출된 변화 상태에 따라 상기 메타 데이터를 생성하는 것을 특징으로 하는 단말 장치.
  6. 제1항에 있어서,
    촬영 시점의 객체 음성을 입력하기 위한 마이크부;를 더 포함하고,
    상기 제어부는,
    상기 객체 음성이 입력되면, 상기 객체 음성에 기초하여 상기 메타 데이터를 생성하고, 상기 객체 음성을 음성 메타 데이터로 변환하여 상기 변환된 음성 메타 데이터를 상기 정지 영상 파일에 포함시켜 상기 저장부에 저장하는 것을 특징으로 하는 단말 장치.
  7. 제6항에 있어서,
    상기 정지 영상 파일이 선택되면, 상기 음성 메타 데이터에 대응되는 상기 객체 음성을 출력하는 스피커부;를 더 포함하는 것을 특징으로 하는 단말 장치.
  8. 제1항에 있어서,
    상기 특징 부분은,
    상기 객체의 눈썹, 눈, 입, 턱선 중 적어도 하나를 포함하며,
    상기 메타 데이터는,
    상기 특징 부분 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터를 포함하는 것을 특징으로 하는 단말 장치.
  9. 제1항에 있어서,
    상기 카메라부는,
    제1 방향으로 배치된 제1 카메라; 및
    상기 제1 방향의 반대인 제2 방향으로 배치된 제2 카메라;를 포함하며,
    상기 제어부는,
    상기 제1 카메라를 통해 획득되는 제1 이미지로부터 상기 객체를 검출하고, 상기 제2 카메라를 통해 획득되는 제2 이미지를 배경 이미지로 선택하여, 상기 배경 이미지에 상기 객체 및 상기 메타 데이터를 매칭시켜 상기 정지 영상 파일을 생성하는 것을 특징으로 하는 단말 장치.
  10. 제1항에 있어서,
    상기 저장부는,
    적어도 하나의 이모티콘에 대한 정보를 저장하며,
    상기 제어부는,
    상기 이모티콘이 선택되면 상기 선택된 이모티콘에 따라 상기 객체의 상기 특징 부분을 변경시키기 위한 메타 데이터를 생성하는 것을 특징으로 하는 단말 장치.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 생성된 메타 데이터를 적용할 이미지가 선택되면, 상기 이미지 및 상기 메타 데이터를 매칭시켜 상기 저장부에 저장하고, 저장된 상기 이미지가 선택되면, 상기 이미지를 상기 디스플레이부에 디스플레이하고, 상기 이미지의 특징 부분을 상기 메타 데이터에 따라 국부적으로 변경하는 것을 특징으로 하는 단말 장치.
  12. 단말 장치의 제어 방법에 있어서,
    객체를 촬영하는 단계;
    상기 촬영된 촬영 이미지로부터 객체를 검출하는 단계;
    상기 객체의 일부인 특징 부분(feature part)의 변화를 나타내는 메타 데이터를 생성하는 단계;
    상기 객체 및 상기 메타 데이터를 매칭시켜 정지 영상 파일을 생성하는 단계;
    상기 정지 영상 파일을 저장하는 단계; 및
    상기 정지 영상 파일이 선택되면, 상기 메타 데이터에 따라 상기 특징 부분이 국부적으로 자동 변경되는 상기 객체를 디스플레이하는 단계;를 포함하며,
    상기 메타 데이터를 생성하는 단계는,
    상기 객체가 포함된 복수의 촬영 이미지를 비교하여 상기 특징 부분의 변화를 식별하고, 상기 변화에 기초하여 상기 메타 데이터를 생성하는 제어 방법.
  13. 제12항에 있어서,
    상기 정지 영상 파일을 생성하는 단계는,
    상기 촬영 이미지 내의 배경 이미지를 상기 객체 및 상기 메타 데이터와 함께 매칭시켜 상기 정지 영상 파일을 생성하고,
    상기 객체를 디스플레이하는 단계는,
    상기 정지 영상 파일이 선택되면, 상기 배경 이미지 상에 상기 객체를 중첩시켜 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 정지 영상 파일을 생성하는 단계는,
    별도로 촬영된 배경 이미지를 상기 객체 및 상기 메타 데이터와 함께 매칭시켜 상기 정지 영상 파일을 생성하고,
    상기 객체를 디스플레이하는 단계는,
    상기 정지 영상 파일이 선택되면, 상기 배경 이미지 상에 상기 객체를 중첩시켜 디스플레이하는 것을 특징으로 하는 제어 방법.
  15. 삭제
  16. 제12항에 있어서,
    상기 객체를 촬영하는 단계는,
    상기 객체를 동영상으로 촬영하여 객체 동영상을 획득하고,
    상기 객체를 검출하는 단계는,
    상기 객체 동영상의 각 프레임을 비교하여 상기 특징 부분의 변화를 검출하며,
    상기 메타 데이터를 생성하는 단계는,
    검출된 변화 상태에 따라 상기 메타 데이터를 생성하는 것을 특징으로 하는 제어 방법.
  17. 제12항에 있어서,
    촬영 시점의 객체 음성을 입력하는 단계;
    상기 객체 음성이 입력되면, 상기 객체 음성에 기초하여 상기 메타 데이터를 생성하는 단계;
    상기 객체 음성을 음성 메타 데이터로 변환하는 단계; 및
    상기 변환된 음성 메타 데이터를 상기 정지 영상 파일에 포함시켜 저장하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제17항에 있어서,
    상기 정지 영상 파일이 선택되면, 상기 음성 메타 데이터에 대응되는 상기 객체 음성을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제12항에 있어서,
    상기 특징 부분은,
    상기 객체의 눈썹, 눈, 입, 턱선 중 적어도 하나를 포함하며,
    상기 메타 데이터는,
    상기 특징 부분 각각의 위치 및 위치 이동 상태를 나타내는 좌표 데이터를 포함하는 것을 특징으로 하는 제어 방법.
  20. 제12항에 있어서,
    적어도 하나의 이모티콘에 대한 정보를 저장하는 단계;를 더 포함하고,
    상기 메타 데이터를 생성하는 단계는,
    상기 이모티콘이 선택되면 상기 선택된 이모티콘에 따라 상기 객체의 상기 특징 부분을 변경시키기 위한 메타 데이터를 생성하는 것을 특징으로 하는 제어 방법.
  21. 제12항에 있어서,
    상기 생성된 메타 데이터를 적용할 이미지가 선택되면, 상기 이미지 및 상기 메타 데이터를 매칭시켜 저장하는 단계;
    저장된 상기 이미지가 선택되면, 상기 이미지를 상기 디스플레이하는 단계; 및
    상기 이미지의 특징 부분을 상기 메타 데이터에 따라 국부적으로 변경하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
KR1020130144795A 2013-07-23 2013-11-26 사용자 단말 장치 및 그 제어 방법 KR102127351B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CA2919333A CA2919333C (en) 2013-07-23 2014-06-27 User terminal device and the control method thereof
CN201480042063.1A CN105409202B (zh) 2013-07-23 2014-06-27 用户终端装置及其控制方法
CN201810949716.4A CN108632496B (zh) 2013-07-23 2014-06-27 用户终端装置及其控制方法
EP19174524.9A EP3562144B1 (en) 2013-07-23 2014-06-27 User terminal device and the control method thereof
EP14829479.6A EP3008893B1 (en) 2013-07-23 2014-06-27 User terminal device and the control method thereof
PCT/KR2014/005729 WO2015012495A1 (en) 2013-07-23 2014-06-27 User terminal device and the control method thereof
BR112016001527-4A BR112016001527B1 (pt) 2013-07-23 2014-06-27 Aparelho terminal de usuário, e método para controlar um aparelho terminal de usuário
MX2016000834A MX362009B (es) 2013-07-23 2014-06-27 Dispositivo de terminal de usuario y metodo de control del mismo.
US14/326,001 US9749494B2 (en) 2013-07-23 2014-07-08 User terminal device for displaying an object image in which a feature part changes based on image metadata and the control method thereof
US15/631,765 US20170287192A1 (en) 2013-07-23 2017-06-23 User terminal device for displaying an object image in which a feature part changes based on image metadata and the control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361857310P 2013-07-23 2013-07-23
US61/857,310 2013-07-23

Publications (2)

Publication Number Publication Date
KR20150011742A KR20150011742A (ko) 2015-02-02
KR102127351B1 true KR102127351B1 (ko) 2020-06-26

Family

ID=52488076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130144795A KR102127351B1 (ko) 2013-07-23 2013-11-26 사용자 단말 장치 및 그 제어 방법

Country Status (7)

Country Link
US (2) US9749494B2 (ko)
EP (2) EP3008893B1 (ko)
KR (1) KR102127351B1 (ko)
CN (2) CN105409202B (ko)
CA (1) CA2919333C (ko)
MX (1) MX362009B (ko)
WO (1) WO2015012495A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022370A (ja) * 2016-08-04 2018-02-08 キヤノン株式会社 アプリケーション実行装置及びその制御方法、並びにプログラム
US10032259B2 (en) * 2016-08-04 2018-07-24 International Business Machines Corporation Persisting image modifications for user profile
US10600226B2 (en) * 2016-09-07 2020-03-24 The University Of Hong Kong System and method for manipulating a facial image and a system for animating a facial image
CN107613227A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN107707836A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN108174109B (zh) * 2018-03-15 2020-09-25 维沃移动通信有限公司 一种拍照方法及移动终端
DE102018222861A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
CN111784800A (zh) * 2019-04-03 2020-10-16 珠海金山办公软件有限公司 一种图形对象选中方法、装置、电子设备及存储介质
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225886A (ja) * 2007-03-13 2008-09-25 Olympus Imaging Corp 画像表示装置、画像表示方法、及びプログラム
US20120224077A1 (en) * 2011-03-02 2012-09-06 Canon Kabushiki Kaisha Systems and methods for image capturing based on user interest
US20120257048A1 (en) * 2009-12-17 2012-10-11 Canon Kabushiki Kaisha Video information processing method and video information processing apparatus

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6232965B1 (en) 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US7109993B2 (en) 1995-10-08 2006-09-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for the automatic computerized audio visual dubbing of movies
SE519244C2 (sv) 1995-12-06 2003-02-04 Telia Ab Anordning och metod vid talsyntes
JPH1097280A (ja) 1996-09-19 1998-04-14 Hitachi Ltd 音声画像認識翻訳装置
WO2001001353A1 (en) 1999-06-24 2001-01-04 Koninklijke Philips Electronics N.V. Post-synchronizing an information stream
KR100395491B1 (ko) 1999-08-16 2003-08-25 한국전자통신연구원 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
JP4011844B2 (ja) 2000-09-22 2007-11-21 株式会社国際電気通信基礎技術研究所 翻訳装置、翻訳方法および媒体
JP4310916B2 (ja) 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
US6925438B2 (en) 2002-10-08 2005-08-02 Motorola, Inc. Method and apparatus for providing an animated display with translated speech
US20040212695A1 (en) * 2003-04-28 2004-10-28 Stavely Donald J. Method and apparatus for automatic post-processing of a digital image
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
JP4366481B2 (ja) 2003-07-18 2009-11-18 カシオ計算機株式会社 撮像装置及び撮像方法
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
JP3936939B2 (ja) 2004-02-04 2007-06-27 株式会社日本ブレインウェア 画像撮影装置
JP4133981B2 (ja) * 2004-09-09 2008-08-13 株式会社東芝 メタデータと動画像の再生装置
JP4087400B2 (ja) 2005-09-15 2008-05-21 株式会社東芝 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム
US20070171237A1 (en) * 2006-01-25 2007-07-26 Marco Pinter System for superimposing a face image on a body image
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
JP4973098B2 (ja) * 2006-09-28 2012-07-11 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
KR101317204B1 (ko) * 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
KR100811796B1 (ko) * 2007-03-30 2008-03-10 삼성전자주식회사 휴대 단말기 및 그의 초점 정보를 이용한 영상 표시 방법
KR20080090174A (ko) * 2007-04-04 2008-10-08 삼성테크윈 주식회사 디지털 영상 처리장치의 제어방법 및 그 장치
JP2009152650A (ja) 2007-12-18 2009-07-09 Nec Corp 電話装置および通話翻訳方法
JP5083559B2 (ja) * 2008-06-02 2012-11-28 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
US8224652B2 (en) * 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US8503767B2 (en) * 2009-09-16 2013-08-06 Microsoft Corporation Textual attribute-based image categorization and search
JP5024465B2 (ja) * 2010-03-26 2012-09-12 株式会社ニコン 画像処理装置、電子カメラ、画像処理プログラム
JP2012010240A (ja) 2010-06-28 2012-01-12 Universal Business Club Co Ltd カラオケ自動レコーディング装置
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
KR101031291B1 (ko) 2010-09-07 2011-04-29 안배근 음성 사진 촬영 장치 및 방법
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
KR101753715B1 (ko) 2010-12-13 2017-07-04 삼성전자주식회사 촬영장치 및 이를 이용한 촬영방법
JP5621675B2 (ja) * 2011-03-18 2014-11-12 富士通株式会社 署名装置、署名方法、および署名プログラム
JP2013062640A (ja) * 2011-09-13 2013-04-04 Sony Corp 信号処理装置、信号処理方法、およびプログラム
WO2013116937A1 (en) * 2012-02-09 2013-08-15 Flixel Photos Inc. Systems and methods for creation and sharing of selectively animated digital photos
KR101378811B1 (ko) 2012-09-18 2014-03-28 김상철 단어 자동 번역에 기초한 입술 모양 변경 장치 및 방법
US9082198B2 (en) * 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
US9076270B2 (en) * 2013-05-14 2015-07-07 Google Inc. Generating compositions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225886A (ja) * 2007-03-13 2008-09-25 Olympus Imaging Corp 画像表示装置、画像表示方法、及びプログラム
US20120257048A1 (en) * 2009-12-17 2012-10-11 Canon Kabushiki Kaisha Video information processing method and video information processing apparatus
US20120224077A1 (en) * 2011-03-02 2012-09-06 Canon Kabushiki Kaisha Systems and methods for image capturing based on user interest

Also Published As

Publication number Publication date
US20170287192A1 (en) 2017-10-05
CN108632496A (zh) 2018-10-09
MX362009B (es) 2019-01-03
WO2015012495A1 (en) 2015-01-29
CN108632496B (zh) 2020-12-29
BR112016001527A2 (ko) 2017-07-25
US9749494B2 (en) 2017-08-29
CA2919333A1 (en) 2015-01-29
MX2016000834A (es) 2016-04-27
US20150029362A1 (en) 2015-01-29
CN105409202A (zh) 2016-03-16
KR20150011742A (ko) 2015-02-02
EP3562144A1 (en) 2019-10-30
CA2919333C (en) 2021-07-20
EP3008893A4 (en) 2017-03-15
EP3008893B1 (en) 2019-06-05
EP3008893A1 (en) 2016-04-20
EP3562144B1 (en) 2021-06-23
CN105409202B (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
KR102127351B1 (ko) 사용자 단말 장치 및 그 제어 방법
TW202042175A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
KR102022444B1 (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
TWI253860B (en) Method for generating a slide show of an image
EP3125524A1 (en) Mobile terminal and method for controlling the same
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
US20120307096A1 (en) Metadata-Assisted Image Filters
WO2016187888A1 (zh) 基于字符识别的关键词通知方法及设备、计算机程序产品
EP3298771A1 (en) Method and apparatus for finding and using video portions that are relevant to adjacent still images
KR20160108827A (ko) 이미지 필터를 생성하기 위한 방법 및 장치
KR20150119621A (ko) 디스플레이 장치 및 그의 이미지 합성 방법
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
JP2015504220A5 (ko)
US20160127651A1 (en) Electronic device and method for capturing image using assistant icon
JP6230386B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9767587B2 (en) Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information
US10447935B2 (en) Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image from images related to reference image
WO2022206605A1 (zh) 确定目标对象的方法、拍摄方法和装置
TWI522888B (zh) 電子裝置及其影像檢視方法
WO2022250683A1 (en) Machine learning based forecasting of human gaze
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR20130104483A (ko) 객체를 분할하여 사진을 촬영하는 방법 및 장치
TW202345097A (zh) 對於圖像擷取的建議
CN115589457A (zh) 一种拍摄方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant