KR20170009087A - 영상 표시 장치 및 그 동작 방법 - Google Patents

영상 표시 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20170009087A
KR20170009087A KR1020150100518A KR20150100518A KR20170009087A KR 20170009087 A KR20170009087 A KR 20170009087A KR 1020150100518 A KR1020150100518 A KR 1020150100518A KR 20150100518 A KR20150100518 A KR 20150100518A KR 20170009087 A KR20170009087 A KR 20170009087A
Authority
KR
South Korea
Prior art keywords
user
image
personal
unit
moving picture
Prior art date
Application number
KR1020150100518A
Other languages
English (en)
Inventor
김수진
김현호
조재승
김인범
박용준
여송이
정재현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150100518A priority Critical patent/KR20170009087A/ko
Priority to US14/993,418 priority patent/US20170019710A1/en
Priority to EP16152972.2A priority patent/EP3119096A1/en
Priority to CN201610238266.9A priority patent/CN106358079A/zh
Publication of KR20170009087A publication Critical patent/KR20170009087A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal

Abstract

사용자의 얼굴을 촬영하는 카메라부, 영상 표시 장치에서 재생 중인 동영상을 표시하는 디스플레이부 및 개인 동영상 녹화(PVR: Personal Video Recording) 모드로 진입하면, 상기 촬영된 사용자의 얼굴 영상에서 표정 변화를 검출하고, 상기 표정 변화가 검출되면, 상기 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 상기 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 상기 동영상을 저장부에 저장하는 제어부를 포함하는 영상 표시 장치가 개시된다.

Description

영상 표시 장치 및 그 동작 방법{Image display apparatus and operating method for the same}
다양한 실시예들은 영상 표시 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 영상 표시 장치에서 재생되는 동영상을 저장할 수 있는 영상 표시 장치 및 영상 표시 방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 영상표시장치는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 최근에는 디지털 방송 기능에 더하여 다양한 컨텐츠를 제공하는 스마트 티브이가 제공되고 있다. 스마트 티브이는 사용자의 선택에 따라 수동적으로 동작하는 것이 아니라, 사용자의 조작 없이도 사용자가 원하는 것을 분석하여 제공하는 것을 목표로 한다.
다양한 실시예들은, 사용자의 얼굴 표정 변화가 검출된 시점을 기준으로 재생되는 동영상을 저장할 수 있는 영상 표시 장치 및 영상 표시 방법을 제공할 수 있다.
일 실시예에 따른 영상 표시 장치는, 사용자의 얼굴을 촬영하는 카메라부, 영상 표시 장치에서 재생 중인 동영상을 표시하는 디스플레이부 및 개인 동영상 녹화(PVR: Personal Video Recording) 모드로 진입하면, 상기 촬영된 사용자의 얼굴 영상에서 표정 변화를 검출하고, 상기 표정 변화가 검출되면, 상기 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 상기 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 상기 동영상을 저장부에 저장하는 제어부를 포함할 수 있다.
일 실시예에 따른 영상 표시 장치는, 상기 개인 동영상 녹화 모드를 선택하는 사용자 입력을 감지하는 감지부를 더 포함하고, 상기 제어부는, 상기 개인 동영상 녹화 모드를 선택하는 사용자 입력이 감지되면, 상기 개인 동영상 녹화 모드로 진입할 수 있다.
일 실시예에 따른 감지부는 상기 제1 시점부터 상기 제2 시점까지의 시간을 설정하는 사용자 입력을 감지할 수 있다.
일 실시예에 따른 저장부는, 상기 개인 동영상 녹화 모드로 진입하면, 상기 개인 동영상 녹화 모드 진입 시점부터 재생되는 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장할 수 있다.
일 실시예에 따른 제어부는, 미리 저장된 상기 사용자의 제1 얼굴 영상과 상기 카메라부에서 촬영되는 상기 사용자의 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출할 수 있다.
일 실시예에 따른 제어부는, 상기 개인 동영상 녹화 모드 진입 시에 상기 사용자의 얼굴을 촬영하여 획득한 제1 얼굴 영상과, 상기 개인 영상 녹화 모드 진입 후에 주기적으로 상기 사용자의 얼굴을 촬영하여 획득한 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출할 수 있다.
일 실시예에 따른 제어부는, 상기 저장되는 동영상에 대응하는 오디오를 상기 저장부에 저장할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 시점부터 제2 시점까지 재생되는 상기 동영상에 포함되는 프레임들 중 일부 프레임들을 상기 저장부에 저장할 수 있다.
일 실시예에 따른 디스플레이부는, 상기 저장된 동영상을 나타내는 아이콘을 표시할 수 있다.
일 실시예에 따른 아이콘은, 상기 사용자의 표정 변화가 검출된 시점에 촬영된 상기 사용자의 얼굴 영상 및 상기 저장된 동영상을 나타내는 썸네일 이미지 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 영상 표시 장치는 아이콘을 선택하는 사용자 입력을 감지하는 감지부를 더 포함하고, 상기 제어부는, 상기 아이콘을 선택하는 사용자 입력이 감지되면, 상기 아이콘에 대응하는 동영상을 재생할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작방법은, 영상 표시 장치에서 재생 중인 동영상을 표시하는 단계, 개인 동영상 녹화 모드로 진입하는 단계, 사용자의 얼굴을 촬영하는 단계, 상기 촬영된 사용자의 얼굴 영상에서 표정 변화를 검출하는 단계 및 상기 표정 변화가 검출되면, 상기 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 상기 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 상기 동영상을 저장하는 단계를 포함할 수 있다.
일 실시예에 따른 개인 동영상 녹화 모드로 진입하는 단계는, 상기 개인 동영상 녹화 모드를 선택하는 사용자 입력을 감지하는 단계 및 상기 개인 동영상 녹화 모드를 선택하는 사용자 입력이 감지되면, 상기 개인 동영상 녹화 모드로 진입하는 단계를 포함할 수 있다.
일 실시예에 따른 개인 동영상 녹화 모드로 진입하는 단계는, 상기 제1 시점부터 상기 제2 시점까지의 시간을 설정하는 사용자 입력을 감지하는 단계를 더 포함할 수 있다.
일 실시예에 따른 동작방법은, 상기 개인 동영상 녹화 모드로 진입하면, 상기 개인 동영상 녹화 모드 진입 시점부터 재생되는 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 표정 변화를 검출하는 단계는, 미리 저장된 상기 사용자의 제1 얼굴 영상과 상기 카메라부에서 촬영되는 상기 사용자의 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 표정 변화를 검출하는 단계는, 상기 개인 동영상 녹화 모드 진입 시에 상기 사용자의 얼굴을 촬영하여 획득한 제1 얼굴 영상과, 상기 개인 영상 녹화 모드 진입 후에 주기적으로 상기 사용자의 얼굴을 촬영하여 획득한 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작 방법은, 상기 저장되는 동영상에 대응하는 오디오를 상기 저장부에 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 동영상을 저장하는 단계는, 상기 제1 시점부터 제2 시점까지 재생되는 상기 동영상에 포함되는 프레임들 중 일부 프레임들을 상기 저장부에 저장하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작방법은, 상기 저장된 동영상을 나타내는 아이콘을 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작방법은, 상기 아이콘을 선택하는 사용자 입력을 감지하는 단계 및 상기 아이콘을 선택하는 사용자 입력이 감지되면, 상기 아이콘에 대응하는 동영상을 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 사용자의 얼굴 표정 변화가 검출된 시점을 기준으로 재생되는 동영상을 개인 동영상으로 저장하므로, 시청 여부가 아닌 사용자가 실제로 재미를 느낀 동영상을 저장할 수 있다.
사용자의 얼굴 표정 변화가 검출된 시점을 기준으로 재생되는 동영상을 다른 사용자와 공유함으로써, 다른 사용자와 대화소재로 사용할 수 있다.
도 1은 일 실시예에 따른 영상 표시 장치 및 제어 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 4는 도 3의 저장부(190)에 저장된 소프트웨어 구성을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 제어 장치의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 제어 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시예에 따른 개인 동영상 녹화 모드로 진입하기 위한 메뉴가 표시되는 일 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 영상 표시 장치가 개인 동영상 녹화 모드에서 동작하는 방법을 설명하기 위해 참조되는 도면이다.
도 8은 일 실시예에 따른 영상 표시 장치가 개인 동영상 녹화 모드에서 동작하는 방법을 설명하기 위해 참조되는 도면이다.
도 9는 일 실시예에 따른 영상 표시 장치가 사용자 얼굴 영상에서 표정 변화를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 10은 일 실시예에 따른 영상 표시 장치가 표정 변화가 검출되었을 때, 동영상을 녹화하는 방법을 설명하기 위해 참조되는 도면이다.
도 11 및 도 12는 일 실시예에 따른 개인 동영상 녹화 모드에서 알림 메시지들이 표시되는 일 예를 나타내는 도면들이다.
도 13은 일 실시예에 따른 개인 동영상 리스트가 표시되는 일 예를 나타내는 도면이다.
도 14는 일 실시예에 따른 영상 표시 장치가 서버를 통하여, 개인 동영상을 공유하는 일 예를 나타내는 도면이다.
도 15는 일 실시예에 따른 영상 표시 장치의 동작방법을 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른, 영상 표시 장치 및 제어 장치를 나타내는 도면이다.
도 1에 도시된 바와 같이, 영상 표시 장치(100)는 TV일 수 있으나, 이는 일 실시예에 불과하며, 디스플레이부를 포함하는 전자 장치로 구현될 수 있다. 예를 들어, 영상 표시 장치(100)는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 특히, 실시예들은 TV와 같이 디스플레이부가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 영상 표시 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
영상 표시 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 영상 표시 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
영상 표시 장치(100)는 카메라(132a)를 포함할 수 있다. 카메라(132a)는 이미지 센서에 의해 획득되는 정지 영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 카메라(132a)는 사용자의 요청이 있는 경우, 또는 주기적으로 사용자의 얼굴을 촬영하여, 사용자의 얼굴 영상을 획득할 수 있다. 일 실시예에 따르면, 영상 표시 장치(100)는 개인 동영상 녹화(PVR: Personal Video Recording) 모드로 진입하기 위한 명령을 수신하는 경우, 카메라(132a)에서 사용자의 얼굴을 촬영하도록 제어할 수 있다.
카메라(132a)는 사용자의 얼굴을 촬영할 수 있도록 영상 표시 장치(100)의 상단에 위치할 수 있으나, 이에 한정되지 않으며, 영상 표시 장치의 설계자, 또는 사용자에 의해 설치 위치가 다양하게 변경될 수 있다.
본 명세서의 실시예에서 “사용자”라는 용어는 제어 장치(200)를 이용하여 영상 표시 장치(100)의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
제어 장치(200)는 리모컨 또는 휴대폰과 같이 영상 표시 장치(100)를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다.
또한, 제어 장치(200)는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 영상 표시 장치(100)를 제어할 수 있다. 제어 장치(200)는 구비된 키(버튼을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치(200)의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여 영상 표시 장치(100)의 기능을 제어할 수 있다.
제어 장치(200)는 영상 표시 장치(100)의 전원을 온 시키거나 오프 시키기 위한 전원 온/오프 버튼을 포함한다. 제어 장치(200)는 또한 사용자 입력에 의해 영상 표시 장치(100)의, 채널 변경, 음량 조정, 지상파 방송/케이블 방송/위성 방송 선택, 또는 환경 설정(setting)을 할 수 있다.
일 실시예에 따르면, 영상 표시 장치(100)는, 사용자가 제어 장치(200)를 이용하여 개인 동영상 녹화 모드를 선택하는 입력 및 개인 동영상 녹화 시간을 설정하는 입력을 감지할 수 있다.
또한, 제어 장치(200)는 포인팅 장치일 수도 있다. 예를 들어, 제어 장치(200)는 특정 키 입력을 수신하는 경우에, 포인팅 장치로 동작할 수 있다.
영상 표시 장치(100)는 제어 장치(200)를 상, 하, 좌, 우로 움직이거나 임의의 방향으로 기울이는 사용자 입력에 의해 제어될 수 있다. 제어 장치(200)의 센서를 통하여 감지된 제어 장치(200)의 움직임에 관한 정보는, 영상 표시 장치(100)로 전송될 수 있다. 영상 표시 장치(100)는 제어 장치(200)의 움직임에 관한 정보로부터 디스플레이부 상의 커서의 좌표를 산출하고, 산출된 좌표에 대응되도록 커서를 이동시킬 수 있다. 이에 따라, 영상 표시 장치(100)의 디스플레이부 상의 커서가 이동되거나 표시된 다양한 메뉴들이 활성화될 수 있다.
또는, 제어 장치(200)가 터치 패드를 포함하는 경우, 터치 패드 상에서 움직이는 사용자의 손가락과 같은 피사체의 변위 값에 따라 영상 표시 장치(100)의 디스플레이부 상의 커서가 이동되거나 표시된 다양한 메뉴들이 선택적으로 활성화될 수 있다.
도 2 는 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다. 도 2의 영상 표시 장치(100a)는 도 1의 영상 표시 장치(100)의 일 실시예일 수 있다.
도 2를 참조하면, 일 실시예에 따른 영상표시장치(100a)는 카메라부(132), 제어부(110), 디스플레이부(120) 및 저장부(190)를 포함할 수 있다.
카메라부(132)는 렌즈(도시되지 아니함) 및 이미지 센서(도시되지 아니함)로 구성될 수 있으며, 카메라부(132)는 도 1에 도시된 카메라(132a)를 포함할 수 있다. 카메라부(132)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 카메라부(132)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 카메라부(132)가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.
일 실시예에 따른 카메라부(132)는 영상 표시 장치(100a)가 개인 동영상 녹화 모드로 진입하면, 사용자의 얼굴을 촬영할 수 있다. 또한, 카메라부(132)는 촬영된 얼굴 영상을 제어부(110)로 출력할 수 있다.
또한, 카메라부(132)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 예를 들어, 카메라부(132)의 인식 범위는 카메라부(132)에서부터 사용자까지 0.1 ~ 5 m 이내 거리가 될 수 있다. 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 카메라부(132)는 제어부(110)의 제어에 따라 수신된 영상을 전기 신호로 변환하여 제어부(110)로 출력할 수 있다.
제어부(110)는 수신된 모션의 인식 결과를 이용하여 영상 표시 장치(100a)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동, 커서 이동을 포함할 수 있다.
한편, 카메라부(132)는 영상 표시 장치(100a)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 카메라부(132)를 포함하는 별도의 장치(도시되지 아니함)는 통신부 또는 입/출력부를 통해 영상 표시 장치(100a)와 전기적으로 연결될 수 있다.
디스플레이부(120)는, 제어부(110)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(120)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(120)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른, 디스플레이부(120)는 영상 표시 장치(100a)에서 재생 중인 동영상을 표시할 수 있다. 또한, 디스플레이부(120)는 개인 동영상 녹화 모드 동작 중에 다양한 알림 메시지를 표시할 수 있다. 또한, 디스플레이부(120)는 저장된 동영상을 나타내는 아이콘을 표시할 수 있으며, 아이콘은 사용자의 표정 변화가 검출된 시점에 촬영된 사용자의 얼굴 영상 및 저장된 동영상을 나타내는 썸네일 이미지 중 적어도 하나를 포함할 수 있다.
제어부(110)는 영상 신호를 처리하여 디스플레이부(120)로 입력할 수 있다. 이에 따라, 해당 영상 신호에 대응하는 영상이 디스플레이부(120)에 표시될 수 있다. 또한, 제어부(110)는 수신한 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100a)를 제어할 수 있다.
일 실시예에 따른 제어부(110)는 카메라부(132)로부터 수신한 사용자의 얼굴 영상에서 표정 변화를 검출할 수 있다. 제어부(110)는 미리 저장된 사용자의 제1 얼굴 영상과 카메라부(132)에서 촬영된 사용자의 제2 얼굴 영상을 비교하여, 표정 변화를 검출할 수 있다. 또는, 제어부(110)는 개인 동영상 녹화 모드 진입 시에 촬영된 사용자의 제1 얼굴 영상과 개인 동영상 녹화 모드 진입 후에 주기적으로 촬영된 사용자의 제2 얼굴 영상을 비교하여, 표정 변화를 검출할 수 있다. 다만, 이에 한정되지 않는다.
제어부(110)는 표정 변화가 검출되면, 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 동영상을 저장부(150)에 저장할 수 있다.
저장부(190)는 제어부(110)의 제어에 의해 영상 표시 장치(100b)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
저장부(190)는 영상 표시 장치(100a) 및 제어부의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에 따른 저장부(150)는 개인 동영상 녹화 모드로 진입하면, 개인 동영상 녹화 모드 진입 시점부터 재생되는 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장할 수 있다. 이에 따라, 표정 변화가 검출된 시점의 이전에 재생되었던 동영상 프레임도 개인 동영상으로 저장할 수 있다.
도 3은 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다. 도 3의 영상 표시 장치(100b)는 도 1의 영상 표시 장치(100)의 일 실시예일 수 있다.
도 3을 참조하면, 일 실시예에 따른 영상 표시 장치(100b)는 카메라부(132), 제어부(110), 디스플레이부(120) 및 저장부(190) 이외에 비디오 처리부(110), 오디오 처리부(120), 오디오 출력부(125), 전원부(160), 튜너부(140), 통신부(150), 감지부(130), 입/출력부(170)를 더 포함할 수도 있다.
카메라부(132), 제어부(110), 디스플레이부(120) 및 저장부(190)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략하기로 한다.
비디오 처리부(180)는, 영상 표시 장치(100b)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(120)는 제어부(110)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이부(120)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(120)는 제어부(110)의 제어에 의해 저장부(190)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이부(120)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
오디오 처리부(115)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(115)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(125)는 제어부(180)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(125)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(125)는 제어부(180)의 제어에 의해 저장부(190)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(125)는 스피커(126), 헤드폰 출력 단자(127) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(128) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(125)는 스피커(126), 헤드폰 출력 단자(127) 및 S/PDIF 출력 단자(128)의 조합을 포함할 수 있다.
전원부(160)는 제어부(110)의 제어에 의해 영상 표시 장치(100b) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(160)는 제어부(110)의 제어에 의해 영상 표시 장치(100b) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
튜너부(140)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)는 사용자 입력(예를 들어, 제어 장치(200)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호(예를 들어, 케이블 방송 506번)에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(140)은 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수 도 있다. 튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 제어부(110)의 제어에 의해 저장부(190)에 저장될 수 있다.
영상 표시 장치(100b)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 영상 표시 장치(100b)와 일체형(all-in-one)으로 구현되거나 또는 영상 표시 장치(100b)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(150)는 제어부(110)의 제어에 의해 영상 표시 장치(100b)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 제어부는 통신부(150)를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)은 디스플레이 장치(100)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)은 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다. 통신부(150)는 제어부(110)의 제어에 의해 제어 장치(200)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
예를 들어, 통신부(150)는 블루투스(152) 통신을 통하여, 제어 장치(200)로부터 블루투스 타입의 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 신호를 수신할 수 있다. 통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)을 더 포함할 수 있다.
감지부(130)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(131), 카메라부(132) 및 광 수신부(133)를 포함할 수 있다. 카메라부(132)는 도 2의 카메라부(132)와 동일한 구성이므로, 구체적인 설명은 생략하기로 한다.
마이크(131)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(131)는 수신된 음성을 전기 신호로 변환하여 제어부(110)로 출력할 수 있다. 사용자 음성은 예를 들어, 영상 표시 장치(100b)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 마이크(131)의 인식 범위는 마이크(131)에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크(161)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.
일 실시예에 따라 제어부(110)가 영상 표시 장치(100b)를 시청하는 사용자의 아이덴티티를 식별하는데 사용할 수 있도록 마이크(131)는 사용자의 발화된 음성 등을 수신하고 수신된 음성 데이터를 제어부(110)로 출력할 수 있다.
마이크(131)는 영상 표시 장치(100b)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크(131)는 통신부(150) 또는 입/출력부(170)를 통해 영상 표시 장치(100b)와 전기적으로 연결될 수 있다.
영상 표시 장치(100b)의 성능 및 구조에 따라 마이크(131)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
광 수신부(133)는 외부의 제어 장치(200)에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(120)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(133)는 제어 장치(200)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 제어부(110)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(170)는 제어부(110)의 제어에 의해 영상 표시 장치(100b)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는 HDMI 포트(High-Definition Multimedia Interface port, 171), 컴포넌트 잭(component jack, 172), PC 포트(PC port, 173), 및 USB 포트(USB port, 174) 중 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174)의 조합을 포함할 수 있다.
입/출력부(170)의 구성 및 동작은 본 발명의 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
제어부(110)는 영상 표시 장치(100b)의 전반적인 동작 및 영상 표시 장치(100b)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(190)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
제어부(110)는 영상 표시 장치(100b)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 영상 표시 장치(100b)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 181), 영상 표시 장치(100b)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 182) 및 프로세서(Processor, 183)를 포함할 수 있다.
프로세서(183)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(183)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(183)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 프로세서(183)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(183)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
그래픽 처리부(184)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(130)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(120)의 디스플레이 영역 내에 표시된다.
제1 내지 n 인터페이스(185-1 내지 185-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
램(181), 롬(182), 프로세서(183), 그래픽 처리부(184), 제1 내지 n 인터페이스(185-1 내지 185-n)는 내부 버스(bus)(186)를 통해 상호 연결될 수 있다.
본 실시예에서 “영상 표시 장치의 제어부”라는 용어는 프로세서(183), 롬(182) 및 램(181)을 포함한다.
저장부(190)는 비디오 처리부(180), 디스플레이부(120), 오디오 처리부(115), 오디오 출력부(125), 전원부(130), 튜너부(140), 통신부(150), 감지부(130), 입/출력부(170)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
일 실시예에서 “저장부” 라는 용어는 저장부(190), 제어부의 롬(182), 램(181) 또는 영상 표시 장치(100b)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 저장부(190)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
저장부(190)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 저장부(190)의 도시되지 아니한 모듈들 및 데이터 베이스는 영상 표시 장치(100b)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 제어부(110)는 저장부(190)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
또한, 디스플레이부(120)를 가지는 영상 표시 장치(100b)는 튜너부를 가지는 별도의 외부 장치(예를 들어, 셋탑 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다. 예를 들어, 영상 표시 장치(100b)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
영상 표시 장치(100b)는 영상 표시 장치(100b)의 내부 또는 외부 상태를 검출하는 센서(예를 들어, 조도 센서, 온도 센서 등, 도시되지 아니함)를 포함할 수 있다.
한편, 도 2 및 3에 도시된 영상표시장치(100a, 110b)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 4는 도 3의 저장부(190)에 저장된 소프트웨어 구성을 설명하기 위한 도면이다.
도 4를 참조하면, 저장부(190)에는 베이스 모듈(191), 센싱 모듈(192), 통신 모듈(193), 프리젠테이션 모듈(194), 웹 브라우저 모듈(195), 서비스 모듈(196)을 포함하는 소프트웨어가 저장될 수 있다.
베이스 모듈(191)이란 영상 표시 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 베이스 모듈(191)은 스토리지 모듈(191-1), 보안 모듈(191-2) 및 네트워크 모듈(191-3) 등을 포함한다. 스토리지 모듈(191-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 프로세서(183)는 스토리지 모듈(191-1)을 이용하여 저장부(190) 내의 데이터베이스에 액세스하여, 각종 데이터를 독출할 수 있다. 보안 모듈(191-2)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이다. 그리고 네트워크 모듈(191-3)은 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
센싱 모듈(192)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 센싱 모듈(192)은 헤드 방향 인식 모듈, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다.
통신 모듈(193)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(193)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(193-1), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 텔레포니 모듈(193-2)을 포함할 수 있다.
프리젠테이션 모듈(194)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(194)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(194-1), UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈(194-2)을 포함한다. 멀티미디어 모듈(194-1)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI 렌더링 모듈(194-2)은 이미지를 조합하는 이미지 합성기(Image Compositor module), 이미지를 디스플레이할 화면상의 좌표를 조합하여 생성하는 좌표 조합 모듈, 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
웹 브라우저 모듈(195)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(195)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
서비스 모듈(196)은 다양한 서비스를 제공하기 위한 각종 애플리케이션(application)을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(196)은 SNS 프로그램, 컨텐츠 재생 프로그램, 게임 프로그램, 전자 책 프로그램, 달력 프로그램, 알람 관리 프로그램, 기타 위젯 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.
도 4에서는 다양한 프로그램 모듈들을 도시하였으나, 도시된 각종 프로그램 모듈들은 영상 표시 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 위치 기반 모듈을 더 포함하는 형태로 구현될 수 있다.
도 5는 일 실시예에 따른 제어 장치의 구성을 나타내는 블록도이다.
도 5를 참조하면, 제어 장치(200)는 무선 통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270) 및 제어부(280)를 포함할 수 있다.
무선 통신부(220)는 전술하여 설명한 실시예들에 따른 영상 표시 장치들 중 임의의 어느 하나와 신호를 송수신할 수 있다. 무선 통신부(220)는 RF 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비할 수 있다. 또한, 제어 장치(200)는 IR 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈을 구비할 수 있다.
본 실시예에서, 제어 장치(200)는 영상표시장치(100)로 제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(221)을 통하여 전송한다.
또한, 제어 장치(200)는 영상 표시 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있다. 또한, 제어 장치(200)는 필요에 따라 IR 모듈(223)을 통하여 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 제어 장치(200)로 영상 표시 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드 키 버튼을 구비할 경우, 사용자는 하드 키 버튼의 푸쉬 동작을 통하여 제어 장치(200)로 영상 표시 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트 키를 터치하여 제어 장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
예를 들어, 사용자 입력부(230)는 4 방향 버튼 또는 4 방향 키를 포함할 수 있다. 4 방향 버튼 또는 4 방향 키는 디스플레이부(120)에 표시되는 메뉴, 애플리케이션, 또는 아이템 등을 제어하는데 이용될 수 있다. 4방향 키나 버튼은 상, 하, 좌, 우 이동을 지시하는데 이용될 수 있다. 또한, 제2 사용자 입력부(230)는 4방향 키나 4 방향 버튼 대신에 2 방향 키나 2방향 버튼을 포함할 수 있음을 당업자에 의해 이해될 수 있을 것이다.
또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력 수단을 구비할 수 있다.
또한, 사용자 입력부(230)는 터치 패드를 포함할 수 있다. 일 실시예에 따른 사용자 입력부(230)는 제어 장치(200)의 터치 패드를 통해 드래그(drag), 터치(touch) 또는 플립(flip)하는 사용자 입력을 수신할 수 있다. 또한, 수신한 사용자 입력의 종류(예를 들면, 드래그 명령이 입력된 방향, 터치 명령이 입력된 시간)에 따라, 영상 표시 장치(100)가 제어될 수 있다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있다. 자이로 센서(241)는 제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다. 일예로, 자이로 센서(241)는 제어 장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있다. 가속도 센서(243)는 제어 장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리 측정 센서를 더 구비할 수 있으며, 이에 의해, 영상 표시 장치(100)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 영상 표시 장치(100)에서 수신한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 영상 표시 장치(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 영상표시장치(100)와 신호가 송수신되면 점등되는 LED 모듈, 진동을 발생하는 진동 모듈, 음향을 출력하는 음향 출력 모듈, 또는 영상을 출력하는 디스플레이 모듈을 구비할 수 있다.
전원 공급부(260)는 제어 장치(200)로 전원을 공급한다. 전원 공급부(260)는 제어 장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원 공급부(260)는 제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 제어 장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다.
제어부(280)는 제어 장치(200)의 제어에 관련된 제반 사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 제어 장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 영상 표시 장치(100)로 전송할 수 있다.
영상 표시 장치(100)는, 제어 장치(200)의 동작에 대응하는 커서의 좌표값을 산출할 수 있는 좌표값 산출부(미도시)를 포함할 수 있다.
좌표값 산출부(미도시)는 감지된 제어장치(200)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이부(120)에 표시할 커서의 좌표값(x,y)을 산출할 수 있다.
또한, 감지부(130)를 통하여 감지된 제어 장치(200)의 전송 신호는 영상 표시 장치(100)의 제어부(110)로 전송된다. 제어부(110)는 제어 장치(200)가 전송한 신호로부터 제어 장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상 표시 장치(100)를 제어할 수 있다.
또 다른 예로, 제어장치(200)는, 그 동작에 대응하는 커서의 좌표값을 산출하여 영상표시장치(100)로 전송할 수 있다. 이 경우, 영상표시장치(100)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 커서의 좌표값에 관한 정보를 제어부(110)로 전송할 수 있다.
도 6은 일 실시예에 따른 개인 동영상 녹화 모드로 진입하기 위한 메뉴가 표시되는 일 예를 나타내는 도면이다.
도 6을 참조하면, 영상 표시 장치(100)는 제어 장치(200)에 포함된 메뉴 키를 누르는 사용자 입력을 감지할 수 있다. 영상 표시 장치(100)는 감지되는 사용자 입력에 대응하여, 디스플레이부(120)에 메뉴 화면(310)을 표시할 수 있다. 다만, 메뉴 화면(310)을 표시하는 사용자 입력은 키를 누르는 입력에 한정되지 않는다.
메뉴 화면(310)은 메뉴 항목들을 포함할 수 있다. 메뉴 항목은 개인 동영상 녹화(PVR) 항목, 화면 항목, 음향 항목, 채널/방송 항목, 네트워크 항목, 시스템 항목 등을 포함할 수 있다. 다만, 이에 한정하는 것은 아니다.
메뉴 화면(310)이 표시되고, 영상 표시 장치(100)는, 제어 장치(200)를 이용하여 메뉴 화면(310)에 포함되는 메뉴 항목들 중 어느 하나의 항목을 선택하는 사용자 입력을 감지할 수 있다.
도 6에 도시된 바와 같이, 개인 동영상 녹화(PVR) 항목이 선택되면, 디스플레이부(120)는 개인 동영상 녹화와 관련된 설정 화면(320)을 표시할 수 있다. 예를 들어, 설정 화면(320)에서는 개인 동영상 녹화 시간을 설정할 수 있다. 개인 동영상 녹화 시간은, 사용자의 얼굴 영상에서 표정 변화가 검출되었을 때, 재생되는 동영상을 개인 동영상으로 녹화(저장)하는 시간을 의미한다.
예를 들어, 녹화 시간이 “전후 30초”로 설정되는 경우, 사용자의 얼굴 표정의 변화가 검출된 제1 시점을 기준으로, 제1 시점 이전 30초부터 제1 시점 이후 30초까지 재생되는 동영상을 저장하도록 제어할 수 있다. 또한, 녹화 시간이 “전후 1분”으로 설정되는 경우, 사용자의 얼굴 표정의 변화가 검출된 제1 시점을 기준으로, 제1 시점 이전 1분부터 제1 시점 이후 1분까지 재생되는 동영상을 저장하도록 제어할 수 있다.
한편, “사용자 설정”이 선택되는 경우, 개인 동영상의 전체 녹화 시간 및 전체 녹화 구간 중 사용자의 얼굴 표정의 변화가 검출된 시점의 위치를 설정할 수 있다. 이에 따라, 얼굴 표정 변화가 검출된 시점 이전에 녹화하는 시간과 얼굴 표정 변화가 검출된 시점 이후에 녹화하는 시간을 사용자가 직접 설정할 수 있다. 예를 들어, 녹화 시간이 1분 30초로 설정되고, 얼굴 표정 변화가 검출된 시점이 전체 녹화 구간인 “1분 30초” 중에서 “20초”에 대응하는 위치로 설정되는 경우, 영상 표시 장치(100)는 얼굴 표정 변화가 검출된 제1 시점 이전 20초부터 제1 시점 이후 1분 10초까지 재생되는 동영상을 저장할 수 있다.
도 7은 일 실시예에 따른 영상 표시 장치가 개인 동영상 녹화 모드에서 동작하는 방법을 설명하기 위해 참조되는 도면이다.
도 7을 참조하면, 영상 표시 장치(100)는 개인 동영상 녹화 모드로 진입하면, 카메라(132a)를 동작시켜, 사용자의 얼굴을 촬영할 수 있다.
또한, 디스플레이부(120)는 개인 동영상 녹화 모드로 동작되고 있음을 알리는 메시지(410)를 표시할 수 있다. 이때, 메시지(410)는 디스플레이부(120)의 기 설정된 영역에 표시될 수 있으며, 계속해서 표시되지 않고, 기 설정된 주기로 표시되다가 사라질 수 있다. 또한, 영상 표시 장치(100)는 사용자 입력에 기초하여, 메시지(410)가 표시되지 않도록 제어할 수 있다.
일 실시예에 따른 디스플레이부(120)는 메시지(410)를 표시함으로써, 사용자에게 영상 표시 장치(100)가 개인 동영상 녹화 모드로 동작 중임을 나타낼 수 있다.
도 8은 일 실시예에 따른 영상 표시 장치가 개인 동영상 녹화 모드에서 동작하는 방법을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 일 실시예에 따른 영상 표시 장치(100)는 개인 영상 녹화 모드로 진입하는 시점부터, 재생되는 동영상을 임시 저장할 수 있다. 예를 들어, 영상 표시 장치(100)는 재생되고 있는 동영상의 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장할 수 있다.
영상 표시 장치(100)는 임시 저장된 동영상 프레임의 수가 기 설정된 프레임 수와 같아지면, 가장 최근에 저장된 동영상 프레임의 다음 동영상 프레임을 저장할 때, 저장된 동영상 프레임들 중 가장 먼저 저장된 프레임을 삭제하고, 다음 동영상 프레임을 저장할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 저장부(190)가 7개의 프레임을 임시 저장하는 경우, 개인 동영상 녹화 모드로 진입한 시점부터 재생되는 7개의 프레임(510, 520, 530, 540, 550, 560, 570)을 순차적으로 저장하고(R1), 7번째 프레임(570)의 다음 프레임인 8번째 프레임(580)이 재생될 때, 가장 먼저 저장된 첫번째 프레임(510)을 삭제하고, 8번째 프레임(580)을 저장할 수 있다(R2). 또한, 이와 동일하게 9번째 프레임(590)이 재생될 때, 두번째 프레임(520)을 삭제하고 9번째 프레임(590)을 저장할 수 있다(R3).
이때, 저장부(190)에 임시 저장되는 프레임들의 개수(기 설정된 개수)는 도 6에서 설정된 개인 동영상 녹화시간에 대응하는 프레임의 개수와 동일하거나 더 많다.
도 9는 일 실시예에 따른 영상 표시 장치가 사용자 얼굴 영상에서 표정 변화를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 9를 참조하면, 영상 표시 장치(100)는 사용자의 제1 얼굴 영상(610)과 제2 얼굴 영상(620)을 비교하여 표정 변화를 검출할 수 있다.
예를 들어, 표정이 없는 사용자의 얼굴 영상(제1 얼굴 영상, 610)과 카메라에서 촬영된 사용자의 얼굴 영상(제2 얼굴 영상, 620)을 비교하여, 표정 변화를 검출할 수 있다. 이때, 표정이 없는 사용자의 얼굴 영상은 사용자에 의해 미리 저장된 영상일 수 있다.
또는, 영상 표시 장치(100)는 개인 영상 녹화 모드 진입 시에 촬영된 사용자의 얼굴 영상(제1 얼굴 영상, 610)과 개인 영상 녹화 모드 진입 후에 주기적으로 촬영된 사용자의 얼굴 영상(제2 얼굴 영상, 620)을 비교하여, 표정 변화를 검출할 수 있다.
영상 표시 장치(100)는 사용자의 얼굴 영상에서 특정 요소들에 기초하여, 표정 변화를 검출할 수 있다. 예를 들어, 제1 얼굴 영상(610) 및 제2 얼굴 영상(620)에서 두 눈의 간격, 눈의 크기(가로폭), 입의 크기(세로폭), 얼굴의 윤곽 등의 데이터를 획득하고, 제1 얼굴 영상보다 제2 얼굴 영상에서 눈이 커지는지, 눈이 가늘어지는지, 눈꼬리가 내려가는지, 입이 벌어지는지, 입꼬리가 올라가는지 등의 특정 요소들에 기초하여, 표정 변화를 검출할 수 있다.
또한, 영상 표시 장치(100)는 특정 요소들에 기초하여, 검출된 표정 변화의 종류를 결정할 수 있다. 예를 들어, 제2 얼굴 영상(620)에서 제1 얼굴 영상(610)에서보다 눈이 가늘어지고 눈꼬리가 내려가며, 입꼬리가 올라가는 표정 변화가 검출된 경우, 검출된 표정 변화를 웃는 표정으로 결정할 수 있다. 표정 변화의 종류는 웃는 표정 이외에도 슬픈 표정, 놀란 표정, 무서운 표정 등을 포함할 수 있다.
도 10은 일 실시예에 따른 영상 표시 장치가 표정 변화가 검출되었을 때, 동영상을 녹화하는 방법을 설명하기 위해 참조되는 도면이다.
도 10을 참조하면, 영상 표시 장치(100)는 사용자의 얼굴 영상에서 표정 변화가 검출된 시점을 기준으로 재생되고 있는 동영상을 저장할 수 있다. 예를 들어, 영상 표시 장치(100)는 표정 변화가 검출된 시점(T’)의 이전 시점인 제1 시점(T1)부터 표정 변화가 검출된 시점의 이후 시점인 제2 시점(T2)까지 재생되는 동영상을 저장부에 저장할 수 있다.
제1 시점(T1)부터 제2 시점(T2)까지의 시간(T3)은 도 6에서 설명한 바와 같이, 사용자에 의해 미리 설정될 수 있다.
예를 들어, 사용자가 표정 변화가 검출된 시점(T’)을 기준으로 이전 20초, 이후 50초 동안 재생되는 동영상을 녹화하도록 설정하였을 때, 영상 표시 장치는 표정 변화가 검출된 시점(T’)으로부터 20초 이전 시점(T1)부터 표정 변화가 검출된 시점(T’)으로부터 50초 이후 시점(T2)까지 재생되는 동영상에 포함되는 프레임들(710, 720, 730, 740, 750, 760, 770)을 저장할 수 있다. 도 10에 도시된 바와 같이, 영상 표시 장치(100)는 4번째 프레임(710)부터 10번째 프레임(770)까지 저장할 수 있다.
또는, 영상 표시 장치(100)는 도 10에 도시된 바와 같이, 표정 변화가 검출된 시점으로부터 20초 이전 시점부터 표정 변화가 검출된 시점으로부터 50초 이후 시점까지 재생되는 동영상에 포함되는 프레임들(710, 720, 730, 740, 750, 760, 770) 중 일부 프레임들(710, 730, 750, 770)을 샘플링하여 저장할 수 있다.
또한, 영상 표시 장치(100)는 저장되는 동영상에 대응하는 오디오 데이터를 저장할 수 있다. 한편, 영상 표시 장치(100)는 동영상에 포함되는 프레임들(710, 720, 730, 740, 750, 760, 770) 중 일부 프레임들(710, 730, 750, 770)만 샘플링하여 저장하더라도, 동영상에 포함되는 프레임들(710, 720, 730, 740, 750, 760, 770)에 대응하는 오디오 데이터를 저장할 수 있다. 다만, 이에 한정되는 것은 아니다.
도 11 및 도 12는 일 실시예에 따른 개인 동영상 녹화 모드에서 알림 메시지들이 표시되는 일 예를 나타내는 도면들이다.
도 11을 참조하면, 영상 표시 장치(100)는 개인 동영상 녹화 모드로 동작 중에, 사용자의 표정 변화가 검출되는 경우, 디스플레이부(120)에 표정 변화가 검출되었으며, 녹화를 진행하고 있음을 알리는 메시지(810)를 표시할 수 있다.
이때, 메시지(810)는 디스플레이부(120)의 기 설정된 영역에 표시될 수 있으며, 미리 설정된 시간 동안 표시되다가, 설정된 시간 이후에는 표시되지 않을 수 있다. 또한, 영상 표시 장치(100)는 사용자 입력에 기초하여, 메시지(810)가 표시되지 않도록 제어할 수 있다.
또한, 도 12를 참조하면, 영상 표시 장치(100)는 개인 동영상 녹화가 완료되면, 개인 동영상 녹화가 완료되었음과 함께 녹화된 동영상을 확인할지 여부를 묻는 메시지(820)를 표시할 수 있다. 이때, “예”를 선택하는 사용자 입력을 감지하는 경우, 영상 표시 장치(100)는 녹화된 개인 동영상 리스트를 표시하거나, 녹화된 개인 동영상을 재생시킬 수 있다. 개인 동영상 리스트에 대해서는 이하, 도 13에서 자세히 설명하기로 한다.
도 13은 일 실시예에 따른 개인 동영상 리스트가 표시되는 일 예를 나타내는 도면이다.
도 13을 참조하면, 개인 동영상 리스트는 사용자 입력에 기초하여 표시될 수 있다. 예를 들어, 도 12의 메시지(820)가 표시된 상태에서 “예”를 선택하는 사용자 입력을 감지하는 경우, 영상 표시 장치(100)는 개인 동영상 리스트(910)를 표시할 수 있다. 또는, 제어 장치(200)의 특정 키 입력을 감지하거나, 사용자의 특정 모션을 감지하는 경우, 개인 동영상 리스트(910)를 표시할 수 있다. 다만, 이에 한정하는 것은 아니다.
개인 동영상 리스트(910)는 디스플레이부(120)의 소정 영역에 표시될 수 있다. 예를 들어, 디스플레이부(120)가 21:9의 비율을 가지는 경우, 디스플레이부(120)에 16:9 영상을 표시하고, 남는 영역에 개인 동영상 리스트(910)를 표시할 수 있다. 또한, 영상 표시 장치(100)는 디스플레이부(120)의 미리 설정된 특정 영역에 커서가 위치하는 경우에만, 특정 영역에 개인 동영상 리스트(910)를 표시할 수 있다. 이에 따라, 사용자는 필요 시에만 특정 영역으로 커서를 이동시켜 개인 동영상 리스트(910)를 확인할 수 있다.
도 13을 참조하면, 개인 동영상은 사용자 별로 분류될 수 있다. 예를 들어, 영상 표시 장치(100)는 표정 변화가 검출된 사용자 얼굴 영상을 이용하여, 개인 동영상에 대응하는 사용자를 식별할 수 있다.
예를 들어, 영상 표시 장치(100)는 제1 개인 동영상을 녹화할 때, 표정 변화를 검출한 사용자 얼굴 영상과 제2 개인 동영상을 녹화할 때, 표정 변화를 검출한 사용자 얼굴 영상이 동일성 범위 내에 있지 않은 경우, 제1 개인 동영상과 제2 개인 동영상은 서로 다른 사용자의 개인 동영상으로 판단할 수 있다. 또한, 제3 개인 동영상을 녹화할 때, 표정 변화를 검출한 사용자 얼굴 영상이 제1 개인 동영상을 녹화할 때 표정 변화를 검출한 사용자 얼굴 영상과 동일한 범위 내에 있는 경우, 제1 개인 동영상과 제3 개인 동영상을 동일한 사용자의 개인 동영상으로 판단할 수 있다.
저장된 개인 동영상은 아이콘(920)으로 표시될 수 있다. 이때, 아이콘(920)은 사용자의 표정 변화가 검출된 시점에 촬영된 사용자의 얼굴 영상을 포함할 수 있다. 또는, 녹화된 동영상을 나타내는 썸네일 영상을 포함할 수 있다.
한편, 도 13에 도시된 바와 같이, 커서를 아이콘(920)에 위치시키면, 아이콘(920)에 대응하는 동영상에 대한 정보가 표시될 수 있다. 예를 들어, 동영상의 컨텐츠 명, 동영상의 방송 시간 정보, 재생 시간 정보, 동영상이 녹화될 때 검출된 사용자의 표정 정보 등을 포함할 수 있다.
또한, 영상 표시 장치(100)는 아이콘(920)을 선택하는 사용자 입력이 감지되면, 선택된 아이콘에 대응하는 동영상을 재생시킬 수 있다. 디스플레이부(120)는 재생되는 동영상을 표시할 수 있으며, 동영상의 재생 시점을 나타내는 타임 라인(931)을 함께 표시할 수 있다.
도 14는 일 실시예에 따른 영상 표시 장치가 서버를 통하여, 개인 동영상을 공유하는 일 예를 나타내는 도면이다.
도 14를 참조하면, 일 실시예에 따른 영상 표시 장치(100)는 저장된 개인 동영상을 서버(50)로 전송할 수 있으며, 서버(50)로부터 외부 사용자의 개인 동영상을 수신할 수 있다.
일 실시예에 따른 서버(50)는 소셜 네트워크 서비스(SNS: Social Network Service)를 제공하는 SNS(Social Network Service) 서버일 수 있다. 도 14에서는 설명의 편의를 위해, 서버(50)가 SNS 서버인 것으로 설명하기로 한다. 다만, 이에 한정하는 것은 아니다.
영상 표시 장치(100)의 사용자는 SNS에 가입되어 SNS 계정을 가질 수 있다. SNS 서버(50)는 SNS에 가입되어 있는 사용자들이 저장한 개인 동영상들을 수신하여, 저장할 수 있다.
한편, 영상 표시 장치(100)의 사용자는 SNS 서버(50)에 로그인하기 위하여, 사용자 정보를 SNS 서버(50)로 전송할 수 있다. 이때, 사용자 정보는, SNS 서버에 로그인하기 위한 인증 정보를 포함할 수 있다. 도시하지는 않았지만, 영상 표시 장치(100)는 SNS 서버(50)에 로그인하기 위한 인증 정보를 입력 받는 로그인 페이지를 표시할 수 있다. 인증 정보는 아이디, 이메일 주소, 비밀번호 중 적어도 어느 하나를 포함할 수 있다.
SNS 서버에 로그인되어, 영상 표시 장치(100)와 SNS 서버(50)가 네트워크를 통해 연결되면, 영상 표시 장치(100)는 사용자의 개인 동영상을 SNS 서버(50)로 전송(업로드)할 수 있다. 또는, 도 14에 도시된 바와 같이, 영상표시장치(100)는 소셜 네트워크로 연동된 다른 사용자(예를 들어, SNS 친구)가 서버(50)에 업로드한 개인 동영상을 공유할 수 있다. 영상 표시 장치(100)는 다른 사용자의 개인 동영상에 대응하는 아이콘(1010)을 표시할 수 있다. 이때, 영상 표시 장치(100)는 아이콘(1010)을 선택하는 입력이 감지되면, 선택된 아이콘에 대응하는 동영상을 재생시킬 수 있다.
도 15는 일 실시예에 따른 영상 표시 장치의 동작방법을 나타내는 흐름도이다.
도 15를 참조하면, 일 실시예에 따른 영상 표시 장치(100)는 재생 중인 동영상을 표시할 수 있다(S1110).
동영상은 영화, 드라마, 시트콤과 같은 동영상이거나 방송국 서버로부터 수신되는 방송 프로그램 또는 뮤직 비디오 등을 포함할 수 있다.
일 실시예에 따른 영상 표시 장치(100)는 개인 동영상 녹화 모드로 진입할 수 있다(S1120).
예를 들어, 도 6에서 설명한 바와 같이, 메뉴 화면을 이용하여, 개인 동영상 녹화 모드로 진입하거나, 제어 장치(200)에 구비된 특정 키 입력을 감지하여, 직접 개인 동영상 녹화 모드로 진입할 수 있다. 다만, 이에 한정되는 것은 아니다.
일 실시예에 따른 영상 표시 장치(100)는 사용자의 얼굴을 촬영할 수 있다(S1130).
예를 들어, 영상 표시 장치(100)는 개인 동영상 녹화 모드로 진입하면, 카메라를 이용하여, 사용자의 얼굴을 촬영할 수 있다.
일 실시예에 따른 영상 표시 장치(100)는 촬영된 얼굴 영상에서 표정 변화를 검출할 수 있다(S1140).
영상 표시 장치(100)는 표정이 없는 사용자의 얼굴 영상과 촬영된 얼굴 영상을 비교하여 표정 변화를 검출할 수 있으며, 이때, 표정이 없는 사용자의 얼굴 영상은 사용자에 의해 미리 저장된 영상일 수 있다.
또한, 영상 표시 장치(100)는 개인 영상 녹화 모드 진입 시에 촬영된 사용자의 얼굴 영상과 개인 영상 녹화 모드 진입 후에 주기적으로 촬영된 사용자의 얼굴 영상을 비교하여, 표정 변화를 검출할 수 있다.
얼굴 영상들을 비교하여 표정 변화를 검출하는 방법은 도 9에서 설명하였으므로, 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 영상 표시 장치(100)는 표정 변화가 검출된 시점을 기준으로 재생되는 동영상을 저장할 수 있다(S1150).
예를 들어, 영상 표시 장치(100)는 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 동영상(프레임들)을 저장부에 저장할 수 있다. 이때, 제1 시점부터 제2 시점까지의 시간은 도 6에서 설명한 바와 같이, 사용자에 의해 미리 설정될 수 있다.
또는, 영상 표시 장치(100)는 제1 시점부터 제2 시점까지 재생되는 동영상에 포함되는 프레임들 중 일부 프레임들을 샘플링하여 저장할 수 있다.
일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (22)

  1. 사용자의 얼굴을 촬영하는 카메라부;
    영상 표시 장치에서 재생 중인 동영상을 표시하는 디스플레이부; 및
    개인 동영상 녹화(PVR: Personal Video Recording) 모드로 진입하면, 상기 촬영된 사용자의 얼굴 영상에서 표정 변화를 검출하고, 상기 표정 변화가 검출되면, 상기 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 상기 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 상기 동영상을 저장부에 저장하는 제어부를 포함하는 영상 표시 장치.
  2. 제1항에 있어서,
    상기 영상 표시 장치는,
    상기 개인 동영상 녹화 모드를 선택하는 사용자 입력을 감지하는 감지부를 더 포함하고,
    상기 제어부는,
    상기 개인 동영상 녹화 모드를 선택하는 사용자 입력이 감지되면, 상기 개인 동영상 녹화 모드로 진입하는 영상 표시 장치.
  3. 제2항에 있어서,
    상기 감지부는
    상기 제1 시점부터 상기 제2 시점까지의 시간을 설정하는 사용자 입력을 감지하는 영상 표시 장치.
  4. 제1항에 있어서,
    상기 저장부는,
    상기 개인 동영상 녹화 모드로 진입하면, 상기 개인 동영상 녹화 모드 진입 시점부터 재생되는 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장하는 영상 표시 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    미리 저장된 상기 사용자의 제1 얼굴 영상과 상기 카메라부에서 촬영되는 상기 사용자의 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 영상 표시 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 개인 동영상 녹화 모드 진입 시에 상기 사용자의 얼굴을 촬영하여 획득한 제1 얼굴 영상과, 상기 개인 영상 녹화 모드 진입 후에 주기적으로 상기 사용자의 얼굴을 촬영하여 획득한 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 영상 표시 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 저장되는 동영상에 대응하는 오디오를 상기 저장부에 저장하는 영상 표시 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 제1 시점부터 제2 시점까지 재생되는 상기 동영상에 포함되는 프레임들 중 일부 프레임들을 상기 저장부에 저장하는 영상 표시 장치.
  9. 제1항에 있어서,
    상기 디스플레이부는,
    상기 저장된 동영상을 나타내는 아이콘을 표시하는 영상 표시 장치.
  10. 제9항에 있어서,
    상기 아이콘은,
    상기 사용자의 표정 변화가 검출된 시점에 촬영된 상기 사용자의 얼굴 영상 및 상기 저장된 동영상을 나타내는 썸네일 이미지 중 적어도 하나를 포함하는 영상 표시 장치.
  11. 제9항에 있어서,
    상기 영상 표시 장치는,
    상기 아이콘을 선택하는 사용자 입력을 감지하는 감지부를 더 포함하고,
    상기 제어부는,
    상기 아이콘을 선택하는 사용자 입력이 감지되면, 상기 아이콘에 대응하는 동영상을 재생하는 영상 표시 장치.
  12. 영상 표시 장치에서 재생 중인 동영상을 표시하는 단계;
    개인 동영상 녹화 모드로 진입하는 단계;
    사용자의 얼굴을 촬영하는 단계;
    상기 촬영된 사용자의 얼굴 영상에서 표정 변화를 검출하는 단계; 및
    상기 표정 변화가 검출되면, 상기 표정 변화가 검출된 시점의 이전 시점인 제1 시점부터 상기 표정 변화가 검출된 시점의 이후 시점인 제2 시점까지 재생되는 상기 동영상을 저장하는 단계;를 포함하는 영상 표시 장치의 동작방법.
  13. 제12항에 있어서,
    상기 개인 동영상 녹화 모드로 진입하는 단계는,
    상기 개인 동영상 녹화 모드를 선택하는 사용자 입력을 감지하는 단계 및
    상기 개인 동영상 녹화 모드를 선택하는 사용자 입력이 감지되면, 상기 개인 동영상 녹화 모드로 진입하는 단계를 포함하는 영상 표시 장치의 동작방법.
  14. 제13항에 있어서,
    상기 개인 동영상 녹화 모드로 진입하는 단계는,
    상기 제1 시점부터 상기 제2 시점까지의 시간을 설정하는 사용자 입력을 감지하는 단계를 더 포함하는 영상 표시 장치의 동작방법.
  15. 제12항에 있어서,
    상기 동작방법은,
    상기 개인 동영상 녹화 모드로 진입하면, 상기 개인 동영상 녹화 모드 진입 시점부터 재생되는 프레임들을 기 설정된 개수만큼 순차적으로 임시 저장하는 단계를 더 포함하는 영상 표시 장치의 동작방법.
  16. 제12항에 있어서,
    상기 표정 변화를 검출하는 단계는,
    미리 저장된 상기 사용자의 제1 얼굴 영상과 상기 카메라부에서 촬영되는 상기 사용자의 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 단계를 포함하는 영상 표시 장치의 동작방법.
  17. 제12항에 있어서,
    상기 표정 변화를 검출하는 단계는,
    상기 개인 동영상 녹화 모드 진입 시에 상기 사용자의 얼굴을 촬영하여 획득한 제1 얼굴 영상과, 상기 개인 영상 녹화 모드 진입 후에 주기적으로 상기 사용자의 얼굴을 촬영하여 획득한 제2 얼굴 영상을 비교하여, 상기 표정 변화를 검출하는 단계를 포함하는 영상 표시 장치의 동작방법.
  18. 제12항에 있어서,
    상기 동작방법은,
    상기 저장되는 동영상에 대응하는 오디오를 상기 저장부에 저장하는 단계를 더 포함하는 영상 표시 장치의 동작방법.
  19. 제12항에 있어서,
    상기 동영상을 저장하는 단계는,
    상기 제1 시점부터 제2 시점까지 재생되는 상기 동영상에 포함되는 프레임들 중 일부 프레임들을 상기 저장부에 저장하는 단계를 포함하는 영상 표시 장치의 동작방법.
  20. 제12항에 있어서,
    상기 동작방법은,
    상기 저장된 동영상을 나타내는 아이콘을 표시하는 단계를 더 포함하는 영상 표시 장치의 동작방법.
  21. 제20항에 있어서,
    상기 아이콘은,
    상기 사용자의 표정 변화가 검출된 시점에 촬영된 상기 사용자의 얼굴 영상 및 상기 저장된 동영상을 나타내는 썸네일 이미지 중 적어도 하나를 포함하는 영상 표시 장치의 동작방법.
  22. 제20항에 있어서,
    상기 동작방법은,
    상기 아이콘을 선택하는 사용자 입력을 감지하는 단계; 및
    상기 아이콘을 선택하는 사용자 입력이 감지되면, 상기 아이콘에 대응하는 동영상을 재생하는 단계를 더 포함하는 영상 표시 장치의 동작방법.
KR1020150100518A 2015-07-15 2015-07-15 영상 표시 장치 및 그 동작 방법 KR20170009087A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150100518A KR20170009087A (ko) 2015-07-15 2015-07-15 영상 표시 장치 및 그 동작 방법
US14/993,418 US20170019710A1 (en) 2015-07-15 2016-01-12 Image display apparatus and method of operating the same
EP16152972.2A EP3119096A1 (en) 2015-07-15 2016-01-27 Image display apparatus and method of operating the same
CN201610238266.9A CN106358079A (zh) 2015-07-15 2016-04-18 图像显示装置及操作该图像显示装置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150100518A KR20170009087A (ko) 2015-07-15 2015-07-15 영상 표시 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20170009087A true KR20170009087A (ko) 2017-01-25

Family

ID=55299240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150100518A KR20170009087A (ko) 2015-07-15 2015-07-15 영상 표시 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US20170019710A1 (ko)
EP (1) EP3119096A1 (ko)
KR (1) KR20170009087A (ko)
CN (1) CN106358079A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885343A (zh) * 2020-07-31 2020-11-03 中国工商银行股份有限公司 特征处理方法及装置、电子设备和可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440432B2 (en) * 2012-06-12 2019-10-08 Realnetworks, Inc. Socially annotated presentation systems and methods
CN107071534B (zh) * 2017-03-17 2019-12-10 深圳市九洲电器有限公司 一种用户与机顶盒互动方法及系统
US10750133B2 (en) 2017-12-06 2020-08-18 Honeywell International Inc. Systems and methods for automatic video recording
WO2019191708A1 (en) 2018-03-30 2019-10-03 Realnetworks, Inc. Socially annotated audiovisual content
US10860864B2 (en) * 2019-01-16 2020-12-08 Charter Communications Operating, Llc Surveillance and image analysis in a monitored environment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726314B2 (en) * 2008-12-23 2014-05-13 Verizon Patent And Licensing Inc. System and method for extending recording time for a digital video record (DVR)
US20130346867A1 (en) * 2012-06-25 2013-12-26 United Video Properties, Inc. Systems and methods for automatically generating a media asset segment based on verbal input
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
KR102015975B1 (ko) * 2012-10-25 2019-08-30 삼성전자주식회사 저장 용량을 관리하는 단말 장치 및 그 관리방법
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
US9264770B2 (en) * 2013-08-30 2016-02-16 Rovi Guides, Inc. Systems and methods for generating media asset representations based on user emotional responses
KR102192704B1 (ko) * 2013-10-22 2020-12-17 엘지전자 주식회사 영상 출력 장치
WO2015077978A1 (en) * 2013-11-29 2015-06-04 Intel Corporation Controlling a camera with face detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885343A (zh) * 2020-07-31 2020-11-03 中国工商银行股份有限公司 特征处理方法及装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN106358079A (zh) 2017-01-25
US20170019710A1 (en) 2017-01-19
EP3119096A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
US10536742B2 (en) Display apparatus and display method
US10379698B2 (en) Image display device and method of operating the same
KR102347069B1 (ko) 전자 장치 및 그 동작방법
KR20160097867A (ko) 영상 표시 장치 및 영상 표시 방법
US11500509B2 (en) Image display apparatus and image display method
US10203927B2 (en) Display apparatus and display method
KR20170009087A (ko) 영상 표시 장치 및 그 동작 방법
KR101832394B1 (ko) 단말 장치, 서버 및 그 제어 방법
JP6505227B2 (ja) 映像表示装置及び映像表示方法
US20160196018A1 (en) Image display apparatus and method
KR20170059242A (ko) 영상 표시 장치 및 그 동작방법
KR20170009651A (ko) 영상 표시 장치 및 그 동작방법
KR20160074234A (ko) 디스플레이 장치 및 디스플레이 장치의 콘텐트 출력 제어방법
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
KR20170011874A (ko) 영상 표시 장치 및 그 동작방법