KR20220120303A - 디스플레이 장치 및 그 동작방법 - Google Patents

디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20220120303A
KR20220120303A KR1020210024230A KR20210024230A KR20220120303A KR 20220120303 A KR20220120303 A KR 20220120303A KR 1020210024230 A KR1020210024230 A KR 1020210024230A KR 20210024230 A KR20210024230 A KR 20210024230A KR 20220120303 A KR20220120303 A KR 20220120303A
Authority
KR
South Korea
Prior art keywords
content
information
projector
user
display
Prior art date
Application number
KR1020210024230A
Other languages
English (en)
Inventor
아난트 바이잘
함철희
구자윤
차승원
김남욱
김욱형
이민기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210024230A priority Critical patent/KR20220120303A/ko
Priority to PCT/KR2021/002621 priority patent/WO2022181865A1/ko
Priority to EP21928162.3A priority patent/EP4210336A4/en
Priority to US17/835,702 priority patent/US11928381B2/en
Publication of KR20220120303A publication Critical patent/KR20220120303A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

제1 컨텐츠를 디스플레이하는 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 제1 컨텐츠를 분석함으로써, 제1 컨텐츠에 대한 정보를 획득하고, 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하며, 제1 컨텐츠에 대한 정보 및 사용자의 추적 정보 중 적어도 하나에 기초하여, 트리거 조건을 만족하는지 여부를 결정하고, 상기 트리거 조건이 만족되면, 제1 컨텐츠에 기초하여 생성되는 제2 컨텐츠를 디스플레이 장치와 연결된 프로젝터로 전송하도록 통신부를 제어하는, 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작방법{Display device and operating method for the same}
다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 제1 컨텐츠를 디스플레이하고, 디스플레이 장치와 연결된 프로젝터를 이용하여, 제2 컨텐츠를 출력하도록 제어하는 디스플레이 장치 및 그 동작방법에 관한 것이다.
프로젝터는 영사 장치의 하나로서 슬라이드, 투명지 위의 사진, 그림, 문자 등을 렌즈를 통해서 스크린에 확대 투영할 수 있는 전자 장치이다. 최근 프로젝터는 파일 형태의 이미지 또는 동영상을 스크린에 영상으로 출력할 수 있다. 즉, 프로젝터는 영상을 출력하여 많은 사람들에게 출력된 영상을 보여줄 수 있다. 프로젝터는 영상을 만들어내는 기술에 따라 크게 CRT(Cathode Ray Tube) 프로젝터, LCD(Liquid Crystal Display) 프로젝터, DLP(Digital Light Processing) 프로젝터로 나눌 수 있다.
이러한 프로젝터는 주로 입력되는 멀티미디어 컨텐츠를 그대로 표시하는 데 이용되나, 유무선 통신 네트워크의 발달로, 디지털 티브이와 같은 디스플레이 장치에 연결되어, 디스플레이 장치를 보조하는 역할을 수행할 수 있다.
다양한 실시예들은, 제1 컨텐츠를 표시하고, 제1 컨텐츠와 관련된 제2 컨텐츠를 디스플레이 장치와 연결된 프로젝터를 통해 출력되도록 제어하는 디스플레이 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 디스플레이 장치는, 제1 컨텐츠를 디스플레이하는 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 제1 컨텐츠를 분석함으로써, 상기 제1 컨텐츠에 대한 정보를 획득하고, 상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하며, 상기 제1 컨텐츠에 대한 정보 및 상기 사용자의 추적 정보 중 적어도 하나에 기초하여, 트리거 조건을 만족하는지 여부를 결정하고, 상기 트리거 조건이 만족되면, 상기 제1 컨텐츠에 기초하여 생성되는 제2 컨텐츠를 상기 디스플레이 장치와 연결된 프로젝터로 전송하도록 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 트리거 조건이 만족되면, 상기 프로젝터로 트리거 신호를 전송하도록 상기 통신부를 제어하고, 상기 트리거 신호는 상기 프로젝터의 전원을 온(On)시키는 신호 또는 상기 프로젝터를 활성 상태로 전환하는 신호를 포함할 수 있다.
일 실시예에 따른 사용자의 추적 정보는, 상기 사용자의 수, 상기 사용자의 자세, 상기 사용자의 위치, 및 상기 사용자의 시선 방향 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 프로세서는, 상기 사용자의 추적 정보에 기초하여, 상기 제2 컨텐츠의 프로젝션 각도 정보를 결정하고, 상기 프로젝션 각도 정보를 상기 프로젝터로 전송하도록 통신부를 제어할 수 있다.
일 실시예에 따른 프로젝터는, 360도 회전이 가능한 프로젝터를 포함할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 컨텐츠에 포함되는 적어도 일부 컨텐츠를 추출, 복사, 수정 및 합성 중 적어도 하나를 수행함으로써, 상기 제2 컨텐츠를 생성하거나, 상기 제1 컨텐츠와 관련된 컨텐츠를 상기 제2 컨텐츠로 추천할 수 있다.
일 실시예에 따른 제1 컨텐츠에 대한 정보는, 상기 제1 컨텐츠의 종류 정보, 상기 제1 컨텐츠의 장르 정보, 상기 제1 컨텐츠에 포함되는 객체 정보 및 제1 컨텐츠에 대한 메타 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치는, 카메라를 더 포함하고, 상기 프로세서는, 상기 사용자를 추적하도록 상기 카메라를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 디스플레이의 밝기 정보, 해상도 정보, 크기 정보, 색상 정보 및 명암 정보 중 적어도 하나를 포함하는 화면 설정 정보를 획득하고, 상기 디스플레이의 화면 설정 정보에 기초하여, 상기 프로젝터의 화면 설정 정보를 결정하며, 상기 프로젝터의 화면 설정 정보를 상기 프로젝터로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 제2 컨텐츠는 상기 프로젝터의 화면 설정 정보에 기초하여, 프로젝션될 수 있다.
일 실시예에 따른 디스플레이 장치의 동작방법은, 제1 컨텐츠를 디스플레이하는 단계, 상기 제1 컨텐츠를 분석함으로써, 상기 제1 컨텐츠에 대한 정보를 획득하는 단계, 상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하는 단계, 상기 제1 컨텐츠에 대한 정보 및 상기 사용자의 추적 정보 중 적어도 하나에 기초하여, 트리거 조건을 만족하는지 여부를 결정하는 단계, 및 상기 트리거 조건이 만족되면, 상기 제1 컨텐츠에 기초하여 생성되는 제2 컨텐츠를 디스플레이 장치와 연결된 프로젝터로 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치는, 제1 컨텐츠를 표시함과 동시에 프로젝터를 통해 제1 컨텐츠와 관련된 제2 컨텐츠가 출력되도록 제어함으로써, 사용자에게 개선된 화면 경험을 제공할 수 있다.
일 실시예에 따른 디스플레이 장치는 제2 컨텐츠에 방해 받지 않고 제1 컨텐츠를 전체 화면으로 디스플레이할 수 있다.
일 실시예에 따른 제2 컨텐츠는 사용자에게 최적화된 위치에 출력될 수 있어, 사용자의 이용 편의성이 향상될 수 있다.
일 실시예에 따른 디스플레이 장치에 의해 표시되는 제1 컨텐츠와 프로젝터에 의해 출력되는 제2 컨텐츠는 유사한 해상도 및 화질로 제공될 수 있어, 사용자의 시청 경험이 향상될 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치와 디스플레이 장치와 연결된 프로젝터가 컨텐츠를 제공하는 방법을 개략적으로 설명하기 위해 참조되는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 디스플레이 시스템의 동작방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 사용자의 추적 정보에 따라 프로젝터의 프로젝션 각도를 조절하는 방법을 설명하기 위해 참조되는 도면들이다.
도 5는 일 실시예에 따른 제1 컨텐츠가 스포츠 경기 방송 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 제1 컨텐츠가 운동 어플리케이션인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 7은 일 실시예에 따른 제1 컨텐츠가 게임 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 제1 컨텐츠가 뉴스 방송인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 9a 내지 도 9c는 일 실시예에 따른 제1 컨텐츠가 영화 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 10은 일 실시예에 따른 제1 컨텐츠가 증강 현실(AR) 컨텐츠를 포함하는 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 11은 일 실시예에 따른 디스플레이 장치가 사용자의 추적 정보에 기초하여, 컨텐츠를 제공하는 방법을 설명하기 위해 참조되는 도면이다.
도 12는 일 실시예에 따른 제1 컨텐츠가 화상 회의(conference call)인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 13은 일 실시예에 따른 제1 컨텐츠가 온라인 학습 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 14는 일 실시예에 따른 제1 컨텐츠가 연속적인 프레임들을 포함하는 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 15는 일 실시예에 따른 디스플레이 장치에 표시되는 제1 컨텐츠와 관련된 제2 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 디스플레이 장치에 표시되는 제1 컨텐츠에 메뉴 화면이 오버랩되어 표시되는 경우, 제2 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 18은 일 실시예에 따른 프로젝터의 구성을 나타내는 블록도이다.
도 19는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치와 프로젝터가 컨텐츠를 제공하는 방법을 개략적으로 설명하기 위해 참조되는 도면이다.
일 실시예에 따른 디스플레이 장치(100)는, TV일 수 있으나, 이는 일 실시예에 불과하며, 디스플레이를 포함하는 다양한 형태로 구현될 수 있다. 예를 들어, 디스플레이 장치(100)는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 특히, 실시예들은 사이니지나 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
디스플레이 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 디스플레이 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
본 개시에서 "사용자"라는 용어는 디스플레이 장치(100)의 기능 또는 동작을 제어하는 사람을 의미할 수 있다. 또는, 디스플레이 장치(100)에 표시되는 컨텐츠를 시청하는 시청자를 포함할 수 있으며, 관리자 또는 설치 기사를 포함할 수 있다.
본 개시에서, "컨텐츠"라는 용어는, 멀티미디어 컨텐츠를 의미할 수 있으며, 이미지, 비디오, 오디오, 텍스트, 어플리케이션 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠를 디스플레이에 표시할 수 있다.
디스플레이 장치(100)는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠에 대한 정보를 획득하고, 카메라(110)를 이용하여, 제1 컨텐츠를 시청하는 사용자를 추적함으로써 사용자 추적 정보를 획득할 수 있다.
디스플레이 장치(100)는 제1 컨텐츠에 대한 정보 및 사용자 추적 정보 중 적어도 하나에 기초하여, 기 설정된 조건을 만족하는 지 여부를 결정할 수 있다. 디스플레이 장치(100)는 기 설정된 트리거 조건이 만족되는 경우, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
일 실시예에 따른 프로젝터(200)는 디스플레이 장치(100)에 포함(장착 또는 내장)되거나, 디스플레이 장치(100)와 별도로 배치되어, 디스플레이 장치(100)와 무선 또는 유선으로 연결될 수 있다.
또한, 일 실시예에 따른 프로젝터(200)는 다양한 폼 팩터를 가질 수 있다. 예를 들어, 프로젝터(200)는 테이블 등에 놓여지는 램프 형태일 수 있으며, 전구 소켓에 부착할 수 있는 전구 형태일 수 있다. 다만, 이에 한정되지 않는다.
프로젝터(200)는 디스플레이 장치(100)로부터 트리거 신호를 수신하면, 전원이 온(On)될 수 있다. 또는, 프로젝터(200)는 대기 모드 상태(비활성 상태)에 있다가 디스플레이 장치(100)로부터 트리거 신호를 수신하면, 정상 모드 상태(활성 상태)로 전환될 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠에 기초한 제2 컨텐츠를 생성할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 컨텐츠의 적어도 일부를 합성, 추출, 수정, 및 복사 등을 수행함으로써, 제2 컨텐츠를 생성할 수 있다. 또는, 디스플레이 장치(100)는 제1 컨텐츠와 관련된 다른 컨텐츠를 제2 컨텐츠로 추천할 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 제2 컨텐츠를 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 제2 컨텐츠를 출력할 수 있다. 일 실시예에 따른 프로젝터(200)는 360도 회전이 가능한 영상 출력부를 포함하는 프로젝터로 제2 컨텐츠를 360도 방향으로 출력할 수 있으며, 소정의 영역에 제2 컨텐츠가 표시되도록 프로젝션 각도가 조절될 수 있다.
일 실시예에 따르면, 프로젝터(200)는 디스플레이 장치(100)와 무선 또는 유선으로 연결된 상태를 유지하는 것이 바람직하다.
일 실시예에 따른 디스플레이 장치(100)는 사용자 추적을 수행하여, 사용자의 추적 정보를 획득하고, 사용자의 추적 정보에 기초하여, 프로젝션 각도를 제어할 수 있다. 이에 대해서는 도 4를 참고하여 자세히 후술하기로 한다.
도 1에 도시된 바와 같이, 일 실시예에 따른 디스플레이 장치(100) 및 프로젝터(200)를 함께 이용하여, 제1 컨텐츠 및 제2 컨텐츠를 제공함으로써, 사용자의 화면 경험은 향상될 수 있으며, 프로젝터의 사용성이 향상될 수 있다.
한편, 일 실시예에 따른 디스플레이 장치(100) 및 디스플레이 장치(100)에 연결된 프로젝터(200)를 이용하여, 제1 컨텐츠 및 제2 컨텐츠를 제공하는 시스템을 스크린 프로(Scree Pro)로 지칭할 수 있다.
이하의 도면들을 참조하여, 일 실시예에 따른 디스플레이 장치(100) 및 디스플레이 장치(100)에 연결된 프로젝터(200)가 컨텐츠를 제공하는 방법에 대해서 구체적으로 설명하기로 한다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠를 디스플레이할 수 있다(S210). 이때, 제1 컨텐츠는 이미지, 비디오, 텍스트, 어플리케이션, 오디오 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠에 대한 정보를 획득할 수 있다(S220). 예를 들어, 디스플레이 장치(100)는 AI 모델을 이용하여, 제1 컨텐츠를 분석할 수 있다. 이때, AI 모델은 하나 이상의 뉴럴 네트워크들을 포함하는 모델일 수 있으며, 제1 컨텐츠가 AI 모델에 입력되면, AI 모델은 제1 컨텐츠에 대한 정보를 출력할 수 있다.
일 실시예에 따른 제1 컨텐츠에 대한 정보는, 제1 컨텐츠의 종류 정보, 제1 컨텐츠의 장르 정보, 제1 컨텐츠에 포함되는 객체 정보, 제1 컨텐츠에 대한 메타 데이터 등을 포함할 수 있다.
예를 들어, 디스플레이 장치(100)는 제1 컨텐츠가 오디오, 비디오, 이미지, 어플리케이션, 텍스트 중 어떤 종류의 컨텐츠를 포함하는 지를 분석할 수 있다. 또한, 디스플레이 장치(100)는 제1 컨텐츠의 줄거리, 등장인물, 주제, 화면 구성, 분위기 등에 따라 제1 컨텐츠의 장르 정보를 분석할 수 있다. 예를 들어, 제1 컨텐츠의 장르는 스포츠, 뉴스, 영화, 운동, 게임, 화상 회의, 온라인 강의 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 컨텐츠의 장르는 하나의 장르를 포함하거나, 복수의 장르들을 포함할 수도 있다.
또한, 디스플레이 장치(100)는 제1 컨텐츠의 메타 데이터를 이용하여, 제1 컨텐츠에 대한 부가 정보, 제1 컨텐츠에 포함되는 객체 정보 등을 획득할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 카메라 또는 이미지 센서를 포함하거나, 카메라 또는 이미지 센서와 무선 또는 유선으로 연결될 수 있다. 디스플레이 장치(100)는 카메라 또는 이미지 센서를 이용하여, 사용자를 추적함으로써, 사용자의 추적 정보를 획득할 수 있다(S230). 예를 들어, 사용자의 추적 정보는, 사용자의 수, 사용자의 자세, 사용자의 위치, 및 사용자의 시선 방향 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠에 대한 정보 및 사용자 추적 정보 중 적어도 하나에 기초하여, 기 설정된 트리거 조건을 만족하는지 여부를 결정할 수 있다(S240).
예를 들어, 디스플레이 장치(100)는 제1 컨텐츠가 스포츠 중계 방송 컨텐츠이고, 기 설정된 이벤트(예를 들어, 축구 경기에서 골을 넣거나 야구 경기에서 홈런을 친 경우 등)가 발생한 경우, 트리거 조건을 만족하는 것으로 결정할 수 있다. 또는, 디스플레이 장치(100)는 제1 컨텐츠가 운동 자세를 알려주는 어플리케이션 컨텐츠이고, 사용자가 바닥을 바라보는 자세를 취하고 있는 경우, 트리거 조건을 만족하는 것으로 결정할 수 있다. 다만, 이에 한정되지 않으며 다양한 트리거 조건이 기 설정될 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 트리거 조건이 만족되면, 제1 컨텐츠에 기초하여 생성된 제2 컨텐츠를 프로젝터로 전송할 수 있다(S250).
예를 들어, 제1 컨텐츠가 축구 경기 중계 방송이고, 축구 경기에서 골을 넣는 이벤트가 발생하여, 트리거 조건이 만족된 경우, 디스플레이 장치(100)는 제1 컨텐츠에서 골을 넣는 하이라이트 장면을 추출하여, 제2 컨텐츠로 생성할 수 있으며, 생성된 제2 컨텐츠를 프로젝터(200)로 전송할 수 있다.
또는, 제1 컨텐츠가 운동 자세를 알려주는 어플리케이션 컨텐츠이고, 사용자가 바닥을 바라보는 자세를 취함으로써, 트리거 조건이 만족된 경우, 디스플레이 장치(100)는 제1 컨텐츠와 동일한 제2 컨텐츠를 생성하여, 생성된 제2 컨텐츠를 프로젝터(200)로 전송할 수 있다. 이때, 디스플레이 장치(100)는 제2 컨텐츠가 사용자의 시선 방향에 표시되도록 프로젝션 각도를 제어할 수 있다.
도 3은 일 실시예에 따른 디스플레이 시스템의 동작방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 디스플레이 시스템은 디스플레이 장치(100) 및 디스플레이 장치(100)와 연결된 프로젝터(200)를 포함한다.
도 3을 참조하면, 디스플레이 장치(100)는 제1 컨텐츠를 표시하고(S301), 제1 컨텐츠를 분석함으로써, 제1 컨텐츠에 대한 정보를 획득할 수 있다(S302).
도 3의 301단계(S301) 및 302단계(S302)는 도 2의 210단계(S210) 및 220단계(S220)에 대응하므로, 구체적인 설명은 생략하기로 한다.
디스플레이 장치(100)는 카메라 또는 이미지 센서를 이용하여, 사용자를 추적함으로써, 사용자의 추적 정보를 획득할 수 있다(S303). 도 3의 303단계(S303)는 도 2의 230단계(S230)에 대응하므로, 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠에 대한 정보 및 사용자 추적 정보 중 적어도 하나에 기초하여, 기 설정된 트리거 조건을 만족하는지 여부를 결정할 수 있다(S304).
디스플레이 장치(100)는 기 설정된 트리거 조건이 만족되면, 프로젝터로 트리거 신호를 전송할 수 있다(S310).
프로젝터(200)는 디스플레이 장치(100)로부터 트리거 신호를 수신하여, 프로젝터의 전원을 온(On)시키거나, 프로젝터가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환될 수 있다(S315).
디스플레이 장치(100)는 제1 컨텐츠에 기초하여, 제2 컨텐츠를 생성할 수 있다(S320). 예를 들어, 디스플레이 장치(100)는 제1 컨텐츠의 적어도 일부를 합성, 추출, 수정, 및 복사 등을 수행함으로써, 제2 컨텐츠를 생성할 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 제2 컨텐츠를 프로젝터(200)로 전송할 수 있다(S325).
디스플레이 장치(100)는 사용자의 추적 정보에 기초하여, 프로젝션 각도 정보를 결정할 수 있다(S330).
예를 들어, 디스플레이 장치(100)는 사용자의 수, 사용자의 자세, 사용자의 위치, 사용자의 시선 방향에 기초하여, 제2 컨텐츠를 출력할 영역의 위치를 결정하고, 해당 영역에 제2 컨텐츠가 출력되기 위한 프로젝션 각도를 결정할 수 있다.
디스플레이 장치(100)는 제2 컨텐츠를 출력할 영역의 위치 정보 또는 프로젝션 각도 정보를 프로젝터(200)로 전송할 수 있다(S335).
프로젝터(200)는 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 각도 정보에 기초하여, 프로젝션 각도를 조절할 수 있다(S340). 또는, 디스플레이 장치(100)로부터 제2 컨텐츠를 출력할 영역의 위치 정보를 수신한 경우, 프로젝터(200)는 위치 정보에 기초하여, 프로젝션 각도를 결정하고, 프로젝션 각도를 조절할 수 있다.
디스플레이 장치(100)는 디스플레이 장치의 화면 설정 정보에 기초하여, 프로젝터의 화면 설정 정보를 결정할 수 있다(S350).
예를 들어, 디스플레이 장치(100)는 디스플레이의 밝기 정보, 해상도 정보, 크기 정보, 색상 정보 및 명암 정보 중 적어도 하나를 포함하는 제1 화면 설정 정보를 획득할 수 있다. 디스플레이 장치(100)는 디스플레이 장치(100)의 제1 화면 설정 정보에 기초하여, 프로젝터(200)의 제2 화면 설정 정보를 결정할 수 있다.
디스플레이 장치(100)는 제2 화면 설정 정보를 프로젝터(200)로 전송할 수 있으며(S355), 프로젝터(200)는 수신한 제2 화면 설정 정보에 따라 프로젝터의 화면 설정을 수행할 수 있다(S360).
프로젝터(200)는 340단계(S340)에서 조절된 프로젝션 각도와 360단계(S360)에서 설정된 화면 설정 정보에 기초하여, 제2 컨텐츠를 출력할 수 있다(S370).
도 4는 일 실시예에 따른 사용자의 추적 정보에 따라 프로젝터의 프로젝션 각도를 조절하는 방법을 설명하기 위해 참조되는 도면들이다.
도 4를 참조하면, 디스플레이 장치(100)는 카메라 또는 이미지 센서를 이용하여, 사용자의 추적 정보를 획득할 수 있다. 예를 들어, 사용자의 추적 정보는, 사용자의 수, 사용자의 자세, 사용자의 위치, 사용자의 시선 방향 등에 대한 정보를 포함할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 추적을 수행하여, 제1 사용자(410) 및 제2 사용자(420)를 포함하는 2명의 사용자들이 존재하고, 제1 사용자(410)의 제1 시선 방향(415)은 디스플레이 장치(100)를 바라보는 방향이고, 제2 사용자(420)의 제2 시선 방향(425)은 천정을 향하는 방향이라는 정보를 획득할 수 있다.
이에 따라, 디스플레이 장치(100)는 디스플레이 장치(100)에 표시되고 있는 제1 컨텐츠를 복사한 제2 컨텐츠를 생성하고, 프로젝터(200)로 전송할 수 있다. 또한, 디스플레이 장치(100)는 제2 사용자(420)의 제2 시선 방향(425)에 기초하여, 프로젝션 각도 정보를 결정하고, 프로젝터(200)로 각도 정보를 전송할 수 있다. 일 실시예에 따른 프로젝터(200)는 프로젝션 각도 정보에 기초하여, 프로젝션 각도를 조절함으로써, 제2 컨텐츠가 제2 시선 방향(425)에 위치한 제2 영역(430)에 표시되도록 출력할 수 있다.
도 5는 일 실시예에 따른 제1 컨텐츠가 스포츠 경기 방송 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 5를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 스포츠 경기를 중계하는 방송 컨텐츠를 표시할 수 있다. 디스플레이 장치(100)는 재생 중인 제1 컨텐츠를 분석함으로써, 제1 컨텐츠가 스포츠 경기를 중계하는 방송 컨텐츠라는 정보를 획득할 수 있다. 또한, 디스플레이 장치(100)는 제1 컨텐츠에서 기 설정된 이벤트 발생을 감지할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 컨텐츠에 포함되는 비디오 정보를 분석하거나, 제1 컨텐츠에 포함되는 오디오 정보를 분석함으로써, 축구 경기에서 골을 넣거나 야구 경기에서 홈런을 치는 등의 이벤트를 감지할 수 있다.
디스플레이 장치(100)는 제1 컨테츠에서 기 설정된 이벤트가 발생하면, 프로젝터(200)로 트리거 신호를 전송할 수 있다. 또는, 제2 컨텐츠를 요청하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
프로젝터(200)는 트리거 신호를 수신하여, 프로젝터의 전원을 온(On)시키거나, 프로젝터가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환할 수 있다.
또한, 디스플레이 장치(100)는 기 설정된 이벤트가 발생하거나, 제2 컨텐츠를 요청하는 사용자 입력을 수신하면, 제1 컨텐츠에 기초하여, 제2 컨텐츠를 생성할 수 있다. 예를 들어, 제2 컨텐츠는, 제1 컨텐츠에서 추출된 하이라이트 장면들을 포함하거나, 제1 컨텐츠에 포함된 객체에 대한 정보를 나타내거나, 제1 컨텐츠의 현재 재생 시점을 기준으로 이전 장면들을 포함할 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 프로젝터(200)로 제2 컨텐츠를 전송하고, 프로젝터(200)는 디스플레이 장치(100)로부터 수신한 제2 컨텐츠를 출력할 수 있다. 이때, 프로젝터(200)는 기 설정된 프로젝션 각도로 제2 컨텐츠를 출력하거나, 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 각도 정보에 기초하여, 프로젝션 각도를 조절하고, 조절된 프로젝션 각도로 제2 컨텐츠를 출력할 수 있다. 이에 따라, 제2 컨텐츠는 디스플레이 장치(100)의 디스플레이와는 별도로 소정의 영역(510)에 표시될 수 있어, 사용자는 제1 컨텐츠와 제2 컨텐츠를 동시에 시청할 수 있다.
도 6a 및 도 6b는 일 실시예에 따른 제1 컨텐츠가 운동 어플리케이션인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 6a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 운동 어플리케이션의 실행 화면을 표시할 수 있다. 디스플레이 장치(100)는 실행 중인 운동 어플리케이션을 분석함으로써, 제1 컨텐츠가 운동 어플리케이션이라는 정보를 획득할 수 있다. 또는, 디스플레이 장치(100)는 운동 어플리케이션 실행 화면에서 알려주는 자세들 중 사용자가 디스플레이를 바라보기 어려운 특정 자세가 표시되는 시점에 대한 정보를 획득할 수 있다.
또는, 디스플레이 장치(100)는 사용자 추적을 수행함으로써, 사용자의 위치 및 자세 정보를 획득할 수 있으며, 사용자가 디스플레이를 바라보기 어려운 특정 자세를 취하는 지 여부를 결정할 수 있다.
디스플레이 장치(100)는 운동 어플리케이션에 대한 정보 또는 사용자의 위치 및 자세 정보에 기초하여, 사용자가 디스플레이를 바라보기 어려운 상황인지를 결정할 수 있으며, 사용자가 디스플레이를 바라보기 어려운 상황인 경우, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
프로젝터(200)는 트리거 신호를 수신하여, 프로젝터의 전원을 온(On)시키거나, 프로젝터가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환할 수 있다.
또한, 디스플레이 장치(100)는 사용자가 디스플레이를 바라보기 어려운 상황인 경우, 제1 컨텐츠(운동 어플리케이션 실행 화면)와 동일한 제2 컨텐츠를 생성하여, 프로젝터(200)로 전송할 수 있다. 예를 들어, 제2 컨텐츠는 제1 컨텐츠를 복사한 컨텐츠일 수 있다.
또한, 디스플레이 장치(100)는 사용자의 위치 및 자세 정보에 기초하여, 제2 컨텐츠가 표시될 영역의 위치를 결정할 수 있으며, 결정된 영역에 제2 컨텐츠가 출력되기 위한 프로젝터의 프로젝션 각도 정보를 결정할 수 있다. 예를 들어, 사용자가 바닥을 바라보는 자세를 취하는 경우, 제2 컨텐츠의 표시 위치를 바닥(610)으로 결정할 수 있으며, 바닥(610)에 제2 컨텐츠가 표시되도록 프로젝션 각도 정보를 결정할 수 있다.
디스플레이 장치(100)는 프로젝터(200)로 결정된 프로젝션 영역의 위치 정보 또는 프로젝션 각도 정보를 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 프로젝션 영역의 위치 정보를 수신한 경우, 위치 정보에 기초하여, 프로젝션 각도를 결정할 수 있다. 프로젝터(200)는 결정된 프로젝션 각도로 제2 컨텐츠를 출력할 수 있다. 또는, 프로젝터(200)는 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 프로젝션 각도로 제2 컨텐츠를 출력할 수 있다.
이에 따라, 도 6a에 도시된 바와 같이, 사용자가 바닥을 바라보는 운동 자세를 취하는 경우, 디스플레이 장치(100)의 디스플레이를 바라보지 않고, 바닥(610)에 표시되는 제2 컨텐츠를 시청하면서, 용이하게 운동 자세를 따라할 수 있다.
또한, 도 6b를 참조하면, 바닥(610)에 표시되는 제2 컨텐츠에 메뉴 화면(620)이 포함된 경우, 사용자는 손가락을 이용하여, 메뉴 화면(620)에 포함되는 복수의 메뉴 아이템들 중 하나의 메뉴 아이템을 터치하는 제스쳐를 이용하여, 메뉴 아이템을 선택할 수 있다. 카메라(110)는 사용자의 제스쳐를 캡쳐할 수 있으며, 디스플레이 장치(100)는 캡쳐된 영상에 기초하여, 사용자의 손가락 제스쳐를 인식할 수 있다. 디스플레이 장치(100)는 인식된 손가락 제스쳐에 의해 터치된 메뉴 아이템에 대응하는 실행 동작을 수행할 수 있다.
도 7은 일 실시예에 따른 제1 컨텐츠가 게임 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 7을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 게임 컨텐츠의 실행 화면을 표시할 수 있다. 디스플레이 장치(100)는 실행 중인 게임 컨텐츠를 분석함으로써, 제1 컨텐츠가 게임 컨텐츠라는 정보를 획득할 수 있다. 또한, 디스플레이 장치(100)는 게임 컨텐츠의 메타 데이터 등을 분석함으로써, 게임 컨텐츠에 대한 부가 정보를 획득할 수 있다.
디스플레이 장치(100)는 게임 컨텐츠에 대한 부가 정보가 존재하거나, 게임 컨텐츠에 포함된 특정 오브젝트가 선택되는 경우, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
프로젝터(200)는 트리거 신호를 수신하여, 프로젝터(200)의 전원을 온(On)시키거나, 프로젝터(200)가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환될 수 있다.
예를 들어, 디스플레이 장치(100)는 게임 컨텐츠(제1 컨텐츠)가 백미러 확대 보기 영상을 부가 정보로 포함하거나, 게임 컨텐츠에 포함된 백미러(710)를 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 백미러 확대 보기 영상(제2 컨텐츠)을 프로젝터(200)로 전송할 수 있다. 이때, 백미러 확대 보기 영상(제2 컨텐츠)은 게임 컨텐츠(제1 컨텐츠)에 기초하여 생성되거나, 게임 컨텐츠의 메타 정보에 포함될 수 있다.
또한, 디스플레이 장치(100)는 게임 컨텐츠(제1 컨텐츠)가 총 조준 창 확대 보기 영상을 부가 정보로 포함하거나, 게임 컨텐츠에 포함된 총 조준 창(730)을 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 총 조준 창 확대 보기 영상(제2 컨텐츠)을 프로젝터(200)로 전송할 수 있다. 이때, 총 조준 창 확대 보기 영상(제2 컨텐츠)은 게임 컨텐츠(제1 컨텐츠)에 기초하여 생성되거나, 게임 컨텐츠의 메타 정보에 포함될 수 있다.
또한, 디스플레이 장치(100)는 게임 컨텐츠(제1 컨텐츠)가 맵 정보를 부가 정보로 포함하거나, 맵 정보(750)를 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 맵 정보(제2 컨텐츠)를 프로젝터(200)로 전송할 수 있다. 이때, 맵 정보(제2 컨텐츠)는 게임 컨텐츠(제1 컨텐츠)에 기초하여 생성되거나, 게임 컨텐츠의 메타 정보에 포함될 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 제2 컨텐츠(예를 들어, 백 미러 확대 영상(720), 총 조준 창 확대 영상(740) 또는 맵 정보(760))를 소정의 영역에 출력할 수 있다. 이때, 프로젝터(200)는 기 설정된 프로젝션 각도로 제2 컨텐츠를 출력하거나, 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 각도 정보에 기초하여, 프로젝션 각도를 조절하고, 조절된 프로젝션 각도로 제2 컨텐츠를 출력할 수 있다. 이에 따라, 제2 컨텐츠(예를 들어, 백 미러 확대 영상(720), 총 조준 창 확대 영상(740) 또는 맵 정보(760))는 디스플레이 장치(100)의 디스플레이와는 별도로 소정의 영역에 표시될 수 있어, 사용자는 제1 컨텐츠(예를 들어, 게임 실행 화면)와 제2 컨텐츠(예를 들어, 백 미러 확대 영상(720), 총 조준 창 확대 영상(740) 또는 맵 정보(760))를 동시에 보면서, 게임 컨텐츠를 이용할 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 제1 컨텐츠가 뉴스 방송인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 8a 및 도 8b를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 뉴스 방송 화면을 표시할 수 있다. 디스플레이 장치(100)는 뉴스 방송 화면을 분석함으로써, 제1 컨텐츠가 뉴스 방송이라는 정보를 획득할 수 있다. 또한, 디스플레이 장치(100)는 뉴스 방송 화면을 분석함으로써, 뉴스 방송 화면에 포함되는 수화 통역사를 인식할 수 있다.
디스플레이 장치(100)는 수화 통역사가 인식되면, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
프로젝터(200)는 트리거 신호를 수신하여, 프로젝터의 전원을 온(On)시키거나, 프로젝터가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환할 수 있다.
또한, 디스플레이 장치(100)는 뉴스 방송 화면에서 수화 통역사가 표시되는 부분 영상(810)을 추출하여, 제2 컨텐츠를 생성하고, 생성된 제2 컨텐츠를 프로젝터(200)로 전송할 수 있다. 이때, 디스플레이 장치(100)는 수화 통역사가 표시되는 부분 영상(810)을 확대시키고, 확대된 영상의 품질(예를 들어, 영상의 해상도, 영상의 화질 등)을 향상시킴으로써, 제2 컨텐츠를 생성할 수 있다.
또한, 디스플레이 장치(100)는 프로젝터(200)로 결정된 프로젝션 영역의 위치 정보 또는 프로젝션 각도 정보를 전송할 수 있다.
프로젝터(200)는 수화 통역사 영상(제2 컨텐츠)을 프로젝션 영역의 위치 정보 또는 프로젝션 각도 정보에 기초하여, 출력할 수 있다.
도 8a에 도시된 바와 같이, 디스플레이 장치(100)의 일 영역에 제1 사이즈로 표시되는 수화 통역사 영상(810)은 제1 사이즈보다 큰 제2 사이즈로 디스플레이 장치(100)와 별도로 소정의 영역(820)에 표시될 수 있다. 이에 따라, 사용자의 수화 통역에 대한 시청 경험이 개선될 수 있다.
또한, 도 8b를 참조하면, 디스플레이 장치(100)는 뉴스 방송 화면에서 수화 통역사가 표시되는 부분 영상(810)을 제거하고, 영상 합성 기술 등을 이용하여, 영상이 제거된 영역(840)에 대응하는 뉴스 방송 화면을 합성함으로써, 뉴스 방송 화면에 수화 통역사가 표시되지 않도록 할 수 있다. 이에 따라, 디스플레이 장치(100)에 표시되는 뉴스 방송 화면(850)은 수화 통역사에 의해 가려지지 않아, 사용자의 시청 경험이 개선될 수 있다.
도 9a 내지 도 9c는 일 실시예에 따른 제1 컨텐츠가 영화 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면들이다.
도 9a 내지 도 9c를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영화 컨텐츠의 재생 화면을 표시할 수 있다. 디스플레이 장치(100)는 재생 중인 영화 컨텐츠를 분석함으로써, 제1 컨텐츠가 영화 컨텐츠라는 정보를 획득할 수 있다. 또한, 디스플레이 장치(100)는 영화 컨텐츠의 메타 데이터 등을 분석함으로써, 영화 컨텐츠에 대한 부가 정보를 획득할 수 있다.
도 9a를 참조하면, 디스플레이 장치(100)는 영화 컨텐츠의 재생 화면에서 크기가 기 설정된 값 이하인 배우 또는 객체(910)가 검출되거나, 재생 화면에서 배우 또는 객체(910)를 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 배우 또는 객체(910)를 확대한 영상(제2 컨텐츠)을 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 배우 또는 객체를 확대한 영상(제2 컨텐츠)을 출력할 수 있다. 이때, 프로젝터(200)는 기 설정된 프로젝션 각도로 배우 또는 객체를 확대한 영상을 출력하거나, 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 각도 정보에 기초하여, 프로젝션 각도를 조절하고, 조절된 프로젝션 각도로 배우 또는 객체를 확대한 영상(920)을 출력할 수 있다.
도 9b를 참조하면, 영화 컨텐츠가, 영화 컨텐츠에 포함되는 배우 또는 객체와 관련된 정보를 포함하고 있는 경우, 디스플레이 장치(100)는 해당 배우 또는 객체(930)가 영화 재생 화면에 포함되거나, 영화 재생 화면에 포함된 해당 배우 또는 객체(930)를 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 배우 또는 객체와 관련된 정보(제2 컨텐츠)를 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 배우 또는 객체와 관련된 정보(940, 제2 컨텐츠)를 출력할 수 있다. 이때, 프로젝터(200)는 기 설정된 프로젝션 각도로 배우 또는 객체와 관련된 정보(940)를 출력하거나, 디스플레이 장치(100)로부터 프로젝션 각도 정보를 수신한 경우, 수신한 각도 정보에 기초하여, 프로젝션 각도를 조절하고, 조절된 프로젝션 각도로 배우 또는 객체와 관련된 정보(940)를 출력할 수 있다.
도 9c를 참조하면, 디스플레이 장치(100)는 영화 재생 화면이 표시되는 동안 채팅 앱 또는 '채팅 하기'를 선택하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 채팅 창 화면(950, 제2 컨텐츠)을 프로젝터(200)로 전송할 수 있다. 프로젝터(200)는 디스플레이 장치(100)로부터 수신한 채팅 창 화면(950)을 출력할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)의 디스플레이를 통해 영화 컨텐츠를 시청하면서, 디스플레이와는 별도의 소정 영역에서 영화 컨텐츠와 관련된 채팅을 수행할 수 있다.
도 10은 일 실시예에 따른 제1 컨텐츠가 증강 현실(AR) 컨텐츠를 포함하는 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 10을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 증강 현실 컨텐츠를 포함하는 제1 컨텐츠를 표시할 수 있다. 디스플레이 장치(100)는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠가 증강 현실 컨텐츠를 포함한다는 정보를 획득할 수 있다.
디스플레이 장치(100)는 현재 재생 중인 화면에 증강 현실 컨텐츠가 검출되거나, 증강 현실 컨텐츠를 요청하는 사용자 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 증강 현실 컨텐츠(제2 컨텐츠)를 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 증강 현실 컨텐츠(1010)를 소정의 영역에 출력할 수 있다.
이에 따라, 사용자는 증강 현실 컨텐츠를 보기 위해, 모바일 장치를 디스플레이 장치(100)로 향하게 하는 동작 없이, 용이하게 증강 현실 컨텐츠를 볼 수 있다.
도 11은 일 실시예에 따른 디스플레이 장치가 사용자의 추적 정보에 기초하여, 컨텐츠를 제공하는 방법을 설명하기 위해 참조되는 도면이다.
도 11을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠를 표시할 수 있다. 디스플레이 장치(100)는 카메라 또는 이미지 센서를 이용하여, 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자의 위치 및 자세 정보를 획득할 수 있다. 디스플레이 장치(100)는 사용자가 쇼파에 앉아서 디스플레이에 표시된 제1 컨텐츠를 시청하다가, 쇼파에 누워 천장을 바라보는 자세로 바꾼 경우, 사용자의 위치 및 자세 변경을 감지할 수 있다. 디스플레이 장치(100)는 사용자의 위치 및 자세가 디스플레이 장치(100)의 디스플레이를 바라볼 수 없는 것으로 판단되는 경우, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
프로젝터(200)는 트리거 신호를 수신하여, 프로젝터(200)의 전원을 온(On)시키거나, 프로젝터(200)가 대기 모드 또는 비활성 상태인 경우, 정상 모드 또는 활성 상태로 전환할 수 있다.
또한, 디스플레이 장치(100)는 디스플레이에 표시되는 제1 컨텐츠를 복사함으로써, 제1 컨텐츠와 동일한 제2 컨텐츠를 생성할 수 있다. 디스플레이 장치(100)는 사용자의 위치 및 자세 정보에 기초하여, 프로젝션 영역의 위치 정보 또는 프로젝션 각도 정보를 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 제2 컨텐츠(1110)를 프로젝션 영역의 위치 정보 또는 프로젝션 각도 정보에 기초하여, 소정의 영역(예를 들어, 천정)에 출력할 수 있다.
도 12는 일 실시예에 따른 제1 컨텐츠가 화상 회의(conference call)인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 화상 회의 화면을 표시할 수 있다. 디스플레이 장치(100)는 표시 중인 화면을 분석함으로써, 제1 컨텐츠가 화상 회의라는 정보를 획득할 수 있다. 예를 들어, 디스플레이 장치(100)는 화면의 레이아웃이나 오디오 등을 분석함으로써, 제1 컨텐츠가 화상 회의임을 알 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 화상 회의 참석자들 중 누군가가 문서나 자료를 공유하는 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송하고, 공유 문서 또는 공유 자료(제2 컨텐츠)를 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 공유 문서 또는 공유 자료(1210)를 디스플레이 장치(100)의 디스플레이와는 별도의 영역에 출력할 수 있다.
이에 따라, 사용자는 공유 문서 또는 공유 자료에 의해 방해 받지 않고, 화상 회의 참석자들의 영상을 시청하면서, 동시에 디스플레이 장치와 별도의 영역에서 공유 문서 또는 공유 자료를 볼 수 있다.
도 13은 일 실시예에 따른 제1 컨텐츠가 온라인 학습 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 온라인 강의 화면을 표시할 수 있다. 디스플레이 장치(100)는 표시 중인 화면을 분석함으로써, 제1 컨텐츠가 온라인 강의라는 정보를 획득할 수 있다. 예를 들어, 디스플레이 장치(100)는 화면의 레이아웃이나 오디오 분석 등을 분석함으로써, 제1 컨텐츠가 온라인 강의임을 알 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 온라인 강의 컨텐츠에 온라인 강의 자료가 포함되어 있는 경우, 프로젝터(200)로 트리거 신호를 전송하고, 온라인 강의 자료(제2 컨텐츠)를 프로젝터(200)로 전송할 수 있다. 프로젝터(200)는 디스플레이 장치(100)로부터 수신한 온라인 강의 자료(1310)를 디스플레이 장치(100)의 디스플레이와는 별도의 영역에 출력할 수 있다.
이에 따라, 사용자는 온라인 강의 자료에 의해 방해 받지 않고, 디스플레이 장치(100)의 디스플레이 전체 화면을 통해 온라인 강의를 시청하면서, 동시에, 디스플레이 장치와 별도의 영역에서 온라인 강의 자료를 볼 수 있다.
도 14는 일 실시예에 따른 제1 컨텐츠가 연속적인 프레임들을 포함하는 컨텐츠인 경우, 제2 컨텐츠가 제공되는 방법을 설명하기 위해 참조되는 도면이다.
도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 연속적인 프레임들을 포함하는 댄스 동영상을 표시할 수 있다. 디스플레이 장치(100)는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠가 연속적인 프레임들을 포함한다는 정보를 획득할 수 있다.
디스플레이 장치(100)는 되감기 입력을 기 설정된 횟수 이상으로 수신하거나, '시퀀스 보기'입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
디스플레이 장치(100)는 댄스 동영상에 포함되는 복수의 프레임 영상들 중 댄스를 구성하는 복수의 동작들 각각을 대표하는 대표 프레임 영상들을 추출할 수 있다. 디스플레이 장치(100)는 대표 프레임 영상들로 구성되는 시퀀스 영상(제2 컨텐츠)을 생성하여, 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 시퀀스 영상(1410)을 출력할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)를 통해 댄스 동영상을 시청하면서, 이전 동작 및 미래의 동작을 용이하게 파악할 수 있다.
도 15는 일 실시예에 따른 디스플레이 장치에 표시되는 제1 컨텐츠와 관련된 제2 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 제1 컨텐츠를 표시할 수 있다. 디스플레이 장치(100)는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠와 관련된 장소 정보, 배경 정보, 제1 컨텐츠에 포함되는 객체 정보 등을 획득할 수 있다.
디스플레이 장치(100)는 사용자가 관련 컨텐츠를 요청하는 입력을 수신하면, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
또한, 디스플레이 장치(100)에 저장된 사용자의 컨텐츠 또는 사용자 계정을 통해 연결된 클라우드 서버에 저장된 사용자의 컨텐츠 중에서 제1 컨텐츠와 관련된 컨텐츠를 검색할 수 있다.
예를 들어, 제1 컨텐츠에 나타나는 장소가 '프랑스'인 경우, 디스플레이 장치(100)는 사용자가 프랑스 여행 중에 촬영한 사진들을 검색할 수 있다. 디스플레이 장치(100)는 검색된 사진들을 프로젝터(200)로 전송할 수 있다.
프로젝터(200)는 디스플레이 장치(100)로부터 수신한 사진들(1510)을 디스플레이 장치(100)의 디스플레이와는 별도의 영역에 출력할 수 있다.
도 16은 일 실시예에 따른 디스플레이 장치에 표시되는 제1 컨텐츠에 메뉴 화면이 오버랩되어 표시되는 경우, 제2 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 메뉴 화면(1610)을 포함하는 제1 컨텐츠를 표시할 수 있다. 디스플레이 장치(100)는 표시 중인 제1 컨텐츠의 레이 아웃, 제1 컨텐츠에 포함된 객체 정보 등을 분석함으로써, 제1 컨텐츠가 메뉴 화면(1610)을 포함한다는 정보를 획득할 수 있다. 일 실시예에 따른 메뉴 화면(1610)은 복수의 아이템들, 알림 메시지, 아이콘들을 포함할 수 있다. 또한, 메뉴 화면(1610)은 제1 컨텐츠에 오버랩되어 표시될 수 있으며, 메뉴 화면(1610)이 제1 컨텐츠에 오버랩되어 표시됨으로써, 제1 컨텐츠의 일부가 메뉴 화면에 의해 가려질 수 있다.
디스플레이 장치(100)는 제1 컨텐츠에서 메뉴 화면이 검출되면, 프로젝터(200)로 트리거 신호를 전송할 수 있다.
또한, 디스플레이 장치(100)는 메뉴 화면을 추출하여, 제2 컨텐츠를 생성할 수 있다. 디스플레이 장치(100)는 추출된 메뉴 화면(제2 컨텐츠)을 프로젝터(200)로 전송할 수 있다. 프로젝터(200)는 디스플레이 장치(100)로부터 수신한 메뉴 화면(1620)을 출력할 수 있으며, 디스플레이 장치(100)는 제1 컨텐츠를 디스플레이에 전체 화면으로 표시할 수 있다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 17을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라(110), 통신부(150), 프로세서(120), 메모리(130) 및 디스플레이(140)를 포함할 수 있다.
일 실시예에 따른 카메라(110)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 예를 들어, 카메라(110)는 카메라 인식 범위에서 사용자에 대응되는 영상을 수신할 수 있다. 카메라(110)를 통해 캡쳐된 사용자 이미지는 프로세서(120)또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있으며, 프로세서(120)는 사용자 이미지를 분석함으로써, 사용자의 위치 정보, 자세 정보, 사용자의 시선 방향 등을 포함하는 사용자 추적 정보를 획득할 수 있다. 카메라(110)는 디스플레이 장치(100)의 구성 태양에 따라 2개 이상이 포함될 수도 있다.
일 실시예에 따른 통신부(150)는 프로세서(120)의 제어에 의해 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 프로세서(120)는 통신부(150)를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치로부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)는 디스플레이 장치(100)의 성능 및 구조에 대응하여 무선랜(예를 들어, 와이- 파이(Wi-Fi)), 블루투스, 및 유선 이더넷(Ethernet) 중 적어도 하나의 방식으로 데이터 또는 신호를 송수신할 수 있다.
예를 들어, 통신부(150)는 프로젝터(200)로 트리거 신호, 제2 컨텐츠, 프로젝션 각도 정보, 제2 컨텐츠를 출력할 영역의 위치 정보, 디스플레이(140)의 화면 설정 정보, 프로젝터의 화면 설정 정보 등을 전송할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 인스트럭션들을 실행함으로써, 디스플레이(140)에 표시되는 제1 컨텐츠를 분석함으로써, 제1 컨텐츠에 대한 정보를 획득할 수 있다. 프로세서(120)는 제1 컨텐츠에 포함된 오디오, 비디오, 어플리케이션, 메타데이터 등을 추출할 수 있는 컨텐츠 추출 모듈, 제1 컨텐츠에 포함되는 객체를 검출하는 객체 검출 모듈, 제1 컨텐츠에 포함되는 장면을 이해하는 장면 이해 모듈, 제1 컨텐츠에 포함되는 관심 영역을 검출하는 관심 영역 검출 모듈, 제1 컨텐츠에 포함되는 오디오를 분석하는 오디오 분석 모듈, 제1 컨텐츠에 포함되는 멀티미디어를 분석하는 멀티미디어 분석 모듈 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
또한, 프로세서(120)는 카메라(110)를 이용하여, 사용자를 추적함으로써, 사용자의 수, 사용자의 자세, 사용자의 위치, 사용자의 시선 방향 등을 포함하는 사용자 추적 정보를 획득할 수 있다.
프로세서(120)는 제1 컨텐츠에 대한 정보 및 사용자 추적 정보 중 적어도 하나에 기초하여, 기 설정된 트리거 조건을 만족하는지 여부를 결정할 수 있다. 기 설정된 트리거 조건에 대해서는, 도 5 내지 도 16에서 구체적인 예를 들어 설명하였으므로, 동일한 설명은 생략하기로 한다.
프로세서(120)는 기 설정된 트리거 조건이 만족되면, 프로젝터(200)로 트리거 신호를 전송하도록 통신부(150)를 제어할 수 있다.
프로세서(120)는 제1 컨텐츠에 기초하여, 제2 컨텐츠를 생성할 수 있다. 예를 들어, 프로세서(120)는 제1 컨텐츠의 적어도 일부를 합성, 추출, 수정, 및 복사 등을 수행함으로써, 제2 컨텐츠를 생성할 수 있다.
또한, 프로세서(120)는 제2 컨텐츠를 합성하는 합성 모듈, 제2 컨텐츠를 추천하는 추천 모듈, 제2 컨텐츠의 해상도를 조절하는 해상도 모듈, 제2 컨텐츠의 품질을 평가하는 품질 평가 모듈, 제2 컨텐츠에 포함되는 비디오 또는 이미지를 향상시키는 이미지 처리 모듈, 제2 컨텐츠에 포함되는 오디오를 처리하는 오디오 처리 모듈 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
프로세서(120)는 생성된 제2 컨텐츠를 프로젝터(200)로 전송하도록 통신부(150)를 제어할 수 있다.
또한, 프로세서(120)는 사용자의 추적 정보에 기초하여, 제2 컨텐츠의 프로젝션 각도 정보를 결정할 수 있다. 예를 들어, 프로세서(120)는 사용자의 수, 사용자의 자세, 사용자의 위치, 사용자의 시선 방향에 기초하여, 제2 컨텐츠를 출력할 영역의 위치를 결정하고, 해당 영역에 제2 컨텐츠가 출력되기 위한 프로젝션 각도를 결정할 수 있다.
프로세서(120)는 제2 컨텐츠를 출력할 영역의 위치 정보 또는 프로젝션 각도 정보를 프로젝터(200)로 전송하도록 통신부(150)를 제어할 수 있다.
프로세서(120)는 디스플레이(140)의 화면 설정 정보에 기초하여, 프로젝터의 화면 설정 정보를 결정할 수 있다. 예를 들어, 프로세서(120)는 디스플레이(140)의 밝기 정보, 해상도 정보, 크기 정보, 색상 정보 및 명암 정보 중 적어도 하나를 포함하는 제1 화면 설정 정보를 획득할 수 있다. 프로세서(120)는 디스플레이(140)의 제1 화면 설정 정보에 기초하여, 프로젝터(200)의 제2 화면 설정 정보를 결정할 수 있다.
프로세서(120)는 제2 화면 설정 정보를 프로젝터(200)로 전송하도록 통신부(150)를 제어할 수 있다.
일 실시예에 따른 디스플레이(140)는 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 제1 컨텐츠를 디스플레이할 수 있다.
도 18은 일 실시예에 따른 프로젝터의 구성을 나타내는 블록도이다.
도 18을 참조하면, 일 실시예에 따른 프로젝터(200)는 통신부(210), 프로세서(220), 메모리(230), 및 영상 출력부(240)를 포함할 수 있다.
일 실시예에 따른 통신부(210)는 프로세서(220)의 제어에 의해 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 통신부(210)는 프로젝터(200)의 성능 및 구조에 대응하여, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부, 마이크로 웨이브(uWave) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 통신부(210)는, 디스플레이 장치(100)로부터 트리거 신호, 제2 컨텐츠, 프로젝션 각도 정보, 제2 컨텐츠를 출력할 영역의 위치 정보, 디스플레이(140)의 화면 설정 정보, 프로젝터의 화면 설정 정보 등을 수신할 수 있다.
또한, 일 실시예에 따른 프로젝터(200)와 디스플레이 장치(100)는 케이블 등의 유선 통신을 통해 연결되어, 신호 또는 데이터 등을 송수신할 수 있다.
일 실시예에 따른 프로세서(220)는 통신부(210)를 통해 수신한 제2 컨텐츠를 메모리(230)에 저장하고, 영상 출력부(240)를 통해 저장된 제2 컨텐츠를 출력할 수 있다.
또한, 프로세서(220)는 메모리(230)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 일 실시예에 따른 메모리(230)는 프로젝터(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(230)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(230)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(220)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(220)는 메모리(130)에 저장되는 하나 이상의 인스트럭션들을 실행함으로써, 디스플레이 장치(100)로부터 트리거 신호를 수신하면, 프로젝터(200)의 전원을 온(On)시키거나, 프로젝터(200)가 비활성 상태에 있는 경우, 활성 상태로 전환시킬 수 있다.
또한, 프로세서(220)는 디스플레이 장치(100)로부터 수신한 프로젝션 각도 정보에 기초하여, 프로젝션 각도를 조절할 수 있다. 예를 들어, 프로세서(200)는 프로젝션 각도 정보에 기초하여, 영상 출력부(240)의 프로젝션 방향을 조절할 수 있다. 영상 출력부(240)는 360도 회전이 가능하도록 구성될 수 있다.
또한, 프로세서(220)는 디스플레이 장치(100)로부터 수신한 프로젝터의 화면 설정 정보에 기초하여, 영상 출력부(240)의 출력 화면 설정을 조절할 수 있다.
도 19는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 19를 참조하면, 도 19의 디스플레이 장치(1800)는 도 1 내지 도 17을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.
도 19를 참조하면, 일 실시예에 따른 디스플레이 장치(1900)는, 튜너부(1940), 프로세서(1910), 디스플레이부(1920), 통신부(1950), 감지부(1930), 입/출력부(1970), 비디오 처리부(1980), 오디오 처리부(1985), 오디오 출력부(1960), 메모리(1990), 전원부(1995)를 포함할 수 있다.
도 19의 카메라부(1932)는 도 17의 카메라(110)에 대응하는 구성이고, 도 19의 통신부(1950)는 도 17의 통신부(150)에 대응하는 구성이고, 도 19의 프로세서(1910)는, 도 17의 프로세서(120)에 도 19의 메모리(1990)는 도 17의 메모리(130)에, 도 19의 디스플레이부(1920)는 도 17의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.
일 실시예에 따른 튜너부(1940)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(1900)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1940)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1940)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1930)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1931), 카메라부(1932) 및 광 수신부(1933)를 포함할 수 있다.
마이크(1931)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1931)는 수신된 음성을 전기 신호로 변환하여 프로세서(1910)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1900)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1932)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1910)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1900)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1933)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1920)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1933)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1910)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1970)는, 디스플레이 장치(1900)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
프로세서(1910)는 디스플레이 장치(1900)의 전반적인 동작 및 디스플레이 장치(1900)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1910)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1990)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1910)는 디스플레이 장치(1900)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1900)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1900)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
비디오 처리부(1980)는, 디스플레이 장치(1900)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1980)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(1920)는, 프로세서(1910)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(1920)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(1920)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 처리부(1985)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1985)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1985)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1960)는 프로세서(1910)의 제어에 의해 튜너부(1940)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1960)는 통신부(1950) 또는 입/출력부(1970)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1960)는 프로세서(1910)의 제어에 의해 메모리(1990)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1960)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1995)는 프로세서(1910)의 제어에 의해 디스플레이 장치(1900) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1995)는 프로세서(1910)의 제어에 의해 디스플레이 장치(1900) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1990)는 프로세서(1910)의 제어에 의해 디스플레이 장치(1900)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1990)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1990)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1900)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1990)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 17 및 도 19에 도시된 디스플레이 장치 (100, 1900)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100, 1900)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 디스플레이 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 디스플레이 장치 및 디스플레이 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 디스플레이 장치에 있어서,
    제1 컨텐츠를 디스플레이하는 디스플레이;
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 제1 컨텐츠를 분석함으로써, 상기 제1 컨텐츠에 대한 정보를 획득하고,
    상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하며,
    상기 제1 컨텐츠에 대한 정보 및 상기 사용자의 추적 정보 중 적어도 하나에 기초하여, 트리거 조건을 만족하는지 여부를 결정하고,
    상기 트리거 조건이 만족되면, 상기 제1 컨텐츠에 기초하여 생성되는 제2 컨텐츠를 상기 디스플레이 장치와 연결된 프로젝터로 전송하도록 통신부를 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 트리거 조건이 만족되면, 상기 프로젝터로 트리거 신호를 전송하도록 상기 통신부를 제어하고,
    상기 트리거 신호는 상기 프로젝터의 전원을 온(On)시키는 신호 또는 상기 프로젝터를 활성 상태로 전환하는 신호를 포함하는, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 사용자의 추적 정보는,
    상기 사용자의 수, 상기 사용자의 자세, 상기 사용자의 위치, 및 상기 사용자의 시선 방향 중 적어도 하나를 포함하는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 추적 정보에 기초하여, 상기 제2 컨텐츠의 프로젝션 각도 정보를 결정하고,
    상기 프로젝션 각도 정보를 상기 프로젝터로 전송하도록 통신부를 제어하는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로젝터는,
    360도 회전이 가능한 프로젝터를 포함하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 컨텐츠에 포함되는 적어도 일부 컨텐츠를 추출, 복사, 수정 및 합성 중 적어도 하나를 수행함으로써, 상기 제2 컨텐츠를 생성하거나, 상기 제1 컨텐츠와 관련된 컨텐츠를 상기 제2 컨텐츠로 추천하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 제1 컨텐츠에 대한 정보는,
    상기 제1 컨텐츠의 종류 정보, 상기 제1 컨텐츠의 장르 정보, 상기 제1 컨텐츠에 포함되는 객체 정보 및 제1 컨텐츠에 대한 메타 데이터 중 적어도 하나를 포함하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 디스플레이 장치는,
    카메라를 더 포함하고,
    상기 프로세서는,
    상기 사용자를 추적하도록 상기 카메라를 제어하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이의 밝기 정보, 해상도 정보, 크기 정보, 색상 정보 및 명암 정보 중 적어도 하나를 포함하는 화면 설정 정보를 획득하고,
    상기 디스플레이의 화면 설정 정보에 기초하여, 상기 프로젝터의 화면 설정 정보를 결정하며,
    상기 프로젝터의 화면 설정 정보를 상기 프로젝터로 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제2 컨텐츠는 상기 프로젝터의 화면 설정 정보에 기초하여, 프로젝션되는, 디스플레이 장치.
  11. 제1 컨텐츠를 디스플레이하는 단계;
    상기 제1 컨텐츠를 분석함으로써, 상기 제1 컨텐츠에 대한 정보를 획득하는 단계;
    상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하는 단계;
    상기 제1 컨텐츠에 대한 정보 및 상기 사용자의 추적 정보 중 적어도 하나에 기초하여, 트리거 조건을 만족하는지 여부를 결정하는 단계; 및
    상기 트리거 조건이 만족되면, 상기 제1 컨텐츠에 기초하여 생성되는 제2 컨텐츠를 디스플레이 장치와 연결된 프로젝터로 전송하는 단계를 포함하는 디스플레이 장치의 동작방법.
  12. 제11항에 있어서,
    상기 동작방법은,
    상기 트리거 조건이 만족되면, 상기 프로젝터로 트리거 신호를 전송하는 단계를 더 포함하고,
    상기 트리거 신호는 상기 프로젝터의 전원을 온(On)시키는 신호 또는 상기 프로젝터를 활성 상태로 전환하는 신호를 포함하는, 디스플레이 장치의 동작방법.
  13. 제11항에 있어서,
    상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 사용자 추적 정보를 획득하는 단계는,
    상기 제1 컨텐츠를 시청하는 사용자를 추적함으로써, 상기 사용자의 수, 상기 사용자의 자세, 상기 사용자의 위치, 및 상기 사용자의 시선 방향 중 적어도 하나를 획득하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  14. 제11항에 있어서,
    상기 동작방법은,
    상기 사용자의 추적 정보에 기초하여, 상기 제2 컨텐츠의 프로젝션 각도 정보를 결정하는 단계; 및
    상기 프로젝션 각도 정보를 상기 프로젝터로 전송하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  15. 제11항에 있어서,
    상기 동작방법은,
    상기 제1 컨텐츠에 포함되는 적어도 일부 컨텐츠를 추출, 복사, 수정 및 합성 중 적어도 하나를 수행함으로써, 상기 제2 컨텐츠를 생성하거나, 상기 제1 컨텐츠와 관련된 컨텐츠를 상기 제2 컨텐츠로 추천하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  16. 제11항에 있어서,
    상기 제1 컨텐츠에 대한 정보를 획득하는 단계는,
    상기 제1 컨텐츠의 종류 정보, 상기 제1 컨텐츠의 장르 정보, 상기 제1 컨텐츠에 포함되는 객체 정보 및 제1 컨텐츠에 대한 메타 데이터 중 적어도 하나를 획득하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  17. 제11항에 있어서,
    상기 사용자 추적 정보를 획득하는 단계는,
    카메라를 이용하여, 상기 사용자를 추적하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  18. 제11항에 있어서,
    상기 동작방법은,
    상기 디스플레이의 밝기 정보, 해상도 정보, 크기 정보, 색상 정보 및 명암 정보 중 적어도 하나를 포함하는 화면 설정 정보를 획득하는 단계;
    상기 디스플레이의 화면 설정 정보에 기초하여, 상기 프로젝터의 화면 설정 정보를 결정하는 단계; 및
    상기 프로젝터의 화면 설정 정보를 상기 프로젝터로 전송하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  19. 제18항에 있어서,
    상기 제2 컨텐츠는 상기 프로젝터의 화면 설정 정보에 기초하여, 프로젝션되는, 디스플레이 장치의 동작방법.
  20. 제11항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
KR1020210024230A 2021-02-23 2021-02-23 디스플레이 장치 및 그 동작방법 KR20220120303A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210024230A KR20220120303A (ko) 2021-02-23 2021-02-23 디스플레이 장치 및 그 동작방법
PCT/KR2021/002621 WO2022181865A1 (ko) 2021-02-23 2021-03-03 디스플레이 장치 및 그 동작방법
EP21928162.3A EP4210336A4 (en) 2021-02-23 2021-03-03 DISPLAY DEVICE AND ITS OPERATING METHOD
US17/835,702 US11928381B2 (en) 2021-02-23 2022-06-08 Display device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210024230A KR20220120303A (ko) 2021-02-23 2021-02-23 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20220120303A true KR20220120303A (ko) 2022-08-30

Family

ID=83049248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024230A KR20220120303A (ko) 2021-02-23 2021-02-23 디스플레이 장치 및 그 동작방법

Country Status (4)

Country Link
US (1) US11928381B2 (ko)
EP (1) EP4210336A4 (ko)
KR (1) KR20220120303A (ko)
WO (1) WO2022181865A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907023B2 (en) * 2021-04-23 2024-02-20 Ricoh Company, Ltd. Information processing system, information processing apparatus, terminal device, and display method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101542386B1 (ko) 2009-01-05 2015-08-07 엘지전자 주식회사 영상 프로젝터를 구비하는 이동 단말기 및 그 제어방법
KR101715937B1 (ko) * 2010-01-20 2017-03-13 엘지전자 주식회사 프로젝터가 장착된 디스플레이 장치 및 그 제어 방법
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
JP5657058B2 (ja) * 2013-06-14 2015-01-21 Eizo株式会社 マルチモニタシステム、マルチモニタシステムで使用されるコンピュータプログラム、及び表示装置
KR20150046594A (ko) * 2013-10-22 2015-04-30 삼성전자주식회사 단말 장치 및 제어 방법
JP6371560B2 (ja) 2014-03-31 2018-08-08 日本放送協会 画像表示装置
JP6253127B2 (ja) * 2014-04-18 2017-12-27 Ｎｅｃソリューションイノベータ株式会社 情報提供装置
AU2014202574A1 (en) * 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
KR101612196B1 (ko) 2014-11-03 2016-04-14 한양대학교 산학협력단 내츄럴 사용자 인터페이스를 이용한 tv 프레임 외부로 영사되는 tv 컨텐츠 관련 정보의 실행 및 종료 방법 및 장치
KR102246120B1 (ko) * 2014-11-21 2021-04-29 삼성전자주식회사 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법
US9826277B2 (en) * 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US10225535B2 (en) * 2016-08-11 2019-03-05 Rabin Esrail Self-adjusting portable modular 360-degree projection and recording computer system
US10266104B2 (en) 2016-10-28 2019-04-23 Iddea California, Llc Universal multi axis adjustable windshield light bar and mounting system
US10004984B2 (en) 2016-10-31 2018-06-26 Disney Enterprises, Inc. Interactive in-room show and game system
KR20180097031A (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
US20200353342A1 (en) * 2019-05-09 2020-11-12 Taras Josaphat Konrad Stimulus For Performance Enhancement In Sports Training

Also Published As

Publication number Publication date
US11928381B2 (en) 2024-03-12
US20220300236A1 (en) 2022-09-22
WO2022181865A1 (ko) 2022-09-01
EP4210336A1 (en) 2023-07-12
EP4210336A4 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
CN107770627B (zh) 图像显示装置和操作图像显示装置的方法
US11856322B2 (en) Display apparatus for image processing and image processing method
US11805292B2 (en) Display apparatus and content display method
CN111510788B (zh) 一种双屏双系统屏幕切换动画的显示方法及显示设备
US20160300595A1 (en) Playback device for playing video content and operating method of the same
WO2022032916A1 (zh) 一种显示系统
EP3024220A2 (en) Display apparatus and display method
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
US20210289165A1 (en) Display Device and Video Communication Data Processing Method
CN111526402A (zh) 多屏显示设备的语音搜索视频资源的方法及显示设备
CN112788422A (zh) 显示设备
US20160191841A1 (en) Display device and display method
US11928381B2 (en) Display device and operating method thereof
WO2020248699A1 (zh) 一种声音处理法及显示设备
WO2020248681A1 (zh) 显示设备及蓝牙开关状态的显示方法
CN112788378A (zh) 显示设备与内容显示方法
CN112911354B (zh) 显示设备和声音控制方法
CN113365124B (zh) 一种显示设备及显示方法
CN112073803A (zh) 一种声音再现方法及显示设备
CN113015023A (zh) Html5网页中的视频控制的方法及装置
WO2021088308A1 (zh) 一种显示设备及音乐推荐方法
US11699374B2 (en) Display device and operating method of the same
CN111970547B (zh) 一种显示设备
KR20240037802A (ko) 프로젝션 장치 및 그 동작 방법
KR20240050054A (ko) 디스플레이 장치 및 그 동작 방법