KR20220031367A - 디스플레이 기기 및 그의 동작 방법 - Google Patents

디스플레이 기기 및 그의 동작 방법 Download PDF

Info

Publication number
KR20220031367A
KR20220031367A KR1020200113206A KR20200113206A KR20220031367A KR 20220031367 A KR20220031367 A KR 20220031367A KR 1020200113206 A KR1020200113206 A KR 1020200113206A KR 20200113206 A KR20200113206 A KR 20200113206A KR 20220031367 A KR20220031367 A KR 20220031367A
Authority
KR
South Korea
Prior art keywords
content
screen
video call
display device
video
Prior art date
Application number
KR1020200113206A
Other languages
English (en)
Inventor
박지원
김세현
양관식
이종인
최길수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200113206A priority Critical patent/KR20220031367A/ko
Priority to EP21864744.4A priority patent/EP4199504A4/en
Priority to CN202180054872.4A priority patent/CN116097655A/zh
Priority to PCT/KR2021/012015 priority patent/WO2022050785A1/ko
Publication of KR20220031367A publication Critical patent/KR20220031367A/ko
Priority to US18/117,018 priority patent/US20230209126A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)

Abstract

복수개의 부분 화면들을 포함하는 멀티 뷰 화면을 디스플레이 하는 디스플레이 기기의 동작 방법은, 개별적으로 디코딩된 복수개의 컨텐트들 각각을 상기 복수개의 부분 화면들을 통하여 출력하는 단계; 영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하는 단계; 및 상기 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함한다.

Description

디스플레이 기기 및 그의 동작 방법 {Display apparatus and operating method thereof}
개시된 실시예는 멀티 뷰 화면을 제공할 수 있는 디스플레이 기기 및 그의 동작 방법에 대한 것이다.
구체적으로, 개시된 실시예는, 멀티 뷰를 제공하는 동안에 수신되는 영상 통화를 처리하기 위한 디스플레이 기기 및 그의 동작 방법에 대한 것이다.
유무선의 통신 네트워크 및 통신 기술이 발달됨에 따라서, 전자 기기 간의 영상 통화 서비스의 이용이 증가하고 있다. 구체적으로, 전자 기기 간의 영상 통화 서비스는, 원격지에 위치하는 서로 다른 사용자들이 비 대면으로 상호 통신하기 위해서 널리 이용되고 있다.
구체적으로, 영상 통화 서비스를 위해서, 일 전자 기기와 다른 전자 기기는 유무선 통신 네트워크를 통하여 상호 연결될 수 있다. 여기서, 전자 기기는 영상 통화 화면을 제공할 수 있도록 디스플레이를 포함하며 유무선의 통신 네트워크에 접속하여 원격지에 있는 다른 전자 기기와 통신을 수행할 수 있는 모든 전자 기기가 될 수 있다. 예를 들어, 전자 기기로는, 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV, 디지털 TV 등을 예로 들 수 있다.
복수개의 전자 기기들, 예를 들어, 제1 전자 기기 및 제2 전자 기기 간의 영상 통화가 수행되는 경우, 제1 전자 기기는 사용자(이하, '제1 사용자')에 대한 이미지를 획득하고, 획득된 이미지를 제2 전자 기기로 전송한다. 또한, 제2 전자 기기는 사용자(이하, '제2 사용자')에 대한 이미지를 획득하고, 획득된 이미지를 제1 전자 기기로 전송한다. 그에 따라서, 제1 전자 기기 및 제2 전자 기기 각각은 제1 사용자 및 제2 사용자에 대한 이미지를 포함하는 영상 통화 화면을 디스플레이 한다. 그러면, 제1 사용자 및 제2 사용자 각각은, 원격지에서 상대방에 대한 이미지를 보면서 통화를 할 수 있다.
개시된 실시예는 멀티뷰 화면을 디스플레이 하는 디스플레이 기기에서 영상 통화 서비스를 제공할 수 있는 디스플레이 기기 및 그의 동작 방법의 제공을 목적으로 한다.
구체적으로, 개시된 실시예는 멀티뷰 화면을 디스플레이 하는 디스플레이 기기에서 사용자의 의도에 부합하도록 영상 통화 서비스를 제공할 수 있는 디스플레이 기기 및 그의 동작 방법의 제공을 목적으로 한다.
개시된 실시예는 복수개의 부분 화면들을 포함하는 멀티 뷰 화면을 디스플레이 하는 디스플레이 기기의 동작 방법이다. 디스플레이 기기의 동작 방법은 개별적으로 디코딩된 복수개의 컨텐트들 각각을 상기 복수개의 부분 화면들을 통하여 출력하는 단계; 영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하는 단계; 및 상기 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함한다.
또한, 상기 영상 통화 화면을 출력하는 단계는 상기 디스플레이 기기에 포함되는 적어도 하나의 디코더에서, 상기 식별된 적어도 하나의 컨텐트에 대한 디코딩을 중단하는 단계; 상기 디코딩이 중단된 디코더에서, 상기 영상 통화 화면에 대응되는 영상 신호를 디코딩하는 단계; 및 상기 디코딩된 영상 신호에 근거하여 상기 식별된 적어도 하나의 컨텐트가 출력되었던 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 복수개의 컨텐트들 중 상기 영상 통화 화면의 해상도와 동일한 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 복수개의 컨텐트들 중 오프셋 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 복수개의 컨텐트들 중 가장 낮은 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 복수개의 컨텐트들 중 주 화면을 통하여 출력되는 컨텐트를 식별하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계; 및 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 음성 통화 전환 프로세스를 수행하는 단계를 더 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계; 및 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 영상 통화 프로세스를 종료하는 단계를 더 포함할 수 있다.
또한, 개시된 실시예에 따른 디스플레이 기기의 동작 방법은 상기 영상 통화 요청에 응답하여, 상기 복수개의 부분 화면들 중 적어도 하나를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하는 단계; 및 상기 사용자 인터페이스 화면을 통하여 상기 복수개의 부분 화면 중 적어도 하나를 선택하는 사용자 입력을 수신하는 단계를 더 포함할 수 있다. 또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 상기 사용자 입력의 수신에 근거하여 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 영상 통화 요청에 근거하여, 상기 멀티 뷰 화면을 통하여 출력되는 복수개의 컨텐트 들 중 제1 컨텐트를 식별하는 단계를 포함하며, 상기 영상 통화 화면을 출력하는 단계는 상기 제1 컨텐트에 대응되는 제1 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 화면을 출력하는 단계는 상기 제1 컨텐트에 대응되는 제1 영상 신호의 디코딩을 중단하는 단계; 상기 영상 통화 화면에 대응되는 상기 영상 신호를 디코딩하는 단계; 및 상기 디코딩된 영상 신호에 근거하여 상기 제1 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 컨텐트를 식별하는 단계는 영상 통화 요청에 근거하여, 상기 멀티 뷰 화면을 통하여 출력되는 복수개의 컨텐트 들 중 제1 컨텐트 및 제2 컨텐트를 식별하는 단계를 포함할 수 있다. 또한, 상기 영상 통화 화면을 출력하는 단계는 상기 제1 컨텐트에 대응되는 제1 부분 화면 및 상기 제2 컨텐트에 대응되는 제2 부분 화면 각각에서 영상 통화 화면을 구성하는 상대방 영상 및 사용자 영상을 디스플레이 하는 단계를 포함할 수 있다.
개시된 실시예에 따른 디스플레이 기기는 디스플레이; 통신 인터페이스; 복수개의 디코더를 포함하는 비디오 처리부; 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다. 여기서, 상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 비디오 처리부에서 개별적으로 디코딩된 복수개의 컨텐트들 각각이 멀티뷰 화면에 포함되는 복수개의 부분 화면들을 통하여 출력되도록 상기 디스플레이를 제어하고, 영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하며, 상기 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면이 출력되도록 상기 디스플레이를 제어한다.
개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법은 멀티뷰 화면을 출력하고 있는 디스플레이 기기에서 멀티뷰 화면의 종료 또는 중단 없이 영상 통화 서비스를 함께 제공할 수 있다.
구체적으로, 개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법은 사용자의 만족도를 높이는 방향으로 멀티뷰 화면의 종료 또는 중단 없이 영상 통화 서비스를 함께 제공할 수 있다.
구체적으로, 개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법은 멀티뷰 화면을 출력하는 중에 영상 통화 요청을 수신하는 디스플레이 기기는 사용자의 만족도를 높이는 방향으로 멀티뷰 화면의 출력을 유지하면서 영상 통화 서비스를 제공할 수 있다. 그에 따라서, 사용자의 만족도 및 사용자의 편리성이 높아질 수 있다.
도 1a는 일 예에 따른 멀티뷰 화면을 출력을 출력하는 디스플레이 기기를 나타내는 도면이다.
도 1b는 다른 예에 따른 멀티뷰 화면을 출력을 출력하는 디스플레이 기기를 나타내는 도면이다.
도 2는 멀티뷰 화면에서 출력 가능한 레이아웃의 예들을 설명하기 위한 도면이다.
도 3은 멀티뷰 화면이 출력되는 동안에 영상 통화 요청이 수신되는 동작을 설명하기 위한 도면이다.
도 4는 개시된 실시예에 따른 디스플레이 기기를 나타내는 일 도면이다.
도 5는 개시된 실시예에 따른 디스플레이 기기를 나타내는 다른 도면이다.
도 6는 개시된 실시예에 따른 디스플레이 기기를 나타내는 다른 도면이다.
도 7은 영상 통화 서비스를 지원하는 서버와 디스플레이 기기 간의 통신을 설명하기 위한 도면이다.
도 8은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 일 흐름도이다.
도 9는 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다.
도 10은 개시된 실시예에 따른 디스플레이 기기를 나타내는 또 다른 도면이다.
도 11은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 12는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 13은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다.
도 14는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 15는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다.
도 16은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다.
도 17은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다.
도 18은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다.
도 19는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 20은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 21은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 22는 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 또 다른 흐름도이다.
도 23은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 25는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 또 다른 예를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면 전체에 있어서, 동일한 구성에 대하여는 동일한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 실시예에서, 개시된 실시예에서, "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
일부 실시예는 기능적인 박스 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 박스들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 박스들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 의도하는 기능을 수행하기 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 박스들은 다양한 프로그래밍 또는 스크립트 언어로 구현될 수 있다. 기능 박스들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 모듈 및 구성등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 'A, B, 및 C 중 적어도 하나'라는 기재는 'A', 'B', 'C', 'A 및 B', 'A 및 C', 'B 및 C', 및 'A, B, 및 C' 중 어느 하나가 될 수 있음을 의미한다.
개시된 실시예는, 디스플레이 기기 및 그의 동작 방법이다. 구체적으로, 개시된 실시예는, 복수개의 전자 기기들 간에 영상 통화가 요청될 때, 멀티뷰 화면을 출력하던 디스플레이 기기가 영상 통화 요청을 처리하는 동작 방법 및 그를 수행하는 디스플레이 기기에 대한 것이다.
개시된 실시예에서, 영상 통화 서비스를 제공할 수 있는 전자 기기는 영상 통화 화면을 디스플레이 하는 디스플레이를 포함하며, 유무선의 통신 네트워크에 접속하여 원격지에 있는 다른 전자 기기와 통신을 수행할 수 있는 모든 전자 기기가 될 수 있다. 또한, 전자 기기는 디스플레이를 포함하여 영상 통화 서비스를 제공할 수 있는 컴퓨팅 장치로, 매우 다양한 형태로 존재할 수 있다. 예를 들어, 전자 기기는 웨어러블 디바이스, 스마트 폰, PDA(personal digital assistant), 미디어 플레이어, 태블릿 PC, 랩탑 컴퓨터, 미디어 플레이어, TV, 디지털 TV, 스마트 TV, 디지털 간판(digital signage), 디지털 표지판 등을 예로 들 수 있으며, 이에 한정되지 않는다. 이하에서는, 설명의 편의 상, 개시된 실시예에 따라 영상 통화 서비스를 제공할 수 있는 전자 기기를 '디스플레이 기기'로 칭하도록 한다.
또한, 이하의 설명들에 있어서, '모바일 기기' 및 '디스플레이 기기'는 각각 디스플레이로 영상 통화 화면을 디스플레이 하여 영상 통화를 수행할 수 있는 전자 기기가 될 수 있다. 즉, '모바일 기기' 및 '디스플레이 기기'는 각각 웨어러블 디바이스, 스마트 폰, PDA(personal digital assistant), 미디어 플레이어, 태블릿 PC, 랩탑 컴퓨터, 미디어 플레이어, TV, 디지털 TV, 스마트 TV, 디지털 간판(digital signage), 디지털 표지판 등이 될 수 있다.
다만, 설명의 편의 상, '모바일 기기' 및 '디스플레이 기기'를 구별하여 기재하였다. 예를 들어, 상대적으로 큰 디스플레이를 포함하거나 상대적으로 넓은 화각으로 영상 통화 화면을 촬영할 수 있는 전자 기기를 '디스플레이 기기'로 지칭하고, 상대적으로 작은 디스플레이를 포함하거나 상대적으로 좁은 화각으로 영상 통화 화면을 촬영할 수 있는 전자 기기를 '모바일 기기'로 지칭할 수 있다.
이하에서는, 설명의 편의 상 휴대 가능한 형태를 갖는 전자 기기를 '모바일 기기'로 칭하도록 한다. 그리고, 모바일 기기에 비하여 큰 디스플레이를 통하여 큰 화면을 제공하거나, 모바일 기기에 비하여 넓은 화각으로 영상 통화 화면을 획득할 수 있는 전자기기를, '디스플레이 기기'로 칭할 수 있다.
또한, 모바일 기기는 사용자가 휴대 가능한 형태를 가질 수 있다. 그리고, 디스플레이 기기는 휴대 가능한 형태를 가질 수도 있고, 고정된 위치에 설치되는 형태를 가질 수 있다. 또는 디스플레이 기기는, 휴대 가능하면서도 고정된 위치에 설치가 가능한 형태를 가질 수 있다.
이하에는 첨부되는 도면들에 있어서, 모바일 기기가 스마트 폰이며 디스플레이 기기가 TV 인 경우를 예로 들어 도시 및 설명하였다. 또한, 첨부된 도면들에 있어서, 동일한 구성 요소는 동일한 도면 기호를 이용하여 도시하였다. 또한, 상세한 설명 전체적으로, 동일한 구성은 동일한 용어로 기재하였다.
이하에서는, 첨부된 도면들을 참조하며, 개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법을 상세히 설명하도록 한다.
도 1a는 일 예에 따른 멀티뷰 화면을 출력을 출력하는 디스플레이 기기를 나타내는 도면이다.
개시된 실시예에 따른 디스플레이 기기(100)는 멀티뷰(multi-view) 화면을 제공할 수 있는 전자 기기이다. 여기서, 멀티뷰 화면이란, 디스플레이 기기(100)에 포함되는 디스플레이 상으로 출력되는 화면(screen)이 복수개의 부분 화면들로 분할되고, 복수개의 부분 화면들 각각이 복수개의 컨텐트들을 출력하는 화면을 의미할 수 있다.
도 1a를 참조하면, 디스플레이 기기(100)는 4개의 부분 화면들(120, 130, 140, 150)을 포함하는 멀티뷰 화면(110)을 출력할 수 있다. 구체적으로, 디스플레이 기기(100)는 사용자가 시각적으로 인식할 수 있는 멀티뷰 화면(110)을 디스플레이 할 수 있다.
예를 들어, 멀티뷰 화면(110)은 4개의 부분 화면들(120, 130, 140, 150) 각각으로 서로 다른 컨텐트들을 출력할 수 있다. 첨부된 도면들 및 상세한 설명의 예시에 있어서, 복수개의 컨텐트들은 4개의 서로 다른 제1 컨텐트, 제2 컨텐트, 제3 컨텐트 및 제4 컨텐트가 될 수 있다.
도 1a에 도시된 예시에 있어서, 제1 컨텐트는 음악 방송 채널에서 수신되는 음악 프로그램에 대응되는 방송 컨텐트가 될 수 있으며, 설명의 편의 상 제1 컨텐트를 아이콘 A(121)로 표시하였다. 또한, 제2 컨텐트는 일 스포츠 채널에서 수신되는 축구 경기에 대응되는 방송 컨텐트가 될 수 있으며, 설명의 편의 상 제2 컨텐트를 아이콘 B(131)로 표시하였다. 또한, 제3 컨텐트는 컨텐트 제공자(Contents provider)의 서버에서 수신되며 실시간 방송 또는 생방송이 아닌 축구 경기에 대응되는 동영상 스트리밍 컨텐트가 될 수 있으며, 설명의 편의 상 제3 컨텐트를 아이콘 C(141)로 표시하였다. 또한, 제4 컨텐트는 포털 사이트를 제공하는 웹 사이트 서버에서 수신되는 인터넷 컨텐트가 될 수 있으며, 설명의 편의 상 제4 컨텐트를 아이콘 D(151)로 표시하였다. 따라서, 개시된 실시예 및 첨부된 도면들에 있어서, 동일한 아이콘(에를 들어, 'A')로 표시된 컨텐트는 모두 동일한 컨텐트(예를 들어, 제1 컨텐트)를 지칭할 수 있다.
여기서, 소정 컨텐트를 나타내는 아이콘, 예를 들어, 아이콘 A(121)는 제1 컨텐트를 나타내는 텍스트, 기호, 도형, 식별표시, 및 컬러 중 적어도 하나의 조합으로 표현될 수 있다. 아이콘 A는 실제 부분 화면(120) 상에 표시될 수도 있고 표시되지 않을 수도 있을 것이다.
개시된 실시예에 따른 디스플레이 기기(100)는 화면 분할을 통하여 디스플레이 전체 면적에 대응되는 전체 화면을 복수개의 부분 화면들로 분할하고, 복수개의 부분 화면들 각각으로 독립된 컨텐트들을 출력할 수 있다.
구체적으로, 디스플레이 기기(100)는 제1 컨텐트에 대응되는 제1 영상 신호를 입력받고, 제1 영상 신호를 디코딩(decoding)하여 부분 화면(120) 상으로 출력할 수 있다. 그리고, 디스플레이 기기(100)는 제2 컨텐트에 대응되는 제2 영상 신호를 입력받고, 제2 영상 신호를 디코딩(decoding)하여 부분 화면(130) 상으로 출력할 수 있다. 또한, 디스플레이 기기(100)는 제3 컨텐트에 대응되는 제3 영상 신호를 입력받고, 제1 영상 신호를 디코딩(decoding)하여 부분 화면(140) 상으로 출력한다. 디스플레이 기기(100)는 제4 컨텐트에 대응되는 제4 영상 신호를 입력받고, 제4 영상 신호를 디코딩(decoding)하여 부분 화면(150) 상으로 출력할 수 있다.
도 1b는 다른 예에 따른 멀티뷰 화면을 출력을 출력하는 디스플레이 기기를 나타내는 도면이다. 도 1b 에 있어서, 도 1a 에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
도 1b를 참조하면, 디스플레이 기기(100)에서 출력되는 멀티뷰 화면(111)은 도 1a 의 멀티뷰 화면(110)과 다른 형태로, 주 화면(125)와 적어도 하나의 부 화면들(135, 145, 155)을 포함하는 형태로 형성될 수 있다.
도 1b 에 도시된 주 화면(125)에서 출력되는 제1 컨텐트, 부 화면(135)에서 출력되는 제2 컨텐트, 부 화면(145)에서 출력되는 제3 컨텐트, 및 부 화면(155)에서 출력되는 제4 컨텐트는 각각 도 1a에 도시된 부분 화면(120)에서 출력되는 제1 컨텐트, 부분 화면(130)에서 출력되는 제2 컨텐트, 부분 화면(140)에서 출력되는 제3 컨텐트, 및 부분 화면(150)에서 출력되는 제4 컨텐트와 동일 대응되므로, 상세 설명은 생략한다.
도 1a 및 도 1b를 참조하여 설명한 디스플레이 기기(100)는 멀티뷰 화면을 디스플레이 하기 위해서, 복수개의 디코더들(미도시)이 멀티뷰 화면에 포함되는 복수개의 컨텐트들에 대응되는 복수개의 영상 신호를 적절히 디코딩 하도록 관리할 수 있다.
구체적으로, 디스플레이 기기(100)는 멀티뷰 어플리케이션을 이용하여 멀티뷰 화면을 제공할 수 있다. 어플리케이션(application)은 서비스, 기능, 또는 특정 동작을 수행하는 프로그램 또는 프로세서를 의미할 수 있다. 구체적으로, 어플리케이션은 서비스, 기능, 또는 특정 동작을 수행하는 적어도 하나의 인스트럭션으로 형성될 수 있다. 또한, 어플리케이션은 디스플레이 기기(100)에 포함되는 프로세서(미도시) 또는 메모리(미도시) 내에 저장될 수 있다. 개시된 실시예에서, 멀티뷰 화면을 제공하는 서비스, 기능 또는 동작들을 수행하는 어플리케이션을 '멀티뷰 어플리케이션'이라 칭할 수 있다.
구체적으로, 멀티뷰 어플리케이션은 멀티뷰 화면을 제공하기 위해서, 디스플레이 기기(100)에서 출력되는 화면을 소정 레이아웃에 맞춰서 분할하고, 분할된 복수개의 부분 화면들을 통하여 복수개의 컨텐트들이 각각 출력되도록 제어하는 어플리케이션을 의미할 수 있다. 멀티뷰 어플리케이션을 멀티뷰 화면을 제공하기 위한 동작들을 수행할 수 있으며, 멀티뷰 화면을 제공하기 위해서 필요한 디스플레이 기기(100)의 하드웨어 자원 및 소프트웨어 자원 중 적어도 하나를 제어할 수 있다. 예를 들어, 멀티뷰 화면을 제공하기 위해서 필요한 하드웨어 자원은, 멀티뷰 화면으로 출력되는 복수개의 컨텐트들을 디코딩하기 위한 복수개의 디코더, 멀티뷰 화면으로 출력될 이미지를 저장하는 메모리 등이 될 수 있다. 또한, 멀티뷰 화면을 제공하기 위해서 필요한 소프트웨어 자원은, 멀티뷰 화면으로 출력되는 복수개의 컨텐트들을 소프트웨어적으로 디코딩하기 위한 소프트웨어 디코더 등이 될 수 있을 것이다.
개시된 실시예에서, 디스플레이 기기(100)에 저장 또는 포함되는 멀티뷰 어플리케이션은 멀티뷰 화면의 생성 및 출력을 전체적으로 제어할 수 있다.
전술한 바와 같이, 디스플레이 기기(100)는 화면을 분할하여 복수개의 부분 화면들이 생성되도록 제어하고, 내부적으로 포함되는 복수개의 디코더들의 디코딩 동작을 관리함으로써, 멀티뷰 화면을 제공할 수 있다.
도 2는 멀티뷰 화면에서 출력 가능한 레이아웃의 예들을 설명하기 위한 도면이다. 구체적으로, 도 2는 도 1a 및 도 1b에 도시된 디스플레이 기기(100)에서 디스플레이 되는 멀티뷰 화면(110)의 레이아웃을 예들을 나타내는 도면이다.
도 2를 참조하면, 도 1a 또는 도 1b에서 설명한 멀티뷰 화면(110 또는 111)은 다양한 레이아웃을 가질 수 있다. 또한, 도 2에 도시한 레이아웃 이외에도 다양한 형태의 레이아웃이 존재할 수 있을 것이다.
예를 들어, 멀티뷰 화면(110)의 레이아웃은, 부분 화면의 개수, 디스플레이가 지원하는 종횡비(aspect ratio), 부분 화면들 각각을 통하여 출력되는 컨텐트의 종횡비, 부분 화면의 종횡비, 인터넷 서버를 통하여 전송되는 인터넷 포털의 윈도우(실행창)의 종횡비 등을 고려하여 결정될 수 있다. 또한, 멀티뷰 화면(110)의 레이아웃은 사용자의 설정 또는 디스플레이 기기(100)의 자체 설정에 따라서 결정될 수 있다.
도 2의 표(200)을 참조하면, 분할되는 화면의 개수가 4개인 경우, 즉, 멀티뷰 화면(110)이 4개의 부분 화면들을 포함하는 경우, 도시된 예시와 같은 레이아웃들(241, 242, 243, 245, 246)을 포함할 수 있다. 예를 들어, 레이아웃(241)은 멀티뷰 화면이 균등하게 4의 부분 화면들로 분할된 경우를 나타낸다. 또한, 레이아웃들(242, 243, 245, 246)은 멀티뷰 화면이 균등하지 않게 4의 부분 화면들로 분할된 경우를 나타낸다. 여기서, 레이아웃들(242, 243, 245, 246) 각각에는 1개의 주 화면과 3의 부화면들이 포함될 수 있다.
이하에서는, 멀티뷰 화면이 4의 부분 화면들을 포함하는 경우를 예로 들어 설명하며, 레이아웃(241) 또는 레이아웃(245)를 포함하는 경우를 예로 들어서 설명하도록 한다.
도 3은 멀티뷰 화면이 출력되는 동안에 영상 통화 요청이 수신되는 동작을 설명하기 위한 도면이다. 도 3에 있어서, 도 1a에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 첨부된 도면들 전체적으로, 동일한 도면 기호는 동일한 구성을 나타낸다. 따라서, 중복되는 설명들은 생략하도록 한다.
도 3을 참조하면, 멀티뷰 화면(110)을 디스플레이 하는 디스플레이 기기(100)를 영상 통화 서비스를 제공할 수 있다.
개시된 실시예에서, 영상 통화는 서로 원격지에 위치하는 복수의 사용자들 각각이 복수개의 전자 기기들을 통하여 화면으로 상대방의 얼굴을 보면서 통화를 하는 것을 의미한다. 또한, 개시된 실시예에서 언급되는 '영상 통화'는 화상 회의, 비대면 통신, 비대면 교육 등과 같이 원격지에 위치하는 사용자들이 서로에 대한 이미지를 제공받으면서 통신을 수행하는 모든 분야에 응용될 수 있으며, 서로 원격에 위치하는 복수의 사용자들이 상대방에 대한 이미지를 보면서 통신을 수행하는 경우를 모두 지칭할 수 있다. 여기서, 영상 통화 화면에 포함되는 이미지들은, 꼭 영상 통화를 이용하는 사용자의 얼굴일 필요는 없으며, 영상 통화를 이용하는 사용자가 위치한 환경을 나타내는 이미지, 또는 사용자가 제공하는 이미지 등이 될 수도 있을 것이다.
일반적으로, 영상 통화는 서로 다른 두 개의 전자 기기 간에 수행될 수 있다. 또는, 상호 원격지에 위치하는 3명 이상의 사용자들이 3개 이상의 전자 기기를 통하여 영상 통화를 수행할 수 도 있다.
이하에서는, 상호 원격에 위치하는 두 개의 전자 기기를 통하여 일 사용자(이하, '사용자')와 다른 사용자(이하, '상대방')가 영상 통화를 하는 경우를 예로 들어 설명 및 도시하도록 한다. 여기서, 사용자는 1명의 사람을 지칭하는 것이 아니며 복수가 될 수 있으며, 상대방 또한 복수가 될 수 있다.
도 3을 참조하면, 원격지에 위치하는 전자 기기들인 디스플레이 기기(100)와 상대방 기기(302) 간에 영상 통화가 수행될 수 있다(S391). 또한, 영상 통화는, 3G, 4G, 또는 5G 등과 같은 통신 네트워크를 이용하여 영상 통화에 필요한 데이터를 송수신함으로써 수행될 수 있다. 또는, 영상 통화는 통신사의 통화 서비스를 통하여 수행될 수 있다. 또한, 영상 통화는 서비스 제공자의 서버를 통하여 제공되는 소정 어플리케이션(예를 들어, 영상 통화 어플리케이션, 비대면 통신 어플리케이션, 화상 교육 어플리케이션, 화상 회의 어플리케이션 등)을 통하여 수행될 수 있다.
도 3을 포함하여 이하에서는, 사용자의 전자 기기는 디스플레이 기기(100)이며, 사용자와 영상 통화를 하고자 하는 상대방의 전자 기기를 상대방 기기(302)라 칭하도록 한다. 또한, 디스플레이 기기(100)의 사용자를 '사용자 A'로 표시하였으며, 사용자 A와 영상 통화를 하고자 하는 상대방을 '사용자 B'로 표시하였다. 즉, 개시된 실시예에서 영상 통화의 상대방은 '사용자 B'를 지칭할 수 있다. 또한, 도 3에서는 상대방 기기(302)가 스마트 폰인 경우를 예로 들어 도시하였다. 그리고, 디스플레이 기기(100) 및 모바일 기기(301)는 사용자(317)가 소유한 전자 기기가 될 수 있으며, 상대방 기기(302)는 상대방(327)가 소유한 전자 기기가 될 수 있다.
도 3을 참조하면, 디스플레이 기기(100)는 원격지에 위치하는 상대방의 전자 기기인 상대방 기기(302)와 영상 통화를 수행할 수 있다(S391). 디스플레이 기기(100)는 자체의 통화 기능 또는 비대면 통신을 위한 어플리케이션을 수행하여 영상 통화를 수행할 수 있다.
또는, 모바일 기기(301)에서 실행된 영상 통화가 기기 전환을 통하여 디스플레이 기기(100)에서 수행될 수도 있다. 구체적으로, 모바일 기기(301)와 상대방 기기(302)간에 영상 통화가 수행될 수 있다(S381). 후속하여, 영상 통화의 실행 기기를 모바일 기기(301)에서 디스플레이 기기(100)로 기기 전환 또는 기기 변경할 수 있을 것이다(S382).
전술한 바와 같이, 디스플레이 기기(100)는 자체의 영상 통화 서비스 기능을 이용하여, 상대방 기기(302)와 직접 영상 통화를 수행할 수 있다. 또는, 디스플레이 기기(100)는 모바일 기기(301)에서 수행 또는 개시되는 영상 통화에 대하여 기기 전환을 통하여 영상 통화를 수행할 수 있다. 이하에서는, 디스플레이 기기(100)가 영상 통화 서비스를 제공하는데 있어서, 디스플레이 기기(100)가 직접 상대방 기기(302)와 영상 통화를 수행(S391)하는 경우를 예로 들어 설명 및 도시하도록 한다.
개시된 실시예에서, 디스플레이 기기(100)는 멀티뷰 화면(110)을 디스플레이는 도중에, 영상 통화 요청을 수신할 수 있다. 여기서, 영상 통화 요청은 상대방 기기(302)로부터 수신될 수 있다. 또는, 영상 통화 요청은 디스플레이 기기(100)의 사용자(317)의 요청에 근거하여 수신될 수 있다. 예를 들어, 디스플레이 기기(100)의 사용자(317)가 영상 통화를 하고 싶은 경우, 디스플레이 기기(100)의 영상 통화 서비스를 제공하는 어플리케이션, 프로그램 또는 메뉴를 선택하는 사용자 입력을 디스플레이 기기(100)로 전송할 수 있다. 그러면, 디스플레이 기기(100)는 사용자 입력에 근거하여 영상 통화 요청이 수신되는 것으로 인식할 수 있다.
영상 통화가 개시되면, 영상 통화를 수행하는 전자 기기들(예를 들어, 301, 302)은 영상 통화 화면을 디스플레이 할 수 있다. 예를 들어, 사용자(317)의 전자 기기인 모바일 기기(301)의 디스플레이는 상대방(327)에 대한 이미지(312)를 메인 화면으로 포함하고 사용자(317)에 대한 이미지(예를 들어, 313)를 서브 화면으로 포함하는 영상 통화 화면(311)을 디스플레이 할 수 있다. 또한, 영상 통화 화면(311)은 영상 통화를 제어하기 위한 메뉴들(314)을 더 포함할 수 있다. 또한, 상대방(327)의 전자 기기인 상대방 기기(302)의 디스플레이는 상대방(327)에 대한 이미지(323)를 서브 화면으로 포함하고 사용자(317)에 대한 이미지(예를 들어, 322)를 메인 화면으로 포함하는 영상 통화 화면(322)을 디스플레이 할 수 있다. 또한, 영상 통화 화면(321)은 영상 통화를 제어하기 위한 메뉴들(324)을 더 포함할 수 있다.
여기서, 상대방(327)에 대한 이미지는 상대방 기기(302)에 포함되는 카메라(320)에서 획득될 수 있다. 구체적으로, 상대방 기기(302)는 영상 통화 요청이 수신되면 카메라(320)를 활성화시켜 상대방(327)에 대한 촬영을 시작할 수 있다. 그리고, 사용자(317)에 대한 이미지는 사용자(317)의 전자 기기인 모바일 기기(301) 또는 디스플레이 기기(100)에서 획득될 수 있다. 디스플레이 기기(100)가 직접 상대방 기기(302)와 영상 통화를 수행할 경우, 디스플레이 기기(100)의 카메라(155)가 사용자(317)에 대한 촬영을 수행할 수 있다. 또는, 디스플레이 기기(100)가 기기 전환(S382)을 통하여 영상 통화를 수행하는 경우, 사용자에 대한 촬영은 모바일 기기(301)에 포함되는 카메라(310)에서 수행될 수 있을 것이다. 이 경우, 모바일 기기(301)는 사용자에 대한 이미지를 획득하여 상대방 기기(302) 및 디스플레이 기기(100)로 각각 전송할 수 있을 것이다. 또한, 또는, 디스플레이 기기(100)가 기기 전환(S382)을 통하여 영상 통화를 수행하는 경우, 디스플레이 기기(100)는 기기 전환이 완료된 이후에 카메라(155)를 통하여 사용자(317)에 대한 촬영을 수행할 수 있을 것이다.
전술한 바와 같이, 영상 통화 화면(예를 들어, 311 또는 321)는 영상 통화 서비스를 이용하는 사용자와 상대방 각각에 대한 이미지들을 포함하며, 영상 통화 화면에 대응되는 영상 신호는 소정 해상도를 갖는 영상 신호가 될 수 있다.
또한, 영상 통화 화면에 포함되는 영상 신호는 사용자에 대한 이미지에 대응되는 영상 신호인 사용자 영상 신호와 상대방에 대한 이미지에 대응되는 영상 신호인 상대방 영상 신호를 포함할 수 있다.
영상 통화 서비스를 제공할 수 있는 전자 기기, 예를 들어, 디스플레이 기기(100)는 영상 통화 화면을 시각적으로 출력하여야 하므로 디스플레이를 포함한다. 전자 기기가 영상 통화 요청을 수신받기 직전에 소정의 컨텐트를 디스플레이하고 있는 경우가 존재할 수 있다. 이 경우, 영상 통화 요청을 처리하기 위한 방법을 제공할 필요가 있다.
그러나, 사용자의 전자 기기가 복수개의 컨텐트들을 동시에 디스플레이하고 있는 도중에 영상 통화 요청을 수신하는 경우, (i) 전자 기기는 복수개의 컨텐트들에 대한 디스플레이를 중단할지 말지, (ii) 복수개의 컨텐트들 중 어느 컨텐트의 디스플레이를 중단시킬지 여부, 또는 (iii) 복수개의 컨텐트들이 디스플레이 되었던 복수개의 부분 화면들 중 어느 화면으로 영상 통화 화면을 출력하여야 하는지가 정의되어 있지 않다.
따라서, 개시된 실시예는 사용자의 만족도를 높이면서 복수개의 컨텐트들을 동시에 디스플레이 하는 전자 기기가 영상 통화 서비스를 제공할 수 있도록 한다.
이하에서는, 도 4 내지 도 25를 참조하여, 멀티뷰 화면(110)을 디스플레이는 도중에 영상 통화 요청을 수신되는 경우, 개시된 실시예에 따른 디스플레이 기기에서 수행되는 동작들을 상세히 설명한다.
도 4는 개시된 실시예에 따른 디스플레이 기기를 나타내는 일 도면이다.
도 4를 참조하면, 디스플레이 기기(500)는 도 1a 내지 도 3에서 도시한 디스플레이 기기(100)에 대응될 수 있다. 따라서, 디스플레이 기기(500)의 동작들을 설명하는데 있어서, 도 1 내지 도 3에서와 중복되는 설명은 생략한다.
도 4를 참조하면, 디스플레이 기기(500)는 프로세서(410), 디스플레이(420), 비디오 처리부(425) 및 통신 인터페이스(415)를 포함한다. 도 4에 있어서, 프로세서(410)와 디스플레이(420), 비디오 처리부(425) 및 통신 인터페이스(415)가 각각 연결되는 것으로 도시하였으나, 프로세서(410), 디스플레이(420), 비디오 처리부(425) 및 통신 인터페이스(415) 중 적어도 두 개의 구성들은 상호 직접 또는 간접적으로 연결될 수 있다.
프로세서(410)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서(410) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(410)와 별도로 디스플레이 기기(500) 내에 포함되는 메모리(미도시)에 저장되어 있을 수 있다.
구체적으로, 프로세서(410)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 디스플레이 기기(500) 내부에 포함하는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(410)가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서(410)가 소정 동작들이 수행되도록 디스플레이 기기(500) 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있을 것이다. 또한, 프로세서(410)는 하나의 프로세서로 형성되는 경우를 예로 들어 설명 및 도시하였으나, 프로세서(410)는 복수개의 프로세서들이 포함되는 형태로 형성될 수도 있다.
디스플레이(420)는 이미지를 화면 상으로 출력한다. 구체적으로, 디스플레이(420)는 비디오 데이터를 사용자가 시각적으로 인식할 수 있도록, 내부적으로 포함되는 디스플레이 패널(미도시)을 통하여, 비디오 데이터에 대응되는 이미지를 출력할 수 있다. 여기서, 비디오 데이터는 디코딩된 영상 신호에 대응될 수 있다.
개시된 실시예에서, 디스플레이(420)는 멀티뷰 화면을 출력할 수 있다. 또한, 디스플레이(420)는 멀티뷰 화면에 포함되는 적어도 하나의 부분 화면을 통하여 영상 통화 화면을 출력할 수 있다.
통신 인터페이스(415)는 적어도 하나의 외부 전자 기기, 서버, 및/또는 방송국 등과의 통신을 수행할 수 있다. 여기서, 적어도 하나의 외부 전자기기는 모바일 기기(301), 상대방 기기(302), 및/또는 커넥팅 단자를 통하여 연결 가능한 외부 저장 매체 등이 될 수 있다.
구체적으로, 통신 인터페이스(415)는 다양한 데이터 소스(source)로부터 수신되는 데이터를 수신할 수 있다. 예를 들어, 통신 인터페이스(415)는 복수개의 컨텐트들을 수신할 수 있다. 구체적으로, 통신 인터페이스(415)는, 방송국, 인터넷 서버, 컨텐트 제공자 서버 등으로부터 복수개의 컨텐트들 각각에 대응되는 복수개의 영상 신호를 수신할 수 있다. 예를 들어, 복수개의 영상 신호 각각은, 방송 스트림 신호, 전송 스트림(TS: Transport stream), 또는 동영상 스트리밍 신호 등이 될 수 있다. 통신 인터페이스(415)의 구성은 이하에서 도 5를 참조하여 상세히 설명한다.
비디오 처리부(425)는 비디오 데이터에 대한 이미지를 처리를 수행할 수 있다. 구체적으로, 비디오 처리부(425)는 디스플레이 기기(500)가 수신한 비디오 데이터, 예를 들어, 영상 신호에 대한 처리를 수행할 수 있다. 비디오 처리부(425)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
개시된 실시예에서, 비디오 처리부(425)는 복수개의 디코더(미도시)를 포함하며, 복수개의 디코더(미도시)를 통하여 복수개의 컨텐트들을 개별적으로 디코딩할 수 있다. 구체적으로, 복수개의 디코더(미도시)는 복수개의 컨텐트들에 대응되는 복수개의 영상 신호 각각을 디코딩 할 수 있다. 여기서, 복수개의 디코더 그룹을 '멀티 디코더'라고 칭할 수 있다.
구체적으로, 디스플레이 기기(500)는 2개 이상의 디코더(decoder)를 포함하며, 2개 이상의 디코더는 복수개의 컨텐트 각각에 대응되는 복수개의 영상 신호를 개별적으로 디코딩 할 수 있다. 또한, 디스플레이 기기(500)에 포함되는 복수개의 디코더(미도시) 각각은 서로 다른 해상도(resolution)에 대응될 수 있다. 예를 들어, 디스플레이 기기(500)는 4K 디코더(미도시) 및 2K 디코더(미도시)를 포함할 수 있다. 여기서, 4K 디코더는 4K 이하의 해상도를 갖는 이미지에 대응되는 영상 신호를 디코딩 할 수 있다. 또한, 2K 디코더는 2K 이하의 해상도를 갖는 이미지에 대응되는 영상 신호를 디코딩 할 수 있다. 또한, 복수개의 디코더들 각각은 동시에 적어도 하나의 영상 신호를 디코딩 할 수 있다. 예를 들어, 2K 디코더는 시간 분할을 통하여 2K 해상도를 갖는 두 개의 영상 신호를 동시적으로 디코딩 할 수 있다.
프로세서(410)는 멀티뷰 화면을 디스플레이 하기 위해서, 복수개의 디코더들이 멀티뷰 화면에 포함되는 복수개의 컨텐트들에 대응되는 복수개의 영상 신호를 적절히 디코딩 하도록 관리할 수 있다.
개시된 실시예에서, 프로세서(410)는 적어도 하나의 인스트럭션을 실행하여, 비디오 처리부(425)를 통하여 개별적으로 디코딩된 복수개의 컨텐트들 각각이 멀티뷰 화면(도 4에 미도시됨)(예를 들어, 도 1a에서 도시된 멀티뷰 화면(110))에 포함되는 복수개의 부분 화면들을 통하여 출력되도록 디스플레이(420)를 제어한다. 그리고, 프로세서(410)는 영상 통화 요청에 근거하여, 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별한다. 구체적으로, 프로세서(410)는 영상 통화 요청에 응답하여, 복수개의 컨텐트들 중 영상 통화 화면에 대응되는 해상도를 갖는 적어도 하나의 컨텐트를 식별할 수 있다.
계속하여, 프로세서(410)는 멀티뷰 화면에 포함되는 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 영상 통화 화면이 출력되도록 디스플레이(420)를 제어한다.
예를 들어, 프로세서(410)는 전술한 멀티뷰 어플리케이션을 포함할 수 있다. 그리고, 프로세서(410)의 멀티뷰 어플리케이션은 영상 통화 요청에 근거하여, 멀티뷰 화면으로 출력되는 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별할 수 있을 것이다. 그리고, 멀티뷰 어플리케이션은 식별된 컨텐트에 대응되는 부분 화면을 통하여 영상 통화 화면이 출력되도록 디스플레이(420)를 제어할 수 있다.
여기서, '개별적으로 디코딩'되었다는 것은, 복수개의 컨텐트들에 대응되는 복수개의 영상 신호들 각각이 독립적으로 디코딩 되었다는 것을 의미할 수 있다. 즉, 복수개의 컨텐트들에 대응되는 복수개의 이미지들이 통합되어 하나의 이미지로써 디코딩된 것이 아니다.
또한, '영상 통화 요청'은 영상 통화 서비스의 개시 또는 실행을 요청하는 제어 신호가 될 수 있다. 영상 통화 요청은 디스플레이 기기(500)의 사용자 입력에 근거하여 생성될 수 있다. 또는, 영상 통화 요청은 디스플레이 기기(500)와 영상 통화를 수행하고자 하는 상대방 기기(302) 또는 기기 전환을 요청하는 모바일 기기(301)로부터 수신될 수도 있다.
또한, '영상 통화 화면에 대응되는 해상도'는 영상 통화 화면에 대응되는 영상 신호의 해상도를 의미할 수 있다. 또는, '영상 통화 화면에 대응되는 해상도'는 영상 통화 화면을 구성하는 복수개의 이미지(예를 들어, 사용자에 대한 이미지 및 상대방에 대한 이미지) 각각에 대응되는 해상도를 의미할 수 있다.
예를 들어, 영상 통화 화면 전체에 대응되는 영상 신호가 수신되는 경우, 영상 신호는 1K, 2K, 4K 또는 8K 등의 해상도를 갖는 영상 신호가 될 수 있다.
또 다른 예로, 영상 통화 화면을 구성하는 사용자에 대한 이미지에 대응되는 사용자 영상 신호 및 상대방에 대한 이미지에 대응되는 상대방 영상 신호가 각각 수신되는 경우, 사용자 영상 신호 및 상대방 영상 신호는 각각 1K, 2K, 4K 또는 8K 등의 해상도를 갖는 영상 신호가 될 수 있다. 여기서, 사용자 영상 신호 및 상대방 영상 신호는 동일한 해상도를 가질 수도 있고, 서로 다른 해상도를 가질 수도 있다.
구체적으로, 프로세서(410)는 디스플레이 기기(500)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 기기(500)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 디스플레이 기기(500)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 프로세서 (Processor)(미도시)를 포함할 수 있다. 프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서(410)는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서(410)는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 다시 벌 코어 등을 포함할 수 있다.
또한, 프로세서(410)는 영상 통화 요청에 응답하여 상대방 기기(302) 간의 영상 통화 서비스를 개시할 수 있다. 전술한 바와 같이, 영상 통화는 디스플레이 기기(500) 자체의 영상 통화 기능, 또는 영상 통화 서비스를 제공하기 위한 어플리케이션 등을 통하여 수행될 수 있다. 예를 들어, 영상 통화 서비스를 제공하기 위한 어플리케이션을 영상 통화 어플리케이션이라 칭할 수 있다.
구체적으로, 프로세서(410)는 영상 통화 어플리케이션을 저장하고 있을 수 있다. 또는, 영상 통화 어플리케이션을 프로세서(410)에 포함되는 적어도 하나의 프로세서에 대응될 수 있다. 또한, 영상 통화 어플리케이션은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버 등을 통하여 배포될 수 있을 것이다.
예를 들어, 모바일 기기(201), 상대방 기기(202) 및 디스플레이 기기(500) 중 적어도 두 개에 영상 통화 어플리케이션을 설치하고, 영상 통화 어플리케이션을 이용하여 설치된 두 개의 기기들 간의 영상 통화를 수행할 수 있다.
도 5는 개시된 실시예에 따른 디스플레이 기기를 나타내는 다른 도면이다. 도 5에 도시된 디스플레이 기기(500)는 도 4에 도시된 디스플레이 기기(500)에 동일 대응될 수 있다. 따라서, 디스플레이 기기(500)를 설명하는데 있어서, 도 4에서와 중복되는 설명은 생략한다.
도 5를 참조하면, 디스플레이 기기(500)는 디스플레이 기기(500)에 비하여, 카메라(440), 메모리(470), 사용자 인터페이스(450) 및 오디오 입출력부(465) 중 적어도 하나를 더 포함할 수 있다.
도 5를 참조하면, 통신 인터페이스(415)는 영상 입력부(417) 및 통신부(430)를 포함할 수 있다. 구체적으로, 통신 인터페이스(415)에 있어서, 영상을 디스플레이 하기 위해서 이용되는 데이터 소스를 수신하는 구성을 영상 입력부(417)로 구분하고, 무선 통신 네트워크를 통하여 원격지에 위치한 외부 전자 기기와 상호 통신할 수 있는 구성을 통신부(430)로 구분할 수 있다.
영상 입력부(417)는 다양한 데이터 소스(source)로부터 수신되는 데이터를 수신할 수 있다. 예를 들어, 영상 입력부(417)는 방송을 통해 들어오는 라이브 스트림을 수신하기 위한 튜너(미도시)와, 동영상을 재생하기 위한 USB 연결 단자(미도시), 외부 입력을 받기 위한 HDMI 연결 단자(미도시), 콤포넌트(미도시) 등을 포함할 수 있다.
또한 영상 입력부(417)는 다양한 포맷의 입력 데이터를 수신할 수 있다. 여기서, 영상 입력부(417)를 통하여 수신되는 데이터들의 포맷은 RGBA, YUV 포멧 등을 가질 수 있다. 또한, 영상 입력부(417)는 다양한 포맷을 갖는 복수의 입력 데이터(구체적으로, 이미지 자원)들을 수신할 수 있다.
통신부(430)는 적어도 하나의 유선 또는 무선 통신 네트워크를 통해서 외부 전자 기기(미도시)와 통신을 수행한다. 개시된 실시예에서, 통신부(430)는 모바일 기기(301) 및 상대방 기기(302) 중 적어도 하나와 통신할 수 있다. 또한, 통신부(430)는 모바일 기기(301) 및 상대방 기기(302) 중 적어도 하나와 소정 데이터를 송수신하기 위해서 서버(도 5에 미도시 됨)(예를 들어, 도 7에 도시된 서버(700))와 통신을 수행할 수 있다. 또한, 통신부(430)는 컨텐트 제공 서버, 인터넷 서버 등과 통신을 수행할 수 있다.
통신부(430)는 통신 네트워크(391)를 통하여 외부 기기(예를 들어, 모바일 기기(301), 상대방 기기(302) 및 서버(미도시) 중 적어도 하나)와 통신할 수 있다. 구체적으로, 통신부(430)는 적어도 하나의 통신 모듈, 통신 회로 등을 포함하는 형태로 형성될 수 있으며, 통신 모듈 및/또는 통신 회로를 통하여 외부 기기와 데이터를 송수신할 수 있다.
구체적으로, 통신부(430)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈(미도시)를 포함할 수 있다.
또한, 통신부(430)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버(미도시)와 통신을 수행하는 원거리 통신 모듈(미도시)를 더 포함할 수 있다. 구체적으로, 통신부(430)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈(미도시)를 포함할 수 있다. 또한, 통신부(430)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 포함할 수 있다.
사용자 인터페이스(450)는 디스플레이 기기(500)를 제어하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(450)는 사용자로부터 영상 통화 요청을 수신할 수 있다.
사용자 인터페이스(450)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 인터페이스(450)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치(미도시)는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(410)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
또한, 사용자 인터페이스(450)는 모션 감지 센서(미도시)를 포함할 수도 있다. 예를 들어, 모션 감지 센서(미도시)는 디스플레이 기기(3100)의 움직임을 감지하고, 감지된 움직임을 사용자 입력으로 수신할 수 있다. 또한, 전술한 음성 인식 장치(미도시) 및 모션 감지 센서(미도시)는 사용자 인터페이스(450) 내에 포함되는 형태가 아니라, 사용자 인터페이스(450)와는 독립적인 모듈로 디스플레이 기기(500) 내에 포함될 수 있을 것이다.
또한, 사용자 인터페이스(450)는 원격 제어 기기(remote controller) 등을 통하여 사용자 입력을 수신할 수 있다. 이 경우, 사용자 인터페이스(450)는 원격 제어 기기(미도시)로부터 사용자 입력에 대응되는 신호를 수신하기 위한 통신 모듈을 포함할 수 있다. 예를 들어, 원격 제어 기기(미도시)가 사용자 입력에 대응되는 IR 신호를 전송하는 경우, 사용자 인터페이스(450)는 IR 신호를 수신할 수 있는 통신 모듈(미도시)을 포함할 수 있을 것이다.
또한, 디스플레이 기기(500)와 외부의 모바일 기기(301)가 상호 무선 연결되어 있는 경우, 사용자 인터페이스(450)는 모바일 기기(301)의 터치 패널(미도시)를 통하여 수신되는 사용자 입력을 전송 받을 수 있다.
또는, 모바일 기기(301)의 터치 패널(미도시)를 통하여 수신되는 사용자 입력은 디스플레이 기기(500)의 통신부(430)를 통하여 수신되어 프로세서(410)로 전달될 수도 있을 것이다. 예를 들어, 디스플레이 기기(500)와 외부의 모바일 기기(301)가 와이파이 네트워크 또는 블루투스 네트워크를 통하여 상호 무선 연결되어 있는 경우, 모바일 기기(301)의 터치 패널(미도시)를 통하여 수신되는 사용자 입력은 통신부(430)의 와이파이 통신 모듈(미도시) 또는 블루투스 통신 모듈(미도시)를 통하여 수신될 수 있다.
카메라(440)는 이미지 센서(미도시)를 포함하여, 영상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지 영상 또는 동영상 등의 영상 프레임을 얻을 수 있다. 개시된 실시예에서, 카메라(440)는 영상 통화 요청의 수신에 근거하여 활성화 될 수 있다. 그에 따라서, 활성화 된 카메라(440)는 영상 통화를 요청한 사용자에 대한 이미지를 획득하기 위한 촬영을 수행할 수 있다.
구체적으로, 카메라(440)는 설정된 FPS(Frame per second)에 따라서 소정 시간 간격으로 영상 프레임을 획득할 수 있다. 예를 들어, 카메라(440)는 1초에 30장의 영상 프레임을 획득할 수 있다. 따라서, 카메라(440)에서 획득되는 제1 이미지는 연속적으로 획득 및 갱신되는 이미지들의 집합 또는 이미지들 각각을 의미할 수 있다.
또한, 디스플레이 기기(500)는 하나의 카메라를 포함할 수 있다. 또한, 디스플레이 기기(500)는 서로 다른 위치에 배치되는 복수개의 카메라를 포함할 수 있을 것이다. 디스플레이 기기(500)가 복수개의 카메라를 포함하는 경우, 디스플레이 기기(500)는 자체 설정 또는 사용자 입력에 근거하여, 영상 통화를 위하여 사용자는 복수개의 카메라들 중 어느 하나를 선택할 수 있다.
또한, 사용자에 대한 이미지를 획득하기 위한 카메라는 디스플레이 기기(500) 내에 포함되는 형태가 아닌, 디스플레이 기기(500)와 별도로 구비될 수 있다. 예를 들어, 디스플레이 기기(500)의 전면을 촬영할 수 있도록, 디스플레이 기기(500)의 일 측면 또는 인접하여 배치되는 외장 카메라(미도시)가 될 수 있다. 이 경우, 외장 카메라(미도시)와 디스플레이 기기(500)는 유무선의 신호 선을 통하여 연결될 수 있으며, 외장 카메라(미도시)는 디스플레이 기기(500)의 제어에 따라서 영상 통화의 사용자에 대한 이미지를 획득할 수 있다.
이하에서는 설명의 편의 상, 영상 통화를 위하여 사용자에 대한 영상을 획득하기 위한 카메라가 디스플레이 기기(500) 내에 포함되는 형태로 구비되는 경우를 예로 들어 도시 및 설명하도록 한다.
메모리(470)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(470)는 프로세서(410)가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리(470)는 프로세서(410)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리(470)는 소정 서비스를 제공하기 위한 어플리케이션을 저장하고 있을 수 있다. 예를 들어, 메모리(470)는 영상 통화 어플리케이션을 저장하고 있을 수 있다.
구체적으로, 메모리(470)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
오디오 입출력부(465)는 사용자가 청각적으로 인식할 수 있는 오디오를 출력하거나, 오디오를 감지 및/또는 수신할 수 있다. 구체적으로, 오디오 입출력부(465)는 오디오 출력부(460) 및 오디오 입력부(467)를 포함할 수 있다.
오디오 출력부(460)는 프로세서(410)의 제어에 따라서 오디오를 출력한다.
구체적으로, 오디오 출력부(460)는 통신부(430)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다.
개시된 실시예에서, 프로세서(410)는 영상 통화 모드 동안에 영상 통화의 상대방 기기(302)로부터 수신되는 오디오가 오디오 출력부(460)를 통하여 출력되도록 제어할 수 있다.
또한, 오디오 출력부(460)는 프로세서(410)의 제어에 의해 메모리(470)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(460)는 스피커(미도시), 헤드폰 출력 단자(미도시) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(미도시) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(460)는 스피커(미도시), 헤드폰 출력 단자(미도시) 및 S/PDIF(Sony/Philips Digital Interface) 출력 단자(미도시)의 조합을 포함할 수 있다.
오디오 입력부(467)은 오디오를 수신한다. 구체적으로, 오디오 입력부(467)는 외부의 음향 신호인 오디오를 입력 받아 전기적인 음성 데이터로 처리하는 마이크(구체적으로, 마이크로폰)(미도시)를 포함할 수 있다. 예를 들어, 오디오 입력부(467)에 포함되는 마이크(미도시)는 외부기기 또는 화자, 예를 들어, 영상 통화 중인 사용자로부터 음향 신호를 수신할 수 있다. 또한, 오디오 입력부(467)에 포함되는 마이크(미도시)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
개시된 실시예에서, 프로세서(410)의 제어에 따라서 오디오 입력부(467)은 영상 통화 모드 동안에, 사용자의 음성을 포함하는 음향 신호를 수신하고, 수신된 음향 신호에서 잡음을 제거하여 사용자의 음성이 인식되도록 처리할 수 있다.
도 6는 개시된 실시예에 따른 디스플레이 기기를 나타내는 다른 도면이다. 도 6에 도시된 디스플레이 기기(600)는 도 1a 내지 도 5를 참조하여 설명한 개시된 실시예에 따른 디스플레이 기기(100, 400 또는 500)에 동일 대응될 수 있다. 따라서, 디스플레이 기기(600)를 설명하는데 있어서, 도 1 내지 도 5에서와 중복되는 설명은 생략한다.
구체적으로, 도 6에 도시된 디스플레이 기기(600)에 포함되는 프로세서(680), 디스플레이(615), 비디오 처리부(610), 카메라부(662), 메모리(690), 오디오 출력부(625) 및 마이크(661) 각각은 도 5에 도시된 디스플레이 기기(500)에 포함되는 프로세서(410), 디스플레이(420), 비디오 처리부(425), 카메라(440), 메모리(470), 오디오 출력부(460) 및 오디오 입력부(467)에 동일 대응될 수 있다.
또한, 도 9의 튜너부(640) 및 입/출력부(670)는 도 5에 도시된 영상 입력부(417)에 동일 대응될 수 있다.
비디오 처리부(610)는, 디스플레이 기기(600)가 수신한 데이터, 예를 들어, 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(610)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 또한, 비디오 처리부(610)는 프로세서(680) 내에 포함될 수 있다.
프로세서(680)는 비디오 처리부(610)에서 처리된 비디오 데이터에 대한 기록 요청을 수신하고, 비디오 데이터를 암호화하여 프로세서(680) 또는 메모리(690)에 포함되는 메모리 장치(미도시), 예를 들어, RAM(미도시)에 기록되도록 제어할 수 있을 것이다.
디스플레이(615)는 소정 화면을 디스플레이 한다. 구체적으로, 프로세서(680)의 제어에 의해 튜너부(640)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 디스플레이(615)는 통신부(650) 또는 입/출력부(670)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다.
또한, 디스플레이(615)는 프로세서(680)의 제어에 의해 메모리(690)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이(615)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
오디오 처리부(620)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(620)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(620)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(625)는 프로세서(680)의 제어에 의해 튜너부(640)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(625)는 통신부(650) 또는 입/출력부(670)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(625)는 프로세서(680)의 제어에 의해 메모리(690)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(625)는 스피커(626), 헤드폰 출력 단자(627) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(628) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(625)는 스피커(626), 헤드폰 출력 단자(627) 및 S/PDIF 출력 단자(628)의 조합을 포함할 수 있다.
전원부(630)는 프로세서(680)의 제어에 의해 디스플레이 기기(600) 내부의 구성 요소들(610 내지 690)로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(630)는 프로세서(680)의 제어에 의해 디스플레이 기기(600) 내부에 위치하는 하나 또는 둘 이상의 배터리(미도시)에서부터 출력되는 전원을 내부의 구성 요소들(610 내지 990)에게 공급할 수 있다.
튜너부(640)은 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 기기(600)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(640)는 사용자 입력(예를 들어, 외부의 제어 장치(미도시), 예를 들어, 원격 제어기(remote controller)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호(예를 들어, 케이블 방송 506번)에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(640)은 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(640)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(640)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(680)의 제어에 의해 메모리(690)에 저장될 수 있다.
디스플레이 기기(600)의 튜너부(640)는 하나이거나 복수일 수 있다. 일 실시예에 따라서 튜너부(640)가 복수 개로 이루어지는 경우, 디스플레이(615)에 제공되는 멀티 뷰 화면을 이루는 복수개의 부분 화면들에 복수개의 방송 신호를 출력할 수 있을 것이다.
튜너부(640)는 디스플레이 기기(600)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 기기(600)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 미도시), 입/출력부(670)에 연결되는 튜너부(미도시))로 구현될 수 있다.
통신부(650)는 프로세서(680)의 제어에 의해 외부 전자 기기(미도시)와 통신을 수행할 수 있다. 프로세서(680)는 통신부(650)를 통해 연결된 외부 기기로 컨텐츠를 송/수신, 외부 기기에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 구체적으로, 통신부(650)는 네트워크에 접속하여 외부 기기(미도시)에서 컨텐츠를 수신할 수 있다. 또한, 통신부(650)는 근거리 통신 모듈(미도시), 유선 통신 모듈(미도시), 및 이동 통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다.
도 6에서는 통신부(650)가 무선 랜(651), 블루투스 통신부(652), 및 유선 이더넷(Ethernet, 653) 중 하나를 포함하는 경우를 예로 들어 도시하였다.
또한, 통신부(650)은 무선랜(651), 블루투스 통신부(652), 및 유선 이더넷(Ethernet, 653) 중 어느 하나 이상을 포함하는 모듈 조합을 포함할 수 있다. 또한, 통신부(650)는 프로세서(680)의 제어에 의해 제어 장치(미도시)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부(650)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), 별도의 BLE 모듈(bluetooth low energy, 미도시)을 더 포함할 수 있다.
감지부(660)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지한다.
마이크(661)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(661)는 수신된 음성을 전기 신호로 변환하여 프로세서(680)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 기기(600)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 예를 들어, 마이크(661)의 인식 범위는 마이크(661)에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크(661)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.
마이크(661)는 디스플레이 기기(600)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크(661)는 통신부(650) 또는 입/출력부(670)를 통해 디스플레이 기기(600)와 전기적으로 연결될 수 있다.
디스플레이 기기(600)의 성능 및 구조에 따라 마이크(661)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
카메라부(662)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 예를 들어, 카메라부(662)의 인식 범위는 카메라부(662)에서부터 사용자까지 0.1 ~ 5 m 이내 거리가 될 수 있다. 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 카메라부(662)는 프로세서(680)의 제어에 따라 수신된 영상을 전기 신호로 변환하여 프로세서(680)로 출력할 수 있다.
프로세서(680)는 수신된 모션의 인식 결과를 이용하여 디스플레이 기기(600)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동을 포함할 수 있다.
카메라부(662)는 렌즈(미도시) 및 이미지 센서(미도시)로 구성될 수 있다. 카메라부(662)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 카메라부(662)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 카메라부(662)가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.
카메라부(662)는 디스플레이 기기(600)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 카메라부(662)를 포함하는 별도의 장치(미도시)는 통신부(650) 또는 입/출력부(670)를 통해 디스플레이 기기(600)와 전기적으로 연결될 수 있다.
디스플레이 기기(600)의 성능 및 구조에 따라 카메라부(662)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
광 수신부(663)는 외부의 제어 장치(미도시)에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이(615)의 베젤의 광창(미도시) 등을 통해 수신한다. 광 수신부(663)는 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(680)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(670)는 프로세서(680)의 제어에 의해 디스플레이 기기(600)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(670)는 HDMI 포트(High-Definition Multimedia Interface port, 971), 컴포넌트 잭(component jack, 672), PC 포트(PC port, 673), 및 USB 포트(USB port, 674) 중 하나를 포함할 수 있다. 입/출력부(670)는 HDMI 포트(671), 컴포넌트 잭(672), PC 포트(673), 및 USB 포트(674)의 조합을 포함할 수 있다.
입/출력부(670)의 구성 및 동작은 본 발명의 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
프로세서(680)는 디스플레이 기기(600)의 전반적인 동작 및 디스플레이 기기(600)의 내부 구성요소들(미도시)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(680)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 프로세서(680)는 메모리(690)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(미도시)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이(615)의 디스플레이 영역 내에 표시된다.
도 7은 영상 통화 서비스를 지원하는 서버와 디스플레이 기기 간의 통신을 설명하기 위한 도면이다. 도 7에 도시된 구성들에 있어서, 도 1a 내지 도 5와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 도 7에 도시된 디스플레이 기기(500)는 도 1a 내지 도 4를 참조하여 설명한 디스플레이 기기(100, 또는 400)가 될 수도 있다.
도 7를 참조하면, 서버(700)는 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500)와 무선 통신 네트워크(391)를 통하여 상호 통신할 수 있다.
예를 들어, 서버(700)는 영상 통화 또는 영상 통화 서비스를 제공하거나, 영상 통화 서비스에 필요한 통신을 지원하는 서버가 될 수 있다. 예를 들어, 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500) 중 적어도 두 개의 기기가 3G, 4G, 5G 등과 같은 이동 통신 네트워크를 통하여 연결되며, 모바일 기기(301) 또는 디스플레이 기기(500)와 상대방 기기(302) 간에 영상 통화를 수행할 수 있다. 이 경우, 서버(700)는 3G, 4G, 5G 등과 같은 통신 규격에 따른 이통 통신을 지원하는 통신 서버가 될 수 있다.
또한, 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500)가 인터넷 통신 네트워크로 연결될 수 있다. 그리고, 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500) 중 적어도 두 개의 기기 각각이, 기기 내의 영상 통화 서비스를 제공하는 어플리케이션을 통하여, 영상 통화를 수행할 수 있다. 그러면, 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500) 상호간은 상기 어플리케이션을 통하여 영상 통화를 수행하거나 또는 기기 전환에 따른 영상 통화를 수행할 수 있을 것이다. 이 경우, 서버(700)는 영상 통화 서비스 제공하는 어플리케이션을 지원하는 서버가 될 수 있을 것이다. 구체적으로, 서버(700)는 어플레케이션을 제작 및/또는 배포하는 사용자의 서버가 될 수 있다.
전술한 바와 같이, 서버(700)의 통신 중계를 이용하여, 전술한 영상 통화 수행에 필요한 동작들이 수행될 수 있다. 도 3에서는 서버(700)의 통신 중계 동작이 도시되지 않았으나, 서로 다른 두 기기들 간의 데이터 또는 신호를 송수신하는데 있어서, 전술한 서버(700)의 통신 중계 동작이 포함될 수 있다. 구체적으로, 서버(700)는 영상 통화 서비스의 실행(또는, 전환 실행)을 지원하기 위해서, 데이터 또는 신호의 전달을 담당할 수 있다.
예를 들어, 서버(700)는 디스플레이 기기(500)에서 생성된 사용자 영상 신호를 상대방 기기로 전송하는 중계 동작을 수행할 수 있다. 또한, 서버(700)는 영상 통화 서비스를 수행하기 위해서 이용되는 각종 데이터 및 신호를 모바일 기기(301), 상대방 기기(302) 및 디스플레이 기기(500) 중 적어도 하나로 전송 또는 전달할 수 있다.
이하의 설명에 있어서, 일 기기(예를 들어, 디스플레이 기기)에서 다른 기기(예를 들어, 상대방 기기)로 소정 데이터 또는 신호를 전송하였다고 기재하더라도, 이는 일 기기(예를 들어, 디스플레이 기기)에서 다른 기기(예를 들어, 상대방 기기)로 소정 데이터 또는 신호를 직접 전송되는 경우뿐만 아니라, 서버(700)의 통신 중계를 통하여 일 기기(예를 들어, 디스플레이 기기)에서 다른 기기(예를 들어, 상대방 기기)로 소정 데이터 또는 신호를 전송되는 것을 포함한다고 할 것이다.
이하에서는, 도 8 내지 도 25를 참조하여, 개시된 실시예에 따른 디스플레이 기기(103, 400, 500 또는 600)를 통하여 수행되는 동작들을 상세하게 설명하도록 한다.
도 8은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 일 흐름도이다. 또한, 도 8에 도시된 디스플레이 기기의 동작 방법(800)은 개시된 실시예에 따른 디스플레이 기기, 예를 들어, 디스플레이 기기(100, 400, 500 또는 600)를 통하여 수행되는 동작들의 흐름을 나타낸다. 그러므로, 개시된 실시예에 따른 디스플레이 기기의 동작 방법(800)에 포함되는 동작들에 있어서, 도 1a 내지 도 7을 참조하여 설명한 디스플레이 기기(100, 400, 500 또는 600)의 동작들과 중복되는 설명은 생략한다.
이하에서는, 디스플레이 기기의 동작 방법(800)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
도 8을 참조하면, 디스플레이 기기의 동작 방법(800)은 복수개의 부분 화면들을 포함하는 멀티 뷰 화면을 디스플레이 하는 디스플레이 기기(예를 들어, 500)에서 수행될 수 있다.
디스플레이 기기의 동작 방법(800)은 개별적으로 디코딩된 복수개의 컨텐트들 각각을 멀티뷰 화면에 포함되는 복수개의 부분 화면들을 통하여 출력한다(S810). S810 단계는 프로세서(410)의 제어에 따라서 디스플레이(420)에서 수행될 수 있다.
S810 단계에 후속하여 수신되는 영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별한다(S820). 구체적으로, S820 단계는 영상 통화 요청에 응답하여, 상기 복수개의 컨텐트들 중 영상 통화 화면에 대응되는 해상도를 갖는 적어도 하나의 컨텐트를 식별할 수 있다. 여기서, S820 단계는 프로세서(410)에서 수행될 수 있다. 구체적으로, 프로세서(410)는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중, 영상 통화 화면의 해상도에 대응되는 해상도를 갖는 컨텐트가 존재하는지 판단할 수 있다.
여기서, 영상 통화 요청은 사용자 인터페이스(450)를 통하여 입력되는 사용자 입력에 근거하여 수신될 수 있다. 예를 들어, 디스플레이 기기(500)의 사용자는 멀티뷰 화면을 시청하던 도중에, 친구와 영상 통화를 하기를 원할 수 있다. 그러면, 사용자는 디스플레이 기기(500)의 사용자 인터페이스(450)를 통하여 영상 통화를 요청하는 사용자 입력을 입력할 수 있다. 그러면, 프로세서(410)는 사용자 입력에 근거하여 영상 통화 요청이 수신된 것으로 인식할 수 있다. 또는, 영상 통화 요청은 디스플레이 기기(500)의 사용자와 영상 통화를 하기를 원하는 상대방의 전자 기기(예를 들어, 도 3의 302)에서 수신될 수 있다. 즉, 영상 통화 요청은, 디스플레이 기기(500)의 사용자 또는 상대방 기기(예를 들어, 도 3의 302)의 사용자 중 적어도 한명의 요청에 따라서 수신될 수 있다.
개시된 실시예에서, S820 단계에서 식별되는 컨텐트는 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 될 수 있다.
또는, S820 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 작은 해상도를 갖는 컨텐트가 될 수 있다.
또는, S820 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 오프셋 해상도를 갖는 컨텐트가 될 수 있다.
여기서, 오프셋 해상도는 미리 설정된 값을 갖는 해상도를 의미할 수 있다. 예를 들어, 오프셋 해상도는 디스플레이 기기의 자체 설정, 멀티뷰 어플리케이션의 자체 설정, 영상 통화 어플리케이션의 자체 설정, 디스플레이 기기의 사용자의 설정, 디스플레이 기기의 제조자의 설정, 멀티뷰 어플리케이션의 제공자의 설정, 영상 통화 어플리케이션의 제공자의 설정 중 적어도 하나에 의해서 결정될 수 있다.
또한, 오프셋 해상도는 특정된 값으로 설정될 수 있으며, 상대적인 값으로 설정될 수도 있다.
예를 들어, 멀티뷰 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 1K, 2K, 4K 또는 8K 중 어느 하나의 값으로 설정될 수 있다. 또 다른 예로, 멀티뷰 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들의 해상도들 중 가장 작은 값으로 설정될 수 있다. 또 다른 예로, 멀티뷰 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들의 해상도들 중 가장 큰 값으로 설정될 수 있다. 또 다른 예로, 영상 통화 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들의 해상도들 중 가장 작은 값으로 설정될 수 있다. 또 다른 예로, 영상 통화 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 영상 통화 화면의 해상도 값으로 설정될 수 있다. 또 다른 예로, 영상 통화 어플리케이션의 자체 설정에 의해서, 오프셋 해상도는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들의 해상도들 중 영상 통화 화면의 해상도 값과 동일하거나 가장 유사한(해상도 값 간의 차이가 가장 작은) 해상도 값으로 설정될 수 있다.
또는, S820 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 주 화면을 통하여 출력되는 컨텐트가 될 수 있다.
또는, S820 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 기설정된 부분 화면을 통하여 출력되는 컨텐트가 될 수 있다.
또는, S820 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 나중에 재생이 시작된 적어도 하나의 컨텐트가 될 수 있다.
S820 단계의 식별 동작은 이하에서 도 17 내지 도 25를 참조하여 상세히 설명한다.
구체적으로, 영상 통화 화면에 대응되는 영상 신호가 하나의 영상 신호(이하, 설명의 편의상 '통합 영상 신호')로 수신되는 경우, 프로세서(410)는 복수개의 컨텐트들 중 통합 영상 신호에 대응되는 해상도를 갖는 하나의 컨텐트를 식별할 수 있다(S820). S820 단계에서 하나의 컨텐트를 식별하는 경우의 동작은 이하에서 도 17 내지 도 21을 참조하여 상세히 설명한다.
또 다른 예로, 영상 통화 화면에 대응되는 영상 신호가 2개의 영상 신호인 사용자 영상 신호 및 상대방 영상 신호로 수신되는 경우, 프로세서(410)는 복수개의 컨텐트들 중 사용자 영상 신호 및 상대방 영상 신호 각각에 대응되는 해상도를 갖는 두 개의 컨텐트를 식별할 수 있다(S820). S820 단계에서 두 개의 컨텐트를 식별하는 경우의 동작은 이하에서 도 22 내지 도 25을 참조하여 상세히 설명한다.
계속하여, 디스플레이 기기의 동작 방법(800)은 복수개의 부분 화면들 중 S820 단계에서 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 영상 통화 화면을 출력한다(S830). S830 단계는 프로세서(410)의 제어에 따라서 디스플레이(420)에서 수행될 수 있다.
도 9는 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다. 또한, 도 9에 도시된 디스플레이 기기의 동작 방법(900)은 개시된 실시예에 따른 디스플레이 기기, 예를 들어, 디스플레이 기기(100, 400, 500 또는 600)를 통하여 수행되는 동작들의 흐름을 나타낸다. 또한, 도 9에 도시된 디스플레이 기기의 동작 방법(900)은 디스플레이 기기의 동작 방법(800)을 더욱 상세히 나타내는 도면이 될 수 있다.
디스플레이 기기의 동작 방법(900)에 있어서, 디스플레이 기기의 동작 방법(800)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였으므로, 중복되는 설명은 생략한다. 이하에서는, 디스플레이 기기의 동작 방법(900)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
도 9를 참조하면, S830 단계는 S831, S832 및 S833 단계를 포함할 수 있다.
구체적으로, 디스플레이 기기의 동작 방법(900)에 있어서, 영상 통화 화면을 출력하는 단계(S830)는 디스플레이 기기(500)에 포함되는 적어도 하나의 디코더(미도시)에서, S820 단계에서 식별된 적어도 하나의 컨텐트에 대한 디코딩을 중단하는 단계(S831), 상기 디코딩이 중단된 디코더(미도시)에서, 영상 통화 화면에 대응되는 영상 신호를 디코딩하는 단계(S832), 및 S833 단계에서 디코딩된 영상 신호에 근거하여 상기 식별된 적어도 하나의 컨텐트가 출력되었던 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계(S833)를 포함할 수 있다.
S831, S832 및 S833 단계는 이하에서, 도 10을 참조하여 상세히 설명하도록 한다.
도 10은 개시된 실시예에 따른 디스플레이 기기를 나타내는 또 다른 도면이다. 구체적으로, 도 10은 도 5에 도시하였던 디스플레이 기기(500)의 비디오 처리부(425)를 상세히 나타내는 도면이다. 또한, 도 10에 도시된 디스플레이 기기(500)에서는 도 5에 도시된 디스플레이 기기(500)에 포함되는 구성들 중 추가적인 설명이 필요 없는 구성들에 대한 도시는 생략하였다.
도 10을 참조하면, 비디오 처리부(425)는 비디오 데이터에 대한 이미지를 처리를 수행할 수 있다. 구체적으로, 디스플레이 기기(500)는 통신 인터페이스(415)를 통하여 복수개의 컨텐트들에 대응되는 복수개의 영상 신호를 수신할 수 있다. 도시된 '서비스 제공자'는 디스플레이 기기(500)를 통하여 디스플레이되는 컨텐트를 제공하는 서버, 전자기기, 방송국 등이 될 수 있다.
도 1a 및 도 10을 함께 참조하면, 서비스 제공자(1011)는 음악 프로그램에 대응되는 방송 컨텐트인 제1 컨텐트를 제공하고, 서비스 제공자(1012)는 축구 경기에 대응되는 방송 컨텐트인 제2 컨텐트를 제공하며, 서비스 제공자(1013)는 실시간 방송 또는 생방송이 아닌 축구 경기에 대응되는 동영상 스트리밍 컨텐트인 제3 컨텐트를 제공하고, 서비스 제공자(1014)는 포털 사이트에서 제공되는 인터넷 컨텐트인 제4 컨텐트를 제공할 수 있다.
통신 인터페이스(415)는 통신 네트워크(391)를 통하여 제1 컨텐트에 대응되는 제1 영상 신호, 제2 컨텐트 제2 영상 신호, 제3 컨텐트 제3 영상 신호, 및 제4 컨텐트 제4 영상 신호를 수신할 수 있다.
통신 인터페이스(415)에서 수신된 영상 신호들은 프로세서(410)의 제어에 따라서 비디오 처리부(425)로 전달되어 디코딩 될 수 있다.
비디오 처리부(425)는 비디오 데이터에 대한 이미지를 처리를 수행할 수 있다. 구체적으로, 비디오 처리부(425)는 입력된 영상 신호를 역다중화(Demultiplexing)하고, 역다중화된 영상 신호를 디코딩(decoding) 처리하며, 디코딩된 영상 신호가 디스플레이(420)에서 출력될 이미지 프레임으로 크기 조절되도록 스케일링(scaling)할 수 있다. 그에 따라서, 비디오 처리부(425)로 입력된 복수개의 영상 신호들 각각은 복수개의 부분 화면들에서 디스플레이되는 복수개의 이미지들로 출력될 수 있다.
구체적으로, 비디오 처리부(425)는 역다중화부(1020), 멀티 디코더(1030) 및 스케일러(1040)을 포함할 수 있다.
구체적으로, 디스플레이 기기(500)로 수신되는 영상 신호는 스트림 형태로 수신될 수 있으며 다중화(multiplexing) 되며 소정 코덱(또는, 표준)에 따라서 압축된 형태를 가질 수 있다. 따라서, 비디오 처리부(425)는 다중화되고 압축되어 생성된 스트림 형태를 갖는 영상 신호를 입력받고, 입력된 영상 신호를 역다중화하고 압축 해제하여, 디스플레이(420) 상으로 표시할 수 있는 RGB 형태 또는 YUV 형태를 갖는 이미지 데이터로 출력할 수 있다.
역다중화부(1020)는 복수개의 영상 신호들을 수신하고, 복수개의 영상 신호들을 각각 역다중화할 수 있다. 구체적으로, 역다중화부(1020)는 병렬적으로 연결되는 복수개의 디먹서(Demuxer)(1021, 1022, 1023, 1024)를 포함할 수 있다. 여기서, 디먹서는 하나의 영상 신호를 역다중화 시킬 수 있다.
멀티 디코더(1030)는 복수개의 디코더를 포함할 수 있다. 구체적으로, 멀티 디코더(1030)는 서로 다른 해상도를 갖는 복수개의 디코더들을 포함할 수 있다. 여기서, '소정 해상도를 갖는 디코더'란, 소정 해상도를 갖는 영상 신호를 디코딩 처리할 수 있는 디코더가 될 수 있다. 즉, '소정 해상도를 갖는 디코더'란, 소정 해상도를 갖는 영상 신호의 처리를 지원하는 디코더를 의미할 수 있다.
멀티 디코더(1030)에 포함되는 디코더의 개수 및 사양은 디스플레이 기기(500)의 제품 사양, 제품 등급, 출시 연도 등에 따라서 달라질 수 있으며, 매우 다양한 형태로 존재할 수 있다. 또한, 디코더의 사양은 처리 가능한 비트레이트(bitrates) 지원 가능한 해상도, 지원 가능한 코덱(예를 들어, HEVC, H.264, MEPG 등) 등에 따라서 달라질 수 있다. 멀티 디코더(1030)에 포함되는 개별 디코더는 적어도 하나의 코덱에 다른 압축을 압축 해제할 수 있도록 설계되며, 복수개의 코덱에 대한 압축 해제를 지원할 수도 있다.
또한, 비디오 처리부(425)에 포함되는 역다중화부(1020), 멀티 디코더(1030) 및 스케일러(1040)의 세부 구성 및 배치는 제품 사양, 제품 등급 등에 따라서 변경될 수 있을 것이다.
예를 들어, 멀티 디코더(1030) 4K 해상도를 갖는 영상 신호를 디코딩 할 수 있는 4K 디코더(1031), FHD 해상도인 2K 해상도를 갖는 영상 신호를 디코딩 할 수 있는 2개의 2K 디코더(1032, 1033) 및 SW(software) 디코더(1034)를 포함할 수 있다.
또한, 4K 디코더(1031)는 4K 이하의 해상도를 갖는 영상 신호를 디코딩 할 수 있다. 그리고, 2K 디코더(1032, 1033)는 2K 이하의 해상도를 갖는 영상 신호를 디코딩 할 수 있다. 그리고, SW 디코더(1034)는 소프트웨어적으로 디코딩을 수행하며, 다양한 코덱에 대응되는 디코딩을 수행할 수 있도록 설계되어 있다.
또한, 멀티 디코더(1030)에 포함되는 복수개의 디코더 각각은 시분할을 사용하여 두 개 이상의 컨텐츠를 디코딩할 수도 있다. 예를 들어, 한 개의 2K 디코더(1032)를 이용하여 2개의 2K 컨텐트에 대응되는 두 개의 영상 신호를 디코딩할 수 있을 것이다.
멀티 디코더(1030)를 통하여 디코딩된 영상 신호는 스케일러(1040)에서 스케일링되어 디스플레이(720)로 출력될 수 있다. 구체적으로, 스케일러(1040)는 디코딩된 영상 신호를 디스플레이(720)에서 출력되는 이미지 프레임에 맞춰서 스케일링을 수행할 수 있다.
도 1a를 다시 참조하면, 제1 컨텐트는 4K 컨텐트이므로 제1 영상 신호는 4K 영상 신호로 전송되고, 제2 컨텐트는 2K 컨텐트이므로 제2 영상 신호는 2K 영상 신호로 전송되고, 제3 컨텐트는 2K 컨텐트이므로 제3 영상 신호는 2K 영상 신호로 전송되고, 제4 컨텐트는 1K 컨텐트이므로 제4 영상 신호는 1K 영상 신호로 전송되는 경우를 예로 들자.
도 1a 및 도 10을 함께 참조하면, 전술한 예시에서, 4K 컨텐트에 대응되는 제1 영상 신호는 제1 컨텐트는 4K 디코더(1031)에서 디코딩 된다. 그리고, 2K 컨텐트에 대응되는 제2 영상 신호는 2K 디코더(1032)에서 디코딩 된다. 그리고, 2K 컨텐트에 대응되는 제2 영상 신호는 2K 디코더(1033)에서 디코딩 된다. 그리고, 1K 컨텐트인 제4 컨텐트에 대응되는 영상 신호는 SW 디코더(1033)에서 디코딩 된다.
스케일러(1040)는 디코딩된 제1 영상 신호, 디코딩된 제2 영상 신호, 디코딩된 제3 영상 신호, 및 디코딩된 제4 영상 신호를 모두 입력받고, 이를 멀티뷰 화면(110)에 포함되는 복수개의 분할 화면들 각각에 대응되는 이미지 프레임에 맞춰서 스케일링할 수 있다. 예를 들어, 스케일러(1040)는 디코딩된 제1 영상 신호를 제1 부분 화면(120)에 대응되는 제1 이미지 프레임에 맞춰서 스케일링하고, 디코딩된 제2 영상 신호를 제2 부분 화면(130)에 대응되는 제2 이미지 프레임에 맞춰서 스케일링하고, 디코딩된 제3 영상 신호를 제3 부분 화면(140)에 대응되는 제3 이미지 프레임에 맞춰서 스케일링하며, 디코딩된 제4 영상 신호를 제4 부분 화면(150)에 대응되는 제4 이미지 프레임에 맞춰서 스케일링할 수 있다.
또한, 스케일러(1040)는 스케일링된 제1 내지 제4 이미지 프레임들을 믹싱(mixing) 하여 멀티뷰 화면(110)에 대응되는 이미지 프레임을 생성 및 출력할 수 있다. 또는, 스케일러(1040)에서 스케일링된 제1 내지 제4 이미지 프레임들을 믹싱하지 않고, 스케일링된 제1 내지 제4 이미지 프레임들을 각각을 디스플레이(420)의 분할된 부분 화면들을 통하여 그대로 출력할 수도 있을 것이다. 그에 따라서, 디스플레이(420)는 도 1a에 도시된 멀티뷰 화면(110)을 디스플레이 할 수 있다.
전술한 바와 같이, 멀티뷰 화면(110)이 디스플레이 되는 도중에, 영상 통화 요청이 수신되는 경우, 디스플레이 기기(500)는 전술한 S820 단계의 동작을 수행하여 적어도 하나의 컨텐트를 식별할 수 있다.
S820 단계의 식별 동작을 통하여, 디스플레이 기기(500)는 영상 통화 화면을 위한 디코딩에 필요한 하드웨어 및 소프트웨어 자원을 확보할 수 있다.
이하에서는, S820 단계에서 식별된 컨텐트가 제1 컨텐트인 경우를 예로 들어 설명하도록 한다. 그러면, 프로세서(410)는 제1 컨텐트에 대한 디코딩을 중단할 수 있다(S831). 구체적으로, 제1 컨텐트는 4K 디코더(1031)에서 디코딩 되었으므로, 4K 디코더(1031)는 제1 컨텐트에 대한 디코딩을 중단한다. 따라서, 4K 디코더(1031)는 제1 영상 신호가 아닌 다른 신호, 예를 들어, 영상 통화 화면에 대응되는 영상 신호를 디코딩할 수 있게 된다. 즉, 디스플레이 기기(500)는 제1 영상 신호에 대한 디코딩을 중단함으로써, 영상 통화 화면을 위한 디코딩에 필요한 하드웨어 및/또는 소프트웨어 자원, 예를 들어, 4K 디코더(1031)의 이용을 확보할 수 있다. 즉, 디스플레이 기기(500)는 선택된 컨텐트에 대한 영상 신호의 디코딩을 중단한 디코더에서, 영상 통화 화면을 위한 디코딩을 수행할 수 있다.
계속하여, 제1 컨텐트에 대한 디코딩을 중단한 4K 디코더(1031)는 영상 통화 화면에 대응되는 영상 신호를 디코딩을 수행할 수 있다(S833).
그에 따라서, 4K 디코더(1031)를 통하여 디코딩된 영상 신호에 근거하여 S820 단계에서 식별된 컨텐트, 예를 들어, 제1 컨텐트가 출력되었던 부분 화면, 예를 들어, 제1 부분 화면(120)을 통하여 영상 통화 화면(미도시)을 출력할 수 있다(S833).
도 10을 참조하여 설명한 바와 같이, 개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법에서는, 멀티뷰 화면을 출력하는 도중에 영상 통화 요청이 수신된 경우, 영상 통화 요청에 근거하여 멀티뷰 화면으로 출력되는 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하고, 식별된 컨텐트가 출력되었던 부분 화면 상으로 영상 통화 화면이 출력될 수 있도록, 디스플레이 기기에 포함되는 디코더 자원을 관리할 수 있다. 그에 따라서, 개시된 실시예에 따른 디스플레이 기기 및 그의 동작 방법에서는, 멀티뷰 화면을 출력하고 있는 디스플레이 기기에서 멀티뷰 화면의 종료 또는 중단 없이 영상 통화 서비스를 함께 제공할 수 있다.
도 11은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다. 도 11에서는, 도 2에서 설명한 레이아웃(245)을 갖는 멀티뷰 화면을 통하여 4개의 컨텐트들이 개별적으로 디코딩되어 출력되는 경우를 예로 들어 도시하였다. 또한, 도 11에 도시된 멀티뷰 화면(1100) 내에 포함되는 제1 내지 제4 컨텐트는 도 1a 또는 도 1b에서 설명한 제1 내지 제4 컨텐트와 동일 대응되는 경우를 예로 들어 도시하였다. 구체적으로, 멀티뷰 화면(1100)은 도 1b에서 설명한 멀티뷰 화면(111)에 대응될 수 있다. 따라서, 도 11에 도시된 멀티뷰 화면(1100)에 있어서 도 1b에 도시된 멀티뷰 화면(111)과 중복되는 설명은 생략한다.
개시된 실시예에서, S820 단계에서 식별되는 컨텐트는 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 될 수 있다.
다시 도 8을 참조하면, S820 단계는 영상 통화 요청에 따른 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계(미도시), 및 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 음성 통화 전환 프로세스를 수행하는 단계(미도시)를 더 포함할 수 있다. 이하에서는, 도 8 및 도 11을 참조하여, S820 단계의 일 실시예를 설명하도록 한다.
구체적으로, 영상 통화 요청에 따른 영상 통화 화면이 8K 해상도를 갖는 경우, 영상 통화 요청은 8K 해상도를 갖는 영상 통화 화면의 디스플레이를 요청이 될 수 있다. 예를 들어, 영상 통화 요청에는, 요청되는 영상 통화 화면의 해상도에 대한 정보를 포함할 수 있다. 이 경우, 프로세서(410)는 영상 통화 요청에 포함되는 해상도 정보(구체적으로, 요청되는 영상 통화 화면의 해상도에 대한 정보)에 근거하여, 멀티뷰 화면(1100)에 포함되는 복수개의 부분 화면들을 통하여 출력되는 복수개의 컨텐트들 중 8K 해상도에 대응되는 컨텐트가 존재하는지 판단할 수 있다. 도 1b에서와 동일하게, 멀티뷰 화면(1100)의 제1 부분 화면(1111)을 통하여 출력되는 제1 컨텐트는 4K 컨텐트이고, 제2 부분 화면(1112)을 통하여 출력되는 제2 컨텐트는 2K 컨텐트이며, 제3 부분 화면(1113)을 통하여 출력되는 제3 컨텐트는 2K 컨텐트이고, 제4 부분 화면(1114)을 통하여 출력되는 제4 컨텐트는 1K 컨텐트가 될 수 있다.
전술한 예시에서, 영상 통화 화면의 해상도가 8K 이므로, 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 존재하지 않는다. 이 경우, 영상 통화 화면의 해상도를 유지하면서 영상 통화 화면을 부분 화면으로 출력할 수 없다. 즉, 8K 해상도를 갖는 영상 통화 화면을 8K 해상도 그대로 출력할 부분 화면이 존재하지 않는다. 그러므로, 이러한 경우 고 품질(구체적으로, 고해상도)의 영상 통화 서비스를 제공받기를 원하는 사용자의 니즈(needs)가 반영되지 못하므로, 프로세서(410)는 영상 통화 서비스를 제공하지 않을 수 있다.
전술한 바와 같이, 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 존재하지 않으면, 프로세서(410)는 음성 통화 전환 프로세스를 진행할 수 있다. 여기서, 음성 통화 전환 프로세서는 영상 통화 요청에 대응하여 영상 통화 서비스의 제공이 불가능한 것으로 판단되는 경우, 영상 통화 대신에 음성 통화 서비스를 제공하기 위한 프로세스가 될 수 있다.
프로세서(410)는 음성 통환 전환 프로세스를 사용자 입력에 근거하여 진행할 수 있다.
도 11을 참조하면, 프로세서(410)는 전술한 예에서와 같이 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 존재하지 않으면, 음성 통화 전환 프로세스의 진행을 위한 사용자 인터페이스 메뉴(1130)를 디스플레이 할 수 있다. 도 11에서는, 사용자 인터페이스 메뉴(1130)가 멀티뷰 화면(1100)의 일 부분 영역 상에 투명한 텍스트 창 형태로 디스플레이 되는 경우를 예로 들어 설명하였다. 또한, 사용자 인터페이스 메뉴(1130)의 크기, 출력 위치, 투명도, 및/또는 형태는 다양하게 존재할 수 있다.
프로세서(410)는 사용자 인터페이스 메뉴(1130)를 통하여 '네'(1131) 메뉴를 선택하는 사용자 입력이 수신되면, 영상 통화 요청을 음성 통화로 전환하여 음성 통화 서비스를 제공할 수 있다. 음성 통화 서비스가 제공될 때에서, 출력되어야 할 화면(예를 들어, 영상 통화 화면 등)이 존재하지 않는다. 따라서, 프로세서(410)는 기존의 멀티뷰 화면(1100)을 계속하여 출력할 수 있다. 또한, 음성 통화 서비스의 제공을 위하여, 프로세서(410)는 멀티 뷰 화면(1100)을 통하여 출력되는 컨텐트들 중 적어도 하나에 대응되는 오디오 신호들의 출력은 중단하고, 스피커(예를 들어, 도 5의 460)를 통하여 음성 통화에 대응되는 오디오 신호를 출력할 수 있다.
또는, 프로세서(410)는 멀티 뷰 화면(1100)을 통하여 출력되는 컨텐트들 중 적어도 하나에 대응되는 오디오 신호들의 출력은 중단하고, 컨텐트들 각각의 오디오 신호에 대응되는 자막 메시지를 출력할 수 있다. 예를 들어, 제1 부분 화면(1111)으로 제1 컨텐트의 오디오 신호에 대응되는 자막 메시지를 출력할 수 있다.
그리고, 프로세서(410)는 사용자 인터페이스 메뉴(1130)를 통하여 '아니오'(1132) 메뉴를 선택하는 사용자 입력이 수신되면, 음성 통화 서비스의 제공 없이, 음성 통화 전환 프로세스를 종료할 수 있다. 구체적으로, '아니오'(1132) 메뉴를 선택하는 사용자 입력이 수신되면, 프로세서(410)는 영상 통화 및 음성 통화 서비스의 제공 없이, 멀티뷰 화면(1100)의 출력을 유지할 수 있다.
도 12는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 12에 도시된 멀티뷰 화면(1200)에 있어서, 도 11에 도시된 멀티뷰 화면(1100)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, S820 단계에서 식별되는 컨텐트는 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 될 수 있다. 이하에서는, 영상 통화 화면의 해상도가 8K 인 경우를 예로 들어 설명한다.
다시 도 8을 참조하면, S820 단계는 영상 통화 요청에 따른 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계(미도시), 및 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 영상 통화 프로세스를 종료하는 단계(미도시)를 더 포함할 수 있다. 이하에서는, 도 8 및 도 12을 참조하여, S820 단계의 다른 실시예를 설명하도록 한다.
전술한 예시에서, 영상 통화 화면의 해상도가 8K 이므로, 영상 통화 화면의 해상도와 동일한 해상도를 갖는 컨텐트가 존재하지 않는다. 따라서, 프로세서(410)는 영상 통화 프로세스를 종료할 수 있다. 구체적으로, 프로세서(410)는 영상 통화 요청을 거부하고, 출력하던 멀티뷰 화면(1100)이 계속 출력되도록 제어할 수 있다.
도 12를 참조하면, 프로세서(410)는 영상 통화 프로세스를 종료하는 경우, 멀티뷰 화면(1200) 상에 '영상 통화 요청을 거부하였습니다.' 또는 '영상 통화 서비스 제공이 불가능합니다'라는 메시지 창(1230)을 디스플레이 할 수 있다. 도 12에서는 메시지 창(1230)이 불투명한 텍스트 창으로 출력되는 경우를 예로 들어 도시하였다.
도 13은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다. 도 13에 있어서, 도 8 및 도 9에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 도 13의 S829 단계는 S820 단계에 대응될 수 있다. 그러므로, 전술한 설명들과 중복되는 설명은 생략한다. 또한, 디스플레이 기기의 동작 방법(1300)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
개시된 실시예에 따른 디스플레이 기기의 동작 방법(1300)은 S810 단계에 후속하여, 영상 통화 요청에 응답하여, 멀티 뷰 화면에 포함되는 복수개의 부분 화면들 중 적어도 하나를 선택하는 사용자 입력을 수신하는 단계(S828)를 더 포함할 수 있다.
구체적으로, S828 단계는, 영상 통화 요청에 응답하여, 상기 복수개의 부분 화면들 중 적어도 하나를 선택하기 위한 사용자 인터페이스 화면을 디스플레이 하는 단계(단계 미도시) 및, 상기 사용자 인터페이스 화면을 통하여 상기 복수개의 부분 화면 중 적어도 하나를 선택하는 사용자 입력을 수신하는 단계(단계 미도시)를 포함할 수 있다.
그리고, 디스플레이 기기의 동작 방법(1300)은 S828 단계에서 수신된 사용자 입력에 근거하여 멀티뷰 화면에 포함되는 복수개의 부분 화면들로 출력되는 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별할 수 있다(S829). S829 단계는 프로세서(410)에서 수행될 수 있다.
사용자 입력에 근거하여 컨텐트를 식별하는 동작(S829)은 이하에서 도 14 내지 도 16을 참조하여 상세히 설명한다.
도 14는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 14에 도시된 멀티뷰 화면(1400)에 있어서, 도 11에 도시된 멀티뷰 화면(1100)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(410)는 영상 통화 요청이 수신되면, 영상 통화 요청을 수락할지 여부에 대한 사용자 입력을 수신하기 위한 사용자 인터페이스 메뉴(1430)를 출력할 수 있다.
사용자 인터페이스 메뉴(1430)는 영상 통화 요청의 수신을 알리며 이에 대한 연결 또는 연결 거부 요청을 수신하기 위한 사용자 인터페이스 메뉴가 될 수 있다. '네'(1431) 메뉴를 선택하는 사용자 입력이 수신되면, 프로세서(410)는 멀티뷰 화면(1430)의 부분 화면들로 출력되는 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별한다(S829). 컨텐트의 식별 동작은 전술한 S820 단계에서와 동일하므로, 상세 설명은 생략한다.
그리고, 프로세서(410)는 사용자 인터페이스 메뉴(1430)를 통하여 '아니오'(1432) 메뉴를 선택하는 사용자 입력이 수신되면, 영상 통화 서비스의 제공 없이, 멀티뷰 화면(1400)의 출력을 유지할 수 있다.
도 15는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다. 도 15에 있어서, 도 14에 도시된 구성들과 동일한 구성들은 동일한 도면 기호를 이용하여 도시하였다.
도 13에서 설명한 S828 단계는 영상 통화 요청을 수락하는 사용자 입력(예를 들어, 도 14에서 설명한 '네'(1431) 메뉴를 선택하는 사용자 입력)에 응답하여, 멀티뷰 화면(1400)에 포함되는 복수개의 부분 화면들 중 적어도 하나를 선택하기 위한 사용자 인터페이스 메뉴를 출력하는 단계(미도시)를 더 포함할 수 있다.
구체적으로, 도 15를 참조하면, '네'(1431) 메뉴를 선택하는 사용자 입력)에 응답하여, 프로세서(410)는 사용자 인터페이스 메뉴(1530)를 출력하기 위해서 화면 전환(S1510)을 수행할 수 있다. 예를 들어, 프로세서(410)는 사용자 인터페이스 화면인 부분 화면 선택을 알리는 사용자 인터페이스 메뉴(1530)를 출력할 수 있다. 계속하여 프로세서(410)는 화면 전환(S1540)을 통하여, 부분 화면 선택을 위한 사용자 인터페이스 메뉴(1560)를 출력할 수 있다. 그러면, 사용자는 사용자 인터페이스 메뉴(1560)에서 영상 통화 화면이 출력될 부분 화면을 선택할 수 있다.
사용자의 선택이 수신되면, 프로세서(410)는 사용자가 선택한 부분 화면으로 영상 통화 화면을 출력할 수 있다. 예를 들어, 사용자가 제1 부분 화면('[1]' 표시 영역)을 선택하는 경우, 프로세서(410)는 제1 부분 화면을 통하여 영상 통화 화면이 출력되도록 제어할 수 있다.
예를 들어, 제1 부분 화면을 통하여 출력되던 제1 컨텐트의 해상도와 영상 통화 화면의 해상도가 동일한 경우, 프로세서(410)는 제1 컨텐트를 디코딩하였던 디코더를 통하여 영상 통화 화면의 디코딩을 수행할 수 있다.
또는, 제1 부분 화면을 통하여 출력되던 제1 컨텐트의 해상도와 영상 통화 화면의 해상도가 다른 경우, 프로세서(410)는 영상 통화 화면에 대응되는 영상 신호의 해상도를 업 스케일링(up-scaling) 또는 다운 스케일링(down-scaling)하여, 영상 통화 화면에 대응되는 영상 신호를 해상도를 제1 컨텐트를 디코딩하던 디코더의 해상도와 동일하게 조절할 수 있다. 여기서, 출력될 이미지의 해상도를 높게 조절하는 것을 업 스케일링(up-scaling)이라 하고, 출력될 이미지의 해상도를 낮게 조절하는 것을 다운 스케일링(down-scaling)이라 할 수 있다. 업 스케일링 동작 및 다운 스케일링 동작은 프로세서(410)에서 수행될 수 있다. 프로세서(410)는 업 스케일링 또는 다운 스케일링 동작을 수행한 이후에 후속하여 디코딩 동작이 수행되도록 비디오 처리부(425)를 제어할 수 있을 것이다.
또한, 업 스케일링(up-scaling) 또는 다운 스케일링(down-scaling)을 위하여, AI 스케일링 기술이 이용될 수 있다. 구체적으로, AI 스케일링 기술은, AI(artificial intelligence) 기술에 따른 신경망(neural network)을 이용하여 입력되는 이미지의 크기 또는 해상도를 조절하는 기술을 의미한다. AI 스케일링 기술로 자사의 AI 스케일넷 기술을 예로 들 수 있다. 구체적으로, AI 스케일넷 기술은 표준 코덱을 그대로 사용하면서 딥러닝(Deep learning) 기반의 전처리 및 후처리를 통하여 기준 코덱(codec) 대비 약 절반의 비트율로 동등한 압축 성능을 가지는 기술이다. 여기서, 전처리는 부호화 처리를 포함할 수 있고, 후처리는 복호화 처리를 포함할 수 있다.
AI 를 이용한 스케일링 기술을 'AI 코덱(AI codec)'이라 호칭할 수 있다. 개시된 실시예에서, 프로세서(410)는 자체적으로 AI 코덱을 수행하기 위한 AI 다운 스케일러(미도시) 및 AI 업스케일러(미도시)를 포함할 수 있다. 또한, AI 다운 스케일러(미도시) 및 AI 업스케일러(미도시)는 도 10에 도시된 멀티 디코더(1030)에 포함되는 디코더들 각각에 포함되는 형태로 형성될 수 있을 것이다.
전술한 예에서, 사용자 입력에 의해 제1 부분 화면이 선택되고, 제1 부분 화면을 통하여 출력되던 제1 컨텐트의 해상도와 영상 통화 화면의 해상도가 다른 경우, 프로세서(410)는 AI 코덱을 이용하여 영상 통화 화면에 대응되는 영상 신호를 업 스케일링(up-scaling) 또는 다운 스케일링(down-scaling)하고, 업 또는 다운 스케일링된 영상 신호를 제1 컨텐트를 디코딩 하던 디코더를 통하여 디코딩 할 수 있다. 그에 따라서, 제1 컨텐트가 출력되었던 제1 부분 화면 상으로 영상 통화 화면이 출력될 수 있을 것이다.
도 16은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다. 도 16에 있어서, 도 14 및 도 15에 도시된 구성들과 동일한 구성들은 동일한 도면 기호를 이용하여 도시하였다.
도 16을 참조하면, 프로세서(410)는 사용자 인터페이스 메뉴(1430)을 포함하는 멀티뷰 화면(1400)이 출력된 이후에 화면 전환(S1610)을 통하여, 부분 화면 선택을 위한 사용자 인터페이스 메뉴(1560) 및 화면 레이아웃 변경을 위한 사용자 인터페이스 메뉴(1640)를 포함하는 서브 창(1630)을 출력할 수 있다.
사용자가 현재 멀티뷰 화면(1400)과 다른 레이아웃을 갖는 멀티뷰 화면(예를 들어, 도 2의 241, 242, 245, 246)에 포함되는 적어도 하나의 부분 화면을 통하여 영상 통화 화면이 출력되기를 원하는 경우, 사용자는 화면 레이아웃 변경을 위한 사용자 인터페이스 메뉴(1640)를 이용하여 화면 레이아웃을 변경하고, 변경된 화면 레이아웃에 포함되는 적어도 하나의 부분 화면을 선택할 수 있다. 그러면, 프로세서(410)는 변경된 레이아웃에서 선택된 적어도 하나의 부분 화면을 통하여 영상 통화 화면을 출력할 수 있다.
도 17은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다. 도 17에 도시된 디스플레이 기기의 동작 방법(1700)에 있어서, 도 8에 도시된 디스플레이 기기의 동작 방법(800)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였으며, 또한, S822 단계 및 S832 단계는 각각 도 8에 도시된 S820 단계 및 S830 단계에 대응될 수 있다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
이하에서는, 디스플레이 기기의 동작 방법(1700)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
전술한 바와 같이, 영상 통화 화면 전체에 대응되는 영상 신호가 수신되는 경우, 영상 신호는 1K, 2K, 4K 또는 8K 등의 해상도를 갖는 영상 신호가 될 수 있다. 즉, 영상 통화 화면에 대응되는 영상 신호는 상대방 이미지 및 사용자 이미지가 모두 포함되어 하나의 이미지를 나타내는 영상 신호가 될 수 있다. 이 경우, 영상 신호는 전체적으로 디코딩되어 하나의 부분 화면을 통하여 출력될 수 있다.
따라서, 영상 통화 화면을 출력하기 위해서는, 멀티뷰 화면에 포함되는 하나의 부분 화면이 필요하며, 그에 따라서 1개의 컨텐트만을 식별하면 족하다.
도 17을 참조하면, 디스플레이 기기(예를 들어, 500)의 동작 방법(1700)은, S810 단계에 후속하여 수신되는 영상 통화 요청에 근거하여, 멀티뷰 화면에 포함되는 복수개의 부분 화면들로 출력되는 복수개의 컨텐트들 중 한 개의 컨텐트를 식별할 수 있다(S822). 구체적으로, S822 단계에서, 영상 통화 요청에 근거하여, 하나의 컨텐트를 식별할 수 있다. 하나의 컨텐트의 식별 동작은 이하에서 도 19 내지 도 21을 참조하여 상세히 설명한다.
그리고, S822 단계에서 식별된 컨텐트가 출력되었던 부분 화면을 통하여 영상 통화 화면을 출력할 수 있다(S839). S839 단계의 동작은 이하에서 도 18를 참조하여 상세히 설명한다. 전술한 예에서, 영상 통화 화면은 식별 부분 화면을 통하여 디스플레이 될 수 있다.
이하에서는 설명의 편의 상, S822 단계에서 식별된 컨텐트가 '제1 컨텐트'이며, '제1 컨텐트'를 출력하였던 부분 화면이 '제1 부분 화면'인 경우를 예로 들어 설명한다. 즉, S822 단계는 영상 통화 요청에 근거하여, 멀티 뷰 화면을 통하여 출력되는 복수개의 컨텐트 들 중 제1 컨텐트를 식별할 수 있다. 그리고, S823 단계는 제1 부분 화면을 통하여 영상 통화 화면을 디스플레이 할 수 있다.
도 18은 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다. 도 18에 도시된 디스플레이 기기의 동작 방법(1800)에 있어서, 도 17에 도시된 디스플레이 기기의 동작 방법(1700)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였으며, 전술한 설명들과 중복되는 설명은 생략한다.
이하에서는, 디스플레이 기기의 동작 방법(1800)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
도 18을 참조하면, 도 17에서 설명한 S839 단계는 S1831, S1832 및 S1833 단계를 포함할 수 있다. 여기서, S1831, S1832 및 S1833 단계는 각각 도 9에서 설명한 S831, S832 및 S833 단계에 대응될 수 있으므로, 도 9에서와 중복되는 설명은 생략한다.
구체적으로, 디스플레이 기기의 동작 방법(1800)에 있어서, 영상 통화 화면을 출력하는 단계(S839)는 디스플레이 기기(500)에 포함되는 어느 하나의 디코더(미도시)에서, S822 단계에서 식별된 컨텐트에 대한 디코딩을 중단하는 단계(S1831), 식별된 컨텐트를 디코딩하던 디코더(미도시)에서, 영상 통화 화면에 대응되는 영상 신호를 디코딩하는 단계(S1832), 및 S833 단계에서 디코딩된 영상 신호에 근거하여 상기 식별된 컨텐트가 출력되었던 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계(S1833)를 포함할 수 있다. 여기서, '식별된 컨텐트를 디코딩하던 디코더(미도시)'는 디코딩을 중단한 디코더를 의미할 수 있다.
도 10에서 설명한 예시를 다시 참조하면, 4K 컨텐트에 대응되는 제1 영상 신호는 제1 컨텐트는 4K 디코더(1031)에서 디코딩 된다. 그리고, 2K 컨텐트에 대응되는 제2 영상 신호는 2K 디코더(1032)에서 디코딩 된다. 그리고, 2K 컨텐트에 대응되는 제2 영상 신호는 2K 디코더(1033)에서 디코딩 된다. 그리고, 1K 컨텐트인 제4 컨텐트에 대응되는 영상 신호는 SW 디코더(1033)에서 디코딩 된다.
전술한 예에서, S822 단계에서 식별된 컨텐트가 제1 컨텐트인 경우, 제1 컨텐트는 4K 디코더(1031)에서 디코딩되었다. 그러므로, S1831 단계에서 4K 디코더(1031)는 제1 컨텐트의 디코딩을 중단하고, S1832 단계에서 4K 디코더(1031)는 영상 통화 화면에 대응되는 영상 신호의 디코딩을 개시할 수 있다. 그에 따라서, 4K 디코더(1031)에서 디코딩된 영상 신호는 제1 부분 화면(구체적으로, 제1 컨텐트가 출력되었던 부분 화면)을 통하여 디스플레이 될 수 있다(S1833).
도 19는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 19에 도시된 구성들에 있어서, 도 1에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
개시된 실시예에서, S820 단계는 영상 통화 요청에 근거하여, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 실시간 방송 또는 생방송이 아닌 컨텐트를 식별할 수 있다.
또한, S822 단계에 있어서, 단계는 영상 통화 요청에 근거하여, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 실시간 방송 또는 생방송이 아닌 하나의 컨텐트를 식별할 수 있다. 여기서, 실시간 방송 또는 생방송이란, 시간에 종속적으로 컨텐츠를 전송하는 것으로, 특정 시간에만 해당 컨텐트를 시청할 수 있는 컨텐트를 제공하는 방송을 의미할 수 있다. 또한, 비실시간 방송 또는 비 생방송은 시간에 독립적으로 전송되는 컨텐트를 전송하는 것으로, 사용자가 의도하면 언제든지 다시 볼 수 있거나, 시간과 무관하게 중단 또는 재생할 수 있는 컨텐트를 의미할 수 있다.
예를 들어, 비실시간 방송 또는 비생방송 컨텐트는, 인터넷 포털 사이트의 검색 엔진, 언제든지 구매 및 시청 가능한 컨텐츠 제공 서버에서 제공하는 컨텐트 등이 될 수 있을 것이다.
즉, S820 단계 또는 S822 단계에서는, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중, 시간과 무관하게 사용자가 의도하면 언제든지 다시 볼 수 있는 컨텐트 또는 시간과 무관하게 중단 또는 재생할 수 있는 컨텐트를 식별할 수 있다.
도 1에 도시된 멀티뷰 화면(110)의 예시에 있어서, 제3 컨텐트는 컨텐트 제공자(Contents provider)의 서버에서 수신되며 실시간 방송 또는 생방송이 아닌 축구 경기에 대응되는 동영상 스트리밍 컨텐트가 될 수 있으며, 설명의 편의 상 제3 컨텐트를 아이콘 C(141)로 표시하였다. 또한, 제4 컨텐트는 포털 사이트를 제공하는 웹 사이트 서버에서 수신되는 인터넷 컨텐트가 될 수 있으며, 설명의 편의 상 제4 컨텐트를 아이콘 D(151)로 표시하였다.
따라서, S820 단계 또는 S822 단계에서는, 비실시간 또는 비생방송 컨텐트인 제3 컨텐트 및 제4 컨텐트를 식별할 수 있다. 또한, 제3 컨텐트 및 제4 컨텐트 중 가장 중단 및 재실행이 용이한 하나의 컨텐트를 최종적으로 식별할 수 있다. 예를 들어, 웹 사이트 서버에서 수신되는 인터넷 컨텐트(예를 들어, 검색 엔진)의 경우에는, 언제든지 재실행이 용이하므로, 최종적으로 제4 컨텐트를 식별할 수 있을 것이다.
그에 따라서, S830 또는 S832 단계에서는, 식별된 컨텐트(전술한 예시에서, 제4 컨텐트)가 출력되는 제4 부분 화면(150) 상으로 영상 통화 화면을 디스플레이 할 수 있다. 영상 통화 화면은 상대방에 대한 영상(1910) 및 사용자에 대한 영상(1920)을 포함할 수 있다.
또한, 개시된 실시예에서, S820 단계는 영상 통화 요청에 근거하여, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 해상도가 낮은 컨텐트를 식별할 수 있다.
또한, S822 단계에 있어서, 단계는 영상 통화 요청에 근거하여, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 해상도가 낮은 하나의 컨텐트를 식별할 수 있다.
도 1a에 도시된 멀티뷰 화면(110)의 예시에 있어서, 가장 해상도가 낮은 컨텐트는 제4 컨텐트가 될 수 있다. 따라서, S820 단계 또는 S822 단계에서는, 가장 해상도가 낮은 컨텐트는 제4 컨텐트를 식별할 수 있다. 그에 따라서, S830 또는 S832 단계에서는, 식별된 컨텐트(전술한 예시에서, 제4 컨텐트)가 출력되는 제4 부분 화면(150) 상으로 영상 통화 화면을 디스플레이 할 수 있다. 즉, 디스플레이 기기(500)는 영상 통화 화면을 포함하는 멀티뷰 화면(1900)을 디스플레이 할 수 있다.
도 20은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 20에 도시된 구성들에 있어서, 도 1a 및 도 19에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
개시된 실시예에서, S820 단계는 영상 통화 요청이 수신되면, 사용자 입력에 근거하여 적어도 하나의 컨텐트를 식별할 수 있다.
또한, S822 단계에 있어서, 단계는 영상 통화 요청에 근거하여, 사용자 입력에 근거하여 하나의 컨텐트를 식별할 수 있다.
예를 들어, 사용자는 영상 통화 요청이 수신되면, 복수개의 부분 화면들 중 제3 컨텐트를 출력하는 제3 부분 화면(140)을 선택할 수 있다. 그러면, S830 또는 S832 단계에서는, 사용자가 선택한 부분 화면에 대응되는 제3 컨텐트가 식별될 수 있다. 그에 따라서, S830 또는 S832 단계에서는, 식별된 컨텐트(전술한 예시에서, 제4 컨텐트)가 출력되는 제3 부분 화면(140) 상으로 영상 통화 화면을 디스플레이 할 수 있다. 즉, 디스플레이 기기(500)는 영상 통화 화면을 포함하는 멀티뷰 화면(2000)을 디스플레이 할 수 있다.
도 21은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 21 도시된 구성들에 있어서, 도 1a 및 도 19에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
개시된 실시예에서, S820 단계는 영상 통화 요청에 근거하여, 영상 통화 화면의 해상도와 동일한 해상도를 갖는 적어도 하나의 컨텐트를 식별할 수 있다.
또한, S822 단계에 있어서, 단계는 영상 통화 요청에 근거하여, 영상 통화 화면의 해상도와 동일한 해상도를 갖는 하나의 컨텐트를 식별할 수 있다.
예를 들어, 영상 통화 요청이 4K 해상도를 갖는 영상 통화 화면을 디스플레이 하기 위한 영상 통화 요청인 경우를 예로 들자. 그리고, 제1 컨텐트는 4K 컨텐트이므로 제1 영상 신호는 4K 영상 신호로 전송되고, 제2 컨텐트는 2K 컨텐트이므로 제2 영상 신호는 2K 영상 신호로 전송되고, 제3 컨텐트는 2K 컨텐트이므로 제3 영상 신호는 2K 영상 신호로 전송되고, 제4 컨텐트는 1K 컨텐트이므로 제4 영상 신호는 1K 영상 신호로 전송되는 경우를 예로 들자.
이 경우, S820 단계 또는 S822 단계에서는, 영상 통화 화면의 해상도인 4K 해상도와 동일한 해상도를 갖는 컨텐트인 제1 컨텐트를 식별할 수 있다.
그에 따라서, S830 또는 S832 단계에서는, 식별된 컨텐트(전술한 예시에서, 제1 컨텐트)가 출력되는 제1 부분 화면(120) 상으로 영상 통화 화면을 디스플레이 할 수 있다. 즉, 디스플레이 기기(500)는 영상 통화 화면을 포함하는 멀티뷰 화면(2100)을 디스플레이 할 수 있다.
도 22는 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 또 다른 흐름도이다. 도 22는 개시된 실시예에 따른 디스플레이 기기의 동작 방법을 나타내는 다른 흐름도이다. 도 22에 도시된 디스플레이 기기의 동작 방법(2200)에 있어서, 도 8에 도시된 디스플레이 기기의 동작 방법(800)과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였으며, 또한, S825 단계 및 S835 단계는 각각 도 8에 도시된 S820 단계 및 S830 단계에 대응될 수 있다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
이하에서는, 디스플레이 기기의 동작 방법(2200)이 도 5에서 설명한 디스플레이 기기(500)를 통하여 수행되는 경우를 예로 들어 설명하도록 하겠다.
전술한 바와 같이, 영상 통화 화면을 구성하는 사용자에 대한 이미지에 대응되는 사용자 영상 신호 및 상대방에 대한 이미지에 대응되는 상대방 영상 신호가 각각 전송될 수 있다. 이 경우, 영상 통화 요청은, 상대방 영상 신호 및 사용자 영상 신호 각각에 대응되는 상대방 이미지 및 사용자 이미지 각각을 디스플레이 하기 위한 영상 통화 요청이 될 수 있다. 따라서, 영상 통화 요청에 응답하여 영상 통화 서비스가 제공되는 경우, 상대방 이미지 및 사용자 이미지 각각은 서로 다른 2개의 부분 화면들을 통하여 출력될 필요가 있다.
개시된 실시예는, 전술한 예와 같이 이미지 및 사용자 이미지 각각은 서로 다른 2개의 부분 화면들을 통하여 출력하도록 동작할 수 있으며, 이하에서 도 22 내지 도 24를 참조하여 상세히 설명한다.
도 22를 참조하면, 디스플레이 기기(예를 들어, 500)의 동작 방법(2200)은, S810 단계에 후속하여 수신되는 영상 통화 요청에 근거하여, 멀티뷰 화면에 포함되는 복수개의 부분 화면들로 출력되는 복수개의 컨텐트들 중 두 개의 컨텐트를 식별할 수 있다(S825).
그리고, S825 단계에서 식별된 두 개의 컨텐트에 대응되는 두 개의 부분 화면들을 통하여 상대방 이미지 및 사용자 이미지를 각각 디스플레이 할 수 있다(S835).
여기서, S825 단계에서 식별된 두 개의 컨텐트들 중 하나는 상대방 영상 신호와 동일한 해상도를 갖는 컨텐트가 될 수 있으며, 또 다른 하나는 사용자 영상 신호와 동일한 해상도를 갖는 컨텐트가 될 수 있다.
또는, S825 단계에서 식별된 두 개의 컨텐트들은 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 낮은 해상도를 갖는 두 개의 컨텐트가 될 수 있다. 또는, S825 단계에서 식별된 두 개의 컨텐트들 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 사용자가 선택한 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 두 개의 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 작은 해상도를 갖는 순서대로 선택된 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 두 개의 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 오프셋 해상도를 갖는 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 두 개의 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 주 화면 및 부 화면 각각을 통하여 출력되는 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 기설정된 두 개의 부분 화면을 통하여 출력되는 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 가장 나중에 재생이 시작된 두 개의 컨텐트가 될 수 있다.
또는, S825 단계에서 식별되는 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 상호 연관된 두 개의 컨텐트가 될 수 있다. 여기서, '상호 연관된 컨텐트들'이란, 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 서로 관련이 있는 영상을 출력하는 두 개 이상의 컨텐트들을 의미할 수 있다.
예를 들어, '서로 연관된 컨텐트들'은 야구 등의 스포츠 경기 컨텐츠에서 복수의 장면에 각각 대응되는 복수의 컨텐트들이 될 수 있다. 상세하게, 일 컨텐트가 특정 야구 경기에서 타자를 중심으로 보여주는 컨텐트인 경우, 일 컨텐트에 연관되는 다른 컨텐트는 전술한 특정 야구 경기에서 포수를 중심으로 보여주는 컨텐츠, 감독을 중심으로 보여주는 컨텐츠, 및/또는 관중을 중심으로 보여주는 컨텐츠가 될 수 있다. 또 다른 예로, 특정 공연을 중계하는 컨텐츠의 경우, 해당 공연에서 연기를 하거나 연주를 하는 복수의 공연자들 각각을 중심으로 보여주는 복수의 컨텐츠들은, 상호 연관된 컨텐트가 될 수 있다. 상세하게, 특정 클래식 공연에서, 바이올린 연주자를 중심으로 중계하는 컨텐트, 첼로 연주자를 중심으로 중계하는 컨텐트, 지휘자를 중심으로 중계하는 컨텐트, 및/또는 피아노 연주자를 중계하는 컨텐트는 상호 연관되는 컨텐트가 될 수 있다.
예를 들어, 멀티뷰 화면이 4개의 부분 화면을 포함하고, 그 중 2개의 부분 화면으로 출력되는 두 개의 컨텐트들이 서로 연관되는 컨텐트가 될 수 있다. 이 경우, 전술한 S825 단계에서 식별되는 두 개의 컨텐트는 서로 연관되는 두 개의 컨텐트가 될 수 있다.
또한, 멀티뷰 화면에 포함되는 복수개의 컨텐트들 중 서로 연관되는 컨텐트가 3개 이상인 경우, S825 단계에서는 전술한 3개 이상의 연관된 컨텐트들 중 2개를 선택할 수 있을 것이다. 예를 들어, 프로세서(410)는 복수개의 연관된 컨텐트들 중 가장 나중에 수신된 순서대로 2개의 컨텐트를 선택할 수 있다. 또는, 프로세서(410)는 복수개의 연관된 컨텐트들 중 해상도가 가장 낮은 순서대로 2개의 컨텐트를 선택할 수 있다. 또는, 프로세서(410)는 복수개의 연관된 컨텐트들 중 해상도가 가장 높은 순서대로 2개의 컨텐트를 선택할 수 있다. 또는, 프로세서(410)는 복수개의 연관된 컨텐트들 중 상대방 영상에 대한 영상 신호의 해상도 및 사용자 영상에 대한 영상 신호의 해상도 각각에 대응되는 해상도를 갖는 2개의 컨텐트를 선택할 수 있다.
예를 들어, 영상 통화 화면을 구성하기 위한 사용자 영상 신호 및 상대방 영상 신호가 각각 UHD(Ultra High Definition) 해상도 및 FHD(Full High Definition) 해상도를 갖는 경우, 프로세서(410)에 포함되는 멀티뷰 어플리케이션은 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 UHD 해상도 및 FUD 해상도를 갖는 두 개의 컨텐트를 식별할 수 있다. 그리고, 식별된 두 개의 컨텐트들에 대한 디코딩을 중단하고, 디코딩이 중단된 디코더들을 이용하여 사용자 영상 신호 및 상대방 영상 신호가 각각 디코딩되도록 제어할 수 있다.
도 23은 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 23에 도시된 구성들에 있어서, 도 1a에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 전술한 설명들과 중복되는 설명은 생략한다.
도 22 및 23를 참조하면, 디스플레이 기기(예를 들어, 500)의 동작 방법(2200)은, S810 단계에 후속하여 수신되는 영상 통화 요청에 근거하여, 멀티뷰 화면(2300)에 포함되는 복수개의 부분 화면들로 출력되는 복수개의 컨텐트들 중 두 개의 컨텐트를 식별할 수 있다(S825).
그리고, S825 단계에서 식별된 두 개의 컨텐트에 대응되는 두 개의 부분 화면들을 통하여 상대방 이미지 및 사용자 이미지를 각각 디스플레이 할 수 있다(S835).
예를 들어, S825 단계에서 식별된 두 개의 컨텐트들 중 하나는 상대방 영상 신호와 동일한 해상도를 갖는 컨텐트가 될 수 있으며, 또 다른 하나는 사용자 영상 신호와 동일한 해상도를 갖는 컨텐트가 될 수 있다. 예를 들어, 제3 컨텐트는 2K 컨텐트이므로 제3 영상 신호는 2K 영상 신호로 전송되고, 제4 컨텐트는 1K 컨텐트이므로 제4 영상 신호는 1K 영상 신호로 전송되는 경우를 예로 들자. 그리고, 상대방 영상 신호가 2K 해상도를 갖는 영상 신호이고, 사용자 영상 신호가 1K 해상도를 갖는 영상 신호라 하자. 이 경우, S825 단계에서는, 상대방 영상 신호 및 사용자 영상 신호 각각에 동일 대응되는 해상도를 갖는 제3 컨텐트 및 제4 컨텐트가 식별될 수 있다.
그에 따라서, S835 단계에서는, 식별된 제3 컨텐트를 출력하였던 제3 부분 화면을 통하여 상대방 이미지(2310)를 디스플레이하고, 식별된 제4 컨텐트를 출력하였던 제4 부분 화면을 통하여 사용자 이미지(2320)를 디스플레이 할 수 있다.
도 24는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24를 참조하면, 4개의 부분 화면들을 포함하는 멀티뷰 화면(2400)은 도시된 바와 같이 주 화면(2410) 및 적어도 하나의 부 화면들(2420, 2430, 2440) 형태를 가질 수 있다.
전술한 예에서, S825 단계에서 식별되는 두 개의 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 주 화면 및 부 화면 각각을 통하여 출력되는 두 개의 컨텐트가 될 수 있다. 예를 들어, 주 화면(2410)에서 출력되는 컨텐트 및 부 화면들(2420, 2430, 2440) 중 어느 하나에서 출력되는 컨텐트를 식벽할 수 있다. 또한, 부 화면들이 복수개 존재하는 경우, 가장 상단에 배치된 부 화면 또는 가장 좌측에 배치된 부분 화면에서 출력되는 컨텐트를 식별할 수 있을 것이다.
영상 통화 서비스를 제공받는 사용자는, 일반적으로 상대방에 대한 이미지를 크기 보기를 원하고, 자신인 사용자에 대한 이미지는 작게 보기를 원할 수 있다. 따라서, S825 단계에서 식별되는 두 개의 컨텐트는 멀티뷰 화면을 통하여 출력되는 복수개의 컨텐트들 중 주 화면 및 부 화면 각각을 통하여 출력되는 두 개의 컨텐트가 될 수 있다. 여기서, 주 화면으로는 상대방에 대한 이미지가 디스플레이 될 수 있으며, 부 화면으로는 사용자에 대한 이미지가 디스플레이 될 수 있다.
도 24를 참조하면, S825 단계에서 식별되는 두 개의 컨텐트를 출력하였던 주 화면(2410) 및 부 화면(예를 들어, 2420) 각각으로 상대방 이미지 및 사용자 이미지를 디스플레이 할 수 있다. 그에 따라서, 주 화면(2410) 상을 상대방 이미지를 디스플레이하고 부 화면(예를 들어, 2420)으로 사용자 이미지를 디스플레이 하는 멀티뷰 화면(2400)이 출력될 수 있다.
도 25는 개시된 실시예에 따른 디스플레이 기기에서 디스플레이 되는 사용자 인터페이스 화면의 또 다른 예를 나타내는 도면이다. 도 25를 참조하면, 4개의 부분 화면들을 포함하는 멀티뷰 화면(2500)은 도시된 바와 같이 주 화면(2510) 및 적어도 하나의 부 화면들(2520, 2530, 2540) 형태를 가질 수 있다.
도 25를 참조하면, S825 단계에서 식별되는 두 개의 컨텐트를 출력하였던 주 화면(2510) 및 부 화면(예를 들어, 2520) 각각으로 상대방 이미지 및 사용자 이미지를 디스플레이 할 수 있다. 그에 따라서, 주 화면(2510) 상을 상대방 이미지를 디스플레이하고 부 화면(예를 들어, 2520)으로 사용자 이미지를 디스플레이 하는 멀티뷰 화면(2500)이 출력될 수 있다.
전술한 바와 같이, 개시된 실시예는, 멀티뷰 화면을 출력하는 중에 영상 통화 요청을 수신하는 디스플레이 기기는 사용자의 만족도를 높이는 방향으로 멀티뷰 화면의 출력을 유지하면서 영상 통화 서비스를 제공할 수 있다. 그에 따라서, 사용자의 만족도 및 사용자의 편리성이 높아질 수 있다.
본 개시의 일 실시예에 따른 디스플레이 기기의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 디스플레이 기기의 동작 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 디스플레이 기기의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
구체적으로, 개시된 실시예에 디스플레이 기기의 동작 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
400, 500: 디스플레이 기기
410: 프로세서
415: 통신 인터페이스
417: 영상 입력부
420: 디스플레이
425: 비디오 처리부
430: 통신부
440: 카메라
450: 사용자 인터페이스
460: 오디오 출력부
465: 오디오 입출력부

Claims (19)

  1. 복수개의 부분 화면들을 포함하는 멀티 뷰 화면을 디스플레이 하는 디스플레이 기기의 동작 방법에 있어서,
    개별적으로 디코딩된 복수개의 컨텐트들 각각을 상기 복수개의 부분 화면들을 통하여 출력하는 단계;
    영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하는 단계; 및
    상기 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  2. 제1항에 있어서, 상기 영상 통화 화면을 출력하는 단계는
    상기 디스플레이 기기에 포함되는 적어도 하나의 디코더에서, 상기 식별된 적어도 하나의 컨텐트에 대한 디코딩을 중단하는 단계;
    상기 디코딩이 중단된 디코더에서, 상기 영상 통화 화면에 대응되는 영상 신호를 디코딩하는 단계; 및
    상기 디코딩된 영상 신호에 근거하여 상기 식별된 적어도 하나의 컨텐트가 출력되었던 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 복수개의 컨텐트들 중 상기 영상 통화 화면의 해상도와 동일한 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 복수개의 컨텐트들 중 오프셋 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 복수개의 컨텐트들 중 가장 낮은 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  6. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 복수개의 컨텐트들 중 주 화면을 통하여 출력되는 컨텐트를 식별하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  7. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계; 및
    상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 음성 통화 전환 프로세스를 수행하는 단계를 더 포함하는, 디스플레이 기기의 동작 방법.
  8. 제1항에 있어서, 상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하는 단계; 및
    상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 영상 통화 프로세스를 종료하는 단계를 더 포함하는, 디스플레이 기기의 동작 방법.
  9. 제1항에 있어서,
    상기 영상 통화 요청에 응답하여, 상기 복수개의 부분 화면들 중 적어도 하나를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하는 단계; 및
    상기 사용자 인터페이스 화면을 통하여 상기 복수개의 부분 화면 중 적어도 하나를 선택하는 사용자 입력을 수신하는 단계를 더 포함하며,
    상기 적어도 하나의 컨텐트를 식별하는 단계는
    상기 사용자 입력의 수신에 근거하여 상기 적어도 하나의 컨텐트를 식별하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 컨텐트를 식별하는 단계는
    영상 통화 요청에 근거하여, 상기 멀티 뷰 화면을 통하여 출력되는 복수개의 컨텐트 들 중 제1 컨텐트를 식별하는 단계를 포함하며,
    상기 영상 통화 화면을 출력하는 단계는
    상기 제1 컨텐트에 대응되는 제1 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  11. 제10항에 있어서, 상기 영상 통화 화면을 출력하는 단계는
    상기 제1 컨텐트에 대응되는 제1 영상 신호의 디코딩을 중단하는 단계;
    상기 제1 영상 신호의 디코딩을 중단한 디코더에서 상기 영상 신호를 디코딩하는 단계; 및
    상기 디코딩된 영상 신호에 근거하여 상기 제1 부분 화면을 통하여 상기 영상 통화 화면을 출력하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  12. 제1항에 있어서,
    상기 적어도 하나의 컨텐트를 식별하는 단계는
    영상 통화 요청에 근거하여, 상기 멀티 뷰 화면을 통하여 출력되는 복수개의 컨텐트 들 중 제1 컨텐트 및 제2 컨텐트를 식별하는 단계를 포함하며,
    상기 영상 통화 화면을 출력하는 단계는
    상기 제1 컨텐트에 대응되는 제1 부분 화면 및 상기 제2 컨텐트에 대응되는 제2 부분 화면 각각에서 영상 통화 화면을 구성하는 상대방 영상 및 사용자 영상을 디스플레이 하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  13. 제12항에 있어서, 상기 영상 통화 화면을 출력하는 단계는
    상기 제1 컨텐트 및 상기 제2 컨텐트에 각각 대응되는 제1 영상 신호 및 제2 영상 신호의 디코딩을 중단하는 단계;
    상기 제1 영상 신호 및 상기 제2 영상 신호 각각에 대한 디코딩을 중단한 디코더들 각각에서, 상기 상대방 영상 및 상기 사용자 영상 각각에 대응되는 상대방 영상 신호 및 사용자 영상 신호를 디코딩하는 단계; 및
    상기 디코딩된 상대방 영상 신호 및 사용자 영상 신호에 근거하여, 상기 제1 부분 화면 및 상기 제2 부분 화면 각각으로 상기 상대방 영상 및 상기 사용자 영상을 출력하는 단계를 포함하는, 디스플레이 기기의 동작 방법.
  14. 제12항에 있어서,
    상기 제1 부분 화면은
    상기 복수개의 부분 화면들 중 주 화면이며,
    상기 제2 부분 화면은
    상기 복수개의 부분 화면들 중 부 화면인, 디스플레이 기기의 동작 방법.
  15. 디스플레이;
    통신 인터페이스;
    복수개의 디코더를 포함하는 비디오 처리부; 및
    적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는
    상기 적어도 하나의 인스트럭션을 실행하여,
    상기 비디오 처리부에서 개별적으로 디코딩된 복수개의 컨텐트들 각각이 멀티뷰 화면에 포함되는 복수개의 부분 화면들을 통하여 출력되도록 상기 디스플레이를 제어하고,
    영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 중 적어도 하나의 컨텐트를 식별하며,
    상기 복수개의 부분 화면들 중 상기 식별된 적어도 하나의 컨텐트에 대응되는 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면이 출력되도록 상기 디스플레이를 제어하는, 디스플레이 기기.
  16. 제15항에 있어서, 상기 프로세서는
    상기 식별된 적어도 하나의 컨텐트에 대한 디코딩이 중단되도록 상기 비디오 처리부를 제어하며,
    상기 복수개의 디코더 중 상기 디코딩을 중단한 디코더에서, 상기 영상 통화 화면에 대응되는 영상 신호를 디코딩 하도록 제어하며,
    상기 디코딩된 영상 신호에 근거하여 상기 식별된 적어도 하나의 컨텐트가 출력되었던 적어도 하나의 부분 화면을 통하여 상기 영상 통화 화면이 출력되도록 제어하는, 디스플레이 기기.
  17. 제15항에 있어서, 상기 프로세서는
    상기 복수개의 컨텐트들 중 상기 영상 통화 화면의 해상도와 동일한 해상도를 갖는 상기 적어도 하나의 컨텐트를 식별하는, 디스플레이 기기.
  18. 제15항에 있어서, 상기 프로세서는
    상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하는지 판단하고, 상기 영상 통화 화면에 대응되는 해상도를 갖는 상기 적어도 하나의 컨텐트가 존재하지 않으면, 음성 통화 전환 프로세스를 수행하는, 디스플레이 기기.
  19. 제15항에 있어서, 상기 프로세서는
    영상 통화 요청에 근거하여, 상기 복수개의 컨텐트들 주 화면으로 출력되는 컨텐트 및 부 화면으로 출력되는 컨텐트를 식별하고,
    상기 주 화면으로 출력되는 컨텐트 및 부 화면으로 출력되는 컨텐트 각각에 대한 디코딩을 중단하며, 상기 주 화면으로 출력되는 컨텐트 및 부 화면으로 출력되는 컨텐트 각각을 디코딩하였던 두 개의 디코더를 통하여 상대방 이미지에 대응되는 영상 신호 및 사용자 이미지에 대응되는 영상 신호를 디코딩하는, 디스플레이 기기.
KR1020200113206A 2020-09-04 2020-09-04 디스플레이 기기 및 그의 동작 방법 KR20220031367A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200113206A KR20220031367A (ko) 2020-09-04 2020-09-04 디스플레이 기기 및 그의 동작 방법
EP21864744.4A EP4199504A4 (en) 2020-09-04 2021-09-06 DISPLAY DEVICE AND METHOD FOR OPERATING THE SAME
CN202180054872.4A CN116097655A (zh) 2020-09-04 2021-09-06 显示装置及其操作方法
PCT/KR2021/012015 WO2022050785A1 (ko) 2020-09-04 2021-09-06 디스플레이 기기 및 그의 동작 방법
US18/117,018 US20230209126A1 (en) 2020-09-04 2023-03-03 Display device and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200113206A KR20220031367A (ko) 2020-09-04 2020-09-04 디스플레이 기기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220031367A true KR20220031367A (ko) 2022-03-11

Family

ID=80491310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200113206A KR20220031367A (ko) 2020-09-04 2020-09-04 디스플레이 기기 및 그의 동작 방법

Country Status (5)

Country Link
US (1) US20230209126A1 (ko)
EP (1) EP4199504A4 (ko)
KR (1) KR20220031367A (ko)
CN (1) CN116097655A (ko)
WO (1) WO2022050785A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1011359S1 (en) * 2020-09-22 2024-01-16 Igt Display screen or portion thereof with graphical user interface
KR20240021631A (ko) * 2022-08-10 2024-02-19 엘지전자 주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738540B1 (ko) * 2005-08-30 2007-07-11 삼성전자주식회사 멀티태스킹 환경에서의 사용자 인터페이스 방법 및 장치
KR101683291B1 (ko) * 2010-05-14 2016-12-06 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
US20180316943A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Fpga systems and methods for video processing, combination and display of heterogeneous sources
KR101961860B1 (ko) * 2012-08-28 2019-03-25 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102145014B1 (ko) * 2013-11-04 2020-08-18 엘지전자 주식회사 Tv 및 그 동작 방법
KR101735381B1 (ko) * 2015-03-23 2017-05-29 주식회사 엘지유플러스 고화질 영상 통화 시스템 및 그의 영상 처리 방법, 그리고 영상 통화 어플리케이션을 실행하는 컴퓨터 판독 가능한 기록매체
CN105872831A (zh) * 2015-11-16 2016-08-17 乐视致新电子科技（天津）有限公司 通过电视进行视频通话的显示控制方法、系统及电视
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
CN116097655A (zh) 2023-05-09
US20230209126A1 (en) 2023-06-29
EP4199504A4 (en) 2024-01-17
WO2022050785A1 (ko) 2022-03-10
EP4199504A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
US11868580B2 (en) Mobile terminal, image display device and user interface provision method using the same
US10536742B2 (en) Display apparatus and display method
US20230209126A1 (en) Display device and operating method therefor
EP3024220A2 (en) Display apparatus and display method
CN107455008B (zh) 用于播放视频内容的播放装置、操作方法以及可读记录介质
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
US20170230603A1 (en) High resolution user interface
CN111556350B (zh) 一种智能终端及人机交互方法
US20160191841A1 (en) Display device and display method
US11930236B2 (en) Content playback device using voice assistant service and operation method thereof
KR20210093605A (ko) 디스플레이 장치 및 그 동작 방법
US20170185246A1 (en) Image display apparatus and method of displaying image
KR102614754B1 (ko) 디스플레이 장치 및 그 동작 방법
US20220014688A1 (en) Image processing method and display device thereof
KR20170083889A (ko) 디스플레이 장치 및 그 동작 방법
KR20240028868A (ko) 디스플레이 장치 및 그의 동작 방법
KR20240071129A (ko) 전자 장치 및 이의 제어 방법
KR20240011779A (ko) 조정 가능한 사용자 인터페이스(ui) 요소를 통한 수화 비디오의 디스플레이
KR20210074880A (ko) 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination