KR20230111006A - 디스플레이 장치의 동작 방법 및 이를 위한 장치 - Google Patents

디스플레이 장치의 동작 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20230111006A
KR20230111006A KR1020220006675A KR20220006675A KR20230111006A KR 20230111006 A KR20230111006 A KR 20230111006A KR 1020220006675 A KR1020220006675 A KR 1020220006675A KR 20220006675 A KR20220006675 A KR 20220006675A KR 20230111006 A KR20230111006 A KR 20230111006A
Authority
KR
South Korea
Prior art keywords
image
fingerprints
images
display device
matching information
Prior art date
Application number
KR1020220006675A
Other languages
English (en)
Inventor
조종명
황준필
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220006675A priority Critical patent/KR20230111006A/ko
Priority to PCT/KR2023/000801 priority patent/WO2023136706A1/ko
Publication of KR20230111006A publication Critical patent/KR20230111006A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

디스플레이 장치에서의 동작 방법이 개시된다. 구체적으로, 복수개의 영상에 대한 영상 신호를 수신하는 단계; 상기 수신된 복수개의 영상 신호를 처리하고, 상기 처리된 복수개의 영상 신호로부터 혼합 영상을 생성하는 단계; 상기 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하는 단계; 상기 추출된 복수개의 핑거프린트를 서버로 전송하는 단계; 및 상기 서버로부터 상기 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득하는 단계; 를 포함하는 디스플레이 장치에서의 동작 방법이 개시된다.

Description

디스플레이 장치의 동작 방법 및 이를 위한 장치{A display apparatus and a method for operating the display apparatus}
본 개시의 실시예들은 디스플레이 장치의 동작 방법 및 이를 위한 장치에 관한 것이다.
디스플레이 장치는 영상 신호 공급원으로부터 제공되는 영상 신호를 수신하고 처리함으로써 디스플레이부에 표시하는 장치이다. 디스플레이 장치는 자동 콘텐트 인식(ACR(Automatic Content Recognition))을 통해, 디스플레이부에 현재 재생되는 콘텐트를 인식할 수 있다.
다만, 디스플레이 장치는 멀티뷰를 통해 2개 이상의 콘텐트를 동시에 재생할 수도 있다. 이때, 자동 콘텐트 인식을 통해 2개 이상의 콘텐트를 정확하게 인식할 수 있는 기술이 요구되고 있다.
다양한 실시예들에 따라 멀티뷰에서 표시되는 복수개의 영상에 대응되는 복수개의 매칭 정보를 획득하기 위한 디스플레이 장치의 동작 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 디스플레이 장치의 동작 방법은 복수개의 영상에 대한 영상 신호를 수신하는 단계; 수신된 복수개의 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성하는 단계; 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하는 단계; 추출된 복수개의 핑거프린트를 서버로 전송하는 단계; 및 서버로부터 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 핑거프린트를 추출하는 단계는, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 및 획득된 복수개의 비디오 프레임에 기초하여, 복수개의 핑거프린트를 추출하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 핑거프린트를 추출하는 단계는, 혼합 영상으로부터 혼합 영상에 대한 비디오 프레임을 획득하는 단계; 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 및 복수개의 비디오 프레임에 기초하여 복수개의 핑거프린트를 추출하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 혼합 영상을 생성하는 단계는 복수개의 영상에 대한 화면 분할 정보에 기초하여 혼합 영상을 생성하는 단계; 를 포함하고, 복수개의 핑거프린트를 추출하는 단계는 화면 분할 정보에 따라 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 핑거프린트를 추출하는 단계는 혼합 영상에 대한 비디오 프레임 내의 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 검출된 적어도 하나의 경계선에 기초하여, 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 추출된 복수개의 핑거프린트를 서버로 전송하는 단계는 추출된 복수개의 핑거프린트를 복수개의 영상 별로 각각 서버로 전송하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 추출된 복수개의 핑거프린트를 서버로 전송하는 단계는 추출된 복수개의 핑거프린트를 전체적으로 서버로 전송하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 매칭 정보를 획득하는 단계는 혼합 영상을 생성하는데 이용된 화면 분할 정보에 기초하여 복수개의 영상에 대응하는 복수개의 매칭 정보에 대한 복수개의 가중치를 결정하고, 결정된 복수개의 가중치에 따라 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 매칭 정보를 획득하는 단계는 디스플레이 장치에서 사운드가 출력되는 영상을 식별하고, 식별된 영상에 대한 매칭 정보에 기 설정된 가중치를 설정함으로써, 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득하는 단계; 를 포함할 수 있다.
본 개시의 일 실시예에 따른 방법에 있어서, 복수개의 매칭 정보는 복수개의 영상에 대한 장르 정보 및 복수개의 영상에 대한 채널 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 제2 측면에 따른 디스플레이 장치는 멀티뷰에서 혼합 영상을 디스플레이하는 디스플레이부; 통신부; 하나 이상의 인스트럭션을 저장하는 메모리; 및 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하며, 적어도 하나의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 수신된 복수개의 영상에 대한 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성하도록 제어하고, 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하고, 통신부를 통해 복수개의 핑거프린트를 서버로 전송하도록 제어하고, 서버로부터 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 제3 측면에 따른 기록매체는 상기 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하고, 통신부를 통해 복수개의 핑거프린트를 서버로 전송함으로써, 서버로부터 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득할 수 있다. 따라서, 디스플레이 장치는 멀티뷰를 통해 복수개의 영상을 동시에 재생하는 경우에도, 복수개의 영상 각각에 대응되는 복수개의 매칭 정보를 획득할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치에서의 동작 방법을 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치를 설명하기 위한 블록 구성도이다
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치에서의 동작을 설명하기 위한 순서도이다.
도 4는 본 개시의 일 실시예에 따른 복수개의 영상으로부터 복수개의 핑거프린트를 추출하는 구체적인 방법을 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 복수개의 영상으로부터 복수개의 핑거프린트를 추출하는 구체적인 방법을 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 전송하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 전송하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 10은 개시의 일 실시예에 따른 복수개의 매칭 정보를 이용하여, 사용자에게 추가적인 콘텐트를 추천하는 실시예를 설명하기 위한 도면이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 디스플레이 장치에서의 동작 방법을 나타내는 도면이다.
도 1을 참조하면, 디스플레이 장치(200)는 복수개의 영상으로부터 복수개의 핑거프린트를 추출하고, 추출된 복수개의 핑거프린트를 서버에 전송함으로써, 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 외부로부터 복수개의 영상을 획득할 수 있다. 도1을 참조하면, 디스플레이 장치(200)는 축구와 관련된 영상 1(110), 축구와 관련된 영상 2(120) 및 아이돌 음악과 관련된 영상 3(130)을 획득할 수 있다. 디스플레이 장치(200)는 축구와 관련된 영상 1(110), 축구와 관련된 영상 2(120) 및 아이돌 음악과 관련된 영상 3(130)을 서로 다른 소스를 통해 수신할 수 있다. 예를 들어, 디스플레이 장치(200)는 축구와 관련된 영상 1(110)은 라이브 스트림을 수신하기 위한 튜너를 통해 수신할 수 있고, 축구와 관련된 영상 2(120)는 HDMI를 통해 수신할 수 있으며, 아이돌 음악과 관련된 영상 3(130)은 썬더볼트(Thunderbolt)를 통해 수신할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 수신된 복수개의 영상에 대한 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성할 수 있다. 구체적으로, 복수개의 영상의 멀티뷰를 지원하는 디스플레이 장치(200)는 화면 분할 정보에 기초하여, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성할 수 있다. 예를 들어, 도1을 참조하면, 화면 분할 정보는 영상 1(110)이 가장 크게 디스플레이된다는 정보 및, 영상 2(120)와 영상 3(130)은 영상 1(110)의 1/2 스케일로 디스플레이된다는 정보를 포함할 수 있다. 또한, 화면 분할 정보는 영상 1(110), 영상 2(120) 및 영상 3(130)가 디스플레이 장치(200)의 디스플레이부에서 표시되는 위치에 대한 정보도 포함할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 화면 분할 정보에 따라 복수개의 영상으로부터 혼합 영상을 생성할 수 있다. 예를 들어, 도1을 참조하면, 디스플레이 장치(200)는 디스플레이부의 왼쪽 영역(111)에 영상 1(110)을 표시할 수 있고, 디스플레이부의 제1 사분면에 대응되는 영역(121)에 영상 2(120)를 표시할 수 있고, 디스플레이부의 제4 사분면에 대응되는 영역(131)에 영상 3(130)을 표시하는 정보에 기초하여, 혼합 영상을 생성할 수 있다. 또한, 생성된 혼합 영상은 디스플레이 장치(200)의 디스플레이부에 표시될 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상으로부터 복수개의 핑거프린트를 추출할 수 있다. 본원 명세서에서, 핑거프린트는 영상으로부터 획득된 2진수 형태의 데이터를 의미할 수 있으며, 핑거프린트는 영상의 비디오 프레임에 포함되는 오브젝트의 크기, 모양 또는 위치 등을 고려하여 결정되는 데이터일 수 있다. 또한, 서로 다른 영상으로부터 추출된 핑거프린트는 서로 상이할 수 있다. 예를 들어, 도1을 참조하면, 디스플레이 장치(200)는 영상 1(110)에 대응되는 핑거프린트 1(141), 영상 2(120)에 대응되는 핑거프린트 2(142) 및 영상 3(130)에 대응되는 핑거프린트 3(143)를 획득할 수 있다. 또한, 획득된 핑거프린트 1(141), 핑거프린트 2(142) 및 핑거프린트 3(143)은 서로 상이한 2진수로 구성된 데이터일 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 핑거프린트를 서버(100)로 전송하여, 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 획득할 수 있다. 구체적으로, 복수개의 영상에 대응되는 복수개의 핑거프린트는 서로 상이한 바, 서버(100)는 핑거프린트 DB(150)에 수신된 복수개의 핑거프린트와 매칭되는 핑거프린트가 있는지 여부를 검색할 수 있다. 예를 들어, 도1을 참조하면, 서버(100)는 핑거프린트 DB(150)에 포함되는 복수개의 핑거프린트 중 수신된 핑거프린트 1(141), 핑거프린트 2(142) 및 핑거프린트 3(143)와 매칭되는 복수개의 핑거프린트를 식별할 수 있다. 또한, 서버(100)는 매칭 정보 DB(160)에서 식별된 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 추출할 수 있다. 여기서, 추출된 복수개의 매칭 정보는 대응되는 복수개의 영상에 대한 메타데이터를 포함하는 정보일 수 있다. 예를 들어, 복수개의 매칭정보는 복수개의 영상의 채널 정보 등을 포함할 수 있다.
본 개시의 일 실시예에 따른 서버(100)는 추출된 복수개의 매칭 정보를 디스플레이 장치(200)로 전송할 수 있다. 예를 들어, 도1을 참조하면, 전송되는 복수개의 매칭 정보는 매칭 정보 1(161), 매칭 정보 2(162) 및 매칭 정보 3(163)를 포함할 수 있다. 또한, 매칭 정보 1(161), 매칭 정보 2(162) 및 매칭 정보 3(163)은 핑거프린트 1(141), 핑거프린트 2(142) 및 핑거프린트 3(143)에 각각 대응될 수 있다. 또한, 디스플레이 장치(200)는 영상 1(110), 영상 2(120) 및 영상 3(130)에 대응되는 매칭 정보 1(161), 매칭 정보 2(162) 및 매칭 정보 3(163)를 획득함으로써, 디스플레이 장치(200)의 사용자에게 적절한 추가적인 콘텐트를 추천할 수 있다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치를 설명하기 위한 블록 구성도이다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상에 대한 영상 신호를 수신하고, 복수개의 영상에 대응되는 복수개의 매칭 정보를 획득하기 위한 장치일 수 있다. 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 디스플레이부(210), 프로세서(220), 통신부(230), 메모리(240), 오디오 출력부(미도시) 및 전원 공급부(미도시)를 포함할 수 있다. 이하 상기 구성요소들에 대해 차례로 살펴본다.
디스플레이부(210)는 표시패널 및 표시 패널을 제어하는 컨트롤러(미도시)를 포함할 수 있고, 디스플레이부(210)는 디스플레이 장치(200)에 내장된 디스플레이를 나타낼 수 있다. 표시패널에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(210)는 터치 패널과 결합되어 터치 스크린으로 제공될 수 있다. 예를 들어, 터치 스크린은 표시 패널과 터치 패널이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
일부 실시예에 의한 디스플레이부(210)는 멀티뷰에서 혼합 영상을 디스플레이할 수 있다. 또한, 디스플레이 장치(220)는 복수개의 매칭 정보를 이용하여, 사용자에게 적절한 콘텐트를 추천함에 할 때, 추천되는 콘텐트와 관련된 UI(User interface)를 디스플레이부(210)에 출력할 수 있다.
프로세서(220)는 디스플레이 장치(200)의 전반적인 동작을 제어할 수 있고, 메모리(240)에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치(200)의 동작을 제어할 수 있다. 예를 들어, 프로세서(220)는, 메모리(240)에 저장된 프로그램들을 실행함으로써, 디스플레이부(210), 통신부(230), 메모리(240), 오디오 출력부(미도시) 및 전원 공급부(미도시)등을 전반적으로 제어할 수 있다.
프로세서(220)는 RAM, ROM, CPU, GPU 및 버스 중 적어도 하나를 포함할 수 있다. RAM, ROM, CPU 및 GPU 등은 버스를 통해 서로 연결될 수 있다. 본 개시의 일 실시예에 의하면, 프로세서(220)는 학습 네트워크 모델을 생성하기 위한 AI 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에 의하면, AI 프로세서는 프로세서(220)와 별도의 칩으로 구현될 수도 있다. 본 개시의 일 실시예에 의하면, AI 프로세서는 범용 칩일 수도 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 하나 이상의 인스트럭션을 실행함으로써, 수신된 복수개의 영상에 대한 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성하도록 제어하고, 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하고, 통신부를 통해 복수개의 핑거프린트를 서버로 전송하도록 제어하고, 서버로부터 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 처리된 복수개의 영상 신호에 기초하여, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하고, 획득된 복수개의 비디오 프레임에 기초하여, 복수개의 핑거프린트를 추출할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 혼합 영상으로부터 혼합 영상에 대한 비디오 프레임을 획득하고, 혼합 영상에 대한 비디오 프레임을 크롭(Crop)함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하고, 복수개의 비디오 프레임에 기초하여 복수개의 핑거프린트를 추출할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 복수개의 영상에 대한 화면 분할 정보에 기초하여 혼합 영상을 생성하도록 제어하고 화면 분할 정보에 따라 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 혼합 영상에 대한 비디오 프레임 내의 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 검출된 적어도 하나의 경계선에 기초하여, 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 통신부(230)를 통해 추출된 복수개의 핑거프린트를 복수개의 영상 별로 각각 서버로 전송하도록 제어할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 통신부(230)를 통해 추출된 복수개의 핑거프린트를 전체적으로 서버로 전송하도록 제어할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 혼합 영상의 생성에 이용된 화면 분할 정보에 기초하여 복수개의 영상에 대응하는 복수개의 매칭 정보에 대한 복수개의 가중치를 결정하고, 결정된 복수개의 가중치에 따라 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 복수개의 영상 중 오디오 출력부에서 사운드가 출력되는 영상을 식별하고, 식별된 영상에 대한 매칭 정보에 기 설정된 가중치를 설정함으로써, 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 일 실시예에 따른 프로세서(220)는 복수개의 영상을 수신하도록 제어할 수 있다. 예를 들어, 프로세서(220)는 디스플레이 장치(200)가 다양한 데이터 소스로부터 입력되는 복수개의 영상을 수신하도록 제어할 수 있다. 예를 들어, 디스플레이 장치(200)는 외부 디바이스 등과 유/무선으로 접속될 수 있고, 연결된 외부기기를 통하여 입력되는 이미지, 영상 및 음성 신호를 디스플레이 장치(200)의 프로세서(220)로 전달할 수 있다. 디스플레이 장치(200)는 방송을 통해 들어오는 라이브 스트림을 수신하기 위한 튜너와, 동영상을 재생하기 위한 USB, 외부 입력을 받기 위한 HDMI, 콤포넌트 등을 포함할 수 있다. 구체적으로, 디스플레이 장치(200)는 USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, DP(Display Port), 썬더볼트(Thunderbolt), RGB 단자, D-SUB 단자 등을 포함할 수 있다. 본 개시의 실시예에 따른 수신되는 영상 신호는 영상에 대응되는 비트스트림 형태일 수 있다.
통신부(230)는 디스플레이 장치(200)와 디스플레이 장치(200) 주변에 위치한 복수의 디바이스들 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(230)는 디스플레이 장치(200)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 구체적으로, 통신부(230)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 서버와 통신을 수행할 수 있다. 또한, 통신부(230)는 근거리 통신부를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(와이파이 Direct) 통신부, UWB(Ultra Wideband) 통신부, Ant+ 통신부 및 이더넷 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
메모리(240)는 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수도 있다. 본 개시의 일 실시예에 따른 메모리(240)는 하나 이상의 인스트럭션을 저장할 수 있다. 메모리(240)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. 메모리(240)는 디스플레이 장치(200)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 프로세서(220)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(220)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(200)는 오디오 출력부(미도시)를 더 포함할 수도 있다. 오디오 출력부는 적어도 하나의 스피커로 구성된 출력부일 수 있다. 일부 실시예에 의한 프로세서(220)는 오디오 출력부를 통해 복수개의 영상 중 오디오 사운드가 출력되는 영상의 오디오 신호를 출력할 수 있다. 또한, 디스플레이 장치(200)는 통신부(230)를 통해 연결된 외부 전자 장치(예를 들어, 블루투스 스피커)를 통해 사운드를 출력할 수 도 있으나, 이에 한정되는 것은 아니다.
디스플레이 장치(200)는 전원 공급부(미도시)를 더 포함할 수도 있다. 전원 공급부(미도시)는 프로세서(220)의 제어에 의해 디스플레이 장치(200)의 구성 요소에게 전원을 공급할 수 있다. 전원 공급부(미도시)는 프로세서(220)의 제어에 의해 전원 코드를 통해 외부의 전원 소스에서부터 입력되는 전원을 디스플레이 장치(200)의 각 구성 요소들에게 공급할 수 있다.
그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디스플레이 장치(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디스플레이 장치(200)가 구현될 수 있다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치에서의 동작을 설명하기 위한 순서도이다.
단계 S310에서, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상에 대한 영상 신호를 수신할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상에 대한 영상 신호를 수신할 수 있다. 예를 들어, 디스플레이 장치(200)는 복수개의 영상 또는 콘텐트를 재생할 수 있는 장치로, 다양한 데이터 소스로부터 입력되는 복수개의 영상을 수신할 수 있다. 예를 들어, 도1을 참조하면, 디스플레이 장치(200)는 영상 1(110)은 튜너를 통해 수신하고, 영상 2(120) 및 영상 3(130)은 외부 입력을 받기 위한 HDMI를 통해 수신할 수 있다. 또한, 예를 들어, 디스플레이 장치(200)에서 수신하는 영상 신호는 복수개의 영상이 인코딩된 비트스트림 형태의 데이터로 표현될 수도 있으나, 이에 한정되는 것은 아니다.
단계 S320에서, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 수신된 복수개의 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 수신된 복수개의 영상 신호를 처리하고, 처리된 복수개의 영상 신호로부터 혼합 영상을 생성할 수 있다. 디스플레이 장치(200)의 프로세서(220)는 복수개의 영상 신호를 각각 처리하고, 처리된 복수개의 영상 신호로부터 디스플레이부(210)에서 재생될 혼합 영상을 생성하도록 제어할 수 있다. 디스플레이 장치(200)는 복수개의 영상 각각에 대응되는 처리된 복수개의 영상 신호를 생성할 수 있다. 처리된 복수개의 영상 신호는 대응되는 복수개의 비디오 프레임일 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 서로 다른 소스로부터 획득되어 영상 처리된 복수개의 영상 신호에 기초하여, 혼합 영상을 생성할 수 있다. 혼합 영상을 생성하는 사용되는 화면 분할 정보는 기 설정되어 메모리(240)에 저장되어 있을 수 있으나, 이에 한정된 것은 아니다. 예를 들어, 디스플레이 장치(200)는 복수개의 영상 신호 각각에 적용되는 스케일과 관련된 스케일 정보에 기초하여, 혼합 영상을 생성하는데 사용될 화면 분할 정보를 결정할 수 있다. 디스플레이 장치(200)는 화면 분할 정보를 이용하여, 복수개의 영상 신호에 기초하여 혼합 영상을 생성할 수 있다.
단계 S330에서, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 처리된 복수개의 영상 신호에 기초하여, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 예를 들어, 디스플레이 장치(200)가 복수개의 소스로부터 복수개의 영상을 수신한 경우, 디스플레이 장치(200)는 처리된 복수개의 영상 신호에 기초하여 혼합 영상이 생성되기 전에, 복수개의 영상에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 구체적으로, 디스플레이 장치(200)는 처리된 복수개의 영상 신호에 기초하여, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 복수개의 비디오 프레임은 복수개의 영상에 대한 스크린 샷을 의미할 수도 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 혼합 영상으로부터 비디오 프레임을 크롭함으로써, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 예를 들어, 디스플레이 장치(200)가 하나의 소스로부터 복수개의 영상을 수신한 경우, 디스플레이 장치(200)는 혼합 영상으로부터 비디오 프레임을 크롭함으로써, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 구체적으로, 디스플레이 장치(200)는 혼합 영상으로부터 혼합 영상에 대한 비디오 프레임을 획득하고, 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하고, 및 복수개의 비디오 프레임에 기초하여 복수개의 핑거프린트를 추출할 수 있다.
예를 들어, 디스플레이 장치(200)는 혼합 영상 생성에 사용되는 화면 분할 정보에 따라 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득할 수 있다. 또한, 예를 들어, 디스플레이 장치(200)는 혼합 영상에 대한 비디오 프레임 내의 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 검출된 적어도 하나의 경계선에 기초하여, 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다.
단계 S340에서, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 추출된 복수개의 핑거프린트를 서버로 전송할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 추출된 복수개의 핑거프린트와 대응되는 복수개의 매칭 정보를 획득하기 위해 추출된 복수개의 핑거프린트를 서버로 전송할 수 있다. 본원 명세서에서, 서버는 다양한 영상에 대한 복수개의 핑거프린트 DB 및 다양한 영상에 대한 복수개의 매칭 정보라는 메타데이터를 포함하는 매칭 정보 DB를 포함하는 서버일 수 있다. 본원 명세서에서, 매칭 정보는 영상에 대한 메타데이터를 나타낼 수 있다. 예를 들어, 매칭 정보는 영상의 제목, 영상이 제작된 방송사 등을 나타내는 메타데이터를 의미할 수도 있다.
디스플레이 장치(200)는 복수개의 핑거프린트를 복수개의 영상 별로 각각 서버로 전송할 수 있다. 또한, 디스플레이 장치(200)는 추출된 복수개의 핑거프린트를 전체적으로 서버로 전송할 수도 있다.
단계 S350에서, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 서버로부터 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득할 수 있다.
본 개시의 일 실시예에 따른 서버는 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 디스플레이 장치(200)로 전송할 수 있다. 예를 들어, 도1을 참조하면, 서버(100)는 핑거프린트 DB(150)에 포함되는 복수개의 핑거프린트 중 수신된 복수개의 핑거프린트와 매칭되는 복수개의 핑거프린트를 식별할 수 있다. 또한, 서버(100)는 매칭 정보 DB(160)에서 식별된 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 추출할 수 있다. 서버(100)는 추출된 복수개의 매칭 정보를 디스플레이 장치(200)로 전송할 수 있다. 디스플레이 장치(200)가 획득한 복수개의 매칭 정보는 복수개의 영상에 대한 장르 정보 및 복수개의 영상에 대한 채널 정보 중 적어도 하나를 포함할 수 있다. 또한, 디스플레이 장치(200)는 복수개의 매칭 정보를 이용하여, 사용자에게 추가적인 콘텐트를 추천할 수도 있다.
도 4는 본 개시의 일 실시예에 따른 복수개의 영상으로부터 복수개의 핑거프린트를 추출하는 구체적인 방법을 나타내는 도면이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 영상 처리된 복수개의 영상 신호에 기초하여, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 디스플레이 장치(200)는 복수개의 비디오 프레임에 기초하여, 복수개의 핑거프린트를 추출할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 소스로부터 복수개의 영상을 수신한 경우, 영상 처리된 복수개의 영상 신호에 기초하여, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 수신된 영상 신호를 처리하는 모듈을 포함할 수 있고,, 디스플레이 장치(200)는 복수개의 영상 신호를 병렬적으로 처리할 수 있다. 예를 들어, 도 4를 참조하면, 디스플레이 장치(200)는 복수개의 영상 신호를 처리하기 위해, 복수의 디코더, 복수의 비디오 메모리, 복수의 비디오 플레인, 복수의 비디오 스케일러, 복수의 화질 처리부 및 믹서부(460)를 포함할 수 있다. 구체적으로, 복수의 디코더는 디코더(411), 디코더(412) 및 디코더(413)을 포함할 수 있고, 복수의 비디오 메모리는 비디오 메모리(421), 비디오 메모리(422) 및 비디오 메모리(423)을 포함할 수 있고, 복수의 비디오 플레인은 비디오 플레인(431), 비디오 플레인(432) 및 비디오 플레인(433), 복수의 비디오 스케일러는 비디오 스케일러(441), 비디오 스케일러(442) 및 비디오 스케일러(443), 복수의 화질 처리부는 화질 처리부(451), 화질 처리부(452) 및 화질 처리부(453)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본원 명세서에서의 영상 처리된 복수개의 영상 신호는 디코더, 메모리, 비디오 플레인, 비디오 스케일러 및 화질 처리부를 통해 획득된 영상 신호를 의미할 수 있다.
디스플레이 장치(200)의 디코더는 수신된 복수개의 영상에 대한 영상 신호를 디코딩할 수 있다. 여기서, 복수개의 영상에 대한 영상 신호는 비트스트림 형태일 수 있고, 디코더는 수신된 복수개의 영상에 대한 영상 신호를 디코딩함으로써, 디코딩된 영상 신호를 출력할 수 있다. 여기서 디코딩된 영상 신호는 영상에 대한 비디오 프레임을 나타낼 수도 있다. 디스플레이 장치(200)의 비디오 메모리는 디코더에 의해 디코딩된 영상 신호를 수신하는 메모리로 구성될 수 있다. 또한, 비디오 메모리에 저장된 디코딩된 영상 신호는 비디오 메모리에서 비디오 플레인으로 출력될 수 있다. 디스플레이 장치(200)의 비디오 플레인은 비디오 메모리로부터 출력된 디코딩된 영상 신호를 수신하여 저장할 수 있다. 구체적으로, 비디오 플레인은 디스플레이 장치(200)에서 화면이 출력될 디코딩된 영상 신호를 획득하여 저장하는 버퍼(buffer)로 동작할 수 있다. 디스플레이 장치(200)의 비디오 스케일러는 비디오 플레인으로부터 출력된 디코딩된 영상 신호를 수신하고, 디코딩된 영상 신호에 적합한 스케일링을 수행한다. 예를 들어, 비디오 스케일러는 수신된 비디오 프레임의 사이즈를 적합하게 스케일링하여, 적절한 포맷의 비디오 프레임으로 변환할 수 있다. 디스플레이 장치(200)의 화질 처리부는 비디오 스케일러로부터 획득된 스케일링된 비디오 프레임을 수신하고, 화질 처리를 수행할 수 있다. 예를 들어, 화질 처리부는 스케일링된 비디오 프레임에 디노이징, 콘트라스트 처리, RGB 보정 중 적어도 하나를 수행할 수 있다. 다만, 디스플레이 장치가 수행하는 화질 처리 방식이 서술된 예시에 한정하는 것은 아니다. 디스플레이 장치는 디코딩 후 다양한 후 처리로 화질 처리를 수행할 수 있다.
디스플레이 장치(200)의 믹서부는 복수개의 영상으로부터 획득된 화질 처리된 복수개의 비디오 프레임을 수신하여, 혼합 영상을 생성할 수 있다. 구체적으로, 믹서부는 화면 분할 정보 및 화질 처리된 복수개의 비디오 프레임에 기초하여, 혼합 영상을 생성할 수 있다. 또한, 예를 들어, 하나의 소스로부터 수신된 영상이 복수개의 콘텐트를 포함하는 영상인 경우, 디스플레이 장치(200)의 의 믹서부에 입력되는 영상 자체가 복수개의 영상을 포함하는 혼합 영상일 수도 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상에 대한 복수개의 비트스트림인 비트스트림 1(401), 비트스트림 2(402) 및 비트스트림 3(403)을 획득할 수 있다. 디스플레이 장치(200) 는 비트스트림 1(401), 비트스트림 2(402) 및 비트스트림 3(403) 각각에 대해, 영상 처리를 수행할 수 있다. 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상 각각에 대응되는 비디오 프레임을 획득할 수 있다. 예를 들어, 도4를 참조하면, 디스플레이 장치(200)는 화질 처리부(451) 모듈로부터 영상 1의 비트 스트림 1(401)에 대한 비디오 프레임(471)를 획득할 수 있다. 유사하게, 디스플레이 장치(200)는 화질 처리부(452)로부터 영상 2에 대한 비디오 프레임(472)를 획득할 수 있고, 디스플레이 장치(200)는 화질 처리부(453)로부터 영상 3에 대한 비디오 프레임(473)를 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 영상 1에 대한 비디오 프레임(471)에 기초하여 영상 1에 대응되는 핑거프린트를 추출할 수 있고, 영상 2에 대한 비디오 프레임(472)에 기초하여 영상 2에 대응되는 핑거프린트를 추출할 수 있고, 영상 3에 대한 비디오 프레임(473)에 기초하여 영상 3에 대응되는 핑거프린트를 추출할 수 있다.
도 5는 본 개시의 일 실시예에 따른 복수개의 영상으로부터 복수개의 핑거프린트를 추출하는 구체적인 방법을 나타내는 도면이다.
도 5를 참조하면, 디스플레이 장치(200)는 혼합 영상으로부터 비디오 프레임을 크롭함으로써, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 또한, 디스플레이 장치(200)는 복수개의 비디오 프레임에 기초하여, 복수개의 핑거프린트를 추출할 수 있다. 특히, 디스플레이 장치(200)가 하나의 소스로부터 복수개의 영상을 수신한 경우, 디스플레이 장치(200)는 혼합 영상으로부터 비디오 프레임을 크롭함으로써, 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 믹서부(460)를 통해 혼합 영상(500)을 생성할 수 있다. 디스플레이 장치(200)는 영상 1, 영상 2 및 영상 3에 기초하여 기 설정된 화면 분할 정보에 따라 혼합 영상(500)을 생성할 수 있다. 혼합 영상(500)은 세로 경계선(510) 및 가로 경계선(520)에 기초하여 영상 1, 영상 2 및 영상 3이 분할된 영상일 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 혼합 영상(500)에 대한 비디오 프레임 내의 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 검출된 적어도 하나의 경계선에 기초하여, 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득할 수 있다. 예를 들어, 도 5를 참조하면, 디스플레이 장치(200)는 혼합 영상(500)에 대한 비디오 프레임 내의 세로 경계선(510) 및 가로 경계선(520)을 검출할 수 있다. 또한, 디스플레이 장치(200)는 검출된 세로 경계선(510) 및 가로 경계선(520)에 기초하여, 영상 1, 영상 2 및 영상 3을 구분할 수 있다. 구체적으로, 디스플레이 장치(200)는 검출된 세로 경계선(510) 및 가로 경계선(520)에 기초하여, 혼합 영상(500)로부터 영상 1에 대한 비디오 프레임(471), 영상 2에 대한 비디오 프레임(472) 및 영상 3에 대한 비디오 프레임(473)을 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 화면 분할 정보에 따라 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득할 수 있다. 디스플레이 장치(200)는 화면 분할 정보에 기초하여, 혼합 영상에 포함되는 영상 1, 영상 2 및 영상 3을 구분할 수 있다. 본원 명세서에서, 화면 분할 정보는 혼합 영상(500)에 포함되는 영상 1, 영상 2 및 영상 3을 디스플레이부(210)에 표시하는데 사용되는 정보로, 믹서부(460)에 저장될 수 있다. 예를 들어, 화면 분할 정보는 영상 1을 혼합 영상(500)의 왼쪽에 표시하고, 영상 2를 혼합 영상(500)의 1사분면에 표시하고, 영상 3을 혼합 영상(500)의 4사분면에 표시하는 것에 대한 정보일 수 있다. 따라서, 디스플레이 장치(200)는 화면 분할 정보에 기초하여, 혼합 영상에 포함되는 영상 1, 영상 2 및 영상 3을 구분할 수 있고, 디스플레이 장치(200)는 혼합 영상에 대한 비디오 프레임을 크롭함으로써 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 영상 1에 대한 비디오 프레임(471)에 기초하여 영상 1에 대응되는 핑거프린트를 추출할 수 있고, 영상 2에 대한 비디오 프레임(472)에 기초하여 영상 2에 대응되는 핑거프린트를 추출할 수 있고, 영상 3에 대한 비디오 프레임(473)에 기초하여 영상 3에 대응되는 핑거프린트를 추출할 수 있다.
도 6은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 영상에 대응되는 복수개의 핑거프린트를 추출할 수 있다.
본 개시의 일 실시예에 따른 핑거프린트는 영상의 비디오 프레임으로부터 획드되는 2진수로 구성된 데이터일 수 있고, 핑거프린트는 각각의 영상 별로 상이하게 추출될 수 있다. 예를 들어, 디스플레이 장치(200)는 영상 1의 비디오 프레임(471)의 중앙 영역에 축구 선수가 있는 점을 고려하여, 영상 1의 비디오 프레임(471)로부터 핑거프린트 1(601)을 획득할 수 있다. 따라서, 영상 2에 대한 비디오 프레임(472) 및 영상 3에 대한 비디오 프레임(473)의 중앙 영역에 다수의 축구 선수 또는 다수의 가수가 있는 바, 추출된 핑거프린트 2(602) 및 추출된 핑거프린트 3(603)은 핑거프린트 1(601)과 상이할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)가 도 5의 혼합 영상(500)으로부터 핑거프린트(604)를 획득하는 경우, 핑거프린트(604)는 핑거프린트 1(601), 핑거프린트 2(602) 및 핑거프린트 3(603)와 상이할 수 있다. 구체적으로, 혼합 영상(500)의 중앙 영역은 영상 1의 일부 영역, 영상 2의 일부 영역 및 영상 3의 일부 영역을 포함할 수 있는 바, 추출된 핑거프린트(604)는 핑거프린트 1(601), 핑거프린트 2(602) 및 핑거프린트 3(603)와 각각 상이할 수 있다.
따라서, 디스플레이 장치(200)는 핑거프린트(604)를 서버로 전송하더라도, 서버는 핑거프린트(604)에 대응되는 혼합 영상에 포함되는 영상 1, 영상 2 및 영상 3에 대응되는 핑거프린트와 핑거프린트(604)를 매칭하지 못할 수 있다. 따라서, 디스플레이 장치(200)는 복수개의 영상을 수신하고, 수신된 복수개의 영상과 대응되는 복수개의 핑거프린트를 추출함으로써, 복수개의 영상에 대한 복수개의 매칭 정보를 획득할 수 있다.
도 7은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 전송하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 디스플레이 장치(200)는 추출된 복수개의 핑거프린트를 복수개의 영상 별로 각각 서버로 전송할 수 있다. 본원 명세서에서 서버로 전송하는 동작은 서버로 쿼리하는 동작으로 기재될 수도 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 서버(100)로 전송하기 위해 복수개의 영상으로부터 복수개의 핑거프린트를 추출할 수 있다. 예를 들어, 도 7을 참조하면, 디스플레이 장치(200)는 영상 1의 비디오 프레임(471)로부터 핑거프린트 1(701)을 추출할 수 있고, 영상 2의 비디오 프레임(472)로부터 핑거프린트 2(702)을 추출할 수 있으며, 영상 3의 비디오 프레임(473)로부터 핑거프린트 3(703)을 추출할 수 있다.
디스플레이 장치(200)는 핑거프린트 1(701), 핑거프린트 2(702) 및 핑거프린트 3(703)을 각각 서버(100)로 전송할 수 있다. 도 7을 참조하면, 서버(100)는 핑거프린트 1(701)을 수신하여 핑거프린트 1(701)에 대응되는 매칭 정보 1(711)을 디스플레이 장치(200)로 전송할 수 있고, 서버(100)는 핑거프린트 2(702)를 수신하여 핑거프린트 2(702)에 대응되는 매칭 정보 2(712)을 디스플레이 장치(200)로 전송할 수 있으며, 서버(100)는 핑거프린트 3(703)을 수신하여 핑거프린트 3(703)에 대응되는 매칭 정보 3(713)을 디스플레이 장치(200)로 전송할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)가 핑거프린트 1(701)을 전송하면, 서버(100)는 핑거프린트 DB(150)에 기 저장된 복수개의 핑거프린트 중 수신된 핑거프린트 1(701)과 매칭되는 핑거프린트를 식별할 수 있다. 핑거프린트는 영상을 식별하기 위한 2진수 데이터 인바, 디스플레이 장치(200)는 식별된 핑거프린트와 매칭되는 수신된 핑거프린트 1(701)을 영상 1에 대한 핑거프린트로 결정할 수 있다. 또한, 서버(100)는 매칭정보 DB(160)에서 식별된 핑거프린트에 대응되는 매칭 정보 1(711)을 추출할 수 있고, 추출된 매칭 정보 1(711)을 디스플레이 장치(200)로 전송할 수 있다. 유사한 동작이 핑거프린트 2(702) 및 핑거프린트 3(703)에 대해 수행될 수 있고, 서버(100)는 추출된 매칭 정보 2(712) 및 추출된 매칭 정보 3(713)을 순차적으로 디스플레이 장치(200)로 전송할 수 있다.
도 8은 본 개시의 일 실시예에 따른 복수개의 영상에 대응되는 복수개의 핑거프린트를 전송하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 디스플레이 장치(200)는 추출된 복수개의 핑거프린트를 전체적으로 서버로 전송할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 서버(100)로 전송하기 위해 복수개의 영상으로부터 복수개의 핑거프린트를 추출할 수 있다. 예를 들어, 도 8을 참조하면, 디스플레이 장치(200)는 영상 1의 비디오 프레임(471), 영상 2의 비디오 프레임(472) 및 영상 3의 비디오 프레임(473)에 대한 복수개의 핑거프린트(800)을 획득할 수 있다. 예를 들어, 도 8을 참조하면, 복수개의 핑거프린트(800)은 핑거프린트 1, 핑거프린트 2 및 핑거프린트 3을 포함할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 핑거프린트(800)를 전체적으로 서버(100)로 전송할 수 있다. 서버(100)는 핑거 프린트 DB(150)에 저장된 복수개의 핑거 프린트 중 수신된 핑거 프린트와 매칭되는 핑거 프린트를 식별하기 전에 수신된 복수개의 핑거프린트(800)를 핑거프린트 1, 핑거프린트 2 및 핑거프린트 3으로 나눌 수 있다. 서버(100)는 디스플레이 장치(200)로부터 복수의 핑거 프린트(800)을 핑거프린트 1, 핑거프린트 2 및 핑거프린트 3로 나누기 위한 정보를 수신할 수도 있다.
서버(100)는 나누어진 핑거프린트 1, 핑거프린트 2 및 핑거프린트 3 각각에 대해 도 7에서의 매칭 동작과 유사한 동작을 수행할 수 있다. 예를 들어, 서버(100)는 프린트 DB(150)에 저장된 복수개의 핑거 프린트 중 핑거프린트 1에 대응되는 핑거 프린트를 식별할 수 있다. 서버(100)는 매칭 정보 DB(160)에 저장된 복수개의 매칭 정보 중 식별된 핑거 프린트와 대응되는 매칭 정보 1을 추출할 수 있다. 유사한 동작을 핑거프린트 2 및 핑거프린트 3에 대해서 수행함으로써, 서버(100)는 매칭 정보 2 및 매칭 정보 3을 추출할 수 있다.
본 개시의 일 실시예에 따른 서버(100)는 추출된 매칭 정보 1, 매칭 정보 2 및 매칭 정보 3을 포함하는 복수개의 매칭 정보(810)을 디스플레이 장치(200)로 전송할 수 있다.
도 9는 본 개시의 일 실시예에 따른 복수개의 핑거프린트에 대응되는 복수개의 매칭 정보를 획득하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 매칭 정보(900)는 복수개의 영상에 대한 장르 정보 및 복수개의 영상에 대한 채널 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 도 9을 참조하면, 영상 1의 매칭 정보는 A팀, B팀 간의 라이브로 중계 중인 축구 경기라는 장르 정보 및 채널이 50이라는 채널 정보를 포함하는 정보일 수 있다. 영상 2의 매칭 정보는 A팀, C팀 간의 녹화된 축구 경기라는 장르 정보 및 채널이 51이라는 채널 정보를 포함하는 정보일 수 있다. 또한, 영상 3의 매칭 정보는 D팀의 라이브로 방영 중인 아이돌 노래라는 장르 정보 및 채널이 20이라는 채널 정보를 포함하는 정보일 수 있다
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 북수개의 영상에 대한 복수개의 가중치를 결정하고, 복수개의 가중치에 따라 복수개의 핑거 프린트에 대응되는 복수개의 매칭 정보를 획득할 수 있다. 복수개의 가중치는 복수개의 영상에 대해 동일하게 적용할 수 있고, 현재 사용자가 주로 시청하고 있는 영상에 가중치를 부여할 수도 있고, 디스플레이부(210)에 표시되는 영상별 크기에 기초하여 결정될 수도 있다. 또한 복수개의 가중치는 사운드가 나오는 영상에 대해 더 큰 가중치를 부여하는 방법으로 결정될 수도 있으나, 이에 한정되는 것은 아니다. 또한, 2개 이상의 방법으로 결정된 가중치를 동시에 적용할 수도 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 화면 분할 정보(910)에 기초하여 복수개의 매칭 정보에 대한 복수개의 가중치를 결정할 수 있다. 디스플레이 장치(200)는 혼합 영상을 생성하는데 사용된 화면 분할 정보를 획득하고, 화면 분할 정보에 기초하여 복수개의 영상에 대응하는 복수개의 매칭 정보에 대한 복수개의 가중치를 결정하고, 결정된 복수개의 가중치에 따라 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득할 수 있다. 예를 들어, 도 9를 참조하면, 디스플레이 장치(200)는 혼합 영상의 생성에 이용되는 화면 분할 정보를 획득할 수 있다. 예를 들어, 화면 분할 정보는 디스플레이부(210)에서 가장 크게 표시되는 영상 1은 큰 화면으로 출력되고 있다는 정보와 영상 2, 영상 3은 작은 화면으로 출력되고 있다는 정보를 포함할 수 있다. 구체적으로 화면 분할 정보는 영상 1은 디스플레이부(210)의 1/2 영역에서 재생되고 있다는 정보, 영상 2는 디스플레이부(210)의 1/4 영역에서 재생되고 있다는 정보 및 영상 3은 디스플레이부(210)의 1/4 영역에서 재생되고 있다는 정보를 포함할 수 있다. 따라서, 디스플레이 장치(200)는 영상 1의 가중치를 2로 결정할 수 있고, 영상 2의 가중치 및 영상 3의 가중치를 1로 결정할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 사운드 출력 여부(930)에 기초하여 복수개의 매칭 정보에 대한 복수개의 가중치를 설정할 수 있다. 디스플레이 장치(200)는 디스플레이 장치에서 사운드가 출력되는 영상을 식별하고, 식별된 영상에 대한 매칭 정보에 기 설정된 가중치를 설정함으로써, 복수개의 핑거프린트 각각에 대응되는 복수개의 매칭 정보를 획득할 수 있다. 예를 들어, 도 9를 참조하면, 디스플레이 장치(200)에서 디스플레이 되는 복수개의 영상 중 일부 영상은 사운드와 함께 출력될 수 있다. 영상 1의 사운드 신호는 디스플레이 장치(200)의 오디오 출력부를 통해 출력될 수 있고, 영상 2의 사운드 신호는 디스플레이 장치(200)과 연결된 블루투스 스피커를 통해 출력될 수 있다. 사운드가 출력되는 영상이라도, 디스플레이 장치(200)의 오디오 출력부를 통해 사운드가 출력되는 영상의 매칭 정보에 대한 가중치는 블루투스 스피커를 통해 사운드가 출력되는 영상의 매칭 정보에 대한 가중치보다 크게 설정될 수 있다.
예를 들어, 도 9를 참조하면, 디스플레이 장치(200)은 오디오 출력부를 통해 사운드가 출력되는 영상 1의 매칭 정보에 대한 가중치를 기 설정된 3으로 결정할 수 있고, 블루투스 스피커를 통해 사운드가 출력되는 영상 2의 매칭 정보에 대한 가중치를 기 설정된 2로 결정할 수 있고, 사운드가 출력되지 않는 영상 3의 매칭 정보에 대한 가중치를 1로 결정할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 화면 분할 정보(910) 및 사운드 출력 여부(930)를 함께 고려하여, 복수개의 매칭 정보에 대한 가중치(940)를 설정할 수 있다. 예를 들어, 상기 결정된 복수개의 영상에 대한 가중치를 고려하여, 영상 1의 가중치는 6으로 결정할 수 있고, 영상 2의 가중치는 2로 결정할 수 있으며, 영상 3의 가중치는 1로 결정할 수 있다. 따라서, 디스플레이 장치(200)는 복수개의 영상의 디스플레이에 관련된 화면 분할 정보 및 사운드 출력 여부를 함께 고려하여, 복수개의 매칭 정보를 상이한 가중치에 따라 획득할 수 있다.
도 10은 개시의 일 실시예에 따른 복수개의 매칭 정보를 이용하여, 사용자에게 추가적인 콘텐트를 추천하는 실시예를 설명하기 위한 도면이다.
도 10을 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치(200)는 획득된 복수개의 매칭 정보를 이용하여, 사용자에게 추가적인 콘텐트를 추천할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 매칭 정보를 상이한 가중치로 획득할 수 있다. 예를 들어, 도9를 참조하면, 디스플레이 장치(200)는 축구 경기에 관한 영상인 영상 1 및 영상 2에 가중치 6 및 가중치 2를 설정할 수 있다. 또한, 디스플레이 장치(200)는 상이한 가중치의 복수개의 매칭 정보를 이용함으로써, 사용자에게 적절한 콘텐트를 제공할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 매칭 정보를 이용하여, 사용자가 선호할만한 사이트를 추천할 수 있다. 예를 들어, 영상 1 및 영상 2는 축구 팀 중 팀 A에 대한 영상인 바, 디스플레이 장치(200)는 디스플레이 장치(200)의 사용자가 팀 A에 대한 선호도가 높다고 결정할 수 있다. 따라서, 플레이 장치(200)는 복수개의 매칭 정보를 고려하여 추천 사이트를 제공할 수 있다. 예를 들어, 도 10을 참조하면, 사용자에게 팀 A의 굿즈(Goods)를 판매하는 사이트(1000)를 추천할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(200)는 복수개의 매칭 정보를 이용하여, 사용자가 선호할만한 채널을 추천할 수 있다. 예를 들어, 도 10을 참조하면, 디스플레이 장치(200)는 디스플레이 장치(200)의 사용자가 축구 경기에 대한 선호도가 높다고 결정할 수 있는 바, 디스플레이 장치(200)는 다른 채널에서 재생 중인 축구와 관련된 콘텐트(1010)를 사용자에게 추천할 수 있다.
본 명세서에서 일 실시예에 의한 방법은 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 디스플레이 장치에 있어서,
    멀티뷰에서 혼합 영상(Mixed Video)을 디스플레이하는 디스플레이부;
    통신부;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하며,
    상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 수신된 복수개의 영상에 대한 영상 신호를 처리하고, 상기 처리된 복수개의 영상 신호로부터 상기 혼합 영상을 생성하도록 제어하고, 상기 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하고, 상기 통신부를 통해 상기 복수개의 핑거프린트를 서버로 전송하도록 제어하고, 상기 서버로부터 상기 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득하는, 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 처리된 복수개의 영상 신호에 기초하여, 상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하고, 상기 획득된 복수개의 비디오 프레임에 기초하여, 상기 복수개의 핑거프린트를 추출하는, 디스플레이 장치.
  3. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 혼합 영상으로부터 상기 혼합 영상에 대한 비디오 프레임을 획득하고, 상기 혼합 영상에 대한 비디오 프레임을 크롭(Crop)함으로써 상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하고, 상기 복수개의 비디오 프레임에 기초하여 상기 복수개의 핑거프린트를 추출하는, 디스플레이 장치.
  4. 제 3항에 있어서,
    상기 적어도 하나의 프로세서는 상기 복수개의 영상에 대한 화면 분할 정보에 기초하여 상기 혼합 영상을 생성하도록 제어하고 상기 화면 분할 정보에 따라 상기 혼합 영상에 대한 비디오 프레임을 크롭함으로써 상기 복수개의 영상 각각에 대응하는 복수개의 비디오 프레임을 획득하는, 디스플레이 장치.
  5. 제 3항에 있어서,
    상기 적어도 하나의 프로세서는 상기 혼합 영상에 대한 비디오 프레임 내의 상기 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 상기 검출된 적어도 하나의 경계선에 기초하여, 상기 혼합 영상에 대한 비디오 프레임을 크롭함으로써 상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는, 디스플레이 장치.
  6. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 통신부를 통해 상기 추출된 복수개의 핑거프린트를 상기 복수개의 영상 별로 각각 상기 서버로 전송하도록 제어하는, 디스플레이 장치.
  7. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 통신부를 통해 상기 추출된 복수개의 핑거프린트를 전체적으로 상기 서버로 전송하도록 제어하는, 디스플레이 장치.
  8. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 혼합 영상의 생성에 이용된 화면 분할 정보에 기초하여 상기 복수개의 영상에 대응하는 상기 복수개의 매칭 정보에 대한 복수개의 가중치를 결정하고, 상기 결정된 복수개의 가중치에 따라 상기 복수개의 핑거프린트 각각에 대응되는 상기 복수개의 매칭 정보를 획득하는, 디스플레이 장치.
  9. 제 1항에 있어서,
    상기 디스플레이 장치는 오디오 출력부를 더 포함하고,
    상기 적어도 하나의 프로세서는 상기 복수개의 영상 중 상기 오디오 출력부에서 사운드가 출력되는 영상을 식별하고, 상기 식별된 영상에 대한 매칭 정보에 기 설정된 가중치를 설정함으로써, 상기 복수개의 핑거프린트 각각에 대응되는 상기 복수개의 매칭 정보를 획득하는, 디스플레이 장치.
  10. 제 1항에 있어서,
    상기 복수개의 매칭 정보는 상기 복수개의 영상에 대한 장르 정보 및 상기 복수개의 영상에 대한 채널 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
  11. 디스플레이 장치의 동작 방법에 있어서,
    복수개의 영상에 대한 영상 신호를 수신하는 단계;
    상기 수신된 복수개의 영상 신호를 처리하고, 상기 처리된 복수개의 영상 신호로부터 혼합 영상을 생성하는 단계;
    상기 복수개의 영상 신호 각각에 대응되는 복수개의 핑거프린트를 추출하는 단계;
    상기 추출된 복수개의 핑거프린트를 서버로 전송하는 단계; 및
    상기 서버로부터 상기 복수개의 핑거프린트 각각에 대한 복수개의 매칭 정보를 획득하는 단계; 를 포함하는 방법.
  12. 제 11항에 있어서, 상기 복수개의 핑거프린트를 추출하는 단계는,
    상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 및
    상기 획득된 복수개의 비디오 프레임에 기초하여, 상기 복수개의 핑거프린트를 추출하는 단계; 를 포함하는 방법.
  13. 제 11항에 있어서, 상기 복수개의 핑거프린트를 추출하는 단계는,
    상기 혼합 영상으로부터 상기 혼합 영상에 대한 비디오 프레임을 획득하는 단계;
    상기 혼합 영상에 대한 비디오 프레임을 크롭함으로써 상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 및
    상기 복수개의 비디오 프레임에 기초하여 상기 복수개의 핑거프린트를 추출하는 단계; 를 포함하는 방법.
  14. 제 13항에 있어서, 상기 혼합 영상을 생성하는 단계는
    상기 복수개의 영상에 대한 화면 분할 정보에 기초하여 상기 혼합 영상을 생성하는 단계; 를 포함하고,
    상기 복수개의 핑거프린트를 추출하는 단계는,
    상기 화면 분할 정보에 따라 상기 혼합 영상에 대한 비디오 프레임을 크롭함으로써 상기 복수개의 영상 각각에 대응하는 상기 복수개의 비디오 프레임을 획득하는 단계; 를 포함하는 방법.
  15. 제 13항에 있어서, 상기 복수개의 핑거프린트를 추출하는 단계는,
    상기 혼합 영상에 대한 비디오 프레임 내의 상기 복수개의 영상 사이의 적어도 하나의 경계선을 검출하고, 상기 검출된 적어도 하나의 경계선에 기초하여, 상기 혼합 영상에 대한 비디오 프레임을 크롭함으로써 상기 복수개의 영상 각각에 대응되는 복수개의 비디오 프레임을 획득하는 단계; 를 포함하는 방법.
  16. 제 11항에 있어서, 상기 추출된 복수개의 핑거프린트를 서버로 전송하는 단계는,
    상기 추출된 복수개의 핑거프린트를 상기 복수개의 영상 별로 각각 상기 서버로 전송하는 단계; 를 포함하는 방법.
  17. 제 11항에 있어서, 상기 추출된 복수개의 핑거프린트를 서버로 전송하는 단계는,
    상기 추출된 복수개의 핑거프린트를 전체적으로 상기 서버로 전송하는 단계; 를 포함하는 방법.
  18. 제 11항에 있어서, 상기 복수개의 매칭 정보를 획득하는 단계는,
    상기 혼합 영상을 생성하는데 이용된 화면 분할 정보에 기초하여 상기 복수개의 영상에 대응하는 상기 복수개의 매칭 정보에 대한 복수개의 가중치를 결정하고, 상기 결정된 복수개의 가중치에 따라 상기 복수개의 핑거프린트 각각에 대응되는 상기 복수개의 매칭 정보를 획득하는 단계; 를 포함하는 방법.
  19. 제 11항에 있어서, 상기 복수개의 매칭 정보를 획득하는 단계는,
    상기 디스플레이 장치에서 사운드가 출력되는 영상을 식별하고, 상기 식별된 영상에 대한 매칭 정보에 기 설정된 가중치를 설정함으로써, 상기 복수개의 핑거프린트 각각에 대응되는 상기 복수개의 매칭 정보를 획득하는 단계; 를 포함하는 방법.
  20. 제11항 내지 제19항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020220006675A 2022-01-17 2022-01-17 디스플레이 장치의 동작 방법 및 이를 위한 장치 KR20230111006A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220006675A KR20230111006A (ko) 2022-01-17 2022-01-17 디스플레이 장치의 동작 방법 및 이를 위한 장치
PCT/KR2023/000801 WO2023136706A1 (ko) 2022-01-17 2023-01-17 디스플레이 장치의 동작 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220006675A KR20230111006A (ko) 2022-01-17 2022-01-17 디스플레이 장치의 동작 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20230111006A true KR20230111006A (ko) 2023-07-25

Family

ID=87279510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220006675A KR20230111006A (ko) 2022-01-17 2022-01-17 디스플레이 장치의 동작 방법 및 이를 위한 장치

Country Status (2)

Country Link
KR (1) KR20230111006A (ko)
WO (1) WO2023136706A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374183B2 (en) * 2011-08-30 2016-06-21 Iheartmedia Management Services, Inc. Broadcast source identification based on matching via bit count
KR20150104358A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
CN105828201B (zh) * 2016-04-22 2019-05-21 北京小米移动软件有限公司 视频处理方法及装置
KR20200059060A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
KR102273439B1 (ko) * 2019-12-31 2021-07-06 씨제이포디플렉스 주식회사 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법

Also Published As

Publication number Publication date
WO2023136706A1 (ko) 2023-07-20

Similar Documents

Publication Publication Date Title
US10412452B2 (en) Display device and method for replacing advertisement
US11294457B2 (en) Display apparatus and controlling method thereof
US20150381925A1 (en) Smart pause for neutral facial expression
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
US20170195614A1 (en) Method and electronic device for playing video
US20160065791A1 (en) Sound image play method and apparatus
US20160173958A1 (en) Broadcasting receiving apparatus and control method thereof
US11516549B2 (en) Electronic apparatus and control method thereof
US11232306B2 (en) Display apparatus and control method thereof
KR102426089B1 (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
US20100235865A1 (en) Tagging Video Content
US20150181154A1 (en) Method and system for playing video
KR20230111006A (ko) 디스플레이 장치의 동작 방법 및 이를 위한 장치
US9678991B2 (en) Apparatus and method for processing image
US20130033614A1 (en) Display apparatus and control method thereof
US20180255264A1 (en) Electronic apparatus for playing substitutional advertisement and controlling method thereof
KR102414783B1 (ko) 전자 장치 및 이의 제어방법
US9899057B2 (en) Control method for synchronized video, control system for synchronized video and electronic apparatus thereof
US20210289266A1 (en) Video playing method and apparatus
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
US20190149858A1 (en) Content providing apparatus, method of controlling the same, and recording medium thereof
US20090180023A1 (en) Apparatus for processing moving image ancillary information based on a script and method thereof
JP2013105326A (ja) 画像処理装置、及び画像処理装置の制御方法
RU2810697C2 (ru) Автоматизированная система просмотра контента с высоким динамическим диапазоном в реальном времени
KR102546026B1 (ko) 전자 장치 및 그의 컨텐츠 인식 정보 획득