KR102408477B1 - 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템 - Google Patents

멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템 Download PDF

Info

Publication number
KR102408477B1
KR102408477B1 KR1020200142821A KR20200142821A KR102408477B1 KR 102408477 B1 KR102408477 B1 KR 102408477B1 KR 1020200142821 A KR1020200142821 A KR 1020200142821A KR 20200142821 A KR20200142821 A KR 20200142821A KR 102408477 B1 KR102408477 B1 KR 102408477B1
Authority
KR
South Korea
Prior art keywords
image
delay time
image reproduction
time
video
Prior art date
Application number
KR1020200142821A
Other languages
English (en)
Other versions
KR20220057800A (ko
Inventor
신대민
김용진
고영준
Original Assignee
주식회사 큐버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐버 filed Critical 주식회사 큐버
Priority to KR1020200142821A priority Critical patent/KR102408477B1/ko
Publication of KR20220057800A publication Critical patent/KR20220057800A/ko
Application granted granted Critical
Publication of KR102408477B1 publication Critical patent/KR102408477B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 일반적으로 멀티미디어 디바이스의 영상재생 동기화 처리 기술에 관한 것이다. 특히, 본 발명은 디바이스별 영상재생 처리에 관련된 하드웨어 사양의 차이로 인한 영상재생 속도 차이를 극복하고 멀티미디어 디바이스가 동영상을 재생할 때에 재생 동기화를 달성하는 기술에 관한 것이다. 특히, 본 발명은 멀티미디어 디바이스의 영상재생 성능을 정규화함으로써 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 영상재생 동기화를 구현하는 기술에 관한 것이다. 본 발명에 따르면 하드웨어 사양이 상이한 디바이스들 간에 영상재생 동기화를 달성할 수 있는 장점이 있다. 이는 재생동기화 분야에서 유지보수 부담을 덜어주는 효과가 있다. 또한, 본 발명에 따르면 멀티스크린 등의 분야에서 하드웨어 사양에 따른 동기화 틀어짐 등의 변수가 제거되므로 정밀한 영상재생 동기화 구현을 위한 추가적인 기술 개발(예: 튜닝 기술)을 할 필요가 없기에 개발 비용 절감 및 기술개발 대응 시간을 줄일 수 있는 장점이 있다.

Description

멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템 {multi-screen display system by use of video synchronization of in multimedia devices}
본 발명은 일반적으로 멀티미디어 디바이스의 영상재생 동기화 처리 기술에 관한 것이다.
특히, 본 발명은 디바이스별 영상재생 처리에 관련된 하드웨어 사양의 차이로 인한 영상재생 속도 차이를 극복하고 멀티미디어 디바이스가 동영상을 재생할 때에 재생 동기화를 달성하는 기술에 관한 것이다.
특히, 본 발명은 멀티미디어 디바이스의 영상재생 성능을 정규화함으로써 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 영상재생 동기화를 구현하는 기술에 관한 것이다.
멀티미디어 디바이스에서 영상을 재생하면서 화면 표시를 동기화시켜야 할 필요가 있는 경우가 있다.
예를 들면, 하나의 고해상도 동영상을 여러 개의 동영상으로 분할하여 멀티스크린으로 재생하는 경우에 이들 분할 동영상의 화면 표시 시점은 정확히 동기가 맞아야 한다. 극장이나 공연장 등에 설치된 멀티미디어 사이니지 장치 중에는 이렇게 멀티스크린으로 구성된 경우가 많은데, 이들 멀티스크린의 화면 표시가 정확히 동기가 맞는지 여부는 대단히 중요하다.
그에 따라 종래에도 멀티미디어 디바이스의 영상 재생을 동기화하기 위한 기술이 제안되었는데, 그러한 기술로는 타임스탬프(PTS)나 시스템 클록(STC)를 이용한 재생속도 유지 방식과 타임 서버나 액세스포인트(AP)를 이용한 기준시간 동기화 방식 등이 있다. 이러한 종래기술의 예로서, 타임스탬프를 이용한 방식으로는 대한민국 특허출원 제10-2017-0036343호(2017. 3. 22) "복수의 비디오 부호화기의 동기화 방법"이 있으며, 시스템 클록을 이용한 방식으로는 대한민국 특허출원 제10-2009-0087876호(2009. 9. 17) "동기화된 동영상을 디스플레이하는 디스플레이 시스템 및 디스플레이 방법"을 들 수 있다.
그러나 이러한 종래기술은 멀티미디어 디바이스의 하드웨어 사양은 고려하지 않았기에 정밀한 동기화는 곤란하였다. 멀티미디어 디바이스에 장착된 프로세서 칩(SoC)의 성능, 운영체체(OS)의 종류, 디코더의 성능 차이로 인해 동영상 재생 속도가 디바이스마다 조금씩 차이가 발생한다. 즉, 정확히 동일 시점에 디코더 모듈로 영상 데이터를 입력하더라도 디스플레이 화면에 영상이 표시되는 시점은 디바이스별로 조금씩 차이가 나는 것이다.
이러한 디바이스별 재생 속도 차이로 인하여 멀티미디어 디바이스에서 영상을 재생할 때에 화면 표시를 정밀하게 동기화하는 것은 대단히 어려운 일이 된다. 종래기술의 영상재생 동기화 기술은 동일한 하드웨어 성능을 갖는 디바이스들 간에는 재생동기화를 잘 이루는 반면, 상이한 하드웨어 성능을 갖는 디바이스들 간에는 재생동기화를 제대로 달성하지 못하였다.
본 발명의 목적은 일반적으로 멀티미디어 디바이스의 영상재생 동기화 처리 기술을 제공하는 것이다.
특히, 본 발명의 목적은 디바이스별 영상재생 처리에 관련된 하드웨어 사양의 차이로 인한 영상재생 속도 차이를 극복하고 멀티미디어 디바이스가 동영상을 재생할 때에 재생 동기화를 달성하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 멀티미디어 디바이스의 영상재생 성능을 정규화함으로써 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 영상재생 동기화를 구현하는 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 영상재생 동기화 처리 시스템이 멀티미디어 디바이스의 영상재생 동기화 처리하는 방법으로서, 멀티미디어 디바이스에 대해 영상재생 성능에 대응하는 영상재생 지연시간을 측정하여 관리하는 제 1 단계; 특정 영상에 대한 재생 명령을 수신하는 제 2 단계; 영상재생 지연시간에 대응하여 멀티미디어 디바이스의 영상재생 구동시점을 튜닝 설정하여 멀티미디어 디바이스의 영상재생 성능을 정규화하는 제 3 단계; 를 포함하여 구성되는 멀티미디어 디바이스의 영상재생 동기화 처리 방법을 제시한다.
이때, 제 1 단계에서 영상재생 동기화 처리 시스템은 코덱 별로 영상재생 지연시간을 측정하여 내부 데이터 테이블로 관리하고, 제 3 단계에서 영상재생 동기화 처리 시스템은 재생대상 영상의 코텍 종류를 식별하고, 내부 데이터 테이블로부터 코덱 종류에 따른 영상재생 지연시간을 확인하며, 코덱 종류에 따른 영상재생 지연시간에 대응하여 멀티미디어 디바이스의 영상재생 구동시점을 튜닝 설정하도록 구성될 수 있다.
본 발명에서 제 1 단계는, 영상재생 구동부(110)가 멀티미디어 디바이스의 영상재생 시작시간(T1)을 지연시간 측정부(130)로 제공하는 제 1A 단계; 영상표시 검출부(120)가 멀티미디어 디바이스가 영상을 화면에 표시하기 시작한 시간인 영상표시 시작시간(T2)을 감지하여 지연시간 측정부(130)에 제공하는 제 1B 단계; 지연시간 측정부(130)가 영상재생 시작시간(T1)과 영상표시 시작시간(T2)으로부터 멀티미디어 디바이스의 영상재생 지연시간(T3)을 계산하여 지연시간 관리부(140)로 제공하는 제 1C 단계; 지연시간 관리부(140)가 해당 멀티미디어 디바이스와 관련하여 영상재생 지연시간(T3)을 데이터베이스(141) 관리하는 제 1D 단계;를 포함하여 구성될 수 있다.
이때, 제 1B 단계는, 영상표시 검출부(120)가 멀티미디어 디바이스의 디코더 모듈에서 영상이 출력되는 시점인 영상 출력 시점(T21)을 감지하는 제 1BA 단계; 영상표시 검출부(120)가 멀티미디어 디바이스의 화면에 영상이 표출되기 시작하는 시점인 영상 표출 시점(T22)을 감지하는 제 1BB 단계; 영상표시 검출부(120)가 영상 출력 시점(T21)과 영상 표출 시점(T22)을 영상표시 시작시간(T2)으로서 지연시간 측정부(130)에 제공하는 제 1BC 단계;를 포함하여 구성될 수 있다.
이때, 제 1BB 단계에서 영상표시 검출부(120)는 멀티미디어 디바이스의 화면 앞에 설치된 측정 카메라로부터 화면에 영상이 표출되기 시작하는 시점인 영상 표출 시점(T22)을 획득하고, 측정 카메라의 감지 지연시간을 반영하여 영상 표출 시점(T22)을 산출하도록 구성될 수 있다.
또한, 제 1C 단계는, 지연시간 측정부(130)가 영상재생 시작시간(T1)과 영상 출력 시점(T21) 사이의 시간차로부터 디코더 모듈에 의한 지연시간인 디코딩 지연시간(T31)을 산출하는 제 1CA 단계; 지연시간 측정부(130)가 영상 출력 시점(T21)과 영상 표출 시점(T22) 사이의 시간차로부터 디스플레이 모듈에 의한 지연시간인 디스플레이 지연시간(T32)을 산출하는 제 1CB 단계; 지연시간 측정부(130)가 디코딩 지연시간(T31)과 디스플레이 지연시간(T32)을 합산하여 영상재생 지연시간(T3)을 산출하는 제 1CC 단계; 지연시간 측정부(130)가 영상재생 지연시간(T3)을 지연시간 관리부(140)에 제공하는 제 1CD 단계;를 포함하여 구성될 수 있다.
이때, 제 1C 단계에서 지연시간 측정부(130)는 특정 영상을 재생할 때마다 디코딩 지연시간(T31)을 산출하고 디스플레이 출력장치의 교체를 식별하면 디스플레이 지연시간(T32)을 산출하도록 구성될 수 있다.
본 발명에서 제 3 단계는, 구동시점 설정부(150)가 재생대상 영상에 대한 영상재생 지연시간(T3)을 데이터베이스(141)로부터 획득하는 제 3A 단계; 구동시점 설정부(150)가 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 역으로 보상하도록 영상재생 지연시간(T3)에 대응하여 영상재생 구동시점을 튜닝 설정하는 제 3B 단계;를 포함하여 구성될 수 있다.
이때, 제 3B 단계는, 구동시점 설정부(150)가 스케쥴 영상 재생에 대해 영상재생 지연시간(T3)에 대응하여 영상 재생을 미리 시작하도록 영상재생 구동시점을 튜닝 설정하는 제 3BA 단계; 구동시점 설정부(150)가 즉시 영상재생에 대해 영상재생 지연시간(T3)에 대응하여 재생대상 영상 데이터의 시작 부분을 스킵하도록 영상재생 구동시점을 튜닝 설정하는 제 3BB 단계;를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 멀티미디어 디바이스의 영상재생 동기화 처리 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명에 따르면 하드웨어 사양이 상이한 디바이스들 간에 영상재생 동기화를 달성할 수 있는 장점이 있다.
이는 재생동기화 분야에서 유지보수 부담을 덜어주는 효과가 있다. 영상재생 동기화가 필요한 환경(예: 멀티스크린)에서 기존에 설치된 디바이스의 일부가 고장난 경우에 종래에는 동일 하드웨어 성능의 디바이스로 교체해야 하고 그렇지 못하는 경우에는 전체 디바이스를 교체해야 하는 문제점이 있었다. 반면, 본 발명에 따르면 동일 하드웨어 성능의 디바이스가 아니어도 무방하므로 유지보수를 훨씬더 효과적으로 달성할 수 있게 된다.
또한, 본 발명에 따르면 멀티스크린 등의 분야에서 하드웨어 사양에 따른 동기화 틀어짐 등의 변수가 제거되므로 정밀한 영상재생 동기화 구현을 위한 추가적인 기술 개발(예: 튜닝 기술)을 할 필요가 없기에 개발 비용 절감 및 기술개발 대응 시간을 줄일 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 멀티미디어 디바이스의 영상재생 동기화 처리를 수행하는 전체 시스템 구성을 나타내는 블록도.
[도 2]는 본 발명에 따른 멀티미디어 디바이스의 영상재생 동기화 처리 방법의 전체 프로세스를 나타내는 순서도.
[도 3]은 본 발명에서 영상재생 동기화를 위하여 멀티미디어 디바이스의 영상재생 성능을 측정하는 구성을 나타내는 도면.
[도 4]는 본 발명에서 영상재생 동기화를 위하여 멀티미디어 디바이스의 영상재생 구동시점을 설정하는 구성을 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 멀티미디어 디바이스의 영상재생 동기화 처리를 수행하는 전체 시스템 구성을 나타내는 블록도이다.
[도 1]을 참조하면, 본 발명에 따른 영상재생 동기화 처리 시스템(100)은 영상재생 구동부(110), 영상표시 검출부(120), 지연시간 측정부(130), 지연시간 관리부(140), 구동시점 설정부(150)를 포함하여 구성된다. 이와 같은 기술적 구성을 통하여 본 발명에서는 멀티미디어 디바이스의 영상재생 성능을 정규화함으로써 디바이스간의 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 영상재생 동기화를 구현한다.
먼저, 영상재생 구동부(110)는 동작 제어부(미도시)의 영상 재생 명령에 대응하여 영상 재생을 수행하는 구성요소이다. 일 실시예에서 영상재생 구동부(110)는 디코더 모듈(하드웨어, 소프트웨어)을 포함한다.
영상표시 검출부(120)는 멀티미디어 디바이스의 화면에 영상이 표시되는 이벤트를 검출하는 구성요소이다. 본 발명에서 영상 표시 검출은 두 부분에서 이루어지는데, 첫번째는 디코더 모듈에서 영상이 출력되는 시점(영상 출력 시점)으로 디코더 모듈로부터 획득될 수 있고, 두번째는 디바이스 화면에 영상이 표출되기 시작한 시점(영상 표출 시점)으로서 멀티미디어 디바이스의 화면 앞에 설치된 측정 카메라로부터 획득할 수 있다.
지연시간 측정부(130)는 해당 멀티미디어 디바이스에서 영상 재생이 시작되었을 때부터 해당 영상이 디스플레이 화면에 표시될 때까지의 지연시간을 측정하는 구성요소이다. 영상 재생이 시작된 시점은 영상재생 구동부(110)로부터 전달받고 디스플레이 화면에 영상이 표시되는 시점은 영상표시 검출부(120)로부터 전달받는데, 지연시간 측정부(130)는 이들 간의 차이를 계산한다.
영상표시 검출부(120)에서 영상 표시 검출이 두 부분에서 이루어짐에 따라 지연시간 측정부(130)에서 측정되는 지연시간도 두 부분으로 이루어진다. 첫번째는 디코더 모듈에 의한 지연시간(디코딩 지연시간)으로서 디코더 모듈이 영상 재생 명령을 받은 시점과 디코더 모듈이 영상을 출력하는 시점 사이의 시간 간격으로 구해진다. 두번째는 디스플레이 모듈에 의한 지연시간(디스플레이 지연시간)은 디코더 모듈이 영상을 출력하는 시점과 디스플레이 화면에 영상이 표출되는 시점 사이의 시간 간격으로 구해진다.
이때, 디코딩 지연시간은 멀티미디어 디바이스 및 영상 코덱마다 시간 차이가 나타나는 반면, 디스플레이 지연시간은 TV, LCD 등의 디스플레이 장치별로 시간 차이가 나타난다. 멀티미디어 디바이스를 처음 설치할 때 지연시간 측정부(130)가 이들 시간 값을 측정하여 지연시간 관리부(140)에 저장하며, 라이브 상황에서 지연 시간 보정은 디코딩 지연시간 값만 측정하여 영상재생 동기화에 활용하고, 디스플레이 지연시간은 TV, LCD 등의 디스플레이 장치를 교체하면 다시 측정하고 그렇지 않으면 최초 측정한 값을 활용할 수 있다.
지연시간 관리부(140)는 앞서 지연시간 측정부(130)에서 획득한 영상재생 지연시간을 내부 데이터 테이블로 데이터베이스(141) 관리한다. 이때, 지연시간 관리부(140)에서 내부 데이터 테이블로 저장하는 것은 영상의 코덱별로 디코딩 처리 시간이 차이가 있기에 코덱의 종류별로 지연시간 테이블을 만들고, 이후에 영상을 재생할 때에 그 재생대상인 영상의 코덱 정보를 미리 확인하여 지연시간 테이블의 해당 지연시간 만큼의 튜닝 설정을 하기 위함이다. 이때, 코덱 정보는 영상재생 구동부(110)가 각 구성요소로 제공할 수 있다.
구동시점 설정부(150)는 해당 멀티미디어 디바이스에 대하여 코덱별로 측정된 영상재생 지연시간을 참조하여 영상재생 구동부(110)의 영상재생 구동시점을 튜닝 설정하는 구성요소이다. 일반적으로 멀티미디어 디바이스마다 영상재생 처리에 관련된 하드웨어 사양의 차이로 인한 영상재생 속도 편차가 존재하고, 이러한 영상재생 속도 편차는 코덱마다 상이하게 나타난다. 구동시점 설정부(150)는 이와 관련하여 지연시간 관리부(140)가 데이터베이스(141)에 저장해둔 영상재생 지연시간을 참조하여 영상재생 구동부(110)의 영상재생 구동시점을 튜닝 설정함으로써 멀티미디어 디바이스의 영상재생 성능을 정규화하여 거의 동일한 시점에 디스플레이 표시가 이루어지도록 한다.
[도 2]는 본 발명에 따른 멀티미디어 디바이스의 영상재생 동기화 처리 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S110) : 먼저, 영상재생 동기화 처리 시스템(100)은 멀티미디어 디바이스에 대해 영상재생 성능에 대응하는 영상재생 지연시간을 측정하여 데이터베이스(141)로 관리한다. 이때, 코덱 별로 영상재생 지연시간을 측정하여 내부 데이터 테이블로 관리하는 것이 바람직하다.
즉, 단계 (S110)에서는 코덱별 지연시간을 설정하기 위해서 여러가지 종류의 영상들에 대해서 멀티미디어 디바이스의 영상재생 지연시간을 파악하여 저장하는 작업을 진행한다. 이를 위해, 영상재생 구동부(110)는 영상(예: 테스트 영상)을 재생하면서 재생 시작시간과 코덱 형식을 지연시간 측정부(130)에 전달하고, 영상표시 검출부(120)는 그 영상 재생 결과로 영상 내용이 디스플레이 화면에 표시되기 시작한 시간을 지연시간 측정부(130)에 전달한다. 지연시간 측정부(130)는 영상재생 지연시간을 계산하여 지연시간 관리부(140)로 전달하고, 지연시간 관리부(140)는 그 멀티미디어 디바이스의 영상재생 지연시간을 바람직하게는 그 영상 코텍별로 구분하여 데이터베이스(141)에 관리한다.
단계 (S110)의 구현 실시예를 [도 3]을 참조하여 상세하게 후술한다.
단계 (S120) : 다음으로, 영상재생 동기화 처리 시스템(100)의 영상재생 구동부(110)가 동작 제어부(미도시)로부터 특정 영상(예: 멀티스크린 형식의 디지털 사이니지 광고 영상)에 대한 재생 명령을 수신한다.
단계 (S130) : 다음으로, 영상재생 동기화 처리 시스템(100)은 단계 (S110)에서 측정해둔 영상재생 지연시간에 대응하여 멀티미디어 디바이스의 영상재생 구동시점을 튜닝 설정하여 멀티미디어 디바이스의 영상재생 성능을 정규화한다. 이를 통해, 디바이스간의 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 영상재생 동기화를 구현한다. 코덱 종류마다 영상재생 지연시간에 편차가 있을 수 있으므로, 그 재생대상 영상의 코텍 종류를 식별하여 내부 데이터 테이블로부터 그 코덱 종류에 따른 영상재생 지연시간을 확인하며 그에 대응하여 영상재생 구동시점을 튜닝 설정하는 것이 바람직하다.
즉, 앞서의 단계 (S110)에서 해당 멀티미디어 디바이스에 대해 영상재생 지연시간을 측정해둔 상태에서, 영상을 재생하게 될 때에 그 측정해둔 영상재생 지연시간에 대응하여 멀티미디어 디바이스의 영상재생 구동시점을 튜닝 설정하는 것이다. 멀티미디어 디바이스들이 각자 영상재생 구동시점을 튜닝 설정함에 따라 이들이 갖는 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차가 제거되어 결과적으로 영상재생 동기화가 이루어진다.
특정 스케쥴에 따라 특정 영상을 재생하는 상황, 즉 스케쥴 영상재생 상황의 경우에는 구동시점 설정부(150)는 영상재생 지연시간만큼 재생 구동을 미리 시작하도록 영상재생 구동시점을 영상재생 구동부(110)에 튜닝 설정한다. 이때, 영상 재생을 하면서 영상표시 검출부(120)와 지연시간 측정부(130)의 협조 동작을 통해 영상재생 지연시간을 측정하며, 그에 대응하여 시간보정을 하고 데이터베이스(141)를 업데이트하도록 구성되는 것이 바람직하다.
다음으로, 스케쥴 영상재생이 아닌 통상의 즉시 영상재생 상황의 경우에는 구동시점 설정부(150)는 그 재생대상 영상의 시작 부분을 영상재생 지연시간만큼 스킵(skip)하고 영상 재생을 시작하도록 영상재생 구동부(110)의 영상재생 구동시점을 튜닝 설정한다.
단계 (S130)의 구현 실시예를 [도 4]를 참조하여 상세하게 후술한다.
[도 3]은 본 발명에서 영상재생 동기화를 위하여 멀티미디어 디바이스의 영상재생 성능을 측정하는 구성을 나타내는 도면이다.
본 발명에서는 재생성능 정규화를 위하여 멀티미디어 디바이스에서 영상을 재생하도록 하고 그 결과로부터 지연시간을 측정하여 해당 멀티미디어 디바이스에 매칭시켜 저장한다. 이때, 코덱(video codec) 별로 지연시간을 관리하는 것이 바람직하며, 그 실시예에서는 초기에 여러가지 종류의 영상을 재생하고 해당 멀티미디어 디바이스에서의 지연시간을 측정한다.
먼저, 영상재생 구동부(110)가 동작 제어부(미도시)로부터 영상 재생 명령을 수신하고 그에 따라 영상 재생을 개시하는데, 이때 영상재생 시작시간(T1)과 코덱 정보를 지연시간 측정부(130)로 전달한다. 이때, 영상재생 구동부(110)는 멀티미디어 디바이스의 디코더 모듈(하드웨어, 소프트웨어)로부터 영상재생 시작시간(T1)을 획득할 수 있다. 영상재생 구동부(110)는 동작 제어부(미도시)로부터 영상 재생 명령을 수신한 시점 또는 디코더 모듈이 실제로 영상 데이터의 디코딩에 착수한 시점 중의 하나 이상을 획득할 수 있는데, 이들 시점 정보에 기초하여 영상재생 시작시간(T1)을 설정할 수 있다.
다음으로, 영상표시 검출부(120)는 멀티미디어 디바이스가 영상을 화면에 표시하기 시작한 시간, 즉 영상표시 시작시간(T2)을 감지하여 지연시간 측정부(130)에 전달한다. 본 발명에서 영상표시 검출부(120)는 두 부분에서 영상 표시를 검출하는데, 첫번째는 디코더 모듈에서 영상이 출력되는 시점(T21)(영상 출력 시점)이고, 두번째는 디바이스 화면에 영상이 표출되기 시작한 시점(T22)(영상 표출 시점)이다. 영상 출력 시점(T21)은 디코더 모듈로부터 획득할 수 있다. 반면, 영상 표출 시점(T22)은 멀티미디어 디바이스의 화면 앞에 설치된 측정 카메라로부터 획득할 수 있다. 이때, 측정 카메라에서 촬영 및 영상처리에 소요되는 감지 지연시간은 카메라에 대해 미리 알려져 있는데, 영상 표출 시점(T22)을 판단함에 있어서 측정 카메라의 감지 지연시간을 반영하여 산출할 수 있다.
본 발명에서 영상표시 검출부(120)가 획득하는 영상표시 시작시간(T2)은 영상 출력 시점(T21)과 영상 표출 시점(T22)의 어느 하나로 구성될 수도 있고, 이들을 모두 포함하여 구성될 수도 있고, 이들(T21, T22)로부터 특정의 연산을 통해 구해진 값일 수도 있다.
다음으로, 지연시간 측정부(130)는 영상재생 시작시간(T1)과 영상표시 시작시간(T2)으로부터 해당 멀티미디어 디바이스의 영상재생 지연시간(T3)을 계산하여 지연시간 관리부(140)에서 전달한다. 이때, 영상 코덱 별로 영상재생 지연시간(T3)을 계산하여 관리하는 것이 바람직하다.
영상재생 지연시간(T3)을 획득하는 제 1 실시예로는 영상재생 시작시간(T1)과 영상표시 시작시간(T2) 간의 차이(즉, T2 - T1)를 영상재생 지연시간(T3)으로 정의하는 것이다.
영상재생 지연시간(T3)을 획득하는 제 2 실시예는 다음과 같다. 지연시간 측정부(130)는 해당 멀티미디어 디바이스와 관련하여 디코더 모듈에 의한 지연시간(T31)과 디스플레이 모듈에 의한 지연시간(T32)를 단계 별로 구분하여 획득할 수 있다. 디코딩 지연시간(T31)은 디코더 모듈이 영상 재생 명령을 받은 시점(T1)과 디코더 모듈이 영상을 출력하는 시점(T21) 사이의 시간차(즉, T21 - T1)로 구할 수 있다. 또한, 디스플레이 지연시간(T32)은 디코더 모듈이 영상을 출력하는 시점(T21)과 디스플레이 화면에 영상이 표출되는 시점(T22) 사이의 시간차(즉, T22 - T21)로 구할 수 있다. 디코딩 지연시간(T31)은 디바이스 및 코덱마다 달라지고, 디스플레이 지연시간(T32)은 디스플레이 장치(예: TV, LCD)마다 달라진다. 예를 들어, OTT 셋톱박스에 TV를 연결하여 사용하는 환경이라면, 디코딩 지연시간(T31)은 OTT 셋톱박스의 하드웨어 사양 및 영상 코덱에 의해 정해지고, 디스플레이 지연시간(T32)은 TV의 하드웨어 사양에 의해 정해진다.
다음으로, 지연시간 관리부(140)는 해당 멀티미디어 디바이스와 관련하여 영상재생 지연시간(T3; T31, T32)을 데이터베이스(141)에 관리한다. 구현 예에 따라서는 영상재생 시작시간(T1)과 영상표시 시작시간(T2: T21, T22)도 데이터베이스(141)에 관리하도록 구성될 수 있다. 이때, 이들 시간 정보를 영상 코덱 별로 구분하여 관리하는 것이 바람직하다.
이상의 과정을 통해서 본 발명에 따른 영상재생 동기화 처리 시스템(100)은 해당 멀티미디어 디바이스의 영상재생 성능을 측정하였다. 멀티미디어 디바이스에 대해 바람직하는 코덱 별로 영상 재생이 시작되는 시점(T1)부터 디스플레이 화면에 영상이 표시되는 시점(T2)까지의 지연시간을 파악하여 데이터베이스(141) 관리함으로써 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차를 제거하여 정규화하기 위한 기초 데이터를 확보하였다.
본 발명에서는 멀티미디어 디바이스(예: 멀티스크린)를 처음 설치할 때에 모든 시간 정보(예: T1, T2, T3)를 측정하여 지연시간 관리부(140)가 데이터베이스(141)에 저장해두는 것이 바람직하다.
이때, 디코딩 지연시간(T31)은 디코더 모듈의 하드웨어 사양과 코덱 종류에 의존하는 값이므로 특정 영상을 재생하게 되는 상황(예: 영상 파일 재생, 라이브 스트리밍 재생)에서 실시간으로 측정하는 구성이 채용될 수 있다. 코덱 종류별로 관리하지 않는 경우에는 하드웨어를 처음 설치할 때에 측정하여 저장해두고, 그 값을 계속 사용하도록 구성할 수도 있다.
디스플레이 지연시간(T32)은 디스플레이 모듈에 의존하는 값이므로 멀티미디어 디바이스를 처음 설치할 때에 측정하여 계속 사용하다가 TV, LCD의 출력 장치를 교체할 때에 재측정하도록 구성할 수 있다.
[도 4]는 본 발명에서 영상재생 동기화를 위하여 멀티미디어 디바이스의 영상재생 구동시점을 설정하는 구성을 나타내는 도면이다.
앞서 [도 3]을 참조하여 전술한 과정을 통해 지연시간 관리부(140)가 해당 멀티미디어 디바이스에 대해 영상재생 지연시간(T3)을 입수하여 데이터베이스(141)에 저장하였다고 가정한다. 이 상태에서 영상재생 구동부(110)가 영상 재생 명령을 수신하면 구동시점 설정부(150)는 영상재생 지연시간(T3)에 대응하여 영상재생 구동시점을 튜닝 설정한다. 이때, 영상 재생 명령이 인가된 영상 데이터(영상 파일, 영상 스트림)의 코덱 종류를 식별한 후에 그에 대응하는 영상재생 지연시간(T3)을 사용하도록 구성하는 것이 바람직하다.
이러한 영상재생 구동시점을 튜닝 설정함으로써 디바이스간 영상재생 하드웨어 성능 차이로 인한 영상재생 속도 편차가 역으로 보상되어 멀티미디어 디바이스의 영상재생 성능이 정규화되는 효과를 발생시킨다. 디바이스의 영상재생 성능이 정규화됨에 따라 영상재생 속도에도 차이가 없어지게 되어 결과적으로 영상재생 동기화가 달성되는 것이다.
영상 재생의 상황 별로 구동시점 설정부(150)가 영상재생 구동시점을 튜닝 설정하는 방식에 대해 기술한다.
먼저, 미리 정해진 특정 시간에 특정의 영상 데이터를 재생하는 상황인 스케쥴 영상 재생의 경우, 구동시점 설정부(150)는 영상재생 지연시간(T3)만큼 영상 재생을 미리 시작하도록 영상재생 구동시점을 튜닝 설정한다. 즉, 영상재생 구동부(110)에 대해 스케쥴링 재생 시간으로부터 영상재생 지연시간(T3)만큼 앞당겨서 영상재생 구동시점을 설정한다. 예를 들어, 16개의 디스플레이 디바이스로 이루어지는 멀티스크린의 경우, 각자가 미리 획득해둔 자신의 영상재생 지연시간(T3)만큼 영상재생 구동시점을 나름대로 조금씩 튜닝 설정하고, 그에 따라 디스플레이 화면 표시는 전체적으로 동기화가 맞게 된다.
이때, 바람직하게는 영상 데이터를 재생하면서 영상재생 구동부(110)가 재생 명령 시점(T1)과 영상 출력 시점(T21)를 획득하고 그에 따라 지연시간 측정부(130)가 디코딩 지연시간(T31)을 계산하며, 그 계산 결과에 따라 데이터베이스(141)를 업데이트하고 영상재생 구동시점 튜닝 설정의 정도를 지속적으로 보정하도록 구성되는 것이 바람직하다. 즉, 처음에는 이전에 저장해두었던 영상재생 지연시간(T3)을 활용하지만 영상 재생을 진행하면서는 현재 디바이스에서 발생하고 있는 디코딩 지연시간(T31)을 실시간으로 획득하여 적용하는 것이다.
다음으로, 스케쥴 영상재생이 아닌 통상의 즉시 영상재생의 경우, 구동시점 설정부(150)는 영상 데이터의 시작 부분을 영상재생 지연시간(T3)만큼 스킵(skip)하고 영상 재생을 시작하도록 영상재생 구동부(110)의 영상재생 구동시점을 튜닝 설정한다. 예정되지 않았던 즉시 재생 상황이므로 영상을 미리 재생하는 것이 불가능하므로 부득이 각자 자신이 늦어지는만큼 영상 재생을 스킵함으로써 재생시작 시점(재생구동 시점)을 앞당기는 것과 등가의 효과를 얻고, 이를 통해 전체적으로 영상 재생의 동기화를 맞추려는 것이다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : 영상재생 동기화 처리 시스템
110 : 영상재생 구동부
120 : 영상표시 검출부
130 : 지연시간 측정부
140 : 지연시간 관리부
141 : 데이터베이스
150 : 구동시점 설정부

Claims (10)

  1. 복수의 멀티미디어 디바이스를 구비한 멀티스크린 디스플레이 시스템으로서,
    상기 멀티스크린 디스플레이 시스템은 하나의 고해상도 동영상을 복수의 동영상으로 분할하고 상기 복수의 멀티미디어 디바이스가 각자 자신에게 할당된 분할 동영상을 재생하여 집합적으로 멀티스크린 디스플레이를 구성하고,
    상기 멀티스크린 디스플레이 시스템의 개별 멀티미디어 디바이스는,
    하드웨어 또는 소프트웨어의 디코더 모듈을 구비하여 외부의 영상 재생 명령에 대응하여 상기 분할 동영상에 대한 영상 재생을 수행하고 상기 분할 동영상의 코텍 정보를 식별하여 해당 멀티미디어 디바이스의 구성요소로 제공하는 영상재생 구동부(110);
    상기 영상재생 구동부(110)의 디코더 모듈에서 영상이 출력되는 시점(T21)에 기초하여 디스플레이 화면의 영상 표시 이벤트를 검출하는 영상표시 검출부(120);
    상기 영상재생 구동부(110)로부터 영상 재생을 시작하는 제 1 시점(T1)을 제공받고 상기 영상표시 검출부(120)로부터 상기 디코더 모듈에서 영상이 출력되는 제 2 시점(T21)을 제공받아 이들 제 1 및 제 2 시점(T1, T21) 간의 차이로부터 해당 멀티미디어 디바이스의 영상재생 지연시간을 산출하는 지연시간 측정부(130);
    코덱 종류별로 상기 지연시간 측정부(130)가 산출한 상기 영상재생 지연시간을 내부 데이터 테이블로 데이터베이스(141) 관리하는 지연시간 관리부(140);
    상기 재생 대상인 분할 동영상에 대하여 상기 영상재생 구동부(110)로부터 코덱 정보를 제공받고, 상기 지연시간 관리부(140)로부터 상기 분할 동영상의 코덱 종류에 따른 영상재생 지연시간을 제공받고, 스케쥴 영상재생의 경우에 상기 영상재생 지연시간만큼 재생 구동을 미리 시작하도록 상기 영상재생 구동부(110)의 영상재생 구동시점을 설정하고, 즉시 영상재생의 경우에 상기 분할 동영상의 재생시작 부분을 상기 영상재생 지연시간만큼 스킵(skip)하고 영상 재생을 시작하도록 상기 영상재생 구동부(110)의 영상재생 구동시점을 설정하는 구동시점 설정부(150);
    를 구비하여 상기 복수의 멀티미디어 디바이스가 각자 영상재생 동기화 처리를 수행함으로써 상기 멀티스크린 디스플레이가 전체적으로 재생 동기가 맞게 표시되도록 구성되는 것을 특징으로 하는 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200142821A 2020-10-30 2020-10-30 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템 KR102408477B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200142821A KR102408477B1 (ko) 2020-10-30 2020-10-30 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200142821A KR102408477B1 (ko) 2020-10-30 2020-10-30 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20220057800A KR20220057800A (ko) 2022-05-09
KR102408477B1 true KR102408477B1 (ko) 2022-06-13

Family

ID=81582076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200142821A KR102408477B1 (ko) 2020-10-30 2020-10-30 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR102408477B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197013A (ja) * 2005-01-11 2006-07-27 Matsushita Electric Ind Co Ltd マルチメディアデータ再生装置及びマルチメディアデータ再生方法
KR101748382B1 (ko) * 2017-02-03 2017-06-16 주식회사 헤카스 비디오 스트리밍 제공 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057421A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 다중화면 디스플레이 시스템 및 이를 위한 영상신호 보정방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197013A (ja) * 2005-01-11 2006-07-27 Matsushita Electric Ind Co Ltd マルチメディアデータ再生装置及びマルチメディアデータ再生方法
KR101748382B1 (ko) * 2017-02-03 2017-06-16 주식회사 헤카스 비디오 스트리밍 제공 방법 및 시스템

Also Published As

Publication number Publication date
KR20220057800A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
JP7170835B2 (ja) フレーム精度のコンテンツ修正の円滑化を支援する、低レートフィンガープリンティングを用いた補間に基づく時間マッピングの確立及び使用
EP3598761B1 (en) Method and device for synthesizing audio and video data stream
EP1329108B1 (en) System and method of processing mpeg streams for file index insertion
US5959684A (en) Method and apparatus for audio-video synchronizing
US8438595B1 (en) Method and apparatus for temporal correlation of content-specific metadata with content obtained from disparate sources
US20040252400A1 (en) Computer media synchronization player
US11812103B2 (en) Dynamic playout of transition frames while transitioning between playout of media streams
KR20160079862A (ko) 센서 데이터 시간 정렬
US9723180B2 (en) Device and method for correcting lip sync problems on display devices
KR102311314B1 (ko) 새로운 콘텐츠를 얻는데 있어서의 예상되는 레이턴시에 의거한 콘텐츠 수정을 위한 사전 준비
JP2012513736A (ja) カメラ事象記録機
KR20140117470A (ko) 디지털 영화에서 광고 재생 출력 확인을 위한 방법 및 장치
KR20190005188A (ko) 복수의 비디오 세그먼트로부터 합성 비디오 스트림을 생성하는 방법 및 장치
US8179789B2 (en) System and method for timestamps for media stream data
KR20060099687A (ko) 타임스탬프를 이용한 비디오 동기화 장치 및 방법
KR102408477B1 (ko) 멀티미디어 디바이스의 영상재생 동기화 기반의 멀티스크린 디스플레이 시스템
JP2003061013A (ja) 情報処理装置および方法、並びにプログラム
CN115665493A (zh) 支持录播的大屏拼接装置、拼接器、播放控制方法及系统
JPH1175113A (ja) 動画表示システム
KR102408549B1 (ko) 녹화 장치의 성능 분석을 위한 데이터 처리 장치 및 방법
US20230059670A1 (en) Image processing apparatus, control method, and storage medium
JP5304912B2 (ja) 画像記録装置及びプログラム
KR100697854B1 (ko) 멀티미디어 정보 제공 및 재생 시스템 및 이의 멀티미디어정보 제공 및 재생 방법
JP2021197671A (ja) 視聴端末及びプログラム
CN114339326A (zh) 基于视频播放的声画同步方法、装置和系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant