KR101878279B1 - 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치 - Google Patents

비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치 Download PDF

Info

Publication number
KR101878279B1
KR101878279B1 KR1020167036174A KR20167036174A KR101878279B1 KR 101878279 B1 KR101878279 B1 KR 101878279B1 KR 1020167036174 A KR1020167036174 A KR 1020167036174A KR 20167036174 A KR20167036174 A KR 20167036174A KR 101878279 B1 KR101878279 B1 KR 101878279B1
Authority
KR
South Korea
Prior art keywords
sequence number
video
voice
commentary
tuple
Prior art date
Application number
KR1020167036174A
Other languages
English (en)
Other versions
KR20170009981A (ko
Inventor
샤오민 수
쥔밍 리
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20170009981A publication Critical patent/KR20170009981A/ko
Application granted granted Critical
Publication of KR101878279B1 publication Critical patent/KR101878279B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명의 실시예는 비디오 원격 해설 동기화 방법 및 시스템을 개시한다. 이 방법의 구현예는, 해설을 할 비디오 데이터를 수신하고, 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계; 상기 비디오 데이터를 재생하고 해설 음성을 획득하는 단계와, 상기 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하는 단계; 그리고 비디오 재생단(video playback end)이 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라, 비디오를 재생하면서 해설 음성을 재생할 수 있도록, 상기 음성 시퀀스 번호 및 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단(video playback end)으로 전송하는 단계를 포함한다. 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신하고, 비디오 해설단은 서로 독립되며 서로와 간섭하지 않으며, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 언제 해설 음성을 재생할지를 결정하고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현한다.

Description

비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치{VIDEO REMOTE-COMMENTARY SYNCHRONIZATION METHOD AND SYSTEM, AND TERMINAL DEVICE}
본 개시는 통신 기술 분야에 관한 것으로, 보다 구체적으로는, 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치에 관한 것이다.
스포츠 및 오락과 같은 분야에서는, 해설자가 해설을 하는 시나리오가 있다. 예컨대, 풋볼 경기 동안, 수록된 해설도 있지만 생중계로 해설을 전하기도 한다.
해설자는 스포츠/이벤트를 설명하고 소개하고 분석하는 전문가이고, 대부분 TV/방송 매체에 고용되어 있다. 현재, e-스포츠 게임이 발전하면서, e-스포츠에 대해 해설을 맡은 사람 또한 해설자라고 한다.
스포츠 해설자는 잘 알지 못하는 세계로부터 해설 대상의 성으로 우리를 인도할 뿐 아니라, 그 해설 대상에 대해 우리가 열성적으로 되도록 이끈다. 해설은 우리 삶에 폭넓게 존재한다.
해설을 가진 비디오는 다음의 작업 과정들을 포함한다: 1. 라이브 비디오를 획득한다; 2. 해설 음성을 획득한다; 3. 비디오와 음성을 합성한다.
현재 비디오 해설의 구현 솔루션은 다음과 같다: 해설자들이 비디오를 시청하는 동안 비디오에 대한 해설을 하기 위해 함께 모이는데, 이러한 경우는 일반적으로 해설을 녹음할 때 발생한다. 다르게는, 해설자들이 비디오를 획득하는 현장에서 직접 보면서 비디오에 대한 해설을 하며, 비디오를 획득하는 것과 해설 음성을 획득하는 것이 동시에 일어나는데, 이러한 경우는 일반적으로, 예컨대 풋볼 경기의 라이브 중계와 같은 생중계 해설에서 발생한다.
상기한 솔루션에 따르면, 해설을 획득하는 것이 필요하게 되고, 이것은 다수의 해설자가 동일한 비디오에 대해 원격에서 해설하는 것을 실현할 수 없는 결과를 가져온다.
본 발명의 실시예들은, 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현하기 위한, 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치를 제공한다.
본 발명의 실시예에 따른 비디오 원격 해설 동기화 방법은,
해설을 할 비디오 데이터를 수신하고, 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계;
상기 비디오 데이터를 재생하고 해설 음성을 획득하는 단계와, 상기 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하는 단계; 그리고
비디오 재생단(video playback end)이 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라, 비디오를 재생하면서 해설 음성을 재생할 수 있도록, 상기 음성 시퀀스 번호 및 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단(video playback end)으로 전송하는 단계
를 포함한다.
본 발명의 실시예에 따른 비디오 원격 해설 동기화 방법은,
라이브 비디오를, 해설을 할 비디오 데이터로서 획득하는 단계;
상기 비디오 데이터로부터 라이브 음성을 추출하고, 상기 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하여, 상기 글로벌 기준 시퀀스 번호에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계; 및
상기 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하는 단계와, 상기 제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송하는 단계
를 포함한다.
본 발명의 실시예에 따른 비디오 원격 해설 동기화 방법은,
비디오 데이터와, 상기 비디오 데이터에 대응하는 해설 음성을 수신하는 단계 - 상기 비디오 데이터는 비디오 시퀀스 번호를 가지고, 상기 해설 음성은 음성 시퀀스 번호를 가짐 -;
상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 수신하는 단계; 및
상기 비디오 데이터가 재생될 때, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하는 단계
를 포함한다.
본 발명의 실시예에 따른 단말 장치는,
하나 이상의 프로세서;
메모리; 및
상기 메모리에 저장되어 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
을 포함하고,
상기 복수의 프로그램 모듈은,
해설을 할 비디오 데이터를 수신하도록 구성된 비디오 수신 유닛;
상기 비디오 수신 유닛에 의해 수신된 비디오 데이터를 재생하도록 구성된 비디오 재생 유닛;
해설 음성을 획득하도록 구성된 음성 획득 유닛;
상기 비디오 수신 유닛에 의해 수신된 비디오 데이터의 비디오 시퀀스 번호를 결정하고, 상기 음성 획득 유닛에 의해 획득된 해설 음성의 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 결정하도록 구성된 시퀀스 번호 결정 유닛; 및
비디오 재생단이 비디오를 재생하는 동안 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 수 있도록, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단에 전송하도록 구성된 시퀀스 번호 전송 유닛
을 포함한다.
본 발명의 실시예에 따른 단말 장치는,
하나 이상의 프로세서;
메모리; 및
상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
을 포함하고,
상기 복수의 프로그램 모듈은,
라이브 비디오를, 해설을 할 비디오 데이터로서 획득하도록 구성된 비디오 획득 유닛,
상기 비디오 데이터로부터 라이브 음성을 추출하고, 상기 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하여, 상기 글로벌 기준 시퀀스 번호에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하도록 구성된 시퀀스 번호 결정 유닛;
상기 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하도록 구성된 2-튜플 생성 유닛; 및
상기 제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송하도록 구성된 2-튜플 전송 유닛
을 포함한다.
본 발명의 실시예에 따른 단말 장치는,
하나 이상의 프로세서;
메모리; 및
상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
을 포함하고,
상기 복수의 프로그램 모듈은,
비디오 시퀀스 번호를 가진 비디오 데이터와, 상기 비디오 데이터에 대응하는, 음성 시퀀스 번호를 가진 해설 음성을 수신하고, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 수신하도록 구성된 데이터 수신 유닛; 및
상기 비디오 데이터가 재생될 때, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하도록 구성된 재생 유닛
을 포함한다.
본 발명의 실시예에 따른 비디오 원격 해설 동기화 시스템은,
통신 가능한 방식으로 서로 연결된 비디오 획득 단말, 해설 단말 및 재생 단말을 포함하고,
상기 비디오 획득 단말은 본 발명의 실시예에 의해 제공된, 비디오를 획득하기 위한 단말 장치들 중 하나이고, 상기 해설 단말은 본 발명의 실시예에 의해 제공된, 해설단의 단말 장치들 중 하나이며, 상기 재생 단말은 본 발명의 실시예에 의해 제공된, 비디오 재생단의 단말 장치들 중 하나이다.
이상에서 알 수 있듯이, 본 발명의 실시예들은 다음과 같은 장점을 가지고 있다. 비디오 해설단이 비디오 시퀀스 번호 및 음성 시퀀스 번호에 관한 동작을 수행하기 대문에, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신한다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립되며 서로에 간섭되지 않는다. 게다가, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 언제 재생할지를 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자의 동일한 비디오에 대한 원격 해설을 구현할 수 있다.
본 발명의 실시예에서의 기술적 해결수단을 보다 명확하게 보여주기 위해, 이하에서 그 실시예를 설명하기 위해 필요한 첨부 도면을 간략하게 소개한다. 분명한 것은, 이하 설명에서 첨부 도면은 단지 본 발명의 일부 실시예를 보여주는 것일 뿐이며, 통상의 기술자라면 창작 노력 없이도 이들 첨부 도면으로부터 다른 도면을 유추할 수 있다.
도 1은 본 발명의 일실시예에 따른 방법의 개략적 흐름도이다.
도 2는 본 발명의 일실시예에 따른 방법의 개략적 흐름도이다.
도 3은 본 발명의 일실시예에 따른 방법의 개략적 흐름도이다.
도 4는 본 발명의 일실시예에 따른 비디오 재생 동기화의 개략적 다이어그램이다.
도 5는 본 발명의 일실시예에 따른 단말 장치의 개략 구성도이다.
도 6은 본 발명의 일실시예에 따른 단말 장치의 개략 구성도이다.
도 7은 본 발명의 일실시예에 따른 단말 장치의 개략 구성도이다.
도 8은 본 발명의 일실시예에 따른 단말 장치의 개략 구성도이다.
도 9는 본 발명의 일실시예에 따른 시스템의 개략 구성도이다.
도 10은 본 발명의 일실시예에 따른 시스템의 개략 구성도이다.
도 11은 본 발명의 일실시예에 따른 단말 장치의 개략 구성도이다.
본 개시의 목적, 기술적 솔루션, 장점을 보다 명확하게 하기 위해, 본 개시는 첨부 도면을 참조하여 이하에서 보다 상세하게 기술된다. 분명한 것은, 이하에서 기술된 실시예들은 단지 본 발명의 실시예의 일부이며 전부가 아니라는 것이다. 창작 노력 없이 본 발명의 실시예에 기초하여 통상의 기술자가 얻을 수 있는 다른 모든 실시예는 본 개시의 보호 범위 내에 포함되어야 한다.
본 발명의 일실시예는, 도 1에 도시된 바와 같이, 비디오 원격 해설 동기화 방법을 제공하며, 이 방법은 이하의 단계를 포함한다.
101: 해설을 할 비디오 데이터를 수신하고 이 해설을 할 비디오 데이터의 비디오 시퀀스 번호를 결정한다.
비디오 시퀀스 번호는 비디오 슬라이스(video slice)를 나타내는 시퀀스 번호이다. 비디오 슬라이스의 순서는 비디오 시퀀스 번호, 예컨대 비디오 프레임에 따라 결정될 수 있다. 비디오 프레임의 프레임 번호가 비디오 시퀀스 번호로서 사용될 수도 있다.
102: 해설을 할 비디오 데이터를 재생하고, 해설 음성을 획득하며, 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정한다.
이 실시예는 해설단(commentary end)에서 실행되기 때문에, 해설자를 위해 비디오 데이터를 재생해야 한다. 해설자는 시청하는 비디오 이미지에 대해 해설을 할 수 있고, 이로써 해설 음성을 형성한다. 해설 음성은 해설단의 해설 단말에 의해 획득된다. 음성 시퀀스 번호는 음성 슬라이스를 나타내기 위한 시퀀스 번호이다. 음성 슬라이스의 순서는 음성 시퀀스 번호, 예컨대 음성 프레임에 따라 결정될 수 있다. 음성 프레임의 프레임 번호가 음성 시퀀스 번호로서 사용될 수도 있다.
103: 비디오 재생단에게, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 전송함으로써, 비디오 재생단에서 비디오를 재생하는 동안 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 수 있도록 한다.
본 발명의 본 실시예에서는, 비디오 해설단이 비디오 시퀀스 번호와 음성 시퀀스 번호에 관련된 동작을 수행하기 때문에, 비디오 재생단이 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신한다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립적이며 서로에게 간섭하지 않는다. 또한, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 시점을 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 실현할 수 있다. 이 해결수단은 해설을 녹화하는 경우뿐 아니라 라이브로 해설을 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 또한, 예컨대 이하의 구성에 의해 비디오 시퀀스 번호의 결정 과정에 대해 선택적인 솔루션에 대한 설명을 제공한다. 즉, 해설을 할 비디오 데이터를 수신하고 그 해설을 할 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계가:
비디오 데이터에, 글로벌 기준 시퀀스 번호(global base sequence number)와 비디오 시퀀스 번호의 제1의 상관 2-튜플(correlation 2-tuple)을 포함시키는 단계; 및
상기 제1의 상관 2-튜플에 따라, 상기 해설을 할 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계
를 포함한다. 여기서, 비디오 데이터 내의 라이브 음성의 시퀀스 번호는 글로벌 기반 시퀀스 번호이고, 비디오 데이터의 비디오 시퀀스 번호는 글로벌 기반 시퀀스 번호에 따라 결정된다.
본 발명의 본 실시예에서는, 기준이 되는 시퀀스 번호가 라이브 음성을 세그먼트화하여 얻어진 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻어진 시퀀스 번호 또한 이 기준 시퀀스 번호로서 사용되거나, 또는 기준이 되는 시퀀스 번호가 새롭게 부가될 수 있는데, 이것은 본 발명의 본 실시예에서 한정되지 않는다.
본 발명의 본 실시예는 추가로, 이하에서와 같이, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 전송하는 것에 대해 추가적인 솔루션을 제공한다. 즉, 비디오 재생단에게, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 전송하는 단계가, 상기 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 비디오 재생단에게 전송하는 단계를 포함한다.
본 발명의 본 실시예에서, 제1의 상관 2-튜플 및 제2의 상관 2-튜플은 하나의 트리플릿(tribplet)으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플에서 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
본 발명의 일실시예는, 도 2에 도시된 바와 같이, 또 다른 비디오 원격-해결 동기화 방법을 제공한다.
201: 해설을 할 비디오 데이터로서 라이브 비디오를 획득한다.
202: 비디오 데이터로부터 라이브 음성을 추출하고, 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하며, 그 글로벌 기준 시퀀스 번호에 따라 비디오 데이터의 비디오 시퀀스 번호를 결정한다.
203: 글로벌 기준 시퀀스 번호 및 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하고, 제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송한다.
상기 실시예의 설명에 기초하여, 본 발명의 본 실시예에서는, 제1의 상관 2-튜플 내의 글로벌 기준 시퀀스 번호가 제2의 상관 2-튜플을 생성하는 데 사용된다. 그러나, 제1의 상관 2-튜플 및 제2 상관 2-튜플은 트리플릿으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은, 실제로는, 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플 내에 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러므로, 본 솔루션이 사용되면, 트리플릿 내에 하나의 미할당 시퀀스가 있다. 실제로, 이 트리플릿은 2-튜플과 같은 것으로 생각될 수도 있다. 이들의 차이는, 해설단이 미할당 시퀀스에 값을 할당하는가 또는 미할당에 대해 시퀀스가 새롭게 부가되는가에 있다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
본 발명의 본 실시예는 비디오 획득단을 이용하여 구현된다. 상관 2-튜플을 이용하는 것에 의해, 비디오 데이터의 순서와 재생 순서 그리고 비디오와 음성의 대응관계가 식별되고, 이로써 비디오 해설단이 그 순서에 따라 해설 음성과 비디오 간의 대응관계 및 해설 음성의 순서를 만드는 것이 편리하게 된다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로에 대해 독립되고, 서로와 간섭하지 않는다. 게다가, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 다라 해설 음성을 언제 재생할지 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현할 수 있다. 이 솔루션은 해설을 녹화하는 경우뿐 아니라 해설을 라이브로 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 추가로, 글로벌 기준 시퀀스 번호를 획득하는 것에 대한 솔루션을 제공하는데, 구체적으로는 다음과 같다. 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하는 단계가, 추출된 라이브 음성을 데이터 슬라이스로 세그먼트화하는 것에 의해, 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 획득하는 단계를 포함한다.
본 발명의 본 실시예에서, 기준이 되는 시퀀스 번호는 라이브 음성을 세그먼트화하는 것에 의해 얻은 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻은 시퀀스 번호 또한 기준 시퀀스 번호로서 사용될 수 있으며, 다르게는 기준이 되는 시퀀스 번호가 새롭게부가될 수도 있다. 그러나 본 발명의 본 실시예에서 이러한 것에 한정되는 것은 아니다.
본 발명의 일실시예에는 추가로, 도 3에 도시된 바와 같이, 또 다른 비디오 원격 해설 동기화 방법을 제공한다. 이 방법은 다음 단계를 포함하다.
301: 비디오 데이터와, 이 비디오 데이터에 대응하는 해설 음성을 수신한다. 비디오 데이터는 비디오 시퀀스 번호를 가지며, 해설 음성은 음성 시퀀스 번호를 가진다.
본 발명의 본 실시예에서, 비디오 데이터는 해설단의 해설 단말로부터 온 것일 수 있고, 또한 비디오 데이터가 서버를 통해 전달된 비디오 획득단으로부터 온 것일 수 있으나, 본 발명의 본 실시예에 한정되지 않는다.
302: 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신한다.
본 발명의 본 실시예에서, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계는 해설단의 해설 단말에 의해 비디오 재생단의 비디오 재생 장치에 직접 전송될 수 있고, 또한 서버에 의해 전달되고 균일하게 전송될 수 있으나, 본 발명의 본 실시예에 한정되는 것은 아니다.
303: 비디오 데이터가 재생될 때, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생한다.
본 발명의 본 실시예에서, 비디오 재생단이 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신하기 때문에, 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립되고 서로와 간섭하지 않는다. 게다가 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호의 대응관계에 따라 언제 해설 음성을 재생할지를 결정할 수 있으므로, 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현할 수 있다. 이 솔루션은 해설을 녹화하는 경우뿐 아니라 해설을 라이브로 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 추가로 다수의 해설 음성이 있는 경우의 처리 솔루션을 제공하는데, 구체적으로는 다음과 같다. 둘 이상의 해설 음성 소스가 있는 경우, 이 방법은, 미리 설정된 규칙에 따라 현재 재생되는 해설 음성을 선택하거나 전환하는 단계를 포함한다.
다수의 해설 음성이 있는 경우, 선택 및 전환 규칙을 미리 정하는 방법은, 예컨대 각 해설단의 우선순위가 미리 설정되고, 그 우선순위에 따라 현재 재생할 음성이 선택되는 것과 같이 기술자에 의해 자유롭게 설정될 수 있다. 구체적인 규칙은 본 발명의 본 실시예에 한정되는 것은 아니다.
본 발명의 본 실시예는 추가로, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 구체적인 결정 솔루션을 제공하며, 다음과 같다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신하는 단계는, 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 수신하는 단계를 포함하고, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호 및 비디오 시퀀스 번호를 포함하고, 제2의 상관 2-튜플은 글로벌 기준 시퀀스 번호 및 음성 시퀀스 번호를 포함하며, 비디오 데이터 내의 라이브 음성의 시퀀스 번호는 글로벌 기준 시퀀스 번호이고, 비디오 데이터의 비디오 시퀀스 번호는 글로벌 기준 시퀀스 번호에 따라 결정되며, 음성 시퀀스 번호도 글로벌 기준 시퀀스 번호에 따라 결정된다.
본 발명의 본 실시예에서, 기준이 되는 시퀀스 번호가 라이브 음성을 세그먼트화하여 얻어진 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻어진 시퀀스 번호 또한 이 기준 시퀀스 번호로서 사용되거나, 또는 기준이 되는 시퀀스 번호가 새롭게 부가될 수 있는데, 이것은 본 발명의 본 실시예에서 한정되지 않는다.
본 발명의 본 실시예에서, 제1의 상관 2-튜플 및 제2의 상관 2-튜플은 하나의 트리플릿(tribplet)으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플에서 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
2개의 상관 2-튜플이 사용되는 구현 솔루션에 기초하여, 본 발명의 본 실시예는 추가로, 구체적인 음성 재생 과정을 제공하는데, 이것은 이하와 같이 구현된다. 비디오 데이터가 재생될 때, 음성 시퀀스 번호 및 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하는 단계는,
비디오 데이터가 재생될 때, 현재 비디오 이미지의 시퀀스 번호를 획득하고, 제1의 상관 2-튜플에 따라 현재 비디오 이미지의 시퀀스 번호에 대응하는 글로벌 기준 시퀀스 번호를 획득하며, 제2의 상관 2-튜플에 따라, 획득된 글로벌 기준 시퀀스 번호에 대응하는 음성 시퀀스 번호를 획득하는 단계;
획득된 글로벌 기준 시퀀스 번호에 대응하는 라이브 음성을 결정하고, 획득된 음성 시퀀스 번호에 대응하는 해설 음성을 결정하는 단계; 및
현재 비디오 이미지가 재생될 때, 상기 결정된 라이브 음성 및 상기 결정된 해설 음성을 재생하는 단계
를 포함한다.
이하의 실시예는, 다수의 해설자들이 동시에 해설을 하고 2개의 2-튜플이 관련된 동기화 정보를 제공하기 위해 사용되는 경우를 예로서 사용하여 설명된다.
본 발명의 본 실시예는 비디오 라이브 전송 동안 다수의 원격 해설을 동기화하는 것에 의해, 사용자가 라이브 전송을 보면서 다수의 사람이 동시에 그리고 원격에서 제공하는 해설을 들을 수 있고, 다수의 원격 해설의 동기화 및 전환을 간편하게 하고 또 이로써 청취자에게 놀라운 시청 경험을 제공하는 것에 대한 솔루션을 제공한다.
본 발명의 본 실시예는 주요하게 3개의 스테이지로 구분된다.
제1 스테이지: 기준 시퀀스 번호가 라이브 전송에 따라 생성된다. 이것은 구체적으로 다음 단계를 포함한다.
1. 비디오 획득 장치가 라이브 음성 및 비디오 데이터를 실시간으로 획득한다.
2. 라이브 음성 스트림이 데이터 슬라이스로 세그먼트화되고, 글로벌 기준 시퀀스 번호가 생성된다.
3. 기준 시퀀스(BaseSequenc)에 따라 라이브 비디오 스트림의 비디오 시퀀스 번호가 생성된다. 여기서, 생성 규칙은 다음과 같은 상관 2-튜플 시퀀스일 수 있다.
<VideoSequence.idx, BaseSequence.idx>...;
4. BaseSequence 및 VideoSequence를 가진 음성 및 비디오, 그리고 상관 관계가 백그라운드 서버에 라이브로 업로딩되고, 그런 다음, 일반 시청자와 원격 해설자를 포함하는 모든 사용자에게 푸싱된다.
제2 스테이지: 원격 해설의 음성 시퀀스 번호의 생성은 구체적으로 다음 단계를 포함한다.
1. 원격 해설자가 비디오 이미지를 보고 이 비디오 이미지에 대해 동기적인 해설을 제공하며, 해설 단말이 음성을 획득한다.
2. 해설 단말의 측에서, 해설 음성의 음성 시퀀스 번호 및 비디오의 비디오 시퀀스 번호가 또한 BaseSequence에 따라 생성된다. 생성 규칙은 이하와 같이 상관 2-튜플 시퀀스일 수 있다.
<CommentVoiceSequence.idx, BaseSequence.idx>...
<CommentVideoSequence.idx, BaseSequence.idx>...;
3. 해설 단말이 CommentVoiceSequence, CommentVideoSequence 및 상관 2-튜플의 BaseSequence를 백그라운드 서버에 업로드하고, 그런 다음, CommentVoiceSequence, CommentVideoSequence 및 상관 2-튜플의 BaseSequence가 백그라운드 서버에 의해 모든 사용자에게 푸시된다.
제3 스테이지: 사용자가 라이브 전송 비디오를 시청할 수 있게 하기 위한 해설 동기화 전략은 구체적으로 다음 단계를 포함한다.
1. 도 4를 참조하면, 사용자가 비디오를 시청할 때, 도 4에서 T1, T2, T3, T4 및 T5와 같이, BaseSequence의 타임라인 및 설정된 버퍼 기간에 따라 안정적으로 재생이 이루어진다.
도 4에서는 4개의 좌측으로 향하는 화살이 위에서 아래로 있다. 위의 2개는 획득된 라이브 데이터에 관련된 데이터이다. 이것은 글로벌 기준 시퀀스 번호(라이브 음성의 시퀀스 번호) 및 비디오 시퀀스 번호(라이브 비디오의 시퀀스 번호)로 나뉘고, 아래의 2개는 해설단의 비디오 데이터로서, 음성 시퀀스 번호(해설 음성의 시퀀스 번호) 및 비디오 시퀀스 번호(해설 음성에 대응하는 비디오 시퀀스 번호)이다.
2. 재생은 계획된 2-튜플의 관계에 따라 이루어진다.
<CommentVoiceSequence.idx, BaseSequence.idx>...
<CommentVideoSequence.idx, BaseSequence.idx>...;
예컨대, 위 도면에서 시점 T2에서, BaseSequence.idx의 지점에서, 상관 관계에 따르는 해설 음성과 해설 비디오가 있는 것으로 검출되면, 그 해설이 재생된다.
3. 다수의 해설이 있고, 처리 규칙에는 일관성이 있다.
4. 다수의 해설은 전환된다. 예컨대, 해설 A는 해설 B로 전환되는데, 이것 또한 규칙에 따라 처리된다. 그리고 전환의 개념이 아닌 경우, 해설 재생 스트림 A가 중지되고 해설 재생 스트림 B가 수신되며, 해설 재생 스트림 B가 BaseSequence.idx에 일치하는 경우, 해설 B가 재생되기 시작할 수 있다.
상술한 구현 방법에 따르면, 라이브 전송 비디오에서의 여러 곳의 해설의 동기화 과제가 간소화된다. 게다가, 표준화된 처리 방법을 이용함으로써, 각 앵커 스위치 간 상관 관계가 없고, 이로써 서비스 원활 및 코드 간소화가 보장되며, 동시에 비디오의 재생 중에 버퍼 및 일시정지가 재발하지 않는다.
본 발명의 일실시예는 추가로, 도 5에 도시된 바와 같이, 단말 장치를 제공한다. 이 단말 장치는:
해설을 할 비디오 데이터를 수신하도록 구성된 비디오 수신 유닛(501);
비디오 수신 유닛(501)에 의해 수신된 비디오 데이터를 재생하도록 구성된 비디오 재생 유닛(502);
해설 음성을 획득하도록 구성된 음성 획득 유닛(503);
비디오 수신 유닛(501)에 의해 수신된 상기 해설을 할 비디오 데이터의 비디오 시퀀스 번호를 결정하고, 상기 음성 획득 유닛(503)에 의해 획득된 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하도록 구성된 시퀀스 번호 결정 유닛(504); 및
비디오 재생단이 비디오를 재생하는 동안 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 수 있도록 음성 시퀀스 번호 및 비디오 시퀀스 번호 간의 대응관계를 비디오 재생단에게 전송하도록 구성된 시퀀스 번호 전송 유닛(505)
을 포함한다.
비디오 시퀀스 번호는 비디오 슬라이스를 나타내는 시퀀스 번호이다. 비디오 슬라이스의 순서는 비디오 시퀀스 번호, 예컨대 비디오 프레임에 따라 결정될 수 있다. 비디오 프레임의 프레임 번호가 비디오 시퀀스 번호로서 사용될 수도 있다.
이 실시예는 해설단에서 실행되기 때문에, 해설자를 위해 비디오 데이터를 재생해야 한다. 해설자는 시청하는 비디오 이미지에 대해 해설을 할 수 있고, 이로써 해설 음성을 형성한다. 해설 음성은 해설단의 해설 단말에 의해 획득된다. 음성 시퀀스 번호는 음성 슬라이스를 나타내기 위한 시퀀스 번호이다. 음성 슬라이스의 순서는 음성 시퀀스 번호, 예컨대 음성 프레임에 따라 결정될 수 있다. 음성 프레임의 프레임 번호가 음성 시퀀스 번호로서 사용될 수도 있다.
본 발명의 본 실시예에서는, 비디오 해설단이 비디오 시퀀스 번호와 음성 시퀀스 번호에 관련된 동작을 수행하기 때문에, 비디오 재생단이 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신한다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립적이며 서로에게 간섭하지 않는다. 또한, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 시점을 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 실현할 수 있다. 이 해결수단은 해설을 녹화하는 경우뿐 아니라 라이브로 해설을 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 또한, 예컨대 이하의 구성에 의해 비디오 시퀀스 번호의 결정 과정에 대해 선택적인 솔루션에 대한 설명을 제공한다. 즉, 비디오 수신 유닛(501)이 글로벌 기준 시퀀스 번호(global base sequence number)와 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플(correlation 2-tuple)을 포함하는 비디오 데이터를 수신하도록 구성된다. 여기서, 비디오 데이터 내의 라이브 음성의 시퀀스 번호는 글로벌 기반 시퀀스 번호이고, 비디오 데이터의 비디오 시퀀스 번호는 글로벌 기반 시퀀스 번호에 따라 결정된다.
시퀀스 번호 결정 유닛(504)은, 상기 제1의 상관 2-튜플에 따라, 상기 해설을 할 비디오 데이터의 비디오 시퀀스 번호를 결정하도록 구성된다.
본 발명의 본 실시예에서는, 기준이 되는 시퀀스 번호가 라이브 음성을 세그먼트화하여 얻어진 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻어진 시퀀스 번호 또한 이 기준 시퀀스 번호로서 사용되거나, 또는 기준이 되는 시퀀스 번호가 새롭게 부가될 수 있는데, 이것은 본 발명의 본 실시예에서 한정되지 않는다.
본 발명의 본 실시예는 추가로, 이하에서와 같이, 예시를 이용하여, 대응관계의 표현 형식과 음성 시퀀스 번호의 결정 솔루션의 선택적 솔루션에 대한 설명을 제공한다. 선택적으로, 시퀀스 번호 결정 유닛(504)은 제1의 상관 2-튜플 내의 글로벌 기준 시퀀스 번호에 따라 해설 음성의 음성 시퀀스 번호를 결정하고, 글로벌 기준 시퀀스 번호와 음성 시퀀스 번호를 포함하는 제2의 상관 2-튜플을 생성하도록 구성된다.
본 발명의 구현 솔루션에 기초하여, 본 발명의 본 실시예는 추가로, 이하에서와 같이, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 전소하는 것에 대한 솔루션을 제공한다. 즉, 선택적으로, 시퀀스 번호 전송 유닛(505)은 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 비디오 재생단에게 전송하도록 구성된다.
본 발명의 본 실시예에서, 제1의 상관 2-튜플 및 제2의 상관 2-튜플은 하나의 트리플릿(tribplet)으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플에서 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
본 발명의 일실시예는, 도 6에 도시된 바와 같이, 다른 단말 장치를 추가로 제공한다. 이 장치는:
해설을 할 비디오 데이터로서 라이브 비디오를 획득하도록 구성된 비디오 획득 유닛(601);
비디오 데이터로부터 라이브 음성을 추출하고, 글로벌 기준 시퀀스 번호로서 라이브 음성의 시퀀스 번호를 사용하여, 글로벌 기준 시퀀스 번호에 따라 비디오 데이터의 비디오 시퀀스 번호를 결정하도록 구성된 시퀀스 번호 결정 유닛(602);
글로벌 기준 시퀀스 번호 및 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하도록 구성된 2-튜플 생성 유닛(603); 및
제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송하도록 구성된 2-튜플 전송 유닛(604)
을 포함한다.
이상의 실시예에 대한 설명에 기초하여, 본 발명의 본 실시예에서는, 제1의 상관 2-튜플 내의 글로벌 기준 시퀀스 번호가 제2의 상관 2-튜플을 생성하는 데 사용된다. 그러나 제1의 상관 2-튜플 및 제2 상관 2-튜플은 트리플릿으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은, 실제로는, 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플 내에 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러므로 본 솔루션이 사용되면, 트리플릿 내에 하나의 미할당 시퀀스가 있다. 실제로, 이 트리플릿은 2-튜플과 같은 것으로 생각될 수도 있다. 이들의 차이는, 해설단이 미할당 시퀀스에 값을 할당하는가 또는 미할당에 대해 시퀀스가 새롭게 부가되는가에 있다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
본 발명의 본 실시예는 비디오 획득단을 이용하여 구현된다. 상관 2-튜플을 이용하는 것에 의해, 비디오 데이터의 순서와 재생 순서 그리고 비디오와 음성의 대응관계가 식별되고, 이로써 비디오 해설단이 그 순서에 따라 해설 음성과 비디오 간의 대응관계 및 해설 음성의 순서를 만드는 것이 편리하게 된다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로에 대해 독립되고, 서로와 간섭하지 않는다. 게다가, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 언제 재생할지 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현할 수 있다. 이 솔루션은 해설을 녹화하는 경우뿐 아니라 해설을 라이브로 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 추가로, 글로벌 기준 시퀀스 번호를 획득하는 것에 대한 솔루션을 제공하며, 이것은 구체적으로 다음과 같다. 선택적으로, 시퀀스 번호 결정 유닛(602)은 추출된 라이브 음성을 데이터 슬라이스로 세그먼트화하여, 글로벌 기준 시퀀스 번호로서 라이브 음성의 시퀀스 번호를 획득하도록 구성된다.
본 발명의 본 실시예에서, 기준이 되는 시퀀스 번호는 라이브 음성을 세그먼트화하는 것에 의해 얻은 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻은 시퀀스 번호 또한 기준 시퀀스 번호로서 사용될 수 있으며, 다르게는 기준이 되는 시퀀스 번호가 새롭게 부가될 수도 있다. 그러나 본 발명의 본 실시예에서 이러한 것에 한정되는 것은 아니다.
본 발명의 일실시예에는 추가로, 도 7에 도시된 바와 같이, 또 다른 단말 장치를 제공한다. 이 단말 장치는:
비디오 데이터와, 이 비디오 데이터에 대응하는 해설 음성을 수신하도록 구성된 데이터 수신 유닛(701) - 비디오 데이터는 비디오 시퀀스 번호를 가지며, 해설 음성은 음성 시퀀스 번호를 가짐 -; 및
비디오 데이터가 재생될 때, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하도록 구성된 재생 유닛(702)
을 포함한다.
본 발명의 본 실시예에서, 비디오 데이터는 해설단의 해설 단말로부터 온 것일 수 있고, 또한 비디오 데이터가 서버를 통해 전달된 비디오 획득단으로부터 온 것일 수 있으나, 본 발명의 본 실시예에 한정되지 않는다.
본 발명의 본 실시예에서, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계는 해설단의 해설 단말에 의해 비디오 재생단의 비디오 재생 장치에 직접 전송될 수 있고, 또한 서버에 의해 전달되고 균일하게 전송될 수 있으나, 본 발명의 본 실시예에 한정되는 것은 아니다.
본 발명의 본 실시예에서, 비디오 재생단이 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 수신하기 때문에, 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립되고 서로와 간섭하지 않는다. 게다가 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호의 대응관계에 따라 언제 해설 음성을 재생할지를 결정할 수 있으므로, 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 구현할 수 있다. 이 솔루션은 해설을 녹화하는 경우뿐 아니라 해설을 라이브로 전송하는 경우에도 적용될 수 있다.
본 발명의 본 실시예는 추가로 다수의 해설 음성이 있는 경우의 처리 솔루션을 제공하는데, 구체적으로는 다음과 같다. 도 8에 도시된 바와 같이, 추가로, 단말 장치는 둘 이상의 해설 음성 소스가 있는 경우, 미리 설정된 규칙에 따라 현재 재생되는 해설 음성을 선택하거나 전환하도록 구성된 재생 제어 유닛(801)을 포함한다.
다수의 해설 음성이 있는 경우, 선택 및 전환 규칙을 미리 정하는 방법은, 예컨대 각 해설단의 우선순위가 미리 설정되고, 그 우선순위에 따라 현재 재생할 음성이 선택되는 것과 같이 기술자에 의해 자유롭게 설정될 수 있다. 구체적인 규칙은 본 발명의 본 실시예에 한정되는 것은 아니다.
본 발명의 본 실시예는 추가로, 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 구체적인 결정 솔루션을 제공하며, 다음과 같다. 데이터 수신 유닛(701)이, 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 수신하도록 구성되고, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호 및 비디오 시퀀스 번호를 포함하고, 제2의 상관 2-튜플은 글로벌 기준 시퀀스 번호 및 음성 시퀀스 번호를 포함하며, 비디오 데이터 내의 라이브 음성의 시퀀스 번호는 글로벌 기준 시퀀스 번호이고, 비디오 데이터의 비디오 시퀀스 번호는 글로벌 기준 시퀀스 번호에 따라 결정되며, 음성 시퀀스 번호도 글로벌 기준 시퀀스 번호에 따라 결정된다.
본 발명의 본 실시예에서, 기준이 되는 시퀀스 번호가 라이브 음성을 세그먼트화하여 얻어진 시퀀스 번호이고, 비디오 데이터를 세그먼트화하여 얻어진 시퀀스 번호 또한 이 기준 시퀀스 번호로서 사용되거나, 또는 기준이 되는 시퀀스 번호가 새롭게 부가될 수 있는데, 이것은 본 발명의 본 실시예에서 한정되지 않는다.
본 발명의 본 실시예에서, 제1의 상관 2-튜플 및 제2의 상관 2-튜플은 하나의 트리플릿(tribplet)으로 결합될 수 있고, 이것은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호, 및 음성 시퀀스 번호를 포함할 수 있다. 따라서, 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호, 비디오 시퀀스 번호 그리고 미할당 시퀀스를 포함하고, 제2의 상관 2-튜플에서 새롭게 결정된 음성 시퀀스 번호가 이 트리플릿 내의 미할당 시퀀스에 채워진다. 그러나 본 발명의 본 실시예의 구현은 상기 실시예에 한정되지 않는다. 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하기 위해 사용될 수 있는 어떠한 구현 솔루션도 본 발명의 본 실시예의 구현에 영향을 주지는 않는다.
2개의 상관 2-튜플이 사용되는 구현 솔루션에 기초하여, 본 발명의 본 실시예는 추가로, 구체적인 음성 재생 과정을 제공하는데, 이것은 이하와 같이 구현된다. 선택적으로, 재생 유닛(702)은 비디오 데이터가 재생될 때, 현재 비디오 이미지를 획득하고, 제1의 상관 2-튜플에 따라 현재 비디오 이미지의 시퀀스 번호에 대응하는 글로벌 기준 시퀀스 번호를 획득하며, 제2의 상관 2-튜플에 따라, 획득된 글로벌 기준 시퀀스 번호에 대응하는 음성 시퀀스 번호를 획득하고, 획득된 글로벌 기준 시퀀스 번호에 대응하는 라이브 음성을 결정하고, 획득된 음성 시퀀스 번호에 대응하는 해설 음성을 결정하며, 현재 비디오 이미지가 재생될 때, 상기 결정된 라이브 음성 및 상기 결정된 해설 음성을 재생하도록 구성된다.
본 발명의 일실시예는 추가로, 도 9에 도시된 바와 같이, 비디오 원격 해설 동기화 시스템을 제공한다. 이 시스템은, 비디오 획득 단말(901), 해설 단말(902) 및 재생 단말(903)을 포함하고,이들은 통신 가능하게 연결되어 있다.
비디오 획득 단말(901)은 본 발명의 실시예에 의해 제공된 비디오를 획득하기 위한 단말 장치들 중 임의의 것이고, 해설 단말(902)은 본 발명의 실시예에 의해 제공된 해설단의 단말 장치들 중 임의의 것이며, 재생 단말(903)은 본 발명의 실시예에 의해 제공된 비디오 재생단의 단말 장치들 중 임의의 것이다.
비디오 해설단이 비디오 시퀀스 번호 및 음성 시퀀스 번호에 관련된 동작을 수행하기 때문에, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간 대응관계를 수신한다. 비디오 해설단의 수에 관계없이, 비디오 해설단들은 서로 독립적이며 서로에게 간섭하지 않는다. 또한, 비디오 재생단은 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 시점을 결정할 수 있고, 이로써 다수의 해설자의 원격 해설 동기화 및 다수의 해설자에 의한 동일한 비디오에 대한 원격 해설을 실현할 수 있다.
또한, 도 10에 도시된 바와 같은 시스템은, 서버(1001)를 더 포함하는데, 서버(1001)는 비디오 획득 단말(901), 해설 단말(902) 및 재생 단말(903)과 개별로 통신 가능한 연결을 구축하여, 비디오 획득 단말(901)과 해설 단말(902) 간에 그리고 해설 단말(902) 및 재생 단말(903) 간에 데이터를 전달한다.
선택적으로, 둘 이상의 해설 단말(902)이 있을 수 있다. 재생 단말(903)의 개수는 1 또는 그보다 큰 임의의 수일 수 있다.
본 발명의 일실시예는 또 다른 단말 장치를 추가로 제공한다. 도 11에 도시된 바와 같이, 설명의 편의를 위해, 본 발명의 본 실시예에 관련된 부분만 도시되어 있다. 구체적으로 기술적 상세는 개시되어 있지 않지만, 이에 대해서는 본 개시의 방법 실시예 부분을 참조할 수 있을 것이다. 단말은, 모바일 전화, 태블릿 컴퓨터, PDA, POS, 차량 탑재 컴퓨터 등과 같은 어떠한 유형이어도 좋다. 예컨대, 단말 장치는 모바일 전화이다.
도 11은 본 발명의 일실시예에 따른 단말에 관련된 모바일 전화의 일부의 구조에 관한 블록도이다. 도 11을 참조하면, 모바일 전화는, 무선 주파수(RF: Radio Frequency) 회로(1110), 메모리(1120), 입력 유닛(1130), 프로세서(1180) 및 전원(1190)과 같은 구성요소를 포함한다. 통상의 기술자라면, 도 11에 도시된 모바일 전화의 구조가 모바일 전화에 대한 한정이 아님을 이해할 것이다. 모바일 전화는 도면에 도시된 것보다 더 많거나 더 적은 구성요소를 포함할 수 있고, 또는 일부 구성요소는 결합되거나 또는 다른 구성요소 배치가 있을 수도 있다.
이하에서는 도 11을 참조하여 모바일 전화의 구성요소를 보다 구체적으로 설명한다.
RF 회로(1110)는 정보 송수신 프로세스 또는 호출 프로세스 동안 신호를 송수신하도록 구성된다. 구체적으로, RF 회로(1110)는 기지국으로부터 다운링크 정보를 수신한 다음, 그 다운링크 정보를 처리를 위해 프로세서(1180)로 전달하고, 관련된 업링크 데이터를 기지국에 전송한다. 일반적으로, RF 회로(1110)는, 한정되는 것은 아니지만, 적어도 하나의 증폭기, 트랜시버, 커플러, 저잡음 증폭기(LNA: Low Noise Amplifier) 그리고 듀플렉서를 포함한다. 추가로, RF 회로(1110)는 또한 무선 통신으로 네트워크 및 다른 장치와 통신할 수도 있다. 무선 통신은, 한정되는 것은 아니지만, GSM(Global System for Mobile communications), GPRS(Gnenral Packet Radio Service), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), 이메일, SMS(Short Messaging Service) 등을 포함하는 어떠한 통신 표준 또는 프로토콜을 사용해도 좋다.
메모리(1120)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성된다. 프로세서(1180)는 메모리(1120)에 저장된 그 소프트웨어 프로그램 및 모듈을 실행하여, 모바일 전화의 여러 기능적 애플리케이션 및 데이터 처리를 수행한다. 메모리(1120)는 주로 프로그램 저장 영역과 데이터 저장 영역을 포함한다. 프로그램 저장 영역은 오퍼레이팅 시스템, 적어도 하나의 기능(예컨대 사운드 재생 기능 및 이미지 표시 기능)에 의해 획득된 애플리케이션 프로그램 등을 저장한다. 데이터 저장 영역은 모바일 전화의 사용에 따라 생성된 데이터(예컨대 오디오 데이터 및 주소록) 등을 저장한다. 추가로, 메모리(1120)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리와 같은 비휘발성 메모리 또는 다른 휘발성 고상(solid state) 저장 장치를 포함할 수도 있다.
입력 유닛(1130)은 입력 숫자 또는 문자 정보를 수신하고, 모바일 전화의 사용자 설정 및 기능 제어에 관련된 키보드 신호 입력을 생성한다. 구체적으로, 입력 유닛(1130)은 터치 패널(1131) 및 다른 입력 장치(1132)를 포함한다. 터치 스크린이라고도 칭하는 터치 패널(1131)은 터치 패널의 위 또는 근처에서의 사용자의 터치 조작을 수집하고(예컨대, 손가락이나 스타일러스와 같은 임의의 적절한 것이나 액세서리를 이용하여 터치 패널(1131) 위 또는 근처에의 사용자의 조작), 미리 설정된 프로그램에 따라 대응하는 접속 장치를 구동한다. 선택적으로, 터치 패널(1131)은 2개의 부분을 포함하는데, 터치 검출 장치와 터치 제어기이다. 터치 검출 장치는 사용자의 터치 위치를 검출하고 터치 조작에 의해 생성된 신호를 검출하며, 그 신호를 터치 제어기로 전송한다. 터치 제어기는 터치 검출 장치로부터 터치 정보를 수신하고, 그 터치 정보를 터치 포인트 좌표로 전환하며, 그 터치 포인트 좌표를 프로세서(1180)에 전송한다. 또한, 터치 제어기는 프로세서(1180)로부터 전송된 명령을 수신하고 실행할 수 있다. 또한, 터치 패널(1131)은 저항성, 용량성, 적외선, 또는 표면 음파형 터치 패널일 수 있다. 터치 패널(1131)에 더하여, 입력 유닛(1130)은 추가로, 다른 입력 장치(1132)를 포함할 수 있다. 구체적으로, 이 다른 입력 장치(1132)는, 한정되는 것은 아니지만, 물리적 키보드, 기능 키(예컨대, 음량 조절 키 또는 스위치 키), 트랙볼, 마우스 및 조이스틱 중 하나 이상일 수 있다.
표시 유닛(1140)은, 사용자에 의해 입력된 정보 또는 사용자를 위해 제공되는 정보, 그리고 모바일 전화의 다양한 메뉴를 표시하도록 구성될 수 있다. 표시 유닛(1140)은 표시 패널(1141)을 포함한다. 선택적으로, 표시 패널(1141)은 LCD, OLED 등을 이용하여 구성될 수 있다. 또한, 터치 패널(1131)은 표시 패널(1141)을 덮을 수도 있다. 터치 패널(1131) 위 또는 근처에서의 터치 조작을 검출한 후, 터치 패널(1131)은 그 터치 조작을 프로세서(1180)에 전달하여, 터치 이벤트의 유형을 결정한다. 프로세서(1180)는, 터치 이벤트의 유형에 따라 표시 패널(1141) 상에 대응하는 시각적 출력을 제공한다. 도 11에서, 터치 패널(1131)과 표시 패널(1141)이 2개의 분리된 부분으로서 모바일 전화의 입력과 출력 기능을 구현하도록 사용되고 있지만, 어떤 경우에는, 터치 패널(1131)과 표시 패널(1141)이 통합되어 모바일 전화의 입력과 출력 기능을 구현할 수도 있다.
모바일 전화는 추가로, 예컨대 광 센서, 움직임 센서 및 기타 센서와 같은 적어도 하나의 센서(1150)를 포함할 수 있다. 구체적으로, 광 센서는 주변광 센서 및 근접 센서를 포함한다. 주변광 센서는 표시 패널(1141)의 휘도를 주변광의 밝기에 따라 조정한다. 근접 센서는 모바일 전화가 귀로 이동하면 표시 패널(1141) 및/또는 백라이트를 끈다. 움직임 센서의 한 형태로서, 가속도 센서는 다양한 방향(일반적으로 3축)에서의 가속도의 크기를 검출하고, 고정된 때 중력의 방향과 크기를 검출하며, 이는 모바일 전화의 고도를 인식하는 애플리케이션(예컨대, 가로 방향과 세로 방향의 전환, 관련 게임 및 자기력계 고도 교정), 진동 인식에 관한 기능(예컨대 계보기 및 노크) 등에 적용될 수 있다. 모바일 전화에 구성될 수 있는, 예컨대, 자이로스코프, 바로미터, 습도계, 온도계 및 적외선 센서 등과 같은 다른 센서는 여기에서 설명을 생략한다.
오디오 회로(1160), 스피커(1161) 및 마이크로폰(1162)이 사용자와 모바일 전화 간에 오디오 인터페이스를 제공한다. 오디오 회로(1160)는 수신된 오디오 데이터를 전기 신호로 전환하고, 그 전기 신호를 스피커(1161)로 전달한다. 스피커(1161)는 전기 신호를 음향 신호로 전환하여 출력한다. 한편, 마이크로폰(1162)은 수집된 음향 신호를 전기 신호로 전환한다. 오디오 회로(1160)는 전기 신호를 수신하고 그 전기 신호를 오디오 데이터로 전환하여 프로세서(1180)에 처리를 위해 출력한다. 그러면, 프로세서(1180)는 그 오디오 데이터를, 예컨대 RF 회로(1110)를 이용하여 다른 모바일 전화로 전송하거나, 또는 그 오디오 데이터를 추가적인 처리를 위해 메모리(1120)로 출력한다.
와이파이(WiFi)는 단거리 무선 전송 기술에 속한다. 모바일 전화는, WiFi 모듈(1170)을 이용하여, 사용자가 이메일을 주고받거나, 웹페이지를 탐색하거나, 스트리밍 미디어에 액세스하거나 하는 것을 지원하는데, 이것은 무선 브로드밴드 인터넷 액세스를 사용자게 제공한다. 도 11은 WiFi 모듈(1170)을 보여주고 있지만, WiFi 모듈은 모바일 전화에 필수적인 요소는 아니며, 필요한 때 WiFi 모듈은 본 개시의 요지를 바뀌지 않는 한 생략될 수 있다.
프로세서(1180)는 모바일 전화의 제어 중심이고, 다양한 인터페이스 및 선을 통해 모바일 전화의 여러 부분과 연결된다. 메모리(1120)에 저장된 소프트웨어 프로그램 및/또는 모듈을 실행하고, 메모리(1120)에 저장된 데이터를 호출하는 것에 의해, 프로세서(1180)는 모바일 전화의 다양한 기능과 데이터 처리를 수행하고, 이로써 모바일 전화에 대한 전반적인 모니터링을 수행한다. 선택적으로, 프로세서(1180)는 하나 이상의 처리 유닛을 포함할 수 있다. 바람직하게는, 프로세서(1180)는 애플리케이션 프로세서 및 모뎀을 통합하여 포함할 수 있다. 애플리케이션 프로세서는 주로 오퍼레이팅 시스템, 사용자 인터페이스 애플리케이션 프로그램 등을 처리한다. 모뎀은 주로 무선 통신을 처리한다. 상술한 모뎀은 또한 프로세서(1180)에 통합되지 않을 수도 있다.
모바일 전화는 추가로, 전원(1190)(예컨대 배터리)을 더 포함하여 구성요소에 전력을 공급한다. 바람직하게는, 전원은 프로세서(1180)에 전력 관리 시스템을 이용하여 논리적으로 연결되고, 이로써 전력 관리 시스템을 이용하여 충전, 방전 및 전력 소비 관리와 같은 기능을 구현한다.
도면에는 도시되지 않았지만, 모바일 전화는 추가로 카메라, 블루투스 모듈 등을 포함할 수 있지만, 여기에서 추가로 설명하지 않는다.
본 발명의 본 실시예에서, 단말에 포함된 프로세서(1180)는 추가로, 재생 단말, 해설 단말, 또는 비디오 획득 단말에 관련된, 방법 실시예에서의 단계들을 수행하도록 제어한다.
이상의 단말 장치의 실시예에서는, 단말 장치에 포함된 모든 유닛은 단지 그 기능적 논리에 따라 구분한 것이며, 유닛 구분 방법은, 대응하는 기능이 구현될 수 있는 한, 상술한 구분에 한정되지 않는다. 추가로, 기능 유닛의 구체적인 이름 또한 단지 다른 것들과 구분하기 위한 것이므로, 본 개시의 보호 범위를 한정하지 않는다.
또한, 통상의 기술자라면 이상의 방법 실시예에서의 일부 또는 모든 단계는 관련 하드웨어에 지시를 내리는 프로그램에 의해 실행될 수 있음을 이해할 것이다. 대응하는 프로그램은 컴퓨터에 의해 판독 가능한 저장 매체에 저장될 수 있다. 상기 저장 매체는 ROM, 자기 디스크 또는 광 디스크 등일 수 있다.
이상의 설명은 단지 본 개시의 특정 구현 방법이며, 본 개시의 보호 범위를 한정하지 않는다. 본 발명의 실시예에서 개시된 기술적 범위 내에서 통상의 기술자가 용이하게 생각해 내는 변경 또는 대체는 모두 본 개시의 보호 범위에 속한다. 따라서, 본 개시의 보호 범위는 청구범위의 보호 범위에 따라야 한다.

Claims (23)

  1. 비디오 원격 해설 동기화 방법으로서,
    해설을 할 비디오 데이터를 수신하고, 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계;
    상기 비디오 데이터를 재생하고 해설 음성을 획득하는 단계와, 상기 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하는 단계; 그리고
    비디오 재생단(video playback end)이 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라, 비디오를 재생하면서 해설 음성을 재생할 수 있도록, 상기 음성 시퀀스 번호 및 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단(video playback end)으로 전송하는 단계
    를 포함하고,
    상기 해설을 할 비디오 데이터를 수신하고, 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계가,
    상기 비디오 데이터에 글로벌 기준 시퀀스 번호(global base sequence number) 및 상기 비디오 시퀀스 번호의 제1의 상관 2-튜플(correlation 2-tuple)을 포함시키는 단계 - 상기 비디오 데이터 내의 라이브 음성의 시퀀스 번호가 상기 글로벌 기준 시퀀스 번호이고, 상기 비디오 데이터의 비디오 시퀀스 번호는 상기 글로벌 기준 시퀀스 번호에 따라 결정됨 -; 및
    상기 제1의 상관 2-튜플에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계
    를 포함하는, 비디오 원격 해설 동기화 방법.
  2. 제1항에 있어서,
    상기 해설 음성의 음성 시퀀스 번호와 비디오 시퀀스 번호 간의 대응관계를 결정하는 단계가,
    상기 제1의 상관 2-튜플 내의 글로벌 기준 시퀀스 번호에 따라 해설 음성의 음성 시퀀스 번호를 결정하고, 상기 글로벌 기준 시퀀스 번호와 상기 음성 시퀀스 번호를 포함하는 제2의 상관 2-튜플을 생성하는 것을 포함하는,
    비디오 원격 해설 동기화 방법.
  3. 제2항에 있어서,
    상기 음성 시퀀스 번호 및 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단(video playback end)으로 전송하는 단계가,
    상기 제1의 상관 2-튜플 및 상기 제2의 상관 2-튜플을 비디오 재생단에 전송하는 단계를 포함하는, 비디오 원격 해설 동기화 방법.
  4. 비디오 원격 해설 동기화 방법으로서,
    라이브 비디오를, 해설을 할 비디오 데이터로서 획득하는 단계;
    상기 비디오 데이터로부터 라이브 음성을 추출하고, 상기 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하여, 상기 글로벌 기준 시퀀스 번호에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하는 단계; 및
    상기 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하는 단계와, 상기 제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송하는 단계
    를 포함하는 비디오 원격 해설 동기화 방법.
  5. 제4항에 있어서,
    상기 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하는 것은,
    상기 추출된 라이브 음성을 데이터 슬라이스로 세그먼트화하여 글로벌 기준 시퀀스 번호로서 상기 라이브 음성의 시퀀스 번호를 획득하는 것을 포함하는,
    비디오 원격 해설 동기화 방법.
  6. 비디오 원격 해설 동기화 방법으로서,
    비디오 데이터와, 상기 비디오 데이터에 대응하는 해설 음성을 수신하는 단계 - 상기 비디오 데이터는 비디오 시퀀스 번호를 가지고, 상기 해설 음성은 음성 시퀀스 번호를 가짐 -;
    상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 수신하는 단계; 및
    상기 비디오 데이터가 재생될 때, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하는 단계
    를 포함하고,
    상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 수신하는 단계가, 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 수신하는 단계를 포함하고,
    상기 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하고, 상기 제2의 상관 2-튜플은 상기 글로벌 기준 시퀀스 번호와 상기 음성 시퀀스 번호를 포함하며, 상기 비디오 데이터 내의 라이브 음성의 시퀀스 번호가 상기 글로벌 기준 시퀀스 번호이고, 상기 비디오 데이터의 비디오 시퀀스 번호는 상기 글로벌 기준 시퀀스 번호에 따라 결정되며, 상기 음성 시퀀스 번호도 상기 글로벌 기준 시퀀스 번호에 따라 결정되는,
    비디오 원격 해설 동기화 방법.
  7. 제6항에 있어서,
    둘 이상의 해설 음성 소스가 있는 경우, 상기 비디오 원격 해설 동기화 방법은, 미리 설정된 규칙에 따라 현재 재생되는 해설 음성을 선택하거나 전환하는 단계를 더 포함하는, 비디오 원격 해설 동기화 방법.
  8. 제6항에 있어서,
    상기 비디오 데이터가 재생될 때, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하는 단계가,
    상기 비디오 데이터가 재생될 때 현재 비디오 이미지의 시퀀스 번호를 획득하고, 상기 현재 비디오 이미지의 시퀀스 번호에 대응하는 글로벌 기준 시퀀스 번호를 제1의 상관 1-튜플에 따라 획득하고, 상기 획득된 글로벌 기준 시퀀스 번호에 대응하는 음성 시퀀스 번호를 제2의 상관 2-튜플에 따라 획득하는 단계;
    상기 획득된 글로벌 기준 시퀀스 번호에 대응하는 라이브 음성을 결정하고, 상기 획득된 음성 시퀀스 번호에 대응하는 해설 음성을 결정하는 단계; 및
    상기 현재 비디오 이미지가 재생될 때, 상기 결정된 라이브 음성과 상기 결정된 해설 음성을 재생하는 단계
    를 포함하는, 비디오 원격 해설 동기화 방법.
  9. 단말 장치로서,
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
    을 포함하고,
    상기 복수의 프로그램 모듈은,
    해설을 할 비디오 데이터를 수신하도록 구성된 비디오 수신 유닛;
    상기 비디오 수신 유닛에 의해 수신된 비디오 데이터를 재생하도록 구성된 비디오 재생 유닛;
    해설 음성을 획득하도록 구성된 음성 획득 유닛;
    상기 비디오 수신 유닛에 의해 수신된 비디오 데이터의 비디오 시퀀스 번호를 결정하고, 상기 음성 획득 유닛에 의해 획득된 해설 음성의 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 결정하도록 구성된 시퀀스 번호 결정 유닛; 및
    비디오 재생단이 비디오를 재생하는 동안 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생할 수 있도록, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 상기 비디오 재생단에 전송하도록 구성된 시퀀스 번호 전송 유닛
    을 포함하고,
    상기 비디오 수신 유닛은 구체적으로, 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 포함하는 비디오 데이터를 수신하도록 구성되고, 상기 비디오 데이터 내의 라이브 음성의 시퀀스 번호가 상기 글로벌 기준 시퀀스 번호이고, 상기 비디오 데이터의 비디오 시퀀스 번호는 상기 글로벌 기준 시퀀스 번호에 따라 결정되며,
    상기 시퀀스 번호 결정 유닛은 구체적으로 상기 제1의 상관 2-튜플에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하도록 구성된,
    단말 장치.
  10. 제9항에 있어서,
    상기 시퀀스 번호 결정 유닛은 구체적으로, 상기 제1의 상관 2-튜플 내의 글로벌 기준 시퀀스 번호에 따라 상기 해설 음성의 음성 시퀀스 번호를 결정하고, 상기 글로벌 기준 시퀀스 번호와 상기 음성 시퀀스 번호를 포함하는 제2의 상관 2-튜플을 생성하도록 구성된,
    단말 장치.
  11. 제10항에 있어서,
    상기 시퀀스 번호 전송 유닛은 구체적으로 제1의 상관 2-튜플 및 상기 제2의 상관 2-튜플을 비디오 재생단에 전송하도록 구성된, 단말 장치.
  12. 단말 장치로서,
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
    을 포함하고,
    상기 복수의 프로그램 모듈은,
    라이브 비디오를, 해설을 할 비디오 데이터로서 획득하도록 구성된 비디오 획득 유닛,
    상기 비디오 데이터로부터 라이브 음성을 추출하고, 상기 라이브 음성의 시퀀스 번호를 글로벌 기준 시퀀스 번호로서 사용하여, 상기 글로벌 기준 시퀀스 번호에 따라 상기 비디오 데이터의 비디오 시퀀스 번호를 결정하도록 구성된 시퀀스 번호 결정 유닛;
    상기 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하는 제1의 상관 2-튜플을 생성하도록 구성된 2-튜플 생성 유닛; 및
    상기 제1의 상관 2-튜플을 포함하는 비디오 데이터를 비디오 해설단으로 전송하도록 구성된 2-튜플 전송 유닛
    을 포함하는, 단말 장치.
  13. 제12항에 있어서,
    상기 시퀀스 번호 결정 유닛은, 상기 추출된 라이브 음성을 데이터 슬라이스로 세그먼트화하여 글로벌 기준 시퀀스 번호로서 상기 라이브 음성의 시퀀스 번호를 획득하도록 구성된, 단말 장치.
  14. 단말 장치로서,
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행될 복수의 프로그램 모듈
    을 포함하고,
    상기 복수의 프로그램 모듈은,
    비디오 시퀀스 번호를 가진 비디오 데이터와, 상기 비디오 데이터에 대응하는, 음성 시퀀스 번호를 가진 해설 음성을 수신하고, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계를 수신하도록 구성된 데이터 수신 유닛; 및
    상기 비디오 데이터가 재생될 때, 상기 음성 시퀀스 번호와 상기 비디오 시퀀스 번호 간의 대응관계에 따라 해설 음성을 재생하도록 구성된 재생 유닛
    을 포함하고,
    상기 데이터 수신 유닛이 구체적으로, 제1의 상관 2-튜플 및 제2의 상관 2-튜플을 수신하도록 구성되고,
    상기 제1의 상관 2-튜플은 글로벌 기준 시퀀스 번호와 상기 비디오 시퀀스 번호를 포함하고, 상기 제2의 상관 2-튜플은 상기 글로벌 기준 시퀀스 번호와 상기 음성 시퀀스 번호를 포함하며, 상기 비디오 데이터 내의 라이브 음성의 시퀀스 번호가 상기 글로벌 기준 시퀀스 번호이고, 상기 비디오 데이터의 비디오 시퀀스 번호는 상기 글로벌 기준 시퀀스 번호에 따라 결정되며, 상기 음성 시퀀스 번호도 상기 글로벌 기준 시퀀스 번호에 따라 결정되는,
    단말 장치.
  15. 제14항에 있어서,
    상기 복수의 프로그램 모듈이, 둘 이상의 해설 음성 소스가 있는 경우, 미리 설정된 규칙에 따라 현재 재생되는 해설 음성을 선택하거나 전환하도록 구성된 재생 제어 유닛을 더 포함하는, 단말 장치.
  16. 제15항에 있어서,
    상기 재생 유닛이 구체적으로, 상기 비디오 데이터가 재생될 때 현재 비디오 이미지의 시퀀스 번호를 획득하고, 상기 현재 비디오 이미지의 시퀀스 번호에 대응하는 글로벌 기준 시퀀스 번호를 제1의 상관 1-튜플에 따라 획득하고, 상기 획득된 글로벌 기준 시퀀스 번호에 대응하는 음성 시퀀스 번호를 제2의 상관 2-튜플에 따라 획득하며, 상기 획득된 글로벌 기준 시퀀스 번호에 대응하는 라이브 음성을 결정하고, 상기 획득된 음성 시퀀스 번호에 대응하는 해설 음성을 결정하고, 상기 현재 비디오 이미지가 재생될 때, 상기 결정된 라이브 음성과 상기 결정된 해설 음성을 재생하도록 구성된,
    단말 장치.
  17. 비디오 원격 해설 동기화 시스템으로서,
    통신 가능한 방식으로 서로 연결된 비디오 획득 단말, 해설 단말 및 재생 단말을 포함하고,
    상기 비디오 획득 단말은 청구항 12에 기재된 단말 장치이고,
    상기 해설 단말은 청구항 9에 기재된 단말 장치이며,
    상기 재생 단말은 청구항 14에 기재된 단말 장치인,
    비디오 원격 해설 동기화 시스템.
  18. 제17항에 있어서,
    서버를 더 포함하고,
    상기 서버는 상기 비디오 획득 단말, 상기 해설 단말 및 상기 재생 단말과 개별로 통신 가능하게 연결되어, 상기 비디오 획득 단말과 상기 해설 단말 간에, 또 상기 해설 단말과 상기 재생 단말 간에 데이터를 전달하는,
    비디오 원격 해설 동기화 시스템.
  19. 제17항에 있어서,
    상기 해설 단말이 둘 이상인, 비디오 원격 해설 동기화 시스템.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
KR1020167036174A 2014-06-10 2015-06-10 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치 KR101878279B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410255532.XA CN104135667B (zh) 2014-06-10 2014-06-10 一种视频异地解说同步方法、终端设备,及系统
CN201410255532.X 2014-06-10
PCT/CN2015/081192 WO2015188755A1 (en) 2014-06-10 2015-06-10 Video remote-commentary synchronization method and system, and terminal device

Publications (2)

Publication Number Publication Date
KR20170009981A KR20170009981A (ko) 2017-01-25
KR101878279B1 true KR101878279B1 (ko) 2018-07-13

Family

ID=51808177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036174A KR101878279B1 (ko) 2014-06-10 2015-06-10 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치

Country Status (5)

Country Link
US (1) US9924205B2 (ko)
JP (1) JP6522014B2 (ko)
KR (1) KR101878279B1 (ko)
CN (1) CN104135667B (ko)
WO (1) WO2015188755A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135667B (zh) * 2014-06-10 2015-06-24 腾讯科技(深圳)有限公司 一种视频异地解说同步方法、终端设备,及系统
CN105025314B (zh) * 2015-07-15 2016-11-16 腾讯科技(深圳)有限公司 多媒体直播方法与装置
CN105049912A (zh) * 2015-08-07 2015-11-11 虎扑(上海)文化传播股份有限公司 一种视频信号的处理方法及电子设备
CN113938719A (zh) * 2015-09-25 2022-01-14 深圳市大疆创新科技有限公司 用于视频广播的系统和方法
CN105898605A (zh) * 2016-04-29 2016-08-24 乐视控股(北京)有限公司 一种实现平民解说的方法及装置
CN106101738A (zh) * 2016-07-04 2016-11-09 合网络技术(北京)有限公司 音频播放方法和装置
CN107071502B (zh) * 2017-01-24 2020-04-07 百度在线网络技术(北京)有限公司 视频播放方法和装置
EP3577860B1 (en) * 2017-04-07 2023-07-26 Microsoft Technology Licensing, LLC Voice forwarding in automated chatting
US10237584B2 (en) 2017-04-17 2019-03-19 Sony Interactive Entertainment LLC Real-time incorporation of user-generated content into third-party content streams
CN113965811B (zh) * 2017-12-12 2023-03-28 腾讯科技(深圳)有限公司 播放控制方法和装置、存储介质及电子装置
US11051050B2 (en) 2018-08-17 2021-06-29 Kiswe Mobile Inc. Live streaming with live video production and commentary
US10887646B2 (en) 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
CN109769132B (zh) * 2019-01-15 2021-02-02 北京中视广信科技有限公司 一种基于帧同步的多路远程直播视频解说方法
CN109618178A (zh) * 2019-01-21 2019-04-12 北京奇艺世纪科技有限公司 一种直播方法、装置及系统
CN110392273B (zh) * 2019-07-16 2023-08-08 北京达佳互联信息技术有限公司 音视频处理的方法、装置、电子设备及存储介质
CN110505489A (zh) * 2019-08-08 2019-11-26 咪咕视讯科技有限公司 视频处理方法、通信设备及计算机可读存储介质
CN111477244B (zh) * 2020-04-13 2023-09-22 南京邮电大学 一种面向用户的自定义体育赛事解说增强方法
CN112437316A (zh) * 2020-10-15 2021-03-02 北京三快在线科技有限公司 即时消息与直播视频流同步播放的方法、装置
CN112383794B (zh) * 2020-12-01 2023-10-20 咪咕互动娱乐有限公司 直播方法、直播系统、服务器和计算机存储介质
CN112839235B (zh) * 2020-12-30 2023-04-07 北京达佳互联信息技术有限公司 显示方法、评论发送方法、视频帧推送方法及相关设备
CN113630630B (zh) * 2021-08-09 2023-08-15 咪咕数字传媒有限公司 一种视频解说配音信息的处理方法、装置及设备
CN116506689B (zh) * 2023-06-28 2023-09-26 央视频融媒体发展有限公司 适用于在线视频的多路实时解说智能化实现方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028023A1 (en) * 2006-07-26 2008-01-31 Voicetribe Llc. Sharing commentaries synchronized with video content
KR20120007763A (ko) * 2010-07-15 2012-01-25 에스케이플래닛 주식회사 운동 경기의 중계 방송 제공 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771278B2 (ja) * 1988-07-12 1995-07-31 三菱電機株式会社 パケットテレビ会議端末
JPH09219851A (ja) * 1996-02-09 1997-08-19 Nec Corp 多地点ビデオ会議制御方法及び装置
JPH10210409A (ja) * 1997-01-16 1998-08-07 Sony Corp 半導体メモリを用いた画像および音声記録装置および記録再生装置
JP4089017B2 (ja) * 1997-09-02 2008-05-21 ソニー株式会社 デジタル記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置
US20020122112A1 (en) 1998-04-10 2002-09-05 Raoul Mallart Group-wise video conferencing uses 3d-graphics model of broadcast event
KR100762608B1 (ko) 2004-04-06 2007-10-01 마쯔시다덴기산교 가부시키가이샤 음성 재생 장치, 음성 재생 방법 및 프로그램
JP2008288935A (ja) * 2007-05-18 2008-11-27 Panasonic Corp 音声処理装置
US20090170603A1 (en) * 2007-12-28 2009-07-02 Yahoo! Inc. Sports community commentary
US9055271B2 (en) 2008-03-20 2015-06-09 Verna Ip Holdings, Llc System and methods providing sports event related media to internet-enabled devices synchronized with a live broadcast of the sports event
US8244105B2 (en) * 2008-03-20 2012-08-14 Verna Ip Holdings, Llc Talking replay
JP2010232716A (ja) * 2009-03-25 2010-10-14 Nec Corp ビデオコンテンツ受信装置、コメント交換システム、コメントデータの生成方法およびプログラム
JP5381434B2 (ja) * 2009-07-13 2014-01-08 日本電気株式会社 コンテンツ処理装置
KR101090356B1 (ko) 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
KR101841313B1 (ko) * 2010-09-22 2018-03-22 톰슨 라이센싱 멀티미디어 흐름 처리 방법 및 대응하는 장치
US9729762B2 (en) 2010-10-15 2017-08-08 Thomson Licensing Method for synchronizing multimedia flows and corresponding device
US8744237B2 (en) 2011-06-20 2014-06-03 Microsoft Corporation Providing video presentation commentary
CN102325173B (zh) * 2011-08-30 2013-12-11 重庆抛物线信息技术有限责任公司 一种混音视频共享方法及系统
CN102427507B (zh) * 2011-09-30 2014-03-05 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
CN104135667B (zh) * 2014-06-10 2015-06-24 腾讯科技(深圳)有限公司 一种视频异地解说同步方法、终端设备,及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028023A1 (en) * 2006-07-26 2008-01-31 Voicetribe Llc. Sharing commentaries synchronized with video content
KR20120007763A (ko) * 2010-07-15 2012-01-25 에스케이플래닛 주식회사 운동 경기의 중계 방송 제공 방법 및 시스템

Also Published As

Publication number Publication date
US9924205B2 (en) 2018-03-20
WO2015188755A1 (en) 2015-12-17
CN104135667B (zh) 2015-06-24
JP6522014B2 (ja) 2019-05-29
US20170142451A1 (en) 2017-05-18
CN104135667A (zh) 2014-11-05
JP2017521922A (ja) 2017-08-03
KR20170009981A (ko) 2017-01-25

Similar Documents

Publication Publication Date Title
KR101878279B1 (ko) 비디오 원격 해설 동기화 방법 및 시스템, 그리고 단말 장치
CN106412681B (zh) 弹幕视频直播方法及装置
CN106531177B (zh) 一种音频处理的方法、移动终端以及系统
WO2017008627A1 (zh) 多媒体直播方法、装置和系统
WO2018192415A1 (zh) 数据的直播方法、相关设备及系统
JP6373576B2 (ja) 端末装置及び制御方法
KR101521363B1 (ko) 엔터테인먼트 디바이스들 및 시스템들의 음향 관리를 위한 기술들
WO2016177296A1 (zh) 一种生成视频的方法和装置
CN107360458B (zh) 播放控制方法、装置、存储介质及终端
US9635409B2 (en) Playback device, playback method, and recording medium
JP6626440B2 (ja) マルチメディアファイルを再生するための方法及び装置
WO2017202348A1 (zh) 一种视频播放方法、装置及计算机存储介质
CN103391473B (zh) 一种提供及获取音视频的方法和装置
KR101650804B1 (ko) 미디어 콘텐츠 공유 방법, 단말 장치, 및 콘텐츠 공유 시스템
CN107333162B (zh) 一种播放直播视频的方法和装置
CN106973330B (zh) 一种屏幕直播方法、装置和系统
CN105430424A (zh) 一种视频直播的方法、装置和系统
CN104202614B (zh) 一种基于网络环境调整视频画质的方法及装置
CN108900855B (zh) 直播内容录制方法、装置、计算机可读存储介质及服务器
CN103686246B (zh) 传输流视频选时播放方法、装置、设备及系统
CN106506437B (zh) 一种音频数据处理方法,及设备
CN104159136A (zh) 互动信息的获取方法、终端、服务器及系统
WO2017215661A1 (zh) 一种场景音效的控制方法、及电子设备
CN104036536A (zh) 一种定格动画的生成方法和装置
CN112019929A (zh) 一种音量调节方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant