KR20180050961A - 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치 - Google Patents

멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치 Download PDF

Info

Publication number
KR20180050961A
KR20180050961A KR1020160147633A KR20160147633A KR20180050961A KR 20180050961 A KR20180050961 A KR 20180050961A KR 1020160147633 A KR1020160147633 A KR 1020160147633A KR 20160147633 A KR20160147633 A KR 20160147633A KR 20180050961 A KR20180050961 A KR 20180050961A
Authority
KR
South Korea
Prior art keywords
video
decoder
audio
javascript
decoding
Prior art date
Application number
KR1020160147633A
Other languages
English (en)
Other versions
KR102130429B1 (ko
Inventor
송병인
정승원
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020160147633A priority Critical patent/KR102130429B1/ko
Priority to US15/660,169 priority patent/US20180131741A1/en
Priority to CN201710975751.9A priority patent/CN108076364B/zh
Priority to EP17200312.1A priority patent/EP3319320B1/en
Publication of KR20180050961A publication Critical patent/KR20180050961A/ko
Application granted granted Critical
Publication of KR102130429B1 publication Critical patent/KR102130429B1/ko
Priority to US17/734,229 priority patent/US20220263885A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커로, 음성은 오디오 웹워커로 분류하여 전달하고, 영상 코덱 또는 음성 코덱에 따라 각각 상이한 디코더를 자동으로 선택하여 디코딩을 수행하는 것을 특징으로 한다.

Description

멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치{Method and device for decoding multimedia file}
본 발명은 영상 스트리밍 및 재생에 관한 발명으로, 보다 상세히 플러그인 설치 없이 멀티미디어 장치에서 영상을 볼 수 있도록 지원하는 방법에 관한 것이다.
영상 감시 시스템에서 영상을 원거리 사용자가 웹 브라우저를 통해 보기 위해서는 native code 작성된 코덱 디코더 및 랜더링을 수행하는 개별 프로그램을 ActiveX 또는 NPAPI(Netscape plugin application programming interface) 인터페이스 형식으로 사용해야 가능했다.
그러나 ActiveX 또는 NPAPI 인터페이스는 해커들이 악성 코드를 심는 통로로 사용되면서, 최근 브라우저들이 운영체제에 접근할 수 있는 확장 기술들을 차단하면서 기존에 IE(internet explorer)의 ActiveX나 기타 브라우저들이 지원하는 NPAPI등을 사용할 수 없게 되는 추세이다.
대체 기술로 HTML5에서는 MPEG-DASH같은 기술들은 제안하고 있다. MPEG-DASH의 경우 청크(chunk-by-chunk) 기반으로 잠재적인 초기 지연이 내재해 있는 문제가 있다. 또한 서버 쪽에서 브라우저에서 지원하는 특정 코덱에 특정 파일 컨테이너 포맷으로 보내주어야 하는 불편함이 있다. MPEG-DASH와 관련해서는 ISO/IEC 23009-1 Information technology -Dynamic adaptive streaming over HTTP (DASH) -Part 1: Media presentation description and segment formats 을 참조한다.
또 다른 대체 기술로는 기존 플러그인 코드를 브라우저에서 지원하는 자바스크립트로 구현하는 것이다. 이 경우 H.264 또는 H.265등 다양한 코덱 지원이 가능하나, 자바스크립트의 특성으로 인해, 영상이 커질 경우 처리 속도가 급격히 떨어지는 문제가 있다. 또한 자바스크립트의 특성으로 인해 고해상도와 높은 FPS를 지원하기 어려운 문제가 있다.
US 2012-0317473A1 US 2015-0052219A1
본 발명의 바람직한 일 실시예에서는 종래의 플러그인 기술을 사용하지 않으면서도 대체 기술의 한계점을 개선하고자 한다.
본 발명의 바람직한 일 실시예에서는 고해상도와 높은 fps를 디코딩할 때에는 브라우저에서 지원하는 디코더를 활용함으로써 플러그인 기술을 사용하지 않으면서도 대체 기술의 한계점을 개선하고자 한다.
기존의 영상 송신장비에서는 MPEG-Dash 컨테이너에 영상을 담아 전송하지 않는 경우가 많다. 따라서 클라이언트 쪽에서 브라우저 내장 (built-in) 디코더를 이용한다 해도 영상 송신장비 부분을 수정해야만 하는 문제점이 있다. 본 발명에서는 이러한 호환성을 유지하기 위해 MPEG-Dash 컨테이너를 생성하는 기능을 클라이언트로 옮겨 호환성을 해결할 수 있도록 한다.
자바스크립트 디코더는 초기 지연 시간이 없어 실시간에 강한 장점이 있지만, 성능면에서 브라우저 내장 디코더보다 떨어진다는 단점이 있다. 브라우저 내장 디코더는 성능은 자바스크립트 디코더보다 좋지만, 초기 지연 시간이 있다는 단점이 있다. 본 발명의 바람직한 일 실시예에서는 이러한 특성을 이용하여 자바스크립트 디코더 성능으로 처리할 수 있는 영상인지를 판단하고, 자바스크립트 디코더 또는 브라우저 내장 디코더 중 적합한 디코더를 자동으로 선택하여 영상 재생을 할 수 있도록 한다.
본 발명의 바람직한 일 실시예로서, 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커로, 음성은 오디오 웹워커로 분류하여 전달하는 클라이언트부; 상기 클라이언트부로부터 수신한 영상 또는 상기 영상의 디코딩 속도에 따라 디코딩을 수행할 디코더를 결정 또는 전환하는 비디오웹워커; 및 상기 클라이언트부에서 수신한 음성의 코덱 유형에 따라 자바스크립트 오디오 디코더 또는 오디오태그 내의 브라우저 디코더로 전송하는 오디오웹워커(Audio web worker);를 포함하는 것을 특징으로 한다.
바람직하게, 상기 멀티미디어 수신 장치는 자바스크립트로 작성된 적어도 하나 이상의 자바스크립트 비디오 디코더를 포함하는 제 1 비디오재생부; 및 브라우저 내장 디코더인 비디오 태그를 포함하는 제 2 비디오재생부;를 더 포함하고, 상기 비디오웹워커는 상기 적어도 하나 이상의 자바스크립트 비디오 디코더 중 수신한 영상을 처리하는 자바스크립트 비디오 디코더를 선택하고, 추가로 상기 선택된 자바스크립트 비디오 디코더에서 측정된 상기 수신한 영상의 디코딩 속도가 기설정된 속도보다 늦는 경우 해당 영상을 상기 제 2 비디오재생부로 전송하는 것을 특징으로 한다.
바람직하게, 상기 제 1 비디오재생부는 자바스크립트 비디오 디코더에서 상기 수신한 영상을 디코딩하는 시간을 측정하는 디코딩 시간 측정부;를 더 포함하고, 상기 디코딩 시간 측정부는 측정된 디코딩 시간을 상기 비디오웹워커로 전송하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 상기 멀티미디어 수신 장치는 상기 음성의 코덱 유형에 따라 상기 오디오태그에서 코덱을 지원하지 않는 경우 해당 음성을 디코딩하는 제 1 오디오플레이어;및 상기 음성의 코덱 유형에 따라 상기 오디오태그에서 코덱을 지원하는 경우 해당 음성을 디코딩하는 제 2 오디오플레이어;를 더 포함하고, 이 경우 상기 제 1 오디오플레이어는 상기 자바스크립트 오디오 디코더를 포함하고, 상기 제 2 오디오플레이어는 상기 오디오태그를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 멀티미디어 수신 장치에서 실시간으로 디코딩을 수행하는 방법은 클라이언트부에서 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커로, 음성은 오디오 웹워커로 분류하여 전달하는 단계; 상기 클라이언트부로부터 수신한 영상의 코덱 또는 상기 영상의 디코딩 속도에 따라 비디오웹워커에서 디코딩을 수행할 디코더를 결정 또는 이미 결정된 디코더를 다른 유형의 디코더로 전환하는 단계;및 상기 클라이언트부에서 수신한 음성의 코덱 유형에 따라 오디오웹워커에서 상기 수신한 음성을 자바스크립트 오디오 디코더 또는 오디오태그 내의 브라우저 디코더로 전송하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 멀티미디어 수신 장치는 자바스크립트로 작성된 적어도 하나 이상의 자바스크립트 비디오 디코더를 포함하는 제 1 비디오재생부; 및 브라우저 내장 디코더인 비디오 태그를 포함하는 제 2 비디오재생부;를 더 포함하고, 상기 비디오웹워커에서 상기 적어도 하나 이상의 자바스크립트 비디오 디코더 중 수신한 영상을 처리하는 자바스크립트 비디오 디코더를 선택하는 단계;및 상기 선택된 자바스크립트 비디오 디코더에서 측정된 상기 수신한 영상의 디코딩 속도가 기설정된 속도보다 늦는 경우 해당 영상을 상기 제 2 비디오재생부로 전송하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에서는 멀티미디어 수신장치에서 플러그인 기술을 사용하지 않고도 해상도에 따라 최적화된 디코딩을 지원하는 빠른 디코딩을 지원할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 멀티미디어 수신 장치에서 영상 취득부로부터 영상을 수신하기 위한 시스템을 도시한다.
도 2 내지 3 는 본 발명의 바람직한 일 실시예로서, 디코더를 자동으로 선택하는 멀티미디어 수신장치의 내부 구성도를 도시한다.
도 4는 본 발명의 바람직한 일 실시예로서, 수신한 영상 또는 음성에 따라 멀티미디어 수신장치에서 디코더를 자동으로 선택하는 흐름도를 도시한다.
본 발명에서 이용되는 주요 용어의 설명은 아래와 같다.
* WebGL (https://developer.mozilla.org/ko/docs/Web/API/WebGL_API)
:WebGL (Web Graphics Library)은 플러그인을 사용하지 않고 호환되는 웹 브라우저에서 인터렉티브한 3D와 2D 그래픽을 랜더링하기 위한 자바스크립트 라이브러리이다. 　WebGL은 　HTML5 <canvas> elements에서 사용되는 OpenGL ES 2.0를 따르는 API의 도입을 통해 웹에 3D 그래픽을 제공한다.
* Fragmented MP4
-ISO BMFF Byte Stream Format : W3C　Editor's Draft　20 March 2015 참조
-ISO/IEC 14496-15:2014 Information technology -- Coding of audio-visual objects -- Part 15: Carriage of network abstraction layer (NAL) unit structured video in ISO base media file format 참조
* Emscripten (https://en.wikipedia.org/wiki/Emscripten)
-Emscripten 는 소스-소스 변환 컴파일러로 LLVM 컴파일러를 거처 자바스크립의 서브셋인 asm.js로 변환한다.
* Mpeg-Dash
(https://en.wikipedia.org/wiki/Dynamic_Adaptive_Streaming_over_HTTP)
-ISO/IEC 23009-1 Information technology Dynamic adaptive streaming over HTTP (DASH) ,Part 1: Media presentation description and segment formats 참조
* Video Tag (https://www.w3.org/wiki/HTML/Elements/video)
HTML5에서 지원 하는 영상 플레이 요소.
* Media Source Extensions (https://www.w3.org/TR/media-source/)
Media Source Extensions W3C Candidate Recommendation 05 July 2016 참조
이하에서 본 발명을 도면을 참고하여 설명한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 멀티미디어 수신 장치에서 영상 취득부로부터 영상을 수신하기 위한 시스템을 도시한다.
멀티미디어 수신 장치(300, 301, 303, 305)는 단말기, 스마트폰, 핸드폰, 스마트 와치, 테블릿, PC, 노트북, 핸드헬드 장치 등을 모두 포함한다. 본 발명의 바람직한 일 실시예에서 멀티미디어 수신 장치(300, 301, 303, 305)는 NVR, DVR, 영상 감시 장치, 영상 촬영장치 내지 멀티미디어를 전송하는 단말기(100, 101, 102,103)로부터 인터넷 상에서 전송된 음성 또는 영상을 수신할 수 있다.
도 2 내지 3 는 본 발명의 바람직한 일 실시예로서, 디코더를 자동으로 선택하는 멀티미디어 수신장치의 내부 구성도를 도시한다.
본 발명의 바람직한 일 실시예로서, 도 2 를 참고하면 멀티미디어 수신 장치(200)는 클라이언트부(210), 비디오웹워커(220), 오디오웹워커(230), 제 1 비디오재생부(240), 제 2 비디오재생부(250), 제 1 오디오재생부(260) 및 제 2 오디오재생부(270)를 포함할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 도 3 를 참고하면 멀티미디어 수신 장치(300)는 웹소켓(302), 자바스크립트 Rtsp 클라이언트(310), 비디오웹워커(320), 오디오웹워커(330), 제 1 비디오재생부(340), 제 2 비디오재생부(350), 제 1 오디오재생부(360) 및 제 2 오디오재생부(370)를 포함할 수 있다.
이 경우, 제 1 비디오재생부(340)는 Canvas(341), Web GL(342), 디코딩 시간 측정부(343) 및 자바스크립트 비디오 리코더(344)를 포함한다. 또한 제 1 비디오 재생부(340)의 자바스크립트 비디오 디코더(344)는 Emscripten 를 이용하여 기존 C/C++로 작성된 디코더 소스를 변환하고 브라우저에서 제공하는 최적화 코드(예, asm.js)를 사용할 수 있다.
자바스크립트 비디오 디코더(344)는 복수의 자바스크립트 디코더(345, 346)을 포함할 수 있다. 예를 들어 제 1 자바스크립트 디코더 H.265(345) 내지 제 2 자바스크립트 디코더 H.264(346)을 포함할 수 있다.
제 2 비디오재생부(350)는 비디오 태그(351), MSE(Media Source Extension)(353) 내지 raw h.264 데이터를 mp4 container에 담는 MUX(354)를 포함할 수 있다. 비디오 태그(351)는 브라우저 비디오 디코더(352)를 포함할 수 있다.
제 1 오디오재생부(360)는 웹오디오 API(Web Audio API)(362) 및 자바스크립트 오디오디커더(364)를 포함할 수 있다. 제 2 오디오재생부(370)는 오디오 태그(371)와 MSE(Media Source Extension)(373)을 포함할 수 있다. 이 경우, 오디오 태그(371)는 브라우저 오디오 디코더(372)를 포함할 수 있다.
본 발명의 바람직한 일 실시예에서, 도 2 와 3에서 대응되는 구성요소는 실질적으로 동일 또는 유사한 기능을 수행한다. 이하에서는 각 구성요소에 대해 설명한다.
클라이언트부(210, 310)는 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커(220, 320)로, 음성은 오디오 웹워커(230, 330)로 분류하여 전달한다. 또한, 본 발명의 바람직한 일 실시예에서 클라이언트부(210, 310)는 MPEG-Dash 컨테이너를 생성하는 로직을 포함함으로써, 기존 장비와의 호환성을 유지할 수 있다.
비디오 웹워커(220, 320)는 클라이언트부(210, 310)로부터 수신한 영상의 코덱에 따라 디코딩을 수행할 디코더를 결정한다. 일 실시예로서, 비디오 웹워커(220, 320)는 수신한 영상이 H.264 영상인 경우 제 1 비디오 재생부(240, 340)의 자바스크립트 비디오 디코더(344) 중 제 2 자바스크립트 디코더 H.264(346)로 전송한다. 또한, 수신한 영상이 H.265 영상의 경우 자바스크립트 비디오 디코더(344) 중 제 1 자바스크립트 디코더 H.264(345)로 전송한다.
본 발명의 바람직한 일 실시예로서, 비디오 웹워커(220, 320)는 제 1 비디오 재생부(240, 340)에서 H.264 영상을 제 1 비디오 재생부(240, 340)의 제 2 자바스크립트 디코더 H.264(346)로 전송하였으나, 프레임과 프레임 간의 디코딩 시간이 기설정된 시간보다 길다는 피드백을 제 1 비디오 재생부(240, 340)로부터 수신한 경우, 비디오 웹워커(220, 320)는 제 2 자바스크립트 디코더 H.264(346)에서 해당 영상을 처리하는데 문제가 있다라고 판단하고, 그 이후 들어오는 해당 영상은 제 2 비디오재생부(250, 350)의 브라우저 비디오 디코더(352)로 전환시킨다.
비디오 웹워커(220, 320)는 수신 영상을 제 1 비디오재생부(240, 340) 내의 자바스크립트 디코더(344)에서 디코딩할지 제 2 비디오재생부(250, 350)의 브라우저 비디오 디코더(352)에서 디코딩할지를 결정할 때, 제 1 비디오재생부(240, 340)에서 영상을 디코딩하는 속도에 기초하여 결정할 수 있다. 이 경우, 비디오 웹워커(220, 320)는 제 1 비디오재생부(240, 340)의 디코딩 시간 측정부(343)로부터 측정된 디코딩 속도를 참고할 수 있다.
이 경우, 비디오 웹워커(220, 320)에서 처음에는 멀티미디어 수신 장치의 성능을 고려하여 경판정(hard decision)을 수행하나, 이 후 학습을 통하여 최적의 전환 기준값(threshold)를 찾을 수 있다.
오디오웹워커(Audio web worker)(230, 330)는 클라이언트부(210, 310)에서 수신한 음성의 코덱 유형에 따라 자바스크립트 오디오 디코더(364)가 있는 제 1 오디오재생부(260, 360)로 전송할지 또는 브라우저 오디오 디코더(372)가 있는 제 2 오디오재생부(270, 370)로 전송할지 결정한다.
제 1 오디오재생부(260, 360)는 오디오 태그에서 지원하지 않는 코덱을 자바스크립트 오디오 디코더(364)를 이용하여 디코딩하고 변환되어 나온 PCM 데이터를 Web Audio Api(362)를 이용하여 재생한다. 제 2 오디오재생부(270, 370)는 오디오 태그(371)에서 지원하는 코덱(예, AAC)을 디코딩하여 재생한다. 인터넷상의 전송된 AAC음성은 클라이언트부(210, 310)에서 브라우저 지원 컨테이너에 넣어서 MSE(373)와 오디오태그(371)를 거쳐 디코딩이 이루어진 후 재생된다.
도 4는 본 발명의 바람직한 일 실시예로서, 수신한 영상 또는 음성에 따라 멀티미디어 수신장치에서 디코더를 자동으로 선택하는 흐름도를 도시한다.
본 발명의 바람직한 일 실시예에서, 멀티미디어 수신장치는 멀티미디어 데이터를 수신한 후, 영상은 비디오 웹워커로 음성은 오디오 웹워커로 전달한다(S410).
비디오 웹워커는 영상의 코덱에 따라 해당 영상을 처리할 디코더를 결정한다(S420). 또한, 최초로 디코더가 결정된 이후에도 영상의 디코딩 속도에 따라 비디오 웹워커는 영상의 디코딩을 수행할 디코더를 변경할 수 있다(S430).
본 발명의 바람직한 일 실시예로서, 영상(video)과 음성(audio)은 각각 다음과 같이 처리될 수 있다. 영상의 경우, 자바스크립트 디코더에서 비디오 영상을 입력받아 디코딩을 수행한다. 자바스크립트 디코더에서 비디오 영상을 디코딩시 fps가 기설정된 fps보다 길어지는 경우, 해당 비디오 영상을 내장 비디오 태그 내의 브라우저 디코더에서 처리하도록 전송한다.
또 다른 바람직한 일 실시예로서, 비디오 웹워커는 일정 해상도 이하의 영상은 자바스크립트 디코더에서 처리하고, 일정 해상도를 초과하는 영상은 내장 비디오 태그 내의 디코더에서 디코딩하도록 자동으로 디코더를 선택하여 초기 지연을 해소할 수 있다. 일정해상도의 예로는 1920*1080, 30fps 일 수 있다.
음성의 경우, 입력 오디오의 코덱에 따라 분류하여 디코딩을 수행한다. 바람직한 일 실시예로서, 오디오 코덱이 G11, G76과 같이 브라우저에서 지원하지 않는 코덱인 경우 자바스크립트 디코더에서 디코딩을 수행한다. 또한, 오디오 코덱이 ACC인 경우 내장 오디오 태그 내의 디코더에서 처리하도록 전송한다(S440). 이 후 디코딩이 완료된 영상 또는 음성을 재생한다(S450).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (6)

  1. 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커로, 음성은 오디오 웹워커로 분류하여 전달하는 클라이언트부;
    상기 클라이언트부로부터 수신한 영상의 코덱 또는 상기 영상의 디코딩 속도에 따라 디코딩을 수행할 디코더를 결정 또는 전환하는 비디오웹워커;
    상기 클라이언트부에서 수신한 음성의 코덱 유형에 따라 자바스크립트 오디오 디코더 또는 오디오태그 내의 브라우저 디코더로 전송하는 오디오웹워커(Audio web worker);를 포함하는 것을 특징으로 하는 멀티미디어 수신 장치.
  2. 제 1 항에 있어서, 상기 멀티미디어 수신 장치는
    자바스크립트로 작성된 적어도 하나 이상의 자바스크립트 비디오 디코더를 포함하는 제 1 비디오재생부; 및
    브라우저 내장 디코더인 비디오 태그를 포함하는 제 2 비디오재생부;를 더 포함하고,
    상기 비디오웹워커는 상기 적어도 하나 이상의 자바스크립트 비디오 디코더 중 수신한 영상의 코덱을 처리하는 자바스크립트 비디오 디코더를 선택하고, 추가로 상기 선택된 자바스크립트 비디오 디코더에서 측정된 상기 수신한 영상의 디코딩 속도가 기설정된 속도보다 늦는 경우 해당 영상을 상기 제 2 비디오재생부로 전송하는 것을 특징으로 하는 멀티미디어 수신 장치.
  3. 제 2 항에 있어서, 상기 제 1 비디오재생부는
    자바스크립트 비디오 디코더에서 상기 수신한 영상을 디코딩하는 시간을 측정하는 디코딩 시간 측정부;를 더 포함하고, 상기 디코딩 시간 측정부는 측정된 디코딩 시간을 상기 비디오웹워커로 전송하는 것을 특징으로 하는 멀티미디어 수신 장치.
  4. 제 1 항에 있어서, 상기 멀티미디어 수신 장치는
    상기 음성의 코덱 유형에 따라 상기 오디오태그에서 코덱을 지원하지 않는 경우 해당 음성을 디코딩하는 제 1 오디오플레이어;및
    상기 음성의 코덱 유형에 따라 상기 오디오태그에서 코덱을 지원하는 경우 해당 음성을 디코딩하는 제 2 오디오플레이어;를 더 포함하고, 이 경우
    상기 제 1 오디오플레이어는 상기 자바스크립트 오디오 디코더를 포함하고, 상기 제 2 오디오플레이어는 상기 오디오태그를 포함하는 것을 특징으로 하는 멀티미디어 수신 장치.
  5. 멀티미디어 수신 장치에서 디코딩을 수행하는 방법으로서,
    클라이언트부에서 멀티미디어 데이터를 수신하여 영상은 비디오 웹워커로, 음성은 오디오 웹워커로 분류하여 전달하는 단계;
    상기 클라이언트부로부터 수신한 영상의 코덱 또는 상기 영상의 디코딩 속도에 따라 비디오웹워커에서 디코딩을 수행할 디코더를 결정 또는 이미 결정된 디코더를 다른 유형의 디코더로 전환하는 단계;및
    상기 클라이언트부에서 수신한 음성의 코덱 유형에 따라 오디오웹워커에서 상기 수신한 음성을 자바스크립트 오디오 디코더 또는 오디오태그 내의 브라우저 디코더로 전송하는 단계;를 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서, 상기 멀티미디어 수신 장치는
    자바스크립트로 작성된 적어도 하나 이상의 자바스크립트 비디오 디코더를 포함하는 제 1 비디오재생부; 및
    브라우저 내장 디코더인 비디오 태그를 포함하는 제 2 비디오재생부;를 더 포함하고,
    상기 비디오웹워커에서 상기 적어도 하나 이상의 자바스크립트 비디오 디코더 중 수신한 영상의 코덱을 처리하는 자바스크립트 비디오 디코더를 선택하는 단계;및
    상기 선택된 자바스크립트 비디오 디코더에서 측정된 상기 수신한 영상의 디코딩 속도가 기설정된 속도보다 늦는 경우 해당 영상을 상기 제 2 비디오재생부로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
KR1020160147633A 2016-11-07 2016-11-07 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치 KR102130429B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160147633A KR102130429B1 (ko) 2016-11-07 2016-11-07 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
US15/660,169 US20180131741A1 (en) 2016-11-07 2017-07-26 Adaptive media streaming method and apparatus according to decoding performance
CN201710975751.9A CN108076364B (zh) 2016-11-07 2017-10-19 自适应媒体流传输设备和媒体服务设备
EP17200312.1A EP3319320B1 (en) 2016-11-07 2017-11-07 Adaptive media streaming method and apparatus according to decoding performance
US17/734,229 US20220263885A1 (en) 2016-11-07 2022-05-02 Adaptive media streaming method and apparatus according to decoding performance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160147633A KR102130429B1 (ko) 2016-11-07 2016-11-07 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치

Publications (2)

Publication Number Publication Date
KR20180050961A true KR20180050961A (ko) 2018-05-16
KR102130429B1 KR102130429B1 (ko) 2020-07-07

Family

ID=60269685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160147633A KR102130429B1 (ko) 2016-11-07 2016-11-07 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치

Country Status (4)

Country Link
US (2) US20180131741A1 (ko)
EP (1) EP3319320B1 (ko)
KR (1) KR102130429B1 (ko)
CN (1) CN108076364B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313412B1 (en) 2017-03-29 2019-06-04 Twitch Interactive, Inc. Latency reduction for streaming content replacement
US10397291B1 (en) * 2017-03-29 2019-08-27 Twitch Interactive, Inc. Session-specific streaming content replacement
US10326814B1 (en) 2017-03-29 2019-06-18 Twitch Interactive, Inc. Provider-requested streaming content replacement
CN110620959B (zh) * 2018-06-20 2020-12-25 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置、电子设备、系统及存储介质
EP3818722A1 (en) * 2018-07-05 2021-05-12 Dolby International AB Processing media data structures
CN109151570B (zh) * 2018-10-10 2022-04-01 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
CN109257646B (zh) 2018-10-15 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN110087110B (zh) * 2019-06-12 2021-03-30 深圳市大数据研究院 应用深度搜索动态调控视频播放的方法及装置
CN110225404A (zh) * 2019-06-17 2019-09-10 深圳市正易龙科技有限公司 视频播放方法、终端及计算机可读存储介质
DE102019132173A1 (de) * 2019-11-27 2021-05-27 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zur Konfiguration zur Übertragung von Daten von einem Feldgerät
CN111107428A (zh) * 2019-12-03 2020-05-05 青岛海信传媒网络技术有限公司 一种双路媒体流数据的播放方法及显示设备
CN111356023B (zh) * 2019-12-30 2021-12-24 杭州海康威视数字技术股份有限公司 播放方式确定方法及装置
CN112423117B (zh) * 2020-06-11 2022-12-16 上海哔哩哔哩科技有限公司 Web端视频播放方法、装置及计算机设备
CN112073809B (zh) * 2020-08-09 2022-08-09 富盛科技股份有限公司 一种支持浏览器播放任意编码格式视频的方法
CN112672225A (zh) * 2020-11-24 2021-04-16 北京懿医云科技有限公司 一种流媒体的实时通信方法及装置
CN115460183A (zh) * 2021-06-07 2022-12-09 中移物联网有限公司 基于浏览器的流媒体数据播放方法、装置及相关设备
CN113613044B (zh) * 2021-07-20 2023-08-01 深圳Tcl新技术有限公司 视频播放方法、装置、存储介质及电子设备
CN114745361B (zh) * 2022-03-25 2024-05-14 朗新数据科技有限公司 一种用于html5浏览器的音视频播放方法及系统
CN114866522B (zh) * 2022-07-07 2022-12-02 天津七一二移动通信有限公司 一种多模全网录音录像系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100010935A (ko) * 2007-08-02 2010-02-02 후아웨이 테크놀러지 컴퍼니 리미티드 미디어 서비스 표시 방법, 통신 시스템, 및 관련 장치
US20120317473A1 (en) 2010-12-20 2012-12-13 Pullen Benjamin Allen Media player web service
KR20140025992A (ko) * 2012-08-24 2014-03-05 에스케이플래닛 주식회사 웹 브라우저를 이용한 멀티미디어 플레이어 제공 시스템 및 방법
US20150052219A1 (en) 2011-12-28 2015-02-19 Robert Staudinger Method and apparatus for streaming metadata between devices using javascript and html5
US20160029002A1 (en) * 2014-07-26 2016-01-28 Soeren Balko Platform-agnostic Video Player For Mobile Computing Devices And Desktop Computers

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001261505A1 (en) * 2000-05-11 2001-11-20 University Of Southern California Machine translation techniques
US7349422B2 (en) * 2003-06-03 2008-03-25 Microsoft Corporation Providing contention free quality of service to time constrained data
KR20060105890A (ko) * 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
DE112006003587B4 (de) * 2006-03-06 2017-03-09 Mitsubishi Electric Corp. Abspielvorrichtung für komprimierte codierte Daten und Decodierungs-/Abspielverfahren komprimierter codierter Daten in dieser Vorrichtung
US9712560B2 (en) * 2007-11-05 2017-07-18 Cabara Software Ltd. Web page and web browser protection against malicious injections
US8448090B2 (en) * 2009-01-23 2013-05-21 Hewlett-Packard Development Company, L.P. Selective plug-in activation for resource-limited platforms
US9565318B2 (en) * 2010-10-14 2017-02-07 T-Mobile Usa, Inc. Quality of service adjustments to improve network utilization
CN102761736A (zh) * 2011-04-29 2012-10-31 腾讯科技（深圳）有限公司 视频解码方法和装置
JP2014531142A (ja) * 2011-08-16 2014-11-20 デスティニーソフトウェアプロダクションズ インク スクリプトをベースとするビデオ・レンダリング
EP2767905A1 (en) * 2013-02-15 2014-08-20 Samsung Electronics Co., Ltd Terminal apparatus, server, browser of terminal apparatus operating system and method of operating browser
US9066153B2 (en) * 2013-03-15 2015-06-23 Time Warner Cable Enterprises Llc Apparatus and methods for multicast delivery of content in a content delivery network
EP2819417B1 (en) * 2013-06-24 2020-03-04 Canon Kabushiki Kaisha Method and device for streaming video from a server based on expected usages
US10038922B2 (en) * 2013-07-19 2018-07-31 Sony Corporation Information processing device and method for supplying data of partial images
EP2835982B1 (en) * 2013-08-06 2017-12-20 THEO Technologies A method for playing a media stream in a browser application
US9838760B2 (en) * 2014-12-16 2017-12-05 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for name-based segmented media acquisition and distribution framework on a network
JP6397341B2 (ja) * 2015-01-23 2018-09-26 日本放送協会 受信装置、バッファ管理方法、及びプログラム
US10313765B2 (en) * 2015-09-04 2019-06-04 At&T Intellectual Property I, L.P. Selective communication of a vector graphics format version of a video content item
CN105898295A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技（天津）有限公司 一种播放器解码方法和装置
CN105611379B (zh) * 2016-03-31 2019-03-26 北京金山安全软件有限公司 利用网页浏览器播放视频的方法、装置及电子设备
CN105955800B (zh) * 2016-05-13 2019-06-07 山东大学苏州研究院 一种自适应视频传输系统的容器快速部署方法
US11197010B2 (en) * 2016-10-07 2021-12-07 Microsoft Technology Licensing, Llc Browser-based video decoder using multiple CPU threads

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100010935A (ko) * 2007-08-02 2010-02-02 후아웨이 테크놀러지 컴퍼니 리미티드 미디어 서비스 표시 방법, 통신 시스템, 및 관련 장치
US20120317473A1 (en) 2010-12-20 2012-12-13 Pullen Benjamin Allen Media player web service
US20150052219A1 (en) 2011-12-28 2015-02-19 Robert Staudinger Method and apparatus for streaming metadata between devices using javascript and html5
KR20140025992A (ko) * 2012-08-24 2014-03-05 에스케이플래닛 주식회사 웹 브라우저를 이용한 멀티미디어 플레이어 제공 시스템 및 방법
US20160029002A1 (en) * 2014-07-26 2016-01-28 Soeren Balko Platform-agnostic Video Player For Mobile Computing Devices And Desktop Computers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Thapa Ashish, "HTML5 as a cross-platform for mobile applications development" page 27 (2012.12.31. 공개) 1부.* *
Zhu, Guolei, et al. "HTML5 based media player for real-time video surveillance." Image and Signal Processing (CISP), 2012 5th International Congress on. IEEE,(2012.05.31. 공개) 1부.* *

Also Published As

Publication number Publication date
EP3319320A3 (en) 2018-08-15
US20220263885A1 (en) 2022-08-18
CN108076364B (zh) 2021-03-30
US20180131741A1 (en) 2018-05-10
CN108076364A (zh) 2018-05-25
EP3319320A2 (en) 2018-05-09
KR102130429B1 (ko) 2020-07-07
EP3319320B1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
KR102130429B1 (ko) 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
CN106471574B (zh) 信息处理装置和信息处理方法
KR102087533B1 (ko) 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
US20150062353A1 (en) Audio video playback synchronization for encoded media
KR102520019B1 (ko) 방송 환경들에서의 스피치 인식 애플리케이션들에 대한 스피치 강화
AU2016410930B2 (en) Online television playing method and apparatus
JP6508206B2 (ja) 情報処理装置および方法
JP2020511826A (ja) 電子装置及びその制御方法
KR20150145228A (ko) 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램
JP2021508220A (ja) メディア再生のローディング制御方法、装置及び記憶媒体
US20100104267A1 (en) System and method for playing media file
EP3742747B1 (en) Information processing apparatus and information processing method
US20160295256A1 (en) Digital content streaming from digital tv broadcast
CN107925790B (zh) 接收设备、发送设备和数据处理方法
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
JP2007184899A (ja) ウェブサービス技術を支援するａ／ｖネットワークにおけるコンテンツ再生時の字幕表示方法及びその装置
US20160057468A1 (en) Server device, content providing method, and computer program
KR101124723B1 (ko) 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법
KR100932055B1 (ko) 단말에서 재생 불가한 미디어 제공 시스템 및 방법, 그리고이에 적용되는 서버
CN105120324A (zh) 一种分布式播放器实现方法及系统
RU2690163C2 (ru) Устройство обработки информации и способ обработки информации
US20240086451A1 (en) Information processing apparatus, reception apparatus, information processing method, and storage medium
KR20080081045A (ko) 송신기와 수신기 사이에서 데이터 콘텐츠를 공유하는 방법및 장치
CN116506633A (zh) 一种视频处理方法、装置、电子设备及存储介质
CN116112476A (zh) 一种云桌面的多媒体播放方法、系统、设备及存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant