KR20110065546A - 오디오 및 비디오의 분산 처리 - Google Patents

오디오 및 비디오의 분산 처리 Download PDF

Info

Publication number
KR20110065546A
KR20110065546A KR1020117009986A KR20117009986A KR20110065546A KR 20110065546 A KR20110065546 A KR 20110065546A KR 1020117009986 A KR1020117009986 A KR 1020117009986A KR 20117009986 A KR20117009986 A KR 20117009986A KR 20110065546 A KR20110065546 A KR 20110065546A
Authority
KR
South Korea
Prior art keywords
data
display device
network
signal processing
computer device
Prior art date
Application number
KR1020117009986A
Other languages
English (en)
Other versions
KR101559895B1 (ko
Inventor
알렉스 씨. 챈
고라브 아로라
Original Assignee
어드밴스드 마이크로 디바이시즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 마이크로 디바이시즈, 인코포레이티드 filed Critical 어드밴스드 마이크로 디바이시즈, 인코포레이티드
Publication of KR20110065546A publication Critical patent/KR20110065546A/ko
Application granted granted Critical
Publication of KR101559895B1 publication Critical patent/KR101559895B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4113—PC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

로컬 네트워크(local network)를 통해 디스플레이 장치와 상호 연결되는 장치들간에 오디오 및 비디오 처리 태스크들을 분산시키는 방법이 개시된다. 한 실시예에서는, 처리 성능을 개선하기 위하여 디스플레이 장치가 로컬 네트워크 상의 컴퓨터 장치에 일부 처리 태스크들을 떠넘긴다. 컴퓨터 장치(computing device)는 오디오비주얼(audiovisual) 데이터를 수신하고, 디코딩하고, 처리하고, 인코딩하고, 인코딩된 데이터를 적합한 데이터 포맷으로 디스플레이 장치로 전송한다. 컴퓨터 장치에서의 처리는 디스플레이 장치에서 수행되는 임의의 처리와 상보적이다. 또 다른 실시예에서는, 디스플레이 장치가 특정한 신호 처리 태스크들을 수행하기 위해 로컬 네트워크 상의 복수의 장치들을 이용한다. 네트워크의 다른 장치들은 디스플레이에 의해 지정되는 처리 태스크들을 수행하고, 처리된 데이터를 프리젠테이션(presentation)을 위해 디스플레이 장치로 되돌려 보내는데, 이는 전반적인 오디오비주얼 데이터 처리 성능을 개선하는데 도움이 된다.

Description

오디오 및 비디오의 분산 처리{DISTRIBUTED AUDIO AND VIDEO PROCESSING}
본 발명은 일반적으로 오디오비주얼(audiovisual) 신호의 디지털 처리에 관한 것이며, 더욱 자세하게는 복수의 하드웨어 및 소프트웨어 플랫폼(platform)을 이용한 오디오비주얼 데이터의 분산 처리(distributed processing)에 관한 것이다.
디지털 오디오 및 비디오 자료들에 대한 인기가 높아짐에 따라 디지털로 인코딩된 오디오비주얼 콘텐츠(audiovisual content)를 수신하여, 디코딩하고, 처리하며, 적절한 디스플레이 장치 상에 디스플레이하는 것을 지원하는 다수의 가전 플랫폼(consumer electronic platform)이 이용가능하게 되었다.
가전 플랫폼들에는 개인용 컴퓨터(PC), DVD 플레이어(digital versatile disc player), HD(high-defeinition) DVD 플레이어, 블루-레이(Blu-ray) 플레이어, 디지털 텔레비젼(DTV) 세트, HDTV(high-definition television) 세트 및 셋톱박스(set-top box)가 포함된다. 많은 유형의 수신기들이 RF(radio frequency) 전송 신호, 케이블 텔레비젼 신호, 위성 신호 등을 통해 전송될 수도 있는 데이터를 수신하는데 이용된다.
오디오 및 비디오 콘텐츠는 또한 DVD, HD DVD, 블루-레이 디스크(BD), CD(compact disc) 등과 같은 컴퓨터 판독가능한 매체의 형태로 배포될 수 있다. 또는, 인코딩된 오디오비주얼 데이터가 전화 접속(dial-up link), 광케이블(fiber-optic connection), 동축케이블(coaxial cable), DSL(digital subscriber line) 등을 거쳐 인터넷과 같은 통신 네트워크를 통하여 수신될 수도 있다.
오디오 및 비디오 데이터를 다루는 데에 있어서 디지털 신호 프로세서(digital signal processor, DSP)가 점점 더 보편화되어 왔다. 다양한 전자 장치들 내에 DSP들을 내장하는데 드는 비용이 감소하면서 많은 유형의 데이터, 오디오, 및 비디오 처리 태스크들을 수행가능한 많은 장치들의 출현이 가능하게 되었다.
지금은 보통 서로 다른 제조업체들에서 공급되고 거실이나 가정내 오락실에서 함께 상호 연결되는 외장 모뎀, 라우터, 개인용 컴퓨터, 블루-레이 또는 HD DVD 플레이어 및 디스플레이 장치들을 흔히 볼 수 있다. DVD 플레이어, HD DVD 플레이어, 블루-레이 디스크 플레이어, 셋톱박스와 같은 디코더들이 직접 디스플레이 장치들과 상호 연결될 수도 있다. 디스플레이 장치들에는 흔히 LCD(liquid crystal display)나 DLP(digital light processing)와 같은 평판 디스플레이, CRT(cathod ray tube) 모니터, 플라즈마 디스플레이 및 다른 디지털 TV 세트가 포함된다. 오디오 장치들에는 흔히 S/PDIF, 동축 또는 광커넥터로부터 디지털 오디오를 수신하기 위해 장착된 다양한 TV 세트 및 수신기에서 전형적으로 보게 되는 독립형(stand-alone) 스피커, 빌트인(built-in) 스피커들이 포함된다. DVD 플레이어, HD DVD 플레이어, 블루-레이 디스크 플레이어는 개인용 컴퓨터(PC)의 일부를 형성할 수도 있다.
이들 플랫폼에서는 다양한 오디오 및 비디오 처리 능력의 정도를 볼 수 있다. 예를 들면, PC는 보통 프로세서, 메모리, 오디오 DSP를 가지고 있는 오디오 어댑터 카드(audio adapter card), 및 그래픽 처리 유닛(graphics processing unit, GPU)을 가지고 있는 비디오 그래픽 카드를 포함한다. 프로세서, 오디오 DSP, GPU는 상호 연결되는 블루-레이 드라이브에 탑재된 블루-레이 디스크로부터의 압축된 오디오 및 비디오 데이터를 디코딩할 수도 있다. GPU는 스케일링(scaling) 또는 컬러 스페이스 변환(color space conversion)과 같은 일부 비디오 처리 기능을 수행하는 것이 가능할 수도 있다. 게다가 GPU는 많은 부담이 가는 비디오 디코딩 단계들에 대하여 하드웨어 가속 블록을 제공함으로써 디코딩을 지원할 수도 있다. 오디오 DSP는 톤 처리(tone processing), 이퀄라이제이션(equalization), 3차원 가상화(3D virtualization) 또는 한 오디오 포맷을 다른 포맷으로 트랜스코딩(transcoding)하는 것과 같은 일부 오디오 처리를 수행하는 것이 가능할 수도 있다.
하지만, 특히 하드웨어 가속을 이용할 수 없을 때, PC에서 오디오 및 비디오 디코딩에 요구되는 태스크들의 대부분 또는 전부를 프로세서가 또한 처리할 수 있다. 이는, 예를 들면, 전용 GPU 및/또는 오디오 DSP가 없는 저가의 개인용 컴퓨터의 경우일 수 있다.
PC는 전형적으로 VGA(video graphics array) 케이블을 거쳐 CRT 모니터와 상호 연결된다. 하지만, 대신에 동일한 PC가 DVI(digital visual interface) 케이블, HDMI(high definition multimedia interface) 케이블, 또는 디스플레이포트(DisplayPort) 호환 케이블을 거쳐 첨단 디스플레이 장치들에 연결될 수도 있다. CRT 모니터는 일반적으로 제한된 처리 능력을 가지기 때문에, 디스플레이를 위해 CRT 모니터를 이용하는 경우 본질적으로 모든 비디오 처리를 비디오 소스 장치(video source device)가 전형적으로 수행한다. 유사하게 오디오 데이터는 L/R 출력 및/또는 S/PDIF 호환 인터페이스를 통해 외부 스피커에 제공될 수 있다.
하지만, 다른 유형의 렌더링(rendering) 장치들(예컨대, 디지털 텔레비젼 세트)은 스캔-레이트 변환(scan-rate conversion), 인터레이싱(interlacing), 디-인터레이싱(de-interlacing), 노이즈 감소(noise reduction), 스케일링(scaling), 컬러 보정(color correction), 콘트라스트 보정(contrast correction), 감마 보정(gamma correction), 선명도 향상(sharpness enhancement), 에지 향상(edge enhancement) 및 프레임 레이트 변환(frame rate conversion)과 같은 그 자신만의 비디오 처리 능력을 가질 수 있다. 이 경우에, 적어도 일부 처리는 디스플레이 장치에서 수행될 수 있다. 소스 또는 싱크(sink) 장치에서 수행될 수 있는 오디오 처리 태스크들에는 볼륨 조정(volume adjustment), 스피커 밸런싱(speaker balancing), 3차원 가상화(3D virtualization), 베이스/트레블(bass/treble) 제어, 자동 볼륨 레벨링(automatic volume leveling), 및 음향 이퀄라이제이션(sound equalization)이 포함된다.
불행하게도, 복수의 플래폼들에서 처리 능력이 이용가능할 때에는(즉, 소스 및 싱크 장치들 모두에서), 이들 능력은 항상 효율적으로 이용되는 것이 아닐 수 있다. 예를 들면, 디지털 텔레비젼에서 거의 모든 오디오 및 비디오 처리 요구조건들이 수행될 것이 요구되는 PC에 있어서 디지털 텔레비젼 세트에 연결되는 PC는 거의 또는 아예 오디오 및 비디오 처리를 수행하지 않을 수 있다. 반대로, PC가 디스플레이 장치에서 이용가능한 어쩌면 우월한 이미지 처리 알고리듬을 이용하지 않고, 거의 모든 처리 태스크들을 수행할 수도 있다. 분명히, 이러한 배치에서는 소스(예컨대, PC)와 싱크(예컨대, DTV) 장치들 모두에서 이용가능할 수 있는 프로세서, GPU, 오디오 DSP 등의 가용 처리 능력을 최대한 이용하지 못한다.
이런 이유로, PC와 디스플레이 장치들과 같이 복수의 상호 연결되는 플랫폼들의 처리 능력을 효율적으로 이용하게 할 수 있는 방법에 대한 필요성이 있다.
로컬 네트워크(local network)를 통해 디스플레이 장치와 상호 연결되는 장치들 간에 비디오 및 오디오 처리를 분산시키는 방법은 로컬 네트워크 내에서 디스플레이 장치와 나머지 장치들 간에 데이터 교환을 위한 네트워크 전송 프로토콜(network transfer protocol)과 데이터 포맷(data format)을 결정하는 것을 수반한다. 로컬 네트워크 내의 장치들 중 하나는 외부 네트워크에 있는 비디오 서버로부터 또는 DVD 플레이어와 같은 로컬 소스로부터 오디오비주얼 입력을 수신할 수 있다. 디스플레이 장치는 로컬 네트워크 상의 적어도 하나의 장치로 하여금 적어도 하나의 신호 처리 기능을 수행하게 하고 처리된 데이터를 결정된 전송 프로토콜 및 데이터 포맷을 이용하여 디스플레이 장치에 프리젠테이션(presentation)하기 위해 디스플레이 장치에 제공하게 함으로써 오디오 및 비디오 처리를 분산시킬 수 있다. 디스플레이 장치를 포함하여 로컬 네트워크 상의 다양한 장치들에서 수행되는 처리 태스크들은 상보적이다. 본 방법은 로컬 네트워크 상의 다양한 장치들 내에서 놀고 있는 처리 능력이 비디오 및 오디오 처리를 위해 효율적으로 이용되게 해준다.
본 발명의 한 양상에 따라, 로컬 네트워크를 통해 컴퓨터 장치(computing device)와 상호 연결되는 디스플레이 장치 상에 프리젠테이션하기 위하여, 컴퓨터 장치에서 수신된 오디오비주얼 입력 데이터를 처리하는 방법이 제공된다. 본 방법은 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것과 컴퓨터 장치에서 지원되는 네트워크 전송 프로토콜들 중 선택된 하나와 컴퓨터 장치에서 지원되는 데이터 포맷들 중 선택된 하나를 이용할 것을 지시하는 명령들을 디스플레이 장치로부터 수신하는 것을 포함한다. 본 방법은 또한 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 제1 신호 처리 기능을 수행하는 것, 외부적으로 처리되는 데이터를 선택된 데이터 포맷으로 인코딩하는 것, 그리고 선택된 데이터 포맷의 외부적으로 처리되는 데이터를 로컬 네트워크 상에서 선택된 네트워크 전송 프로토콜을 이용하여 전송하는 것을 포함한다.
본 발명의 또 다른 양상에 따라, 로컬 네트워크를 통해 컴퓨터 장치와 상호 연결되는 디스플레이 장치를 이용하여 컴퓨터 장치에서 수신된 오디오비주얼 입력 데이터를 처리하고 프리젠테이션하는 방법이 제공된다. 본 방법은 외부적으로 처리되는 데이터를 형성하기 위해 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 오디오비주얼 입력 데이터에 수행할 것; 외부적으로 처리되는 데이터를 데이터 포맷으로 인코딩할 것; 및 상기 데이터 포맷의 외부적으로 처리되는 데이터를 로컬 네트워크 상에서 네트워크 전송 프로토콜을 이용하여 상기 디스플레이로 전송할 것을 컴퓨터 장치에 명령하는 것을 포함한다. 본 방법은 상기 데이터 포맷의 외부적으로 처리되는 데이터를 디스플레이 장치에서 수신하는 것; 수신된 외부적으로 처리되는 데이터에 제2 신호 처리 기능을 수행하는 것; 및 수신된 외부적으로 처리되는 데이터를 디스플레이 장치 상에 프리젠테이션하는 것을 더 포함한다.
본 발명의 또 다른 양상에 따라, 로컬 네트워크를 통해 컴퓨터 장치와 상호 연결되는 디스플레이 장치를 이용하여 오디오비주얼 입력 데이터를 처리하는 방법이 제공된다. 본 방법은 선택된 전송 프로토콜과 데이터 포맷을 이용하여 오디오비주얼 입력 데이터를 디스플레이 장치에서 수신하는 것을 포함한다. 본 방법은 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터의 일부분을 수신하여 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 그 일부분에 수행할 것; 및 외부적으로 처리되는 데이터를 상기 데이터 포맷으로 인코딩하여 디스플레이 장치로 전송할 것을 컴퓨터 장치에 명령하는 것을 더 포함한다. 본 방법은 상기 전송 프로토콜과 데이터 포맷을 이용하여 컴퓨터 장치로 일부분을 전송하는 것; 및 컴퓨터 장치로부터 외부적으로 처리되는 오디오비주얼 데이터를 받아들여 프리젠테이션하는 것을 더 포함한다.
본 발명의 또 다른 실시예에 따라, 로컬 네트워크를 통해 컴퓨터 장치와 상호 연결을 위한 네트워크 인터페이스 및 디스플레이 화면과 통신하는 제어 회로를 포함하는 디스플레이 장치가 제공된다. 디스플레이 장치는 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 제1 신호 처리 기능을 수행할 것을 컴퓨터 장치에 명령하도록 동작가능하다. 제1 신호 처리 기능은 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적이다. 디스플레이 장치는 외부적으로 처리되는 데이터를 선택된 데이터 포맷으로 인코딩할 것과 상기 데이터 포맷의 외부적으로 처리되는 데이터를 로컬 네트워크 상에서 선택된 네트워크 전송 프로토콜을 이용하여 디스플레이 장치로 전송할 것을 컴퓨터 장치에 명령하도록 또한 동작가능하다. 디스플레이 장치는 상기 데이터 포맷의 외부적으로 처리되는 데이터를 수신하고; 수신된 외부적으로 처리되는 데이터에 제2 신호 처리 기능을 수행하고; 수신된 외부적으로 처리되는 데이터를 디스플레이 장치 상에 프리젠테이션하도록 또한 동작가능하다.
본 발명의 또 다른 실시예에 따라, 로컬 네트워크를 통해 디스플레이 장치와의 상호 연결을 위한 네트워크 인터페이스 및 메모리와 통신하는 프로세서를 포함하는 컴퓨터 장치가 제공된다. 컴퓨터 장치는 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것; 컴퓨터 장치에서 지원되는 네트워크 전송 프로토콜과 데이터 포맷을 이용할 것을 지시하는 명령을 디스플레이 장치로부터 수신하도록 동작가능하다. 컴퓨터 장치는 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 제1 신호 처리 기능을 수행하도록 또한 동작가능하다. 컴퓨터 장치는 외부적으로 처리되는 데이터를 상기 데이터 포맷으로 인코딩하도록 또한 동작가능하다. 뿐만 아니라 컴퓨터 장치는 상기 데이터 포맷의 외부적으로 처리되는 데이터를 로컬 네트워크 상에서 네트워크 전송 프로토콜을 이용하여 전송하도록 또한 동작가능하다.
동반되는 도면들과 결합하여 본 발명의 특정 실시예들에 대한 아래의 설명을 검토한다면 본 발명의 다른 양상들과 다른 특징들은 당해 기술분야의 통상의 기술을 가진자들에게 명백하게 될 것이다.
도면들은 본 발명의 실시예들을 오로지 예로서만 예시하는 것이다.
도 1은 디스플레이 장치가 네트워크를 통해 오디오 및 비디오 콘텐츠 제공자(content provider)와 통신하는 개인용 컴퓨터 장치와 상호 연결되는 예시적인 배치에 대한 도식(schematic diagram)이다.
도 2는 도 1의 컴퓨터 장치와 디스플레이 장치들 내의 다양한 블록들을 상세히 도시한 도식이다.
도 3은 도 2에서 도시된 컴퓨터 장치 중 GPU 내의 다양한 블록들에 대한 도식이다.
도 4는 도 2에서 도시된 컴퓨터 장치 중 오디오 프로세서 내의 다양한 블록들에 대한 도식이다.
도 5는 본 발명의 예시적인 실시예들에서 도 1의 컴퓨터 장치와 디스플레이 장치 간의 데이터 전송을 도시한 논리적인 데이터 흐름도이다.
도 6은 본 발명의 예시적인 실시예들에서 도 1의 컴퓨터 장치와 디스플레이 장치 내의 논리적 개체들을 도시한 도식이다.
도 7은 2개의 디스플레이 장치들과 컴퓨터 장치의 또 다른 예시적인 배치에 대한 도식이며, 이들은 네트워크를 통해 오디오 및 비디오 서버로부터 수신된 오디오 및 비디오 데이터를 협동적으로 처리하도록 상호 연결되어 있다.
도 8은 오디오 및 비디오 데이터를 협동적으로 처리하기 위하여 도 7에서 도시된 배치가 추가의 장치들을 포함하도록 확장되는 또 다른 예시적인 실시예에 대한 도식이다.
도 1은 디스플레이 장치(102)의 간략화된 블록도를 예시한 것이며, 로컬 네트워크(118)를 이용하여 개인용 컴퓨터 장치(104)와 상호 연결되어 있다. 임의적으로, 컴퓨터 장치(104)는 또한 디스플레이 장치(102)와 상호 연결되기 위하여 적합한 오디오/비디오 링크(110)를 추가적으로 이용할 수 있다. 컴퓨터 장치(104)는 게이트웨이(gateway) 장치(112) 및 인터넷과 같은 데이터 통신 네트워크(106)를 통해 오디오 및 비디오 서버(108)와 통신한다. 네트워크(106)는 IP(internet protocol) 네트워크일 수도 있고, 또는 비슷한 유형의 원거리 네트워크(wide area network, WAN)일 수도 있다. 이와 같이, 디스플레이 장치(102)는 컴퓨터 장치(104)를 통해 네트워크(106)(예컨대, 인터넷)로부터 오디오/비디오 콘텐츠를 요청하여 수신한다.
게이트웨이 장치(112)는 동축 케이블, DSL(digital subscriber line), 광링크(fiber-optic link) 등일 수 있는 데이터 라인(116)을 종단시키는 모뎀(modem)/라우터(router) 장치일 수 있다. 따라서 데이터 라인(116)은 장치(112)와 네트워크(106) 간의 데이터 전송을 가능하게 해준다. 장치(112)는 모뎀이 데이터 라인(116)을 상호 연결하거나 종단시키고, 라우터가 네트워크 케이블(114)을 이용하여 컴퓨터 장치(104)를 상호 연결하는 식으로, 라우터와 상호 연결되는 별도의 모뎀의 조합으로 임의적으로 구성될 수 있다. 네트워크 케이블(114)은 이더넷(Ethernet) 케이블일 수도 있다. 이해될 수 있는 바와 같이, 도 1에 도시된 배치와 같은 네트워킹된 환경에서는, 디지털 콘텐츠(예컨대, 압축된 오디오 및 디지털 비디오)가 디지털 콘텐츠 서버(예컨대, 오디오 및 비디오 서버(108))로부터 클라이언트 장치(예컨대, 컴퓨터 장치(104))에 쉽게 수신될 수 있다. 디지털 콘텐츠는 다운로드(download), 스트리밍(streaming), FTP 등을 통하여 장치(104)에 수신될 수 있다. 더욱 일반적으로, 오디오비주얼 신호들은 위성 수신기, 디지털 지상파 수신기, 동축 케이블 등을 통하여 수신될 수 있다. 게다가, 블루-레이(Blu-ray), HD DVD 또는 DVD 플레이어와 같은 로컬 비디오 소스에서 디스플레이 장치(102) 상에 프리젠테이션될 오디오비주얼 콘텐츠가 비롯될 수도 있다.
디스플레이 장치(102)는 디지털 디스플레이 장치일 수도 있다. 예를 들면, 디스플레이 장치(102)는 HDTV(high definition television) 세트와 같은 디지털 텔레비젼(DTV)일 수도 있다. 따라서, 링크(110)는 DVI(digital visual interface) 케이블, HDMI(high definition multimedia interface) 케이블 또는 디스플레이포트(DisplayPort) 호환 케이블일 수도 있다.
오디오 및 비디오 처리는 네트워크(118) 상의 복수의 장치들로 분산될 수 있다. 앞서 언급된 것처럼, 네트워크(118) 상의 서로 다른 장치들간에 서로 다른 오디오/비디오 처리 능력이 존재할 수 있기 때문에 오디오/비디오 분산 처리(distributed processing)가 바람직하다.
본 발명의 예시적인 실시예들에서는, 오디오 및 비디오 처리 태스크들이 오디오/비디오 데이터뿐만 아니라 제어 데이터의 교환을 위해 네트워크(118)를 이용하여 장치들(예컨대, 장치(102)와 장치(104))간에 분산될 수 있다. 아래에서 자세히 다루게 될 것처럼, 예시적인 장치들(장치(102)와 장치(104)와 같은)은 그들 간에 오디오 및 비디오 데이터의 처리의 분산을 위한 데이터 교환 메카니즘(data exchange mechanism)을 수립하고 조정하기 위하여 네트워크(118)를 이용할 수 있다. 따라서, 데이터 교환 조정을 위해 네트워크(118)를 이용하면서, 오디오 및 비디오 데이터는 디스플레이 장치(102)에서 부분적으로 처리될 수 있고, 컴퓨터 장치(104)에서 부분적으로 처리될 수 있으며, 궁극적으로 장치(102) 상에 프리젠테이션될 수 있다.
도 2는 컴퓨터 장치(104)와 디스플레이 장치(102)의 간략화된 블록도를 예시한 것이다. 컴퓨터 장치(104)는 프로세서(200)를 포함하며, 이 프로세서(200)는 AMD® 사의 x86 계열 마이크로 프로세서들과 호환되는 마이크로프로세서와 같은 보편적인 중앙 처리 장치(cental processing unit, CPU)일 수도 있다. 하지만, 프로세서(200)는 또한 PowerPC, Intel 사의 x86 또는 다른 아키텍처(architecture)일 수도 있다. 프로세서(200)는 집적된 인터페이스 회로(204, 206)를 통하여 시스템 메모리 블록(210) 및 주변 장치들과 상호 연결된다.
집적된 인터페이스 회로(204, 206)는 보통 각각 노스 브리지(North Bridge)와 사우스 브리지(South Bridge)로 지칭되고, 주변 장치들 및 메모리(210)에 대한 프로세서(200)의 인터페이스를 제공한다. 도시된 것처럼, 인터페이스 회로(204)는 그래픽 어댑터 카드(202), 시스템 메모리 블록(210) 및 인터페이스 회로(206)와 프로세서(200)를 상호 연결한다. 사우스 브리지(인터페이스 회로(206))는 차례로 네트워크 인터페이스 카드(NIC)(208), 드라이브(212), 오디오 어댑터(218)(즉, 사운드 카드) 및 다른 저속 주변 장치들(미도시됨)과 상호 연결된다.
그래픽 처리 장치(graphics processing unit, GPU)(240)는 어댑터 카드(202)의 일부를 형성한다. GPU(240)는 예를 들면 미국, 캘리포니아, 서니베일(Sunnyvale)의 Advanced Micro Devices Inc. 사가 현재 공급하는 ATI Radeon™ 계열의 그래픽 프로세서들 중 하나일 수 있다. 고속 확장 버스는 PCIe(Peripheral Component Interconnect Express) 버스일 수 있다. 다른 실시예들에서는, GPU(240)는 컴퓨터 장치(104)의 마더보드(motherboard) 상에 형성된 집적된 그래픽 포트의 일부일 수도 있는데, 이 경우에는 그래픽 어댑터 카드(202)는 존재할 필요가 없다.
오디오 디지털 신호 프로세서(DSP)(214)는 오디오 어댑터(218)의 일부를 형성할 수 있다. 오디오 어댑터(218)는 장치(104) 내의 PCIe 고속 확장 버스와 상호 연결되는 PCIe 호환 사운드 카드일 수도 있다. DSP(214) 외에도, 오디오 어댑터(218)는 버스 인터페이스 회로, 필터들, 디지털-아날로그 변환기(digital-to-analog converter), 증폭기 등을 포함할 수 있다.
디스플레이 장치(102)는 제어 회로(230), 디스플레이 화면(228), 스피커(232)와 같은 처리 회로를 포함할 수 있다. 회로(230)는 수신된 오디오 및 비디오 데이터를 디코딩할 수 있고, 디코딩된 오디오 및 비디오 데이터를 처리할 수 있으며, 네트워크 인터페이스를 제공할 수 있다. 회로(230)는 처리된 비디오 데이터와 오디오 데이터를 각각 출력하기 위해 디스플레이 화면(228) 및 스피커(232) 모두와 상호 연결될 수 있다.
회로(230)는 주문형 반도체(applicaton specific integrated circuit, ASIC)로서 형성될 수도 있다. 회로(230)는 예를 들면 미국, 캘리포니아, 서니베일의 Advanced Micro Devices Inc. 사가 현재 공급하는 Xilleon™ 계열의 디지털 비디오 프로세서들 중 하나를 포함할 수도 있다. 회로(230)는 MPEG 디코더일 수 있는 디코더(224), 메모리(242), 이더넷 컨트롤러(Ethernet controller)일 수 있는 네트워크 인터페이스(246) 및 스캔-레이트 변환(scan-rate conversion), 인터레이싱(interlacing), 디인터레이싱(de-interlacing), 노이즈 감소(noise reduction), 스케일링(scaling), 컬러 보정(color correction), 콘트라스트 보정(contrast correction), 감마 보정(gamma correction), 선명도 향상(sharpness enhancement), 에지 향상(edge enhancement), 프레임 레이트 변환(frame rate conversion) 등을 책임지는 여러가지 서브-블록들(sub-blocks)(미도시됨)을 차례로 포함할 수 있는 이미지 프로세서(220)를 포함할 수 있다.
회로(230)는 또한 오디오 데이터를 처리하기 위한 오디오 프로세서(216)를 포함할 수 있고, 오디오 디코딩(audio decoding), 볼륨(volume), 밸런스(balance), 톤 조정(tone control), 이퀄라이제이션(equalization), 샘플링 레이트 변환(sampling rate conversion), 지연(delay), 동기화(synchronization) 등을 책임지는 블록들을 포함할 수 있다.
앞서 언급된 것처럼, 디스플레이 장치(102)와 컴퓨터 장치(104)는 로컬 네트워크(118)에 의해 상호 연결될 수 있다. 로컬 네트워크(118)는 상호 연결되는 장치들 간에 양방향 오디오비주얼 데이터를 교환할 수 있기에 충분한 대역폭을 갖는 임의의 종류의 데이터 통신 네트워크일 수 있다. 로컬 네트워크(118)는 유선 또는 무선일 수 있다.
네트워크(118)는 예를 들면 IP 네트워크일 수도 있다. 네트워크(118)를 구현하기 위해 이더넷(Ethernet), 블루투스(Bluetooth) 또는 와이파이(Wi-Fi)와 같은 임의의 알려진 물리 계층(physical layer)이 이용될 수 있다. 또는 독점적 통신 프로토콜이 이용될 수도 있다. 많은 대안들이 물론 가능하다. 로컬 네트워크(118) 외에도 장치(102)와 장치(104)는 또한 HDMI 케이블일 수도 있는 링크(110) 또는 예컨대 USB 링크일 수도 있는 링크(244)와 같은 추가적인 링크들에 의해 임의적으로 상호 연결될 수도 있다.
도 3은 장치(102) 내의 개별 블록들에 대한 더욱 상세한 도식을 도시한 것이며, 이들 블록들은 전형적으로 GPU(240) 내에 구현된다. 이들 블록은 들어오는 비디오를 디코딩하고 처리하는데 이용된다. 블록들에는 디코더(302), 스케일링 블록(324), 디인터레이스 블록(332), 프레임 레이트 변환기(frame rate converter, FRC)(320), 컬러 스페이스 변환(color space conversion, CSC) 블록(328), 노이즈 감소 블록(326)이 포함된다.
디코더(302)는 디코더(224)(도 2)와 유사한 MPEG 디코더일 수 있고 가변 길이 디코더(variable length decoder, VLD)(312), 역양자화(inverse quantization, IQ) 블록(314), 역이산 코사인 변환기(inverse cosine transformer, IDCT)(316), 움직임 보상(motion compensation, MC) 블록(318), 로컬 메모리(306) 등과 같은 복수의 서브-블록들을 차례로 포함할 수 있다.
동작에 있어서, 인코딩된 오디오비주얼 데이터가 NIC(208)를 통하여 네트워크(106)를 거쳐 콘텐츠 서버(108)로부터 컴퓨터 장치(104)에 수신될 수 있다. 또는, 오디오 및 비디오 콘텐츠가 들어있는 블루-레이 디스크(BD) 또는 HD DVD 디스크와 같은 적합한 매체가 드라이브(212)에 탑재될 수도 있다. 따라서 장치(104)는 디스크로부터 인코딩된 데이터를 읽고, 처리하여 장치(102)로 전송할 수 있다.
오디오 및 비디오 서버(108)와 같은 디지털 오디오 및 비디오 콘텐츠 서버들은 전형적으로 전화 접속 라인들과 같은 저속 연결들을 수반하는 것들을 포함하여 많은 유형의 네트워크들(및 클라이언트 장치들)을 대상으로 한다. 전형적으로 이들 오디오 및 비디오 서버는 오디오비주얼(AV) 콘텐츠를 전송하기 전에 클라이언트 장치들과 전송 속도에 관해 협의(negotiate)하지 않는다. 따라서 비디오 데이터는 항상 최상의 가능한 비트 레이트(bit rate)로 서비스 내지는 제공되는 것은 아니다. 대신에, 전형적으로 대상 클라이언트 장치들 중 가장 강력하지 못한 장치가 이 비디오 또는 오디오 스트림을 디코딩하여 출력할 수 있게 하는 낮은 해상도 및/또는 프레임 레이트로 AV 스트림이 제공된다. 예를 들면, 각 프레임의 해상도는 320x240 픽셀들로 제한될 수 있거나, 또는 비트 레이트가 384kbit/s 근처로 제한될 수 있다. 결과적으로 오디오비주얼 스트림들은 아주 낮은 비트 레이트로 서버(108)로부터(네트워크(106)을 거쳐) 컴퓨터 장치(104)에 수신될 수 있다.
게다가, 전형적으로 인터넷으로부터의 오디오비주얼 콘텐츠는 흔히 이용가능한 운영체제(operating system)들을 탑재한 범용 CPU를 이용하는 개인용 컴퓨터와 같은 소수의 하지만 흔한 플랫폼에서만 디코딩가능한 포맷으로 전송된다. 이러한 비디오를 디코딩하는데 필요한 툴들(tools)은 하드웨어 디코더(hard-wired decoder)들을 가진 디스플레이 장치들과 같은 다른 플랫폼들 상에서는 쉽게 이용가능하지 않을 수 있다. 예를 들면, CNN.com 이나 Youtube.com과 같은 인터넷 상에서 콘텐츠 스트림을 제공하는 인기 오디오 및 비디오 서비스 웹사이트는, 전형적으로 독점적 응용프로그램(예컨대, 플래쉬 비디오에 대한 Adobe Flash® Player 소프트웨어)에 의해서만 디코딩될 수 있는 플래쉬 비디오(Flash Video, FLV), QuickTime, 또는 DivX 포맷으로 그 콘텐츠를 제공한다. 하지만, Adobe Flash Player는 윈도우즈(Windows®) 및 맥OS(MacOS®), 리눅스(Linux) 및 유닉스(UNIX®)와 같은 흔한 운영체제들이 돌아가는 컴퓨터 장치들에서는 어디에서나 있는 것이지만, 현재의 디지털 텔레비젼 세트 및 다른 디스플레이 장치들에서는 쉽게 구현되지 않는다. 회로(230)와 같은 디지털 텔레비젼 세트의 회로들은 전형적으로 돌비 디지털 AC3(Dolby Digital AC3) 오디오 또는 MPEG 인코딩된 오디오 및 비디오 데이터를 감싸는 MPEG 트랜스포트 스트림(MPEG TS)과 같은 표준화된 스트림 포맷들의 오디오 및 비디오 데이터를 수신하도록 맞춰져 있다.
장치(104)에 수신된 오디오 또는 비디오 스트림과 디스플레이 장치(102)에서 예상되는 입력 포맷 간의 이러한 포맷의 비호환성은 트랜스코딩(transcoding)에 의해 해결될 수 있다. 따라서, 컴퓨터 장치(104)는 하나의 포맷(예컨대, 매크로미디어(Macromedia) FLV)으로 스트림을 수신하는 프록시(Proxy)로서 역할할 수 있고 그 스트림을 또 다른 포맷(예컨대, MPEG 트랜스포트 스트림)으로 트랜스코딩할 수 있다. 이는 디스플레이 장치(102)(디지털 텔레비젼 세트일 수 있음)가 컴퓨터 장치(104)에 의해 출력되는 MPEG TS를 수신하고, 처리하여, 그 화면(228) 상에 디스플레이할 수 있게 해준다. 사실상, 장치(104)가 수신된 스트림을 먼저 디코딩하고, 디코딩된 비디오 및 오디오 데이터를 장치(102)에서 예상되는 포맷으로 인코딩한다.
아주 낮은 비트 레이트를 달성하기 위하여, 원시(raw) 오디오 및 비디오 데이터는 보통 전송 전에 서버(108)에서 고도로 압축되고 인코딩된다. 불행하게도, 이러한 고도의 압축된 데이터 스트림들은 디코딩되고 디스플레이되었을 때 아주 현저한 비디오 및 오디오 아티팩트(artifact)를 유발한다. 이들 아티팩트에는 블록키 프레임들(blocky frames)(매크로블록들의 경계가 눈에 보임), 모스키토 노이즈(mosquito noise), 낮은 프레임 레이트, 모노 오디오(mono audio) 등이 포함된다.
시각적인 왜곡은 PIP(picture-in-picture)나 PIG(picture-in-graphics) 프리젠테이션을 위한 비디오가 전체 화면 디스플레이를 위해 스케일링될 때 더욱 심하게 나타날 수 있다. 장치(104)로부터 수신된 MPEG TS를 디코딩하는 것 외에도, 디스플레이 장치(102)는 이러한 스트림들이 전체 화면으로 보여질 때 스케일링, 필터링, 노이즈 감소, 에지 향상, 아니면 디스플레이되는 이미지를 개선하기 위한 비디오 처리 능력을 충분히 활용할 것이 요구될 수 있다. 유사하게 동기화, 이퀄라이제이션 등과 같은 오디오 처리 기능들이 장치(102)에서 수행될 수 있다.
불행하게도, 장치(102)와 같은 임의의 한 장치의 디스플레이/오디오 처리 용량은 처리 회로(예컨대, 회로(230))의 최대 동작 속도 뿐만 아니라 유한한 메모리 양(예컨대, 메모리(242))에 의해 제한된다. 이와 같이, 충분히 이용될 때조차도, 회로(230)는 적시에 재생하기 위해 수신된 오디오비주얼 스트림을 적절히 처리하기에 충분히 강력하지 않을 수 있다.
따라서, 본 발명의 예시적인 실시예에서는, 컴퓨터 장치(104)가 필수적인 오디오 및/또는 비디오 처리 태스크들을 적어도 부분적으로 수행하도록 디스플레이 장치(102)를 지원하는데 이용될 수 있다. 다시 말해, 디스플레이 장치(102)는 처리 태스크들의 일부를 컴퓨터 장치(104)에 떠넘길 수 있다.
이를 위해, 디스플레이 장치(102)와 컴퓨터 장치(104) 간에 신뢰성있는 데이터 교환 메카니즘이 바람직하다. 컴퓨터 장치(104)와 디스플레이 장치(102) 간의 이러한 데이터 교환을 위한 물리적 매체(physical medium)는 로컬 네트워크(118)에 의해 이용가능하게 된다. 앞서 언급된 것처럼, 로컬 네트워크(118)는 장치(102)와 장치(104) 간의 임의의 통신 링크일 수 있다. 예를 들면, 로컬 네트워크(118)는 802.3i, 802.3u와 같은 IEEE 이더넷 표준에 부합하는 유선 링크 또는 블루투스나 802.11a에 부합하는 무선 링크를 이용하여 구현되는 IP 네트워크일 수 있다.
컴퓨터 장치(104)와 디스플레이 장치(102)는 UPnP(Universal Plug and Play) 표준과 호환될 수 있다. UPnP AV 아키텍처, 버전 1.0(UPnP AV Architecture, Version 1.0)에서 미디어 서버(예컨대, PC, DVD 플레이어)로부터 미디어 렌더러(media renderer)(예컨대, TV, 디스플레이, 스피커)로 미디어 콘텐츠(예컨대, 영화, 사진, 음악)의 흐름을 이용가능하게 하는 아키텍처 프레임워크(architectural framework)가 서술되어 있으며, 그 내용은 본 명세서에서 참조하여 원용한다. 게다가, 로컬 네트워크(118)을 통한 데이터 교환은 UPnP 표준을 이용하는 DLNA(Digital Network Living Alliance) 가이드라인을 토대로 할 수 있다.
UPnP 호환 장치들은 IP 프로토콜 계층 상의 UDP 또는 TCP 프로토콜 계층 위에서 돌아가는 하이퍼-텍스트 전송 프로토콜(hyper-text transfer protocol, HTTP)상에서 메세지들을 교환한다. IP 계층은 물론 이더넷, 블루투스 등과 같은 많은 유형의 물리 계층 및 데이터 링크 계층들 상에서 구현될 수 있다.
편리하게도, 로컬 네트워크(118)와 상호 연결되는 네트워크 인터페이스(246)를 가진 디스플레이 장치(102)와 같은 네트워킹이 가능한 디스플레이 장치는 하드웨어 변경없이도 UPnP 표준에 부합하도록 쉽게 조정될 수 있다. UPnP는 TCP/IP, HTTP, XML과 같은 개방형 표준 프로토콜(open standard protocol)을 이용하기 때문에, 로컬 네트워크(118)는 네트워크 케이블(예컨대, 이더넷 케이블), 무선 라디오(radio frequency, RF), 전화선, 전력선 등과 같은 임의의 적합한 유선 또는 무선 매체를 활용할 수 있다.
UPnP에 따르면, 데이터 교환은 소스 장치(미디어 서버), 싱크 장치(미디어 렌더러), 및 제어 포인트(control point)를 수반한다. 제어 포인트는 임의의 특정 콘텐츠 데이터 포맷이나 전송 프로토콜과는 독립적이고, 미디어 서버와 미디어 렌더러 간의 콘텐츠 데이터 전송을 조정한다. 제어 포인트, 미디어 서버, 미디어 렌더러는 모두 논리적 개체들이다. 일반적으로, 이들 개체는 별도의 장치들에서 각각 구현될 수 있지만, 그 대신에 필요에 따라 하나 이상의 물리적 장치들에 결합되어 구현될 수 있다. 따라서, 예를 들면, 제어 포인트와 미디어 렌더러는 모두 디스플레이 장치(102)와 같은 단일 장치 상에서 구현될 수 있는 반면, 미디어 서버는 컴퓨터 장치(104) 상에서 구현될 수 있다. 다른 실시예들에서는, 제어 포인트와 미디어 서버는 단일 장치 상에서 구현될 수도 있다. 앞서 인용된 UPnP 아키텍처 문서에서 제시된 것처럼, 이와 같이 다양한 배치들이 가능하다.
UPnP 장치들은 서비스들을 가지고 있는데, 이들 서비스는 상태 변수들과 역할들을 정의한다. UPnP 네트워크 내의 제어 포인트는 몇 가지 태스크들을 수행한다. 이들 태스크에는 네트워크 상의 다른 장치들을 찾는 것, 원하는 콘텐츠의 위치를 파악하는 것, 콘텐츠를 프로토콜에 매치(match)시키기 위하여 지원되는 프로토콜들을 식별하는 것, 장치들을 설정하는 것, 원하는 콘텐츠를 선택하고 콘텐츠 전송을 개시하는 것, 마지막으로 세션(session)이 끝난 후에 정리(clean up)하는 것이 포함된다.
주어진 UPnP 장치들의 각 서비스는 상태 변수들이 바뀌면 이벤트 메세지들을 전송하여 업데이트들을 발행(publish)한다. 제어 포인트는 이 이벤트 메세지들을 통해 이 정보를 수신하기 위해 구독(subscribe)할 수 있다. 이벤트 메세지들은 상태 변수들의 이름들과 그 변수들의 현재 값을 가지고 있다. 복수의 제어 포인트들을 지원하기 위해, 모든 이벤트 메세지들이 모든 구독자(subscriber)들에게 전송되고 구독자들은 이벤트들과 관련된 모든 상태 변수들에 대한 이벤트 메세지들을 수신한다.
한 예시적인 실시예에서는, 로컬 네트워크(118)가 컴퓨터 장치(104)와 디스플레이 장치(102)를 상호 연결하는 이더넷 근거리 네트워크일 수 있다. 제어 포인트는 디스플레이 장치(102)의 일부로서 형성될 수 있다. 제어 포인트는 또한 컴퓨터 장치(104) 상에서 형성될 수 있다. 이와 같이 컴퓨터 장치(104)와 디스플레이 장치(102)는 인증(authentication), 비디오 배치(video placement), 미디어 위치(예컨대, URL) 특정 등을 위해 UPnP 프로토콜을 통해 서로 통신한다.
제어 포인트 외에도, 디스플레이 장치(102)와 컴퓨터 장치(104) 각각은 미디어 렌더러 및/또는 미디어 서버를 구현할 수 있고, 이는 디스플레이 장치(102)와 컴퓨터 장치(104)가 동시에 데이터를 전송하고 수신할 수 있게 해준다. 따라서 미디어 서버 소프트웨어 구성요소가 탑재된 컴퓨터 장치(104)는 네트워크(106)(예컨대, 인터넷)로부터 수신되어 트랜스코딩된 비디오 데이터를 디스플레이 장치(102)로 전송할 수 있다.
반대로, 디스플레이 장치(102)에서 실행되는 미디어 서버 구성요소(미도시됨)가 컴퓨터 장치(104)로부터 수신된 비디오 데이터를 컴퓨터 장치(104)의 미디어 렌더러 구성요소로 되돌려 전송하여 처리되도록 할 수 있고, 그럼으로써 일부 비디오 처리 단계들을 떠넘길 수 있다.
도 5는 본 발명의 한 예시적인 실시예에서 컴퓨터 장치(104)와 디스플레이 장치(102)에서 실행되는 미디어 서버와 미디어 렌더러 구성요소들 간의 데이터 전송을 도시한 논리적 데이터 전송도이다.
도시된 것처럼, 장치(104)와 장치(102)는 그들의 처리 능력을 교환한다(502, 506). 이를 위하여, 장치(104)는 디스플레이 장치(102)에서 검색(retrieval)할 수 있도록 지원되는 전송 프로토콜들과 데이터 포맷들의 리스트를 특정할 수 있다. 다음으로 디스플레이 장치(102)가 장치(102)와 장치(104) 간의 데이터 교환을 위한 특정 전송 프로토콜과 데이터 포맷을 선택할 수 있다.
뿐만 아니라 장치(102)는 장치(104)에게 예컨대 MPEG 블록 아티팩트 감소와 같은 특정의 오디오 또는 비디오 처리 태스크를 수행하도록 명령할 수 있다(504). 이는, 예를 들면, MPEG 블록 아티팩트 감소 기능이 장치(104)에서 우월하다면 발생할 수 있다. 물론 장치(104)에서 수행되는 오디오 또는 비디오 신호 처리 기능들은 처리된 데이터가 장치(102)에서 수신되면 디스플레이 장치(102)에서 수행될 임의의 신호 처리 기능들과 상보적일 것이다.
장치(102)는 오디오비주얼 데이터를 요청(request)할 수 있다(510). 장치(104)는 어느 오디오 또는 비디오 처리 태스크들을 수행할 지에 대한 명령들을 수신할 수 있다(508). 장치(104)는 또한 데이터 요청(request for data)을 수신할 수 있다(512). 장치(104)는 비디오 및 오디오 서버(108)로부터 데이터를 수신할 수 있고(514) 그 전에 협의된 처리 태스크(예컨대, MPEG 블록 아티팩트 감소 및 요구되는 데이터 포맷으로 데이터를 제공하기 위해 필요한 임의의 트랜스코딩)를 수행할 수 있다.
컴퓨터 장치(104)는 네트워크(106)로부터 데이터를 받아들여(예컨대, 인터넷으로부터 FLV로 인코딩된 AV), 수신된 데이터를 디코딩하고 처리하고, 처리된 데이터를 장치(102)에서 예상되는 포맷으로 인코딩할 수 있다. 그런 다음 컴퓨터 장치(104)는 인코딩된 데이터를 장치(102)로 전송할 수 있다(518). 앞서 언급된 것처럼, 그 데이터는 MPEG 트랜스포트 스트림(MPEG TS)로 전송될 수 있다.
그런 다음, 장치(104)는 MPEG 포맷으로 인코딩된 데이터를 디스플레이 장치(102)로 전송할 수 있다(518). 그런 다음 디스플레이 장치(102)는 오디오비주얼 콘텐츠를 추출하기 위해 일부 내부적인 처리를 수행할 수 있다. 디스플레이 장치(102)에서 수행될 수 있는 수신된 비디오 데이터의 내부적 처리에는 예컨대 수신된 MPEG 스트림의 디코딩이 포함된다. 디스플레이 장치(102)는 추가적으로 상보적인 처리를 수행한 후 처리된 데이터를 디스플레이할 수 있다(520).
언급된 것처럼, 디스플레이 장치(102)는 UPnP 호환일 수 있고 제어 포인트를 구현할 수 있다. 디스플레이 장치(102)의 제어 포인트는 미디어 서버로부터 미디어 렌더러로 콘텐츠를 전송하기 위하여 전송 프로토콜 및 데이터 포맷을 결정한다. 예시적인 전송 프로토콜들에는 IEEE-1394, HTTP GET, RTSP/RTP 등이 포함되고, 예시적인 데이터 포맷들에는 MPEG2, MPEG4, MP3, WMA, JPEG 등이 포함된다. 또는 제어 포인트가 장치(104)에 속하거나 장치(104) 및 장치(102)와 통신하는 또 다른 장치에 속할 수도 있다.
컴퓨터 장치(104) 또는 디스플레이 장치(102)에서 수행되는 처리는 디코딩, 필터링, 노이스 감소, MPEG 블록 아티팩트 감소, 스케일링, 디인터레이싱, 스캔 레이트 변환, 컬러 보정, 콘트라스트 보정, 감마 보정, 선명도 향상, 에지 향상, 프레임 레이트 변환 등을 포함하는 보통의 디지털 비디오 신호 처리 태스크들 중 임의의 것일 수 있다. 오디오와 관련된 다른 태스크들에는 톤 처리, 이퀄라이제이션, 3차원 가상화, 또는 한 오디오 포맷으로부터 다른 것으로의 트랜스코딩이 포함될 수 있다.
대체 실시예들에서는, 컴퓨터 장치(104)와 디스플레이 장치(102) 간의 데이터 교환이 이더넷 네트워크를 통해 이루어질 필요는 없다. 오히려 임의의 네트워크 매체와 프로토콜이 이용될 수 있다. 게다가, 전력선, 블루투스, 와이파이, 파이어와이어(IEEE 1394), 적외선(intrared) 등의 상에서 수립되는 임의의 상호 연결이 UPnP 네트워크를 설정하는데 이용될 수 있다.
도 6은 디스플레이 장치(102)와 컴퓨터 장치(104)에서 실행되는 예시적인 논리적 UPnP 개체들을 예시한 것이다. 디스플레이 장치(102)와 컴퓨터 장치(104)에는 동일한 물리적 장치 상에서 모두 실행되는 미디어 서버 구성요소, 제어 포인트 및 미디어 렌더러 구성요소를 포함하는 UPnP 호환 소프트웨어가 탑재될 수 있다.
따라서, 도시된 것처럼, 디스플레이 장치(102)는 UPnP 미디어 렌더러(102-2)와 UPnP 제어 포인트(102-3)를 가질 수 있다. 유사하게, 컴퓨터 장치(104)는 미디어 서버(104-1)로서 역할할 수 있다. 장치(104)는 임의적으로 미디어 서버와 제어 포인트를 포함할 수 있고, 동시에 장치(102)도 또한 임의적으로 미디어 렌더러를 포함할 수 있다(명확히 예시안됨). 미디어 렌더러는 미디어 서버(논리적 소스 장치)로부터 오디오비주얼 데이터를 받아들이는 논리적인 싱크 장치이다.
미디어 렌더러(102-2) 및 미디어 서버(104-1)의 처리 능력들과 관련된 데이터를 수신한 후에(602), 제어 포인트(102-3)는 오디오비주얼 데이터 교환을 위한 네트워크 전송 프로토콜과 데이터 포맷을 정할 수 있고(604), 미디어 렌더러(102-2)와 미디어 서버(104-1) 간에 처리 태스크들을 나눌 수 있으며(606), 이에 따라 수행될 신호 처리 명령들을 전송할 수 있다(608).
미디어 서버(104-1)는 UPnP 호환 요구조건들과 일치하는 디스플레이 장치(102)에서 검색할 수 있도록 컴퓨터 장치(104)에서 지원되는 전송 프로토콜들과 데이터 포맷들의 리스트를 명시할 수 있다.
그러면 제어 포인트에 의해 선택된 데이터 포맷과 네트워크 전송 프로토콜은 당연히 미디어 서버와 렌더러 모두에서 지원될 것이다. 일단 선택되면, 그 데이터 포맷과 네트워크 전송 프로토콜은 주어진 세션 내내 미디어 렌더러(102-2)와 미디어 서버(104-1) 간에 데이터를 교환하는데 이용될 수 있다.
그 뒤에, 장치(104)가 예컨대 게이트웨이 장치(112)로부터 오디오비주얼 입력 데이터를 수신할 수 있고(614), 수신된 오디오비주얼 콘텐츠에 미디어 서버(104-1)가 엑세스할 수 있도록 설정한다. 따라서, 미디어 서버(104-1)는 수신된 오디오 및 비디오 데이터를 엑세스할 수 있고, 데이터를 처리하고(616), 트랜스코딩할 수 있으며(선택된 데이터 포맷으로), 합의된 전송 프로토콜을 이용하여 네트워크(118)를 통해 장치(102)로 데이터를 전송할 수 있다(618).
미디어 서버(104-1)는 각 콘텐츠 아이템에 대하여 하나 이상의 전송 프로토콜과 데이터 포맷을 지원할 수 있고 또는 주어진 콘텐츠 아이템의 포맷을 즉시(on the fly) 다른 포맷으로 변환하는 것이 가능할 수 있다. 예를 들면, 미디어 서버(104-1)가 FLV 포맷으로 데이터를 수신하고, 처리하며, 처리된 데이터를 MPEG 트랜스포트 스트림 포맷으로 인코딩하거나 트랜스코딩하여, 그것을 미디어 렌더러(102-2)(즉, 디스플레이 장치(102))로 전송할 수 있다.
물론 장치(104)(즉, 미디어 서버(104-1))가 PC일 필요는 없다. 대신에 장치(104)는 VCR, CD/DVD 플레이어, 주크박스(jukebox), 디지털 카메라, 캠코더, PC, 셋톱박스, 위성 수신기, 디지털 지상파 수신기, 오디오 테이프 플레이어 등일 수 있다.
언급된 것처럼, 제어 포인트(102-3)는 미디어 서버(104-1)로부터 미디어 렌더러(102-2)로 오디오비주얼 데이터 콘텐츠를 전송하는데 이용되는 전송 프로토콜 및 데이터 포맷을 결정할 수 있다(604). 예시적인 전송 프로토콜들에는 IEEE-1394, HTTP GET, RTSP/RTP 등이 포함되고, 예시적인 데이터 포맷에는 MPEG2, MPEG4, MP3, WMA, JPEG 등이 포함된다. 제어 포인트(102-3)는 장치(104)로부터 장치(102)로의 데이터 전송이 완료되었다는 것을 표시하는 이벤트와 같은 이벤트들을 수신할 수 있다.
컴퓨터 장치(104)로/로부터의 데이터 전송을 위한 네트워크 전송 프로토콜(예컨대, HTTP GET) 및 데이터 포맷(예컨대, MPEG)을 결정하거나 선택한 후에, 디스플레이 장치(102)는 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 적어도 하나의 신호 처리 기능(예컨대, MPEG 블록 아티팩트 감소)을 수행할 것; 외부적으로 처리되는 데이터를 선택된 데이터 포맷으로 인코딩할 것; 그리고 선택된 네트워크 전송 프로토콜을 이용하여 협의된 데이터 포맷으로 처리된 데이터를 전송할 것을 컴퓨터 장치(104)에게 명령할 수 있다. 그런 다음 디스플레이 장치(102)는 외부적으로 처리되는 데이터(즉, 장치(104)에서 처리되는)를 수신하여 디스플레이 장치(102) 상에 프리젠테이션할 수 있다.
디스플레이 장치(102)가 컴퓨터 장치(104)에게 수행하도록 명령할 수 있는 처리 기능(예컨대, MPEG 블록 아티팩트 감소)은 디스플레이 장치(102) 자신이 수행할 수 있는 다른 처리 기능들(예컨대, 디인터레이싱, 컬러 스페이스 변환, 콘트라스트 보정, 감마 보정, 선명도 향상 및 에지 향상)과 상보적일 수 있다. 즉, 디스플레이 장치(102)는 일부 처리 기능들을 떠넘김으로써 수신된 스트림에 상보적인 처리 기능들을 수행할 수 있다.
예를 들면, 디스플레이 장치(102)는 장치(104)에게 오디오비주얼 데이터를 MPEG 스트림으로 트랜스코딩하여 전송하기 전에 MPEG 블록 아티팩트 감소를 수행하도록 명령함으로써 관찰될 수도 있는 블록키 아티팩트(blocky artifact)를 제거하기 위한 필터링을 떠넘길 수 있다. 따라서 디스플레이 장치(102)는 UPnP 소스(미디어 서버(104-1))에게 이미 처리된 오디오비주얼 데이터(예컨대, MPEG 블록키 아티팩트 감소가 수행된)를 UPnP 싱크(미디어 렌더러(104-2))로 전송할 것을 명령하기 위하여 UPnP 제어기(제어 포인트(102-3))를 이용할 수 있다. 데이터 포맷을 일치시키는데 필수적일 수 있는 트랜스코딩 외에도, 적어도 하나의 신호 처리 태스크가 장치(104)로 떠넘겨질 수 있다. 마지막으로, 미디어 렌더러(104-2)가 처리된 데이터를 수신하여 렌더링할 수 있다(610).
MPEG 스트림으로 인코딩된 외부적으로 처리되는 데이터를 수신하면, 미디어 렌더러(102-2)는 디스플레이될 픽쳐들(pictures)(데이터의 필드(field)들이나 프레임들)을 형성하기 위하여 디코더(224)를 이용하여 수신된 MPEG TS를 디코딩할 수 있다.
미디어 서버(104-1)와 미디어 렌더러(102-2)는 각각 미디어 서버(102-1) 또는 미디어 렌더러(104-2)에서의 상태 변화를 제어 포인트(102-3)에게 알려주기 위하여 제어 포인트(102-3)로 이벤트 통지(notification)들을 전송할 수 있다.
오디오비주얼 데이터를 받으면, 미디어 렌더러(102-2)는 필터링, 노이즈 감소, 프레임 레이트 변환 등과 같은 임의의 추가적인 이미지 처리 태스크를 수행하기 위하여 프로세서(200) 및/또는 GPU(240)를 이용할 수 있다.
대체 실시예들에서는, 장치(102)에서 수신된 데이터의 일부분이 추가의 처리를 위해 장치(104)(또는 로컬 네트워크(118) 상의 또 다른 장치)로 되돌려 전송될 수 있고, 그런 다음 프리젠테이션을 위해 장치(102)에서 다시 수신될 수 있다. 따라서 처리할 데이터를 전송하기 위하여 또 다른 UPnP 미디어 서버 인스턴스(instance)가 장치(102)에 존재할 수 있고, 데이터 교환을 조정하는 해당 제어 포인트 뿐만 아니라, 데이터를 수신하기 위해 UPnP 미디어 렌더러의 해당 인스턴스가 장치(104)(또는 네트워크(118) 상의 또 다른 장치)에 존재할 수 있다. 그렇지만 다른 서버, 렌더러 및 제어 포인트 인스턴스들이 또한 외부적으로 처리되는 데이터를 장치(102)로 되돌려 전송하기 위하여 존재할 수 있다. UPnP 미디어 서버들은 복수의 미디어 렌더러들과 동시에 연결될 수 있고, 미디어 서버(104-1)가 장치(102)로 복수의 스트림들을 전송하기 위해 임의적으로 이용될 수 있다.
대체 실시예들에서는, 복수의 장치들이 수신된 비디오 스트림을 처리하는데 협력할 수 있다. 도 7은 본 발명의 또 다른 예시적인 실시예에 대한 간략화된 블록도를 도시한 것이다. 도 7에 도시된 배치는 도 1에 도시된 실시예와 유사하다. 따라서 비슷한 구성요소들은 도 7의 것들과 도 1의 해당 구성요소들을 구별하는데 이용되는 작은따옴표(')를 붙여 유사한 라벨로 표시된다. 도시된 것처럼, 2개의 디스플레이 장치들(702A, 702B)(개별적이고 총괄적인 디스플레이 장치들(702))이 적합한 로컬 네트워크(118'), 비디오 링크(110') 또는 다른 임의적 링크(244')를 이용하여 개인용 컴퓨터 장치(104')와 상호 연결된다. 컴퓨터 장치(104')는 인터넷과 같은 데이터 통신 네트워크(406)를 통해 비디오 서버(408)와 통신한다. 디스플레이 장치들(702A, 702B)은 링크(710)에 의해 서로 연결될 수 있다.
디스플레이 장치들(702A, 702B)은 첨단 디스플레이 장치들(예컨대, DTV 또는 디지털 HDTV)일 수 있다. 비디오 링크(110')는 도 1의 비디오 링크(110)와 실질적으로 동일할 수 있다. 디스플레이 장치들(702A, 702B)은 제어 회로들(704A, 704B), 디스플레이 화면들(706A, 706B) 및 스피커들(704A, 704B)과 같은 처리 회로를 각각 포함할 수 있다. 회로들(704A, 704B)은 비디오 데이터를 디코딩하고 처리할 수도 있다.
회로들(704A, 704B)은 주문형 반도체(application specific integrated circuit, ASIC)로 형성될 수 있다. 회로(704A)와 회로(704B)는 서로 다른 처리 능력과 내부 메모리를 가질 수 있다. 구체적으로 회로(704B)가 회로(704A)보다 더 강력할 수도 있다. 예를 들면, 회로(704A)는 Xilleon-240™ 디지털 비디오 프로세서일 수 있는 반면 회로(704B)는 Xilleon-260™ 디지털 비디오 프로세서일 수 있고, 둘 다 미국, 캘리포니아, 서니베일의 Advanced Micro Devices Inc. 사가 공급한다.
회로들(704A, 704B) 각각은 MPEG 디코더 블록과, 스캔 레이트 변환, 인터레이싱, 디인터레이싱, 노이즈 감소, 스케일링, 컬러 보정, 콘트라스트 보정, 감마 보정, 선명도 향상, 에지 향상, 프레임 레이트 변환 등의 기능들 중 하나 이상을 책임지는 이미지 처리 블록을 가질 수 있다.
동작에 있어서, 회로(704A)의 처리 능력(또는 메모리 크기)은 장치(104')로부터 디스플레이(702A)로 수신된 비디오 스트림을 적시에 처리하지 못하게 할 수 있다. 따라서, 도 7에 도시된 실시예에서는, 디스플레이 장치(702A)가 필수적인 비디오 처리 태스크들 중 적어도 일부를 수행하는 것을 지원하기 위해 디스플레이 장치(702B)가 이용될 수 있다. 다시 말해, 디스플레이 장치(702A)가 그 처리 태스크들 중 일부를 디스플레이 장치(702B)에 떠넘길 수 있다.
특히, 회로(704B)가 회로(704A)보다 더 강력할 수 있기 때문에, 회로(704A)가 필터링, 노이즈 감소, 디인터레이싱 또는 프레임 레이트 변환과 같은 일부 처리 태스크들을 회로(704B)에 떠넘기고 그 자신은 다른 태스크들(예컨대, 스케일링)을 수행한다면 도 7의 배치의 전반적인 성능은 개선될 수 있다.
링크(710)는 이더넷 링크일 수 있고, 이더넷 링크는 디스플레이 장치들(702A, 702B) 간의 UPnP AV 호환되는 통신을 위해 이용될 수 있다. 이 통신은 인밴드(in-band)일 수 있는(표준 UPnP 제어 프로토콜을 이용) 반면, 데이터의 전송은 아웃오브밴드(out-of-bance)일 수 있다(비-UPnP 전송 프로토콜을 이용).
구체적으로 도 5와 도 6에서 도시된 데이터 및 신호의 교환들이 디스플레이 장치들(702A, 702B) 간에 발생할 수 있으며, 여기서 디스플레이 장치들(702A, 702B)는 각각 디스플레이 장치(102) 및 컴퓨터 장치(104)와 유사한 역할을 수행할 수 있다.
대체 실시예들에서는, 비디오 처리 태스크들이 도 7에 도시된 3개의 장치들, 즉 컴퓨터 장치(104'), 디스플레이 장치(702A) 및 디스플레이 장치(702B) 모두로 분산될 수 있다. 이 경우에 디스플레이 장치(702A)는 비디오 처리 태스크들 중 제1 부분을 컴퓨터 장치(104')에 떠넘기고 제2 부분을 디스플레이 장치(702B)에서 처리되도록 보낸다. 분산시키지 않았다면 놀고 있었을 컴퓨터 장치(104')와 디스플레이 장치(702B)의 가용 처리 능력을 활용함으로써 상기 배치의 전반적인 효율성이 개선될 것이다.
구체적으로, 디스플레이 장치(702A)는 오디오비주얼 데이터를 수신하여 이 오디오비주얼 데이터의 적어도 일부분을 내부적으로 처리할 수 있다. 그런 다음 디스플레이 장치(702A)는 컴퓨터 장치(104') 또는 디스플레이 장치(702B)로 오디오비주얼 데이터의 일부분을 전송할 수 있으며, 컴퓨터 장치(104') 또는 디스플레이 장치(702B)는 전송된 데이터의 일부분을 받아들여, 처리하고 외부적으로 처리되는 데이터(즉, 장치(702A)의 외부에서 처리되는)를 출력할 수 있다. 그런 다음 디스플레이 장치(702A)는 외부적으로 처리되는 비디오 데이터를 수신하여 디스플레이 화면 상에 프리젠테이션할 수 있다.
이해될 수 있는 바와 같이, 도 7의 배치는 필요에 따라 비디오 및 오디오 처리 태스크들을 공유하는 N개의 장치들로 확장될 수 있다. 앞서 서술된 UPnP 아키텍처는 복수의 장치들과 이용되도록 쉽게 확장가능하다.
이에 따라, 도 8은 이더넷 네트워크를 통해 상호 연결되는 컴퓨터 장치(104")와 N개의 네트워킹된 장치들(802-1, 802-2, 802-3, …, 802-N)(개별적이고 총괄적인 장치들(802))의 도식을 도시한 것이다. 컴퓨터 장치(104")는 데이터 통신 네트워크(106)(예컨대, 인터넷)를 통하여 오디오 및 비디오 서버(108)와 통신한다. 장치(802-1)는 복수의 스피커들(804A, 804B, 804C, 804D)(개별적이고 총괄적인 장치들(804))과 상호 연결될 수 있다. 도시된 것처럼, 장치들(802)에는 개인용 컴퓨터들, 랩톱들(laptops), 디스플레이 장치들 등이 포함될 수 있다.
동작에 있어서, 도 7에서 도시된 실시예에 대해 서술된 것과 유사한 방식으로 UPnP를 이용하여 오디오비주얼 콘텐츠가 컴퓨터 장치(104")에서 수신되어 트랜스코딩되고 디스플레이 장치(802-1)로 전송될 수 있다. 그런 다음 장치(802-1)는 비디오 처리를 위해 수신된 오디오비주얼 콘텐츠의 일부분들을 하나 이상의 장치들(802-2, 802-3, …, 802-N)로 전송할 수 있다. 장치들(802-2, 802-3, …, 802-N) 각각은 특정한 비디오 또는 오디오 처리 태스크(예컨대, 스케일링, 블록 아티팩트 감소, 노이즈 감소, 샘플링 레이트 변환, 이퀄라이제이션 처리 등)를 수행할 수 있고, 그렇게 하지 않았다면 장치(802-1) 혼자서 부담했을 연산 부하(computational load)를 효율적으로 나눠가질 수 있다.
예를 들면, 장치(802-1)에 부착된 스피커들(804)을 이용하여 서라운드 음향 오디오를 시뮬레이션(simulation)하기 위하여, 장치들(802-2, 802-3, …, 802-N) 중 하나 이상은 장치(802-1)로부터 모노 오디오를 수신하여 가상화한 후 별도의 오디오 채널 스트림들을 장치(802-1)로 다시 재전송할 수 있다. 그 뒤에 장치(802-1)는 처리된 오디오비주얼 데이터를 장치들(802-2, 802-3, …, 802-N) 각각으로부터 수신하여 처리된 데이터를 화면과 스피커들(804)에 출력한다.
실시예들에는 UPnP 네트워크가 포함될 수 있으며, UPnP 네트워크에서는 필요에 따라 미디어 렌더러 및 제어 포인트; 또는 미디어 서버 및 제어 포인트; 또는 미디어 서버만, 미디어 렌더러만, 제어 포인트만을 구현하는데 단일의 물리적 장치가 이용될 수 있다. 이들 논리적 인스턴스에 대한 많은 구현예들이 가능하다. 게다가, 네트워크 장치들(802)은 모두 PC이거나 디스플레이들일 필요는 없고, 임의의 적합한 UPnP 호환 장치들이면 된다.
기술적으로 숙련된 독자는 UPnP의 사용이 서술된 실시예들에서는 오로지 예시적인 것이고, 디스플레이 장치에서 프리젠테이션되기 전에 비디오의 공유 처리에 수반되는 다양한 장치들 간에 제어 및 데이터 전송을 이용가능하게 하기 위해 다른 독점적인 프로토콜들이 이용될 수도 있다는 것을 쉽게 인지할 것이다.
당연히, 앞서 서술된 실시예들은 오로지 예시적인 것일뿐 절대로 제한적인 것으로 의도된 것은 아니다. 본 발명의 실시로서 서술된 실시예들은 형태, 부품들의 배치, 동작의 상세 및 순서에 있어서 다양하게 변경될 수 있다. 오히려, 본 발명이 청구항들에 의해 정의된 바와 같은 범위 내에 이러한 모든 변경들을 포함하는 것을 의도하는 바이다.

Claims (23)

  1. 로컬 네트워크(local network)를 통해 컴퓨터 장치(computing device)와 상호 연결되는 디스플레이 장치 상에 프리젠테이션(presentation)하기 위해 상기 컴퓨터 장치를 이용하여 오디오비주얼(audiovisual) 입력 데이터를 처리하는 방법으로서,
    i) 상기 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것과; 상기 컴퓨터 장치에서 지원되는 네트워크 전송 프로토콜(network transfer protocol)들 중 선택된 하나와 상기 컴퓨터 장치에서 지원되는 데이터 포맷(data format)들 중 선택된 하나를 이용할 것을 지시하는 명령들을 상기 디스플레이 장치로부터 수신하는 단계;
    ⅱ) 외부적으로 처리되는 데이터를 형성하기 위해 상기 오디오비주얼 입력 데이터에 상기 제1 신호 처리 기능을 수행하는 단계;
    ⅲ) 상기 외부적으로 처리되는 데이터를 상기 선택된 데이터 포맷으로 인코딩하는 단계; 및
    ⅳ) 상기 선택된 데이터 포맷의 상기 외부적으로 처리되는 데이터를 상기 로컬 네트워크 상에서 상기 선택된 네트워크 전송 프로토콜을 이용하여 상기 디스플레이 장치로 전송하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 명령들을 수신하는 단계 전에 상기 디스플레이 장치에서 검색할 수 있도록 상기 컴퓨터 장치에서 지원되는 상기 전송 프로토콜들과 상기 데이터 포맷들의 리스트를 명시하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 제1 신호 처리 기능을 수행하는 단계 전에 상기 오디오비주얼 입력 데이터를 디코딩하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 제1 신호 처리 기능은 필터링(filtering), 노이즈 감소(noise reduction), 블록 아티팩트 감소(block artifact reduction), 스케일링(scaling), 인터레이싱(interlacing) 및 프레임 레이트 변환(frame rate conversion) 중 적어도 하나를 포함하는 것인 방법.
  5. 제1항에 있어서,
    상기 로컬 네트워크는 인터넷 프로토콜(internet protocol, IP) 네트워크이고,
    상기 디스플레이 장치와 상기 컴퓨터 장치는 UPnP(universal plug and play) 표준과 호환되는 것인 방법.
  6. 로컬 네트워크(local network)를 통해 컴퓨터 장치(computing device)와 상호 연결되는 디스플레이 장치를 이용하여 오디오비주얼(audiovisual) 입력 데이터를 처리하고 프리젠테이션(presentation)하는 방법으로서,
    ⅰ) a) 외부적으로 처리되는 데이터를 형성하기 위해 상기 오디오비주얼 입력 데이터에 제1 신호 처리 기능을 수행할 것과;
    b) 상기 외부적으로 처리되는 데이터를 선택된 데이터 포맷으로 인코딩할 것과;
    c) 상기 데이터 포맷의 상기 외부적으로 처리되는 데이터를 상기 로컬 네트워크 상에서 선택된 네트워크 전송 프로토콜을 이용하여 상기 디스플레이 장치로 전송할 것을 상기 컴퓨터 장치에 명령하는 단계;
    ⅱ) 상기 데이터 포맷의 상기 외부적으로 처리되는 데이터를 상기 디스플레이 장치에서 수신하는 단계;
    ⅲ) 상기 수신된 외부적으로 처리되는 데이터에 상기 제1 신호 처리 기능과 상보적인 제2 신호 처리 기능을 수행하는 단계; 및
    ⅳ) 상기 수신된 외부적으로 처리되는 데이터를 상기 디스플레이 장치 상에 프리젠테이션하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 컴퓨터 장치로부터 상기 디스플레이 장치로 데이터를 전송하기 위해 상기 네트워크 전송 프로토콜과 상기 데이터 포맷을 결정하는 단계를 더 포함하는 방법.
  8. 제6항에 있어서,
    상기 로컬 네트워크는 인터넷 프로토콜(internet protocol, IP) 네트워크이고,
    상기 디스플레이 장치와 상기 컴퓨터 장치는 UPnP(universal plug and play) 표준과 호환되는 것인 방법.
  9. 제6항에 있어서,
    상기 제2 신호 처리 기능은 디인터레이싱(de-interlacing), 컬러 보정(color correction), 콘트라스트 보정(contrast correction), 감마 보정(gamma correction), 선명도 향상(sharpness enhancement)과 에지 향상(edge enhancement), 오디오 이퀄라이제이션(audio equalization), 3차원 가상화(3D virtualization), 볼륨 조정(volume control), 밸런스(balance) 및 톤 조정(tone control) 중 적어도 하나를 포함하는 것인 방법.
  10. 로컬 네트워크(local network)를 통해 컴퓨터 장치(computing device)와 상호 연결되는 디스플레이 장치를 이용하여 오디오비주얼(audiovisual) 입력 데이터를 처리하는 방법으로서,
    ⅰ) 선택된 전송 프로토콜과 선택된 데이터 포맷을 이용하여 상기 오디오비주얼 입력 데이터를 상기 디스플레이 장치에서 수신하는 단계;
    ⅱ) 외부적으로 처리되는 데이터를 형성하기 위해 상기 오디오비주얼 입력 데이터의 일부분을 수신하여 상기 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것과; 상기 외부적으로 처리되는 데이터를 상기 데이터 포맷으로 인코딩하여 상기 디스플레이 장치로 전송할 것을 상기 컴퓨터 장치에 명령하는 단계;
    ⅲ) 상기 전송 프로토콜과 상기 데이터 포맷을 이용하여 상기 컴퓨터 장치로 상기 일부분을 전송하는 단계; 및
    ⅳ) 상기 컴퓨터 장치로부터 상기 외부적으로 처리되는 오디오비주얼 데이터를 받아들여 프리젠테이션(presentation)하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 수신하는 단계 전에 상기 컴퓨터 장치에서 지원되는 네트워크 전송 포맷들과 데이터 포맷들의 리스트로부터 선택함으로써 상기 네트워크 전송 프로토콜과 상기 데이터 포맷을 결정하는 단계를 더 포함하는 방법.
  12. 제10항에 있어서,
    상기 프리젠테이션하는 단계 전에 상기 디스플레이 장치에서 내부적으로 상기 제2 신호 처리 기능을 수행하는 단계를 더 포함하는 방법.
  13. 제10항에 있어서,
    상기 로컬 네트워크는 인터넷 프로토콜(internet protocol, IP) 계층을 구현하는 것이고,
    상기 디스플레이 장치와 상기 컴퓨터 장치는 UPnP(universal plug and play) 표준과 호환되는 것인 방법.
  14. 로컬 네트워크(local network)를 통해 컴퓨터 장치(computing device)와 상호 연결을 위한 네트워크 인터페이스 및 디스플레이 화면과 통신하는 제어 회로를 포함하는 디스플레이 장치로서,
    ⅰ) 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 상기 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것과; 상기 외부적으로 처리되는 데이터를 선택된 데이터 포맷으로 인코딩할 것과; 상기 데이터 포맷의 상기 외부적으로 처리되는 데이터를 상기 로컬 네트워크 상에서 선택된 네트워크 전송 프로토콜을 이용하여 상기 디스플레이 장치로 전송할 것을 상기 컴퓨터 장치에 명령하고;
    ⅱ) 상기 데이터 포맷으로 전송된 상기 외부적으로 처리되는 데이터를 수신하고;
    ⅲ) 상기 수신된 외부적으로 처리되는 데이터에 상기 제2 신호 처리 기능을 수행하고; 상기 수신된 외부적으로 처리되는 데이터를 상기 디스플레이 화면 상에 프리젠테이션(presentation)하도록
    동작가능한 디스플레이 장치.
  15. 제14항에 있어서,
    상기 컴퓨터 장치에 명령하기 전에 데이터 교환을 위한 상기 네트워크 전송 프로토콜과 상기 데이터 포맷을 결정하기 위하여 상기 컴퓨터 장치와 통신하도록 또한 동작가능한 디스플레이 장치.
  16. 제14항에 있어서,
    상기 로컬 네트워크는 IEEE 802.3i 표준, IEEE 802.3u 표준, 파이어와이어(FireWire), 블루투스(Bluetooth), 와이파이(Wi-Fi) 및 IEEE 802.11a 중 하나에 부합하는 것인 디스플레이 장치.
  17. 제14항에 있어서,
    상기 로컬 네트워크를 통해 또 다른 오디오비주얼 입력 데이터 스트림을 수신하는 제2 장치와 또한 상호 연결되며,
    ⅰ) 또 다른 세트의 외부적으로 처리되는 데이터를 출력하기 위하여 상기 제2 신호 처리 기능과 상보적인 제3 신호 처리 기능을 이용하여 상기 또 다른 스트림을 처리할 것을 상기 제2 장치에 명령하고;
    ⅱ) 상기 또 다른 세트의 외부적으로 처리되는 데이터를 수신하여 디스플레이하도록 또한 동작가능한 디스플레이 장치.
  18. 제17항에 있어서,
    상기 디스플레이 장치는 상기 로컬 네트워크 상에서 UPnP(universal plug and play) 호환 프로토콜을 이용하여 상기 컴퓨터 장치 및 상기 제2 장치와 데이터를 교환하는 것인 디스플레이 장치.
  19. 제17항에 있어서,
    상기 오디오비주얼 입력 데이터는 모노-오디오 입력을 포함하는 것이고,
    상기 제1, 제2, 및 제3 신호 처리 기능들 중 적어도 하나는 상기 모노-오디오 입력으로부터 서라운드 음향 오디오(surround sound audio)를 시뮬레이션(simulation)하는 것을 포함하는 것인 디스플레이 장치.
  20. 로컬 네트워크(local network)를 통해 디스플레이 장치와 상호 연결을 위한 네트워크 인터페이스 및 메모리와 통신하는 프로세서를 포함하는 컴퓨터 장치(computing device)로서,
    ⅰ) 상기 디스플레이 장치에서 수행될 제2 신호 처리 기능과 상보적인 제1 신호 처리 기능을 수행할 것과; 상기 컴퓨터 장치에서 지원되는 네트워크 전송 프로토콜과 데이터 포맷을 이용할 것을 지시하는 명령들을 상기 디스플레이 장치로부터 수신하고;
    ⅱ) 외부적으로 처리되는 데이터를 형성하기 위해 오디오비주얼 입력 데이터에 상기 제1 신호 처리 기능을 수행하고;
    ⅲ) 상기 외부적으로 처리되는 데이터를 상기 데이터 포맷으로 인코딩하고;
    ⅳ) 상기 데이터 포맷의 상기 외부적으로 처리되는 데이터를 상기 로컬 네트워크 상에서 상기 네트워크 전송 프로토콜을 이용하여 상기 디스플레이 장치로 전송하도록
    동작가능한 컴퓨터 장치.
  21. 제20항에 있어서,
    상기 오디오비주얼 입력 데이터는 상기 디스플레이 장치로부터 수신되는 것인 컴퓨터 장치.
  22. 제20항에 있어서,
    상기 오디오비주얼 입력 데이터는 제2 네트워크를 통해 상기 컴퓨터 장치와 통신하는 비디오 서버로부터 수신되는 것인 컴퓨터 장치.
  23. 제20항에 있어서,
    상기 제1 처리 기능은 노이즈 감소(noise reduction), 블록 아티팩트 감소(block artifact reduction), 에지 향상(edge enhancement), 인터레이싱(interlacing), 프레임 레이트 변환(frame rate conversion) 및 스케일링(scaling) 중 적어도 하나를 포함하고;
    상기 제2 처리 기능은 디인터레이싱(de-interlacing), 컬러 보정(color correction), 콘트라스트 보정(contrast correction), 감마 보정(gamma correction), 선명도 향상(sharpness enhancement), 스캔-레이트 변환(scan-rate conversion) 및 3차원 가상화(3D virtualization) 중 적어도 하나를 포함하는 것인 컴퓨터 장치.
KR1020117009986A 2008-10-03 2009-10-01 오디오 및 비디오의 분산 처리 KR101559895B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/245,216 2008-10-03
US12/245,216 US8429299B2 (en) 2008-10-03 2008-10-03 Distributed audio and video processing

Publications (2)

Publication Number Publication Date
KR20110065546A true KR20110065546A (ko) 2011-06-15
KR101559895B1 KR101559895B1 (ko) 2015-10-27

Family

ID=41395913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117009986A KR101559895B1 (ko) 2008-10-03 2009-10-01 오디오 및 비디오의 분산 처리

Country Status (6)

Country Link
US (1) US8429299B2 (ko)
EP (1) EP2353296B1 (ko)
JP (1) JP5689802B2 (ko)
KR (1) KR101559895B1 (ko)
CN (1) CN102239695B (ko)
WO (1) WO2010039915A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875743B1 (ko) * 2012-01-10 2018-07-06 엘지전자 주식회사 이동 단말기 및 그 제어방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2463105A (en) 2008-09-05 2010-03-10 Skype Ltd Viewer activity dependent video telephone call ringing
GB2463107A (en) 2008-09-05 2010-03-10 Skype Ltd A remote control unit of a media device for placing/receiving calls, comprising activating one of the two wireless transceivers when needed.
GB2463104A (en) 2008-09-05 2010-03-10 Skype Ltd Thumbnail selection of telephone contact using zooming
GB2463124B (en) * 2008-09-05 2012-06-20 Skype Ltd A peripheral device for communication over a communications sytem
GB2463109B (en) 2008-09-05 2013-03-13 Skype Communication system and method
GB2463108B (en) 2008-09-05 2012-08-29 Skype Communication system and method
GB2463110B (en) 2008-09-05 2013-01-16 Skype Communication system and method
JP2010117863A (ja) * 2008-11-12 2010-05-27 Toshiba Corp コンテンツ再生装置およびコンテンツ再生方法
US8495699B2 (en) 2008-12-23 2013-07-23 At&T Intellectual Property I, L.P. Distributed content analysis network
KR20110039672A (ko) * 2009-10-12 2011-04-20 삼성전자주식회사 휴대용 단말기의 디엘엔에이 네트워크를 이용한 컨텐츠 재생 장치 및 방법
US10080061B1 (en) 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
US8505054B1 (en) * 2009-12-18 2013-08-06 Joseph F. Kirley System, device, and method for distributing audio signals for an audio/video presentation
JP5471453B2 (ja) * 2010-01-05 2014-04-16 船井電機株式会社 携帯情報処理装置
JP5627413B2 (ja) * 2010-06-04 2014-11-19 三菱電機株式会社 放送受信装置及び放送受信システム
KR20120017278A (ko) * 2010-08-18 2012-02-28 삼성전자주식회사 휴대용 단말기에서 이벤트 표시 방법, 장치 및 이를 제공하는 시스템
JP6077200B2 (ja) * 2011-07-29 2017-02-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、表示制御方法、放送システム、並びにコンピューター・プログラム
US20130163195A1 (en) * 2011-12-22 2013-06-27 Nvidia Corporation System, method, and computer program product for performing operations on data utilizing a computation module
KR101918040B1 (ko) 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
TW201409224A (zh) * 2012-08-16 2014-03-01 Hon Hai Prec Ind Co Ltd 視訊處理系統及方法
US10521250B2 (en) * 2012-09-12 2019-12-31 The Directv Group, Inc. Method and system for communicating between a host device and user device through an intermediate device using a composite video signal
US10699361B2 (en) * 2012-11-21 2020-06-30 Ati Technologies Ulc Method and apparatus for enhanced processing of three dimensional (3D) graphics data
US9251850B2 (en) * 2012-12-19 2016-02-02 Bitcentral Inc. Nonlinear proxy-based editing system and method having improved audio level controls
EP2819013B1 (en) * 2013-06-24 2019-11-27 Alcatel Lucent Automated adaption of a Codec
EP2819012B1 (en) 2013-06-24 2020-11-11 Alcatel Lucent Automated compression of data
WO2014207899A1 (ja) 2013-06-28 2014-12-31 株式会社 東芝 通信装置および通信方法
US9800822B2 (en) 2013-07-22 2017-10-24 Qualcomm Incorporated Method and apparatus for resource utilization in a source device for wireless display
JP5928914B2 (ja) * 2014-03-17 2016-06-01 株式会社ソニー・インタラクティブエンタテインメント グラフィックス処理装置およびグラフィックス処理方法
US9852522B2 (en) 2014-03-17 2017-12-26 Sony Interactive Entertainment Inc. Image decoder, graphics processing system, image decoding method, and graphics processing method
CN104270696A (zh) * 2014-06-06 2015-01-07 深圳市实益达科技股份有限公司 一种基于4k蓝光播放器的广播功放音响系统
US20160134929A1 (en) * 2014-11-07 2016-05-12 Qualcomm Incorporated Collaborative Distributed/Unstructured Service Management Framework for Wireless-Display Platform
US20160227156A1 (en) * 2015-02-02 2016-08-04 Hisense Hiview Tech Co., Ltd. Modular television system
CN106331557B (zh) * 2015-06-17 2019-06-21 华为技术有限公司 Arc控制方法、控制单元和显示设备
US10628172B2 (en) 2016-06-27 2020-04-21 Qualcomm Incorporated Systems and methods for using distributed universal serial bus (USB) host drivers
US10678494B2 (en) 2016-06-27 2020-06-09 Qualcomm Incorporated Controlling data streams in universal serial bus (USB) systems
CN107517332A (zh) * 2017-09-25 2017-12-26 四川长虹电器股份有限公司 基于电视机的自动gamma数据校正系统
CN111971673A (zh) * 2018-03-22 2020-11-20 网津有限公司 在显示器-服务器计算系统中重定向音频和视频数据流的系统和方法
US11128739B2 (en) * 2018-12-24 2021-09-21 Verizon Patent And Licensing Inc. Network-edge-deployed transcoding methods and systems for just-in-time transcoding of media data
US11528314B2 (en) * 2020-03-26 2022-12-13 Honeywell International Inc. WebAssembly module with multiple decoders
US11451855B1 (en) 2020-09-10 2022-09-20 Joseph F. Kirley Voice interaction with digital signage using mobile device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4792974A (en) * 1987-08-26 1988-12-20 Chace Frederic I Automated stereo synthesizer for audiovisual programs
EP2094013B1 (en) * 1997-10-23 2011-06-15 Mitsubishi Denki Kabushiki Kaisha Image decoding apparatus and method
US6463445B1 (en) * 1999-08-27 2002-10-08 Sony Electronics Inc. Multimedia information retrieval system and method including format conversion system and method
US7216177B1 (en) * 2000-06-16 2007-05-08 Palm, Inc. Apparatus and method for supplying electronic content to network appliances
US20020156870A1 (en) * 2000-11-08 2002-10-24 Equate Systems, Inc. Method and apparatus for dynamically directing an application to a pre-defined target multimedia resource
US6407680B1 (en) * 2000-12-22 2002-06-18 Generic Media, Inc. Distributed on-demand media transcoding system and method
US7242324B2 (en) * 2000-12-22 2007-07-10 Sony Corporation Distributed on-demand media transcoding system and method
JP4582681B2 (ja) * 2001-04-12 2010-11-17 ソニー株式会社 信号処理装置および信号処理方法、プログラムおよび記録媒体、並びに信号処理システム
JP4618956B2 (ja) * 2001-12-10 2011-01-26 ソニー株式会社 信号処理装置、信号処理方法、信号処理システム、プログラム及び媒体
US20040024580A1 (en) 2002-02-25 2004-02-05 Oak Technology, Inc. Server in a media system
JP4178852B2 (ja) * 2002-07-03 2008-11-12 ソニー株式会社 情報処理装置および情報処理方法、情報処理システム、記録媒体、並びにプログラム
JP2005151259A (ja) * 2003-11-17 2005-06-09 Toshiba Corp データ転送装置およびプログラム
JP2006067074A (ja) * 2004-08-25 2006-03-09 Sony Corp 情報処理装置、音声再生システム、音声再生方法及びそのプログラム
JP2006155187A (ja) * 2004-11-29 2006-06-15 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム。
US20060182422A1 (en) * 2005-01-31 2006-08-17 Action Electronics Co., Ltd Decoding method and apparatus for automotive media-player
US20090031381A1 (en) * 2007-07-24 2009-01-29 Honeywell International, Inc. Proxy video server for video surveillance

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875743B1 (ko) * 2012-01-10 2018-07-06 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR101559895B1 (ko) 2015-10-27
JP2012504918A (ja) 2012-02-23
EP2353296B1 (en) 2018-09-05
JP5689802B2 (ja) 2015-03-25
CN102239695B (zh) 2014-08-20
WO2010039915A1 (en) 2010-04-08
US8429299B2 (en) 2013-04-23
US20100088733A1 (en) 2010-04-08
CN102239695A (zh) 2011-11-09
EP2353296A1 (en) 2011-08-10

Similar Documents

Publication Publication Date Title
KR101559895B1 (ko) 오디오 및 비디오의 분산 처리
US10880408B2 (en) Streaming policy management system and method
US9600222B2 (en) Systems and methods for projecting images from a computer system
US10250664B2 (en) Placeshifting live encoded video faster than real time
US20080310825A1 (en) Record quality based upon network and playback device capabilities
US10848803B2 (en) Adaptively selecting content resolution
US10171530B2 (en) Devices and methods for transmitting adaptively adjusted documents
KR20130038192A (ko) 컨텐츠 출력 시스템 및 그 시스템에서 코덱 정보 공유 방법
US20060168615A1 (en) System circuit application and method for wireless transmission of multimedia content from a computing platform
JP2016129410A (ja) コンテンツ提供方法及び受信装置
JP6080963B2 (ja) プレイスシフト装置におけるインタフェースを管理する方法及び装置。
JP2010028232A (ja) 通信制御装置および通信制御方法
KR101480402B1 (ko) 네트워크에서 오디오/비디오 소스 디바이스들로부터오디오/비디오 싱크 디바이스들로 데이터를 제공하는 방법및 시스템
US20120106918A1 (en) Interface device and data processing method
JP2004312595A (ja) テレビジョン受信装置
JP2009159351A (ja) 映像記録再生配信装置
US20140237528A1 (en) Apparatus and method for use with a data stream
Corcoran et al. Fast A/V channel switching on a wireless home network
KR20150042356A (ko) 콘텐츠 제공 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 4