KR101952284B1 - 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 - Google Patents

미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 Download PDF

Info

Publication number
KR101952284B1
KR101952284B1 KR1020170108556A KR20170108556A KR101952284B1 KR 101952284 B1 KR101952284 B1 KR 101952284B1 KR 1020170108556 A KR1020170108556 A KR 1020170108556A KR 20170108556 A KR20170108556 A KR 20170108556A KR 101952284 B1 KR101952284 B1 KR 101952284B1
Authority
KR
South Korea
Prior art keywords
media data
information
auxiliary information
audio signal
value
Prior art date
Application number
KR1020170108556A
Other languages
English (en)
Other versions
KR20170101180A (ko
Inventor
서덕영
박광훈
이대호
김규헌
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020170108556A priority Critical patent/KR101952284B1/ko
Publication of KR20170101180A publication Critical patent/KR20170101180A/ko
Application granted granted Critical
Publication of KR101952284B1 publication Critical patent/KR101952284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 미디어 가치 향상 장치는, 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부; 상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부; 및 상기 생성된 보조정보를 부호화하는 부호화부를 포함하고, 상기 보조정보 생성부는, 상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 보조정보를 생성하는 것을 특징으로 한다.

Description

미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기{A METHOD AND AN APPARATUS FOR OFFLOADING OF COMPUTING SIDE INFORMATION FOR GENERATING VALUE-ADDED MEDIA CONTENTS}
본 발명은 원격 계산을 이용하여 부가가치 또는 품질이 향상된 미디어 데이터를 생성하는 방법 및 장치에 관한 것이다.
정보 통신 산업의 지속적인 발달은 휴대용 단말기의 디스플레이 성능 향상을 가져왔다. 디스플레이 성능의 지속적인 발달로 인하여, 휴대용 단말기는 HD(High Definition)미디어를 제공하는 디스플레이를 구비하고 있으며, 특히, 최근 휴대용 단말기는 FHD(Full High Definition) 또는 UHD(Ultra High Definition) 미디어를 제공하는 디스플레이를 구비하기에 이르렀다.
하지만, 휴대용 단말기가 구비하고 있는 카메라는 디스플레이의 성능 발달 속도를 따라가지 못하고 있으며, 휴대용 단말기의 카메라를 통해 획득한 미디어는 휴대용 단말기의 부호화 및/또는 복호화 성능 한계로 인해 미디어 품질의 한계가 존재한다.
휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상을 위해서, 휴대용 단말기의 부호화 및/또는 복호화 성능을 향상할 필요성이 있으나, 휴대용 단말기의 한정된 계산 자원으로 인하여 휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상에는 어려움이 있다.
본 발명은 원격에서 계산된 보조 정보를 이용하여 단말기에서 기-부호화된 미디어 데이터의 부가가치 또는 품질을 향상시키는 방법 및 장치를 제공한다.
본 발명은 단말기에서 미디어 데이터를 처리하는데 요구되는 전력량을 제어하는 방법 및 장치를 제공한다.
본 발명은 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 추출하고 부호화하는 방법 및 장치를 제공한다.
본 발명은 단말기의 capacity를 고려하여 원격 연산처리 장치 또는 단말기를 선택적으로 이용하여 미디어 데이터를 처리하는 방법 및 장치를 제공한다.
본 발명에 따른 미디어 데이터 복원 시스템은, 콘텐츠를 제공하는 단말기로부터 수신되는 기-부호화된 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 생성된 보조정보를 콘텐츠를 소비하는 단말기로 전달하는 원격 연산처리 장치; 및 상기 원격 연산처리 장치로부터 전달된 보조정보를 상기 미디어 데이터에 적용하여 상기 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 상기 컨텐츠를 소비하는 단말기를 포함하고, 상기 원격 연산처리 장치는, 상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 상기 보조정보를 생성하는 보조정보 생성부와, 상기 보조정보를 부호화하는 보조정보 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치는, 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부; 상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부; 및 상기 생성된 보조정보를 부호화하는 부호화부를 포함하고, 상기 보조정보 생성부는, 상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법은, 단말기로부터 미디어 데이터 요청 신호 또는 품질 정보 중 적어도 하나를 수신하는 단계; 상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터를 복호화하는 단계; 상기 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 단계; 및 상기 생성된 보조정보를 부호화하는 단계를 포함하고, 상기 보조정보를 생성하는 단계는, 상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 상기 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 의하면, 기-부호화된 미디어 데이터에 관한 보조정보를 이용함으로써, 부가가치 또는 품질이 향상된 미디어 데이터를 효과적으로 생성할 수 있다.
본 발명에 의하면, 원격 연산처리 장치에서 생성된 미디어 데이터의 전력 제어를 위한 보조정보를 이용함으로써, 단말기에서 미디어 데이터를 처리하는데 요구되는 전력량을 효과적으로 줄일 수 있다.
본 발명에 의하면, 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 효과적으로 부호화할 수 있다.
본 발명에 의하면, 단말기의 capacity를 고려하여 원격 연산처리 장치 또는 단말기를 선택적으로 이용함으로써, 보조정보와 품질이 향상된 미디어 데이터를 효율적으로 생성할 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 미디어 데이터의 부가가치를 향상시키기 위한 시스템의 개략적인 구성을 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)의 개략적인 구성을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 미디어 데이터의 부가가치 또는 품질 향상을 위한 보조정보를 부호화하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 단말기의 전력 제어를 위한 보조정보를 생성하는 방법을 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 단말기에서 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 방법을 도시한 것이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 일실시예로서, 미디어 데이터의 부가가치를 향상시키기 위한 시스템의 개략적인 구성을 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 시스템은 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 정보(이하, 보조정보라 함)를 생성하고, 이를 이용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원하기 위한 것으로서, 미디어 가치 향상 장치(100), 미디어 복원 장치(200)와 미디어 제공 장치(300)을 포함할 수 있다.
구체적으로, 미디어 가치 향상 장치(100)는 컨텐츠를 제공하는 단말기로부터 수신된 미디어 데이터를 분석하여 미디어 데이터에 관한 보조정보를 생성할 수 있고, 수신된 미디어 데이터 및/또는 생성된 보조정보를 미디어 복원 장치(200)로 전달할 수 있다. 이를 위해 미디어 가치 향상 장치(100)는 미디어 복호화부, 보조정보 생성부 및 부호화부를 더 포함할 수 있으며, 이에 대해서는 도 2를 참조하여 자세히 살펴 보기로 한다.
미디어 복원 장치(200)는 미디어 가치 향상 장치(100)로부터 수신된 미디어 데이터 및/또는 보조정보를 이용하여 기-부호화된 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원할 수 있다. 미디어 제공 장치(300)는 미디어 가치 향상 장치(100)에 미디어 데이터를 전달할 수 있다.
미디어 가치 향상 장치(100)는 원격 연산처리 서버(예를 들어, 클라우드 서버)에, 미디어 복원 장치(200)는 컨텐츠를 소비하는 단말기에, 미디어 제공 장치(300)는 컨텐츠를 제공하는 단말기에 각각 구비될 수 있다. 원격 연산처리 서버와 단말기는 유/무선 네트워크로 연결되어 상호 데이터를 송수신할 수 있다. 컨텐츠를 소비하는 단말기와 컨텐츠를 제공하는 단말기는 하나의 단말기로 구현될 수도 있고, 서로 상이한 단말기로 구현될 수도 있다. 이하, 단말기라 함은 컨텐츠를 소비하는 단말기, 컨텐츠를 제공하는 단말기 또는 컨텐츠를 제공/소비하는 단말기를 의미하는 것으로 이해되어야 한다.
단말기로부터 소정의 품질을 가진 미디어 데이터의 전송 요청이 있는 경우, 원격 연산처리 서버는 기-부호화된 미디어 데이터를 분석하여 소정의 품질에 대응하는 보조정보를 생성하고, 생성된 보조정보 및/또는 기-부호화된 미디어 데이터를 단말기에 전달할 수 있다. 여기서, 기-부호화된 미디어 데이터는 원격 연산처리 서버에 저장된 것일 수도 있고, 상기 전송 요청과 함께 상기 단말기로부터 수신된 것일 수도 있다. 또는, 상기 전송 요청에 대응하여, 원격 연산처리 서버는 상기 생성된 보조정보를 기-부호화된 미디어 데이터에 적용하여 소정의 품질을 가진 미디어 데이터를 생성한 후, 이를 단말기로 전달할 수도 있다.
한편, 원격 연산처리 장치는 비실시간으로 미디어 데이터를 분석하여 보조정보를 생성할 수도 있고, 단말기로부터 실시간으로 전송되는 미디어 데이터(예를 들어, 라이브 방송, 화상회의, 비디오 스트리밍)에 대해서는 실시간으로 보조정보를 생성하여, 이를 단말기에 전달할 수도 있다.
상기 미디어 가치 향상 장치(100)와 미디어 복원 장치(200)는 하나의 단말기에 구비되어, 해당 단말기에서 미디어 데이터에 관한 보조정보를 생성하고, 이를 미디어 데이터에 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 직접 생성할 수도 있다. 다만, 상기 단말기는 기-부호화된 미디어 데이터의 속성 정보를 고려하여, 상기 단말기에 구비된 미디어 가치 향상 장치(100) 또는 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100) 중 어느 하나를 선택적으로 이용할 수도 있다. 여기서, 속성 정보는 미디어 데이터의 데이터량, 화면크기, 공간적/시간적/화질적 해상도 또는 재생시간 중 적어도 하나를 포함할 수 있다. 예를 들어, 미디어 데이터의 속성 정보가 단말기에 기-설정된 문턱값을 초과하는 경우, 단말기는 원격 연산처리 장치에 미디어 데이터에 관한 보조정보의 생성을 요청할 수 있고, 그렇지 않은 경우에 한하여 단말기 내에서 해당 미디어 데이터에 관한 보조정보를 생성할 수 있다. 상기 문턱값은 단말기 내에서의 보조정보 생성이 허용되는 속성 정보의 기준치를 의미할 수 있다.
도 2는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)의 개략적인 구성을 도시한 것이다.
도 2를 참조하면, 본 발명의 미디어 가치 향상 장치(100)는 미디어 복호화부(110), 보조정보 생성부(120) 및 부호화부(130) 중 적어도 하나를 포함할 수 있다.
미디어 복호화부(110)는 수신된 미디어 데이터의 전부 또는 일부를 복호화할 수 있다. 예를 들어, 수신된 미디어 데이터가 스케일러블하게 부호화된 비디오인 경우, 상기 미디어 데이터는 공간적 해상도, 시간적 해상도 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 레이어를 포함할 수 있으며, 복호화된 미디어 데이터는 복수의 레이어 중 최대의 공간적/시간적/화질적 해상도를 가진 레이어일 수 있다.
미디어 가치 향상 장치(100)는 복수의 압축 알고리즘을 저장할 수 있으며, 미디어 복호화부(110)는 저장된 복수의 압축 알고리즘 중 어느 하나를 이용하여 복호화를 수행할 수 있다. 예를 들어, 수신된 미디어 데이터를 부호화하는데 이용된 압축 알고리즘과 호환 가능한 압축 알고리즘을 선택적으로 이용할 수 있다.
보조정보 생성부(120)는 수신된 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성할 수 있다. 본 발명의 보조정보는 미디어 데이터의 타입에 따라 정의될 수 있으며, 이하 자세히 살펴보도록 한다.
1. 음성 신호인 경우
미디어 데이터가 음성 신호인 경우, 음성 신호에 관한 보조정보는 무성음의 시간적 위치와 해당 위치에서의 주파수별 신호세기, 유성음(특히, 배음)의 시간적 위치와 해당 위치에서의 주파수별 신호세기 또는 음성 효과(예를 들어, 에코 효과)를 부여하는 보조정보 중 적어도 하나를 포함할 수 있다.
2. 오디오 신호인 경우
미디어 데이터가 오디오 신호인 경우, 오디오 신호에 관한 보조정보는 오디오 신호의 음색을 변경하거나, 음악 신호에 악기를 추가하는 등의 효과를 부여하는 보조정보를 포함할 수 있다. 예를 들어, 오디오 신호에 관한 보조정보는 오디오 신호의 톤을 확대하거나 축소하기 위한 스케일링 팩터(scaling factor), 오디오 신호의 주파수 레인지를 변경하기 위한 주파수 레인지 매핑 정보, 오디오 신호의 샘플 값을 샘플링하거나 가중치를 적용하기 위한 필터 정보 등을 포함할 수 있다.
3. 비디오 신호인 경우
미디어 데이터가 비디오 신호인 경우, 비디오 신호의 부가가치 또는 품질을 향상시키기 위해 공간적 해상도를 향상시키거나 시간적 해상도를 향상시키기 위한 보조정보가 이용될 수 있다.
구체적으로, 비디오 신호의 공간적 해상도를 향상하는 경우, 비디오 신호에 관한 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information) 또는 비디오 신호의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함할 수 있다.
여기서, 엣지 정보는 비디오 신호의 엣지(예를 들어, 객체 간의 경계선 또는 객체와 배경 간의 경계선)를 이루는 픽셀의 위치를 나타낼 수 있다. 상기 보간 필터 정보는 보간 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 비디오 신호의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 또한, 보간 필터 정보는 수평 방향의 보간 필터와 수직 방향의 보간 필터를 포함할 수 있으며, 비디오 신호의 엣지의 방향에 따라 수평 방향 또는 수직 방향의 보간 필터 중 어느 하나가 선택적으로 이용될 수 있다. 상기 오프셋 값은 비디오 신호의 복원된 픽셀 값을 보상하기 위한 정보로서, 이는 비디오 신호의 픽셀 값 전부 또는 일부에 선택적으로 적용될 수도 있고, 비디오 신호의 엣지 주변에 위치한 픽셀 값에 제한적으로 적용될 수도 있다. 또한, 오프셋 값은 비디오 신호의 엣지를 기준으로 나누어지는 영역 단위로 결정될 수도 있고, 하나의 영역 내에서 각 픽셀 단위로 결정될 수도 있다. 상기 가중 필터 정보는 가중 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 비디오 신호의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 하나의 영역 내에서 가중되는 픽셀의 위치(예를 들어, 엣지에 인접한 픽셀인지 여부)에 따라 세기, 길이 또는 필터 계수 중 적어도 하나가 상이한 가중 필터가 이용될 수 있다.
비디오 신호의 시간적 해상도를 향상하는 경우, 시간적으로 연속적인 2개의 프레임 사이에 적어도 하나의 가상 프레임을 생성할 수 있다. 즉, 보조정보 생성부(120)는 상기 가상 프레임을 소정의 크기를 가진 블록으로 분할할 수 있고, 분할된 블록의 단위로 가상 프레임에 시간적으로 인접한 적어도 하나의 참조 프레임을 이용하여 복원할 수 있다. 상술한 생성 과정을 통해 보조정보 생성부(120)는 가상 프레임을 분할하는 블록의 크기, 가상 프레임의 블록과 참조 프레임의 블록 간의 비율, 가상 프레임의 블록과 참조 프레임의 블록 간의 위치 차이를 나타내는 움직임 벡터 등을 결정할 수 있으며, 이는 비디오 신호에 관한 보조정보로 이용될 수 있다. 상술한 생성 과정을 통해 보조정보 생성부(120)는 가상 프레임에서 객체의 경계를 나타내는 엣지의 위치와 이에 대응하는 참조 프레임의 엣지로부터의 움직임 벡터 등을 결정할 수 있으며, 이는 비디오 신호에 관한 보조정보로 이용될 수 있다.
4. 메타 데이터(meta data)
보조정보 생성부(120)는 단말기에서 미디어 데이터를 처리하는데 소모되는 전력량을 제어하기 위한 보조정보를 생성할 수도 있다. 예를 들어, 수신된 비디오 신호를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별로 비디오 신호를 복호화하는데 요구되는 계산량을 산출한 후, 이를 이용하여 상기 전력 제어를 위한 보조정보를 생성할 수 있다. 여기서, 전력 제어를 위한 보조정보는 구간의 위치 및/또는 길이, 해당 구간의 CPU clock 수를 포함할 수 있다. 단말기에서는 이러한 전력 제어를 위한 보조정보에 기반하여 특정 구간에서의 CPU clock 수를 적응적으로 변경함으로써, 비디오 신호를 복호화하는데 필요한 전력량을 줄일 수 있다.
한편, 보조정보 생성부(120)는 미디어 데이터 자체로부터 메타 데이터를 추출하고, 이를 보조정보로 설정할 수 있다. 상기 메타 데이터는 빅 데이터로부터 특정한 미디어 데이터를 식별하기 위한 것으로서, 미디어 데이터의 속성, 컨텐츠, 유사 미디어 간의 그룹핑 등을 나타내는 정보를 포함할 수 있다. 이와 같이 미디어 데이터 자체로부터 추출되는 메타 데이터를 이용하여 빅 데이터(big data)를 효과적으로 저장하거나 검색할 수 있다. 상기 메타 데이터는 하나의 그룹으로 묶인 미디어 데이터 전체에 관한 것일 수도 있고, 하나의 미디어 데이터에 관한 것일 수도 있으며, 하나의 미디어 데이터 내에서 특정한 시간적 구간 또는 공간적 영역에 관한 것일 수도 있다. 미디어 데이터 자체로부터 미디어 데이터의 속성, 컨텐츠의 종류 등에 관한 메타 데이터를 추출하는 과정은 대부분 많은 계산을 필요하므로, 이러한 계산을 계산 자원이 풍부한 미디어 가치 향상 장치(100)에서 수행하도록 하는 것이 효율적일 수 있다.
도 2를 참조하면, 부호화부(130)는 보조정보 생성부(120)로부터 전달된 미디어 데이터 및/또는 보조정보를 부호화할 수 있다. 구체적으로, 부호화부(130)는 보조정보 생성부(120)로부터 전달되는 음성 신호에 관한 보조정보, 오디오 신호에 관한 보조정보, 비디오 신호에 관한 보조정보 또는 메타 데이터를 소정의 압축 알고리즘 (예를 들어, DPCM, run-length-coding, 엔트로피 코딩 등)을 이용하여 부호화할 수 있으며, 이하 자세히 살펴 보기로 한다.
1. 공간적 해상도를 향상하기 위한 보조정보
비디오 신호의 공간적 해상도를 향상하는 경우, 비디오 신호에 관한 보조정보는 엣지 정보(edge information)를 포함할 수 있으며, 엣지 정보는 비디오 신호의 엣지를 이루는 픽셀의 위치를 나타낼 수 있다. 이러한 엣지 정보는 엣지를 이루는 픽셀의 위치 자체를 개별적으로 부호화할 수도 있고, 또는 엣지의 시작 픽셀의 위치 정보 및 시작 픽셀을 기준으로 다음 픽셀이 위치하는 방향 정보(또는, 각도 정보)로 부호화될 수 있다. 또한, 시작 픽셀의 위치는 현재 프레임의 좌-상단 픽셀과 시작 픽셀의 위치 간의 차이를 나타내는 움직임 벡터로 부호화될 수도 있고, 참조 프레임의 시작 픽셀의 위치와 현재 프레임의 시작 픽셀의 위치 간의 차이를 나타내는 움직임 벡터로 부호화될 수도 있다.
2. 시간적 해상도를 향상하기 위한 보조정보
비디오 신호의 시간적 해상도를 향상하는 경우, 가상 프레임의 현재 블록은 적어도 하나의 움직임 벡터와 시간적으로 인접한 적어도 하나의 참조 블록을 가질 수 있다. 여기서, 현재 블록의 크기, 움직임 벡터, 현재 블록과 참조 블록 간의 비율 등이 보조정보로 이용될 수 있음은 앞서 살펴 본 바와 같다. 이 경우, 상기 보조정보는 DPCM(differential pulse coded modulation) 방식과 엔트로피 코딩에 기반하여 부호화될 수 있다.
예를 들어, 상기 보조정보를 포워드 움직임 벡터, 포워드 참조 블록의 크기, 백워드 움직임 벡터, 백워드 참조 블록의 크기로 부호화하고, 기-정의된 순서로 이를 배열하여 비트열을 구성할 수 있다. 또는, 상기 보조정보를 포워드 참조 블록과 백워드 참조 블록 간의 비율, 움직임 벡터를 DPCM 방식으로 부호화하는데 이용된 이웃 블록의 위치, DPCM 방식에 따른 포워드 움직임 벡터 차분값, DPCM 방식에 따른 백워드 움직임 벡터 차분값을 부호화하고, 마찬가지로 기-정의된 순서로 이를 배열하여 비트열을 구성할 수도 있다. 여기서, 이웃 블록은 현재 블록에 주변에 인접한 블록을 의미하는 것으로서, 이는 현재 블록의 상단, 하단, 좌측, 우측 그리고 각 코너에 인접한 블록 중 적어도 하나를 포함할 수 있다.
또한, 상술한 바와 같이, 프레임 내의 블록 단위로 움직임 예측을 수행할 수도 있고, 프레임 내의 엣지 단위로 움직임 예측을 수행할 수도 있으며, 이러한 경우에는 엣지에 관한 움직임 벡터와 변형 형태를 부호화할 수 있다.
상기 부호화부(130)는 미디어 데이터와 보조정보를 각각 부호화하여 별개의 비트스트림을 생성할 수도 있고, 상기 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림을 생성할 수도 있다. 또는, 부호화부(130)는 미디어 데이터에 보조정보 생성부(120)에서 생성된 보조정보를 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원한 후, 이를 부호화하여 하나의 비트스트림을 생성할 수도 있다.
도 3은 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 미디어 데이터의 부가가치 또는 품질 향상을 위한 보조정보를 부호화하는 방법을 도시한 것이다.
도 3을 참조하면, 단말기로부터 소정의 품질을 갖는 미디어 데이터 요청 신호를 수신할 수 있다(S300).
여기서, 소정의 품질은 사용자 지정의 품질을 의미할 수도 있고, 해당 단말기에서 재생 가능한 미디어 데이터의 최소 또는 최대 품질을 의미하는 것으로서, 해당 단말기에 기-설정된 복수의 품질 중 어느 하나를 의미할 수도 있다. 이를 위해 상기 미디어 데이터 요청 신호와 함께 품질 정보(예를 들어, 공간적/시간적/화질적 해상도)가 수신될 수 있다.
상기 미디어 데이터 요청 신호에 대응하여 해당 미디어 데이터를 복호화할 수 있다(S310). 여기서, 미디어 데이터는 미디어 가치 향상 장치(100)에 저장된 것일 수도 있고, 상기 미디어 데이터 요청 신호와 함께 상기 단말기로부터 수신될 것일 수도 있다.
S310 단계에서 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 미디어 데이터에 관한 보조정보를 생성할 수 있다(S320).
예를 들어, S300 단계에서 수신된 품질 정보에 따라 미디어 데이터의 공간적 해상도를 향상하는 경우, 미디어 데이터에 관한 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information) 또는 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함할 수 있다.
여기서, 엣지 정보는 미디어 데이터의 엣지(예를 들어, 객체 간의 경계선 또는 객체와 배경 간의 경계선)를 이루는 픽셀의 위치를 나타낼 수 있다.
상기 보간 필터 정보는 보간 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 미디어 데이터의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 또한, 보간 필터 정보는 수평 방향의 보간 필터와 수직 방향의 보간 필터를 포함할 수 있으며, 미디어 데이터의 엣지의 방향에 따라 수평 방향 또는 수직 방향의 보간 필터 중 어느 하나가 선택적으로 이용될 수 있다.
상기 오프셋 값은 미디어 데이터의 복원된 픽셀 값을 보상하기 위한 정보로서, 이는 미디어 데이터의 픽셀 값 전부 또는 일부에 선택적으로 적용될 수도 있고, 미디어 데이터의 엣지 주변에 위치한 픽셀 값에 제한적으로 적용될 수도 있다. 또한, 오프셋 값은 미디어 데이터의 엣지를 기준으로 나누어지는 영역 단위로 결정될 수도 있고, 하나의 영역 내에서 각 픽셀 단위로 결정될 수도 있다.
상기 가중 필터 정보는 가중 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 미디어 데이터의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 하나의 영역 내에서 가중되는 픽셀의 위치(예를 들어, 엣지에 인접한 픽셀인지 여부)에 따라 세기, 길이 또는 필터 계수 중 적어도 하나가 상이한 가중 필터가 이용될 수 있다.
또는, 상기 품질 정보에 따라 미디어 데이터의 시간적 해상도를 향상하는 경우, 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 가상 프레임을 복원하는 블록 단위, 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터를 결정할 수 있으며, 도 2에서 상술한 바와 같이 이는 미디어 데이터에 관한 보조정보로 설정될 수 있다.
S320 단계에서 생성된 보조정보 및/또는 미디어 데이터를 부호화할 수 있다(S330).
예를 들어, 상기 생성된 보조정보와 미디어 데이터는 각각 부호화되어 별개의 비트스트림으로 생성될 수도 있고, 또는 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림으로 생성될 수도 있다.
또는, 미디어 데이터가 단말기로부터 수신된 경우, 수신된 미디어 데이터를 그대로 전송할 수 있으므로, 미디어 데이터에 대해서 추가적으로 부호화를 수행하지 않고, 보조정보만을 부호화할 수도 있다.
도 4는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 단말기의 전력 제어를 위한 보조정보를 생성하는 방법을 도시한 것이다.
도 4를 참조하면, 단말기로부터 미디어 데이터 요청 신호를 수신할 수 있다(S400).
S400 단계의 미디어 데이터 요청 신호에 대응하여 해당 미디어 데이터를 상기 단말기에서 처리하는데 요구되는 계산량을 산출할 수 있다(S410).
구체적으로, 미디어 가치 향상 장치(100)는 상기 단말기의 스펙 정보(예를 들어, 단말기의 CPU, RAM, 디스플레이 해상도, 배터리 정보 등)에 기초하여 상기 미디어 데이터를 복원하는데 요구되는 전력량을 산출할 수 있으며, 이를 위해 상기 단말기의 스펙 정보는 상기 미디어 데이터 요청 신호와 함께 단말기로부터 수신될 수도 있다.
상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터는 미디어 가치 향상 장치(100)에 저장된 것일 수도 있고, 상기 미디어 데이터 요청 신호와 함께 단말기로부터 수신된 것일 수도 있다. 미디어 가치 향상 장치(100)는 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간을 분할하고, 각 구간 별로 미디어 데이터를 복원하는데 요구되는 계산량 또는 계산 복잡도를 산출할 수도 있다.
S410 단계에서 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성할 수 있다(S420).
즉, 미디어 가치 향상 장치(100)는 각 구간 별로 산출된 계산량을 고려하여 전력 소모를 최소화하는 CPU clock 수를 구간 별로 결정할 수 있고, 해당 구간의 위치 및/또는 시간적 길이를 결정할 수도 있다. 이와 같이 결정된 각 구간 별 CPU clock 수, 구간의 위치 또는 구간의 시간적 길이 중 적어도 하나가 보조정보로 설정될 수 있다.
S420 단계에서 생성된 전력 제어를 위한 보조정보 및/또는 미디어 데이터를 부호화할 수 있다(S430).
예를 들어, 전력 제어를 위한 보조정보와 미디어 데이터는 각각 부호화되어 별개의 비트스트림으로 생성될 수도 있고, 또는 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림으로 생성될 수도 있다.
또는, 미디어 데이터가 단말기로부터 수신된 경우, 수신된 미디어 데이터를 그대로 전송할 수 있으므로, 미디어 데이터에 대해서 추가적으로 부호화를 수행하지 않고, 전력 제어를 위한 보조정보만을 부호화할 수도 있다.
도 5는 본 발명이 적용되는 일실시예로서, 단말기에서 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 방법을 도시한 것이다.
도 5를 참조하면, 단말기에서 미디어 데이터에 관한 보조정보를 생성할지 여부를 결정할 수 있다(S500).
구체적으로, 미디어 데이터의 속성값과 단말기에 기-설정된 문턱값을 비교하여, 단말기에서 미디어 데이터에 관한 보조정보를 생성할지 여부를 결정할 수 있다. 여기서, 미디어 데이터의 속성값은 미디어 데이터의 크기, 재생 시간 또는 공간적/시간적/화질적 해상도 중 적어도 하나를 포함할 수 있다. 상기 기-설정된 문턱값은 단말기에서 보조정보 생성이 허용되는 미디어 데이터의 최대 속성값을 정의한 것일 수 있다.
예를 들어, 미디어 데이터의 속성값이 단말기에 기-설정된 문턱값보다 작은 경우, 상기 단말기에서 보조정보가 생성되는 것으로 결정될 수 있고, 그렇지 않은 경우, 상기 단말기와 네트워크로 연결된 원격 연산처리 장치에서 보조정보가 생성되는 것으로 결정될 수 있다.
S500 단계의 결정에 따라 상기 미디어 데이터에 관한 보조정보를 획득할 수 있다(S510).
즉, 단말기에서 보조정보가 생성되는 것으로 결정된 경우, 해당 단말기에 구비된 미디어 가치 향상 장치(100)에서 미디어 데이터에 관한 보조정보를 생성할 수 있다.
반면, 단말기와 네트워크로 연결된 원격 연산처리 장치에서 보조정보가 생성되는 것으로 결정된 경우, 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100)에서 미디어 데이터에 관한 보조정보를 생성하고, 이를 부호화할 수 있다. 이 경우, 단말기는 상기 원격 연산처리 장치로부터 부호화된 보조정보를 수신함으로써, 미디어 데이터에 관한 보조정보를 획득할 수 있다. 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100)에서 보조정보를 생성하고, 이를 부호화하는 방법에 대해서는 도 1 내지 도 4를 참조하여 자세히 살펴보았는바, 여기서 자세한 설명은 생략하기로 한다.
S510 단계에서 획득된 보조정보를 미디어 데이터에 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원할 수 있다(S520).

Claims (7)

  1. 콘텐츠를 제공하는 단말기로부터 수신되는 기-부호화된 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 생성된 보조정보를 콘텐츠를 소비하는 단말기로 전달하는 원격 연산처리 장치; 및
    상기 원격 연산처리 장치로부터 전달된 보조정보를 상기 미디어 데이터에 적용하여 상기 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 상기 컨텐츠를 소비하는 단말기를 포함하고,
    상기 원격 연산처리 장치는,
    상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 상기 보조정보를 생성하는 보조정보 생성부와,
    상기 보조정보를 부호화하는 보조정보 부호화부를 포함하되,
    상기 보조정보 생성부는,
    상기 미디어 데이터의 타입이 오디오 신호인지 또는 음성 신호인지를 확인하고,
    상기 미디어 데이터의 타입이 음성 신호임에 대응하여, 무성음의 시간적 위치, 상기 무성음의 시간적 위치에 대응되는 주파수 별 신호세기, 유성음의 시간적 위치, 유성음의 시간적 위치에 대응되는 주파수 별 신호세기, 및 음성 효과를 포함하는 보조정보를 생성하고,
    상기 미디어 데이터의 타입이 오디오 신호임에 대응하여, 상기 오디오 신호의 톤을 확대 또는 축소하기 위한 스케일링 팩터(scaling factor), 상기 오디오 신호의 주파수 레인지를 변경하기 위한 주파수 레인지 매핑 정보, 및 상기 오디오 신호의 샘플 값을 샘플링하거나 가중치를 적용하기 위한 필터 정보를 포함하는 보조정보를 생성하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  2. 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부;
    상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부; 및
    상기 생성된 보조정보를 부호화하는 부호화부를 포함하고,
    상기 보조정보 생성부는,
    상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 보조정보를 생성하되,
    상기 미디어 데이터의 타입이 오디오 신호인지 또는 음성 신호인지를 확인하고,
    상기 미디어 데이터의 타입이 음성 신호임에 대응하여, 무성음의 시간적 위치, 상기 무성음의 시간적 위치에 대응되는 주파수 별 신호세기, 유성음의 시간적 위치, 유성음의 시간적 위치에 대응되는 주파수 별 신호세기, 및 음성 효과를 포함하는 보조정보를 생성하고,
    상기 미디어 데이터의 타입이 오디오 신호임에 대응하여, 상기 오디오 신호의 톤을 확대 또는 축소하기 위한 스케일링 팩터(scaling factor), 상기 오디오 신호의 주파수 레인지를 변경하기 위한 주파수 레인지 매핑 정보, 및 상기 오디오 신호의 샘플 값을 샘플링하거나 가중치를 적용하기 위한 필터 정보를 포함하는 보조정보를 생성하는 것을 특징으로 하는 미디어 가치 향상 장치.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서, 상기 보조정보 생성부는,
    상기 미디어 데이터의 타입이 오디오 신호임에 대응하여, 오디오 신호의 음색을 변경하는 정보 및 미리 정해진 악기 소리를 출력하는 정보 중, 적어도 하나를 생성하는 것을 특징으로 하는 미디어 가치 향상 장치.
  6. 삭제
  7. 단말기로부터 미디어 데이터 요청 신호 또는 품질 정보 중 적어도 하나를 수신하는 단계;
    상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터를 복호화하는 단계;
    상기 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 단계; 및
    상기 생성된 보조정보를 부호화하는 단계를 포함하고,
    상기 보조정보를 생성하는 단계는,
    상기 미디어 데이터의 오디오 신호 또는 음성 신호의 부가가치 또는 품질을 향상시키기 위한 정보를 포함하는 상기 보조정보를 생성하되,
    상기 미디어 데이터의 타입이 오디오 신호인지 또는 음성 신호인지를 확인하는 단계와,
    상기 미디어 데이터의 타입이 음성 신호임에 대응하여, 무성음의 시간적 위치, 상기 무성음의 시간적 위치에 대응되는 주파수 별 신호세기, 유성음의 시간적 위치, 유성음의 시간적 위치에 대응되는 주파수 별 신호세기, 및 음성 효과를 포함하는 보조정보를 생성하는 단계와,
    상기 미디어 데이터의 타입이 오디오 신호임에 대응하여, 상기 오디오 신호의 톤을 확대 또는 축소하기 위한 스케일링 팩터(scaling factor), 상기 오디오 신호의 주파수 레인지를 변경하기 위한 주파수 레인지 매핑 정보, 및 상기 오디오 신호의 샘플 값을 샘플링하거나 가중치를 적용하기 위한 필터 정보를 포함하는 보조정보를 생성하는 단계를 포함하는 것을 특징으로 하는 미디어 가치 향상 방법.
KR1020170108556A 2017-08-28 2017-08-28 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 KR101952284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170108556A KR101952284B1 (ko) 2017-08-28 2017-08-28 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170108556A KR101952284B1 (ko) 2017-08-28 2017-08-28 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150146935A Division KR101773893B1 (ko) 2015-10-21 2015-10-21 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Publications (2)

Publication Number Publication Date
KR20170101180A KR20170101180A (ko) 2017-09-05
KR101952284B1 true KR101952284B1 (ko) 2019-02-26

Family

ID=59924808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170108556A KR101952284B1 (ko) 2017-08-28 2017-08-28 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Country Status (1)

Country Link
KR (1) KR101952284B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636317B1 (ko) * 2004-09-06 2006-10-18 삼성전자주식회사 분산 음성 인식 시스템 및 그 방법
US20140237365A1 (en) * 2011-10-10 2014-08-21 Genarts, Inc. Network-based rendering and steering of visual effects

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584111B1 (ko) * 2013-08-19 2016-01-11 경희대학교 산학협력단 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636317B1 (ko) * 2004-09-06 2006-10-18 삼성전자주식회사 분산 음성 인식 시스템 및 그 방법
US20140237365A1 (en) * 2011-10-10 2014-08-21 Genarts, Inc. Network-based rendering and steering of visual effects

Also Published As

Publication number Publication date
KR20170101180A (ko) 2017-09-05

Similar Documents

Publication Publication Date Title
US9734557B2 (en) Method and apparatus for generating 3K-resolution display image for mobile terminal screen
US11164606B2 (en) Audio-driven viewport selection
JP2020010331A (ja) 画質を向上させる方法
CN112889282B (zh) 用于对图像执行人工智能编码和人工智能解码的方法和设备
JP2013211908A (ja) ビデオ圧縮方法
US11310514B2 (en) Encoding method and apparatus using non-encoding region, block-based encoding region, and pixel-based encoding region
CN111586412B (zh) 高清视频处理方法、主设备、从设备和芯片系统
JP2023524000A (ja) 品質正規化ビデオコード変換のための動的パラメータ選択
WO2019109955A1 (zh) 帧间预测方法、装置及终端设备
KR20230137459A (ko) 포인트 클라우드 인코딩 방법 및 장치, 포인트 클라우드 디코딩 방법 및 장치, 및 컴퓨터-판독가능 매체, 및 전자 디바이스
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
KR101952284B1 (ko) 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
KR101895053B1 (ko) 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
KR101773893B1 (ko) 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20160065860A (ko) 미디어 신호의 인코딩, 디코딩 방법 및 그 장치
KR20190087764A (ko) 키넥트 영상 데이터 부호화 장치 및 그 방법
KR101581131B1 (ko) 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기
KR20170033355A (ko) 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
WO2018120290A1 (zh) 一种基于模板匹配的预测方法及装置
US20240114147A1 (en) Systems, methods and bitstream structure for hybrid feature video bitstream and decoder
WO2024093627A1 (zh) 一种视频压缩方法、视频解码方法和相关装置
US20240089499A1 (en) Displacement coding for mesh compression

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant