KR20140128420A - 다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기 - Google Patents

다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기 Download PDF

Info

Publication number
KR20140128420A
KR20140128420A KR1020147025280A KR20147025280A KR20140128420A KR 20140128420 A KR20140128420 A KR 20140128420A KR 1020147025280 A KR1020147025280 A KR 1020147025280A KR 20147025280 A KR20147025280 A KR 20147025280A KR 20140128420 A KR20140128420 A KR 20140128420A
Authority
KR
South Korea
Prior art keywords
video
encoding
terminal
frame rate
rti
Prior art date
Application number
KR1020147025280A
Other languages
English (en)
Other versions
KR101629226B1 (ko
Inventor
천천 구
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20140128420A publication Critical patent/KR20140128420A/ko
Application granted granted Critical
Publication of KR101629226B1 publication Critical patent/KR101629226B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 다자간 비디오 통신에서의 비디오 인코딩 방법 및 단말기를 제공한다. 상기 방법은, 단말기 X가 다자간 비디오 통신에 참여한 후에, A, 상기 단말기의 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하는 단계; 및 B, 상기 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 각각 결정하고, 상기 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하는 단계를 포함한다. 본 발명은 또한 단말기를 제공한다. 본 발명의 방안에 따르면, 전체 비디오 통신 품질이 향상될 수 있다.

Description

다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기 {VIDEO CODING METHOD IN MULTI-PERSON VIDEO COMMUNICATIONS AND TERMINAL}
본 발명은 다자간(multi-party) 비디오 통신 기술에 관한 것으로, 더욱 구체적으로는 다자간 비디오 통신에서의 비디오 인코딩 방법 및 시스템에 관한 것이다.
인터넷 기술 및 무선 통신 기술의 발전과 대중화와 더불어, 그룹 화상 채팅, 화상 회의 및 네트워크 비디오 게임과 같은 비디오 통신은 사람 간의 협상을 더욱 편리하게 하고 오락 방식(entertainment manner)을 더욱 풍부하게 한다. 따라서, 비디오 통신은 점점 더 많이 사람들의 관심을 끈다. 다자간 비디오 통신은 세 사람 이상이 동시에 참여하는 인스턴트(instant) 비디오 통신을 가리킨다.
다자간 비디오 통신에서, 여러 채널의 비디오 데이터를 처리해야 한다. 여러 채널의 네트워크 상황의 요구를 충족시키기 위해, 다자간 비디오 통신에 참여하는 단말기는 보통 다수의 비디오 인코더를 포함한다. 일반적으로, 비디오 인코딩은 계산 복잡도가 높다. 여러 채널의 동기식 비디오 인코딩(synchronous video encoding)의 계산 복잡도는 보다 높다. 따라서, 단말기 처리 능력이 제한되어 있는 경우, 각 비디오 인코더의 인코딩 파라미터는 계산 복잡도를 합리적으로 제어하도록 합리적으로 구성되어야 한다.
실제 애플리케이션에서, 균일한 인코딩 파라미터, 예컨대, 최고 인코딩 프레임 레이트가, 평균 처리 능력에 따라 또는 대부분의 단말기의 처리 능력에 따라, 각 단말기의 비디오 인코더 각각에 대해 구성된다. 각 비디오 인코더는 설정된 균일한 최고 인코딩 프레임 레이트에 따라 비디오 인코딩을 수행하고 인코딩된 출력 데이터를 전송한다.
그러나, 다자간 비디오 통신에 참여하는 단말기는 종래의 단말기, 예를 들면, 퍼스널 컴퓨터(PC)일 수도 있고, 아니면 휴대 전화 또는 팜 컴퓨터(palm computer) 등의 모바일 전자 기기일 수도 있다. 상이한 유형의 단말기의 처리 능력에는 큰 차이가 있다. 따라서 균일한 인코딩 파라미터가 각 단말기의 비디오 인코더 각각에 설정되어 있는 경우, 다음과 같은 문제가 존재할 수 있다: 높은 처리 능력을 가진 단말기의 경우, 컴퓨팅 자원이 낭비되고, 최고의 비디오 통신 품질을 달성할 수 없다. 처리 능력이 좋지 못한 단말기의 경우, 비디오 통신 품질이 저하된다.
전술한 상황 중 어느 상황이 나타나면, 단말기의 컴퓨팅 자원을 합리적으로 이용할 수 없다. 따라서, 전체적인 영상 통신 품질이 영향을 받는다.
본 발명의 실시예는 다자간 비디오 통신의 비디오 인코딩 방법을 제공한다.
본 발명의 기술적 해결방안은 다음과 같다:
단말기 X가 다자간 비디오 통신에 참여(join)한 후의, 다자간 비디오 통신에서의 비디오 인코딩 방법으로서, 상기 방법은
A, 상기 단말기의 사용중인 중요 비디오 인코더(important video encoder)의 수 및 사용중인 일반 비디오 인코더(common video encoder)의 수를 각각 결정하는 단계; 및
B, 상기 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 각각 결정하고, 상기 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하는 단계를 포함한다.
하나 이상의 중요 비디오 인코더, 하나 이상의 일반 비디오 인코더, 및 적응형 조정 모듈(adaptive adjusting module)을 포함하는 단말기로서,
상기 적응형 조정 모듈은,
상기 단말기가 다자간 비디오 통신에 참여한 후에, 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하고;
상기 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 각각 결정하고, 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 각각 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있다.
다자간 비디오 통신에서의 비디오 인코딩을 위한 명령어 세트를 포함하는 컴퓨터로 판독 가능한 비일시적인 기억 매체로서, 상기 명령어 세트는 하나 이상의 프로세서에 본 발명에 의해 제공되는 방법을 수행하도록 지시한다.
이상의 기술적 방안으로부터, 다자간 비디오 통신에 참여하는 각 단말기에 대하여, 중요 비디오의 인코딩 파라미터와 일반 비디오의 인코딩 파라미터가 단말기의 처리 능력과 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수에 따라 결정된다는 것을 알 수 있다. 따라서, 단말기 내의 컴퓨팅 자원이 더욱 합리적으로 이용될 수 있어 전체적인 비디오 통신 품질이 향상된다.
본 발명의 기술적 방안을 더욱 명확하게 하기 위해 여기에 이하의 실시예 또는 기존 기술에 대한 설명에 사용된 도면을 간단히 소개한다. 유의해야 할 것은, 다음의 도면은 단지 일부 실시예일 뿐이라는 것이다. 본 발명이 속하는 기술분야의 당업자(이하, 당업자라 함)는 창의적인 노력 없이 이 도면들에 따라 많은 변형을 얻을 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다자간 비디오 통신에서의 비디오 인코딩 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 단말기 X의 중요 비디오의 최고 인코딩 프레임 레이트 및 일반 비디오의 최고 인코딩 프레임 레이트의 결정을 나타낸 개략도이다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구조를 나타내는 개략도이다.
기존 기술의 문제를 해결하기 위해, 본 발명의 실시예는 향상된 비디오 인코딩 방안을 제공한다.
이하에, 첨부도면을 참조하여 본 발명을 더욱 상세하게 설명하여 기술적 방안 및 이점을 더욱 분명하게 한다.
도 1은 본 발명의 실시예에 따른 다자간 비디오 통신에서의 비디오 인코딩 방법을 나타낸 흐름도이다. 단말기 X가 다자간 비디오 통신에 참여한 후에, 도 1에 도시된 바와 같은 작업을 실행한다.
블록 11에서, 단말기 X가, 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정한다.
설명을 용이하게 하기 위해, 본 발명의 실시예에서, 단말기 X는 임의 단말기, 예를 들어 퍼스널 컴퓨터(PC), 휴대 전화, 팜톱 컴퓨터(pamtop) 등을 가리킨다.
실시예에서, 비디오는 집중도(focus degree)에 따라 중요 비디오와 일반 비디오로 나뉜다. 중요 비디오는 집중도가 비교적 높은 비디오를 가리킨다, 즉, 집중해야 하는 비디오를 가리킨다. 일반 비디오는 집중도가 비교적 낮은 비디오를 가리킨다. 일반적으로, 중요 비디오의 해상도는 높고, 일반 비디오의 해상도는 낮다. 일반 비디오 또는 중요 비디오는 그 집중도와 미리 정해진 임계값과 비교를 통해 결정될 수도 있고, 또는 단말기의 사용자에 의해 결정될 수도 있고, 또는 다른 방식으로 결정될 수도 있으며, 본 발명에서는 제한되지 않는다.
단말기 X가 다자간 비디오 통신에 참여한 후, 단말기 X와 다자간 비디오 통신의 원격 단말기 각각 사이에는 비디오 연결이 확립되어야 한다. 단말기 X의 사용자는 자신의 요구에 따라 각각의 원격 비디오가 중요 비디오 인지 일반 비디오인지를 결정할 수 있다. 사용자는 또한 통신 중에 중요 비디오를 일반 비디오로 전환할 수도 있고, 그 반대로 전환할 수도 있다. 예를 들어, 사용자는 어느 하나의 원격 비디오에 덜 집중할 수 있고 이를 일반 비디오로 설성할 수 있다. 그 후, 사용자는 몇 가지 이유로 이 비디오에 집중해야 한다. 이때, 사용자는 사용자 인터페이스의 버튼을 클릭하여 이것을 중요 비디오로 전환할 수 있다. 유사하게, 다자간 비디오 통신에 참여하는 각 원격 단말기는 또한 단말기 X에 의해 생성된 비디오를 그들의 요구에 따라 중요 비디오 또는 일반 비디오로서 설정할 수 있다. 전환 작업은 통신 중에도 수행될 수 있다.
일 실시예에서, 단말기 X는 각각의 원격 단말기에 대해 하나의 비디오 인코더를 사용한다. 다른 경우, 단말기 X는 복수의 원격 단말기에 대해 하나의 비디오 인코더를 사용할 수 있다.
따라서, 단말기 X에 의해 생성된 비디오를 중요 비디오로서 설정하는 원격 사용자가 n명 있는 경우, 단말기 X는
Figure pct00001
개의 중요 비디오 인코더를 필요로 한다. m명의 원격 사용자가 단말기 X에 의해 생성된 비디오를 일반 비디오로서 설정하는 경우, 단말기 X는
Figure pct00002
개의 통신 비디오 인코더를 필요를 한다.
따라서, 단말기 X에 의해 생성된 비디오를 중요 비디오로서 설정하는 n명의 원격 사용자가 있는 경우, 단말기 X는
Figure pct00003
개의 중요 비디오 인코더를 필요로 한다. m명의 원격 사용자가 단말기 X에 의해 생성된 비디오를 일반 비디오로 설정하는 경우, 단말기 X는
Figure pct00004
개의 일반 비디오 인코더를 필요로 한다.
이 블록에서, 단말기 X는 사용중인 중요 비디오 인코더의 수와 사용중인 일반 비디오 인코더의 수를 각각 결정한다.
블록 12에서, 단말기 X는, 단말기 X의 처리 능력 및 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 각각 결정하고, 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하여 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 수행하도록 한다.
중요 비디오의 집중도가 일반 비디오의 집중도보다 높기 때문에, 중요 비디오와 일반 비디오에는 상이한 인코딩 파라미터가 채용될 수 있다. 인코딩 파라미터는 주로 최고 인코딩 프레임 레이트(highest encoding frame rate)를 포함한다. 물론, 실제 애플리케이션에서, 인코딩 파라미터는, 실제 요구에 따라 결정될 수 있는, 다른 파라미터를 포함할 수도 있다.
중요 비디오의 최고 인코딩 프레임 레이트는, 집중도가 높은 중요 비디오에 제한된 컴퓨팅 자원이 집중되도록, 어느 정도 증가될 수 있다. 따라서, 중요 비디오는 더욱 양호한 품질을 가질 수 있어 사용자 경험을 향상시킨다.
그러나, 중요 비디오의 해상도가 증가함에 따라, 즉 중요 비디오의 최고 인코딩 프레임 레이트가 증가함에 따라, 단말기의 컴퓨팅 자원의 소비가 급격하게 증가한다. 따라서, 중요 비디오의 최고 인코딩 프레임 레이트를 증가시키면서, 또한 단말기의 처리 능력 내에서 컴퓨팅 자원의 소비를 제어할 필요가 있다.
상기한 다자간 비디오 통신에서의 비디오 인코딩 방법에 따르면, 다자간 비디오 통신에 참여하는 각 단말기의 경우, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 자신의 처리 능력과 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수에 따라 결정할 수 있다. 따라서 단말기의 컴퓨팅 자원을 더욱 합리적으로 이용할 수 있고 비디오 통신 품질을 향상시킨다.
도 2는 본 발명의 이 실시예에 따라 단말기 X에 의한 중요 비디오에 대한 최고 인코딩 프레임 레이트의 결정 및 일반 비디오에 대한 최고 인코딩 프레임 레이트의 결정 프로세스를 나타낸 개략도이다. 도 2에 도시된 바와 같이, 상기 방법은 다음의 블록을 포함한다.
블록 21에서, 처리 능력 및 최신 결정 결과에 따라, 단말기 X가 중요 비디오에 대한 최고 인코딩 프레임 레이트
Figure pct00005
및 일반 비디오에 대한 최고 인코딩 프레임 레이트
Figure pct00006
를 각각 초기화한다.
Figure pct00007
; (1)
위 식에서, m은 새로 결정된 일반 비디오 인코더의 수를 나타내고;
n은 새로 결정된 중요 비디오 인코더의 수를 나타내고;
r은, 해상도
Figure pct00008
인 일반 비디오에 의해 소비된 컴퓨팅 자원에 대한, 해상도
Figure pct00009
인 중요 비디오에 의해 소비된 컴퓨팅 자원의 비율 인자로, 간단히 해상도의 비율에 따라 계산될 수 있다:
Figure pct00010
; (2)
또는, 해상도
Figure pct00011
인 일반 비디오의 인코딩 레이트에 대한, 해상도
Figure pct00012
인 중요 비디오의 인코딩 레이트의 비율, 인코딩 레이트 비를 r로 하여, 단말기 X에서 수행된 실험을 통해 취득할 수도 있다.
F는 해상도
Figure pct00013
인 비디오의 인코딩에 이용 가능한 최고 인코딩 프레임 레이트로 표현된, 단말기 X의 처리 능력이며, 아래의 식 (3)에 따라 계산될 수 있다:
Figure pct00014
; (3)
위 식에서,
Figure pct00015
는 전부하(full load)인 단말기 X에 의해 해상도
Figure pct00016
인 비디오를 인코딩하는 인코딩 속도(초당 인코딩되는 평균 프레임 수)를 나타낸다. 상이한 주 주파수의 프로세서에 대응하는
Figure pct00017
를 실험 측정을 통해 취득하고 그
Figure pct00018
를 테이블로 저장할 수 있으며;
Figure pct00019
는 단말기 X의 프로세서에 대한 인코딩 작업의 원하는 사용 비율(usage ratio)이다.
Figure pct00020
의 구체적인 값은 실제 요구에 따라 결정될 수 있다.
Figure pct00021
는 사용자에 의해 입력 및 설정될 수 있고 조정될 수 있다. 예를 들어, 단말기 X가 충분히 충전되는 있는 경우,
Figure pct00022
로 설정할 수 있다. 단말기 X가 저 배터리 상태이거나 사용자가 절전을 원하는 경우,
Figure pct00023
로 설정할 수 있다.
블록 22에서,
Figure pct00024
를 증가시키고
Figure pct00025
를 감소시킨다.
이 블록에서, 중요 비디오의 최고 인코딩 프레임 레이트는 증가되고 일반 비디오의 최고 인코딩 프레임 레이트는 감소된다. 예를 들어,
Figure pct00026
라고 하자.
Figure pct00027
의 값은 실제 요건에 따라, 예컨대 1로, 결정될 수 있다.
블록 23에서, 블록 22에서 새로 취득된
Figure pct00028
및
Figure pct00029
가 미리 정해진 조건을 충족시키는지를 판정하고, 충족시키면 블록 22를 반복하고, 그렇지않으면 블록 24를 수행한다.
새로 취득된
Figure pct00030
및
Figure pct00031
, 즉 블록 22에서 취득된
Figure pct00032
및
Figure pct00033
가 다음의 조건 (a) 및 (b)를 동시에 충족시키면, 블록 22를 반복하고; 그렇지 않으면 블록 24를 수행한다.
조건 (a)
중요 비디오의 MOS(mean opinion score)와 일반 비디오의 MOS와의 차의 절대값이 미리 정해진 임계값
Figure pct00034
보다 작다.
Figure pct00035
는 실제 요구에 따라, 예컨대 0.5로 결정될 수 있다.
MOS는 비디오 품질의 주관적인 측정값(subjective measurement)이다. MOS는, 일반적으로 5점 만점(5-point scale)으로 반영된, 상이한 시청자들의 주관적인 스코어의 평균값을 계산하여 취득될 수 있다.
중요 비디오의 MOS는 새로 취득된
Figure pct00036
에 따라 결정될 수 있고, 일반 비디오의 MOS는 새로 취득된
Figure pct00037
에 따라 결정될 수 있다.
이 예에서, MOS는 아래의 식에 따라 계산될 수 있다:
Figure pct00038
(4)
Figure pct00039
(5)
위 식에서,
Figure pct00040
와
Figure pct00041
는 계산 인수이고;
Figure pct00042
는 비디오 통신에 사용될 수 있는 최고 인코딩 프레임 레이트를 나타낸다.
실제 애플리케이션에서, 비디오 통신에 사용될 수 있는 각 인코딩 프레임 레이트에 대응하는 MOS는 식 (4) 또는 식 (5)에 따라 계산되어 테이블의 형태로 저장될 수 있다. 필요한 경우, 새로 취득된
Figure pct00043
및
Figure pct00044
에 대응하는 MOS는 그 테이블의 검색을 통해 취득될 수 있다,
일반적으로,
Figure pct00045
으로 두자. 그러면, 식 (4)에 따라 계산된 테이블은 다음을 포함한다: (1, 1.5469), (2, 2.4902), (3, 3), (4, 3.3409), (5, 3.5923), (6, 3.7886), (7, 3.9479), (8, 4.0805), (9, 4.1932), (10, 4.2902), (11, 4.3749), (12, 4.4495), (13, 4.5156), (14, 4.5746), (15, 4.6275), (16, 4.6752), (17, 4.7182), (18, 4.7571), (19, 4.7923), (20, 4.8242), (21, 4.8531), (22, 4.8792), (23, 4.9027), (24, 4.9238), (25, 4.9426), (26, 4.9591), (27, 4.9734), (28, 4.9853), (29, 4.9946), (30, 5). 괄호 내의 앞 요소는 인코딩 프레임 레이트, 즉 f를 나타내고, 괄호 내의 뒷 요소는 대응하는 MOS를 나타낸다.
새로 취득된
Figure pct00046
가 10이라고 가정하자. 이에 따라, 테이블의 검색을 통해 중요 비디오의 MOS가 4.292인 것을 취득한다. 새로 취득된
Figure pct00047
가 8이라고 가정하자. 이에 따라, 테이블의 검색을 통해 일반 비디오의 MOS가 4.0805인 것을 취득한다.
또는, 새로 취득된
Figure pct00048
및
Figure pct00049
에 대응하는 MOS는 테이블을 검색하는 대신, 식 (4) 또는 (5)에 따라 직접 계산될 수도 있다.
조건 (b)
모든 비디오의 전체 컴퓨팅 자원 소비는 단말기 X의 처리 능력 F를 초과하지 않는다, 즉,
Figure pct00050
(6)
블록 24에서, 새로 취득된
Figure pct00051
에 따라 중요 비디오의 최고 인코딩 프레임 레이트를 결정하고, 새로 취득된
Figure pct00052
에 따라 일반 비디오의 최고 인코딩 프레임 레이트를 결정한다, 즉, 새로 취득된
Figure pct00053
를 중요 비디오의 최고 인코딩 프레임 레이트로서 취하고, 새로 취득된
Figure pct00054
를 일반 비디오의 최고 인코딩 프레임 레이트로서 취한다.
전술한 블록 21∼24를 설명하기 위한 일례가 주어진다.
초기화된
Figure pct00055
라고 가정하자.
다음에,
Figure pct00056
로 두자.
Figure pct00057
일 때, 미리 정해진 조건을 충족시키는지를 판정한다. 조건을 충족하면
Figure pct00058
으로 두자.
Figure pct00059
일 때 미리 정해진 조건을 충족시키는지를 판정한다. 조건을 충족시키지 않으면, 16을 중요 비디오의 최고 인코딩 프레임 레이트로서 취하고, 14를 일반 비디오의 최고 인코딩 프레임 레이트로 취한다.
블록 21∼24의 처리 이후, 중요 비디오의 최고 인코딩 프레임 레이트를 증가시켜 더욱 높은 품질을 갖도록 하면서, 중요 비디오와 일반 비디오 간의 주관적인 품질 차가 합리적인 범위 내로 제한된다. 계산 자원 소비도 또한 단말기의 처리 능력 내에서 제어된다.
또한, 상기한 다자간 비디오 통신에서의 비디오 인코딩 방법에 기초하면, 다음 블록이 더 포함될 수 있다: 단말기 X가 사용중인 중요 비디오 인코더의 수가 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경된 것으로 판정하면, 블록 11 및 블록 12가 다시 실행된다.
사용중인 중요 비디오 인코더의 수와 사용중인 일반 비디오 인코더의 수 중 적어도 하나의 변경은 다음의 상황을 포함할 수 있다: 비디오 통신에 참여한 단말기의 총수가 증가 또는 감소(즉, 적어도 하나의 단말기가 참여하거나 그만둔다), 또는 단말기의 총수는 변화되지 않지만, 중요 비디오에서 일반 비디오로의 전환 또는 그 반대로의 전환이 발생(예컨대, 원격 단말기가 단말기 X에 의해 생성된 비디오를 중요 비디오에서 일반 비디오로 전환한다), 또는 상기한 상황의 조합.
본 실시예에서, 중요 비디오 인코더의 수 및 일반 비디오 인코더의 수의 변화에 따라 인코딩 프레임 레이트를 결정 및 조정할 수 있고, 이는 비디오 통신 품질을 더욱 향상시킨다.
단말기 X가 닫힌 후에 상기 방법은 종료된다.
유의할 것은, 대응하는 목표를 달성할 수 있기만 하면, 상기한 식은 많은 변형 또는 수정이 있을 수 있다는 것이다.
이상 본 발명의 실시예에 의해 제공된 방법을 설명하였다.
상기한 설명에 기초하여, 도 3은 본 발명의 일 실시예에 따른 단말기의 구성을 나타낸 개략도이다. 도 3에 도시된 바와 같이, 단말기는 하나 이상의 중요 비디오 인코더(도 3의 EB1∼EBn 참조), 하나 이상의 일반 비디오 인코더(도 3의 Es1∼Esm 참조), 및 적응형 조정 모듈(adaptive adjusting module)(31)을 포함한다.
적응형 조정 모듈(31)은, 단말기가 다자간 비디오 통신에 참여한 후에, 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하도록 되어 있다.
적응형 조정 모듈(31)은 또한 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 결정하고, 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 각각 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있다.
본 발명의 실시예에 의해 제공되는 클라이언트에 따르면, 단말기의 처리 능력과 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수에 따라, 중요 비디오에 대한 인코딩 파라미터와 일반 비디오에 대한 인코딩 파라미터를 결정할 수 있다. 단말기의 컴퓨팅 자원이 더욱 합리적으로 이용될 수 있고 비디오 통신 품질이 향상된다.
또한, 상기한 단말기 실시예에 기초하여, 적응형 조정 모듈은 또한 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경될 때, 재실행할 수 있다.
따라서, 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경될 때, 예컨대, 비디오 통신에 참여한 단말기의 총수가 증가 또는 감소, 또는 단말기의 총수는 변경되지 않지만, 중요 비디오에서 일반 비디오로의 전환 또는 그 반대로의 전환이 발생하고 그 결과 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수가 변경될 때, 중요 비디오 및 일반 비디오 인코딩 파라미터를 재결정할 수 있다. 따라서, 전체 비디오 통신 품질이 더욱 향상된다.
인코딩 파라미터는 최고 인코딩 프레임 레이트를 포함한다.
적응형 조절 모듈(31)은 구체적으로 제1 처리 유닛, 제2 처리 유닛, 제3 유닛, 및 제4 유닛을 포함할 수 있고(도 3에 도시되지 않음),
제1 처리 유닛은,
사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하고,
결정된 결과를 제2 처리 유닛에 전송하도록, 되어 있고,
제2 처리 유닛은,
단말기의 처리 능력 및 상기 결정된 결과에 따라, 중요 비디오의 최고 인코딩 프레임 레이트
Figure pct00060
및 일반 비디오의 최고 인코딩 프레임 레이트
Figure pct00061
를 결정하고,
결정된
Figure pct00062
및
Figure pct00063
를 제3 처리 유닛으로 전송하도록, 되어 있고,
제3 처리 유닛은,
Figure pct00064
를 증가시키고
Figure pct00065
를 감소시키며,
새로 취득된
Figure pct00066
및
Figure pct00067
가 미리 정해진 조건을 충족시키는 판정하고,
새로 취득된
Figure pct00068
및
Figure pct00069
가 미리 정해진 조건을 충족시키면, 새로 취득된
Figure pct00070
를 증가시키고 새로 취득된
Figure pct00071
를 감소시키며,
새로 취득된
Figure pct00072
및
Figure pct00073
가 미리 정해진 조건을 충족시키지 않는 것으로 판정한 경우,
Figure pct00074
에 따라 중요 비디오의 최고 인코딩 프레임 레이트를 결정하고,
Figure pct00075
에 따라 일반 비디오의 최고 인코딩 프레임 레이트를 결정하며,
결정된
Figure pct00076
및
Figure pct00077
에 따라 비디오 인코딩을 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있고,
제4 처리 유닛은,
사용중인 중요 비디오의 수와 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경된 경우, 제1 처리 유닛의 작동(operation)을 트거(trigger)하도록 되어 있다.
제2 처리 유닛은 또한,
제1 처리 서브유닛 및 제2 처리 서브유닛을 포함할 수 있고,
제1 처리 서브유닛은,
Figure pct00078
을 계산하도록 되어 있고;
위 식에서, m은 새로 결정된 일반 비디오 인코더의 수를 나타내고;
n은 새로 결정된 중요 비디오 인코더의 수를 나타내고;
r은, 해상도
Figure pct00079
인 일반 비디오에 의해 소비된 컴퓨팅 자원에 대한, 해상도
Figure pct00080
인 중요 비디오에 의해 소비된 컴퓨팅 자원의 비율 인자
Figure pct00081
를 나타내거나; 또는 해상도
Figure pct00082
인 일반 비디오의 인코딩 레이트에 대한, 해상도
Figure pct00083
인 중요 비디오의 인코딩 레이트의 비율을, 실험을 통해 취득하여, 그 인코딩 레이트 비율을 r로 할 수 있고;
F는 단말기 X의 처리 능력,
Figure pct00084
를 나타내며; 위 식에서
Figure pct00085
는 전부하(full load)인 단말기 X에 의해 해상도
Figure pct00086
인 비디오를 인코딩하는 인코딩 속도를 나타내고,
Figure pct00087
는 단말기 X의 프로세서에 대한 인코딩 작업의 원하는 사용 비율을 나타내며;
제2 처리 서브유닛은, 계산된
Figure pct00088
및
Figure pct00089
를 제3 처리 유닛에 전송하도록 되어 있다.
제3 처리 유닛은 또한, 제3 처리 서브유닛 및 제4 처리 서브유닛을 더 포함할 수 있고,
제3 처리 서브유닛은
Figure pct00090
을 계산하고, 계산된 결과를 제4 처리 서브유닛에 전송하도록 되어 있고;
제4 처리 서브유닛은,
새로 취득된
Figure pct00091
에 따라 상기 중요 비디오의 MOS를 결정하고, 새로 취득된
Figure pct00092
에 따라 상기 일반 비디오의 MOS를 결정하며;
중요 비디오의 MOS와 일반 비디오의 MOS와의 차의 절대값이, 미리 정해진 임계값
Figure pct00093
보다 작고,
Figure pct00094
Figure pct00095
이고
Figure pct00096
가 비디오 통신에 허용 가능한 최고 인코딩 프레임 레이트를 나타내는 경우, 새로 취득된
Figure pct00097
및
Figure pct00098
가 미리 정해진 조건을 충족시키는 것으로 판정하고, 제3 처리 서브유닛에 자신의 작업(operation)을 재실행하도록 통지하며;
그렇지 않으면, 새로 취득된
Figure pct00099
를 중요 비디오의 최고 인코딩 프레임 레이트로서 취하고, 새로 취득된
Figure pct00100
를 일반 비디오의 최고 인코딩 프레임 레이트로서 취하여, 결정된 인코딩 파라미터에 따라 비디오 인코딩을 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록 되어 있다.
제4 처리 서브유닛은, 미리 정해진 식에 따라 비디오 통신에서 사용될 수 있는 각각의 인코딩 프레임 레이트에 대응하는 MOS를 각각 계산하고, 계산된 MOS를 테이블의 형태로 저장할 수 있다. 필요한 때, 테이블의 검색을 통해 새로 취득된
Figure pct00101
및
Figure pct00102
에 각각 대응하는 MOS를 취득할 수 있다.
또는, 제4 처리 서브유닛은 미리 정해진 식에 따라 직접 새로 취득된
Figure pct00103
및
Figure pct00104
에 대응하는 MOS를 취득할 수도 있다.
미리 정해진 식은,
Figure pct00105
또는
Figure pct00106
일 수 있고; 위 식에서,
Figure pct00107
및
Figure pct00108
는 계산 인수(calculating factor)이다.
실제 애플리케이션에서는, 도 3에 도시된 단말기는 상기한 유닛들 외에, 몇몇 다른 구성요소, 예컨대 캡처 모듈(32), 비디오 디코더(도 3의 D1∼DN 참조), 디스플레이 모듈(33)을 더 포함할 수 있다.
캡처 모듈(32)은 또한 중요 비디오 자원 캡처 모듈(321) 및 일반 비디오 자원 캡처 모듈(322)을 더 포함할 수 있다. 중요 비디오 자원 캡처 모듈(321)은 캡처된 비디오 데이터를 사용중인 각각의 중요 비디오 인코더에 전송한다. 일반 비디오 자원 캡처 모듈(322)은 캡처된 비디오 데이터를 사용중인 각각의 일반 비디오 인코더에 전송한다. 중요 비디오 자원 캡처 모듈(321) 및 일반 비디오 자원 캡처 모듈(322)에 의해 캡처된 비디오는 동일한 콘텐츠를 갖지만 해상도가 상이하다.
일반적으로, 각각의 원격 단말기에 대해 비디오 디코더의 사용이 요구된다. 그러나, 하나의 비디오 인코더에 의해 생성된 코드 스트림은 하나 이상의 원격 단말기에 전송될 수 있다. 도 3에 도시된 바와 같이 단말기(단말기 0)가 각각의 원격 단말기, 즉, 단말기 1∼N에 대해 하나의 비디오 인코더와 하나의 비디오 디코더를 각각 사용한다고 가정하자.
디스플레이 모듈(33)은 각각의 비디오 디코더에 의해 취득된 중요 비디오 및 일반 비디오를 표시한다.
도 3에 도시된 단말기의 구체적인 동작 및 기능은 전술한 본 발명의 방법 실시예의 설명으로 알 수 있으므로, 여기서 반복하여 설명하지 않는다.
당업자는 본 발명의 상기한 블록의 일부 또는 전부를 하드웨어로 구현하거나, 관련 하드웨어상에서 실행되는 프로그램으로 구현할 수 있음 알 것이다. 상기 프로그램은, 판독 전용 메모리/임의 접근 메모리, 디스크 또는 컴팩트 디스 등의 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있다.
본 명세서에서는 발명의 바람직한 실시예를 몇몇 변형예와 함께 설명하였다.
본 발명의 범위 내에서, 이하의 특허청구범위( 및 그 등가물)에 의해 규정되도록 의도되는, 많은 변형예가 가능하며, 달리 언급되지 않는 한 모든 용어는 그것의 가장 넓은 합리적인 의미로 의도된다.

Claims (16)

  1. 다자간 비디오 통신에서의 비디오 인코딩 방법으로서,
    단말기 X가 다자간 비디오 통신에 참여한 후에,
    A, 상기 단말기의 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하는 단계; 및
    B, 상기 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 각각 결정하고,
    상기 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 수행하도록, 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하는 단계
    를 포함하는 비디오 인코딩 방법.
  2. 제1항에 있어서,
    상기 인코딩 파라미미터는 최고 인코딩 프레임 레이트를 포함하고,
    상기 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 결정하는 단계는,
    b1, 상기 단말기의 처리 능력 및 최신 결정 결과에 따라, 상기 중요 비디오의 최고 인코딩 프레임 레이트
    Figure pct00109
    및 상기 일반 비디오의 최고 인코딩 프레임 레이트
    Figure pct00110
    를 각각 초기화하는 단계; 및
    b2,
    Figure pct00111
    를 증가시키고
    Figure pct00112
    를 감소시켜, 새로 취득된
    Figure pct00113
    및
    Figure pct00114
    가 미리 정해진 조건을 충족시키는 경우, 단계 b2를 반복하고, 그렇지않으면 상기 새로 취득된
    Figure pct00115
    에 따라 상기 중요 비디오의 최고 인코딩 프레임 레이트를 결정하고, 상기 새로 취득된
    Figure pct00116
    에 따라 상기 일반 비디오의 최고 인코딩 프레임 레이트를 결정하는 단계를 포함하는 비디오 인코딩 방법.
  3. 제2항에 있어서,
    Figure pct00117
    를 증가시키고
    Figure pct00118
    를 감소시키는 단계는,
    Figure pct00119
    로 두는 것을 포함하고;
    상기 새로 취득된
    Figure pct00120
    에 따라 상기 중요 비디오의 최고 인코딩 프레임 레이트를 결정하고, 상기 새로 취득된
    Figure pct00121
    에 따라 상기 일반 비디오의 최고 인코딩 프레임 레이트를 결정하는 단계는,
    새로 취득된
    Figure pct00122
    를 상기 중요 비디오의 최고 인코딩 프레임 레이트로서 취하고, 새로 취득된
    Figure pct00123
    를 상기 일반 비디오의 최고 인코딩 프레임 레이트로서 취하는 단계를 포함하는, 비디오 인코딩 방법.
  4. 제2항에 있어서,
    상기 중요 비디오의 최고 인코딩 프레임 레이트
    Figure pct00124
    및 상기 일반 비디오의 최고 인코딩 프레임 레이트
    Figure pct00125
    를 각각 초기화하는 단계는,
    Figure pct00126
    를 계산하는 단계를 포함하고,
    위 식에서, m은 새로 결정된 일반 비디오 인코더의 수를 나타내고;
    n은 새로 결정된 중요 비디오 인코더의 수를 나타내고;
    r은, 해상도
    Figure pct00127
    인 일반 비디오에 의해 소비된 컴퓨팅 자원에 대한, 해상도
    Figure pct00128
    인 중요 비디오에 의해 소비된 컴퓨팅 자원의 비율 인자(proportion factor)
    Figure pct00129
    를 나타내거나; r은, 해상도
    Figure pct00130
    인 일반 비디오의 인코딩 레이트에 대한, 해상도
    Figure pct00131
    인 중요 비디오의 인코딩 레이트의 실험을 통해 취득된, 비율을 나타내고;
    F는 단말기 X의 처리 능력
    Figure pct00132
    를 나타내며; 위 식에서,
    Figure pct00133
    는 전부하(full load)인 단말기 X에 의해 해상도
    Figure pct00134
    인 비디오를 인코딩하는 인코딩 속도를 나타내고,
    Figure pct00135
    는 단말기 X의 프로세서에 대한 인코딩 작업의 원하는 사용 비율(usage ratio)을 나타내는, 비디오 인코딩 방법.
  5. 제4항에 있어서,
    실험 측정값(experimental measurement)에 따라 주 주파수가 상이한 프로세서에 대응하는
    Figure pct00136
    를 각각 취득하는 단계;
    상기
    Figure pct00137
    를 테이블의 형태로 저장하는 단계; 및
    상기 테이블의 검색을 통해 상기 단말기 X의 주 주파수에 대응하는
    Figure pct00138
    를 취득하는 단계를 더 포함하는 비디오 인코딩 방법.
  6. 제4항에 있어서,
    상기 새로 취득된
    Figure pct00139
    및
    Figure pct00140
    가 미리 정해진 조건을 충족시키는지를 판정하는 단계는,
    상기 새로 취득된
    Figure pct00141
    에 따라 상기 중요 비디오의 MOS(mean objective score)를 결정하고, 상기 새로 취득된
    Figure pct00142
    에 따라 상기 일반 비디오의 MOS를 결정하는 단계를 포함하고,
    상기 중요 비디오의 MOS와 상기 일반 비디오의 MOS와의 차가 미리 정해진 임계값
    Figure pct00143
    보다 작고,
    Figure pct00144
    Figure pct00145
    인 경우, 상기 새로 취득된
    Figure pct00146
    및
    Figure pct00147
    가 상기 미리 정해진 조건을 충족시키는 것으로 판정하며,
    Figure pct00148
    는 상기 비디오 통신에 허용 가능한 최고 인코딩 프레임 레이트를 나타내는, 비디오 인코딩 방법.
  7. 제6항에 있어서,
    상기 새로 취득된
    Figure pct00149
    에 따라 상기 중요 비디오의 MOS를 결정하고, 상기 새로 취득된
    Figure pct00150
    에 따라 상기 일반 비디오의 MOS를 결정하는 단계는,
    미리 정해진 식에 따라 상기 비디오 통신에서 사용될 가능성이 있는 인코딩 프레임 레이트에 대응하는 MOS를 결정하고, 상기 MOS를 테이블 형태로 저장하며, 상기 테이블의 검색을 통해 상기 새로 취득된
    Figure pct00151
    및
    Figure pct00152
    에 각각 대응하는 MOS를 취득하는 단계; 또는
    미리 정해진 식에 따라 계산을 통해 상기 새로 취득된
    Figure pct00153
    및
    Figure pct00154
    에 각각 대응하는 MOS를 취득하는 단계를 포함하는, 비디오 인코딩 방법.
  8. 제 7항에 있어서,
    상기 미리 정해진 식은 하기 식:
    Figure pct00155

    중 어느 하나이고,
    위 식에서,
    Figure pct00156
    및
    Figure pct00157
    는 계산 인자(calculating factor)인, 비디오 인코딩 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    사용중인 상기 중요 비디오 인코더의 수와 사용중인 상기 일반 비디오 인코더의 수 중 적어도 하나가, 변경되면, 단계 A 및 B를 반복하는, 비디오 인코딩 방법.
  10. 하나 이상의 중요 비디오 인코더, 하나 이상의 일반 비디오 인코더, 및 적응형 조정 모듈(adaptive adjusting module)을 포함하는 단말기로서,
    상기 적응형 조정 모듈은,
    상기 단말기가 다자간 비디오 통신에 참여한 후에, 사용중인 중요 비디오 인코더의 수 및 사용중인 일반 비디오 인코더의 수를 각각 결정하고;
    상기 단말기의 처리 능력과 최신 결정 결과에 따라, 중요 비디오에 대한 인코딩 파라미터 및 일반 비디오에 대한 인코딩 파라미터를 결정하고, 새로 결정된 인코딩 파라미터에 따라 비디오 인코딩을 각각 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있는
    단말기.
  11. 제10항에 있어서,
    상기 인코딩 파라미터는 최고 인코딩 프레임 레이트를 포함하고,
    상기 적응형 조절 모듈은,
    제1 처리 유닛, 제2 처리 유닛, 제3 유닛, 및 제4 유닛을 포함하고,
    상기 제1 처리 유닛은,
    상기 사용중인 중요 비디오 인코더의 수 및 상기 사용중인 일반 비디오 인코더의 수를 각각 결정하고,
    상기 결정된 결과를 상기 제2 처리 유닛에 전송하도록, 되어 있고,
    상기 제2 처리 유닛은,
    상기 단말기의 처리 능력 및 상기 결정된 결과에 따라, 중요 비디오의 최고 인코딩 프레임 레이트 및 일반 비디오의 최고 인코딩 프레임 레이트를 결정하고,
    상기 결정된
    Figure pct00158
    및
    Figure pct00159
    를 상기 제3 처리 유닛으로 전송하도록, 되어 있고,
    상기 제3 처리 유닛은,
    Figure pct00160
    를 증가시키고
    Figure pct00161
    를 감소시키며,
    새로 취득된
    Figure pct00162
    및
    Figure pct00163
    가 미리 정해진 조건을 충족시키는 경우, 상기 새로 취득된
    Figure pct00164
    를 증가시키고 상기 새로 취득된
    Figure pct00165
    를 감소시키며,
    상기 새로 취득된
    Figure pct00166
    및
    Figure pct00167
    가 상기 미리 정해진 조건을 충족시키지 않는 경우,
    Figure pct00168
    에 따라 상기 중요 비디오의 최고 인코딩 프레임 레이트를 결정하고,
    Figure pct00169
    에 따라 상기 일반 비디오의 최고 인코딩 프레임 레이트를 결정하며,
    상기 결정된
    Figure pct00170
    및
    Figure pct00171
    에 따라 비디오 인코딩을 수행하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있고,
    상기 제4 처리 유닛은,
    상기 사용중인 중요 비디오 인코더의 수와 상기 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경되면, 상기 제1 처리 유닛의 작동(operation)을 트리거(trigger)하도록 되어 있는, 단말기.
  12. 제11항에 있어서,
    상기 제2 처리 유닛은,
    제1 처리 서브유닛 및 제2 처리 서브유닛을 포함하고,
    상기 제1 처리 서브유닛은,
    Figure pct00172
    을 계산하도록 되어 있고;
    위 식에서, m은 새로 결정된 일반 비디오 인코더의 수를 나타내고;
    n은 새로 결정된 중요 비디오 인코더의 수를 나타내고;
    r은, 해상도
    Figure pct00173
    인 일반 비디오에 의해 소비된 컴퓨팅 자원에 대한, 해상도
    Figure pct00174
    인 중요 비디오에 의해 소비된 컴퓨팅 자원의 비율 인자
    Figure pct00175
    를 나타내거나; r은, 해상도
    Figure pct00176
    인 일반 비디오의 인코딩 레이트에 대한, 해상도
    Figure pct00177
    인 중요 비디오의 인코딩 레이트의 실험을 통해 취득된 비율을 나타내고;
    F는 단말기 X의 처리 능력,
    Figure pct00178
    를 나타내며, 위 식에서
    Figure pct00179
    는 전부하(full load)인 단말기 X에 의해 해상도
    Figure pct00180
    인 비디오를 인코딩하는 인코딩 속도를 나타내고,
    Figure pct00181
    는 단말기 X의 프로세서에 대한 인코딩 작업의 원하는 사용 비율을 나타내며,
    상기 제2 처리 서브유닛은, 계산된
    Figure pct00182
    및
    Figure pct00183
    를 상기 제3 처리 유닛에 전송하도록 되어 있는, 단말기.
  13. 제12항에 있어서,
    상기 제3 처리 유닛은, 제3 처리 서브유닛 및 제4 처리 서브유닛을 포함하고,
    상기 제3 처리 서브유닛은
    Figure pct00184
    을 계산하고, 계산된 결과를 상기 제4 처리 서브유닛에 전송하도록 되어 있고;
    상기 제4 처리 서브유닛은,
    상기 새로 취득된
    Figure pct00185
    에 따라 상기 중요 비디오의 MOS를 결정하고, 상기 새로 취득된
    Figure pct00186
    에 따라 상기 일반 비디오의 MOS를 결정하며;
    상기 중요 비디오의 MOS(mean opinion score)와 상기 일반 비디오의 MOS와의 차의 절대값이, 미리 정해진 임계값
    Figure pct00187
    보다 작고,
    Figure pct00188
    Figure pct00189
    이고,
    Figure pct00190
    는 상기 비디오 통신에 허용 가능한 최고 인코딩 프레임 레이트를 나타내는 경우, 상기 새로 취득된
    Figure pct00191
    및
    Figure pct00192
    가 상기 미리 정해진 조건을 충족시키는 것으로 판정하고, 상기 제3 처리 서브유닛에 그 작업(operation)을 재실행하도록 통지하며;
    그렇지 않으면, 새로 취득된
    Figure pct00193
    를 상기 중요 비디오의 최고 인코딩 프레임 레이트로서 취하고, 새로 취득된
    Figure pct00194
    를 상기 일반 비디오의 최고 인코딩 프레임 레이트로서 취하며, 상기 결정된 인코딩 파라미터에 따라 비디오 인코딩을 수행하게 하도록 사용중인 각각의 중요 비디오 인코더 및 사용중인 각각의 일반 비디오 인코더에 통지하도록, 되어 있는, 단말기.
  14. 제13항에 있어서,
    상기 제4 처리 서브유닛은,
    미리 정해진 식에 따라 상기 비디오 통신에서 사용될 수 있는 각각의 인코딩 프레임 레이트에 대응하는 MOS를 각각 계산하고, 상기 테이블의 검색을 통해 상기 새로 취득된
    Figure pct00195
    및
    Figure pct00196
    에 각각 대응하는 MOS를 취득하거나;
    미리 정해진 식에 따라 직접 상기 새로 취득된
    Figure pct00197
    및
    Figure pct00198
    에 대응하는 MOS를 취득하도록, 되어 있고;
    상기 미리 정해진 식은
    Figure pct00199
    를 포함하고;
    위 식에서,
    Figure pct00200
    및
    Figure pct00201
    는 계산 인자(calculating factor)인, 단말기.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 적응형 조정 모듈은, 상기 사용중인 중요 비디오 인코더의 수와 상기 사용중인 일반 비디오 인코더의 수 중 적어도 하나가 변경되는 경우, 자신의 기능을 재실행하도록 되어 있는, 단말기.
  16. 다자간 비디오 통신에서의 비디오 인코딩을 위한 명령어 세트를 포함하는 컴퓨터로 판독 가능한 비일시적인 기억 매체로서, 상기 명령어 세트는 하나 이상의 프로세서에 제1항 내지 제9항에 기재된 방법 중 어느 하나를 수행하도록 지시하는, 컴퓨터로 판독 가능한 비일시적인 기억 매체.
KR1020147025280A 2012-02-22 2013-01-22 다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기 KR101629226B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210040481XA CN102547214B (zh) 2012-02-22 2012-02-22 一种多人视频通信中的视频编码方法以及终端
CN201210040481.X 2012-02-22
PCT/CN2013/070833 WO2013123839A1 (zh) 2012-02-22 2013-01-22 一种多人视频通信中的视频编码方法以及终端

Publications (2)

Publication Number Publication Date
KR20140128420A true KR20140128420A (ko) 2014-11-05
KR101629226B1 KR101629226B1 (ko) 2016-06-10

Family

ID=46353028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147025280A KR101629226B1 (ko) 2012-02-22 2013-01-22 다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기

Country Status (14)

Country Link
US (1) US9332267B2 (ko)
EP (1) EP2819405B1 (ko)
KR (1) KR101629226B1 (ko)
CN (1) CN102547214B (ko)
AP (1) AP2014007931A0 (ko)
BR (1) BR112014020225B1 (ko)
CA (1) CA2865045C (ko)
CL (1) CL2014002194A1 (ko)
MY (1) MY168126A (ko)
NZ (1) NZ630215A (ko)
PH (1) PH12014501820A1 (ko)
RU (1) RU2570355C1 (ko)
SG (1) SG11201404904VA (ko)
WO (1) WO2013123839A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014379859B2 (en) * 2014-01-23 2017-10-12 Sony Corporation Decoding device, decoding method, encoding device, and encoding method
CN104254018B (zh) * 2014-03-19 2018-04-03 深圳深讯和科技有限公司 多媒体播放中的视频帧处理方法和装置
CN105657321A (zh) * 2015-11-09 2016-06-08 乐视致新电子科技（天津）有限公司 视频清晰度自适应调节方法、装置及终端
CN108076301A (zh) * 2016-11-11 2018-05-25 联芯科技有限公司 VoLTE视频多方电话的视频处理方法和系统
KR20190033849A (ko) * 2017-09-22 2019-04-01 삼성에스디에스 주식회사 다자간 회의 제공 장치 및 상기 장치에서의 인코더 할당 방법
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质
US11025964B2 (en) 2019-04-02 2021-06-01 Wangsu Science & Technology Co., Ltd. Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection
US11470300B2 (en) 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
CN112511788B (zh) * 2020-11-27 2022-04-01 厦门亿联网络技术股份有限公司 一种视频会议的视频传输控制方法及视频传输系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077835A1 (en) * 2003-02-21 2004-09-10 Telesuit Corporation System and method for transmission of a multitude of video sequences
WO2006126974A1 (en) * 2005-04-11 2006-11-30 Tubitak Bilten Optimal video adaptation for resource constrained mobile devices based on subjective utility models

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305733A (ja) 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
TWI343216B (en) 2007-06-12 2011-06-01 Quanta Comp Inc High-definition video conference system and method
US8345083B2 (en) * 2007-07-31 2013-01-01 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
CN101588252B (zh) * 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置
CN101365125B (zh) * 2008-09-27 2012-03-21 腾讯科技（深圳）有限公司 多路视频通信方法与系统
CN101742223B (zh) * 2010-01-19 2012-08-22 华平信息技术股份有限公司 视频流带宽智能调节方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077835A1 (en) * 2003-02-21 2004-09-10 Telesuit Corporation System and method for transmission of a multitude of video sequences
WO2006126974A1 (en) * 2005-04-11 2006-11-30 Tubitak Bilten Optimal video adaptation for resource constrained mobile devices based on subjective utility models

Also Published As

Publication number Publication date
CL2014002194A1 (es) 2015-02-27
AP2014007931A0 (en) 2014-09-30
NZ630215A (en) 2015-05-29
KR101629226B1 (ko) 2016-06-10
PH12014501820B1 (en) 2014-11-24
WO2013123839A1 (zh) 2013-08-29
SG11201404904VA (en) 2014-10-30
EP2819405B1 (en) 2021-08-11
CN102547214B (zh) 2013-05-29
EP2819405A1 (en) 2014-12-31
PH12014501820A1 (en) 2014-11-24
BR112014020225A8 (pt) 2017-07-11
CA2865045C (en) 2016-10-18
CA2865045A1 (en) 2013-08-29
US9332267B2 (en) 2016-05-03
EP2819405A4 (en) 2015-03-04
MY168126A (en) 2018-10-11
BR112014020225A2 (ko) 2017-06-20
US20150215627A1 (en) 2015-07-30
RU2570355C1 (ru) 2015-12-10
BR112014020225B1 (pt) 2019-09-17
CN102547214A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
KR101629226B1 (ko) 다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기
KR101634500B1 (ko) 미디어 작업부하 스케줄러
US20110150100A1 (en) Progressive shape based encoding of video content within a swarm environment
EP3606050A1 (en) Video frame coding method, terminal, and storage medium
CN112383777B (zh) 视频编码方法、装置、电子设备及存储介质
CN110248192B (zh) 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
CN113965751B (zh) 屏幕内容编码方法、装置、设备及存储介质
CN113992883B (zh) 视频会议处理方法、处理设备、会议系统以及存储介质
EP3466057A1 (en) Information processing apparatus, conference system, and control method of information processing apparatus
CA3182110A1 (en) Reinforcement learning based rate control
TW201332360A (zh) 在視訊會議中切換分享內容之方法以及視訊會議系統
CN107493478B (zh) 编码帧率设置方法及设备
Li et al. A super-resolution flexible video coding solution for improving live streaming quality
US9354697B2 (en) Detecting active region in collaborative computing sessions using voice information
WO2023011408A1 (zh) 一种多窗口视频通信方法、设备及系统
WO2018192518A1 (zh) 数据处理方法、装置及存储介质
CN106254873B (zh) 一种视频编码方法及视频编码装置
CN116939212A (zh) 视频处理方法、装置、计算机可读存储介质及计算机设备
CN113286149A (zh) 一种云会议自适应多层视频编码方法、系统和存储介质
CN115442615A (zh) 一种视频编码方法、装置、电子设备及存储介质
Gu et al. Video coding method in multi-person video communications and terminal.
CN112040232A (zh) 实时通信的传输方法和装置、实时通信的处理方法和装置
CN113965714B (zh) 视频流的处理方法、装置、电子设备及存储介质
US20230421779A1 (en) Decoding processing method and apparatus, computer device, and storage medium
CN117354524B (zh) 编码器编码性能测试方法、装置、设备及计算机介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 4