KR20220048598A - 다자간 영상 통화 품질 제어 장치 및 방법 - Google Patents
다자간 영상 통화 품질 제어 장치 및 방법 Download PDFInfo
- Publication number
- KR20220048598A KR20220048598A KR1020200131669A KR20200131669A KR20220048598A KR 20220048598 A KR20220048598 A KR 20220048598A KR 1020200131669 A KR1020200131669 A KR 1020200131669A KR 20200131669 A KR20200131669 A KR 20200131669A KR 20220048598 A KR20220048598 A KR 20220048598A
- Authority
- KR
- South Korea
- Prior art keywords
- terminals
- bit rate
- participant
- control target
- video data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 title description 8
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000003908 quality control method Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
다자간 영상 통화 품질 제어을 위한 장치 및 방법이 개시된다. 일 실시예에 따른 다자간 영상 통화 품질 제어 장치는, 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율(bit rate)를 측정하는 비트율 측정부; 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출하는 움직임 검출부; 및 상기 측정된 비트율 및 상기 검출된 움직임에 기초하여 상기 복수의 참여자 단말 중 하나 이상의 제어 대상 단말을 결정하고, 상기 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청하는 제어부를 포함한다.
Description
개시되는 실시예들은 다자간 영상 통화 기술과 관련된다.
종래의 영상 통화 시스템에서는 고해상도의 다자간 영상 통화를 제공하는 경우 디바이스의 성능, 네트워크 상황, 비용 등의 제한으로 인해 화질 저하, 영상과 오디오의 동기화 오류, 접속 끊김 등과 같은 다양한 문제가 발생할 수 있다.
디바이스와 네트워크 등과 같은 인프라에 대한 추가적인 비용 투자 없이 이러한 문제를 극복하기는 무척 어렵기 때문에, 종래 영상 통화 시스템은 영상 통화의 참여자 수 제한, 참여자 영상의 해상도(resolution) 감소, 프레임율(frame rate) 감소 및 비트율(bit rate) 제한 등과 같은 다양한 우회적인 방법들을 이용하고 있으나, 보다 실제적이고 효과적인 영상 품질의 개선을 위한 방법은 제시되고 있지 못하다.
개시되는 실시예들은 다자간 영상 통화의 품질을 제어하기 위한 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 다자간 영상 통화 품질 제어 장치는, 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율(bit rate)를 측정하는 비트율 측정부; 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출하는 움직임 검출부; 및 상기 측정된 비트율 및 상기 검출된 움직임에 기초하여 상기 복수의 참여자 단말 중 하나 이상의 제어 대상 단말을 결정하고, 상기 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청하는 제어부를 포함한다.
상기 제어부는, 상기 측정된 비트율 및 상기 검출된 움직임의 크기에 기초하여 상기 하나 이상의 제어 대상 단말을 결정할 수 있다.
상기 제어부는, 상기 측정된 비트율에 기초하여 상기 복수의 참여자 단말 각각에 대한 제1 스코어를 결정하고, 상기 검출된 움직임의 크기에 기초하여 상기 복수의 참여자 단말 각각에 대한 제2 스코어를 결정하고, 상기 제1 스코어 및 상기 제2 스코어에 기초하여 상기 하나 이상의 제어 대상 단말을 결정할 수 있다.
상기 제어부는, 상기 측정된 비트율에 대한 제1 기준 값 및 상기 검출된 움직임의 크기에 대한 제2 기준 값에 기초하여 상기 하나 이상의 제어 대상 단말을 결정할 수 있다.
상기 하나 이상의 제어 대상 단말은, 하나 이상의 비활성 단말을 포함하고, 상기 제어부는, 상기 하나 이상의 비활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청할 수 있다.
상기 다자간 영상 통화 품질 제어 장치는, 상기 요청 이후, 상기 하나 이상의 비활성 단말로부터 수신되는 동영상 데이터를 학습 데이터로 이용하여 심층 신경망(deep neural network) 기반의 초 해상도(super-resolution) 복원 모델을 학습하는 복원 모델 학습부를 더 포함할 수 있다.
상기 다자간 영상 통화 품질 제어 장치는, 상기 학습된 초 해상도 복원 모델을 경량화하여 상기 복수의 참여자 단말 중 적어도 하나로 제공하는 복원 모델 제공부를 더 포함할 수 있다.
상기 하나 이상의 제어 대상 단말은, 하나 이상의 활성 단말을 포함하고, 상기 제어부는, 상기 하나 이상의 활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 증가시키도록 요청할 수 있다.
상기 하나 이상의 인코딩 파라미터는, 비트율, 해상도(resolution) 및 프레임율(frame rate) 중 적어도 하나를 포함할 수 있다.
상기 움직임 검출부는, 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터에 대한 디코딩 과정에서 모션 벡터(motion vector)를 추출하고, 상기 제어부는, 상기 모션 벡터의 절대 값에 기초하여 상기 검출된 움직임의 크기를 결정할 수 있다.
일 실시예에 따른 다자간 영상 통화 품질 제어 방법은, 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율(bit rate)를 측정하는 단계; 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출하는 단계; 상기 측정된 비트율 및 상기 검출된 움직임에 기초하여 상기 복수의 참여자 단말 중 하나 이상의 제어 대상 단말을 결정하는 단계; 및 상기 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청하는 단계를 포함한다.
상기 결정하는 단계는, 상기 측정된 비트율 및 상기 검출된 움직임의 크기에 기초하여 상기 하나 이상의 제어 대상 단말을 결정할 수 있다.
상기 결정하는 단계는, 상기 측정된 비트율에 기초하여 상기 복수의 참여자 단말 각각에 대한 제1 스코어를 결정하는 단계; 상기 검출된 움직임의 크기에 기초하여 상기 복수의 참여자 단말 각각에 대한 제2 스코어를 결정하는 단계; 및 상기 제1 스코어 및 상기 제2 스코어에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 측정된 비트율에 대한 제1 기준 값 및 상기 검출된 움직임의 크기에 대한 제2 기준 값에 기초하여 상기 하나 이상의 제어 대상 단말을 결정할 수 있다.
상기 하나 이상의 제어 대상 단말은, 하나 이상의 비활성 단말을 포함하고, 상기 요청하는 단계는, 상기 하나 이상의 비활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청할 수 있다.
상기 다자간 영상 통화 품질 제어 방법은, 상기 요청하는 단계 이후, 상기 하나 이상의 비활성 단말로부터 수신되는 동영상 데이터를 학습 데이터로 이용하여 심층 신경망(deep neural network) 기반의 초 해상도(super-resolution) 복원 모델을 학습하는 단계를 더 포함할 수 있다.
다자간 영상 통화 품질 제어 방법은, 상기 학습된 초 해상도 복원 모델을 경량화하여 상기 복수의 참여자 단말 중 적어도 하나로 제공하는 단계를 더 포함할 수 있다.
상기 하나 이상의 제어 대상 단말은, 하나 이상의 활성 단말을 포함하고, 상기 요청하는 단계는, 상기 하나 이상의 활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 증가시키도록 요청할 수 있다.
상기 하나 이상의 인코딩 파라미터는, 비트율, 해상도(resolution) 및 프레임율(frame rate) 중 적어도 하나를 포함할 수 있다.
상기 검출하는 단계는, 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터에 대한 디코딩 과정에서 모션 벡터(motion vector)를 추출하고, 상기 결정하는 단계는, 상기 모션 벡터의 절대 값에 기초하여 상기 검출된 움직임의 크기를 결정할 수 있다.
개시되는 실시예들에 따르면, 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율과 각 동영상 데이터로부터 검출된 움직임에 기초하여 복수의 참여자 단말 중 하나 이상의 단말로 인코딩 파라미터의 설정 값 변경을 요청함으로써 각 참여자 단말로부터 전송되는 동영상 데이터의 품질이 능동적으로 조절되도록 할 수 있다.
나아가, 복수의 참여자 단말 중 인코딩 파라미터의 설정 값을 감소시키도록 요청받은 비활성 단말로부터 수신되는 동영상 데이터를 이용하여 초 해상도 복원 모델을 학습한 후 학습된 초 해상도 복원 모델을 각 참여자 단말로 제공함으로써, 각 참여자 단말이 비활성 단말로부터 수신되는 낮은 화질의 동영상 데이터를 고 해상도의 동영상으로 복원할 수 있도록 할 수 있으며, 이에 따라, 다자간 영상 통화를 위한 네트워크 상황이나 참여자 단말의 성능과 무관하게 높은 품질의 영상 통화 서비스를 제공할 수 있다.
도 1은 일 실시예에 따른 다자간 영상 통화 시스템의 구성도
도 2는 일 실시예에 따른 품질 제어 장치의 구성도
도 3은 추가적인 실시예에 따른 품질 제어 장치의 구성도
도 4는 일 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도
도 5는 추가적인 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 품질 제어 장치의 구성도
도 3은 추가적인 실시예에 따른 품질 제어 장치의 구성도
도 4는 일 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도
도 5는 추가적인 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 다자간 영상 통화 시스템의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 다자간 영상 통화 시스템(100)은 복수의 참여자 단말(110) 및 통화 제어 서버(120)를 포함한다.
복수의 참여자 단말(110)은 다자간 영상 통화에 참여한 각 참여자에 의해 이용되는 장치이다.
각 참여자 단말(110)은 다자간 영상 통화에 참여한 참여자를 촬영하여 동영상을 생성하기 위한 촬영 수단 및 다른 참여자 단말(110)로부터 수신된 다른 참가자의 동영상을 디스플레이하기 위한 디스플레이 수단을 포함할 수 있다.
구체적으로, 각 참여자 단말(110)은 참여자를 촬영하여 생성된 동영상을 인코딩한 후 인코딩된 동영상을 통화 제어 서버(120)를 통해 다른 참여자의 참여자 단말(110)로 제공할 수 있다. 또한, 각 참여자 단말(110)은 통화 제어 서버(120)로부터 다른 참여자 단말(110) 각각에 의해 전송된 동영상 데이터를 수신하여 디코딩한 후 디스플레이 수단을 통해 화면 상에 디스플레이할 수 있다.
한편, 각 참여자 단말(110)은 예를 들어, VP8, VP9, HEVC(High Efficiency Video Coding), H.263 H.264, MPEG-2, MPEG-4 등과 같은 비디오 코덱을 이용하여 참여자를 촬영한 동영상을 인코딩하거나 다른 참여자 단말로부터 수신되는 동영상 데이터를 디코딩할 수 있다. 또한, 각 참여자 단말(110)은 인코딩된 동영상에 대한 동영상 데이터를 예를 들어 RTP(Real-Time Transport Protocol), RTSP(Real-Time Streaming Protocol) 등과 같은 동영상 스트리밍 프로토콜에 따라 통화 제어 서버(120)로 전송할 수 있다.
한편, 도 1에 도시된 예에서는 참여자 단말(110)의 개수가 3개인 것으로 예시하고 있으나, 참여자 단말(110)의 개수는 다자간 영상 통화에 참여한 참여자의 수에 따라 변경될 수 있다.
통화 제어 서버(120)는 다자간 영상 통화에 참여한 각 참여자의 참여자 단말(110)로부터 동영상 데이터를 수신하고, 수신된 동영상 데이터를 다른 참여자의 참여자 단말(110)로 제공함으로써 복수의 참여자 사이의 다자간 영상 통화가 이루어지도록 제어하기 위한 서버이다.
도 2는 일 실시예에 따른 품질 제어 장치의 구성도이다.
도 2를 참조하면, 일 실시예에 따른 품질 제어 생성 장치(200)는 비트율(bit rate) 측정부(210), 움직임 검출부(220) 및 제어부(230)를 포함한다.
일 실시예에 따르면, 품질 제어 장치(200)는 도 1에 도시된 통화 제어 서버(120)에 포함된 일 구성으로 구현될 수 있다.
또한, 일 실시예에 따르면, 비트율 측정부(210), 움직임 검출부(220) 및 제어부(230)는 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
비트율 측정부(210)는 다자간 영상 통화에 참여한 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터의 비트율을 측정한다.
이때, 일 실시예에 따르면, 각 참여자 단말(110)로부터 수신되는 동영상 데이터는 각 참여자 단말(110)이 참여자를 촬영한 동영상을 예를 들어, VP8, VP9, HEVC, H.263 H.264, MPEG-2, MPEG-4 등과 같은 비디오 코덱을 이용하여 인코딩한 후, 예를 들어 RTP, RTSP 등과 같은 동영상 스트리밍 프로토콜을 이용하여 전송한 데이터일 수 있다.
한편, 일 실시예에 따르면, 비트율 측정부(210)에 의해 측정되는 비트율은 평균 비트율 또는 최대 비트율일 수 있다. 구체적으로, 비트율 측정부(210)는 복수의 참여자 단말(110) 중 고정 비트율(Constant Bit Rate, CBR) 방식으로 인코딩된 동영상 데이터를 전송하는 참여자 단말의 경우, 해당 참여자 단말로부터 수신되는 동영상 데이터의 평균 비트량을 측정할 수 있다. 또한, 비트율 측정부(210)는 복수의 참여자 단말(110) 중 가변 비트율(Variable Bit Rate, VBR) 방식 또는 가용 비트율(Available Bit Rate) 방식으로 인코딩된 동영상 데이터를 전송하는 참여자 단말의 경우, 해당 참여자 단말로부터 수신되는 동영상 데이터의 최대 비트율을 측정할 수 있다.
움직임 검출부(220)는 각 참여자 단말(110)로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출한다.
이때, 움직임 검출부(220)는 예를 들어, H.263 H.264, MPEG-2, MPEG-4 등과 같은 비디오 코덱을 이용하여 각 참여자 단말(110)로부터 수신되는 동영상 데이터를 디코딩할 수 있다.
한편, 일 실시예에 따르면, 움직임 검출부(220)는 각 참여자 단말(110)로부터 수신되는 동영상 데이터의 디코딩 과정에서 모션 벡터(motion vector)를 추출함으로써 각 동영상 데이터에 대응되는 동영상에 포함된 움직임을 검출할 수 있다.
제어부(230)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터에 대해 측정된 비트율 및 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터로부터 검출된 움직임에 기초하여 복수의 참여자 단말(110) 중 하나 이상의 제어 대상 단말을 결정한다.
이때, 일 실시에에 따르면, 하나 이상의 제어 대상 단말은 활성 단말 및 비활성 단말 중 적어도 하나를 포함할 수 있다.
구체적으로, 일 실시예에 따르면, 제어부(230)는 비트율 측정부(210)에 의해 측정된 비트율 및 움직임 검출부(220)에 의해 검출된 움직임의 크기에 기초하여 하나 이상의 제어 대상 단말을 결정할 수 있다. 이때, 복수의 참여자 단말(110) 중 특정 참여자 단말로부터 수신되는 동영상 데이터에서 검출된 움직임의 크기는 해당 동영상 데이터에서 추출된 모션 벡터의 절대값에 기초하여 결정될 수 있다.
예를 들어, 제어부(230)는 특정 참여자 단말로부터 수신되는 동영상 데이터에서 추출된 하나 이상의 모션 벡터 각각의 절대값을 산출하고, 산출된 절대값의 합을 해당 특정 동영상 데이터에서 검출된 움직임의 크기로 결정할 수 있다.
다른 예로, 제어부(230)는 특정 참여자 단말로부터 수신되는 동영상 데이터에서 추출된 하나 이상의 모션 벡터 각각의 절대값을 산출하고, 산출된 절대값의 평균값을 해당 특정 동영상 데이터에서 검출된 움직임의 크기로 결정할 수 있다.
또 다른 예로, 제어부(230)는 특정 참여자 단말로부터 수신되는 동영상 데이터에서 추출된 하나 이상의 모션 벡터 각각의 절대값을 산출하고, 산출된 절대값 중 최대값을 해당 특정 동영상 데이터에서 검출된 움직임의 크기로 결정할 수 있다.
한편, 일 실시예에 따르면, 제어부(230)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터에 대해 측정된 비트율에 기초하여 복수의 참여자 단말(110) 각각에 대한 제1 스코어를 결정하고, 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터로부터 검출된 움직임의 크기에 기초하여 복수의 참여자 단말(110) 각각에 대한 제2 스코어를 결정할 수 있다. 또한, 제어부(230)는 각 참여자 단말(110)에 대해 결정된 제1 스코어 및 제2 스코어에 기초하여 하나 이상의 제어 대상 단말을 결정할 수 있다.
구체적인 예로, 제어부(230)는 측정된 비트율이 높을수록 낮은 스코어를 가지도록 복수의 참여자 단말(110) 각각에 대한 제1 스코어를 결정하고, 검출된 움직임의 크기가 클수록 높은 스코어를 가지도록 복수의 참여자 단말(110) 각각에 대한 제2 스코어를 결정할 수 있다. 이 경우, 제어부(230)는 예를 들어, 복수의 참여자 단말(110) 중 제1 스코어와 제2 스코어의 합(또는 가중치 합)이 낮은 순서대로 기 설정된 개수의 참여자 단말을 비활성 단말로 결정할 수 있다. 또한, 제어부(230)는 예를 들어, 복수의 참여자 단말(110) 중 제1 스코어와 제2 스코어의 합(또는 가중치 합)이 높은 순서대로 기 설정된 개수의 참여자 단말을 활성 단말로 결정할 수 있다.
다른 예로, 제어부(230)는 측정된 비트율이 높을수록 높은 스코어를 가지도록 복수의 참여자 단말(110) 각각에 대한 제1 스코어를 결정하고, 검출된 움직임의 크기가 클수록 낮은 스코어를 가지도록 복수의 참여자 단말(110) 각각에 대한 제2 스코어를 결정할 수 있다. 이 경우, 제어부(230)는 예를 들어, 복수의 참여자 단말(110) 중 제1 스코어와 제2 스코어의 합(또는 가중치 합)이 높은 순서대로 기 설정된 개수의 참여자 단말을 비활성 단말로 결정할 수 있다. 또한, 제어부(230)는 예를 들어, 복수의 참여자 단말(110) 중 제1 스코어와 제2 스코어의 합(또는 가중치 합)이 낮은 순서대로 기 설정된 개수의 참여자 단말을 활성 단말로 결정할 수 있다.
한편, 다른 실시예에 따르면, 제어부(230)는 측정된 비트율에 대한 제1 기준 값 및 검출된 움직임의 크기에 대한 제2 기준 값에 기초하여 복수의 참여자 단말(110) 중 하나 이상의 제어 대상 단말을 결정할 수 있다.
예를 들어, 제어부(230)는 복수의 참여자 단말(110) 중 측정된 비트율이 제1 기준 값 이상이고, 검출된 움직임의 크기가 제2 기준 값 이하인 참여자 단말을 비활성 단말로 결정할 수 있다. 또한, 제어부(230)는 복수의 참여자 단말(110) 중 측정된 비트율이 제1 기준 값 미만이고, 검출된 움직임의 크기가 제2 기준 값을 초과하는 참여자 단말을 활성 단말로 결정할 수 있다.
한편, 제어부(230)는 복수의 참여자 단말(110) 중 하나 이상의 제어 대상 단말이 결정된 경우, 각 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청한다.
이때, 일 실시예에 따르면, 하나 이상의 인코딩 파라미터는 비트율, 해상도(resolution) 및 프레임율(frame rate) 중 적어도 하나를 포함할 수 있다.
구체적으로, 제어부(230)는 하나 이상의 활성 단말이 결정된 경우, 각 활성 단말로 비트율, 해상도 및 프레임율 중 적어도 하나에 대한 설정 값을 증가시키도록 요청할 수 있다. 이때, 설정 값의 증가량 내지는 목표 값은 사전 설정될 수 있으나, 실시예에 따라 다양한 방식으로 결정될 수 있다.
또한, 제어부(230)는 하나 이상의 비활성 단말이 결정된 경우, 각 비활성 단말로 비트율, 해상도 및 프레임율 중 적어도 하나에 대한 설정 값을 감소시키도록 요청할 수 있다. 이때, 설정 값의 감소량 내지는 목표 값은 사전 설정될 수 있으나, 실시예에 따라 다양한 방식으로 결정될 수 있다.
도 3은 추가적인 실시예에 따른 품질 제어 장치의 구성도이다.
도 3을 참조하면, 일 실시예에 따른 품질 제어 생성 장치(200)는 복원 모델 학습부(240) 및 복원 모델 제공부(250)를 더 포함할 수 있다.
한편, 도 3에 도시된 예에서, 비트율 측정부(210), 움직임 검출부(220) 및 제어부(230)는 도 2에 도시된 구성과 동일한 구성이므로, 이에 대한 중복적인 설명은 생략하도록 한다.
복원 모델 학습부(240)는 제어부(230)가 하나 이상의 비 활성 단말로 하나 이상의 인코딩 파라미터의 설정 값을 낮추도록 요청한 경우, 각 비활성 단말로부터 수신되는 동영상 데이터를 학습 데이터로 이용하여 심층 신경망(Deep Neural Network) 기반의 초 해상도(super-resolution) 복원 모델을 학습할 수 있다.
이때, 초 해상도 복원 모델은 입력되는 저화질의 동영상을 고 해상도의 동영상으로 복원하도록 학습되는 모델일 수 있다.
한편, 복원 모델 제공부(250)는 복원 모델 학습부(240)에 의해 학습된 초 해상도 복원 모델을 경량화하여 복수의 참여자 단말(110) 중 적어도 하나로 제공할 수 있다.
이때, 초 해상도 복원 모델의 경량화를 위해 신경망 가지치기(neural network pruning), 양자화(Quantization), 지식 증류(Knowledge Distillation) 등과 같은 공지된 다양한 경량화 기법이 이용될 수 있다.
한편, 초 해상도 복원 모델을 제공받은 각 참여자 단말(110)은 비활성 단말로부터 수신되는 동영상 데이터를 디코딩한 후, 초 해상도 복원 모델을 이용하여 고 해상도의 동영상으로 변환하여 디스플레이 할 수 있게 된다.
도 4는 일 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도이다.
도 4에 도시된 방법은 도 2 또는 도 3에 도시된 품질 제어 장치(200)에 의해 수행될 수 있다.
도 4를 참조하면, 우선, 품질 제어 장치(200)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터의 비트율을 측정한다(410).
이후, 품질 제어 장치(200)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출한다(420).
이후, 품질 제어 장치(200)는 410 단계에서 측정된 비트율 및 420 단계에서 검출된 움직임에 기초하여 복수의 참여자 단말(110) 중 하나 이상의 제어 대상 단말을 결정한다(430).
이때, 일 실시예에 따르면, 하나 이상의 제어 대상 단말은 하나 이상의 비활성 단말을 포함할 수 있다.
또한, 일 실시예에 따르면, 하나 이상의 제어 대상 단말은 하나 이상의 활성 단말을 포함할 수 있다.
이후, 품질 제어 장치(200)는 결정된 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청한다(440).
이때, 하나 이상의 인코딩 파라미터는 비트율, 해상도 및 프레임율 중 적어도 하나를 포함할 수 있다.
또한, 일 실시예에 따르면, 품질 제어 장치(200)는 하나 이상의 제어 대상 단말 중 비활성 단말로 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청할 수 있다.
또한, 일 실시예에 따르면, 품질 제어 장치(200)는 하나 이상의 제어 대상 단말 중 활성 단말로 하나 이상의 인코딩 파라미터의 설정 값을 증가시키도록 요청할 수 있다.
도 5는 추가적인 실시예에 따른 다자간 영상 통화 품질 제어 방법의 순서도이다.
도 5에 도시된 방법은 도 3에 도시된 품질 제어 장치(200)에 의해 수행될 수 있다.
도 5를 참조하면, 우선, 품질 제어 장치(200)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터의 비트율을 측정한다(510).
이후, 품질 제어 장치(200)는 복수의 참여자 단말(110) 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출한다(520).
이후, 품질 제어 장치(200)는 410 단계에서 측정된 비트율 및 420 단계에서 검출된 움직임에 기초하여 복수의 참여자 단말(110) 중 하나 이상의 비활성 단말을 결정한다(530).
이후, 품질 제어 장치(200)는 하나 이상의 비활성 단말 각각으로 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청한다(540).
이후, 품질 제어 장치(200)는 하나 이상의 비활성 단말 각각으로부터 수신되는 동영상 데이터를 이용하여 심층 신경망 기반의 초 해상도 복원 모델을 학습한다(550).
이후, 품질 제어 장치(200)는 학습된 초 해상도 복원 모델을 경량화한다(560).
이후, 품질 제어 장치(200)는 경량화된 초 해상도 복원 모델을 복수의 참여자 단말(110) 중 적어도 하나로 제공한다(570).
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도 6에 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 도 2 또는 도 3에 도시된 품질 제어 장치(200)에 포함된 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 다자간 영상 통화 시스템
110: 참여자 단말
120: 통화 제어 서버
200: 품질 제어 장치
210: 비트율 측정부
220: 움직임 검출부
230: 제어부
240: 복원 모델 학습부
250: 복원 모델 제공부
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 다자간 영상 통화 시스템
110: 참여자 단말
120: 통화 제어 서버
200: 품질 제어 장치
210: 비트율 측정부
220: 움직임 검출부
230: 제어부
240: 복원 모델 학습부
250: 복원 모델 제공부
Claims (20)
- 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율(bit rate)를 측정하는 비트율 측정부;
상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출하는 움직임 검출부; 및
상기 측정된 비트율 및 상기 검출된 움직임에 기초하여 상기 복수의 참여자 단말 중 하나 이상의 제어 대상 단말을 결정하고, 상기 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청하는 제어부를 포함하는 다자간 영상 통화 품질 제어 장치.
- 청구항 1에 있어서,
상기 제어부는, 상기 측정된 비트율 및 상기 검출된 움직임의 크기에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 제어부는, 상기 측정된 비트율에 기초하여 상기 복수의 참여자 단말 각각에 대한 제1 스코어를 결정하고, 상기 검출된 움직임의 크기에 기초하여 상기 복수의 참여자 단말 각각에 대한 제2 스코어를 결정하고, 상기 제1 스코어 및 상기 제2 스코어에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 제어부는, 상기 측정된 비트율에 대한 제1 기준 값 및 상기 검출된 움직임의 크기에 대한 제2 기준 값에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 하나 이상의 제어 대상 단말은, 하나 이상의 비활성 단말을 포함하고,
상기 제어부는, 상기 하나 이상의 비활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청하는 다자간 영상 통화 품질 제어 장치.
- 청구항 5에 있어서,
상기 요청 이후, 상기 하나 이상의 비활성 단말로부터 수신되는 동영상 데이터를 학습 데이터로 이용하여 심층 신경망(deep neural network) 기반의 초 해상도(super-resolution) 복원 모델을 학습하는 복원 모델 학습부를 더 포함하는 다자간 영상 통화 품질 제어 장치.
- 청구항 6에 있어서,
상기 학습된 초 해상도 복원 모델을 경량화하여 상기 복수의 참여자 단말 중 적어도 하나로 제공하는 복원 모델 제공부를 더 포함하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 하나 이상의 제어 대상 단말은, 하나 이상의 활성 단말을 포함하고,
상기 제어부는, 상기 하나 이상의 활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 증가시키도록 요청하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 하나 이상의 인코딩 파라미터는, 비트율, 해상도(resolution) 및 프레임율(frame rate) 중 적어도 하나를 포함하는 다자간 영상 통화 품질 제어 장치.
- 청구항 2에 있어서,
상기 움직임 검출부는, 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터에 대한 디코딩 과정에서 모션 벡터(motion vector)를 추출하고,
상기 제어부는, 상기 모션 벡터의 절대 값에 기초하여 상기 검출된 움직임의 크기를 결정하는 다자간 영상 통화 품질 제어 장치.
- 다자간 영상 통화에 참여한 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터의 비트율(bit rate)를 측정하는 단계;
상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터를 디코딩하여 움직임을 검출하는 단계;
상기 측정된 비트율 및 상기 검출된 움직임에 기초하여 상기 복수의 참여자 단말 중 하나 이상의 제어 대상 단말을 결정하는 단계; 및
상기 하나 이상의 제어 대상 단말로 하나 이상의 인코딩 파라미터의 설정 값 변경을 요청하는 단계를 포함하는 다자간 영상 통화 품질 제어 방법.
- 청구항 11에 있어서,
상기 결정하는 단계는, 상기 측정된 비트율 및 상기 검출된 움직임의 크기에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 결정하는 단계는, 상기 측정된 비트율에 기초하여 상기 복수의 참여자 단말 각각에 대한 제1 스코어를 결정하는 단계;
상기 검출된 움직임의 크기에 기초하여 상기 복수의 참여자 단말 각각에 대한 제2 스코어를 결정하는 단계; 및
상기 제1 스코어 및 상기 제2 스코어에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 단계를 포함하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 결정하는 단계는, 상기 측정된 비트율에 대한 제1 기준 값 및 상기 검출된 움직임의 크기에 대한 제2 기준 값에 기초하여 상기 하나 이상의 제어 대상 단말을 결정하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 하나 이상의 제어 대상 단말은, 하나 이상의 비활성 단말을 포함하고,
상기 요청하는 단계는, 상기 하나 이상의 비활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 감소시키도록 요청하는 다자간 영상 통화 품질 제어 방법.
- 청구항 15에 있어서,
상기 요청하는 단계 이후, 상기 하나 이상의 비활성 단말로부터 수신되는 동영상 데이터를 학습 데이터로 이용하여 심층 신경망(deep neural network) 기반의 초 해상도(super-resolution) 복원 모델을 학습하는 단계를 더 포함하는 다자간 영상 통화 품질 제어 방법.
- 청구항 16에 있어서,
상기 학습된 초 해상도 복원 모델을 경량화하여 상기 복수의 참여자 단말 중 적어도 하나로 제공하는 단계를 더 포함하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 하나 이상의 제어 대상 단말은, 하나 이상의 활성 단말을 포함하고,
상기 요청하는 단계는, 상기 하나 이상의 활성 단말로 상기 하나 이상의 인코딩 파라미터의 설정 값을 증가시키도록 요청하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 하나 이상의 인코딩 파라미터는, 비트율, 해상도(resolution) 및 프레임율(frame rate) 중 적어도 하나를 포함하는 다자간 영상 통화 품질 제어 방법.
- 청구항 12에 있어서,
상기 검출하는 단계는, 상기 복수의 참여자 단말 각각으로부터 수신되는 동영상 데이터에 대한 디코딩 과정에서 모션 벡터(motion vector)를 추출하고,
상기 결정하는 단계는, 상기 모션 벡터의 절대 값에 기초하여 상기 검출된 움직임의 크기를 결정하는 다자간 영상 통화 품질 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200131669A KR20220048598A (ko) | 2020-10-13 | 2020-10-13 | 다자간 영상 통화 품질 제어 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200131669A KR20220048598A (ko) | 2020-10-13 | 2020-10-13 | 다자간 영상 통화 품질 제어 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220048598A true KR20220048598A (ko) | 2022-04-20 |
Family
ID=81395497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200131669A KR20220048598A (ko) | 2020-10-13 | 2020-10-13 | 다자간 영상 통화 품질 제어 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220048598A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140055252A (ko) | 2012-10-31 | 2014-05-09 | 삼성에스디에스 주식회사 | 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법 |
-
2020
- 2020-10-13 KR KR1020200131669A patent/KR20220048598A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140055252A (ko) | 2012-10-31 | 2014-05-09 | 삼성에스디에스 주식회사 | 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | A two-tier system for on-demand streaming of 360 degree video over dynamic networks | |
| US10194188B1 (en) | Bitrate selection for video streaming | |
| US7653250B2 (en) | Adjusting sampling rate for encoding | |
| CN106961603B (zh) | 帧内编码帧码率分配方法和装置 | |
| Bachhuber et al. | On the minimization of glass-to-glass and glass-to-algorithm delay in video communication | |
| US10999578B2 (en) | Transcoding media content using an aggregated quality score | |
| US20210360224A1 (en) | Method and apparatus for transmission parameter distribution of video resource | |
| CN110536176B (zh) | 一种视频分辨率调整方法、电子设备及存储介质 | |
| WO2022000298A1 (en) | Reinforcement learning based rate control | |
| US10491911B2 (en) | Transcoding on-the-fly (TOTF) | |
| US11575894B2 (en) | Viewport-based transcoding for immersive visual streams | |
| US11539985B2 (en) | No reference realtime video quality assessment | |
| US11671604B1 (en) | Content aware uniform quality for quality-defined variable bitrate encoding of videos | |
| CN116095355B (zh) | 视频显示控制方法及其装置、设备、介质、产品 | |
| JP2022161861A (ja) | 機械学習モデルベースのビデオ圧縮 | |
| CN114245209A (zh) | 视频分辨率确定、模型训练、视频编码方法及装置 | |
| EP4068779A1 (en) | Cross-validation of video encoding | |
| Menon et al. | Content-adaptive variable framerate encoding scheme for green live streaming | |
| US20220408097A1 (en) | Adaptively encoding video frames using content and network analysis | |
| Yang et al. | Sur-driven video coding rate control for jointly optimizing perceptual quality and buffer control | |
| CN117768647A (zh) | 图像处理方法、装置、设备及可读存储介质 | |
| KR20220048598A (ko) | 다자간 영상 통화 품질 제어 장치 및 방법 | |
| Li et al. | JUST360: Optimizing 360-Degree Video Streaming Systems With Joint Utility | |
| US20230247069A1 (en) | Systems and Methods for Adaptive Video Conferencing | |
| US11234004B2 (en) | Block type prediction leveraging block-based pixel activities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |