KR20230008122A

KR20230008122A - 동영상 데이터 처리 방법, 장치 및 전자기기

Info

Publication number: KR20230008122A
Application number: KR1020227040399A
Authority: KR
Inventors: 지앙민 황
Original assignee: 비보 모바일 커뮤니케이션 컴퍼니 리미티드
Priority date: 2020-05-26
Filing date: 2021-05-25
Publication date: 2023-01-13
Also published as: EP4161013A1; WO2021238940A1; EP4161013A4; US20230066899A1; CN111601178A; JP2023526934A; CN111601178B

Abstract

본 출원은 동영상 데이터의 패킷 손실이 심한 경우 사용자의 동영상 시청 경험에 영향을 미치는 문제를 해결할 수 있는 동영상 데이터 처리 방법, 장치 및 전자기기를 개시하며, 이는 통신 기술 분야에 속한다. 상기 방법은, 전자기기가 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하는 단계; 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 전자기기가 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하는 단계; 를 포함하되, 여기서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷이다. 본 출원의 실시예는 동영상 데이터의 디코딩 시나리오에 적용된다.

Description

동영상 데이터 처리 방법, 장치 및 전자기기

관련 출원에 대한 참조

본 출원은 2020년 5월 26일 중국에 제출된 중국 특허 출원 제202010457827.0호의 우선권을 주장하며, 그 전체 내용을 본 출원에 원용한다.

본 개시는 통신 기술분야에 관한 것으로, 특히 동영상 데이터 처리 방법, 장치 및 전자기기에 관한 것이다.

전자기기 기술의 발전에 따라 전자기기(예를 들어 휴대폰, 태블릿 PC 등)의 기능이 갈수록 많아지면서 사용자는 전자기기를 사용하여 실시간 동영상 전송(예를 들어, 영상통화, 라이브 방송 등)을 할 수 있게 된다. 송신단 전자기기와 수신단 전자기기 간에 실시간 동영상 전송을 수행하는 과정에서, 송신단은 수신단으로 동영상 데이터 패킷을 송신하고, 수신단은 동영상 데이터 패킷을 수신한 후 수신단의 스크린 상에 동영상 화면을 표시하기 위해 동영상 데이터 패킷을 디코딩한다.

종래 기술에서, 네트워크 환경과 대역폭 자원이 부족한 시나리오에서, 수신단에 의해 수신된 동영상 데이터 패킷에 패킷 손실이 발생할 수 있기 때문에 수신단은 동영상 데이터 패킷을 수신한 후 일반적으로 강제 디코딩 방식에 따라 수신된 동영상 데이터 패킷을 강제적으로 디코딩한다.

이리하여, 동영상 데이터 패킷의 패킷 손실이 심한 경우, 동영상 데이터 품질이 좋지 않아 수신단의 스크린에 표시되는 동영상에 대면적의 흐릿한 화면이 나타나게 되어 사용자의 동영상 시청 경험에 영향을 미친다.

본 출원의 실시예는 동영상 데이터의 패킷 손실이 심한 경우 사용자의 동영상 시청 경험에 영향을 미치는 문제를 해결할 수 있는 동영상 데이터 처리 방법, 장치 및 전자기기를 제공하는 것을 목적으로 한다.

상기와 같은 기술적 문제를 해결하기 위해 본 출원은 다음과 같이 구현된다.

제1 양상에서, 본 출원의 실시예는 동영상 데이터 처리 방법을 제공함에 있어서, 상기 방법은 전자기기가 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하는 단계; 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 전자기기가 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하는 단계; 를 포함하되, 여기서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷이다.

제2 양상에서, 본 출원의 실시예는 동영상 데이터 처리 장치를 제공함에 있어서, 상기 장치는 수신 모듈과 실행 모듈을 포함하며; 상기 수신 모듈은 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하도록 구성되며; 상기 실행 모듈은 상기 수신 모듈에 의해 수신된 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정되는 경우, 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하도록 구성되며; 여기서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷이다.

제3 양상에서, 본 출원의 실시예는 전자기기를 제공함에 있어서, 상기 전자기기는 프로세서, 메모리 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 프로그램 또는 명령어를 포함하며, 상기 프로그램 또는 명령어가 상기 프로세서에 의해 실행될 때 상기 제1 양상에 따른 방법의 단계가 구현된다.

제4 양상에서, 본 출원의 실시예는 판독가능 저장 매체를 제공함에 있어서, 상기 판독가능 저장 매체에는 프로그램 또는 명령어가 저장되며, 상기 프로그램 또는 명령어가 상기 프로세서에 의해 실행될 때 제1 양상에 따른 방법의 단계가 구현된다.

제5 양상에서, 본 출원의 실시예는 칩을 제공함에 있어서, 상기 칩은 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 또는 명령어를 실행하도록 구성되어 제1 양상에 따른 방법을 구현한다.

본 출원의 실시예에서, 전자기기가 제1 데이터 패킷을 수신한 후 이 제1 데이터 패킷으로 구성된 타겟 동영상 프레임이 파손된 프레임이라고 판단하는 경우, 제2 데이터 패킷이 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 전자기기에 의해 수신된 데이터 패킷이고, 데이터 패킷의 패킷 손실률이 현재 네트워크 환경의 품질을 반영할 수 있으므로, 전자기기는 직접 이 제2 데이터 패킷의 패킷 손실률에 기초하여 제1 데이터 패킷을 디코딩할지 여부를 결정할 수 있다. 즉, 전자기기는 제2 데이터 패킷의 패킷 손실 상황에 기초하여 타겟 동영상 프레임의 처리 방법을 유연하게 조절하여 타겟 동영상 프레임이 현재 네트워크 환경에서 최적의 동영상 효과를 나타낼 수 있도록 하여 사용자의 동영상 효과 경험을 향상시킨다. 예를 들어, 데이터 패킷의 패킷 손실이 많은 경우, 전자기기의 스크린에 대면적의 흐릿한 화면이 나타나지 않도록 피하기 위해 파손된 프레임을 분석하지 않으며, 반대로, 데이터 패킷의 패킷 손실이 비교적 적은 경우, 파손된 프레임을 디코딩하고 재생하여 전자기기의 스크린에 부분적으로만 흐릿한 화면이 나타나게 한다.

도 1은 본 출원의 실시예에 관련된 통신 시스템의 가능한 구조 개략도이다.
도 2는 본 출원의 실시예에 따른 동영상 데이터 처리 방법의 흐름도 1이다.
도 3은 본 출원의 실시예에 따른 동영상 데이터 처리 방법의 흐름도 2이다.
도 4는 본 발명의 실시예에 따른 동영상 데이터 처리 장치의 구조 개략도이다.
도 5는 본 발명의 실시예에 따른 전자기기의 구조 개략도이다.

이하, 본 출원의 실시예에 첨부된 도면을 참조하여 본 출원의 실시예의 기술적 솔루션에 대해 명확하고 온전하게 설명하도록 하며, 여기에 설명된 실시예는 본 출원의 모든 실시예가 아니라 일부 실시예에 불과함이 분명하다. 본 출원의 기술 분야의 통상의 지식을 가진 자가 본 출원의 실시예를 기반으로 창의적인 노력 없이 얻은 다른 모든 실시예는 모두 본 출원의 보호 범위에 속한다.

본 출원의 명세서 및 청구 범위에서 ‘제1’, ‘제2’ 등 용어는 유사한 대상을 구별하는 데 사용되며, 특정 순서나 선후 순서를 설명하는 데 사용되지 않는다. 이렇게 사용된 데이터는 적절한 상황에서 서로 교환되어 본 출원의 실시예가 여기에 도시되거나 설명된 것 외의 다른 순서로 구현될 수 있도록 할 수 있음을 이해해야 한다. 또한, 명세서 및 청구 범위에서 ‘및/또는’은 연결된 대상 중 적어도 하나를 나타내고, 부호 ‘/’는 일반적으로 앞뒤의 연관 대상이 ‘또는’의 관계임을 나타낸다.

이하 본 출원의 실시예에서 나타나는 전문 용어에 대해 다음과 같이 설명한다.

(1) 패킷 손실률

패킷 손실률은 데이터 전송의 과정에서 송신된 데이터 패킷 중 손실된 데이터 패킷의 수가 차지하는 비율을 의미한다.

패킷 손실은 데이터 패킷의 일부 데이터가 손실되는 것이 아니라 하나의 데이터 패킷이 전체적으로 손실되는 것을 의미한다는 점에 유의해야 한다.

여기서, 상기 타겟 동영상 프레임에 포함되는 제1 데이터 패킷을 송신하기 전에, 송신단 전자기기는 수신단 전자기기가 패킷 손실 현상이 존재하는지 여부를 쉽게 검출할 수 있도록 데이터 패킷에 번호를 미리 매길 수 있다. 예를 들어, 송신단 전자기기가 수신단으로 10개의 데이터 패킷을 포함하는 데이터 프레임을 송신할 때, 송신하기 전에 상기 10개의 데이터 패킷에 1에서 10까지의 번호를 순차적으로 매긴다. 수신단 전자기기가 상기 데이터 프레임을 수신한 후, 상기 데이터 프레임에 포함되는 데이터 패킷이 번호가 1, 4, 5, 10인 4개의 데이터 패킷만이 있는 것을 검출하면, 전자기기는 번호에 따라 이 데이터 프레임에 패킷 손실 현상이 존재한다고 결정할 수 있으며, 패킷 손실률은 (10-4)/10×100%=60%이다.

(2) 데이터 패킷 및 동영상 프레임

동영상은 몇 개의 정지 화면으로 구성되며, 전자기기는 단위 시간 내에 상기 몇 개의 정지 화면(예를 들어, 동영상 재생의 초당 프레임 속도는 24프레임/초)을 빠르고 연속적으로 재생하여 최종적으로 동영상 화면을 형성한다.

상기 동영상 전송의 과정에서, 이 동영상에서 동영상 데이터가 많기 때문에 전자기기는 일반적으로 통일된 통신 프로토콜(예를 들어, TCP/IP 프로토콜)을 미리 설정하고, 수신단과 송신단은 모두 이 통신 프로토콜에 기초하여 데이터 전송을 수행한다. 구체적으로, 송신단은 통신 프로토콜에 따라 전송할 동영상 데이터를 몇 개의 데이터 패킷으로 나눈 다음 상기 몇 개의 데이터 패킷을 그룹으로 캡슐화하고 전송하며, 각 그룹의 데이터 패킷은 하나의 동영상 프레임으로 캡슐화되고, 각 동영상 프레임에는 X개의 데이터 패킷이 포함된다. 디코딩하는 과정에서, 전자기기는 동영상 프레임의 전송 순서에 따라 데이터 패킷을 순차적으로 디코딩하고, 마지막에 미리 정해진 프레임 속도에 따라 수신단에서 동영상을 재생한다.

이하 첨부된 도면을 참조하여 구체적인 실시예 및 이의 응용 시나리오를 통해 본 출원의 실시예에 따른 동영상 데이터 처리 방법에 대해 자세히 설명하도록 한다.

도 1은 본 출원의 실시예에 따른 동영상 데이터 처리 방법에서 사용되는 통신 시스템의 개략도이다. 이 통신 시스템은 서버(b) 및 적어도 2개의 전자기기(a)(도면에 2개만 표시됨)를 포함하며, 여기서,

상기 적어도 2개의 전자기기가 실시간 영상통화를 하는 과정에서, 송신단은 실시간 동영상 데이터를 캡슐화하여 동영상 데이터 패킷을 획득한 다음 이 동영상 데이터 패킷을 수신단으로 송신하며, 수신단은 동영상 데이터 패킷을 수신한 후 동영상 데이터 패킷을 디코딩하여 수신단의 스크린 상에 동영상 화면을 표시한다.

본 출원의 실시예에 따른 동영상 데이터 처리 방법은 수신단에 적용된다는 점에 유의해야 한다.

본 출원의 실시예에 따른 동영상 데이터 처리 방법은 영상통화 시나리오 또는 생방송 시나리오에 적용될 수 있으며, 이하 영상통화 시나리오를 예로 들어 설명한다.

종래 기술에서, 영상통화의 과정에서 네트워크 환경이 좋지 않으면, 전자기기에 의해 수신된 동영상 데이터 패킷에 패킷 손실 현상이 발생할 수 있으며, 전자기기는 일반적으로 미리 정해진 처리 정책에 따라 처리한다.

여기서, 상기 미리 정해진 처리 정책은 일반적으로 다음 두 가지를 포함한다.

첫 번째 처리 정책: 강제 디코딩하는 방식, 즉 전자기기가 수신된 동영상 데이터 패킷에 패킷 손실 현상이 존재하는 것을 검출하면 수신된 동영상 데이터 패킷을 강제적으로 디코딩하고 재생한다. 이리하여, 전자기기에 의해 수신된 동영상 데이터 패킷의 패킷 손실이 심한 경우, 전자기기의 스크린에는 대면적의 흐릿한 화면이 나타나 사용자의 통화 품질 및 사용 경험에 심각한 영향을 미칠 수 있다.

두 번째 처리 정책: 디코딩하지 않는 방식, 즉 전자기기가 수신된 동영상 데이터 패킷에 패킷 손실 현상이 존재하는 것을 검출하면 수신된 동영상 데이터 패킷을 폐기하고 이 동영상 데이터 패킷을 디코딩하지 않으며, 이때 전자기기의 스크린 화면에는 렉 걸리는 현상이 나타날 수 있다. 이리하여, 전자기기에 의해 수신된 동영상 데이터 패킷의 패킷 손실이 심한 경우, 전자기기에는 렉 걸리는 현상이 잦게 나타나 사용자의 통화 품질 및 경험이 심각하게 저하될 수 있다.

본 출원의 실시예에서, 전자기기는 제1 데이터 패킷을 수신한 후 제1 데이터 패킷에 포함되는 타겟 동영상 프레임이 파손된 프레임인지 여부를 판단하며, 타겟 데이터 패킷이 파손된 프레임인 경우, 전자기기는 제2 데이터 패킷의 패킷 손실률에 따라 전자기기가 처한 네트워크 환경에 어울리는 처리 방법을 선택하여 제1 데이터 패킷을 처리한다. 즉, 제1 데이터 패킷을 디코딩하거나 제1 데이터 패킷을 디코딩하지 않는다. 이러한 방식으로, 최종적으로 전자기기의 스크린에 재생되는 동영상은 전자기기에 의해 수신된 제1 데이터 패킷에 약간의 패킷 손실 현상이 있을 때에도 정상적인 영상통화가 가능하도록 보장하는 동시에, 제1 데이터 패킷의 패킷 손실이 너무 심할 때 표시 효과가 너무 떨어져 사용자에게 불편한 경험을 주는 것을 피할 수 있다. 예를 들어, 데이터 패킷의 패킷 손실이 많은 경우, 전자기기의 스크린에 대면적의 흐릿한 화면이 나타나지 않도록 피하기 위해 파손된 프레임을 분석하지 않으며, 반대로, 데이터 패킷의 패킷 손실이 비교적 적은 경우, 파손된 프레임을 디코딩하고 재생하여 전자기기의 스크린에 부분적으로만 흐릿한 화면이 나타나게 한다.

도 2에 도시된 바와 같이, 본 출원의 실시예에 따른 동영상 데이터 처리 방법은 단계 201 및 단계 202를 포함한다.

단계 201: 동영상 데이터 처리 장치는 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신한다.

본 출원의 실시예에서, 상기 제1 데이터 패킷에는 다수의 데이터 패킷이 포함될 수 있다.

본 출원의 실시예에서, 상기 타겟 동영상 프레임은 하나의 동영상 프레임 또는 다수의 동영상 프레임일 수 있으며, 본 출원의 실시예에서는 이에 대해 한정하지 않는다.

예시적으로, 동영상 데이터 처리 장치는 제1 데이터 패킷을 수신할 때 제1 데이터 패킷의 종료 데이터 패킷이 수신되었는지 여부를 검출함으로써 이 제1 데이터 패킷의 수신이 완료되었는지 여부를 판단할 수 있다.

단계 202: 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정한다.

본 출원의 실시예에서, 상기 파손된 프레임은 패킷 손실 현상이 존재하는 타겟 동영상 프레임이다.

본 출원의 실시예에서, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률을 계산하기 전에 우선 타겟 동영상 프레임이 파손된 프레임인지 여부를 결정해야 하며, 타겟 동영상 프레임이 파손된 프레임이 아닌 경우, 즉 동영상 데이터 처리 장치가 이 타겟 데이터 패킷에 포함되는 모든 데이터 패킷을 수신하면 동영상 데이터 처리 장치는 후속의 제2 데이터 패킷의 패킷 손실률을 계산하고 처리 정책을 결정하는 단계를 수행할 필요가 없고, 이 타겟 동영상 프레임을 직접 디코딩할 수 있다.

선택적으로, 본 출원의 실시예에서, 상기 패킷 손실률은 손실된 패킷 수와 제1 수의 비율이다. 여기서, 상기 손실된 패킷 수는 제2 수와 상기 제1 수의 차이값이고, 상기 제1 수는 송신단으로부터 송신된 상기 제2 데이터 패킷에 대응하는 제1 동영상 프레임의 데이터 패킷 수이고, 상기 타겟 수는 상기 제2 데이터 패킷의 데이터 패킷 수이다.

선택적으로, 본 출원의 실시예에서, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률에 따라 제1 데이터 패킷에 대해 상이한 처리 정책(예를 들어, 디코딩 또는 폐기)을 수행할 수 있다. 구체적으로, 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률을 획득한 후, 이 제2 데이터 패킷의 패킷 손실률에 따라 상기 첫 번째 처리 정책(즉 강제 디코딩하는 방식)과 상기 두 번째 처리 정책(즉 디코딩하지 않는 방식) 중 하나를 선택하여 수행할 수 있다.

본 출원의 실시예에서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 동영상 데이터 처리 장치에 의해 수신된 데이터 패킷이다.

선택적으로, 본 출원의 실시예에서, 상기 미리 정해진 기간의 하한은 미리 정의된 것이거나 이력 네트워크 환경에 기초하여 동영상 데이터 처리 장치에 의해 결정된 것일 수 있으며, 본 출원의 실시예에서는 이에 대해 한정하지 않는다.

예시적으로, 상기 미리 정해진 기간의 하한과 제1 데이터 패킷의 종료 데이터 패킷의 수신 시간의 간격은 미리 정해진 간격일 수 있다. 여기서, 상기 미리 정해진 간격은 미리 정해진 시간 간격 또는 미리 정해진 데이터 프레임 수 간격일 수 있다.

상기 미리 정해진 간격은 미리 정의된 것일 수 있거나 전자기기에 의해 데이터 패킷을 수신한 이력 상황에 기초하여 결정된 것일 수 있다는 점에 유의해야 한다. 진일보로, 상기 미리 정해진 기간의 하한과 제1 데이터 패킷의 종료 데이터 패킷의 수신 시간 간의 간격이 미리 정해진 최대 간격을 초과하는 경우, 제2 데이터 패킷의 패킷 손실률은 현재 네트워크 환경의 우열을 정확하게 반영할 수 없어 상기 제1 데이터 패킷의 처리 정책을 정확하게 결정할 수 없으므로, 상기 미리 정해진 간격은 미리 정해진 최대 간격보다 작은 값이다.

일 예시에서, 상기 제2 데이터 패킷은 전자기기에 의해 수신된 상기 제1 데이터 패킷의 몇 개 이전의 데이터 패킷일 수 있고, 상기 제2 데이터 패킷은 또한 타겟 동영상 프레임의 이전 프레임 또는 이전 몇 개의 동영상 프레임의 데이터 패킷일 수 있다. 즉, 상기 미리 정해진 간격이 0인 경우, 상기 제2 데이터 패킷은 제1 데이터 패킷의 인접 데이터 패킷일 수 있다.

일 예시에서, 제2 데이터 패킷과 제1 데이터 패킷 사이의 데이터 패킷은 하나 또는 몇 개의 데이터 프레임을 구성할 수 있고, 이 데이터 프레임은 완전한 데이터 프레임 또는 파손된 프레임일 수 있다. 제2 데이터 패킷과 제1 데이터 패킷 사이의 데이터 프레임이 적을수록, 전자기기가 제2 데이터 패킷의 패킷 손실률에 따라 결정된 처리 정책으로 제1 데이터 패킷을 처리한 후 스크린 상에서의 재생 효과가 더 좋다는 점을 이해할 수 있다.

일 예시에서, 상기 제2 데이터 패킷은 제1 데이터 패킷을 포함할 수 있으며, 즉 제2 데이터 패킷에 대응하는 동영상 프레임에는 상기 타겟 동영상 프레임이 포함된다. 예를 들어, 프레임 속도가 24프레임/초인 동영상을 예로 들면, 미리 정해진 기간이 2초이고 x번째 동영상 프레임이 파손된 프레임이면, 전자기기가 이 x번째 동영상 프레임에 대응하는 데이터 패킷에 대한 처리 정책을 결정할 때, x번째 동영상 프레임 및 x번째 동영상 프레임 이전의 48프레임에 포함되는 모든 데이터 패킷의 패킷 손실률 상황에 따라 x번째 동영상 프레임에 대응하는 데이터 패킷에 대한 처리 정책을 결정한다.

이러한 방식으로, 동영상 데이터 처리 장치에 의해 선택된 제2 데이터 패킷이 제1 데이터 패킷에 근접할수록 현재 네트워크 환경을 더 잘 반영할 수 있고, 나아가 최종적으로 결정된 처리 정책의 정확도를 높일 수 있다.

선택적으로, 본 출원의 실시예에서, 상기 미리 정해진 기간의 지속시간은 미리 정의된 것일 수 있거나 이력 네트워크 환경에 기초하여 동영상 데이터 처리 장치에 의해 결정된 것일 수 있으며, 본 출원의 실시예에서는 이에 대해 한정하지 않는다.

일 예시에서, 동영상 데이터 처리 장치가 실시간 동영상 전송을 수행하기 전에, 동영상 데이터 처리 장치는 다수의 기간을 설정할 수 있고, 그 다음 실시간 동영상 전송 과정에서 제1 데이터 패킷에 패킷 손실이 존재한다고 검출되면, 동영상 데이터 처리 장치는 상기 다수의 기간 중 하나의 기간을 미리 정해진 기간으로 선택한 다음 이 미리 정해진 기간에 기초하여 제2 데이터 패킷을 결정할 수 있다.

진일보로, 상기 다수의 기간 중의 각 기간은 하나의 전송 시나리오에 해당하며, 각 시나리오에 해당되는 영향 요소는 다르다. 여기서, 상기 영향 요소는 전송망 품질, 하드웨어 매개 변수, 실제 시나리오 환경 등 중 적어도 하나를 포함한다.

이러한 방식으로, 동영상 데이터 처리 장치는 현재 전송 시나리오에 가장 적합한 미리 정해진 기간을 선택하여 제1 데이터 패킷의 처리 정책을 최종적으로 결정할 수 있으므로 최종적으로 획득한 처리 정책이 현재 전송 시나리오에서 동영상 재생 효과가 가장 좋은 처리 정책이다.

선택적으로, 본 출원의 실시예에서, 동영상 데이터 처리 장치가 처한 실시간 동영상 전송 시나리오의 변화 속도가 동영상 전송 속도보다 느린 편이기 때문에, 동영상 데이터 처리 장치는 타겟 동영상 프레임과 인접한 동영상 프레임의 패킷 손실률에 기초하여 타겟 동영상 프레임이 처한 실시간 동영상 전송 시나리오의 전송 환경을 결정할 수 있고, 이에 따라 타겟 동영상 프레임에 해당되는 제1 데이터 패킷의 처리 정책을 결정한다. 즉, 상기 미리 정해진 기간은 동영상 데이터 처리 장치가 제1 데이터 패킷의 처리 정책을 결정할 때 필요한 균형 기간으로 간주될 수 있다.

예시적으로, 상기 미리 정해진 기간은 전송 과정에서 타겟 동영상 프레임이 받는 영향 요소와 관련될 수 있다. 여기서, 상기 영향 요소는 전송망 품질, 하드웨어 매개 변수, 실제 시나리오 환경 등을 포함할 수 있으며, 상기 패킷 손실률은 전자기기가 전송 과정에서 타겟 동영상 프레임에 상기 영향 요소가 미치는 영향의 크기를 판단하는 중요한 매개 변수이며, 패킷 손실률과 상기 영향의 크기는 정비례한다. 즉, 패킷 손실률이 클수록 영향이 크고, 패킷 손실률이 작을수록 영향이 작다.

예를 들어, 동영상 데이터 처리 장치는 3개의 서로 다른 네트워크 속도에서 패킷 손실률을 결정하기 위한 기간을 지속적으로 조절한 다음, 동영상 데이터 처리 장치는 스크린 상의 타겟 동영상 프레임의 흐릿한 화면 비율을 자동으로 기록하며, 특정 기간을 초과하거나 특정 기간보다 작을 때 흐릿한 화면 비율이 모두 미리 정해진 흐릿한 화면 면적보다 높으면 이 기간이 이 네트워크 속도에서의 미리 정해진 기간으로 간주될 수 있다.

예시 1: 사용자가 휴대폰을 사용하여 영상통화를 하는 것으로 예를 들면, 영상통화의 과정에서, 수신단 휴대폰이 동영상 프레임 1(즉 상기 타겟 동영상 프레임)의 데이터 패킷 1(즉 상기 제1 데이터 패킷)을 수신한 후, 네트워크 전송 속도가 느리고 네트워크 품질이 좋지 않으므로 수신단 휴대폰은 수신된 동영상 프레임 1에 패킷 손실 현상이 존재하고 파손된 프레임이라고 결정한다. 이때, 수신단 휴대폰은 휴대폰에 미리 설정된 검출 시간인 3초(즉 상기 미리 정해진 기간)에 따라 동영상 프레임 1 및 동영상 프레임 1 이전 3초 내의 데이터 패킷의 패킷 손실률(제2 데이터 패킷의 패킷 손실률)을 계산하고, 이 패킷 손실률에 따라 상기 데이터 패킷 1의 처리 정책을 결정한다.

본 출원의 실시예에 따른 동영상 데이터 처리 방법에 있어서, 동영상 데이터 처리 장치는 제1 데이터 패킷을 수신한 후 제1 데이터 패킷에 포함되는 타겟 동영상 프레임이 파손된 프레임인지 여부를 판단하며, 타겟 데이터 패킷이 파손된 프레임인 경우, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률에 따라 동영상 데이터 처리 장치가 처한 네트워크 환경에 어울리는 처리 방법을 선택하여 제1 데이터 패킷을 처리한다. 즉, 제1 데이터 패킷을 디코딩하거나 제1 데이터 패킷을 디코딩하지 않는다. 이러한 방식으로, 최종적으로 동영상 데이터 처리 장치의 스크린에 재생되는 동영상은 동영상 데이터 처리 장치에 의해 수신된 제1 데이터 패킷에 약간의 패킷 손실 현상이 있을 때에도 정상적인 영상통화가 가능하도록 보장하는 동시에, 제1 데이터 패킷의 패킷 손실이 너무 심할 때 표시 효과가 너무 떨어져 사용자에게 불편한 경험을 주는 것을 피할 수 있다. 예를 들어, 데이터 패킷의 패킷 손실이 많은 경우, 전자기기의 스크린에 대면적의 흐릿한 화면이 나타나지 않도록 피하기 위해 파손된 프레임을 분석하지 않으며, 반대로, 데이터 패킷의 패킷 손실이 비교적 적은 경우, 파손된 프레임을 디코딩하고 재생하여 전자기기의 스크린에 부분적으로만 흐릿한 화면이 나타나게 한다.

선택적으로, 본 출원의 실시예에서, 도 3에 도시된 바와 같이, 상기 단계 202에서, 본 출원의 실시예에 따른 동영상 데이터 처리 방법은 다음 단계 A1 또는 단계 A2를 포함할 수 있다.

단계 A1: 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 폐기한다.

단계 A2: 상기 패킷 손실률이 상기 미리 설정된 임계값보다 작거나 같은 경우, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 디코딩한다.

예시적으로, 상기 미리 설정된 임계값은 동영상 데이터 처리 장치가 서로 다른 패킷 손실률 및 최종적으로 스크린에 표시되는 표시 상황에 따라 미리 얻어진 참조 임계값이다. 여기서, 상기 미리 설정된 임계값은 동영상 데이터 처리 장치에 미리 설정된 것일 수 있거나 사용자에 의해 정의된 것일 수 있다.

일 예시에서, 동영상 데이터 처리 장치에는 다수의 패킷 손실률 임계값이 미리 저장되어 있고, 각 패킷 손실률 임계값은 하나의 흐릿한 화면 비율에 해당한다. 이러한 방식으로, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률을 획득한 후, 사용자가 동영상을 시청할 때 받아들일 수 있는 흐릿한 화면 비율을 결부하여 상기 다수의 패킷 손실률 임계값 중 사용자가 동영상을 시청할 때 받아들일 수 있는 흐릿한 화면 비율에 매칭되는 패킷 손실률 임계값을 상기 미리 설정된 임계값으로 선택한다.

예시적으로, 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 크면 제1 데이터 패킷의 패킷 손실률이 너무 큰 것으로 간주될 수 있으며, 이때 제1 데이터 패킷이 동영상 데이터 처리 장치에 의해 분석된 후 스크린에 표시된 흐릿한 화면의 면적이 전체 스크린 면적에서 너무 큰 비율을 차지하고, 전체 화면이 어수선하여 사용자의 화면 시청 효과에 심각한 영향을 미친다. 따라서, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 분석하지 않는다. 즉 상기 제1 데이터 패킷을 폐기한다.

진일보로, 상기 제1 데이터 패킷을 폐기하는 것은 상기 제1 데이터 패킷을 포기하고 더 이상 제1 데이터 패킷에 포함되는 데이터를 디코딩하지 않는 것을 의미한다.

진일보로, 동영상 데이터 처리 장치가 상기 제1 데이터 패킷에 대한 디코딩을 포기한 후, 동영상 데이터 처리 장치의 스크린에는 타겟 동영상 프레임의 이전 프레임에서 디코딩된 동영상이 계속 표시된다. 실제 적용에 있어서, 스크린에서는 화면에 렉 걸리는 것으로 표시된다.

예시적으로, 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 작거나 같은 경우, 제1 데이터 패킷의 패킷 손실률이 미리 설정된 범위 내에 있는 것으로 간주될 수 있으며, 이때 제1 데이터 패킷이 동영상 데이터 처리 장치에 의해 분석된 후 데이터 패킷 손실이 발생했지만 스크린에 최종적으로 표시되는 흐릿한 화면의 면적이 전체 스크린 면적에서 차지하는 비율은 사용자가 받아들일 수 있는 범위 내에 있고, 이 제1 데이터 패킷에 포함되는 대부분의 데이터가 온전하게 수신될 수 있어 사용자의 시청 경험에 영향을 미치지 않으므로, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 디코딩한다.

진일보로, 동영상 데이터 처리 장치가 상기 제1 데이터 패킷을 디코딩한 후, 동영상 데이터 처리 장치의 스크린에는 타겟 동영상 프레임의 디코딩된 동영상이 표시된다. 실제 적용에 있어서, 스크린에는 화면에 약간의 흐릿한 화면이 있는 것으로 표시된다.

예시 2: 상기 예시 1을 결부하여, 동영상 프레임 1 및 동영상 프레임 1 이전 3초 내의 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 작은 경우 휴대폰은 동영상 프레임 1을 디코딩하지 않으며, 이때, 휴대폰 스크린에는 동영상 프레임 1 이전의 동영상 프레임에 의해 생성된 정지 화면이 표시되며; 동영상 프레임 1 및 동영상 프레임 1 이전 3초 내의 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우 휴대폰은 동영상 프레임 1을 디코딩하며, 이때, 스크린에는 동영상 프레임 1이 디코딩된 후의 화면 1이 표시되며, 이 화면 1에는 약간의 흐릿한 화면이 있지만 사용자가 주요 내용을 시청하는데 영향을 미치지 않는다.

이러한 방식으로, 동영상 데이터 처리 장치는 현재의 전송 환경을 결부하여 사용자의 시청 습관에 맞는 동영상 표시 방식을 결정할 수 있으며, 패킷 손실률이 너무 큰 경우 동영상 데이터 처리 장치는 제1 데이터 패킷에 대한 디코딩을 포기하고 렉 걸린 화면의 형식으로 동영상 화면을 표시함으로써 동영상 화면을 깨끗하게 유지하고, 사용자의 시청 편안감을 향상시키며, 패킷 손실률이 비교적 작은 경우 동영상 데이터 처리 장치는 이 제1 데이터 패킷을 표시함으로써 사용자의 시청 편안감에 영향을 미치지 않는 동시에 사용자가 동영상 실시간 화면을 계속 시청하도록 최대한 보장한다.

선택적으로, 본 출원의 실시예에서, 상기 단계 202에서, 본 출원의 실시예에 따른 동영상 데이터 처리 방법은 다음 단계 B1 및 단계 B2를 포함하거나 단계 B1 및 단계 B3을 포함할 수 있다.

단계 B1: 동영상 데이터 처리 장치는 상기 제2 데이터 패킷의 패킷 손실률에 따라 상기 타겟 동영상 프레임의 파손 정도를 결정한다.

단계 B2: 상기 파손 정도가 제1 조건을 만족하는 경우, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 디코딩한다.

단계 B3: 상기 파손 정도가 제2 조건을 만족하는 경우, 동영상 데이터 처리 장치는 상기 제1 데이터 패킷을 폐기한다.

예시적으로, 상기 타겟 동영상 프레임의 파손 정도는 상기 동영상 데이터 처리 장치가 제1 데이터 패킷을 디코딩할지 여부를 판단할 때의 근거가 된다.

예시적으로, 상기 타겟 동영상 프레임의 파손 정도와 제2 데이터 패킷의 패킷 손실률은 정비례한다. 즉, 상기 타겟 동영상 프레임의 파손 정도는 제2 데이터 패킷의 패킷 손실률에 따라 정량화될 수 있다. 제2 데이터 패킷의 패킷 손실률이 클수록 동영상 데이터 처리 장치는 상기 타겟 동영상 프레임의 파손 정도가 심하다고 판단하고, 반대로 제2 데이터 패킷의 패킷 손실률이 작을수록 동영상 데이터 처리 장치는 상기 타겟 동영상 프레임의 파손 정도가 경미하다고 판단한다.

예시적으로, 상기 제1 조건은 타겟 동영상 프레임의 파손 정도가 미리 정해진 파손 정도보다 작거나 같은 것을 포함하고, 상기 제2 조건은 타겟 동영상 프레임의 파손 정도가 미리 정해진 파손 정도보다 큰 것을 포함한다.

이러한 방식으로, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률에 따라 제1 데이터 패킷의 파손 정도를 판단할 수 있고, 나아가 제1 데이터 패킷의 처리 정책을 결정할 수 있으므로, 사용자가 실시간 동영상 전송의 최적의 시청 효과를 얻을 수 있도록 한다.

선택적으로, 본 출원의 실시예에서, 상기 제1 데이터 패킷은 N개의 데이터 패킷을 포함한다. 이에 기초하여, 상기 단계 201 이후에, 본 출원의 실시예에 따른 동영상 데이터 처리 방법은 아래 단계 C를 더 포함할 수 있다.

단계 C: 상기 N개의 데이터 패킷에 포함되는 타겟 데이터 패킷의 데이터 패킷 번호가 불연속적인 경우, 전자기기는 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정한다.

여기서, 상기 타겟 데이터 패킷은 상기 타겟 동영상 프레임의 종료 데이터 패킷이고, N은 양의 정수이다.

예시적으로, 상기 제1 데이터 패킷의 처리 정책을 결정하기 전에, 동영상 데이터 처리 장치는 먼저 타겟 동영상 프레임의 수신이 완료되었는지 여부를 판단해야 하며, 수신 완료가 확인된 경우에만 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정한다.

일 예시에서, 송신단이 동영상 데이터를 송신하기 전에 제1 데이터 패킷을 캡슐화할 때, 이미 제1 데이터 패킷에 포함되는 모든 데이터에 대해 서로 다른 시퀀스 번호 식별자를 부여하고 종료 데이터 패킷과 시작 데이터 패킷을 표시한다. 여기서, 상기 시퀀스 번호 식별자는 연속적인 시퀀스 번호 식별자이다. 따라서 동영상 데이터 처리 장치는 종료 데이터 패킷을 식별하기만 하면 이 타겟 데이터 프레임이 수신 완료되었는지 여부를 확인할 수 있으며, 동시에 동영상 데이터 처리 장치는 상기 시퀀스 번호 식별자의 시퀀스 번호가 연속적인지 여부를 통해 패킷 손실 현상이 존재하는지 여부, 즉 이 타겟 데이터 프레임이 파손된 프레임인지 여부를 쉽게 검출할 수 있다.

일부 타겟 동영상 프레임에 종료 데이터 패킷이 손실되는 현상이 존재할 수 있지만 각 프레임의 데이터는 종료 데이터 패킷과 시작 데이터 패킷이 캡슐화되므로, 종료 데이터 패킷이 손실되더라도 전자기기는 다음 프레임의 시작 데이터 패킷을 식별하여 서로 다른 동영상 프레임에 포함되는 데이터 패킷을 분할할 수 있는 점에 유의해야 한다. 전자기기가 종료 데이터 패킷과 시작 데이터 패킷이 동시에 손실된 경우, 전자기기는 동영상 데이터 처리 장치가 서로 다른 동영상 프레임 데이터를 구별하고 식별할 수 있을 때까지 이전 동영상 프레임을 처리하는 처리 정책에 따라 이 타겟 동영상 프레임을 처리한다.

선택적으로, 본 출원의 실시예에서, 실시간 동영상 전송의 과정에서, 타겟 동영상 프레임 이전에 데이터 패킷이 전송되는 총 전송 시간이 상기 미리 설정된 기간보다 작은 경우, 동영상 데이터 처리 장치는 미리 설정된 처리 정책을 사용하여 타겟 동영상 프레임을 디코딩한다.

예시적으로, 미리 정해진 기간이 S일 때, 동영상 데이터 처리 장치가 동영상을 전송하기 시작하는 시간 T0부터 현재 동영상 프레임의 종료 데이터 패킷까지의 시간 T1이 S보다 작거나 같은 경우, 동영상 데이터 처리 장치는 미리 설정된 처리 정책에 따라 T0부터 T1까지의 기간 내에 수신된 데이터 패킷을 처리한다. 즉, 동영상 데이터 처리 장치는 T0부터 T2(여기서, T0부터 T2까지의 시간은 S임)까지의 기간 내에 수신된 데이터 패킷의 처리 정책을 강제 디코딩하는 방식(즉 상기 첫 번째 처리 정책) 또는 디코딩하지 않는 방식(즉 상기 두 번째 처리 정책)으로 설정할 수 있다.

예시적으로, 상기 미리 설정된 처리 정책은 사용자에 의해 정의된 것일 수 있거나 전자기기에 미리 설정된 것일 수 있으며, 본 출원의 실시예에서는 이에 대해 한정하지 않는다.

본 출원의 실시예에서, 상기 각 방법의 도면에 도시된 동영상 데이터 처리 방법은 모두 본 출원의 실시예에서의 한 도면을 참조하여 예시적으로 설명된다는 점에 유의해야 한다. 구체적으로 구현할 때, 상기 각 방법의 도면에 도시된 동영상 데이터 처리 방법은 또한 상기 실시예에서 설명된 다른 참조할 수 있는 임의의 도면을 결합하여 구현될 있으며, 여기서는 상세한 설명을 생략한다.

본 출원의 실시예에 따른 동영상 데이터 처리 방법은 동영상 데이터 처리 장치에 의해 수행될 수 있거나 이 동영상 데이터 처리 장치에서 동영상 데이터 처리 방법을 로딩 및 수행하는 제어 모듈에 의해 수행될 수 있다는 점에 유의해야 한다. 본 출원의 실시예에서는 동영상 데이터 처리 장치가 동영상 데이터 처리 방법을 로딩 및 수행하는 것으로 예를 들어 본 출원의 실시예에 따른 데이터 재전송 방법을 설명한다.

도 4는 본 출원의 실시예에 따른 동영상 데이터 처리 장치를 구현하기 위한 가능한 구조 개략도이다. 도 4에 도시된 바와 같이, 동영상 데이터 처리 장치(600)는 수신 모듈(601) 및 실행 모듈(602)을 포함하며, 여기서, 상기 수신 모듈(601)은 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하도록 구성되며; 상기 실행 모듈(602)은 상기 수신 모듈(601)에 의해 수신된 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하도록 구성되며; 여기서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷이다.

선택적으로, 본 출원의 실시예에서, 상기 실행 모듈(602)은 구체적으로 상기 수신 모듈(601)에 의해 수신된 상기 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우 상기 제1 데이터 패킷을 폐기하고; 또한 상기 수신 모듈(601)에 의해 수신된 상기 제2 데이터 패킷의 패킷 손실률이 상기 미리 설정된 임계값보다 작거나 같은 경우 상기 제1 데이터 패킷을 디코딩하도록 구성된다.

선택적으로, 본 출원의 실시예에서, 상기 실행 모듈(602)은 구체적으로 제2 데이터 패킷의 패킷 손실률에 따라 상기 타겟 동영상 프레임의 파손 정도를 결정하고; 상기 파손 정도가 제1 조건을 만족하는 경우, 상기 제1 데이터 패킷을 디코딩하고; 상기 파손 정도가 제2 조건을 만족하는 경우, 상기 제1 데이터 패킷을 폐기하도록 구성된다.

선택적으로, 본 출원의 실시예에서, 상기 제1 데이터 패킷은 N개의 데이터 패킷을 포함하며; 상기 실행 모듈(602)은 또한 상기 N개의 데이터 패킷에 포함되는 타겟 데이터 패킷의 데이터 패킷 번호가 불연속적이라고 결정되는 경우, 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정하도록 구성되며; 여기서, 상기 타겟 데이터 패킷은 상기 타겟 동영상 프레임의 종료 데이터 패킷이고, N은 양의 정수이다.

선택적으로, 본 출원의 실시예에서, 상기 패킷 손실률은 손실된 패킷 수와 제1 수의 비율이고, 상기 손실된 패킷 수는 제2 수와 상기 제1 수의 차이값이고, 상기 제1 수는 송신단으로부터 송신된 상기 제2 데이터 패킷에 대응하는 제1 동영상 프레임의 데이터 패킷 수이고, 상기 타겟 수는 상기 제2 데이터 패킷의 데이터 패킷 수이다.

본 출원의 실시예에 따른 동영상 데이터 처리 장치는 장치일 수 있거나 단말의 부품, 집적회로 또는 칩일 수 있다. 이 장치는 모바일 전자기기 또는 비모바일 전자기기일 수 있다. 예시적으로, 모바일 전자기기는 휴대폰, 태블릿 PC, 노트북, 포켓 PC, 차량탑재 단말기, 웨어러블 기기, 울트라 모바일 개인용 컴퓨터(ultra-mobile personal computer, UMPC), 넷북 또는 개인 휴대 단말기(personal digital assistant, PDA)등일 수 있고, 비모바일 전자기기는 서버, 네트워크 결합 스토리지(Network Attached Storage, NAS), 개인용 컴퓨터(personal computer, PC) 또는 텔레비전(television, TV), 현금 자동 입출금기 또는 자동판매기 등일 수 있으며, 본 출원의 실시예는 이에 대해 특별히 한정하지 않는다.

본 출원의 실시예에 따른 동영상 데이터 처리 장치는 운영체제를 갖는 장치일 수 있다. 이 운영체제는 안드로이드(Android) 운영체제, iOS 운영체제 또는 기타 가능한 운영체제일 수 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.

본 출원의 실시예에 따른 동영상 데이터 처리 장치는 도 2 내지 도 3의 방법 실시예에서 동영상 데이터 처리 장치에 의해 구현되는 각 단계를 구현할 수 있으며, 반복을 피하기 위해 여기서 상세한 설명을 생략한다.

본 출원의 실시예에 따른 동영상 데이터 처리 장치에 있어서, 제1 데이터 패킷을 수신한 후 제1 데이터 패킷에 포함되는 타겟 동영상 프레임이 파손된 프레임인지 여부를 판단하며, 타겟 데이터 패킷이 파손된 프레임인 경우, 동영상 데이터 처리 장치는 제2 데이터 패킷의 패킷 손실률에 따라 동영상 데이터 처리 장치가 처한 네트워크 환경에 어울리는 처리 방법을 선택하여 제1 데이터 패킷을 처리한다. 즉, 제1 데이터 패킷을 디코딩하거나 제1 데이터 패킷을 디코딩하지 않는다. 이러한 방식으로, 최종적으로 동영상 데이터 처리 장치의 스크린에 재생되는 동영상은 동영상 데이터 처리 장치에 의해 수신된 제1 데이터 패킷에 약간의 패킷 손실 현상이 있을 때에도 정상적인 영상통화가 가능하도록 보장하는 동시에, 제1 데이터 패킷의 패킷 손실이 너무 심할 때 표시 효과가 너무 떨어져 사용자에게 불편한 경험을 주는 것을 피할 수 있다. 예를 들어, 데이터 패킷의 패킷 손실이 많은 경우, 전자기기의 스크린에 대면적의 흐릿한 화면이 나타나지 않도록 피하기 위해 파손된 프레임을 분석하지 않으며, 반대로, 데이터 패킷의 패킷 손실이 비교적 적은 경우, 파손된 프레임을 디코딩하고 재생하여 전자기기의 스크린에 부분적으로만 흐릿한 화면이 나타나게 한다.

선택적으로, 본 출원의 실시예는 또한 전자기기를 제공함에 있어서, 프로세서(1010), 메모리(1009) 및 메모리(1009)에 저장되고 상기 프로세서(1010)에서 실행될 수 있는 프로그램 또는 명령어를 포함하며, 이 프로그램 또는 명령어가 프로세서(1010)에 의해 실행될 때 상기 동영상 데이터 처리 방법 실시예의 각 단계가 구현되고, 또 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해 여기서 상세한 설명을 생략한다.

본 출원의 실시예에 따른 전자기기는 상기 모바일 전자기기와 비모바일 전자기기를 포함한다는 점에 유의해야 한다.

도 5는 본 출원의 실시예를 구현하기 위한 전자기기의 하드웨어 구성도이다.

이 전자기기(1000)는 무선 주파수 장치(1001), 네트워크 모듈(1002), 오디오 출력 장치(1003), 입력 장치(1004), 센서(1005), 표시 장치(1006), 사용자 입력 장치(1007), 인터페이스 장치(1008), 메모리(1009) 및 프로세서(1010) 등 구성요소를 포함하지만 이에 한정되지 않는다.

당업자라면, 전자기기(1000)에는 각 구성요소에 전력을 공급하는 전원(예: 배터리)이 추가로 포함될 수 있고, 전원은 전원 관리 시스템을 통해 프로세서(1010)에 논리적으로 연결되어 전원 관리 시스템을 이용하여 충전관리, 방전관리, 전력소비관리 등의 기능을 구현할 수 있음을 이해할 수 있다. 도 5에 도시된 전자기기의 구조가 전자기기에 대한 제한을 구성하지 않으며, 전자기기는 도면에 도시된 것보다 더 많거나 적은 구성요소를 포함하거나, 특정 구성요소를 결합하거나, 다른 구성요소를 배치할 수 있으며, 여기서는 상세한 설명을 생략한다.

여기서, 무선 주파수 장치(1001)는 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하도록 구성되며; 상기 프로세서(1010)는 상기 무선 주파수 장치(1001)에 의해 수신된 상기 타겟 동영상 프레임이 파손된 프레임인 경우 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하도록 구성되며; 여기서, 상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷이다.

선택적으로, 상기 프로세서(1010)는 구체적으로 상기 프로세서(1010)에 의해 수신된 상기 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우 상기 제1 데이터 패킷을 폐기하도록 구성되고; 또한 구체적으로 상기 프로세서(1010)에 의해 수신된 상기 패킷 손실률이 상기 미리 설정된 임계값보다 작거나 같은 경우 상기 제1 데이터 패킷을 디코딩하도록 구성된다.

선택적으로, 상기 프로세서(1010)는 구체적으로 제2 데이터 패킷의 패킷 손실률에 따라 상기 타겟 동영상 프레임의 파손 정도를 결정하도록 구성되며; 구체적으로 상기 프로세서(1010)에 의해 결정된 상기 파손 정도가 제1 조건을 만족하는 경우, 상기 제1 데이터 패킷을 디코딩하도록 구성되며; 상기 프로세서(1010)에 의해 결정된 상기 파손 정도가 제2 조건을 만족하는 경우, 상기 제1 데이터 패킷을 폐기하도록 구성된다.

선택적으로, 상기 제1 데이터 패킷은 N개의 데이터 패킷을 포함하며; 상기 프로세서(1010)는 또한 상기 N개의 데이터 패킷에 포함되는 타겟 데이터 패킷의 데이터 패킷 번호가 결정되는 경우 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정하도록 구성되며; 여기서, 상기 타겟 데이터 패킷은 상기 타겟 동영상 프레임의 종료 데이터 패킷이고, N은 양의 정수이다.

선택적으로, 상기 패킷 손실률은 손실된 패킷 수와 제1 수의 비율이고, 상기 손실된 패킷 수는 제2 수와 상기 제1 수의 차이값이고, 상기 제1 수는 송신단으로부터 송신된 상기 제2 데이터 패킷에 대응하는 제1 동영상 프레임의 데이터 패킷 수이고, 상기 타겟 수는 상기 제2 데이터 패킷의 데이터 패킷 수이다.

본 출원의 실시예에 따른 전자기기에 있어서, 전자기기는 제1 데이터 패킷을 수신한 후 제1 데이터 패킷에 포함되는 타겟 동영상 프레임이 파손된 프레임인지 여부를 판단하며, 타겟 데이터 패킷이 파손된 프레임인 경우, 전자기기는 제2 데이터 패킷의 패킷 손실률에 따라 전자기기가 처한 네트워크 환경에 어울리는 처리 방법을 선택하여 제1 데이터 패킷을 처리한다. 즉, 제1 데이터 패킷을 디코딩하거나 제1 데이터 패킷을 디코딩하지 않는다. 이러한 방식으로, 최종적으로 동영상 데이터 처리 장치의 스크린에 재생되는 동영상은 전자기기에 의해 수신된 제1 데이터 패킷에 약간의 패킷 손실 현상이 있을 때에도 정상적인 영상통화가 가능하도록 보장하는 동시에, 제1 데이터 패킷의 패킷 손실이 너무 심할 때 표시 효과가 너무 떨어져 사용자에게 불편한 경험을 주는 것을 피할 수 있다. 예를 들어, 데이터 패킷의 패킷 손실이 많은 경우, 전자기기의 스크린에 대면적의 흐릿한 화면이 나타나지 않도록 피하기 위해 파손된 프레임을 분석하지 않으며, 반대로, 데이터 패킷의 패킷 손실이 비교적 적은 경우, 파손된 프레임을 디코딩하고 재생하여 전자기기의 스크린에 부분적으로만 흐릿한 화면이 나타나게 한다.

본 출원의 실시예는 또한 판독가능 저장 매체를 제공함에 있어서, 판독가능 저장 매체에는 프로그램 또는 명령어가 저장되어 있고, 이 프로그램 또는 명령어가 프로세서에 의해 실행될 때 상기 동영상 데이터 처리 방법 실시예의 각 단계가 구현되고, 또한 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해 여기서는 상세한 설명을 생략한다.

여기서, 상기 프로세서는 상기 실시예에 따른 전자기기에 포함되는 프로세서이다. 상기 판독가능 저장 매체는 컴퓨터 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 시디롬 등과 같은 컴퓨터 판독가능 저장 매체를 포함한다.

본 출원의 실시예는 또한 칩을 제공함에 있어서, 상기 칩은 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 또는 명령어를 실행하도록 구성되어 상기 동영상 데이터 처리 방법 실시예의 각 단계를 구현하고, 또한 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해 여기서는 상세한 설명을 생략한다.

본 출원의 실시예에서 언급된 칩은 시스템급 칩, 시스템 칩, 칩 시스템 또는 시스템 온 칩으로 불릴 수 있다.

본 명세서에서, ‘포함한다’, ‘갖는다’ 또는 다른 임의의 변형은 비배타적 포함을 의도하며, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치는 그 요소 뿐만 아니라 명확하게 나열되지 않은 다른 요소도 포함하며, 또는 이러한 프로세스, 방법, 물품 또는 장치의 고유한 요소도 포함한다는 점에 유의해야 한다. 별도로 제한이 없는 한, ‘하나의 ~을 포함한다’로 정의된 요소는 해당 요소를 포함하는 프로세스, 방법, 물품 또는 장치에서 다른 동일한 요소의 존재를 배제하지 않는다. 또한, 본 출원의 실시 방법에서의 방법 및 장치의 범위는 도시되거나 논의된 순서로 기능을 수행하는 것으로 제한되지 않고, 관련된 기능에 따라 기본적으로 동시적인 방식 또는 역순으로 기능을 수행할 수도 있다는 점에 유의해야 한다. 예컨대, 설명된 방법은 설명된 것과 다른 순서로 수행될 수 있고, 다양한 단계들이 추가, 생략 또는 조합될 수도 있다. 또한, 특정 예시를 참조하여 설명된 특징은 다른 예시에서 조합될 수 있다.

상기 실시예의 설명을 통해, 당업자라면 상기 실시예의 방법이 소프트웨어와 필요한 일반 하드웨어 플랫폼을 결합하는 방식에 의해 구현되거나 하드웨어에 의해 구현될 수 있지만, 많은 경우에 소프트웨어와 필요한 일반 하드웨어 플랫폼을 결합하는 방식이 더 바람직하다는 것을 명백하게 이해할 수 있을 것이다. 이러한 이해에 기초하여, 본 출원의 기술적 솔루션의 본질적 부분 또는 종래 기술에 기여한 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 이 컴퓨터 소프트웨어 제품은 저장 매체(예: ROM/RAM, 자기 디스크, 시디롬)에 저장되고 단말(휴대폰, 컴퓨터, 서버, 에어컨 또는 네트워크 장비 등)이 본 출원의 각 실시예에서 설명된 방법을 수행하게 하기 위한 복수의 명령을 포함한다.

상술한 바와 같이 첨부된 도면을 참조하여 본 출원의 실시예를 설명하였지만, 본 출원은 상술한 특정 실시예에 한정되지 않으며, 상술한 특정 실시예들은 제한적이 아니라 예시에 불과하다. 당업자는 본 출원의 주지 및 청구범위에 따른 보호범위를 벗어나지 않고 본 출원에 기반하여 다양한 변형을 도출할 수 있으며, 이러한 변형은 모두 본 출원의 보호범위에 속한다.

Claims

전자기기에 적용되는 동영상 데이터 처리 방법에 있어서, 상기 방법은,
타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하는 단계;
상기 타겟 동영상 프레임이 파손된 프레임인 경우, 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하는 단계; 를 포함하되,
상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하는 단계는,
상기 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우, 상기 제1 데이터 패킷을 폐기하는 단계;
상기 제2 데이터 패킷의 패킷 손실률이 상기 미리 설정된 임계값보다 작거나 같은 경우, 상기 제1 데이터 패킷을 디코딩하는 단계; 를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하는 단계는,
상기 제2 데이터 패킷의 패킷 손실률에 따라 상기 타겟 동영상 프레임의 파손 정도를 결정하는 단계;
상기 파손 정도가 제1 조건을 만족하는 경우, 상기 제1 데이터 패킷을 디코딩하는 단계;
상기 파손 정도가 제2 조건을 만족하는 경우, 상기 제1 데이터 패킷을 폐기하는 단계; 를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제1 데이터 패킷은 N개의 데이터 패킷을 포함하며;
상기 제1 데이터 패킷을 수신하는 단계 이후, 상기 방법은,
상기 N개의 데이터 패킷에 포함되는 타겟 데이터 패킷의 데이터 패킷 번호가 불연속적이라고 결정되는 경우, 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정하는 단계를 더 포함하되,
상기 타겟 데이터 패킷은 상기 타겟 동영상 프레임의 종료 데이터 패킷이고, N은 양의 정수인 것을 특징으로 하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 패킷 손실률은 손실된 패킷 수와 제1 수의 비율이고, 상기 손실된 패킷 수는 제2 수와 상기 제1 수의 차이값이고, 상기 제1 수는 송신단으로부터 송신된 상기 제2 데이터 패킷에 대응하는 제1 동영상 프레임의 데이터 패킷 수이고, 상기 타겟 수는 상기 제2 데이터 패킷의 데이터 패킷 수인 것을 특징으로 하는 방법.
동영상 데이터 처리 장치에 있어서,
상기 장치는 수신 모듈과 실행 모듈을 포함하며;
상기 수신 모듈은, 타겟 동영상 프레임을 구성하는 제1 데이터 패킷을 수신하도록 구성되며;
상기 실행 모듈은, 상기 수신 모듈에 의해 수신된 상기 타겟 동영상 프레임이 파손된 프레임인 경우, 제2 데이터 패킷의 패킷 손실률에 따라 상기 제1 데이터 패킷을 디코딩할지 여부를 결정하도록 구성되며;
상기 제2 데이터 패킷은 상기 제1 데이터 패킷을 수신하기 전의 미리 정해진 기간 내에 상기 전자기기에 의해 수신된 데이터 패킷인 것을 특징으로 하는 장치.
제6항에 있어서,
상기 실행 모듈은 구체적으로,
상기 수신 모듈에 의해 수신된 상기 제2 데이터 패킷의 패킷 손실률이 미리 설정된 임계값보다 큰 경우, 상기 제1 데이터 패킷을 폐기하고;
상기 수신 모듈에 의해 수신된 상기 제2 데이터 패킷의 상기 패킷 손실률이 상기 미리 설정된 임계값보다 작거나 같은 경우, 상기 제1 데이터 패킷을 디코딩하도록 구성되는 것을 특징으로 하는 장치.
제6항에 있어서,
상기 실행 모듈은 구체적으로,
제2 데이터 패킷의 패킷 손실률에 따라 상기 타겟 동영상 프레임의 파손 정도를 결정하고;
결정된 상기 파손 정도가 제1 조건을 만족하는 경우, 상기 제1 데이터 패킷을 디코딩하고;
결정된 상기 파손 정도가 제2 조건을 만족하는 경우, 상기 제1 데이터 패킷을 폐기하도록 구성되는 것을 특징으로 하는 장치.
제6항에 있어서,
상기 제1 데이터 패킷은 N개의 데이터 패킷을 포함하며;
상기 실행 모듈은 또한, 상기 N개의 데이터 패킷에 포함되는 타겟 데이터 패킷의 데이터 패킷 번호가 불연속적이라고 결정되는 경우, 상기 타겟 동영상 프레임이 파손된 프레임이라고 결정하도록 구성되며;
상기 타겟 데이터 패킷은 상기 타겟 동영상 프레임의 종료 데이터 패킷이고, N은 양의 정수인 것을 특징으로 하는 장치.
제6항 내지 제9항 중 어느 한 항에 있어서,
상기 패킷 손실률은 손실된 패킷 수와 제1 수의 비율이고, 상기 손실된 패킷 수는 제2 수와 상기 제1 수의 차이값이고, 상기 제1 수는 송신단으로부터 송신된 상기 제2 데이터 패킷에 대응하는 제1 동영상 프레임의 데이터 패킷 수이고, 상기 타겟 수는 상기 제2 데이터 패킷의 데이터 패킷 수인 것을 특징으로 하는 장치.
전자기기에 있어서,
프로세서, 메모리, 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 프로그램 또는 명령어를 포함하며, 상기 프로그램 또는 명령어가 상기 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 의한 동영상 데이터 처리 방법의 단계가 구현되는 것을 특징으로 하는 전자기기.
판독가능 저장 매체에 있어서,
상기 판독가능 저장 매체에는 프로그램 또는 명령어가 저장되고, 상기 프로그램 또는 명령어가 상기 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 의한 동영상 데이터 처리 방법의 단계가 구현되는 것을 특징으로 하는 판독가능 저장 매체.
컴퓨터 프로그램 제품에 있어서,
상기 프로그램 제품은 비휘발성 저장 매체에 저장되어 있고, 상기 프로그램 제품은 제1항 내지 제5항 중 어느 한 항에 의한 동영상 데이터 처리 방법을 구현하기 위해 적어도 하나의 프로세서에 의해 실행되는 것을 특징으로 하는 컴퓨터 프로그램 제품.
전자기기에 있어서,
제1항 내지 제5항 중 어느 한 항에 의한 동영상 데이터 처리 방법을 수행하도록 구성되는 것을 특징으로 하는 전자기기.
칩에 있어서,
상기 칩은 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 또는 명령어를 실행하도록 구성되어 제1항 내지 제5항 중 어느 한 항에 의한 동영상 데이터 처리 방법을 구현하는 것을 특징으로 하는 칩.