KR102301447B1 - 비디오 처리 방법, 비디오 처리 장치 및 저장 매체 - Google Patents

Abstract

본 발명은 비디오 처리 방법, 비디오 처리 장치 및 저장 매체에 관한 것이다. 비디오 처리 방법은, 제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하는 단계; 상기 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하는 단계; 상기 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하고 - 상기 점수는 상기 비디오 프레임이 각 후보 클리핑 박스를 클리핑 범위로 할 경우의 재생 효과를 나타냄 - , 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 단계; 및 선택된 상기 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 상기 제2 종횡비를 갖는 목표 비디오를 생성하는 단계를 포함한다. 본 발명을 통해, 소스 비디오를 목표 종횡비에 따라 출력할 수 있으며, 출력 내용의 재생 효과를 보장할 수 있다.

Description

비디오 처리 방법, 비디오 처리 장치 및 저장 매체{VIDEO PROCESSING METHOD, VIDEO PROCESSING DEVICE, AND STORAGE MEDIUM}

본 발명은 이미지 비디오 처리 기술분야에 관한 것으로, 특히 비디오 처리 방법, 비디오 처리 장치 및 저장 매체에 관한 것이다.

소스 비디오의 종횡비 및 비디오의 현재 재생 기기의 디스플레이의 종횡비가 일치하지 않는 상황이 발생할 수 있다. 예를 들어, 사용자가 촬영하거나, 인터넷에서 다운로드한 비디오는 일반적으로 여러 종횡비를 가지며, 사용자의 재생 기기의 디스플레이에도 여러 종횡비가 있다. 소스 비디오의 종횡비 및 목표 디스플레이의 종횡비가 일치하지 않으면, 비디오가 목표 디스플레이에서 재생될 때(예를 들어 종횡비가 16:9인 목표 디스플레이에서 종횡비가 4:3인 비디오를 재생할 경우), 디스플레이의 양측에 큰 면적의 검은색 화면이 발생한다.

관련 기술에서, 재생된 소스 비디오의 종횡비와 재생 기기의 디스플레이의 종횡비를 일치시키고, 더 나은 사용자 체험을 제공하기 위해 비디오 화면으로 디스플레이를 채우도록, 일반적으로 비디오 화면의 크기를 조정하거나 클리핑을 수행해야 한다.

관련 기술의 문제점을 극복하기 위해, 본 발명은 비디오 처리 방법, 비디오 처리 장치 및 저장 매체를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 비디오 처리 방법을 제공하며,

제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하는 단계; 상기 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하는 단계; 상기 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하고 - 상기 점수는 상기 비디오 프레임이 각 후보 클리핑 박스를 클리핑 범위로 할 경우의 재생 효과를 나타냄 - , 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 단계; 및 선택된 상기 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 상기 제2 종횡비를 갖는 목표 비디오를 생성하는 단계를 포함한다.

하나의 실시형태에 있어서, 상기 후보 클리핑 박스의 점수를 결정하는 단계는, 상기 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점을 수행하여, 상기 후보 클리핑 박스의 점수를 획득하는 단계를 포함한다.

다른 실시형태에 있어서, 상기 후보 클리핑 박스의 점수를 결정하는 단계는,

상기 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 실행하며, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정하는 단계; 및 상기 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 상기 후보 클리핑 박스의 점수를 결정하는 단계를 포함한다.

또 다른 실시형태에 있어서, 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 단계는,

상기 복수의 비디오 프레임 내의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 각 인접 프레임 사이에서의 떨림에 대해 평활화 제어를 수행함 - ; 및 최대 목표 함수에 기반하여, 상기 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하는 단계 - 상기 클리핑 박스 시퀀스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함함 - 를 포함한다.

또 다른 실시형태에 있어서, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계는, 두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합(Intersection over Union, IoU) 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 를 포함한다.

또 다른 실시형태에 있어서, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계는, 두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 를 포함한다.

또 다른 실시형태에 있어서, 각 비디오 프레임의 클리핑 박스를 선택한 후, 상기 비디오 처리 방법은, 상기 소스 비디오를 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할하는 단계; 두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 상기 두 개의 인접한 비디오 세그먼트에서 이동하는 속도를 결정하는 단계; 및 상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하는 단계를 더 포함한다.

또 다른 실시형태에 있어서, 상기 복수의 비디오 세그먼트의 총 수는 K이고, 여기서 K는 1보다 큰 양의 정수이며;

상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하는 단계는,

제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 단계; k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고, k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, 상기 k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동시키는 단계 - 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 상기 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 상기 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이며, k는 조건 1＜k＜K-1을 만족하는 양의 정수임 - ; 및 k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 단계를 포함한다.

본 발명의 실시예의 제2 측면에 따르면, 비디오 처리 장치를 제공하며,

제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하기 위한 추출 유닛; 상기 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하기 위한 클리핑 유닛; 상기 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하기 위한 점수 유닛 - 상기 점수는 각 후보 클리핑 박스를 클리핑 범위인 경우의 재생 효과로 하는 상기 비디오 프레임을 나타냄 - ; 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하기 위한 선택 유닛; 및 선택된 상기 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 상기 제2 종횡비를 갖는 목표 비디오를 생성하기 위한 생성 유닛을 포함한다.

하나의 실시형태에 있어서, 상기 점수 유닛은,

상기 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점을 수행하여, 상기 후보 클리핑 박스의 점수를 획득하는 방식을 사용하여, 상기 후보 클리핑 박스의 점수를 결정한다.

다른 실시형태에 있어서, 상기 점수 유닛은,

상기 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 실행하며, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정하고; 상기 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 상기 후보 클리핑 박스의 점수를 결정하는 방식을 사용하여, 상기 후보 클리핑 박스의 점수를 결정하기 위한 것이다.

또 다른 실시형태에 있어서, 상기 선택 유닛은 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서,

상기 복수의 비디오 프레임 내의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 각 인접 프레임 사이에서의 떨림에 대해 평활화 제어를 수행함 - ; 및 최대 목표 함수에 기반하여, 상기 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하는 방식 - 상기 클리핑 박스 시퀀스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함함 - 을 사용하여, 각 비디오 프레임의 박스를 선택하기 위한 것이다.

또 다른 실시형태에 있어서, 상기 선택 유닛은,

두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 을 사용하여, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하기 위한 것이다.

또 다른 실시형태에 있어서, 상기 선택 유닛은,

두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 을 사용하여, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하기 위한 것이다.

또 다른 실시형태에 있어서, 상기 장치는 조정 유닛을 더 포함하고, 상기 조정 유닛은,

상기 선택 유닛이 각 비디오 프레임의 클리핑 박스를 선택한 후, 상기 소스 비디오를 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할하고; 두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 상기 두 개의 인접한 비디오 세그먼트에서 이동하는 속도를 결정하며; 상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하기 위한 것이다.

또 다른 실시형태에 있어서, 상기 복수의 비디오 세그먼트의 총 수는 K이고, 여기서 K는 1보다 큰 양의 정수이며;

상기 조정 유닛은,

제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 방식; k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고 k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, 상기 k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동시키는 방식 - 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 상기 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 상기 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이며, k는 조건 1＜k＜K-1을 만족하는 양의 정수임 - ; 및 k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 방식을 사용하여, 상기 속도 및 재생 시간에 기반하여 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하기 위한 것이다.

본 발명의 실시예의 제3 측면에 따르면, 비디오 처리 장치를 제공하며,

프로세서; 및 프로세서에서 실행 가능한 명령어를 포함하기 위한 메모리를 포함하며;

여기서, 상기 프로세서는 제1 측면 또는 제1 측면의 어느 한 실시형태에 따른 비디오 처리 장치를 실행하도록 구성된다.

본 발명의 실시예의 제4 측면에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 저장 매체의 명령어가 이동 단말의 프로세서에 의해 실행될 때, 이동 단말로 하여금 제1 측면 또는 제1 측면의 어느 한 실시형태에 따른 비디오 처리 방법을 실행 가능하도록 한다.

본 발명의 실시예에서 제공한 기술방안은 다음의 유익한 효과를 포함할 수 있다. 소스 비디오로부터 추출된 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행함으로써, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하고, 후보 클리핑 박스의 재생 효과의 점수에 기반하여 클리핑 박스를 선택하며, 마지막으로 클리핑 박스를 사용하여 비디오 프레임을 클리핑하여 상기 제2 종횡비를 갖는 목표 비디오를 생성함으로써, 소스 비디오가 목표 종횡비에 따라 출력될 수 있어, 출력 내용의 재생 효과를 보장할 수 있다.

이해해야 할 것은, 상기의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것이 아니다.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하며, 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 원리의 해석에 사용된다.
도 1은 일 예시적 실시예에 따라 도시된 비디오 처리 방법의 흐름도이다.
도 2는 일 예시적 실시예에 따라 도시된 점수에 기반하여 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하여 프레임 간의 평활화 제어를 구현하는 흐름 모식도이다.
도 3은 일 예시적 실시예에 따라 도시된 클리핑 박스의 위치 조정 방법의 흐름도이다.
도 4는 일 예시적 실시예에 따라 도시된 비디오 처리 장치의 블록도(이동 단말의 일반적인 구조)이다.
도 5는 일 예시적 실시예에 따라 도시된 비디오 처리를 위한 장치의 블록도이다.

아래에서 예시적 실시예에 대해 상세히 설명하며, 그 예는 도면에 도시된다. 아래의 설명은 도면을 참조할 때, 달리 의미하지 않는 한, 상이한 도면에서 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 개시와 일치하는 모든 실시형태를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구 범위에 상세히 서술된 바와 같이 본 개시의 일부 측면과 일치하는 장치 및 방법의 예일 뿐이다.

관련 기술에서, 소스 비디오 재생의 종횡비와 재생 기기의 디스플레이의 종횡비를 일치시키고, 더 나은 사용자 체험을 제공하기 위해 비디오 화상으로 디스플레이를 채우도록, 일반적으로 비디오 화면에 대해 스케일링 또는 클리핑을 수행한다. 여기서, 비디오 화면에 대한 스케일링 방안에서, 소스 비디오를 직접 목표 종회비와 일치하게 스케일링하고, 소스 비디오 종횡비와 목표 종횡비가 일치하지 않으므로, 비디오의 수평과 수직의 스케일링 인자는 반드시 상이하고, 이는 화면의 일정한 정도의 연신 또는 압축을 초래할 것이며, 양자의 종횡비 차이가 클 때보다 더 명확하여, 인상에 영향을 미친다. 다른 하나의 방안에서, 민감한 내용에 대해 스케일링을 시도하여, 먼저 비디오에서의 중요한 물체/내용을 검출하고 선택한 다음, 이를 다시 목표 종횡비와 일치하도록 스케일링하여 배경에 붙여 넣는다. 그러나, 전체 과정은 중요한 물체 검출, 이미지 복원, 스케일링 및 이미지 합성 등과 같은 다중 동작에 관한 것이며, 계산의 복잡도는 비교적 높다. 비디오 화면 클리핑의 방안에 대해, 일반적인 방식은 비디오 화면 중심을 유지하는 중심 클리핑 방법을 사용하고, 소스 비디오를 목표 디스플레이에 실시간으로 출력하여, "풀 스크린 재생"을 구현하는 것이다. 전체적인 실시과정에서 내용에 대해 수직 및 수평 방향으로 상이한 비율로 스케일링하지 않고, 상기 나타난 배경을 포함한 모든 내용은 연신 또는 압축되지 않을 것이다. 하지만 비디오 양측의 불필요한 내용을 잘라내고, 비디오 중앙 위치만 보류하는 방법은 비디오의 주요 내용을 손실하지 않는다고 확보하기 어려우며, 클리핑된 화면의 미적 감각을 유지하는 것은 불가능하다.

이 점을 감안하여, 본 발명의 실시예는 비디오 처리 방법을 제공하고, 고정 영역의 클리핑 및 내용이 민감한 영역과 결합하여 비디오 처리를 수행함으로써, 소스 비디오는 목표 종횡비에 따라 출력되며, 출력 내용의 재생 효과를 보장할 수 있다.

일 방식에서, 본 발명의 실시예는 소스 비디오로부터 복수의 비디오 프레임을 추출하고, 추출된 복수의 비디오 프레임에서의 각 비디오 프레임 대해 복수의 클리핑을 수행하여 복수의 후보 클리핑 박스를 생성하며, 후보 클리핑 박스의 재생 효과의 점수에 기반하여 클리핑 박스를 선택하며, 마지막으로 클리핑 박스를 사용하여 비디오 프레임을 클리핑하여 상기 제2 종횡비를 갖는 목표 비디오를 생성함으로써, 소스 비디오가 목표 종횡비에 따라 출력될 수 있어, 출력 내용의 재생 효과를 보장할 수 있다.

도 1은 일 예시적 실시예에 따라 도시된 비디오 처리 방법의 흐름도이고, 도 1에 도시된 바와 같이, 비디오 처리 방법은 다음의 단계를 포함한다.

단계 S11에 있어서, 제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출한다.

본 발명의 실시예에서, 소스 비디오는 일정한 종횡비를 갖는 처리될 비디오로 이해할 수 있다, 설명의 편의를 위해, 소스 비디오의 종횡비를 제1 종횡비로 지칭한다.

본 발명의 실시예에서, 복수의 비디오 프레임은 제1 종횡비를 갖는 소스 비디오로부터 추출되어, 후속 클리핑 처리를 위한 이미지로 변환된다. 여기서, 소스 비디오로부터 복수의 비디오 프레임을 추출할 때, 비디오 프레임으로부터 모든 소스 비디오를 추출할 수 있고, 동일한 간격으로 비디오 프레임을 드문드문 추출할 수도 있다.

본 발명의 실시예에서, 복수의 추출된 비디오 프레임의 개수를 N으로 기록하고, N은 양의 정수이다.

단계 S12에 있어서, 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성한다.

본 발명의 실시예에서, 전체 비디오 프레임 상에서, 슬라이딩 윈도우 방식으로, 고정된 스텝 크기로 목표 종횡비를 갖는 직사각형 박스를 생성하여, 후보 클리핑 박스로 사용한다. 여기서, 설명의 편의를 위해, 목표 종횡비를 제2 종횡비로 지칭한다.

본 발명의 실시예에서, 각 비디오 프레임에 대해 복수의 클리핑을 수행한 후 생성된 복수의 후보 클리핑 박스의 개수를 M으로 기록한다. 여기서, M은 양의 정수이다.

여기서, 본 발명의 실시예에서, 후보 클리핑 박스의 개수는 실제 요구에 따라 설정할 수 있다. 여기서, 후보 클리핑 박스의 개수를 줄이고, 대량의 내용이 클리핑되어 손실되는 것을 방지하기 위해, 슬라이딩 윈도우의 크기는 설정된 임계값보다 크거나 같도록 제한될 수 있다.

단계 S13에 있어서, 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하고, 점수는 각 후보 클리핑 박스가 클리핑 범위로서 취해질 때의 비디오 프레임의 재생 효과를 나타낸다.

본 발명의 실시예에서, 내용 민감 영역을 결정하기 위해, 각 후보 클리핑 박스로 클리핑 범위로서 취해질 때의 재생 효과에 대해 점수를 매길 수 있다. 높은 점수 또는 낮은 점수는 각 후보 클리핑 박스가 클리핑 범위로 취해질 때의 비디오 프레임의 재생 효과를 나타낼 수 있다.

본 발명의 실시예의 하나의 실시형태에 있어서, 각 비디오 프레임에 클리핑 박스가 있도록 각 비디오 프레임에서의 모든 후보 클리핑 박스의 점수에 대해 조정을 수행할 수 있다. 일 예에서, 본 발명의 실시예는 소프트맥스(softmax) 함수를 사용할 수 있고, 각 비디오 프레임에서의 모든 후보 클리핑 박스의 점수의 합을 1로 조정하여, 각 후보 클리핑 박스의 가중 점수를 통해 각 후보 클리핑 박스를 클리핑 범위로 취해질 때의 비디오 프레임의 재생 효과를 나타낼 수 있다.

본 발명의 실시예에서, n 번째 프레임의 m 번째 후보 클리핑 박스의 점수를

로 기록할 수 있다. 여기서, n은 1보다 크거나 같고, N보다 작거나 같은 양의 정수이다. m은 1보다 크거나 같고, M보다 작거나 같은 양의 정수이다.

단계 S14에 있어서, 점수에 기반하여 복수의 후보 클리핑 박스로부터 각 비디오 프레임의 클리핑 박스를 선택한다.

단계 S15에 있어서, 선택된 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 제2 종횡비를 갖는 목표 비디오를 생성한다.

본 발명의 실시예에서, 제1 종횡비를 갖는 소스 비디오로부터 추출된 복수의 비디오 프레임 중 각 비디오 프레임을 통해 복수의 클리핑을 수행하여 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하며, 후보 클리핑 박스의 재생 효과의 점수에 기반하여 클리핑 박스를 선택하며, 마지막으로 클리핑 박스를 사용하여 비디오 프레임을 클리핑하여 상기 제2 종횡비를 갖는 목표 비디오를 생성함으로써, 소스 비디오가 목표 종횡비에 따라 출력될 수 있어, 출력 내용의 재생 효과를 보장할 수 있다.

본 발명의 다음의 실시예에서, 실제 응용과 결합하여 상기 실시예와 관련되는 비디오 처리 과정에 대해 설명한다.

본 발명의 실시예에서, 먼저 후보 클리핑 박스를 점수를 매기는 과정에 대해 설명한다.

본 발명의 실시예에서, 소스 비디오로부터 추출된 N개의 비디오 프레임에 대해, 프레임 단위로 후보 클리핑 박스의 점수를 결정할 필요가 있다.

하나의 실시형태에 있어서, 후보 클리핑 박스의 점수를 결정할 때, 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점을 수행하여, 후보 클리핑 박스의 점수를 획득할 수 있다. 본 발명의 실시예에서, 미학적 채점의 구체적인 실시과정에 대해 한정하지 않으며, 기존의 이미지 미학적 클리핑 방법 또는 이미지 미학적 채점 방법을 사용하여 각 프레임에서의 M 개의 모든 후보 클리핑 박스에 대해 미학적 채점을 수행한다. 다음 softmax 함수를 사용하여, 각 비디오 프레임에서의 모든 후보 클리핑 박스의 점수의 합을 1로 조정하여, 각 프레임에서의 모든 M 개의 후보 클리핑 박스의 점수를 획득할 수 있다. 예를 들어, n 번째 프레임의 m 번째 후보 클리핑 박스의 점수

을 획득한다.

다른 실시형태에 있어서, 후보 클리핑 박스의 점수를 결정할 때, 명확한 목표 검출 방식 점수에 기반하여 점수를 매길 수도 있다. 여기서, 본 발명의 실시예에서 각 프레임에서의 M 개의 모든 후보 클리핑 박스 중 각 후보 클리핑 박스에 대해, 다음과 같은 방식으로 점수를 각각 결정한다. 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 수행하고, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정한다. 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 후보 클리핑 박스의 점수를 결정한다.

본 발명의 실시예에서, 각 비디오 프레임의 후보 클리핑 박스로부터 선택된 클리핑 박스에 기반하여, 비디오를 재생하는 동안 프레임 간의 떨림 문제가 발생할 수 있다. 본 발명의 실시예에서, 점수에 기반하여 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택할 때 인접한 각 프레임 간의 떨림에 대해 평활화 제어를 수행한다.

본 발명의 실시예의 하나의 실시형태에 있어서, 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 과정을 분류 과정으로 간주하고, 선형 체인 조건부 랜덤 필드(Linear chain Conditional Random Fields, linear-CRF）모델은 인접한 각 프레임 간의 떨림을 제거하기 위해 사용된다.

도 2는 일 예시적 실시예에 따라 도시된 점수에 기반하여 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하여 프레임 간의 평활화 제어를 구현하는 흐름 모식도이다. 도 2를 참조하면, 인접한 각 프레임 간의 떨림에 대해 평활화 제어를 수행하는 단계는 다음의 단계를 포함할 수 있다.

단계 S141에 있어서, 복수의 비디오 프레임에서의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성한다.

본 발명의 실시예에서 구성된 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 인접한 각 프레임 간의 떨림에 대해 평활화 제어를 수행하기 위한 것이다.

본 발명의 실시예에서, 후보 클리핑 박스 간의 위치 크기의 차이에 따라 상태 변경 행렬을 설정하여, 상태 변경 행렬은

으로 나타낸다.

하나의 실시형태에 있어서, 두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합(Intersection over Union, IoU）및 계수 승수에 기반하여, 상태 전이 행렬을 구성할 수 있다.

두 개의 클리핑 박스 사이의 교집합 대 합집합을 기반으로 하면, 구체적인 계산 공식은 다음과 같다.

여기서, 상태 전이 행렬

에서 i번째 행 및 j번째 열의 값을 나타내며;

는 i번째 후보 클리핑 박스를 나타내고,

는 i번째 후보 클리핑 박스와 j번째 후보 클리핑 박스 사이의 IoU의 계산을 나타내며;

는 계수 승수이며 평활도를 제어하기 위한 것이며, 크기를 조정함으로써 평활도를 제어할 수 있다.

다른 실시형태에 있어서, 본 발명의 실시예에서 두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성할 수 있으며, 상기 계수 승수는 평활도를 제어하기 위한 것이다.

예를 들어, 본 발명의 실시예에서 클리핑 박스의 크기 및 중심 위치를 동시에 고려한 후, 다음과 같은 공식을 사용하여 상태 전이 행렬을 결정할 수 있다.

여기서,

는 i번째 후보 클리핑 박스의 중심 좌표를 나타내고;

는 i 번째 후보 클리핑 박스의 면적을 나타내며;

함수는 두 개의 클리핑 박스 중심 좌표의 차이를 계산하기 위한 것이고, 여기서, 유클리드 거리에 의해 직접 계산할 수 있으며;

는 중심점 위치 및 면적의 차이의 영향의 크기의 균형을 맞추기 위한 것이고, 면적 변화 및 중심점 위치 변경의 영향 크기는

를 조정하여 균형을 맞출수 있으며;

는 계수 승수이며 평활도를 제어하는데 사용되며,

의 크기를 통해 평활도의 제어를 구현할 수 있다.

단계 S142에 있어서, 최대 목표 함수에 기반하여, 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하고, 클리핑 박스 시퀸스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함한다.

하나의 실시형태에 있어서, 본 발명의 실시예는 비터비 알고리즘을 사용하여 다음과 같은 최대 목표 함수를 계산하여, 프레임 간 떨림이 없는 클리핑 박스 시퀸스

를 획득한다.

여기서,

는 i 번째 프레임에서 선택된 후보 클리핑 박스 시퀀스를 나타낸다.

는 n 번째 프레임에서 선택된 y 번째 후보 클리핑 박스의 점수를 나타낸다.

은 n 번째 프레임에서 선택된 y 번째 후보 클리핑 박스와 n-1 번째 프레임에서 선택된 y 번째 후보 클리핑 박스에 대응하는 상태 전이 행렬값을 나타낸다.

본 발명의 실시예에서, 상기 떨림 방지 평활화 처리 후, 각 클리핑 박스의 프레임 사이에 떨림이 없다. 일반적으로, 일정 기간 내 후보 클리핑 박스의 위치와 크기는 변하지 않지만, 후보 클리핑 박스는 갑자기 다른 후보 클리핑 박스로 점프하여 일정 기간 동안 유지한다. 클리핑 박스의 이러한 점프는 최종 출력된 비디오 내용의 점프 및 비 일관성을 야기할 수도 있다. 따라서 이러한 클리핑 박스의 변화에 대해 클리핑 박스의 이동 및 스케일링의 평활화를 포함한, 평활화 처리를 수행하여, 클리핑 박스의 위치 조정을 수행할 필요가 있다.

도 3은 일 예시적 실시예에 따라 도시된 클리핑 박스의 위치 조정 방법의 흐름도이다. 도 3에 도시된 바와 같이, 클리핑 박스의 위치 조정 방법은 다음의 단계를 포함한다.

단계 S21에 있어서, 소스 비디오는 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할된다.

본 발명의 실시예에서, 클리핑 박스 위치와 크기가 변하지 않는 각 비디오 세그먼트를 결정할 수 있고, 복수의 비디오 세그먼트의 총 수는 K이며, 여기서 K는 1보다 큰 양의 정수이다.

단계 S22에 있어서, 두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 두 개의 인접한 비디오 세그먼트에서 이동하려는 거리를 결정한다.

본 발명의 실시예에서, k 번째 단락 비디오의 지속 시간이

이면, 중간 시점은

이다. 여기서,

이다. 벡터

은

번째 단락의 비디오의 클리핑 박스를 나타내며, 여기서

는 각각 상기 클리핑 박스의 왼쪽 상단 꼭지점의 수평 및 수직 좌표이고,

는 각각 상기 클리핑 박스의 오른쪽 하단 꼭지점의 수평 및 수직 좌표이다.

클리핑 박스의 이동 속도를 결정할 때, 다음의 공식을 사용하여 클리핑 박스가 k 번째 단락에서 k+1 번째 단락으로 이동하는 속도를 계산할 수 있다.

여기서, 클리핑 박스의 감산은 각각 네 좌표의 감산을 지칭한다. 계산된 속도

에서 각각의 값은 특정 축을 따은 각 좌표의 이동 속도에 대응하고, 즉

는 각각 왼쪽 상단 모서리 꼭지점 및 오른쪽 하단 모서리 꼭지점이 x 축을 따라 이동하는 속도이며,

는 각각 왼쪽 상단 모서리 꼭지점 및 오른쪽 하단 모서리 꼭지점이 y축을 따라 이동하는 속도이다.

단계 S23에 있어서, 클리핑 박스가 인접한 두개의 비디오 세그먼트에서 이동하는 속도 및 재생 시간에 기반하여, 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정한다.

본 발명의 실시예에서, 제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지한다.

일 때, k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트의 경우, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고, k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동시키고, 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 여기서, 상기 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이다.

k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지한다.

본 발명의 실시예에서, 임의의 시각 t에 대해, 다음의 공식을 사용하여 상기 시각의 클리핑 박스의 위치(B_t)를 계산할 수 있다.

여기서,

(즉 첫 번째 단락 비디오의 전반 단락)이면,

이다.

(즉 마지막 단락 비디오의 후반 단락)이면,

이다.

인 경우,

이고,

이다.

본 발명의 실시예에서, 소스 비디오에서의 각 비디오 프레임에 대해 상기 방식으로 클리핑하여 클리핑 박스를 생성하며, 여기서, 클리핑에 의해 생성된 클리핑 박스는 동일한 종횡비를 갖는다. 동일한 종횡비를 갖는 클리핑 박스를 동일한 해상도를 갖도록 스케일링한 후 비디오로 재결합되면, 목표 비디오를 획득하여 출력을 수행할 수 있으므로, 소스 비디오는 목표 종횡비에 따라 출력되며, 출력 내용의 재생 효과를 보장할 수 있다.

동일한 개념에 기반하여, 본 발명의 실시예는 비디오 처리 장치를 추가로 제공한다.

이해할 수 있는 것은, 본 발명의 실시예에 제공된 비디오 처리 장치는 상기 기능을 구현하기 위해, 각 기능을 실행하는 상응하는 하드웨어 구조 및/또는 소프트웨어 모듈을 포함한다. 본 발명의 실시예에서 개시된 각 예의 유닛 및 알고리즘 단계와 결합하여, 본 발명에서 하드웨어 또는 하드웨어와 컴퓨터 소프프웨어의 결합의 형태로 구현될 수 있다. 어느 한 기능이 하드웨어에 의해 실행될지, 컴퓨터 소프트웨어가 하드웨어를 구동하는 방식으로 실행될지는 기술방안의 특정 응용 및 설계 한정 조건에 따라 결정된다. 당업자는 각 특정된 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 발명의 실시예의 기술방안의 범위를 벗어나는 것으로 간주되어서는 안된다.

도 4는 일 예시적 실시예에 따라 도시된 비디오 처리 장치의 블록도이다. 도 4를 참조하면, 비디오 처리 장치(100)는 추출 유닛(101), 클리핑 유닛(102), 점수 유닛(103), 선택 유닛(104) 및 생성 유닛(105)을 포함한다.

추출 유닛(101)은, 제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하기 위한 것이다. 클리핑 유닛(102)은, 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하기 위한 것이다. 점수 유닛(103)은, 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하고, 점수는 각 후보 클리핑 박스를 클리핑 범위로 취할 때의 비디오 프레임의 재생 효과를 나타내기 위한 것이다. 선택 유닛(104)은, 점수에 기반하여 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하기 위한 것이다. 생성 유닛(105)은, 선택된 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 제2 종횡비를 갖는 목표 비디오를 생성하기 위한 것이다.

하나의 실시형태에 있어서, 점수 유닛(103)은 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점를 수행하여, 후보 클리핑 박스의 점수를 획득한다.

다른 실시형태에 있어서, 점수 유닛(103)은 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 수행하며, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정하기 위한 것이다. 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 후보 클리핑 박스의 점수를 결정한다.

또 다른 실시형태에 있어서, 선택 유닛(104)은 다음과 같은 방식으로 점수에 기반하여 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택한다.

복수의 비디오 프레임 내의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하고, 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 각 인접 프레임 사이에서의 떨림에 대해 평활화 제어를 수행하기 위한 것이다. 최대 목표 함수에 기반하여, 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하고, 클리핑 박스 시퀸스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함한다.

또 다른 실시형태에 있어서, 선택 유닛(104)은 두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하고, 계수 승수는 평활도를 제어한다.

또 다른 실시형태에 있어서, 선택 유닛(104)은 두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하고, 계수 승수는 평활도를 제어하기 위한 것이다.

또 다른 실시형태에 있어서, 비디오 처리 장치(100)는 조정 유닛(106)을 더 포함하고, 조정 유닛(106)은, 선택 유닛(104)에서 각 비디오 프레임의 클리핑 박스를 선택한 후, 소스 비디오는 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할된다. 두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 두 개의 인접한 비디오 스그먼트에서 이동하려는 거리를 결정한다. 속도 및 재생 시간에 기반하여, 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정한다.

또 다른 실시형태에 있어서, 복수의 비디오 세그먼트의 총 수는 K이고, 여기서 K는 1보다 큰 양의 정수이다.

조정 유닛(106)은 다음과 같은 방식으로 속도 및 재생 시간에 기반하여, 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정한다.

제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지한다. k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고, k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동하고, 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 여기서, 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 상기 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이며, k는 조건 1＜k＜K-1을 만족하는 양의 정수이다. k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지한다.

상기 실시예의 장치와 관련하여, 그 중의 각 모듈이 동작을 실행하는 구체적인 방식은 상기 방법의 실시예에서 상세히 설명되었고, 여기서 상세한 설명은 하지 않는다.

도 5는 일 예시적 실시예에 따라 도시된 비디오 처리를 위한 장치(200)의 블록도이다. 예를 들어, 장치(200)는 휴대폰, 컴퓨터, 디지털 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말기 등일 수 있다.

도 5를 참조하면, 장치(200)는 처리 컴포넌트(202), 메모리(204), 전력 컴포넌트(206), 멀티미디어 컴포넌트(208), 오디오 컴포넌트(210), 입력/출력(I/O) 인터페이스(212), 센서 컴포넌트(214) 및 통신 컴포넌트(216) 중 하나 또는 복수의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(202)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(200)의 전체적인 동작을 제어한다. 처리 컴포넌트(202)는 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수의 프로세서(220)를 포함할 수 있다. 또한, 처리 컴포넌트(202)는 처리 컴포넌트(202) 및 다른 컴포넌트 사이의 교호를 용이하게 하기 위해, 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(202)는 멀티미디어 컴포넌트(208) 및 처리 컴포넌트(202) 사이의 인터랙션을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(204)는 전자 기기(200)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(200)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(204)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전력 컴포넌트(206)는 장치(200)의 다양한 컴포넌트에 전력을 공급한다. 전력 컴포넌트(206)는 전력 관리 시스템, 하나 또는 복수의 전력 및 장치(200)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(208)는 상기 장치(200) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시에에 있어서, 멀티미디어 컴포넌트(208)는 하나의 전방 카메라 및 하나의 후방 카메라 중 적어도 하나를 포함한다. 장치(200)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(210)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(210)는 하나의 마이크로폰(MIC)을 포함하며, 장치(200)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(204)에 추가로 저장되거나 통신 컴포넌트(216)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(210)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(212)는 처리 컴포넌트(202) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(214)는 장치(200)를 위한 다양한 방면의 상태 평가를 제공하기 위한 하나 또는 복수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(214)는 장치(200)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 장치(200)의 디스플레이와 키패드이며, 센서 컴포넌트(214)는 장치(200) 또는 장치(200)에서 하나의 컴포넌트의 위치 변화, 사용자와 장치(200) 접촉의 존재 유무, 장치(200) 방향 또는 가속/감속 및 장치(200)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(214)는 아무런 물리적 접촉이 없을 때 근처 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(214)는 또한 이미징 응용에 사용하기 위한, CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시에에 있어서, 상기 센서 컴포넌트(214)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(216)는 장치(200)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(200)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(216)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(216)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wideband, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에 있어서, 장치(200)는 하나 또는 복수의 주문형 집적 회로(ApplicationSpecificIntegratedCircuit, ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 제어기, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(200)는 상기 방법을 수행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 메모리(204)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 방법을 완료하도록 장치(200)의 프로세서(220)에 의해 수행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

이해할 수 있는 것은, 둘본 발명에서 "복수의"는 둘 이상을 의미할 수 있고, 다른 양사도 이와 비슷하다. "및/또는"은 다만 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, "A 및/또는 B"는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 문자부호 "/"은 일반적으로 전후 연관 대상이 "또는"의 관계임을 의미한다. 단수 형태인 "한 가지" 및 "상기"는 본문에서 다른 의미를 명확하게 나타내지 않는 한, 복수 형태를 포함한다.

또한 이해할 수 있는 것은, "제1", "제2"등 용어는 다양한 정보를 설명하는데 사용되고, 그러나 이 정보는 이러한 용어로 제한되지 않아야 한다. 이런 용어는 동일한 유형의 정보를 서로 구별하기 위해서만 사용되며, 특정된 순서 또는 중요도를 나타내지 않는다. 실제적으로, "제1 " 및"제2"는 서로 교환되어 사용될 수 있다. 예를 들어, 본 발명의 범위를 벋어나지 않으면서, 제1 정보는 또한 제2 정보로 지칭될 수 있으며, 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다.

또한 이해할 수 있는 것은, 본 발명의 실시예에서의 동작은 특정된 순서로 설명되지만, 그러나 이런 동작이 도시된 특정 순서 또는 일련의 순서에 따라 실행될 것을 요구하거나, 또는 원하는 결과를 실행하기 위해 도시된 도든 동작을 요구하는 것으로 해석되어서는 안된다, 특정 환경에서, 멀티 태스킹 및 병렬 처리는 유리할 수 있다.

본 기술분야의 기술자는 명세서를 고려하고 본문에 개시된 발명을 실천한 후, 본 개시의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 출원은 본 개시의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 개시의 일반적인 원리에 따르며, 본 개시에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 개시의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 개시는 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims (18)

1. 비디오 처리 방법으로서,
   제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하는 단계;
   상기 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하는 단계;
   상기 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하고 - 상기 점수는 상기 비디오 프레임이 각 후보 클리핑 박스를 클리핑 범위로 할 경우의 재생 효과를 나타냄 - , 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 단계; 및
   선택된 상기 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 상기 제2 종횡비를 갖는 목표 비디오를 생성하는 단계를 포함하고;
   상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하는 단계는,
   상기 복수의 비디오 프레임 내의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 각 인접 프레임 사이에서의 떨림에 대해 평활화 제어를 수행함 - ; 및
   최대 목표 함수에 기반하여, 상기 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하는 단계 - 상기 클리핑 박스 시퀀스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함함 - 를 포함하는 것을 특징으로 하는 비디오 처리 방법.
2. 제1항에 있어서,
   상기 후보 클리핑 박스의 점수를 결정하는 단계는,
   상기 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점을 수행하여, 상기 후보 클리핑 박스의 점수를 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
3. 제1항에 있어서,
   상기 후보 클리핑 박스의 점수를 결정하는 단계는,
   상기 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 실행하며, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정하는 단계; 및
   상기 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 상기 후보 클리핑 박스의 점수를 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
4. 삭제
5. 제1항에 있어서,
   두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계는,
   두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합(IoU) 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 를 포함하는 것을 특징으로 하는 비디오 처리 방법.
6. 제1항에 있어서,
   두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 단계는,
   두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 단계 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 를 포함하는 것을 특징으로 하는 비디오 처리 방법.
7. 제1항에 있어서,
   각 비디오 프레임의 클리핑 박스를 선택한 후, 상기 비디오 처리 방법은,
   상기 소스 비디오를 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할하는 단계;
   두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 상기 두 개의 인접한 비디오 세그먼트에서 이동하는 속도를 결정하는 단계; 및
   상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
8. 제7항에 있어서,
   상기 복수의 비디오 세그먼트의 총 수는 K이고, K는 1보다 큰 양의 정수이며;
   상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하는 단계는,
   제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 단계;
   k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고, k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, 상기 k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동시키는 단계 - 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 상기 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 상기 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이며, k는 조건 1＜k＜K-1을 만족하는 양의 정수임 - ; 및
   k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
9. 비디오 처리 장치로서,
   제1 종횡비를 갖는 소스 비디오로부터 복수의 비디오 프레임을 추출하기 위한 추출 유닛;
   상기 복수의 비디오 프레임에서의 각 비디오 프레임에 대해 복수의 클리핑을 수행하여, 제2 종횡비를 갖는 복수의 후보 클리핑 박스를 생성하기 위한 클리핑 유닛;
   상기 복수의 비디오 프레임 중 각 비디오 프레임의 복수의 후보 클리핑 박스에 대해 점수를 각각 결정하기 위한 점수 유닛 - 상기 점수는 각 후보 클리핑 박스를 클리핑 범위인 경우의 재생 효과로 하는 상기 비디오 프레임을 나타냄 - ;
   상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서 각 비디오 프레임의 클리핑 박스를 선택하기 위한 선택 유닛; 및
   선택된 상기 클리핑 박스를 사용하여 각 비디오 프레임에 대해 클리핑을 수행하고, 상기 제2 종횡비를 갖는 목표 비디오를 생성하기 위한 생성 유닛을 포함하고;
   상기 선택 유닛은 상기 점수에 기반하여 상기 복수의 후보 클리핑 박스에서,
   상기 복수의 비디오 프레임 내의 각 비디오 프레임에 대해, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 상태 전이 행렬은 각 비디오 프레임에서 선택된 후보 클리핑 박스가 각 인접 프레임 사이에서의 떨림에 대해 평활화 제어를 수행함 - ; 및
   최대 목표 함수에 기반하여, 상기 상태 전이 행렬 및 각 후보 클리핑 박스의 점수를 사용하여, 최대 클리핑 박스 점수를 만족시키는 클리핑 박스 시퀸스를 결정하는 방식 - 상기 클리핑 박스 시퀀스는 각 비디오 프레임에서 선택된 후보 클리핑 박스를 포함함 - 을 사용하여, 각 비디오 프레임의 박스를 선택하기 위한 것임을 특징으로 하는 비디오 처리 장치.
10. 제9항에 있어서,
    상기 점수 유닛은,
    상기 후보 클리핑 박스 내의 이미지 내용에 대해 미학적 채점을 수행하여, 상기 후보 클리핑 박스의 점수를 획득하는 방식을 사용하여, 상기 후보 클리핑 박스의 점수를 결정하기 위한 것임을 특징으로 하는 비디오 처리 장치.
11. 제9항에 있어서,
    상기 점수 유닛은,
    상기 후보 클리핑 박스에서의 각 픽셀에 대해 명확한 목표 검출을 실행하며, 명확한 목표 검출 결과에 기반하여 각 픽셀의 픽셀 점수를 결정하고;
    상기 후보 클리핑 박스에서 각 픽셀의 픽셀 점수에 따라, 상기 후보 클리핑 박스의 점수를 결정하는 방식을 사용하여, 상기 후보 클리핑 박스의 점수를 결정하기 위한 것임을 특징으로 하는 비디오 처리 장치.
12. 삭제
13. 제9항에 있어서,
    상기 선택 유닛은,
    두 개의 후보 클리핑 박스 사이마다의 교집합 대 합집합 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 을 사용하여, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하기 위한 것임을 특징으로 하는 비디오 처리 장치.
14. 제9항에 있어서,
    상기 선택 유닛은,
    두 개의 인접한 후보 클리핑 박스의 중심 위치 사이마다의 유클리드 거리, 후보 클리핑 박스의 면적, 및 계수 승수에 기반하여, 상태 전이 행렬을 구성하는 방식 - 상기 계수 승수는 평활도를 제어하기 위한 것임 - 을 사용하여, 두 개의 후보 클리핑 박스 사이마다의 위치에 기반하여, 상태 전이 행렬을 구성하기 위한 것임을 특징으로 하는 비디오 처리 장치.
15. 제9항에 있어서,
    상기 장치는 조정 유닛을 더 포함하고, 상기 조정 유닛은,
    상기 선택 유닛이 각 비디오 프레임의 클리핑 박스를 선택한 후, 상기 소스 비디오를 인접한 각 프레임 사이에서 선택된 클리핑 박스 위치와 크기가 변하지 않는 복수의 비디오 세그먼트로 분할하고;
    두 개의 인접한 비디오 세그먼트의 중간 시점 및 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스 사이의 거리에 기반하여, 클리핑 박스가 상기 두 개의 인접한 비디오 세그먼트에서 이동하는 속도를 결정하며;
    상기 속도 및 재생 시간에 기반하여, 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하기 위한 것임을 특징으로 하는 비디오 처리 장치.
16. 제15항에 있어서,
    상기 복수의 비디오 세그먼트의 총 수는 K이고, K는 1보다 큰 양의 정수이며;
    상기 조정 유닛은,
    제1 비디오 세그먼트에 대해, 재생 시간이 제1 비디오 세그먼트의 중간 시점보다 짧으면, 제1 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 방식;
    k 번째 비디오 세그먼트 및 k+1 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길거나 같고 k+1 번째 비디오 세그먼트의 중간 시점보다 짧으면, 상기 k 번째 비디오 세그먼트에서의 클리핑 박스를 조정하여 제1 거리를 이동시키는 방식 - 상기 제1 거리는 제1 속도와 제1 시간의 곱이며, 상기 제1 속도는 클리핑 박스가 k 번째 비디오 세그먼트에서 k+1 번째 비디오 세그먼트로 이동하는 속도이고, 상기 제1 시간은 현재 시간 및 k 번째 비디오 세그먼트의 중간 시점 사이의 차이이며, k는 조건 1＜k＜K-1을 만족하는 양의 정수임 - ; 및
    k 번째 비디오 세그먼트에 대해, 재생 시간이 k 번째 비디오 세그먼트의 중간 시점보다 길면, k 번째 비디오 세그먼트에서의 클리핑 박스의 위치를 변경하지 않고 유지하는 방식을 사용하여, 상기 속도 및 재생 시간에 기반하여 상기 두 개의 인접한 비디오 세그먼트에서의 클리핑 박스의 위치를 조정하기 위한 것임을 특징으로 하는 비디오 처리 장치.
17. 비디오 처리 장치로서,
    프로세서; 및
    프로세서에서 실행 가능한 명령어를 포함하기 위한 메모리를 포함하며;
    상기 프로세서는 제1항 내지 제3항, 제5항 내지 제8항 중 어느 한 항에 따른 비디오 처리 방법을 실행하도록 구성된 것을 특징으로 하는 비디오 처리 장치.
18. 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 저장 매체의 명령어가 이동 단말의 프로세서에 의해 실행될 때, 이동 단말로 하여금 제1항 내지 제3항, 제5항 내지 제8항 중 어느 한 항에 따른 비디오 처리 방법을 실행할 수 있도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
    

Images