KR102508080B1

KR102508080B1 - 비디오 처리 방법, 장치 및 저장 매체

Info

Publication number: KR102508080B1
Application number: KR1020200167930A
Authority: KR
Inventors: 빙린 창
Original assignee: 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드
Priority date: 2020-04-27
Filing date: 2020-12-04
Publication date: 2023-03-09
Also published as: EP3905203A1; KR20210133112A; EP3905203B1; JP6990282B2; CN111601033A; JP2021175174A; US20210337136A1; US11368632B2

Abstract

본 발명은 단말에 적용되는 비디오 처리 방법, 장치 및 저장 매체에 관한 것이다. 상기 비디오 처리 방법은, 제1 비디오 세그먼트에서의 목표 대상을 인식하는 단계; 제2 비디오 세그먼트의 현재 비디오 프레임을 획득하는 단계; 상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하는 단계 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및 상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하는 단계를 포함한다. 따라서, 목표 대상 아바타 특수 효과의 스티칭 비디오를 빠르게 획득하여, 사용자가 복잡한 후기 편집을 수동으로 수행할 필요가 없으므로, 처리 효율이 높아진다.

Description

비디오 처리 방법, 장치 및 저장 매체{VIDEO PROCESSING METHOD, APPARATUS AND STORAGE MEDIA}

관련 출원의 상호 참조

본 출원은 출원 번호가 CN2020103458303이고, 출원일이 2020년 4월 27일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

기술분야

본 발명은 컴퓨터 기술분야에 관한 것이며, 특히 비디오 처리 방법, 장치 및 저장 매체에 관한 것이다.

비디오의 아바타 특수 효과는 흔히 볼 수 있는 비디오 특수 효과 기술이고, 비디오의 동일한 장면에서(즉, 비디오의 한 프레임 이미지에서) 동시에 복수 개의 동일한 대상(예를 들어, 사람, 물체)을 나타내는 것으로 표현된다. 예를 들어, 인물 A의 아바타 특수 효과에 대해 비디오의 동일한 장면에서 복수 개의 인물 A를 나타내는 것으로 표현될 수 있으며, 여기서, 각 인물 A의 동작은 동일하거나 상이할 수 있다. 아바타 특수 효과를 갖는 비디오를 획득할 필요가 있는 경우, 일반적으로 여러 세그먼트의 원본 비디오를 먼저 소재로 촬영하고, 다음, 전문가는 후기 비디오 편집 도구를 사용하여 촬영된 소재에 대해 스티칭을 수행하고, 마지막으로, 동일한 비디오의 장면에 동시에 나타나는 동일한 대상의 여러 아바타를 얻는다. 상기 방식에서, 먼저 소재를 촬영한 다음 후기 제작이 필요하므로, 제작 주기가 길고, 촬영할 때 적시에 피드백을 얻을 수 없으며, 또한, 촬영 소재는 사전 계획(예를 들어, 장면 선택, 촬영 위치 결정 등)이 필요하고, 준비 과정이 번거로우며, 후처리는 전문 지식을 구비한 전문가가 수행해야 하므로, 높은 전문 지식이 필요하고 어렵다.

관련 기술의 문제점을 극복하기 위해, 본 발명은 비디오 처리 방법, 장치 및 저장 매체를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 단말에 적용되는 비디오 처리 방법을 제공하고, 상기 비디오 처리 방법은,

제1 비디오 세그먼트에서의 목표 대상을 인식하는 단계;

제2 비디오 세그먼트의 현재 비디오 프레임을 획득하는 단계;

상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하는 단계 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하는 단계를 포함한다.

선택적으로, 상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 얻는 단계는,

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 이미지 스티칭 알고리즘을 사용하여 이미지 스티칭 경계를 결정하는 단계;

상기 이미지 스티칭 경계에 따라, 상기 제1 목표 비디오 프레임으로부터 상기 제1 이미지 영역을 포함하는 제1 부분 이미지를 획득하고, 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임으로부터 상기 제2 이미지 영역을 포함하는 제2 부분 이미지를 획득하는 단계; 및

상기 제1 부분 이미지 및 상기 제2 부분 이미지를 스티칭하여 상기 제1 비디오 프레임을 얻는 단계를 포함한다.

선택적으로, 상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 상기 비디오 처리 방법은,

상기 제1 비디오 세그먼트에서의 목표 프레임을 기준 프레임으로 사용하는 단계;

상기 제1 목표 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계; 및

상기 제2 비디오 세그먼트의 현재 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계 중 적어도 하나를 더 포함한다.

선택적으로, 상기 화면 정렬 처리를 수행하는 단계는,

상기 기준 프레임 및 지정된 비디오 프레임의 배경 특징 포인트에서, 배경 특징이 동일한 목표 배경 특징 포인트를 획득하는 단계 - 상기 지정된 비디오 프레임은 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 어느 하나임 -; 및

상기 목표 배경 특징 포인트에 따라, 상기 지정된 비디오 프레임을 상기 기준 프레임과 정렬하는 단계를 포함한다.

선택적으로, 상기 비디오 처리 방법은,

이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득하는 단계;

상기 비디오 스트림의 현재 비디오 프레임에 대해, 상기 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득하는 단계 - 상기 제2 목표 비디오 프레임은 상기 제1 비디오 세그먼트에서 상기 비디오 스트림의 상기 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임임 -;

상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻는 단계; 및

비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이하는 단계를 더 포함한다.

선택적으로, 상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하는 단계는,

상기 제3 이미지 영역이 상기 제2 목표 비디오 프레임에서의 위치에 따라, 상기 제3 이미지 영역이 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 추가 위치를 결정하는 단계; 및

상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 상기 추가 위치에 추가하는 단계를 포함한다.

선택적으로, 상기 제3 이미지 영역이 상기 제2 목표 비디오 프레임에서의 위치에 따라, 상기 제3 이미지 영역이 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 추가 위치를 결정하는 단계는,

상기 제2 목표 비디오 프레임의 배경 특징 포인트로부터, 상기 제3 이미지 영역 주변의 기설정된 범위의 제1 배경 특징 포인트를 획득하는 단계;

상기 비디오 스트림의 상기 현재 비디오 프레임의 배경 특징 포인트로부터, 상기 제1 배경 특징 포인트의 배경 특징과 동일한 제2 배경 특징 포인트를 결정하는 단계; 및

상기 제2 배경 특징 포인트가 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 위치에 따라, 상기 추가 위치를 결정하는 단계를 포함한다.

상기 제1 비디오 세그먼트와 상기 제2 비디오 세그먼트의 지속 시간이 상이한 경우, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에 대해 지속 시간 정렬 처리를 수행하는 단계를 더 포함한다.

선택적으로, 상기 지속 시간 정렬 처리를 수행하는 단계는,

상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트를 기준으로 하여, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간을 동일하게 하기 위해, 비디오 세그먼트에서의 지속 시간이 더 긴 부분의 비디오 프레임을 삭제하는 단계; 및

상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트에서 기존 비디오 프레임에 따라, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간이 동일하도록, 상기 지속 시간이 짧은 비디오 세그먼트의 비디오 프레임을 추가하는 단계 중 임의의 하나를 포함한다.

본 발명의 실시예의 제2 측면에 따르면, 단말에 적용되는 비디오 처리 장치를 제공하고, 상기 비디오 처리 장치는,

제1 비디오 세그먼트에서의 목표 대상을 인식하도록 구성된 인식 모듈;

제2 비디오 세그먼트의 현재 비디오 프레임을 획득하도록 구성된 제1 획득 모듈;

상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하도록 구성된 제2 획득 모듈 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하도록 구성된 스티칭 모듈을 포함한다.

본 발명의 실시예의 제3 측면에 따르면, 비디오 처리 장치를 제공하며,

프로세서; 및

프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;

여기서, 상기 프로세서는,

제1 비디오 세그먼트에서의 목표 대상을 인식하고;

제2 비디오 세그먼트의 현재 비디오 프레임을 획득하며;

상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하고 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -;

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하도록 구성된다.

본 발명의 실시예의 제4 측면에 따르면, 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 프로그램이 프로세서에 의해 실행될 때 상기 제1 측면에 제공된 비디오 처리 방법의 단계를 구현한다.

상기 기술방안을 통해, 제1 비디오 세그먼트에서의 목표 대상을 인식하여, 제2 비디오 세그먼트의 현재 비디오 프레임을 획득한 후, 목표 대상이 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득한 후, 제1 이미지 영역 및 제2 이미지 영역에 따라, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 얻는다. 여기서, 제1 목표 비디오 프레임은 제2 비디오 세그먼트의 현재 비디오 프레임의 비디오 프레임 타이밍에 대응된다. 이러한 방식으로, 기존의 두 개의 비디오에 기반하여, 이 두 개의 비디오의 타이밍에 대응하는 두 개의 비디오 프레임에 대해, 하나의 비디오 프레임에서 목표 대상을 가진 화면 부분과 다른 비디오 프레임에서 목표 대상을 가진 화면 부분을 스티칭하여, 처리된 제1 비디오 프레임을 얻을 수 있음으로써, 이러한 제1 비디오 프레임에 기반하여, 후속 과정에서 아바타 특수 효과를 가진 스티칭 비디오를 신속히 얻어, 사용자가 복잡한 후기 편집을 수동으로 수행할 필요가 없으므로, 처리 효율이 높아진다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하고, 본 발명과 일치하는 실시예를 예시하고, 본 명세서와 함께 본 발명의 원리를 설명하기 위해 사용된다.
도 1은 본 발명의 실시형태에 따라 제공된 비디오 처리 방법의 흐름도이다.
도 2는 본 발명에 따라 제공된 비디오 처리 방법에서, 목표 대상을 인식하는 예시적 결과이다.
도 3은 본 발명에 따라 제공된 비디오 처리 방법에서, 제1 이미지 영역 및 제2 이미지 영역에 따라, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하는 단계의 예시적인 흐름도이다.
도 4는 본 발명의 다른 하나의 실시형태에 따라 제공된 비디오 처리 방법의 흐름도이다.
도 5a ~ 도 5c는 본 발명에 따라 제공된 비디오 처리 방법의 실시 과정에서 단말의 예시적인 인터페이스 예시도이다.
도 6은 본 발명의 실시형태에 따라 제공된 비디오 처리 장치의 블록도이다.
도 7은 예시적인 실시예에 따라 도시된 비디오 처리 장치의 블록도이다.

아래에 예시적 실시예에 대해 상세히 설명할 것이며, 그 예는 도면에 도시되어 있다. 이하의 설명은 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 발명과 일치한 모든 실시형태를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구범위에 상세히 서술된 바와 같이 본 개시의 일부 측면과 일치한 장치 및 방법의 예일 뿐이다.

도 1은 본 발명의 실시형태에 따라 제공된 비디오 처리 방법의 흐름도이다. 상기 비디오 처리 방법은 단말에 적용될 수 있으며, 여기서, 단말은 휴대폰, 컴퓨터, 메시징 장치, 태블릿 장치, 개인 휴대용 단말기 등 일 수 있다. 도 1에 도시된 바와 같이, 상기 비디오 처리 방법은 다음의 단계를 포함할 수 있다.

단계 11에 있어서, 제1 비디오 세그먼트에서의 목표 대상을 인식한다.

단계 12에 있어서, 제2 비디오 세그먼트의 현재 비디오 프레임을 획득한다.

단계 13에 있어서, 목표 대상이 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득한다.

단계 14에 있어서, 제1 이미지 영역 및 제2 이미지 영역에 따라, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 얻는다.

상기 방안을 채택하면, 기존의 두 개의 비디오에 기반하여, 이 두 개의 비디오의 타이밍에 대응하는 두 개의 비디오 프레임에 대해, 하나의 비디오 프레임에서 목표 대상을 가진 화면 부분과 다른 비디오 프레임에서 목표 대상을 가진 화면 부분을 스티칭하여, 처리된 제1 비디오 프레임을 얻을 수 있음으로써, 이러한 제1 비디오 프레임에 기반하여, 후속 과정에서 아바타 특수 효과를 가진 스티칭 비디오를 신속히 얻어, 사용자가 복잡한 후기 편집을 수동으로 수행할 필요가 없으므로, 처리 효율이 높아진다.

아래에, 상기 여러 단계의 구체적인 실시형태에 대해 각각 상세하게 설명한다.

목표 대상은 살아있는 생물(예를 들어, 사람, 동물, 식물)일 수 있고, 생명이 없는 물체(예를 들어 테이블, 컴퓨터 등)일 수도 있다. 본 발명의 목적은 목표 대상에 대해 아바타 특수 효과를 구현하며, 즉 처리된 비디오의 동일한 장면은 단말이 상이한 타이밍에 촬영된 적어도 두 개의 상기 목표 대상을 포함한다.

제1 비디오 세그먼트는 단말에 의해 촬영된 목표 대상을 가진 하나의 비디오이다. 실제 응용 장면에서, 목표 대상에 대해, 단말을 통해 목표 대상을 촬영하여, 제1 비디오 세그먼트를 획득한다. 예를 들어, 인물 A의 아바타 특수 효과를 제작하려면, 인물 A는 목표 대상이고, 사용자는 단말에 대한 조작을 통해 인물 A에 대해 촬영(화면에는 인물 A 및 인물 A가 아닌 배경을 포함함)을 수행하며, 즉 촬영 완료 후 제1 비디오 세그먼트를 획득할 수 있다.

하나의 가능한 장면에서, 제1 비디오 세그먼트는 다음과 같은 방식으로 획득할 수 있다. 즉,

제1 비디오 세그먼트 촬영 명령에 응답하여, 제1 비디오 세그먼트 촬영 중지 명령을 수신될 때까지, 실시간으로 획득한 비디오 스트림을 기록하기 시작하는 방식; 및

기록된 비디오 스트림을 제1 비디오 세그먼트로 사용하는 방식이다.

여기서, 제1 비디오 세그먼트 촬영 명령은 제1 비디오 세그먼트를 시작하는 것을 지시하기 위한 것이고, 제1 비디오 세그먼트 촬영 중지 명령은 이번 촬영의 종료를 지시하는데 사용되며, 비디오 스트림은 단말(예를 들어, 단말의 뷰 파인더 박스)이 실시간으로 캡처한 비디오 프레임이므로, 제1 비디오 세그먼트는 단말이 제1 비디오 세그먼트 촬영 명령을 수신하는 것으로부터, 단말이 제1 비디오 세그먼트 촬영 중지 명령을 수신할 때까지의 시간 내에 기록된 비디오 스트림이다.

제1 비디오 세그먼트 촬영 명령 및 제1 비디오 세그먼트 촬영 중지 명령은 사용자가 단말을 조작함으로써 생성될 수 있다. 예를 들어, 단말에 제1 비디오 세그먼트를 촬영하는데 사용되는 촬영 시작 버튼(예를 들어, 물리적 버튼 또는 가상 버튼)이 설치될 수 있고, 사용자가 상기 버튼을 클릭하면, 대응하는 제1 비디오 세그먼트의 촬영 명령을 생성하고, 단말에는 제1 비디오 세그먼트를 촬영 중지하도록 지시하는 촬영 중지 버튼이 설치될 수 있으며, 사용자가 상기 버튼을 클릭하면, 대응하는 제1 비디오 세그먼트의 촬영 중지 명령을 생성하며, 여기서, 상기 촬영 시작 버튼 및 촬영 중지 버튼은 동일한 버튼일 수 있고, 상이한 버튼일 수도 있다. 다른 예를 들어, 단말에는 제1 비디오 세그먼트를 촬영하기 위한 누름 영역(예를 들어, 단말 스크린에서의 영역 또는 단말 바디에서의 영역)이 설치될 수 있고, 사용자가 상기 영역을 누르면, 제1 비디오 세그먼트의 촬영 명령이 생성되고, 사용자가 상기 영역(예를 들어, 사용자의 손가락이 상기 누름 영역에서 손을 뗌)을 더 이상 누르지 않으면, 제1 비디오 세그먼트의 촬영 중지 명령을 생성하며, 즉, 길게 누르면 촬영하고 손을 떼면 촬영 중지한다.

또는, 제1 비디오 세그먼트 촬영 중지 명령은 제1 비디오 세그먼트 촬영 명령에 기반하여 생성될 수 있다. 예를 들어, 일 촬영 지속 시간을 사전 설치하여, 제1 비디오 세그먼트의 촬영 명령이 검출될 때 타이머를 시작하고, 타이머 지속 시간이 상기 촬영 지속 시간에 도달할 때, 제1 비디오 세그먼트 촬영 중지 명령을 생성한다. 이러한 장면에서, 제1 비디오 세그먼트의 지속 시간은 사전 설치된 촬영 지속 시간과 같다.

제1 비디오 세그먼트에서의 목표 대상을 인식하는 것은, 실제로 제1 비디오 세그먼트에 포함된 비디오 프레임에서의 목표 대상을 인식하는 것이다. 하나의 가능한 실시형태에서, 단계 11은 다음의 단계를 포함한다. 즉,

제3 비디오 프레임에 따라, 목표 대상 인식 모델을 통해, 제3 비디오 프레임에서 목표 대상에 대응하는 픽셀 포인트를 결정하는 단계이다.

여기서, 제3 비디오 프레임은 제1 비디오 세그먼트에서의 일 프레임 비디오이다. 목표 대상 인식 모델은 이미지에서의 각 픽셀 포인트가 목표 대상에 속하는지 여부를 인식할 수 있다. 하나의 가능한 장면에서, 제3 비디오 프레임을 목표 대상 인식 모델에 입력한 후, 도 2에 도시된 바와 같은 출력 결과를 얻을 수 있으며, 여기서, 백색 픽셀 포인트는 목표 대상을 표시하고, 검은색 픽셀 포인트는 목표 대상이 아님을 표시한다.

예를 들어, 목표 대상 인식 모델은 다음의 단계를 통해 획득된다. 즉,

훈련 데이터를 획득하는 단계 - 각 훈련 데이터는 일 이력 이미지 및 상기 이력 이미지에서의 각 픽셀 포인트가 목표 대상에 속하는지 여부에 관한 마킹 정보를 포함함 -; 및

훈련 데이터에 따라, 이미지 분할 모델에 대한 훈련을 수행하여, 목표 대상 인식 모델을 획득하는 단계를 포함한다.

여기서, 이미지 분할 모델은 뉴럴 네트워크 모델에 속하고, 매회의 훈련에서, 일 이력 이미지를 이미지 분할 모델의 입력 데이터로 사용하며, 상기 이력 이미지에 대응하는 마킹 정보를 모델의 실제 출력으로 사용하여, 모델 내 파라미터를 조정하고, 여러 번의 훈련을 거쳐, 모델 중지 훈련 조건을 만족할 때, 획득된 모델을 목표 대상 인식 모델로 사용한다.

목표 대상에 대응하는 결정된 픽셀 포인트를 통해, 제3 비디오 프레임에서의 목표 대상의 위치를 결정할 수 있다. 또한, 이들이 목표 대상에 대응하는 픽셀 포인트에 따라, 목표 대상을 제3 비디오 프레임에서의 대응하는 이미지 영역에서 제3 비디오 프레임으로부터 있는 그대로 추출할 수 있다.

실제 응용 장면에서, 제1 비디오 세그먼트에서의 목표 대상을 인식하기 위해, 제1 비디오 세그먼트에서 각 비디오 프레임에서의 목표 대상을 인식하는 것이 필요할 수 있으며, 제1 비디오 세그먼트에서의 각 비디오 프레임을 각각 제3 비디오 프레임으로 간주하여, 상기 단계들을 수행하면 된다. 또한, 전술한 바와 같이, 제1 비디오 세그먼트에서의 목표 대상을 인식함으로써, 제1 비디오 세그먼트의 각 비디오 프레임에서의 목표 대상의 위치를 찾을 수 있을 뿐만 아니라, 또한 목표 대상이 제1 비디오 세그먼트의 각 비디오 프레임에서의 대응하는 이미지 영역을 있는 그대로 추출할 수 있다.

도 1을 참조하면, 단계 12에 있어서, 제2 비디오 세그먼트의 현재 비디오 프레임을 획득한다.

제2 비디오 세그먼트는 단말에 의해 촬영된 목표 대상을 가진 하나의 비디오이다. 본 발명의 목적은 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 목표 대상을 동일한 화면으로 대응적으로 스티칭하는 것이다. 하나의 가능한 실시형태에서, 제2 비디오 세그먼트는 다음의 단계를 통해 획득된다. 즉,

비디오 촬영 명령에 응답하여, 비디오 촬영 중지 명령을 수신할 때까지 실시간으로 획득한 비디오 스트림을 기록하기 시작하는 단계; 및

기록된 비디오 스트림을 제2 비디오 세그먼트로 사용하는 단계이다.

여기서, 비디오 촬영 명령은 제2 비디오 세그먼트의 촬영을 시작하는 것을 지시하기 위한 것이고, 비디오 촬영 중지 명령은 제2 비디오 세그먼트에 대한 촬영을 종료하는 것을 지시하기 위한 것이다. 제2 비디오 세그먼트는 단말이 비디오 촬영 명령을 수신하는 것으로부터, 단말이 비디오 촬영 중지 명령을 수신할 때까지의 시간 내에 기록된 비디오 스트림이다.

비디오 세그먼트 촬영 명령 및 비디오 촬영 중지 명령은 사용자의 단말에 대한 조작을 통해 생성될 수 있다. 예를 들어, 단말에는 제2 비디오 세그먼트를 촬영하기 위한 촬영 시작 버튼(예를 들어, 물리적 버튼 또는 가상 버튼)이 설치될 수 있고, 사용자가 상기 버튼을 클릭하면, 대응하는 비디오의 촬영 명령이 생성되고, 단말에는 제2 비디오 세그먼트를 촬영 중지하도록 지시하는 촬영 중지 버튼이 설치될 수 있고, 사용자가 상기 버튼을 클릭하면, 대응하는 비디오의 촬영 중지 명령이 생성되며, 여기서, 상기 촬영 시작 버튼 및 촬영 중지 버튼은 동일한 버튼일 수 있고, 상이한 버튼일 수도 있다. 다른 예를 들어, 단말에 제2 비디오 세그먼트를 촬영하는데 사용되는 누름 영역(예를 들어, 단말 스크린에서의 영역 또는 단말에서의 영역)을 설치할 수 있고, 사용자가 상기 영역을 누르면, 대응하는 비디오 촬영 명령이 생성되고, 사용자가 상기 영역을 누르지 않으면(예를 들어, 사용자의 손가락이 상기 누름 영역으로부터 손을 뗌), 비디오 촬영 중지 명령을 생성하며, 즉, 길게 누르면 촬영하고 손을 떼면 촬영을 중지한다.

또는, 비디오 촬영 중지 명령은 비디오 촬영 명령에 기반하여 생성될 수 있다. 예를 들어, 일 촬영 지속 시간을 사전 설치할 수 있고, 비디오 촬영 명령이 검출되면 타이머를 시작하고, 타이머 지속 시간이 상기 촬영 지속 시간에 도달할 때, 비디오 촬영 중지 명령을 생성한다. 이러한 장면에서, 제2 비디오 세그먼트의 지속 시간은 사전 설치된 촬영 지속 시간과 같다.

여기서, 제2 비디오 세그먼트에서의 각 비디오 프레임을 제2 비디오 세그먼트의 현재 비디오 프레임으로 사용할 수 있다.

단계 13에 있어서, 목표 대상이 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하며, 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득한다.

여기서, 제1 비디오 세그먼트의 제1 목표 비디오 프레임은 제2 비디오 세그먼트의 현재 비디오 프레임의 비디오 프레임 타이밍에 대응된다.

설명해야 할 것은, 여기서 언급된 타이밍 대응은 타이밍이 일치한 것이 아니라, 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 시퀸스에서 하나의 대응 관계가 존재하는 것을 의미하며, 이러한 대응 관계는 제1 비디오 세그먼트의 N 번째 프레임 비디오 프레임이 제2 비디오 세그먼트의 M 번째 프레임 비디오 프레임에 대응하는 것일 수 있고, 여기서, M 및 N은 동일할 수 있고, 상이할 수도 있다.

상기 단계 11의 설명에서 지적된 바와 같이, 제1 비디오 세그먼트에서의 목표 대상을 인식함으로써(즉, 제1 비디오 세그먼트에서의 각 비디오 프레임에서 목표 대상에 속하는 픽셀 포인트를 인식함), 제1 비디오 세그먼트의 각 비디오 프레임에서 목표 대상의 위치를 찾을 수 있으며, 목표 대상이 제1 비디오 세그먼트의 각 비디오 프레임에서의 대응하는 이미지 영역을 있는 그대로 추출할 수 있다. 따라서, 단계 11을 통해, 제1 비디오 세그먼트의 제1 목표 비디오 프레임으로부터 목표 대상을 인식할 수 있어, 목표 대상이 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득할 수 있다.

전술한 목표 대상을 인식하는 방법을 참조하면, 동일한 원리에 기반하여, 제2 비디오 세그먼트의 현재 비디오 프레임에서의 목표 대상을 인식할 수 있어, 인식 결과에 기반하여 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 위치를 찾고, 목표 대상이 제2 비디오 세그먼트 각 비디오 프레임에서의 대응하는 이미지 영역을 있는 그대로 추출할 수 있으며, 즉, 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 추출할 수 있다.

다시 말해서, 얻어진 제1 비디오 프레임은 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 목표 대상의 이미지 내용(즉, 제2 이미지 영역)을 포함하고, 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 목표 대상의 이미지 내용(즉, 제1 이미지 영역)을 포함하며, 화면의 스티칭을 거쳐 생성된 아바타 특수 효과를 가진 새로운 이미지를 얻은 것과 같다.

하나의 가능한 실시형태에서, 도 3에 도시된 바와 같이, 단계 14는 다음을 단계를 포함할 수 있다.

단계 31에 있어서, 제1 이미지 영역 및 제2 이미지 영역에 따라, 이미지 스티칭 알고리즘을 사용하여 이미지 스티칭 경계를 결정한다.

여기서, 이미지 스티칭 알고리즘은 현재 일반적으로 사용되는 이미지 스티칭 알고리즘(또는, 이미지 퓨전 알고리즘 등)을 직접 사용할 수 있다. 두 개의(또는 복수 개의)이미지에 대해, 각각의 화면에서 보유가 필요한 부분을 명확하게 한 후, 이미지 스티칭 알고리즘을 통해 각 이미지에서 스티칭 경계로 사용하기 적합한 이미지와 다른 이미지에 대해 스티칭을 수행하는 픽셀 포인트를 결정할 수 있고, 이러한 복수 개의 픽셀 포인트는 스티칭 경계를 구성할 수 있으므로, 제1 이미지 영역 및 제2 이미지 영역을 보유할 필요가 있는 것으로 확인한 후, 제1 비디오 세그먼트의 제1 목표 비디오 프레임, 제1 이미지 영역, 제2 비디오 세그먼트의 현재 비디오 프레임, 제2 이미지 영역에 따라, 이미지 스티칭 알고리즘을 통해 이미지 스티칭 경계를 직접 결정할 수 있다.

단계 32에 있어서, 이미지 스티칭 경계에 따라, 제1 목표 비디오 프레임으로부터 제1 이미지 영역을 포함하는 제1 부분 이미지를 획득하며, 제2 비디오 세그먼트의 현재 비디오 프레임으로부터 제2 이미지 영역을 포함하는 제2 부분 이미지를 획득한다.

예를 들어, 이미지 스티칭 경계를 한계로 하고, 제1 목표 비디오 프레임으로부터 제1 이미지 영역과 이미지 스티칭 경계의 동일 측에 위치한 모든 픽셀 포인트를 획득하여, 제1 부분 이미지로 사용할 수 있다. 다른 예를 들어, 제1 부분 이미지는 제1 목표 비디오 프레임과 제1 이미지 영역과 이미지 스티칭 경계의 동일한 측면에 위치한 모든 픽셀 포인트를 포함한 외에도, 이미지 스티칭 경계에 위치한 부분 또는 전부 픽셀 포인트를 더 포함한다.

예를 들어, 이미지 스티칭 경계를 한계로 하여, 제2 비디오 세그먼트의 현재 비디오 프레임으로부터 제2 이미지 영역과 이미지 스티칭 경계의 동일 측에 위치한 모든 픽셀 포인트를 획득하여, 제2 부분 이미지로 사용할 수 있다. 다른 예를 들어, 제2 부분 이미지는 제2 비디오 세그먼트의 현재 비디오 프레임에서 제2 이미지 영역과 이미지 스티칭 경계의 동일 측에 위치한 모든 픽셀 포인트를 포함한 외에도, 이미지 스티칭 경계에 위치한 부분 또는 전부 픽셀 포인트를 더 포함한다.

여기서, 제1 부분 이미지 및 제2 부분 이미지는 원본 비디오 프레임과 동일한 크기의 이미지를 구성할 수 있다.

단계 33에 있어서, 제1 부분 이미지 및 제2 부분 이미지를 제1 비디오 프레임으로 스티칭한다.

단계 32에서 획득한 제1 부분 이미지 및 제2 부분 이미지에 기반하여, 새로운 이미지를 직접 스티칭하여, 처리된 제1 비디오 프레임으로 사용할 수 있다.

실제 응용 장면에서, 사용자는 먼저 단말을 통해 첫 번째 비디오 촬영을 수행하여, 제1 비디오 세그먼트를 획득하고, 첫 번째 비디오 촬영을 완료 후, 사용자는 단말을 통해 두 번째 비디오 촬영을 계속하여 수행하여, 제2 비디오 세그먼트를 획득한다. 다음, 제1 비디오 세그먼트 및 제2 비디오 세그먼트에서 서로 대응하는 두 개의 비디오 프레임에 기반하여, 상기 단계 11 ~ 단계 14를 실행하여, 처리된 제1 비디오 프레임을 얻으며, 상기 제1 비디오 프레임은 목표 대상에 대한 아바타 특수 효과를 갖는다.

상기 기술방안을 통해, 제1 비디오 세그먼트에서의 목표 대상을 인식하여, 제2 비디오 세그먼트의 현재 비디오 프레임을 획득하며, 다음, 목표 대상이 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 목표 대상이 제2 비디오 세그먼트의 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하며, 다음, 제1 이미지 영역 및 제2 이미지 영역에 따라, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 얻는다. 여기서, 제1 목표 비디오 프레임은 제2 비디오 세그먼트의 현재 비디오 프레임의 비디오 프레임 타이밍에 대응된다. 이러한 방식으로, 기존의 두 개의 비디오에 기반하여, 이 두 개의 비디오의 타이밍에 대응하는 두 개의 비디오 프레임에 대해, 하나의 비디오 프레임에서 목표 대상을 가진 화면 부분과 다른 비디오 프레임에서 목표 대상을 가진 화면 부분을 스티칭하여, 처리된 제1 비디오 프레임을 얻을 수 있음으로써, 이러한 제1 비디오 프레임에 기반하여, 후속 과정에서 아바타 특수 효과를 가진 스티칭 비디오를 신속히 얻어, 사용자가 복잡한 후기 편집을 수동으로 수행할 필요가 없으므로, 처리 효율이 높아진다.

제1 비디오 세그먼트 및 제2 비디오 세그먼트는 촬영 각도, 촬영 위치, 촬영 기술이 완전히 일치하지 않기 때문에, 제1 비디오 세그먼트에서의 비디오 프레임과 제2 비디오 세그먼트의 비디오 프레임 사이의 화면에서의 위치 변환을 초래한다. 여기서, 관련된 위치 변환은 평행 이동, 회전, 연신, 확대, 축소 및 왜곡 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 따라서, 스티칭 처리 후 획득된 제1 비디오 프레임에서 화면 내용이 보다 조화롭고, 동일한 화면의 목표 대상 사이의 과도한 위치 차이를 방지하기 위해(예를 들어, 촬영 과정에서 목표 대상이 지면에 위치하고, 제1 비디오 세그먼트 및 제2 비디오 세그먼트를 촬영할 때 단말은 세로 방향으로 이동하여, 스티칭 후의 화면에서, 목표 대상 중 하나는 높은 지면에 있고, 다른 하나는 낮은 지면에 있음), 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 화면 정렬 처리를 수행할 수도 있다.

선택적으로, 단계 14에서 제1 이미지 영역 및 제2 이미지 영역에 따라, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 본 발명에 제공된 방법은,

제1 비디오 세그먼트에서의 목표 프레임을 기준 프레임으로 사용하는 단계;

제1 목표 비디오 프레임과 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계; 및

상기 제2 비디오 세그먼트의 현재 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계 중 적어도 하나를 더 포함할 수 있다.

여기서, 목표 프레임은 제1 비디오 세그먼트에서의 임의의 프레임일 수 있다. 예를 들어, 목표 프레임은 제1 비디오 세그먼트의 처음 프레임 비디오 프레임일 수 있다.

제1 목표 비디오 프레임과 기준 프레임에 대해 화면 정렬 처리를 수행하는 것, 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 것 중 적어도 하나를 수행한다.

여기서, 화면 정렬 처리를 수행하는 단계는,

기준 프레임 및 지정된 비디오 프레임의 배경 특징 포인트로부터, 배경 특징이 동일한 목표 배경 특징 포인트를 획득하는 단계; 및

목표 배경 특징 포인트에 따라, 지정된 비디오 프레임과 기준 프레임을 정렬하는 단계를 포함한다.

여기서, 지정된 비디오 프레임은 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임 중 어느 하나이다.

본 발명에 제공된 촬영 장면에서, 제1 비디오 세그먼트 및 제2 비디오 세그먼트는 일반적으로 동일한 환경에서 촬영되고, 제1 비디오 세그먼트 및 제2 비디오 세그먼트에서의 목표 대상의 위치 및 상태는 수시로 변경될 수 있으며, 화면에서 목표 대상을 제외한 배경은 정적이므로, 비디오 프레임에서의 배경을 참조로 하여 화면 정렬을 수행할 수 있다.

여기서, 특징 추출 알고리즘을 통해, 기준 프레임의 배경 특징 포인트를 추출하는 동시에 지정된 비디오 프레임의 배경 특징 포인트를 추출할 수도 있으며, 두 프레임의 각 배경 특징 포인트에 기반하여, 배경 특징이 동일한 특징 포인트를 결정하여, 목표 배경 특징 포인트로 사용할 수 있다. 설명해야 할 것은, 특징 추출 알고리즘을 사용하여 특징 포인트를 추출하는 방법은 종래 기술에 속하고, 본 기술분야의 통상의 기술 수단이므로, 본 발명은 더 상세한 설명을 하지 않는다.

기준 프레임에서의 목표 배경 특징 포인트의 위치, 및, 지정된 비디오 프레임에서의 목표 배경 특징 포인트의 위치에 따라, 목표 특징 포인트를 표시하는 화면에서의 위치 변환으로 사용되는 하나의 변환 행렬을 획득할 수 있다. 예를 들어, 상기 변환 행렬은 일반적으로 사용되는 최소 제곱법으로 얻을 수 있다. 다른 예를 들어, 상기 변환 행렬은 3*3 행렬이다.

전술한 바와 같이, 지정된 비디오 프레임은 제1 목표 비디오 프레임 또는 제2 비디오 세그먼트의 현재 비디오 프레임이다. 제1 목표 비디오 프레임과 기준 프레임 사이의 변환 행렬에 기반하여, 제1 비디오 프레임과 기준 프레임을 정렬할 수 있는 것, 및, 제2 비디오 세그먼트의 현재 비디오 프레임과 기준 프레임 사이의 변환 형렬에 기반하여, 제2 비디오 세그먼트의 현재 비디오와 기준 프레임을 정렬할 수 있는 것 중 적어도 하나를 수행 할 수 있다. 이러한 방식으로, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행할 때 화면이 서로 정렬되도록 보장하여, 제1 비디오 프레임의 각 부분 화면 구조가 일치하도록 하여, 제1 비디오 프레임의 화질을 향상시켜, 시각적으로 더 조화롭다.

선택적으로, 도 1에서 도시된 각 단계 외에, 본 발명에 제공된 방법은,

상기 제1 비디오 프레임에 기반하여, 목표 비디오 세그먼트를 생성하는 단계; 및

비디오 프리뷰 인터페이스에서 목표 비디오 세그먼트를 디스플레이하는 단계를 더 포함할 수 있다.

하나의 가능한 실시형태에서, 제1 비디오 프레임을 포함한 복수 개의 비디오 프레임을 목표 비디오 세그먼트로 결합하고, 비디오 프리뷰 인터페이스에서 상기 목표 비디오 세그먼트를 디스플레이한다. 목표 비디오 세그먼트에서의 다른 비디오 프레임은 제1 비디오 세그먼트 또는 제2 비디오 세그먼트로부터 직접적으로 취하거나, 또는, 목표 비디오 세그먼트에서의 다른 비디오 프레임은 제1 비디오 프레임과 동일한 방법에 기반하여 생성된 아바타 특수 효과를 가진 비디오 프레임일 수 있다.

예를 들어, 시간이 흐름에 따라(즉, 비디오 세그먼트의 제1 프레임에서 비디오 세그먼트의 마지막 프레임으로 이동), 제2 비디오 세그먼트의 현재 비디오 프레임은 항상 변하고, 이에 따라, 제2 비디오 세그먼트의 현재 비디오 프레임 타이밍에서 대응하는 제1 목표 비디오 프레임도 항상 변화하며, 이러한 방식으로, 제2 비디오 세그먼트의 현재 비디오 프레임을 획득할 때마다, 상기 단계 11 ~ 단계 14를 실행할 수 있고, 따라서, 처리된 복수 개의 제1 비디오 프레임을 얻으며, 제1 비디오 프레임 및 제1 비디오 프레임이 제1 비디오 세그먼트에서 각각 대응하는 시간 순서에 기반하여(즉, 제2 비디오 세그먼트에서 대응하는 순서는, 전술한 바와 같이, 제1 비디오 프레임은 제1 비디오 세그먼트 및 제2 비디오 세그먼트에서의 대응하는 비디오 프레임에 기반하여 생성될 수 있음), 즉 목표 비디오 세그먼트를 생성할 수 있다.

상기 방법을 통해, 처리된 제1 비디오 프레임을 얻은 후, 제1 비디오 프레임에 기반하여, 목표 비디오 세그먼트를 직접 생성할 수 있으며, 즉, 아바타 특수 효과를 가진 비디오 세그먼트를 생성한다.

선택적으로, 단계 14 전에, 본 발명에 제공된 방법은,

제1 비디오 세그먼트와 제2 비디오 세그먼트의 지속 시간이 상이한 경우, 제1 비디오 세그먼트 및 제2 비디오 세그먼트에 대해 지속 시간의 정렬 처리를 수행하는 단계를 더 포함할 수 있다.

제1 비디오 세그먼트 및 제2 비디오 세그먼트는 각각 촬영되므로, 양자의 지속 시간은 상이할 수 있다. 이 경우, 제1 목표 비디오 프레임 및 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 제1 비디오 세그먼트 및 제2 비디오 세그먼트에 대해 지속 시간의 정렬 처리를 수행할 수 있다.

예를 들어, 지속 시간의 정렬 처리를 수행하는 방식은,

제1 비디오 세그먼트 및 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트를 기준으로 하여, 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 지속 시간을 동일하게 하기 위해, 비디오 세그먼트에서의 지속 시간이 더 긴 부분의 비디오 프레임을 삭제하는 방식; 및

제1 비디오 세그먼트 및 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트에서 기존의 비디오 프레임에 따라, 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 지속 시간이 동일하도록, 지속 시간이 짧은 비디오 세그먼트의 비디오 프레임을 추가하는 방식 중 어느 하나를 포함한다.

첫 번째 방식에서, 지속 시간의 정렬 처리는 양자 중 지속 시간이 짧은 비디오 세그먼트를 기준으로 하여, 지속 시간이 더 긴 비디오 세그먼트에서의 부분 비디오 프레임을 삭제함으로써, 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 지속 시간을 동일하게 한다.

예를 들어, 제1 비디오 세그먼트는 300 프레임의 비디오 프레임을 포함하고, 제2 비디오 세그먼트는 500 프레임의 비디오 프레임을 포함하면, 제2 비디오 세그먼트에서의 제301 프레임 ~ 제500 프레임의 비디오 프레임을 제2 비디오 세그먼트로부터 삭제할 수 있고, 제2 비디오 세그먼트에서의 처음 300 프레임은 상기 처리 과정에 사용되는 제2 비디오 세그먼트를 보유한다.

두 번째 방식에서, 정렬 처리는 양자 중 지속 시간이 더 긴 비디오 세그먼트를 기준으로 하여, 지속 시간이 짧은 비디오 세그먼트에서의 비디오 프레임을 확장시킨다. 즉, 제1 비디오 세그먼트 및 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트에서의 기존의 비디오 프레임에 따라, 제1 비디오 세그먼트 및 제2 비디오 세그먼트의 지속 시간이 동일하도록, 지속 시간이 짧은 비디오 세그먼트의 비디오 프레임을 추가한다.

여기서, 지속 시간이 짧은 비디오 세그먼트에서의 기존의 비디오 프레임을 기반으로, 순환 또는 왕복하여 확장을 구현할 수 있다.

예를 들어, 제1 비디오 세그먼트에는 300 프레임의 비디오 프레임이 포함하면, 제2 비디오 세그먼트에는 200 프레임 비디오 프레임이 포함되고, 제2 비디오 세그먼트에서 비디오 프레임 번호는 순차적으로 u1 ~ u200이고;

순환 방식을 사용하여 확장하면, 제2 비디오 세그먼트를 u1, u2, u3, …, u199, u200, u1, u2, u3, …, u100으로 확장할 수 있으며;

왕복 방식을 사용하면, 제2 비디오 세그먼트를 u1, u2, u3, …, u199, u200, u199, u198, …, u100으로 확장할 수 있다.

선택적으로, 본 발명의 임의의 실시예에 제공된 비디오 처리 방법에 기반하여, 상기 비디오 처리 방법은,

이미지 수집 장치가 제1 비디오 세그먼트를 수집할 때의 촬영 파라미터를 획득하는 단계; 및

이미지 수집 장치가 촬영 파라미터에 따라 이미지 수집을 수행하도록 제어하여, 제2 비디오 세그먼트를 획득하는 단계를 더 포함할 수 있다.

이미지 수집 장치로 제2 비디오 세그먼트를 촬영할 때, 상기 이미지 수집 장치를 직접 사용하여 제1 비디오 세그먼트를 촬영할 때의 촬영 파라미터를 수집한다. 예를 들어, 이미지 수집 장치가 제1 비디오 세그먼트를 수집하기 시작할 때, 이미지 수집 장치의 촬영 파라미터를 잠금할 수 있으므로, 제2 비디오 세그먼트를 촬영할 때, 이미지 수집 장치는 제1 비디오 세그먼트와 일치한 촬영 파라미터에 기반하여 자동으로 촬영을 수행할 수 있다.

여기서, 이미지 수집 장치의 촬영 파라미터는 ISO, 노출 시간, 초점 거리, 화이트 밸런스 파라미터 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.

상기 방법을 통해, 제2 비디오 세그먼트를 촬영할 때, 사용자가 수동으로 조정할 필요 없이, 제1 비디오 세그먼트에 대응하는 촬영 파라미터를 자동으로 사용함으로써, 촬영 파라미터 설치의 번거로운 문제를 해결할 수 있으며, 또한, 동일한 촬영 파라미터를 사용하여 제1 비디오 세그먼트 및 제2 비디오 세그먼트를 촬영하면, 양자의 화면을 비슷하게 보이게 하여 후속 비디오 처리에 유리하다.

선택적으로, 본 발명은 제1 비디오 세그먼트의 촬영된 내용에 기반하여, 스티칭 프리뷰 기능을 실시간으로 제공할 수 있다. 따라서, 본 발명에 제공된 방법은 도 4에 도시된 바와 같이 다음의 단계를 포함할 수 있다.

단계 41에 있어서, 이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득한다.

단계 42에 있어서, 비디오 스트림의 현재 비디오 프레임에 대해, 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득한다.

단계 43에 있어서, 제3 이미지 영역을 비디오 스트림의 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻는다.

단계 44에 있어서, 비디오 프리뷰 인터페이스에서 제2 비디오 프레임을 디스플레이한다.

비디오 스트림은 실시간으로 전송된 비디오 프레임일 수 있다. 단말을 예로 들면, 단말은 이미지 수집 장치의 뷰 파인더 박스를 통해 일련의 비디오 프레임을 실시간으로 획득하고, 일련의 비디오 프레임은 비디오 스트림을 구성하고, 현재 획득할 수 있는 비디오 프레임은 비디오 스트림의 현재 비디오 프레임이다. 단계 41에 설명된 바와 같이, 단말은 이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득할 수 있다.

여기서, 제2 목표 비디오 프레임은 제1 비디오 세그먼트에서의 비디오 스트림의 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임이다. 설명해야 할 것은, 여기서 언급된 타이밍에서 대응하는 것은 타임이 일치한 것이 아니라, 제1 비디오 세그먼트 및 비디오 세그먼트의 시퀸스에서 하나의 대응 관계가 존재하는 것을 의미하며, 이러한 대응 관계는 제1 비디오 세그먼트의 제K 프레임 비디오 프레임이 비디오 스트림의 제I 프레임 비디오 스트림에 대응하는 것일 수 있고, 여기서, K 및 I는 동일할 수 있다.

상기 단계 11의 설명에서 지적된 바와 같이, 목표 대상(예를 들어, 목표 대상은 인식 모델을 통해 인식을 수행함)을 인식 한 후에, 하나의 비디오 프레임에서 목표 대상의 위치를 결정할 수 있고, 목표 대상은 상기 비디오 프레임에서의 대응하는 이미지 영역을 그대로 추출할 수 있다. 따라서, 비디오 스트림의 현재 비디오 프레임에 따라, 목표 대상을 인식함으로써, 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득할 수 있다. 여기서, 목표 대상의 인식은 전술한 바와 같이 설명하였고, 여기서 반복하지 않으며, 또한, 제3 이미지 영역의 획득 원리는 전술한 제1 이미지 영역의 획득 원리와 동일하며, 여기서 더 이상 설명하지 않는다.

하나의 가능한 실시형태에서, 단계 43은,

제3 이미지 영역이 제2 목표 비디오 프레임에서의 위치에 따라, 제3 이미지 영역이 비디오 스트림의 현재 비디오 프레임의 추가 위치를 결정하는 단계; 및

제3 이미지 영역을 비디오 스트림의 현재 비디오 프레임에서의 추가 위치에 추가하는 단계를 포함할 수 있다.

하나의 가능한 실시예에서, 제3 이미지 영역이 제2 목표 비디오 프레임에서의 위치에 따라, 제3 이미지 영역이 비디오 스트림에서의 현재 비디오 프레임의 추가 위치를 결정하는 단계는,

비디오 스트림의 현재 비디오 프레임에서, 제3 이미지 영역과 제2 목표 비디오 프레임에서의 위치와 일치한 위치를 제3 이미지 영역이 비디오 스트림에서의 현재 비디오 프레임의 추가 위치로 취하는 단계를 포함할 수 있다.

다시 말해서, 제3 이미지 영역이 제2 목표 비디오 프레임에서의 위치가 위치 좌표 세트(D1)에 대응하면, 위치 좌표 세트(D1)를 제3 이미지 영역이 비디오 스트림에서의 현재 비디오 프레임의 추가 위치로 취할 수 있다.

다른 하나의 가능한 실시예에서, 제3 이미지 영역이 제2 목표 비디오 프레임에서의 위치에 따라, 제3 이미지 영역이 비디오 스트림에서의 현재 비디오 프레임의 추가 위치를 결정하는 단계는,

제2 목표 비디오 프레임의 배경 특징 포인트로부터, 제3 이미지 영역 주변의 기설정된 범위의 제1 배경 특징 포인트를 획득하는 단계;

비디오 스트림의 현재 비디오 프레임의 배경 특징 포인트로부터, 제1 배경 특징 포인트의 배경 특징과 동일한 제2 배경 특징 포인트를 결정하는 단계; 및

제2 배경 특징 포인트가 비디오 스트림의 현재 비디오 프레임에서의 위치에 따라, 추가 위치를 결정하는 단계를 포함할 수 있다.

상기 언급된 특징 추출 알고리즘을 통해, 제2 목표 비디오 프레임의 배경 특징 포인트를 추출할 수 있다. 제2 목표 비디오 프레임의 배경 특징 포인트가 제2 목표 비디오 프레임에서의 위치에 따라, 제3 이미지 영역의 제2 목표 비디오 프레임에서의 위치와 결합하여, 제3 이미지 영역 주변의 기설정된 범위의 제1 배경 특징 포인트를 결정할 수 있다.

이에 따라, 상기 언급된 특징 추출 알고리즘을 통해, 비디오 스트림의 현재 비디오 프레임의 배경 특징 포인트를 추출할 수 있고, 따라서, 비디오 스트림의 현재 비디오 프레임의 배경 특징 포인트로부터, 제1 배경 특징 포인트의 배경 특징과 동일한 제2 배경 특징 포인트를 결정할 수 있다.

따라서, 제2 배경 특징 포인트가 비디오 스트림의 현재 비디오 프레임에서의 위치에 따라, 추가 위치를 결정하고, 여기서, 추가 위치는 제2 배경 특징 포인트로 둘러싸인 위치이다.

또한, 제1 비디오 세그먼트 및 비디오 스트림은 촬영 각도, 촬영 기술이 완전히 일치하지 않기 때문에, 제1 비디오 세그먼트에서의 비디오 프레임과 비디오 스트림의 비디오 프레임 사이의 화면에서의 위치 변경을 초래한다. 여기서, 관련된 위치 변환은 평행 이동, 회전, 신장, 확대, 축소 및 왜곡 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 따라서, 프리뷰된 화면 내용이 보다 조화롭고, 프리뷰 화면에서 동일한 화면의 목표 대상 사이의 과도한 위치 차이를 방지(예를 들어, 촬영 과정에서 목표 대상이 지면에 위치하고, 제1 비디오 세그먼트 및 비디오 스트림을 촬영할 때 단말은 세로 방향으로 이동하여, 스티칭 후의 화면에서, 목표 대상 중 하나는 높은 지면에 있고, 다른 하나는 낮은 지면에 있음)하기 위해, 제3 이미지 영역을 비디오 스트림의 현재 비디오 프레임에 추가할 때, 화면 정렬 처리를 수행할 수도 있다.

선택적으로, 제3 이미지 영역을 비디오 스트림의 상기 현재 비디오 프레임에 추가하기 전에, 본 발명에 제공된 방법은,

제2 목표 비디오 프레임과 비디오 스트림의 현재 비디오 프레임에 대해 화면 정렬 처리를 수행하는 단계를 포함할 수 있다.

예를 들어, 화면 정렬 처리를 수행하는 단계는,

제2 목표 비디오 프레임 및 비디오 스트림의 현재 비디오 프레임의 배경 특징 포인트로부터, 배경 특징과 동일한 제3 배경 특징 포인트를 획득하는 단계; 및

제3 배경 특징 포인트에 따라, 제2 목표 비디오 프레임과 비디오 스트림의 현재 비디오 프레임을 정렬하는 단계를 포함할 수 있다.

본 발명에 제공된 촬영 장면에서, 제1 비디오 세그먼트 및 비디오 스트림은 일반적으로 동일한 환경에서 촬영되고, 제1 비디오 세그먼트 및 비디오 스트림에서의 목표 대상의 위치 및 상태는 수시로 변화할 수 있으며, 화면에서는 목표 대상을 제외한 배경은 정적이므로, 따라서, 비디오 프레임에서의 배경을 참조하여 화면 정렬을 수행할 수 있다.

여기서, 특징 추출 알고리즘을 통해, 제2 목표 비디오 프레임의 배경 특징 포인트를 추출하고, 동시에 비디오 스트림의 현재 비디오 프레임의 배경 특징 포인트를 추출할 수 있고, 두 프레임의 각 배경 특징 포인트에 기반하여, 배경 특징이 동일한 특징 포인트를 결정하여, 제3 배경 특징 포인트로 사용할 수 있다.

제3 배경 특징 포인트가 제2 목표 비디오 프레임에서의 위치, 및, 목표 배경 특징 포인트가 비디오 스트림의 현재 비디오 프레임에서의 위치에 따라, 목표 특징 포인트를 표시하는 화면에서의 위치 변환으로 사용되는 하나의 변환 행렬을 획득할 수 있다. 따라서, 이런 변환 행렬에 기반하여, 제2 목표 비디오 프레임을 비디오 스트림의 현재 비디오 프레임에 정렬할 수 있다.

이러한 방식으로, 제3 이미지 영역을 비디오 스트림의 현재 비디오 프레임에 추가할 때 화면이 가능한 서로 정렬되도록 보장하여, 실시간 프리뷰 화면의 각 부분 화면 구조가 일치하도록 하여, 제2 비디오 프레임의 화질을 향상시켜, 시각적으로 더 조화롭다.

제2 비디오 프레임을 획득한 후에, 비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이한다.

설명해야 할 것은, 비디오 스트림의 현재 비디오 프레임에 대해 실시간으로 프리뷰할 때, 비디오 스트림에는 목표 대상 또는 목표 대상의 위치가 존재하는지에 상관없이, 제3 이미지 영역(목표 대상이 제2 목표 비디오 프레임에서의 대응하는 영역)만 비디오 스트림의 현재 비디오 프레임에 커버하여, 사용자에게 프리뷰를 제공해야 함으로써, 사용자가 실시간으로 스티칭 효과를 가진 화면을 프리뷰하여, 촬영된 내용의 화면 효과 및 제2 비디오 세그먼트를 촬영하는 시각을 결정한다.

상기 방안을 통해, 실시간 프리뷰 기능에 기반하여, 제1 비디오 세그먼트에서의 목표 대상을 현재 화면에 추가하여 나타내는 효과를 실시간으로 확인할 수 있으므로, 사용자가 촬영된 내용의 디스플레이 효과를 확인하여, 제2 비디오 세그먼트를 보다 정확하게 기록하여, 제2 비디오 세그먼트에서의 목표 대상을 사용자가 원하는 위치에 있도록 도와줄 수 있다.

도 5a ~ 도 5c는 본 발명에 제공된 비디오 처리 방법의 실시 과정에서 도시된 단말의 예시적인 인터페이스 예시도이다.

도 5a는 제1 비디오 세그먼트를 촬영하는 과정에서 단말 인터페이스의 디스플레이 상황을 도시한다. 여기서, P1은 제1 비디오 세그먼트에서의 목표 대상이다. 도 5a에 도시된 바와 같이, 제1 비디오 세그먼트를 촬영할 때, 목표 대상은 화면 좌측에 위치한다. 화면 우측의 원형 영역은 촬영 버튼이고, 도 5a는 상기 촬영 버튼을 누른 상태를 보여주며, 상기 촬영 버튼을 누를 때, 원형 영역 중앙에서, 촬영된 지속 시간을 실시간으로 표시한다. 도 5a에 도시된 바와 같이, 제1 비디오 세그먼트는 1.6s 동안 촬영하였다.

도 5b는 제1 비디오 세그먼트가 촬영 종료 후, 실시간 프리뷰 과정에서 단말 인터페이스의 디스플레이 상황을 보여준다. 화면 우측의 원형 영역은 촬영 버튼이고, 도 5b는 상기 촬영 버튼을 누르지 않는 상태를 보여주며, 도 5b에서 볼 수 있다시피, 제2 비디오 세그먼트는 아직 촬영이 시작되지 않았고, 실시간으로만 프리뷰한다. P2는 단말이 실시간으로 획득한 비디오 스트림에서의 목표 대상이고, 목표 대상은 실제 위치를 반영할 수 있으며, 도 5b에서 볼 수 있다시피, 첫 번째 세그먼트의 비디오 촬영이 완료된 후, 목표 대상은 화면 좌측의 위치에서 화면 우측의 위치로 이동한다. 단계 41 ~ 단계 44를 참조하면, P1은 목표 대상이 제1 비디오 세그먼트의 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역이고, 비디오 스트림의 현재 비디오 프레임에 실시간으로 추가하여, 처리된 제2 비디오 프레임을 얻으며, 비디오 프리뷰 인터페이스에 디스플레이한다. 이로써, 핸드 헬드 단말의 사용자는 제1 비디오 세그먼트에서의 목표 대상이 현재 화면에 추가될 때, 어떠한 스티칭 화면이 형성되는지를 실시간으로 프리뷰할 수 있으므로, 제2 비디오 세그먼트의 촬영을 보다 양호하게 제어하여, 제2 비디오 세그먼트를 적합한 타이밍에 선택함으로써, 스티칭 후의 화면에서 목표 대상이 겹치거나 너무 멀리 떨어지는 것을 방지할 수 있다.

도 5c는 제2 비디오 세그먼트를 촬영하는 과정에서 단말 인터페이스의 디스플레이 상황을 도시한다. 여기서, P2는 제1 비디오 세그먼트에서의 목표 대상이다. 도 5c에 도시된 바와 같이, 제2 비디오 세그먼트를 촬영할 때, 목표 대상은 화면 우측에 위치한다. 화면 우측의 원형 영역은 촬영 버튼이고, 도 5c는 상기 촬영 버튼을 누를 때의 상태를 디스플레이하며, 상기 촬영 버튼을 누를 때, 원형 영역 중앙에 촬영 지속 시간이 실시간으로 표시된다. 도 5c에서 볼 수 있다시피, 제2 비디오 세그먼트는 0.6s동안 촬영되었다. P1은 제1 비디오 세그먼트에서의 목표 대상이고, P2는 단말이 실시간으로 획득한 비디오 스트림에서의 목표 대상이다. 도 5c에서 P1의 설명과 디스플레이 원리는 도 5b에서의 설명과 유사하고, 다시 말해서, 제2 비디오 세그먼트를 촬영하는 과정에서, 단말은 실시간으로 비디오 스트림을 획득함으로써, 실시간으로 프리뷰할 수 있으며, 도 5c와 도 5b의 차이는 다만 실시간으로 획득된 비디오 스트림이 기록되었는지의 여부이고, 여기서, 도 5c에서 실시간으로 획득된 비디오 스트림은 제2 비디오 세그먼트로 기록되고, 도 5b에서 실시간으로 획득된 비디오 스트림은 기록되지 않았다. 알다시피, P1은 목표 대상이 제1 비디오 세그먼트의 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역이고, 비디오 스트림의 현재 비디오 프레임에 실시간으로 추가하여, 처리된 제2 비디오 프레임을 얻으며, 비디오 프리뷰 인터페이스에 디스플레이된다. 이로써, 사용자가 핸드 헬드 단말로 제2 비디오 세그먼트를 촬영하는 동시에, 제1 비디오 세그먼트에서의 목표 대상이 현재 화면에 추가될 때, 어떠한 스티칭 화면이 형성되는지를 실시간으로 프리뷰할 수 있으며, 따라서 제2 비디오 세그먼트의 촬영을 보다 양호하게 제어하여, 스티칭 후의 화면에서 목표 대상이 겹치거나 너무 멀리 떨어지는 것을 방지할 수 있다.

또한, 비디오 프리뷰 인터페이스에서 제2 비디오 프레임(실시간 프리뷰) 또는 목표 비디오 세그먼트(화면 스티칭을 거쳐 생성된 비디오 세그먼트)를 프리뷰할 때, 또한 사용자에게 취소 조작에 대한 입구를 제공할 수 있다. 다시 말해서, 비디오 프리뷰 인터페이스가 제2 비디오 프레임을 디스플레이할 때, 사용자는 취소 조작을 통해 제1 비디오 세그먼트를 재촬영할 수 있고, 비디오 프리뷰 인터페이스가 목표 비디오 세그먼트를 디스플레이할 때, 사용자는 취소 조작을 통해 제2 비디오 세그먼트를 재촬영할 수 있다.

도 6은 본 발명의 실시형태에 제공된 단말에 적용될 수 있는 비디오 처리 장치의 블록도이다. 도 6에 도시된 바와 같이, 상기 비디오 처리 장치(60)는,

제1 비디오 세그먼트에서의 목표 대상을 인식하도록 구성된 인식 모듈(61);

제2 비디오 세그먼트의 현재 비디오 프레임을 획득하도록 구성된 제1 획득 모듈(62);

상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하도록 구성된 제2 획득 모듈(63) - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하도록 구성된 스티칭 모듈(64)을 포함할 수 있다.

선택적으로, 상기 스티칭 모듈(64)은,

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 이미지 스티칭 알고리즘을 사용하여 이미지 스티칭 경계를 결정하도록 구성된 제1 결정 서브 모듈;

상기 이미지 스티칭 경계에 따라, 상기 제1 목표 비디오 프레임으로부터 상기 제1 이미지 영역을 포함하는 제1 부분 이미지를 획득하고, 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임으로부터 상기 제2 이미지 영역을 포함하는 제2 부분 이미지를 획득하도록 구성된 제1 획득 서브 모듈; 및

상기 제1 부분 이미지 및 상기 제2 부분 이미지를 스티칭하여 상기 제1 비디오 프레임을 얻도록 구성된 스티칭 서브 모듈을 포함한다.

선택적으로, 상기 비디오 처리 장치(60)는,

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 상기 제1 비디오 세그먼트에서의 목표 프레임을 기준 프레임으로 사용하도록 구성된 제1 결정 모듈;

상기 제1 목표 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하도록 구성된 제1 정렬 모듈; 및

상기 제2 비디오 세그먼트의 현재 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하도록 구성된 제2 정렬 모듈 중 적어도 하나를 더 포함한다.

선택적으로, 상기 화면 정렬 처리를 수행하는 것은,

상기 기준 프레임 및 지정된 비디오 프레임의 배경 특징 포인트에서, 배경 특징이 동일한 목표 배경 특징 포인트를 획득하는 것 - 상기 지정된 비디오 프레임은 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 어느 하나임 -; 및

상기 목표 배경 특징 포인트에 따라, 상기 지정된 비디오 프레임을 상기 기준 프레임과 정렬하는 것을 포함한다.

선택적으로, 상기 비디오 처리 장치(60)는,

이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득하도록 구성된 수집 모듈;

상기 비디오 스트림의 현재 비디오 프레임에 대해, 상기 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득하도록 구성된 제3 획득 모듈 - 상기 제2 목표 비디오 프레임은 상기 제1 비디오 세그먼트에서 상기 비디오 스트림의 상기 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임임 -;

상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻도록 구성된 추가 모듈; 및

비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이하도록 구성된 제1 프리뷰 모듈을 더 포함한다.

선택적으로, 상기 추가 모듈은,

상기 제3 이미지 영역이 상기 제2 목표 비디오 프레임에서의 위치에 따라, 상기 제3 이미지 영역이 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 추가 위치를 결정하도록 구성된 제2 결정 서브 모듈; 및

상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 상기 추가 위치에 추가하도록 구성된 추가 서브 모듈을 포함한다.

선택적으로, 상기 제2 결정 서브 모듈은,

상기 제2 목표 비디오 프레임의 배경 특징 포인트로부터, 상기 제3 이미지 영역 주변의 기설정된 범위의 제1 배경 특징 포인트를 획득하도록 구성된 제2 획득 서브 모듈;

상기 비디오 스트림의 상기 현재 비디오 프레임의 배경 특징 포인트로부터, 상기 제1 배경 특징 포인트의 배경 특징과 동일한 제2 배경 특징 포인트를 결정하도록 구성된 제3 결정 서브 모듈; 및

상기 제2 배경 특징 포인트가 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 위치에 따라, 상기 추가 위치를 결정하도록 구성된 제4 결정 서브 모듈을 포함한다.

선택적으로, 상기 비디오 처리 장치(60)는,

상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 상기 제1 비디오 세그먼트와 상기 제2 비디오 세그먼트의 지속 시간이 상이한 경우, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에 대해 지속 시간 정렬 처리를 수행하도록 구성된 제3 정렬 모듈을 더 포함한다.

선택적으로, 상기 지속 시간 정렬 처리를 수행하는 것은,

상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트를 기준으로 하여, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간을 동일하게 하기 위해, 비디오 세그먼트에서의 지속 시간이 더 긴 부분의 비디오 프레임을 삭제하는 것; 및

상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트에서 기존 비디오 프레임에 따라, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간이 동일하도록, 상기 지속 시간이 짧은 비디오 세그먼트의 비디오 프레임을 추가하는 것 중 임의의 하나를 포함한다.

선택적으로, 상기 비디오 처리 장치(60)는,

상기 제1 비디오 프레임에 기반하여, 목표 비디오 세그먼트를 생성하도록 구성된 비디오 생성 모듈; 및

비디오 프리뷰 인터페이스에서 상기 목표 비디오 세그먼트를 디스플레이하도록 구성된 제2 프리뷰 모듈을 더 포함한다.

상기 실시예의 장치와 관련하여, 각 모듈이 동작을 실행하는 구체적인 방식은 상기 방법의 실시예에서 상세히 설명되었고, 여기서 상세한 설명은 하지 않는다.

본 발명은 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 프로그램이 프로세서에 의해 실행될 때 제공된 비디오 처리 방법의 단계를 구현한다.

도 7은 예시적인 실시예에 도시된 비디오 처리 장치의 블록도이다. 예를 들어, 장치(700)는 휴대폰, 컴퓨터, 디지털 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말기 등 일 수 있다.

도 7을 참조하면, 장치(700)는 처리 컴포넌트(702), 메모리(704), 전력 컴포넌트(706), 멀티미디어 컴포넌트(708), 오디오 컴포넌트(710), 입력/출력(I/O) 인터페이스(712), 센서 컴포넌트(714) 및 통신 컴포넌트(716) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(702)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(700)의 전체적인 동작을 제어한다. 처리 컴포넌트(702)는 상기 비디오 처리 방법 단계의 전부 또는 일부를 구현하기 위한 명령어를 실행하기 위한 하나 또는 복수 개의 프로세서(720)를 포함할 수 있다. 또한, 처리 컴포넌트(702)는 처리 컴포넌트(702) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(702)는 멀티미디어 컴포넌트(708) 및 처리 컴포넌트(702) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.

메모리(704)는 장치(700)의 동작을 지지하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(700)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(704)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전력 컴포넌트(706)는 장치(700)의 다양한 컴포넌트에 전력을 공급한다. 전력 컴포넌트(706)는 전력 관리 시스템, 하나 또는 복수 개의 전력 및 장치(700)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(708)는 상기 장치(700) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다 일부 실시예에 있어서, 스크린은 액정 모니터(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이딩 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 장치(700)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(710)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(710)는 하나의 마이크로폰(MIC)을 포함하며, 장치(700)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(704)에 추가로 저장되거나 통신 컴포넌트(716)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(710)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.

I/O 인터페이스(712)는 처리 컴포넌트(702) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등 일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(714)는 장치(700)를 위한 다양한 방면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(714)는 장치(700)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 장치(700)의 모니터와 키패드이며, 센서 컴포넌트(714)는 장치(700) 또는 장치(700)에서 하나의 컴포넌트의 위치 변화, 사용자와 장치(700) 접촉의 존재 유무, 장치(700) 방향 또는 가속/감속 및 장치(700)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(714)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(714)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(714)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(716)는 장치(700)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(700)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적인 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적인 실시예에서, 상기 통신 컴포넌트(716)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wideband, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에 있어서, 장치(700)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 제어기, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(200)는 상기 비디오 처리 방법을 수행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 메모리(704)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 비디오 처리 방법을 완료하도록 장치(700)의 프로세서(720)에 의해 수행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등 일 수 있다.

예시적 실시예에 있어서, 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품은 프로그램 가능한 장치에 의해 컴퓨터 프로그램을 실행할 수 있는 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 상기 프로그램 가능한 장치에 의해 실행될 때 전술한 비디오 처리 방법을 실행하기 위한 코드 부분을 갖는다.

당업자는 명세서 및 본문에 개시된 발명을 고려하여, 본 발명의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 출원은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리에 따르며, 본 발명에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 개시는 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 개시의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims

비디오 처리 방법으로서,
단말에 적용되며, 상기 비디오 처리 방법은,
제1 비디오 세그먼트에서의 목표 대상을 인식하는 단계;
제2 비디오 세그먼트의 현재 비디오 프레임을 획득하는 단계;
상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하는 단계 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 중 상기 제1 이미지 영역을 포함한 제1 부분 이미지 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 상기 제2 이미지 영역을 포함한 제2 부분 이미지에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하는 단계를 포함하고,
상기 제2 비디오 세그먼트의 현재 비디오 프레임을 획득하기 전, 상기 비디오 처리 방법은,
이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득하는 단계;
상기 비디오 스트림의 현재 비디오 프레임에 대해, 상기 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득하는 단계 - 상기 제2 목표 비디오 프레임은 이미 촬영된 상기 제1 비디오 세그먼트에서 상기 비디오 스트림의 상기 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임임 -;
상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻는 단계; 및
비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이하는 단계 - 상기 제2 비디오 프레임에 기반하여, 상기 제2 비디오 세그먼트의 촬영을 제어함 - 를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제1항에 있어서,
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 얻는 단계는,
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 이미지 스티칭 알고리즘을 사용하여 이미지 스티칭 경계를 결정하는 단계;
상기 이미지 스티칭 경계에 따라, 상기 제1 목표 비디오 프레임으로부터 상기 제1 부분 이미지를 획득하고, 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임으로부터 상기 제2 부분 이미지를 획득하는 단계; 및
상기 제1 부분 이미지 및 상기 제2 부분 이미지를 스티칭하여 상기 제1 비디오 프레임을 얻는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
제1항에 있어서,
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 상기 비디오 처리 방법은,
상기 제1 비디오 세그먼트에서의 목표 프레임을 기준 프레임으로 사용하는 단계;
상기 제1 목표 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계; 및
상기 제2 비디오 세그먼트의 현재 비디오 프레임과 상기 기준 프레임에 대해 화면 정렬 처리를 수행하는 단계 중 적어도 하나를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제3항에 있어서,
상기 화면 정렬 처리를 수행하는 단계는,
상기 기준 프레임 및 지정된 비디오 프레임의 배경 특징 포인트에서, 배경 특징이 동일한 목표 배경 특징 포인트를 획득하는 단계 - 상기 지정된 비디오 프레임은 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 어느 하나임 -; 및
상기 목표 배경 특징 포인트에 따라, 상기 지정된 비디오 프레임을 상기 기준 프레임과 정렬하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
삭제
제1항에 있어서,
상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하는 단계는,
상기 제3 이미지 영역이 상기 제2 목표 비디오 프레임에서의 위치에 따라, 상기 제3 이미지 영역이 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 추가 위치를 결정하는 단계; 및
상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 상기 추가 위치에 추가하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
제6항에 있어서,
상기 제3 이미지 영역이 상기 제2 목표 비디오 프레임에서의 위치에 따라, 상기 제3 이미지 영역이 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 추가 위치를 결정하는 단계는,
상기 제2 목표 비디오 프레임의 배경 특징 포인트로부터, 상기 제3 이미지 영역 주변의 기설정된 범위의 제1 배경 특징 포인트를 획득하는 단계;
상기 비디오 스트림의 상기 현재 비디오 프레임의 배경 특징 포인트로부터, 상기 제1 배경 특징 포인트의 배경 특징과 동일한 제2 배경 특징 포인트를 결정하는 단계; 및
상기 제2 배경 특징 포인트가 상기 비디오 스트림의 상기 현재 비디오 프레임에서의 위치에 따라, 상기 추가 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
제1항에 있어서,
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임에 대해 화면 스티칭을 수행하기 전에, 상기 비디오 처리 방법은,
상기 제1 비디오 세그먼트와 상기 제2 비디오 세그먼트의 지속 시간이 상이한 경우, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에 대해 지속 시간 정렬 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제8항에 있어서,
상기 지속 시간 정렬 처리를 수행하는 단계는,
상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트를 기준으로 하여, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간을 동일하게 하기 위해, 비디오 세그먼트에서의 지속 시간이 더 긴 부분의 비디오 프레임을 삭제하는 단계; 및
상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트에서 지속 시간이 짧은 비디오 세그먼트에서 기존 비디오 프레임에 따라, 상기 제1 비디오 세그먼트 및 상기 제2 비디오 세그먼트의 지속 시간이 동일하도록, 상기 지속 시간이 짧은 비디오 세그먼트의 비디오 프레임을 추가하는 단계 중 임의의 하나를 포함하는 것을 특징으로 하는 비디오 처리 방법.
제1항 내지 제4항 및 제6항 내지 제9항 중 어느 한 항에 있어서,
상기 비디오 처리 방법은,
상기 제1 비디오 프레임에 기반하여, 목표 비디오 세그먼트를 생성하는 단계; 및
비디오 프리뷰 인터페이스에서 상기 목표 비디오 세그먼트를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
비디오 처리 장치로서,
단말에 적용되며,
제1 비디오 세그먼트에서의 목표 대상을 인식하도록 구성된 인식 모듈;
제2 비디오 세그먼트의 현재 비디오 프레임을 획득하도록 구성된 제1 획득 모듈;
상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하도록 구성된 제2 획득 모듈 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -; 및
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 중 상기 제1 이미지 영역을 포함한 제1 부분 이미지 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 상기 제2 이미지 영역을 포함한 제2 부분 이미지에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하도록 구성된 스티칭 모듈을 포함하고,
상기 비디오 처리 장치는,
이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득하도록 구성된 수집 모듈;
상기 비디오 스트림의 현재 비디오 프레임에 대해, 상기 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득하도록 구성된 제3 획득 모듈 - 상기 제2 목표 비디오 프레임은 이미 촬영된 상기 제1 비디오 세그먼트에서 상기 비디오 스트림의 상기 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임임 -;
상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻도록 구성된 추가 모듈; 및
비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이하도록 구성된 제1 프리뷰 모듈을 더 포함하되, 상기 제2 비디오 프레임에 기반하여, 상기 제2 비디오 세그먼트의 촬영을 제어하는 것을 특징으로 하는 비디오 처리 장치.
비디오 처리 장치로서,
프로세서; 및
프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;
상기 프로세서는,
제1 비디오 세그먼트에서의 목표 대상을 인식하고;
제2 비디오 세그먼트의 현재 비디오 프레임을 획득하며;
상기 목표 대상이 상기 제1 비디오 세그먼트의 제1 목표 비디오 프레임에서의 대응하는 제1 이미지 영역을 획득하고, 상기 목표 대상이 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임에서의 대응하는 제2 이미지 영역을 획득하고 - 상기 제1 목표 비디오 프레임은 상기 제2 비디오 세그먼트의 상기 현재 비디오 프레임의 비디오 프레임 타이밍에 대응함 -;
상기 제1 이미지 영역 및 상기 제2 이미지 영역에 따라, 상기 제1 목표 비디오 프레임 중 상기 제1 이미지 영역을 포함한 제1 부분 이미지 및 상기 제2 비디오 세그먼트의 현재 비디오 프레임 중 상기 제2 이미지 영역을 포함한 제2 부분 이미지에 대해 화면 스티칭을 수행하여, 처리된 제1 비디오 프레임을 획득하도록 구성되며,
상기 프로세서는 또한,
상기 제2 비디오 세그먼트의 현재 비디오 프레임을 획득하기 전,
이미지 수집 장치에 의해 수집된 비디오 스트림을 실시간으로 획득하고;
상기 비디오 스트림의 현재 비디오 프레임에 대해, 상기 목표 대상이 제2 목표 비디오 프레임에서의 대응하는 제3 이미지 영역을 획득하며 - 상기 제2 목표 비디오 프레임은 이미 촬영된 상기 제1 비디오 세그먼트에서 상기 비디오 스트림의 상기 현재 비디오 프레임 타이밍에 대응하는 비디오 프레임임 -;
상기 제3 이미지 영역을 상기 비디오 스트림의 상기 현재 비디오 프레임에 추가하여, 처리된 제2 비디오 프레임을 얻으며;
비디오 프리뷰 인터페이스에서 상기 제2 비디오 프레임을 디스플레이하도록 - 상기 제2 비디오 프레임에 기반하여, 상기 제2 비디오 세그먼트의 촬영을 제어함 - 구성된 것을 특징으로 하는 비디오 처리 장치.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제4항 및 제6항 내지 제9항 중 어느 한 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.