KR102607137B1

KR102607137B1 - 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Info

Publication number: KR102607137B1
Application number: KR1020210026104A
Authority: KR
Inventors: 티안웨이 린; 신 리; 푸 리; 동리앙 헤; 하오 선; 헤난 장
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-04-22
Filing date: 2021-02-26
Publication date: 2023-11-29
Also published as: JP7228608B2; EP3901909A1; US20210334579A1; CN111524166A; CN111524166B; KR20210131225A; JP2021174530A; US11748895B2

Abstract

본 출원은 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하며, 컴퓨터 비전 기술 분야에 관한 것이다. 구체적인 실시 방식에는, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 상기 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하는 단계; 당해 광류의 오차에 기반하여 당해 변환 후 특징 맵의 가중치를 결정하고 당해 변환 후 특징 맵과 당해 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하는 단계; 및 당해 다음 프레임의 특징 맵을 당해 융합 특징 맵으로 업데이트하는 단계를 포함한다. 본 출원은 이전 프레임의 광류 변환 결과를 이용하여 인접된 영상 프레임 사이의 대상의 위치 편차를 상쇄하는바, 이미지 처리 후 인접된 영상 프레임 사이의 화면 흔들림을 효과적으로 회피할 수 있다.

Description

영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램{METHOD AND APPARATUS FOR PROCESSING IMAGE FRAME, ELECTRONIC DEVICE, STORAGE MEDIA AND PROGRAM}

본 출원의 실시예는 컴퓨터 기술 분야에 관한 것으로, 구체적으로는 컴퓨터 비전 기술 분야에 관한 것이며, 특히 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램에 관한 것이다.

인터넷 기술의 발전에 따라, 영상 사이트와 라이브 스트리밍 플랫폼 등과 같은 다양한 인터넷 플랫폼이 차차 흥해지고 있다. 영상 화면의 구현 형식을 풍부히 하기 위해, 화면에 대해 특수 효과 추가, 스타일 변경 등과 같은 다양한 처리를 할 수 있다.

이미지 처리의 난점은 흔히는 영상 중 연속된 영상 프레임에 있다. 각 영상 프레임의 처리 결과에는 오차가 있을 수 있는데, 만약 오차가 비교적 큰 경우, 연속된 영상 프레임의 처리 결과에는 흔들림 문제가 있을 수 있다.

영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 제공한다.

첫 번째 측면에 따르면, 영상 프레임 처리 방법이 제공되는바, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하는 단계; 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하고 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하는 단계; 및 다음 프레임의 특징 맵을 업데이트하는 단계 - 여기서 업데이트 후의 특징 맵은 융합 특징 맵임 - 를 포함한다.

두 번째 측면에 따르면, 영상 프레임 처리 장치가 제공되는바, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하도록 구성되는 변환 유닛; 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하고 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하도록 구성되는 융합 유닛; 및 다음 프레임의 특징 맵을 업데이트하도록 구성되는 업데이트 유닛 - 여기서 업데이트 후의 특징 맵은 융합 특징 맵임 - 을 포함한다.

세 번째 측면에 따르면, 전자 기기가 제공되는바, 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행되는 경우, 하나 또는 복수의 프로세서가 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법을 구현하도록 한다.

네 번째 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체가 제공되는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법이 구현된다.

다섯 번째 측면에 따르면, 매체에 저장된 컴퓨터 프로그램이 제공되는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법이 구현된다.

본 출원의 방안에 따르면, 이전 프레임의 광류 변환 결과를 이용하여 인접된 영상 프레임 사이의 대상의 위치 편차를 상쇄하는바, 이미지 처리 후 인접된 영상 프레임 사이의 화면 흔들림을 효과적으로 회피할 수 있다. 그리고, 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하는바, 광류의 오차로 인한, 융합 특징이 부정확한 문제를 회피하는 데 유용하다.

아래의 첨부도면을 참조한 비한정적 실시예에 대한 상세 설명을 읽어보면, 본 출원의 다른 특징, 목적 및 이점이 더 분명해질 것이다.
도 1은 본 출원의 일부 실시예가 적용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 출원에 따른 영상 프레임 처리 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 영상 프레임 처리 방법의 한 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 영상 프레임 처리 방법에 있어서 변환 후 특징 맵의 가중치를 결정하는 일 실시예의 흐름도이다.
도 5는 본 출원에 따른 영상 프레임 처리 장치의 일 실시예의 구조 개략도이다.
도 6은 본 출원의 실시예의 영상 프레임 처리 방법을 구현하는 전자 기기의 블록도이다.

아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는바, 이해를 돕고자 본 출원의 실시예의 다양한 세부사항이 포함되나 이는 단지 시범적인 것으로 간주되어야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.

부연하면, 상충되지 않은 한, 본 출원의 실시예 및 실시예의 특징은 상호 조합될 수 있다. 아래 첨부도면을 참조하면서 실시예를 결부하여 본 출원을 상세히 설명하고자 한다.

도 1은 본 출원의 영상 프레임 처리 방법 또는 영상 프레임 처리 장치에 적용 가능한 실시예의 예시적인 시스템 아키텍처(100)를 도시한다.

도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.

사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메세지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션, 예를 들면 동영상 애플리케이션, 라이브 스트리밍 애플리케이션, 인스턴트 메시징 툴, 메일 클라이언트, 소셜 플랫폼 소프트웨어 등이 설치되어 있을 수 있다.

여기서의 단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우에는 표시 스크린을 가지는 다양한 전자 기기일 수 있는바, 스마트폰, 태블릿 컴퓨터, 전자책 뷰어 기기, 휴대용 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말 기기(101, 102, 103)가 소프트웨어인 경우에는 이상 나열한 전자 기기에 설치될 수 있다. 이는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 단말 기기(101, 102, 103)에 지원을 제공하는 백그라운드 서버일 수 있다. 백그라운드 서버는 수신된 처리할 영상 프레임 등의 데이터에 대해 분석 등의 처리를 수행하고 처리 결과(예를 들면 업데이트 후의 특징 맵)를 단말 기기에 피드백할 수 있다.

부연하면, 본 출원의 실시예에 의해 제공되는 영상 프레임 처리 방법은 서버(105) 또는 단말 기기(101, 102, 103)에 의해 수행될 수 있고, 상응하게, 영상 프레임 처리 장치는 서버(105) 또는 단말 기기(101, 102, 103)에 설치될 수 있다.

도 1에서의 단말 기기, 네트워크 및 서버의 수는 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수의 단말 기기, 네트워크 및 서버를 가질 수 있다.

계속하여 도 2를 참조하면, 본 출원에 따른 영상 프레임 처리 방법의 일 실시예의 흐름(200)을 도시한다. 당해 영상 프레임 처리 방법은 하기 단계를 포함한다.

단계(201)에 있어서, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득한다.

본 실시예에서, 영상 프레임 처리 방법이 수행되는 수행 주체(예를 들어 도 1에서 도시한 서버 또는 단말 기기)는 영상 중 인접된 이전 프레임(시간상 이전인 하나의 프레임, 예로 제5 프레임)과 다음 프레임(시간상 다음인 하나의 프레임, 예로 제6 프레임)에 기반하여 생성된 광류를 이용하여, 획득된 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득할 수 있다. 당해 변환 후 특징 맵은 다음 프레임의 특징 맵과 유사하다(유사도가 사전설정 역치보다 크다). 실천에 있어서, 당해 변환 과정은 워프(warp) 과정으로 지칭될 수도 있는바, 즉, 각 화소점에 위치의 오프셋을 발생시키는 것으로, 당해 오프셋의 오프셋 양은 결정된 광류이다.

실천에 있어서, 상기 수행 주체는 영상의 인접된 2개 영상 프레임 중의 이전 프레임의 특징 맵과 다음 프레임의 특징 맵을 획득할 수 있다. 구체적으로, 상기 수행 주체는 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 로컬 또는 다른 전자 기기로부터 직접 획득할 수 있다. 이 외에도, 상기 수행 주체는 다음 프레임과 이전 프레임을 획득하고, 다음 프레임과 이전 프레임을 검사하여, 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 획득할 수 있다. 실천에 있어서, 상기 광류는 밀집 광류(dense optical flow)일 수도 있고 희소 광류(sparse optical flow)일 수도 있다.

구체적으로, 상기 광류는 다양한 방식으로 획득할 수 있는바, 예를 들어, 상기 수행 주체는 상기 광류를 로컬 또는 다른 전자 기기로부터 직접 획득할 수 있다. 이 외에도, 상기 수행 주체는 상기 이전 프레임과 다음 프레임을 획득하여 상기 광류를 생성할 수도 있다. 예를 들면, 상기 수행 주체는 이전 프레임과 다음 프레임 사이의 초기 광류를 생성하고 당해 초기 광류에 대해 사전설정 처리를 진행하여 상기 광류를 획득할 수 있다.

단계(202)에 있어서, 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하고 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득한다.

본 실시예에서, 상기 수행 주체는 변환 후 특징 맵의 가중치를 결정할 수 있으며, 변환 후 특징 맵과 다음 프레임의 특징 맵에 대해 가중한 가중 결과를 획득하고 가중 결과에 기반하여 융합 특징 맵을 획득할 수 있다.

광류의 오차는 생성된 광류와 실제 광류 사이의 편차를 가리킨다. 상기 수행 주체는 광류를 이용하여 축소 후 이전 프레임을 변환시키고 변환 결과와 축소 후 다음 프레임을 비교할 수 있는바, 예를 들어, 변환 결과와 축소 후 다음 프레임 사이의 차이값 또는 절대치를 계산하여 광류의 오차를 결정할 수 있다.

실천에 있어서, 상기 수행 주체는 다양한 방식을 사용하여 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정할 수 있다. 예를 들어, 상기 수행 주체는 광류의 오차가 비교적 작은(지정 오차 역치보다 작은) 데 응답하여, 지정 가중치, 예를 들어 변환 후 특징 맵의 각 후보 가중치 중 가장 큰 후보 가중치를 변환 후 특징 맵의 가중치로 결정할 수 있다. 이 외에도, 상기 수행 주체는 광류의 오차와 변환 후 특징 맵의 가중치 사이의 대응관계, 예를 들어 모델 또는 대응관계표를 획득하여, 결정된 광류의 오차에 대응되는 변환 후 특징 맵의 가중치를 획득할 수도 있다.

실천에 있어서, 상기 수행 주체는 다양한 방식을 사용하여 가중 결과에 기반하여 융합 특징 맵을 획득할 수 있다. 예를 들어, 상기 수행 주체는 가중 결과에 기반하여 각 특징 맵의 특징의 가중 평균치를 결정하고 가중 평균치를 융합 특징 맵으로 할 수 있다. 이 외에도, 상기 수행 주체는 직접, 가중 결과를 융합 특징 맵으로 하거나, 또는 가중 결과에 대해 사전설정 처리, 예를 들어 지정 계수를 곱하는 것을 진행할 수 있는바, 여기서 가중에 참여하는 각 특징 맵의 가중치의 합은 1일 수 있다.

단계(203)에 있어서, 다음 프레임의 특징 맵을 업데이트하되, 여기서 업데이트 후의 특징 맵은 융합 특징 맵이다.

본 실시예에서, 상기 수행 주체는 다음 프레임의 특징 맵을 융합 특징 맵으로 업데이트할 수 있다. 실천에 있어서, 상기 수행 주체는 당해 융합 특징 맵을 다음 프레임의 특징 맵으로 하여 후속의 이미지 처리, 예를 들어 심층 신경망에 입력하는 것을 진행할 수 있다. 예를 들어, 합성곱 신경망의 완전연결 계층에 입력할 수 있고 이 외에도 생성적 적대 네트워크의 생성기에 입력할 수도 있다.

본 출원의 상술한 실시예에 의해 제공된 방법은, 이미지 처리 후의 인접된 프레임 사이의 화면 흔들림을 회피하기 위해 이전 프레임의 광류 변환 결과를 이용하여 인접된 프레임 사이 대상의 위치 편차를 상쇄한다. 그리고, 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하는바, 광류의 오차로 인한, 융합 특징이 부정확한 문제를 회피하는 데 유용하다.

본 실시예의 일부 대안적인 구현방식에서, 상기 방법은, 변환 후 특징 맵의 가중치 및 다음 프레임의 특징 맵의 가중치에 따라 변환 후 특징 맵과 다음 프레임의 특징 맵에 대해 특징의 가중을 진행하여 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과를 획득하는 단계를 더 포함하되, 여기서 변환 후 특징 맵의 가중치가 클수록 다음 프레임의 특징 맵의 가중치가 작다.

이러한 대안적인 구현방식에서, 상기 방법은, 상기 수행 주체가 변환 후 특징 맵과 다음 프레임의 특징 맵에 대해 가중을 진행하는 단계를 더 포함할 수 있다. 구체적으로, 변환 후 특징 맵의 가중치와 다음 프레임의 특징 맵의 가중치는 상호 제약적인 것일 수 있다.

선택적으로, 상기 변환 후 특징 맵의 가중치와 다음 프레임의 특징 맵의 가중치의 합은 사전설정 수치일 수 있다. 구체적으로, 가중에 참여한 각 특징 맵의 가중치의 합은 사전설정 수치일 수 있는바, 예를 들어 1일 수 있다. 예를 들면, 다음 프레임의 특징 맵의 가중치는 사전설정된 수치에서 변환 후 특징 맵의 가중치를 뺀 값일 수 있는바, 예를 들어 사전설정 수치가 1이고 변환 후 특징 맵의 가중치가 1인 경우, 다음 프레임의 특징 맵의 가중치는 0이다. 실천에 있어서, 가중치는 단지 1과 0, 이 두개 수치만 포함할 수 있다.

이러한 구현방식은 가중치 사이의 관계를 한정함으로써 더 정확한 융합 특징 맵을 획득할 수 있다.

본 실시예의 일부 대안적인 구현방식에서, 단계(201)는 생성적 적대 네트워크를 이용하여 영상의 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 생성하는 단계를 포함할 수 있고; 방법은, 생성적 적대 네트워크를 이용하여 업데이트 후의 특징 맵을 처리하여 다음 프레임에 대응되는, 타겟 도메인의 이미지를 생성하는 단계를 더 포함할 수 있다.

이러한 대안적인 구현방식에서, 상기 수행 주체는 생성적 적대 네트워크를 이용하여 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 생성할 수 있다. 이 외에도, 상기 수행 주체는 또한, 다음 프레임의 특징 맵을 융합 특징 맵으로 업데이트한 후, 생성적 적대 네트워크를 이용하여 업데이트 후의 특징 맵을 처리하여 타겟 도메인(domain)의 이미지를 생성할 수도 있다. 여기서의 생성적 적대 네트워크는 타겟 도메인의 이미지를 생성하는 데 사용될 수 있다.

이러한 구현방식은 생성적 적대 네트워크 처리 후의 연속된 영상 프레임 중 대상의 흔들림을 회피하고, 생성적 적대 네트워크가 복수의 영상 프레임을 배치 처리할 수 없음으로 인해 야기되는 인접된 프레임의 처리 결과 사이에 존재하는 차이에 의해 나아가 화면 흔들림이 초래되는 문제를 보완할 수 있는바, 영상 화면의 안정성을 향상한다.

계속하여 도 3을 참조하면, 도 3은 본 출원에 따른 영상 프레임 처리 방법의 한 응용 시나리오의 개략도이다. 도 3의 응용 시나리오에서, 수행 주체(301)는 영상 중 인접된 이전 프레임과 다음 프레임 - 예를 들어 제7 프레임과 제8 프레임 - 에 기반하여 생성된 광류(302)를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵(303)을 획득하는바, 여기서 특징 맵의 치수는 타겟 치수 32x32이다. 수행 주체(301)는 광류(302)의 오차에 기반하여 변환 후 특징 맵(303)의 가중치를 결정하고 변환 후 특징 맵(303)과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵(304)을 획득한다. 수행 주체(301)는 다음 프레임의 특징 맵(305)을 업데이트하되, 여기서 업데이트 후의 특징 맵은 융합 특징 맵(304)이다.

본 실시예의 일부 대안적인 구현방식에서, 광류는 밀집 광류일 수 있다. 본 출원에 따른 영상 프레임 처리 방법은, 이전 프레임과 다음 프레임을 특징 맵의 치수로 축소하고 축소 후 이전 프레임과 축소 후 다음 프레임 사이의 밀집 광류를 결정하여 당해 밀집 광류를 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류로 하는 단계를 더 포함할 수 있다.

이러한 대안적인 구현방식에서, 영상 프레임 처리 방법의 수행 주체(예를 들어 도 1에서 도시한 서버 또는 단말 기기)는 영상의 이전 프레임 및 다음 프레임의 치수를 축소하여 이전 프레임 및 다음 프레임의 치수가 특징 맵의 치수로 축소되게 할 수 있다. 구체적으로, 획득한 다음 프레임의 특징 맵과 이전 프레임의 특징 맵의 치수는 일치하다. 그 후, 상기 수행 주체는 축소 후 이전 프레임과 축소 후 다음 프레임 사이의 광류를 결정할 수 있다. 여기서의 이전 프레임의 특징 맵의 치수 및 변환 후 특징 맵의 치수는 모두 상기 축소 후 영상 프레임의 치수이다. 예를 들어, 이전 프레임 및 다음 프레임이 각각 영상의 제9 프레임 및 제10 프레임인 경우, 상기 수행 주체는 제9 프레임 및 제10 프레임을 32x32로, 즉 특징 맵의 치수로 축소할 수 있다.

이러한 구현방식은 밀집 광류에 의해, 화소점 별로 특징의 융합을 진행할 수 있는바, 이로써 융합 특징 맵의 정밀도를 향상할 수 있다.

나아가 도 4를 참조하면, 도 4는 영상 프레임 처리 방법에서 변환 후 특징 맵의 가중치를 결정하는 일 실시예의 흐름(400)을 도시한다. 당해 흐름(400)은 하기 단계를 포함한다.

단계(401)에 있어서, 밀집 광류를 이용하여 축소 후 이전 프레임을 변환시켜 변환 후 특징 맵을 획득한다.

본 실시예에서, 상기 광류는 밀집 광류이다. 영상 프레임 처리 방법이 수행되는 수행 주체(예를 들어 도 1에서 도시한 서버 또는 단말 기기)는 밀집 광류를 이용하여 축소 후 이전 프레임을 변환시키고 변환 결과를 변환 후 이전 프레임으로 할 수 있다. 변환 후 이전 프레임과 축소 후 다음 프레임은 유사하다. 밀집 광류는 바로 조밀한 광류이다. 밀집 광류는 축소 후 다음 프레임과 축소 후 이전 프레임 사이의 위치 편차를 화소점 별로 결정할 수 있다.

단계(402)에 있어서, 각 좌표의 화소점의, 변환 후 이전 프레임에서의 및 축소 후 다음 프레임에서의 화소 값 사이의 차이값에 기반하여 당해 좌표의 화소점에서의 밀집 광류의 오차를 결정한다.

본 실시예에서, 상기 수행 주체는 화소점 별로 밀집 광류를 결정할 수 있다. 각 화소점에 있어서 당해 좌표의 화소점의, 변환 후 이전 프레임에서의 및 축소 후 다음 프레임에서의 화소 값의 차이값에 기반하여 당해 좌표의 화소점의 밀집 광류의 오차를 결정한다.

실천에 있어서, 상기 수행 주체는 다양한 방식을 사용하여 상기 차이값에 기반하여 밀집 광류의 오차를 결정할 수 있다. 예를 들어, 상기 수행 주체는 당해 차이값의 절대치를 밀집 광류의 오차로 결정할 수도 있고 직접, 당해 차이값을 밀집 광류의 오차로 결정할 수도 있다. 이 외에도, 상기 수행 주체는 또한, 당해 차이값에 대해 사전설정 처리, 예를 들어 사전설정 계수를 곱하는 것 또는 사전설정 함수에 입력하는 것을 진행하고 그 결과를 밀집 광류의 오차로 할 수 있다.

단계(403)에 있어서, 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하되, 여기서 지정 이미지의 치수가 타겟 치수이다.

본 실시예에서, 상기 수행 주체는 밀집 광류를 이용한 변환 후 이미지가 변환 전의 당해 좌표의 화소점하고 같은 대상을 포함하는지 여부를 판단할 수 있다. 즉 영상 중 인접된 전후 프레임에 있어서, 대상은 위치의 변경이 있을 수 있는바, 다음 프레임 중의 일부 콘텐츠는 이전 프레임에서 출현되지 않은 신규 콘텐츠일 수 있다. 당해 단계는 인접된 프레임 중에서 같은 콘텐츠를 찾는데 사용될 수 있다. 실천에 있어서, 여기서의 지정 이미지는 다양한 이미지일 수 있는바, 예를 들어 상기 축소 후 이전 프레임일 수 있다.

본 실시예의 일부 대안적인 구현방식에서, 단계(403)은, 각 화소점의 화소 값이 모두 사전설정 화소 값인 지정 이미지를 획득하는 단계; 밀집 광류를 이용하여 지정 이미지를 변환시켜 변환 후 지정 이미지를 획득하는 단계; 변환 후 지정 이미지 중의 각 좌표의 화소점에 대하여, 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같은지 여부를 판단하는 단계; 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같은 경우, 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임을 결정하는 단계; 및 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같지 않은 경우, 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임을 결정하는 단계를 포함할 수 있다.

이러한 대안적인 구현방식에서, 상기 수행 주체는 지정 이미지를 획득하는바, 당해 지정 이미지 중 모든 화소점의 화소 값은 사전설정 화소 값, 예를 들어 1 또는 2일 수 있다. 상기 수행 주체는 밀집 광류를 이용하여 당해 지정 이미지를 변환시켜 변환 후 지정 이미지를 획득할 수 있다. 이로써, 변환 후 지정 이미지는 지정 이미지에 비해, 이미지 중 대상에 위치 오프셋이 발생하였을 수 있다. 만약 하나의 좌표의 화소점의, 변환 후 이미지 중에서의 화소 값이 당해 사전설정 화소 값보다 크거나 같으면, 당해 화소점의 콘텐츠, 즉 대상은 변환 후 지정 이미지에 존재할 뿐만아니라 지정 이미지에도 존재한다. 만약 당해 좌표의 화소점의, 변환 후 이미지 중에서의 화소 값이 당해 사전설정 화소 값보다 작으면, 당해 화소점의 콘텐츠, 즉 대상은 단지 변환 후 지정 이미지에만 존재하고 지정 이미지에는 존재하지 않는다.

이러한 구현방식은, 화소 값이 모두 어느 한 값인 지정 이미지를 이용하여 판단 결과를 획득할수 있는바, 계산 과정을 간소화하고 방안의 처리 효율을 향상한다.

단계(404)에 있어서, 밀집 광류의 오차와 판단 결과에 기반하여 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정한다.

본 실시예에서, 상기 수행 주체는 밀집 광류의 오차와 판단 결과에 기반하여 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정할 수 있다. 실천에 있어서, 상기 수행 주체는 다양한 방식을 사용하여 상기 오차와 판단 결과에 기반하여 당해 가중치를 결정할 수 있다. 예를 들어, 상기 수행 주체는 상기 오차, 판단 결과와 상기 가중치 사이의 대응관계(예를 들어 대응관계표 또는 모델)를 획득하여 상기 오차 및 판단 결과에 대응되는 가중치를 획득할 수 있다.

본 실시예는 밀집 광류를 이용하여 화소점 별로 특징의 융합을 진행할 수 있는바, 화면 흔들림 방지 효과를 향상한다. 그리고, 본 실시예는 밀집 광류의 오차 및 판단 결과 양자에 기반하여 이전 프레임의 변환 후 특징 맵의 가중치를 결정할 수 있는바, 이로써 융합 특징 맵의 정확도를 향상할 수 있다.

본 실시예의 일부 대안적인 구현방식에서, 단계(404)는, 밀집 광류의 오차는 지정 오차 역치보다 작다는 것 및 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임이 결정된 데 응답하여, 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제1 후보 가중치로 결정하는 단계 - 여기서 축소 후 다음 프레임 중의 당해 좌표의 화소점의 화소 값이 클수록 지정 오차 역치가 큼 - ; 및 밀집 광류의 오차는 지정 오차 역치보다 작지 않다는 것 및/또는 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임이 결정된 데 응답하여, 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제2 후보 가중치로 결정하는 단계 - 여기서 제1 후보 가중치는 제2 후보 가중치보다 큼 - 를 포함할 수 있다.

이러한 대안적인 구현방식에서는, 밀집 광류의 오차는 지정 오차 역치보다 작다는 것 및 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임, 양자에 부합되는 경우에만, 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제1 후보 가중치로 결정한다, 여기서 제1 후보 가중치의 수치는 비교적 큰바, 예를 들어 1일수 있으며, 제2 후보 가중치의 수치는 비교적 작은바, 예를 들어 0일수 있다.

실천에 있어서, 지정 오차 역치는 축소 후 다음 프레임 중의 당해 좌표점의 화소 값과 연관될 수 있는바, 당해 화소 값이 클수록 지정 오차 역치가 크다. 예를 들어, 축소 후 다음 프레임 중의 당해 좌표점 화소의 화소 값을 A로 설정하면, 지정 오차 역치는 a×A+b일 수 있으며, 여기서 a는 A의 사전설정 계수로 0-1 사이일수 있고, b는 사전설정 상수로 0보다 클 수 있다.

이러한 구현방식은, 밀집 광류의 오차가 비교적 작고 화소점의 콘텐츠가 전후 프레임에 모두 존재하는 경우에만 이전 프레임의 변환 후의 처리 결과를 계속 사용하도록 할 수 있는바, 이에 따르면, 광류의 오차가 과대함으로 인해 야기되는 융합 특징 맵 중 특징의 위치 편차를 회피할 수 있으면서, 동시에 또한, 융합 시 다음 프레임 중의 신규 콘텐츠가 이전 프레임의 콘텐츠에 의해 치환됨으로 인해 발생되는 화면 오류를 회피할 수 있는바, 화면 중 콘텐츠의 정확성을 확보할 수 있다.

나아가 도 5를 참조하면, 상기 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 영상 프레임 처리 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 아래 기재한 특징 외에, 당해 장치 실시예는 도2에 도시한 방법 실시예와 같은 또는 상응한 특징 또는 효과를 더 포함할 수 있다. 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.

도 5에 도시한 바와 같이, 본 실시예의 영상 프레임 처리 장치(500)는 변환 유닛(501), 융합 유닛(502) 및 업데이트 유닛(503)을 포함한다. 여기서, 변환 유닛(501)은, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하도록 구성되고; 융합 유닛(502)은, 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하고 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하도록 구성되고; 및 업데이트 유닛(503)은, 다음 프레임의 특징 맵을 업데이트하도록 구성되는바, 여기서 업데이트 후의 특징 맵은 융합 특징 맵이다.

본 실시예에서, 영상 프레임 처리 장치(500)의 변환 유닛(501), 융합 유닛(502) 및 업데이트 유닛(503)의 구체적인 처리 및 이에 따른 기술 효과는 각각 도2에 대응되는 실시예에서의 단계(201), 단계(202) 및 단계(203)의 관련 설명을 참조할 수 있는바, 이에 대한 상세한 설명은 생략하기로 한다.

본 실시예의 일부 대안적인 구현방식에서, 광류는 밀집 광류이며, 장치는, 이전 프레임과 다음 프레임을 특징 맵의 치수로 축소하고 축소 후 이전 프레임과 축소 후 다음 프레임 사이의 밀집 광류를 결정하여 당해 밀집 광류를 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류로 하도록 구성되는 광류 생성 유닛을 더 포함할 수 있다.

본 실시예의 일부 대안적인 구현방식에서, 융합 유닛은 나아가, 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하는 것을, 하기와 같은 방식인, 밀집 광류를 이용하여 축소 후 이전 프레임에 대한 변환을 통해, 변환 후 특징 맵을 획득하는 것; 각 좌표의 화소점의, 변환 후 이전 프레임에서의 및 축소 후 다음 프레임에서의 화소 값 사이의 차이값에 기반하여 당해 좌표의 화소점에서의 밀집 광류의 오차를 결정하는 것; 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 것 - 여기서 지정 이미지의 치수가 타겟 치수임 - ; 및 밀집 광류의 오차와 판단 결과에 기반하여 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 것으로 수행하도록 구성된다.

본 실시예의 일부 대안적인 구현방식에서, 융합 유닛은 나아가, 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 것 - 여기서 지정 이미지의 치수가 타겟 치수임 - 을, 하기와 같은 방식인, 각 화소점의 화소 값이 모두 사전설정 화소 값인 지정 이미지를 획득하는 것; 밀집 광류를 이용하여 지정 이미지를 변환시켜 변환 후 지정 이미지를 획득하는 것; 변환 후 지정 이미지 중의 각 좌표의 화소점에 대하여, 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같은지 여부를 판단하는 것; 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같은 경우, 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임을 결정하는 것; 및 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 사전설정 화소 값보다 크거나 같지 않은 경우, 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임을 결정하는 것으로 수행하도록 구성된다.

본 실시예의 일부 대안적인 구현방식에서, 융합 유닛은 나아가, 밀집 광류의 오차와 판단 결과에 기반하여 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 것을, 하기와 같은 방식인, 밀집 광류의 오차는 지정 오차 역치보다 작다는 것 및 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임이 결정된 데 응답하여, 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제1 후보 가중치로 결정하는 것 - 여기서 축소 후 다음 프레임 중의 당해 좌표의 화소점의 화소 값이 클수록 지정 오차 역치가 큼 - ; 및 밀집 광류의 오차는 지정 오차 역치보다 작지 않다는 것 및/또는 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임이 결정된 데 응답하여, 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제2 후보 가중치로 결정하는 것으로 수행하도록 구성되고, 여기서 제1 후보 가중치는 제2 후보 가중치보다 크다.

본 실시예의 일부 대안적인 구현방식에서, 장치는 나아가, 변환 후 특징 맵의 가중치 및 다음 프레임의 특징 맵의 가중치에 따라 변환 후 특징 맵과 다음 프레임의 특징 맵에 대해 특징의 가중을 진행하여 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과를 획득하도록 구성되고, 여기서 변환 후 특징 맵의 가중치가 클수록 다음 프레임의 특징 맵의 가중치가 작다.

본 실시예의 일부 대안적인 구현방식에서, 장치는, 생성적 적대 네트워크를 이용하여 영상의 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 생성하도록 구성되는 특징 생성 유닛을 더 포함하고; 또한 장치는, 생성적 적대 네트워크를 이용하여 업데이트 후의 특징 맵을 처리하여 다음 프레임에 대응되는, 타겟 도메인의 이미지를 생성하도록 구성되는 타겟 생성 유닛을 더 포함한다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.

도 6에 도시한 바는, 본 출원의 실시예에 따른 영상 프레임 처리 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 이 외에도, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.

도 6에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(601), 메모리(602)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는 (예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도6은 하나의 프로세서(601)를 예시한다.

메모리(602)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 여기서, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 영상 프레임 처리 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 영상 프레임 처리 방법이 수행되도록 한다.

메모리(602)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 영상 프레임 처리 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면5에 도시한 변환 유닛(501), 융합 유닛(502) 및 업데이트 유닛(503))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(601)는 메모리(602)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 영상 프레임 처리 방법을 구현한다.

메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 영상 프레임을 처리하는 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(602)는 대안적으로 프로세서(601) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 영상 프레임을 처리하는 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.

영상 프레임 처리 방법의 전자 기기는 입력 장치(603)와 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 다른 방식으로 연결될 수 있고, 도6은 버스에 의한 연결을 예시한다.

입력 장치(603)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 영상 프레임을 처리하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(604)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.

여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독가능 매체'와 '컴퓨터 판독가능 매체'는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 '기계 판독가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.

사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.

여기서 서술하는 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.

첨부도면 중의 흐름도 및 블록도는 본 출원의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실시될 수 있는 체계 아키텍처, 기능 및 조작을 도시한다. 이러한 점에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트, 또는 코드의 일부분을 나타낼 수 있고, 당해 모듈, 프로그램 세그먼트, 또는 코드의 일부분은 규정된 논리 기능을 구현하는 하나 또는 복수의 실행가능한 명령을 포함한다. 치환으로 하는 일부 구현에서, 블록 내에 표기된 기능은 첨부도면에서 표기한 것과는 다른 순서로 발생할 수도 있다는 점을 유의하여야 한다. 예를 들면, 2개의 연속되게 표시된 블록은 사실상 기본적으로 병렬로 수행될 수도 있고, 이들은 때로는 상반되는 순서로 수행될 수도 있는바, 이는 관련되는 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록, 및 블록도 및/또는 흐름도 중의 블록의 조합은, 규정된 기능 또는 조작을 수행하는 전용의, 하드웨어 기반의 시스템을 사용하여 구현하거나, 또는 전용의 하드웨어와 컴퓨터 명령의 조합을 사용하여 구현할 수 있다는 점도 유의하여야 한다.

본 출원에서 서술한 실시예에 관련되는 유닛은 소프트웨어의 방식으로 구현될 수도 있고 하드웨어의 방식으로 구현될 수도 있다. 서술한 유닛은 프로세서에 설치될 수도 있는바, 예를 들면, 제1 취득 유닛, 제1 보정 유닛, 선택 유닛 및 결정 유닛을 포함하는 프로세서로 서술될 수 있다. 여기서, 이러한 유닛의 명칭은 어떠한 경우에도 당해 유닛 자체에 대한 한정이 되지 않는바, 예를 들면, 업데이트 유닛은 "변환 유닛, 융합 유닛, 및 업데이트 유닛을 포함한 프로세서"로 서술될 수도 있다.

다른 측면으로, 본 출원은 컴퓨터 판독가능 매체를 더 제공하는바, 당해 컴퓨터 판독가능 매체는 상술한 실시예에서 설명한 장치에 포함될 수도 있고 당해 장치에 설치되지 않은 채 단독으로 존재할 수도 있다. 상술한 컴퓨터 판독가능 매체에는 하나 또는 복수의 프로그램이 탑재되어 있고, 상술한 하나 또는 복수의 프로그램이 당해 장치에 의해 실행되는 경우, 당해 장치가, 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하고; 광류의 오차에 기반하여 변환 후 특징 맵의 가중치를 결정하고 변환 후 특징 맵과 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하고; 및 다음 프레임의 특징 맵을 업데이트하도록 하고, 여기서 업데이트 후의 특징 맵은 융합 특징 맵이다.

상술한 설명은 단지 본 출원의 바람직한 실시예 및 운용된 기술 원리에 대한 설명일 뿐이다. 당업자라면, 본 출원에 관련되는 발명의 범위는, 상술한 기술 특징의 특정 조합으로 이루어지는 기술 방안에 한정되지 않으며, 동시에, 상술한 발명 사상을 벗어나지 않으면서 상술한 기술 특징 또는 그 등가 특징을 임의로 조합하여 구성하는 다른 기술 방안도 포함하여야 한다는 것을 이해하여야 한다. 예를 들면 상술한 특징을 본 출원에서 개시한(그러나 이에 한정되지 않음) 유사 기능을 가지는 기술 특징과 상호 치환하여 형성하는 기술 방안이 있다.

Claims

영상 프레임 처리 방법으로서,
영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 상기 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하는 단계;
상기 광류의 오차에 기반하여 상기 변환 후 특징 맵의 가중치를 결정하고 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하는 단계; 및
상기 다음 프레임의 특징 맵을 업데이트하는 단계 - 업데이트 후의 특징 맵은 상기 융합 특징 맵임 - 를 포함하고,
상기 광류는 밀집 광류이며,
상기 방법은,
상기 이전 프레임과 상기 다음 프레임을 특징 맵의 치수로 축소하고 축소 후 이전 프레임과 축소 후 다음 프레임 사이의 밀집 광류를 결정하여 당해 밀집 광류를 상기 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류로 하는 단계를 더 포함하며,
상술한, 상기 광류의 오차에 기반하여 상기 변환 후 특징 맵의 가중치를 결정하는 단계는,
상기 밀집 광류를 이용하여 상기 축소 후 이전 프레임을 변환시켜 변환 후 이전 프레임을 획득하는 단계;
각 좌표의 화소점의, 상기 변환 후 이전 프레임 및 상기 축소 후 다음 프레임에서의 화소 값 사이의 차이값에 기반하여 당해 좌표의 화소점에서의 상기 밀집 광류의 오차를 결정하는 단계;
상기 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 상기 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 단계 - 상기 지정 이미지의 치수가 타겟 치수임 - ; 및
상기 밀집 광류의 오차와 상기 판단 결과에 기반하여 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 단계를 포함하는 영상 프레임 처리 방법.
삭제
삭제
제1항에 있어서,
상기 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 상기 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 상기 단계 - 상기 지정 이미지의 치수가 상기 타겟 치수임 - 는,
각 화소점의 화소 값이 모두 사전설정 화소 값인 지정 이미지를 획득하는 단계;
상기 밀집 광류를 이용하여 상기 지정 이미지를 변환시켜 변환 후 지정 이미지를 획득하는 단계;
변환 후 지정 이미지 중의 각 좌표의 화소점에 대하여, 상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같은지 여부를 판단하는 단계;
상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같은 경우, 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임을 결정하는 단계; 및
상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같지 않은 경우, 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임을 결정하는 단계를 포함하는 영상 프레임 처리 방법.
제1항에 있어서,
상술한, 상기 밀집 광류의 오차와 상기 판단 결과에 기반하여 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 단계는,
상기 밀집 광류의 오차는 지정 오차 역치보다 작다는 것 및 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임이 결정된 데 응답하여, 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제1 후보 가중치로 결정하는 단계 - 상기 축소 후 다음 프레임 중의 당해 좌표의 화소점의 화소 값이 클수록 상기 지정 오차 역치가 큼 - ; 및
상기 밀집 광류의 오차는 지정 오차 역치보다 작지 않다는 것 및/또는 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임이 결정된 데 응답하여, 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제2 후보 가중치로 결정하는 단계 - 상기 제1 후보 가중치는 상기 제2 후보 가중치보다 큼 - 를 포함하는 영상 프레임 처리 방법.
제1항에 있어서,
상기 방법은,
상기 변환 후 특징 맵의 가중치 및 상기 다음 프레임의 특징 맵의 가중치에 따라 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵에 대해 특징의 가중을 진행하여 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵과의 특징의 가중 결과를 획득하는 단계 - 상기 변환 후 특징 맵의 가중치가 클수록 상기 다음 프레임의 특징 맵의 가중치가 작음 - 를 더 포함하는 영상 프레임 처리 방법.
제1항에 있어서,
상기 방법은,
생성적 적대 네트워크를 이용하여 영상의 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 생성하는 단계를 더 포함하고;
또한 상기 방법은,
생성적 적대 네트워크를 이용하여 업데이트 후의 특징 맵을 처리하여 상기 다음 프레임에 대응되는, 타겟 도메인의 이미지를 생성하는 단계를 더 포함하는 영상 프레임 처리 방법.
영상 프레임 처리 장치로서,
영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류를 이용하여, 상기 이전 프레임의 특징 맵을 변환시켜 변환 후 특징 맵을 획득하도록 구성되는 변환 유닛;
상기 광류의 오차에 기반하여 상기 변환 후 특징 맵의 가중치를 결정하고 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵과의 특징의 가중 결과에 기반하여 융합 특징 맵을 획득하도록 구성되는 융합 유닛 - 상기 광류의 오차는 생성된 광류와 실제 광류 사이의 편차를 가리킴 - ; 및
상기 다음 프레임의 특징 맵을 업데이트하도록 구성되는 업데이트 유닛 - 업데이트 후의 특징 맵은 상기 융합 특징 맵임 - 을 포함하고,
상기 광류는 밀집 광류이며,
상기 장치는,
상기 이전 프레임과 상기 다음 프레임을 특징 맵의 치수로 축소하고 축소 후 이전 프레임과 축소 후 다음 프레임 사이의 밀집 광류를 결정하여 당해 밀집 광류를 상기 영상 중 인접된 이전 프레임과 다음 프레임에 기반하여 생성된 광류로 하도록 구성되는 광류 생성 유닛을 더 포함하며,
상기 융합 유닛은 나아가,
상기 광류의 오차에 기반하여 상기 변환 후 특징 맵의 가중치를 결정하는 것을,
하기와 같은 방식인,
상기 밀집 광류를 이용하여 상기 축소 후 이전 프레임을 변환시켜 변환 후 이전 프레임을 획득하는 것;
각 좌표의 화소점의, 상기 변환 후 이전 프레임 및 상기 축소 후 다음 프레임에서의 화소 값 사이의 차이값에 기반하여 당해 좌표의 화소점에서의 상기 밀집 광류의 오차를 결정하는 것;
상기 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 상기 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 것 - 상기 지정 이미지의 치수가 타겟 치수임 - ; 및
상기 밀집 광류의 오차와 상기 판단 결과에 기반하여 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 것으로 수행하도록 구성되는 영상 프레임 처리 장치.
삭제
삭제
제8항에 있어서,
상기 융합 유닛은 나아가,
상기 밀집 광류를 이용하여 지정 이미지를 변환시켜 획득된 이미지 중의 당해 좌표의 화소점에 관해, 같은 대상을 포함하는 화소점이 상기 지정 이미지에 존재하는지 여부를 판단하여 판단 결과를 획득하는 것 - 상기 지정 이미지의 치수가 상기 타겟 치수임 - 을,
하기와 같은 방식인,
각 화소점의 화소 값이 모두 사전설정 화소 값인 지정 이미지를 획득하는 것;
상기 밀집 광류를 이용하여 상기 지정 이미지를 변환시켜 변환 후 지정 이미지를 획득하는 것;
변환 후 지정 이미지 중의 각 좌표의 화소점에 대하여, 상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같은지 여부를 판단하는 것;
상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같은 경우, 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임을 결정하는 것; 및
상기 변환 후 지정 이미지 중의 당해 좌표의 화소점의 화소 값이 상기 사전설정 화소 값보다 크거나 같지 않은 경우, 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임을 결정하는 것으로 수행하도록 구성되는 영상 프레임 처리 장치.
제8항에 있어서,
상기 융합 유닛은 나아가,
상기 밀집 광류의 오차와 상기 판단 결과에 기반하여 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 결정하는 것을,
하기와 같은 방식인,
상기 밀집 광류의 오차는 지정 오차 역치보다 작다는 것 및 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재한다는 것임이 결정된 데 응답하여, 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제1 후보 가중치로 결정하는 것 - 상기 축소 후 다음 프레임 중의 당해 좌표의 화소점의 화소 값이 클수록 상기 지정 오차 역치가 큼 -; 및
상기 밀집 광류의 오차는 지정 오차 역치보다 작지 않다는 것 및/또는 상기 판단 결과는 같은 대상을 포함하는 화소점이 존재하지 않는다는 것임이 결정된 데 응답하여, 상기 변환 후 특징 맵 중의 당해 좌표의 화소점의 가중치를 제2 후보 가중치로 결정하는 것 - 상기 제1 후보 가중치는 상기 제2 후보 가중치보다 큼 - 으로 수행하도록 구성되는 영상 프레임 처리 장치.
제8항에 있어서,
상기 장치는 나아가,
상기 변환 후 특징 맵의 가중치 및 상기 다음 프레임의 특징 맵의 가중치에 따라 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵에 대해 특징의 가중을 진행하여 상기 변환 후 특징 맵과 상기 다음 프레임의 특징 맵과의 특징의 가중 결과를 획득하도록 구성되고, 상기 변환 후 특징 맵의 가중치가 클수록 상기 다음 프레임의 특징 맵의 가중치가 작은 영상 프레임 처리 장치.
제8항에 있어서,
상기 장치는,
생성적 적대 네트워크를 이용하여 영상의 다음 프레임의 특징 맵과 이전 프레임의 특징 맵을 생성하도록 구성되는 특징 생성 유닛을 더 포함하고;
또한 상기 장치는,
생성적 적대 네트워크를 이용하여 업데이트 후의 특징 맵을 처리하여 상기 다음 프레임에 대응되는, 타겟 도메인의 이미지를 생성하도록 구성되는 타겟 생성 유닛을 더 포함하는 영상 프레임 처리 장치.
전자 기기에 있어서,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고,
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상기 하나 또는 복수의 프로세서가 제1항, 제4항, 제5항, 및 제7항 중 어느 한 항의 방법을 구현하도록 하는 전자 기기.
컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체에 있어서,
당해 프로그램이 프로세서에 의해 실행되는 경우, 제1항, 제4항, 제5항, 및 제7항 중 어느 한 항의 방법이 구현되는 컴퓨터 판독가능 저장 매체.
매체에 저장된 컴퓨터 프로그램으로서,
당해 프로그램이 프로세서에 의해 실행되는 경우, 제1항, 제4항, 제5항, 및 제7항 중 어느 한 항의 방법이 구현되는 매체에 저장된 컴퓨터 프로그램.