KR20210088436A

KR20210088436A - 이미지 처리 방법, 장치 및 전자 기기

Info

Publication number: KR20210088436A
Application number: KR1020207014582A
Authority: KR
Inventors: 이한 장; 카이게 첸; 바이룬 왕; 슈아이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2019-12-30
Filing date: 2020-04-17
Publication date: 2021-07-14
Also published as: KR102421604B1; CN113228105B; SG10201913798WA; CN113228105A; AU2020294190A1; WO2021136981A1; AU2020294190B2; JP2022519398A; JP7121132B2

Abstract

본 발명의 실시예는 이미지 처리 방법, 장치 및 전자 기기를 개시한다. 상기 방법은, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하는 단계; 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하는 단계; 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계; 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계; 및 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계를 포함한다.

Description

이미지 처리 방법, 장치 및 전자 기기

본 출원은 2019년 12월 30일에 싱가폴 특허청에 제출된, 발명의 명칭이 "IMAGE PROCESSING METHOD AND APPARATUS, AND ELECTRONIC DEVICE(이미지 처리 방법, 장치 및 전자 기기)"이고, 출원 번호가 10201913798W의 싱가폴 특허 출원의 우선권을 주장하며, 상기 특허 출원의 전체 내용은 참조로 본 출원에 인용된다.

본 발명은 이미지 처리 기술에 관한 것이지만, 이미지 처리 기술에 한정되지 않으며, 구체적으로 이미지 처리 방법, 장치 및 전자 기기에 관한 것이다.

이미지의 목표 물체의 인식 및 위치 결정은 이미지 인식 분야에서의 일종의 과제이다. 그러나 이미지 소스를 얻는 카메라는 필연적으로 진동 간섭을 받게 되며, 이로 인해 목표 물체가 이미지에서 변위가 발생하여, 목표 물체의 인식 및 위치 결정에 큰 영향을 초래한다.

본 발명의 실시예는 이미지 처리 방법, 장치 및 전자 기기를 제공한다.

본 발명의 실시예의 기술 방안은 아래와 같이 실현된다.

본 발명의 실시예는 이미지 처리 방법을 제공하며, 상기 방법은,

목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하는 단계;

상기 키 프레임 이미지의 하나 또는 복수 개의 특징점 및 상기 처리될 프레임 이미지의 하나 또는 복수 개의 특징점을 각각 추출하는 단계;

상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계;

매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계; 및

상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계를 포함한다.

상기 방안에 있어서, 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계는,

상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득하는 단계 - 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함함 - ;

제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 및 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득하는 단계;

상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계; 및

상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정하는 단계를 포함한다.

상기 방안에 있어서, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계는,

상기 적어도 하나의 제1 비교 결과에 기반하여 제1 문자열을 생성하는 단계;

상기 적어도 하나의 제2 비교 결과에 기반하여 제2 문자열을 생성하는 단계; 및

상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍(hamming) 거리를 결정하며, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계를 포함한다.

상기 방안에 있어서, 상기 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계는, 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하는 단계 - 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점 및 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함함 - ; 및

상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 단계를 포함한다.

상기 방안에 있어서, 상기 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하는 단계는, 상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하는 단계;

상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하는 단계; 및

대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하는 단계를 포함한다.

상기 방안에 있어서, 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하는 단계는,

상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하는 단계;

상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하는 단계; 및

상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하는 단계를 포함한다.

상기 방안에 있어서, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 단계는, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하는 단계를 포함한다.

상기 방안에 있어서, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계는, 상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환하여, 목표 프레임 이미지를 획득하는 단계를 포함한다.

상기 방안에 있어서, 목표 프레임 이미지를 획득한 후, 상기 방법은, 상기 목표 프레임 이미지의 특징점을 추출하는 단계;

상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정하는 단계 - 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다름 - ; 및

상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 상기 획득된 목표 프레임 이미지를 보류하는 단계를 포함한다.

상기 방안에 있어서, 상기 방법은, 상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제하는 단계를 더 포함한다.

본 발명의 실시예는 또한 이미지 처리 장치를 제공하며, 상기 장치는 이미지 획득 유닛, 특징 추출 유닛, 매칭 유닛 및 변환 유닛을 포함하고;

상기 이미지 획득 유닛은, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하기 위한 것이고;

상기 특징 추출 유닛은, 상기 키 프레임 이미지의 하나 또는 복수 개의 특징점 및 상기 처리될 프레임 이미지의 하나 또는 복수 개의 특징점을 각각 추출하기 위한 것이며;

상기 매칭 유닛은, 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하기 위한 것이고;

상기 변환 유닛은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하며; 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하기 위한 것이다.

상기 방안에 있어서, 상기 매칭 유닛은, 상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득 - 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함함 - 하고; 제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득하고; 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하며; 상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정하기 위한 것이다.

상기 방안에 있어서, 상기 매칭 유닛은, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 측면에서, 상기 복수의 제1 비교 결과에 기반하여 제1 문자열을 생성하고; 상기 복수의 제2 비교 결과에 기반하여 제2 문자열을 생성하며; 상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍 거리를 결정하고, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하기 위한 것이다.

상기 방안에 있어서, 상기 장치는 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득 - 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점과 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함함 - 하기 위한 스크리닝 유닛을 더 포함하며;

상기 변환 유닛은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 측면에서, 상기 스크리닝 유닛에 의해 획득된 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하기 위한 것이다.

상기 방안에 있어서, 상기 스크리닝 유닛은, 상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하며; 상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하고; 대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하기 위한 것이다.

상기 방안에 있어서, 상기 특징 추출 유닛은, 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하며; 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하고; 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하기 위한 것이다.

상기 방안에 있어서, 상기 변환 유닛은, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 측면에서, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하기 위한 것이다.

상기 방안에 있어서, 상기 변환 유닛은, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 측면에서, 상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환 처리하여, 목표 프레임 이미지를 획득하기 위한 것이다.

상기 방안에 있어서, 상기 장치는 결정 유닛 및 처리 유닛을 더 포함하며;

상기 특징 추출 유닛은, 또한 상기 목표 프레임 이미지의 특징점을 추출하기 위한 것이고;

상기 결정 유닛은, 상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정 - 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다름 - 하기 위한 것이며;

상기 처리 유닛은, 상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 상기 획득된 목표 프레임 이미지를 보류하기 위한 것이다.

상기 방안에 있어서, 상기 처리 유닛은, 또한 상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제하기 위한 것이다.

본 발명의 실시예는 또한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때 본 발명의 실시예에 따른 상기 방법의 단계가 구현된다.

본 발명의 실시예는 또한 메모리, 프로세서 및 메모리에 저장되며 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 기기를 제공하며, 상기 프로세서가 상기 프로그램을 실행할 때 본 발명의 실시예에 따른 상기 방법의 단계가 구현된다.

본 발명의 실시예에 의해 제공된 이미지 처리 방법, 장치 및 전자 기기를 제공하며, 상기 방법은, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하는 단계; 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하는 단계; 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계; 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계; 및 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계를 포함한다. 본 발명의 실시예의 기술 방안을 사용하면, 처리될 프레임 이미지가 획득된 변환 관계에 의해 처리되어, 획득된 목표 프레임 이미지에서의 목표 대상의 목표 영역의 시야각이 키 프레임 이미지에서의 목표 대상의 목표 영역의 시야각과 기본적으로 일치하며, 즉 목표 프레임 이미지를 수집하기 위한 기기와 목표 프레임 이미지에서의 목표 대상의 상대적 위치 관계는, 키 프레임 이미지를 수집하기 위한 기기와 키 프레임 이미지에서의 목표 대상의 상대적 위치 관계와 기본적으로 일치함으로써, 카메라 진동 간섭 또는 카메라 변위로 인한 수집된 이미지에서의 목표 대상의 변위 문제를 해결하고, 목표 대상의 정확한 위치 결정을 실현한다.

도 1은 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 1이다.
도 2는 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 2이다.
도 3은 본 발명의 실시예의 이미지 처리 방법 중의 픽셀 포인트 쌍을 선택하는 예시도이다.
도 4는 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 3이다.
도 5는 본 발명의 실시예의 이미지 처리 장치 구성의 예시적인 구조도 1이다.
도 6은 본 발명의 실시예의 이미지 처리 장치 구성의 예시적인 구조도 2이다.
도 7은 본 발명의 실시예의 이미지 처리 장치 구성의 예시적인 구조도 3이다.
도 8은 본 발명의 실시예의 전자 기기의 하드웨어 구성의 예시적인 구조도이다.

아래에 도면 및 구체적인 실시예를 참조하여 본 발명을 더 상세하게 설명한다.

본 발명의 실시예는 이미지 처리 방법을 제공한다. 도 1은 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 1이다. 도 1에 도시된 바와 같이, 상기 방법은 다음의 단계들을 포함할 수 있다.

단계 101에 있어서, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득한다.

단계 102에 있어서, 상기 키 프레임 이미지의 하나 또는 복수 개의 특징점 및 상기 처리될 프레임 이미지의 하나 또는 복수 개의 특징점을 각각 추출한다.

단계 103에 있어서, 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정한다.

단계 104에 있어서, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정한다.

단계 105에 있어서, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득한다.

본 실시예에 있어서, 상기 키 프레임 이미지는 완전하고 뚜렷하며 가리어지지 않은 목표 대상을 포함하는 이미지이다. 상기 처리될 프레임 이미지는 상기 목표 대상을 포함하는 이미지이다. 여기서, 상기 키 프레임 이미지 및 상기 처리될 프레임 이미지는 모두 적어도 하나의 목표 대상을 포함할 수 있다.

본 실시예에 있어서, 상기 키 프레임 이미지 및 상기 처리될 프레임 이미지는 동일한 이미지 수집 기기에 의해 수집된 이미지일 수 있다. 다른 실시예에 있어서, 상기 키 프레임 이미지 및 상기 처리될 프레임 이미지는 상이한 이미지 수집 기기에 의해 수집된 이미지일 수도 있다. 이해할 수 있는 것은, 처리될 프레임 이미지는 복수의 프레임의 이미지일 수 있으며; 상기 복수의 프레임의 이미지에서의 일부 프레임 이미지는 제1 이미지 수집 기기에 의해 수집될 수 있고, 일부 프레임 이미지는 제2 이미지 수집 기기에 의해 수집될 수 있으며, 제1 이미지 수집 기기 및 제2 이미지 수집 기기의 레이아웃 위치는 상대적으로 가깝거나, 제1 이미지 수집 기기와 수집된 영역의 상대적 위치 관계는 제2 이미지 수집 기기와 수집된 영역의 상대적 위치 관계와 유사하다.

본 발명의 일 선택적인 실시예에 있어서, 상기 키 프레임 이미지는 상기 목표 대상의 평면도일 수 있다. 즉 상기 키 프레임 이미지를 수집하기 위한 이미지 수집 기기는 목표 대상의 위에 설치되며, 목표 대상의 위에 설치된 이미지 수집 기기에 의해 복수의 프레임의 이미지가 수집되고, 상기 복수의 프레임의 이미지로부터 뚜렷하며 완전하고 가리어지지 않은 목표 대상의 이미지를 키 프레임 이미지으로 선택하며, 상기 처리될 프레임 이미지는 또한 상기 목표 대상의 평면도일 수도 있다.

예를 들어, 목표 대상의 위에 설치된 이미지 수집 기기에 의해 목표 대상을 포함한 비디오가 수집될 수 있으며, 비디오로부터 뚜렷하고, 가리어지지 않으며 목표 대상이 완전한 일 프레임 이미지를 키 프레임 이미지로서 선택할 수 있고, 키 프레임 이미지를 제외한 비디오 중의 다른 프레임 이미지를 처리될 이미지로 한다.

본 발명의 일 선택적인 실시예에 있어서, 상기 목표 대상은 게임 테이블일 수 있으며, 본 실시예의 이미지 인식 방법은 키 프레임 이미지 및 처리될 프레임 이미지에서의 목표 대상(예를 들어, 게임 테이블)을 인식하기 위해 사용될 수 있고, 처리될 프레임 이미지에서의 목표 대상은 키 프레임 이미지에서의 목표 대상이 배치된 위치를 향해 정렬되어, 목표 대상의 위치 결정을 달성하여, 후속적인 이미지 검출 인식에 편리하도록 하며, 게임의 지능적 조작 및 모니터링의 연구 개발에 적용되도록 할 수 있다. 이해할 수 있는 것은, 상기 목표 대상은 게임 테이블에 한정되는 것이 아니라, 다른 물체를 목표 대상으로 할 수도 있으며, 본 실시예는 이를 한정하지 않는다.

본 실시예에 있어서, 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점은 이미지 중의 꼭지점일 수 있다. 상기 꼭지점은 극점, 즉 특정 특성에서 강도가 가장 크거나 가장 작은 점과 같이 특정 측면에서 특성이 각별히 두드러지는 점이다. 예를 들어, 둘 이상의 선 가장자리 교차점, 또는 이미지 중의 그라디언트 값 및 그라디언트 방향의 변화율이 가장 큰 점 등이다. 꼭지점은 이미지의 중요한 특징을 보류하면서, 데이터 량을 효과적으로 감소시킬 수 있기 때문에, 본 실시예에서는 이미지에서의 꼭지점의 추출을 통해, 꼭지점을 특징점으로 하여 후속적인 매칭, 변환 관계의 결정을 수행함으로써, 컴퓨팅 속도를 향상시키며, 후속적인 실시간 처리가 가능하도록 한다. 이해할 수 있는 것은, 본 실시예에서 추출된 이미지의 특징점은 꼭지점으로 한정되지 않으며, 키 포인트과 같은 다른 유형의 특징점일 수도 있다.

본 실시예에 있어서, 그레이 스케일 이미지 방법, 이진 이미지 방법, 윤곽 곡선 방법 등에 기반하여 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 추출할 수 있다. 일 실시 형태로서, 그레이 스케일 이미지 방법에 기반하여 이미지의 특징점(예들 들어, 이미지의 꼭지점 추출)을 추출하는 것을 예로 들면, 이미지에 대한 그라디언트의 계산을 통해 이미지의 가장자리 특징점을 결정하며, 가장자리 특징점에 기반하여 가장자리 곡선을 결정하고, 가장자리 곡선의 곡률에 대한 계산을 통해 이미지의 꼭지점을 결정할 수 있다. 이해할 수 있는 것은, 본 실시예는 상기 방법에 의해 이미지의 특징점(예들 들어, 꼭지점)을 추출하는 것으로 한정되지 않으며, 임의의 꼭지점 검출 방법은 모두 본 발명의 실시예에 적용될 수 있다.

본 실시예에서, 키 프레임 이미지 및 처리될 프레임 이미지에 있어서, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점은 구체적으로 아래와 같이 설명될 수 있다. 즉 제1 특징점이 상기 키 프레임 이미지에서의 특징(예들 들어, 특정 측면의 속성)은 상기 제2 특징점이 상기 처리될 프레임 이미지에서의 특징(예들 들어, 특정 측면의 속성)과 매칭되며; 여기서, 키 프레임 이미지의 특징점은 제1 특징점(하나 이상 존재 가능함)으로 표시될 수 있으며, 처리될 프레임 이미지의 특징점은 제2 특징점(하나 이상 존재 가능함)으로 표시될 수 있다.

본 발명의 일 선택적인 실시예에 있어서, 매칭 관계를 가진 제1 특징점 및 제2 특징점의 좌표에 기반하여 변환 매트릭스를 결정할 수 있으며, 상기 변환 매트릭스는 상기 처리될 프레임 이미지의 수집 시야각을 상기 키 프레임 이미지의 수집 시야각과 동일하게 변환시키는데 사용된다. 하지만, 어떠한 이유로, 예들 들어, 획득된 제1 특징점 및 제2 특징점이 완전한 매칭 관계를 갖지 않으며, 즉 획득된 특징점 쌍에 특정 오차가 존재하고; 또 예들 들어, 결정된 변환 관계는 처리될 프레임 이미지의 수집 시야각을 엄격하게 키 프레임 이미지의 수집 시야각과 동일하도록 변환시킬 수 없다. 즉 결정된 변환 관계에 특정 오차가 존재하므로, 본 실시예에서는 처리될 프레임 이미지의 수집 시야각을 키 프레임 이미지의 수집 시야각과 동일하게 변환시키는 것을 예상하지만, 키 프레임 이미지의 수집 시야각과 근접하지만 차이가 있는 이미지로 변환될 수 있기 때문에, 변환 처리 후의 이미지를 목표 프레임 이미지라고 지칭하며; 상기 목표 프레임 이미지의 수집 시야각은 상기 키 프레임 이미지의 수집 시야각과 일치할 수 있고, 상기 키 프레임 이미지의 수집 시야각과 다를 수도 있다.

본 발명의 실시예의 기술 방안을 이용하면, 처리될 프레임 이미지가 획득된 변환 관계에 의해 처리되어, 획득된 목표 프레임 이미지에서의 목표 대상의 목표 영역의 시야각이 키 프레임 이미지에서의 목표 대상의 목표 영역의 시야각과 기본적으로 일치하며, 이로써 카메라 진동 간섭 또는 카메라 변위로 인한 수집된 이미지에서의 목표 대상의 변위 문제를 해결하고, 목표 대상의 정확한 위치 결정을 실현한다.

전술한 실시예에 기반하여, 본 발명의 실시예는 또한 이미지 처리 방법을 제공한다. 도 2는 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 2이다. 도 2에 도시된 바와 같이, 상기 방법은 다음의 단계들을 포함할 수 있다.

단계 201에 있어서, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득한다.

단계 202에 있어서, 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출한다.

단계 203에 있어서, 상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득하고, 여기서, 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함한다.

단계 204에 있어서, 제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득한다.

단계 205에 있어서, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정한다.

단계 206에 있어서, 상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정한다.

단계 207에 있어서, 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하며, 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점과 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함한다.

단계 208에 있어서, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정한다.

단계 209에 있어서, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지에서의 상기 목표 대상에 대응하는 목표 영역을 변환 처리하여, 목표 프레임 이미지를 획득한다.

본 실시예의 단계 201 내지 단계 202의 상세한 설명에 대해서는 전술한 실시예에서의 단계 101 내지 단계 102의 설명을 구체적으로 참조할 수 있으며, 여기서 상세하게 설명하지 않는다.

본 발명의 일 선택적인 실시예에 있어서, 본 실시예의 단계 202에서, 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하는 단계는, 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하는 단계; 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하는 단계; 및 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하는 단계를 포함한다.

본 실시예에 있어서, 상기 키 프레임 이미지 및 상기 처리될 프레임 이미지의 특징점의 추출 방법은 모두 상기한 방법을 사용할 수 있으며, 즉 키 프레임 이미지 및 처리될 프레임 이미지를 모두 그레이 스케일 이미지로 변환시키고; 선택된 픽셀 포인트를 중심으로 하며, 기설정 픽셀 거리는 반경의 기설정 영역 범위 내로 하여, 각 픽셀 포인트에 대해, 상기 기설정 영역 범위 내의 다른 픽셀 포인트의 그레이 스케일 값이 선택된 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단한다. 예들 들어, 키 프레임 이미지에서의 임의의 픽셀 포인트 P를 선택하여, 픽셀 포인트 P를 중심으로, 3 개의 픽셀 거리를 반경으로 원을 그려 원형 영역을 얻으며; 원형 영역 내의 픽셀 포인트의 그레이 스케일 값이 픽셀 포인트 P의 그레이 스케일 값보다 크거나 작으면, 픽셀 포인트 P는 하나의 특징점인 것으로 결정될 수 있다. 이해할 수 있는 것은, 본 실시예에서의 상기 기설정 영역 범위는 원형 영역 범위로 한정되지 않으며, 다른 형태의 영역 범위일 수도 있다.

이해할 수 있는 것은, 상기 키 프레임 이미지 및 상기 처리될 프레임 이미지의 특징점의 추출 방법은 모두 상기한 방법을 사용할 수 있으며, 다른 특징점 추출 방법을 사용할 수도 있고, 본 실시예는 이를 한정하지 않는다.

본 실시예에 있어서, 처리될 프레임 이미지에서의 각 특징점(제2 특징점으로 표시 가능)이 키 프레임 이미지의 특징점(제1 특징점으로 표시 가능)과 매칭될 수 있는데, 구체적으로, 처리될 프레임 이미지에서의 각 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 선택하여 키 프레임 이미지에서의 각 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍과 매칭시키며; 여기서, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍은 모두 적어도 하나의 그룹의 픽셀 포인트 쌍을 포함할 수 있고, 각 픽셀 포인트 쌍은 모두 두 픽셀 포인트를 포함할 수 있다. 상기 제1 그룹 픽셀 포인트 쌍은 서로 관련된 제1 특징점을 중심으로 한 기설정 영역 범위 내에서 선택한 적어도 하나의 그룹의 픽셀 포인트 쌍을 포함하며; 상응하게, 상기 제2 그룹 픽셀 포인트 쌍은 서로 관련된 제2 특징점을 중심으로 한 상기 기설정 영역 범위 내에서 선택한 적어도 하나의 그룹의 픽셀 포인트 쌍을 포함한다.

여기서, 제1 그룹 픽셀 포인트 쌍의 각 제1 픽셀 포인트 쌍이 상기 기설정 영역 범위 내에서 랜덤으로 선택된 픽셀 포인트 쌍일 경우, 상기 제2 그룹 픽셀 포인트 쌍의 각 제2 픽셀 포인트 쌍과 이와 관련된 특징점의 상대적 위치 관계는, 상기 제1 그룹 픽셀 포인트 쌍의 각 픽셀 포인트 쌍과 이와 관련된 특징점의 상대적 위치 관계와 일치한다.

도 3은 본 발명의 실시예의 이미지 처리 방법 중의 픽셀 포인트 쌍을 선택하는 예시도이다. 도 3에 도시된 바와 같이, 도 3의 각 격자는 하나의 픽셀 포인트를 나타내며, 도 3의 픽셀 포인트 P가 특징점이고, 키 프레임 이미지의 제1 특징점 P로서 표시되면, 기설정 규칙(예들 들어, 랜덤 방법)에 따라 제1 특징점 P와 관련된 제1 그룹 픽셀 포인트 쌍을 선택한다. 도 3에 도시된 제1 그룹 픽셀 포인트 쌍은 세 그룹의 픽셀 포인트 쌍을 포함하며, 제1 특징점 P를 중심으로 하고, 기설정 픽셀 거리를 반경으로 하는 원형 영역 내에서 상기 세 그룹의 픽셀 포인트 쌍을 랜덤으로 선택할 수 있다. 상응하게, 제1 특징점 P와의 매칭 관계를 만족시키는 제2 특징점을 결정하기 위해, 처리될 프레임 이미지에서, 각 특징점에 대해, 제1 그룹 픽셀 포인트 쌍의 각 그룹의 픽셀 포인트 쌍과, 관련된 제1 특징점과의 상대적 위치 관계가 모두 일치하는 제2 그룹 픽셀 포인트 쌍을 결정하며, 즉 제1 그룹 픽셀 포인트 쌍의 각 픽셀 포인트 쌍과, 관련된 제1 특징점과의 상대적 위치 관계에 따라 제2 픽셀 포인트 쌍을 결정하고, 또한 다시 말하면, 처리될 프레임 이미지에서의 각 특징점에 대해, 도 3에 도시된 픽셀 포인트 쌍과, 관련된 특징점과의 상대적 위치 관계와 동일한 상대적 위치 관계를 가진 픽셀 포인트 쌍을 선택한다. 예들 들어, 처리될 프레임 이미지에서의 각 특징점에 대해, 예들 들어, 도 3에 도시된, 특징점에서 수직 상향으로 3 개의 픽셀 포인트 떨어진 픽셀 포인트 1, 수직 하향으로 하나의 픽셀 포인트 떨어지고, 수평 좌측 방향으로 두 픽셀 포인트 떨어진 픽셀 포인트 2, 픽셀 포인트 1 및 픽셀 포인트 2에 의해 구성된 픽셀 포인트 쌍을 처리될 프레임 이미지에서의 하나의 그룹의 픽셀 포인트 쌍으로 한다. 이해할 수 있는 것은, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍에서 대응하는 제1 픽셀 포인트 쌍 및 제2 픽셀 포인트 쌍은 동일한 선택 규칙을 채택한다. 즉 제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트와, 관련된 제1 특징점과의 상대적 위치 관계는 대응하는 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트와, 관련된 제2 특징점(즉 처리될 프레임 이미지의 하나의 특징점)과의 상대적 위치 관계와 동일하다.

본 발명의 일 선택적인 실시예에 있어서, 상기 제1 특징점은 상기 키 프레임 이미지 중, 상기 목표 대상을 포함하는 목표 영역의 특징점일 수 있으며; 상응하게, 상기 제2 특징점은 또한 상기 처리될 프레임 이미지에서의 상기 목표 대상을 포함하는 목표 영역의 특징점일 수 있다. 이해할 수 있는 것은, 본 실시예에서 목표 대상의 목표 영역의 특징점은 매칭되지만, 키 프레임 이미지 및 처리될 프레임 이미지에서의 목표 영역을 제외한 다른 영역의 특징점을 무시할 수 있으므로, 데이터 처리량을 감소시킬 수 있다.

본 실시예의 단계 204에 있어서, 제1 그룹 픽셀 포인트 쌍의 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대해, 각 그룹의 픽셀 포인트 쌍의 두 픽셀 포인트의 픽셀 값을 각각 비교하면, 제1 그룹 픽셀 포인트 쌍의 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대해, 적어도 하나의 제1 비교 결과를 획득할 수 있다. 상응하게, 제2 그룹 픽셀 포인트 쌍의 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대해, 적어도 하나의 제2 비교 결과를 획득할 수 있다. 일부 실시예에서, 제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 그레이 스케일 값을 비교하여, 그레이 스케일 값의 차이값으로 표시되는 제1 비교 결과를 얻을 수 있으며; 상응하게, 그레이 스케일 값의 차이값으로 표시되는 제2 비교 결과를 얻을 수 있다.

예시적으로, 위로부터 아래로, 왼쪽으로부터 오른쪽으로의 방향에 따라, 위 또는 왼쪽의 위치의 픽셀 포인트의 픽셀 값 또는 그레이 스케일 값이 감수로 사용될 수 있으며, 아래 또는 오른쪽의 픽셀 포인트의 픽셀 값 또는 그레이 스케일 값을 피감수로서 사용될 수 있다. 이해할 수 있는 것은, 본 실시예에서의 두 픽셀 포인트의 비교 규칙은 상기에 한정되지 않으며, 상기 제1 비교 결과 및 상기 제2 비교 결과는 동일한 비교 규칙을 사용한다.

본 발명의 일 선택적인 실시예에 있어서, 본 실시예의 단계 205에서, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계는, 상기 적어도 하나의 제1 비교 결과에 기반하여 제1 문자열을 생성하는 단계; 상기 적어도 하나의 제2 비교 결과에 기반하여 제2 문자열을 생성하는 단계; 및 상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍 거리를 결정하며, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계를 포함한다.

본 실시예에 있어서, 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍은 각각 관련된 특징점의 특징 서술자로서 사용될 수 있으며, 본 실시예에서는 두 특징 서술자 사이의 유사성을 결정하는 방법에 의해 대응하는 제1 특징점 및 제2 특징점이 매칭 관계를 만족시키는지 여부를 결정할 수 있다. 이해할 수 있는 것은, 키 프레임 이미지 및 처리될 프레임 이미지에서 대응하는 두 개의 특징점 주위의 픽셀 포인트 쌍이 유사한지 여부를 결정하는 방법을 통해, 키 프레임 이미지 및 처리될 프레임 이미지에서 대응하는 두 특징점이 매칭하는지 여부를 결정한다.

예를 들어, 제1 그룹 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과를 순차적으로 배열하여, 하나의 이진 문자열로 변환시키며; 상응하게, 제2 그룹 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과를 순차적으로 배열하여, 다른 하나의 이진 문자열로 변환시키고, 획득된 두 개의 이진 문자열에 따라 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정한다. 여기서, 상기 적어도 하나의 제1 비교 결과의 배열 순서는 상기 적어도 하나의 제2 비교 결과의 배열 순서와 일치하다. 도 3에 도시된 세 그룹의 픽셀 포인트 쌍을 예로 들어, 3개의 제1 비교 결과 및 3개의 제2 비교 결과를 각각 획득할 수 있으며; 동일한 정렬 규칙에 따라 3개의 제1 비교 결과 및 3개의 제2 비교 결과를 정렬하는데; 예들 들어, 도 3에 도시된 "1"에 대응하는 두 픽셀 포인트의 비교 결과를 첫번째 비교 결과로 하며, 도 3에 도시된 "2"에 대응하는 두 픽셀 포인트의 비교 결과를 두번째 비교 결과로 하고, 도 3에 도시된 "3"에 대응하는 두 픽셀 포인트의 비교 결과를 세번째의 비교 결과로 하여, 첫번째 비교 결과를 상위에 정렬하며, 두번째 비교 결과는 중간에 정렬하고, 세번째의 비교 결과는 하위에 정렬한다. 이해할 수 있는 것은, 본 실시예에서의 비교 결과의 정렬 규칙은 상기에 한정되지 않으며, 상기 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 제2 비교 결과는 동일한 정렬 규칙을 사용한다.

본 실시예에 있어서, 예를 들어, 두 개의 이진 문자열 사이의 해밍 거리를 계산하여, 상기 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정할 수 있다. 이해할 수 있는 것은, 본 실시예는 다른 거리를 사용하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정할 수 있으며, 본 실시예는 이를 한정하지 않는다.

본 실시예에 있어서, 계산하여 획득된 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이 제1 기설정 임계값에 도달할 경우, 제1 특징점 및 제2 특징점이 매칭 관계를 만족시키는 것으로 결정할 수 있다. 그러나, 이때 매칭 관계를 만족시키는 획득된 제1 특징점 및 제2 특징점에 의해 형성된 특징점 쌍은 정확하지 않을 수 있으며, 매칭이 불정확한 경우가 있을 수 있기 때문에, 단계 207을 통해 모든 매칭 관계를 만족하는, 제1 특징점 및 제2 특징점을 포함하는 특징점 쌍에 대해 스크리닝을 수행해야 한다.

일부 선택적 실시예에서, 본 실시예의 단계 207에 있어서, 상기 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하는 단계는, 상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하는 단계; 상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하는 단계; 및 대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하는 단계를 포함한다.

본 실시예에 있어서, 특징점 쌍 세트에서의 각 그룹의 특징점 쌍의 유사성을 결정할 수 있는데, 즉 각 그룹의 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 결정하며; 여기서, 각 그룹의 특징점 쌍의 유사성은 전술한 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이고, 상기 특징점 쌍 세트에서의 각 특징점 쌍이 대응하는 유사성의 최소값을 결정한다. 예들 들어, 특징점 쌍 세트에는 A1 및 A2, B1 및 B2, C1 및 C2로 각각 표시되는 세 그룹의 특징점 쌍이 포함될 수 있으며; 여기서, B1 및 B2의 유사성이 제일 크고, 유사성의 최대값을 k로 표기하면, k에 기반하여 제1 임계값을 결정할 수 있으며, 상기 제1 임계값은 k보다 작다. 즉 상기 제1 임계값은 유사성의 최대값보다 작다. A1 및 A2의 유사성이 제1 임계값보다 작으면, A1 및 A2는 미스매칭의 특징점 쌍인 것으로 결정하며, 특징점 쌍 세트로부터 A1 및 A2를 삭제한다. C1 및 C2의 유사성이 상기 제1 임계값보다 크면, C1 및 C2가 정확한 매칭의 특징점 쌍인 것임을 나타낼 수 있다. 상기한 내용에 기반하여 목표 특징점 쌍 세트를 획득하며, 상기 목표 특징점 쌍 세트에는 적어도 하나의 그룹의 목표 특징점 쌍을 포함할 수 있다.

일부 실시 형태에서, 본 실시예에서의 특징점 쌍에 대응하는 유사성은 또한 특징점 쌍에 각각 대응하는 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이다. 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이 해밍 거리(예를 들어, 제1 해밍 거리)로 표현되는 경우, 제1 해밍 거리가 클 수록 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이 작아지는 것을 나타내며, 제1 해밍 거리가 작을 수록, 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 유사성이 커지는 것을 나타낼 수 있다. 상기한 내용에 기반하여, 본 실시예는 또한 제1 그룹 픽셀 포인트 쌍 및 제2 그룹 픽셀 포인트 쌍의 대응하는 제1 해밍 거리에 기반하여 제1 임계값을 결정할 수 있다. 예들 들어, 특징점 쌍 세트에는 A1 및 A2, B1 및 B2, C1 및 C2로 각각 표시되는 세 그룹의 특징점 쌍이 포함될 수 있으며; 여기서, B1 및 B2의 해밍 거리가 가장 작고, k로 표기하면, 상기 제1 임계값이 k보다 큰 것으로 결정할 수 있으며, 예들 들어, 제1 임계값을 2k로 취한다. A1 및 A2에 대응하는 해밍 거리가 제1 임계값(즉 2k)보다 크면, A1 및 A2가 미스매칭의 특징점 쌍인 것으로 결정할 수 있으며, 특징점 쌍 세트로부터 A1 및 A2를 삭제한다. C1 및 C2의 유사성이 상기 제1 임계값(즉 2k)보다 작거나 같으면, C1 및 C2가 정확한 매칭의 특징점 쌍인 것임을 나타낼 수 있다.

본 실시예의 단계 208에 있어서, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 단계는, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하는 단계를 포함한다.

본 실시예에 있어서, 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함된, 키 프레임 이미지에 대응하는 제1 특징점의 제1 좌표 및 처리될 프레임 이미지에 대응하는 제2 특징점의 제2 좌표에 기반하여 변환 매트릭스를 결정할 수 있다. 일 실시 형태로서, 상기 변환 매트릭스는 호모그래피(Homography) 매트릭스일 수 있으며, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는, 키 프레임 이미지에 대응하는 제1 특징점의 제1 좌표 및 처리될 프레임 이미지에 대응하는 제2 특징점의 제2 좌표에 기반하여 변환 매트릭스를 결정하는 단계는, 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 키 프레임 이미지에 대응하는 제1 특징점의 제1 좌표 및 처리될 프레임 이미지에 대응하는 제2 특징점의 제2 좌표에 대해 호모그래피 변환을 수행하여, 호모그래피 매트릭스를 얻는다. 상기 호모그래피 변환은, 하나의 평면으로부터 다른 하나의 평면으로의 변환 관계를 설명하기 위해 사용된다. 예들 들어, 키 프레임 이미지에서의 목표 대상의 하나의 특징점의 좌표가 (x1, y1)이며; 처리될 프레임 이미지에서의 상기 목표 대상의 동일한 특징점의 좌표가 (x2, y2)이면, 호모그래피 변환을 통해, 좌표(x2, y2)로부터 좌표(x1, y1)로의 변환을 실현할 수 있다.

본 실시예의 단계 209에 있어서, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계는, 상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환 처리하여, 목표 프레임 이미지를 획득하는 단계를 포함한다.

예시적으로, 변환 매트릭스를 H로 표시하면, 처리될 프레임 이미지는 q로 표현되며, 키 프레임 이미지는 Q로 표현되면, q=H·Q이다. 그러면 목표 프레임 이미지=q·H-1이다. 처리될 프레임 이미지에 대한 변환 매트릭스의 변화 처리를 통해, 처리될 프레임 이미지의 수집 시, 이미지 수집 기기의 이동으로 인한 처리될 프레임 이미지의 수집 시야각과 키 프레임 이미지의 수집 시야각 사이의 차이를 제거하거나 약화시킴으로써, 목표 프레임 이미지의 수집 시야각이 키 프레임 이미지의 수집 시야각과 동일하거나 기본적으로 동일하도록 한다.

본 발명의 실시예의 기술 방안을 이용하여, 처리될 프레임 이미지가 획득된 변환 관계에 의해 처리되어, 목표 프레임 이미지의 수집 시야각이 키 프레임 이미지의 수집 시야각과 동일하거나 기본적으로 동일하도록 하며, 이로써 카메라 진동 간섭 또는 카메라 변위로 인한 수집된 이미지에서의 목표 대상의 변위 문제를 해결하고, 목표 대상의 정확한 위치 결정을 실현한다.

본 발명의 실시예는 또한 이미지 처리 방법을 제공한다. 도 4는 본 발명의 실시예의 이미지 처리 방법의 예시적인 흐름도 3이다. 도 4에 도시된 바와 같이, 상기 방법은 다음의 단계들을 포함할 수 있다.

단계 301에 있어서, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득한다.

단계 302에 있어서, 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출한다.

단계 303에 있어서, 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정한다.

단계 304에 있어서, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정한다.

단계 305에 있어서, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득한다.

단계 306에 있어서, 상기 목표 프레임 이미지의 특징점을 추출하며, 상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정하고, 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다르다.

단계 307에 있어서, 상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 상기 획득된 목표 프레임 이미지를 보류하며, 상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제한다.

본 실시예의 단계 301 내지 단계 305의 상세한 설명에 대해서는 전술한 실시예에서의 단계 101 내지 단계 105 및 단계 201 내지 단계 207의 설명을 구체적으로 참조할 수 있으며, 여기서 상세하게 설명하지 않는다.

본 실시예의 단계 306에 있어서, 상기 목표 프레임 이미지의 특징점의 추출 방법은 전술한 실시예에서의 키 프레임 이미지 및 처리될 프레임 이미지의 특징점의 추출 방법의 설명을 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

본 실시예에 있어서, 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다르다. 예시적으로, 키 프레임 이미지에서 추출한 특징점이 100 개이며, 이 중에서 50 개 특징점을 선택하여 변환 관계의 결정에 사용하면, 나머지 50 개 특징점의 적어도 일부 특징점을 선택하여 제1 손실값의 결정에 사용할 수 있다. 상응하게, 상기 목표 프레임 이미지에서 추출한 특징점으로부터, 제1 손실값을 결정하기 위한 상기 키 프레임 이미지에서의 특징점과 매칭되는 특징점을 선택한다.

본 실시예의 단계 306에 있어서, 상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정하는 단계는, 상기 키 프레임 이미지의 특징점의 좌표 및 상기 목표 프레임 이미지의 특징점의 좌표에 기반하여 매칭 관계를 만족시키는 복수의 그룹의 특징점 쌍을 결정하는 단계 - 상기 복수의 그룹의 특징점 쌍에서의 각 그룹의 특징점 쌍은 하나의 상기 키 프레임 이미지의 특징점 및 하나의 상기 목표 프레임 이미지의 특징점을 포함 - ; 및 각 그룹의 특징점 쌍에 포함된 두 개의 특징점의 좌표에 기반하여 제1 손실값을 결정하는 단계를 포함한다. 상기 제1 손실값은 상기 목표 프레임 이미지와 상기 키 프레임 이미지 사이의 차이 정도를 나타낼 수 있다.

일부 실시예에 있어서, 상기 각 그룹의 특징점 쌍에 포함된 두 개의 특징점의 좌표에 기반하여 제1 손실값을 결정하는 단계는, 각 그룹의 특징점 쌍에 포함된 두 개의 특징점의 좌표에 기반하여 제1 거리를 결정하는 단계; 및 복수의 제1 거리의 평균값을 획득하며, 상기 평균값에 기반하여 제1 손실값을 결정하는 단계를 포함한다. 여기서, 상기 제1 거리는 오일러 거리(Euler Distance), 유클리디안 거리(Euclidean Distance)일 수 있으며, 본 실시예는 이를 한정하지 않는다.

본 실시예에 있어서, 목표 프레임 이미지에서의 목표 대상의 위치와 키 프레임 이미지에서의 목표 대상의 위치는 이미 동일하거나 유사하기 때문에, 목표 프레임 이미지의 각 특징점의 좌표와 키 프레임 이미지의 각 특징점의 좌표를 비교하여, 매칭 관계를 가진 특징점 쌍을 얻을 수 있다. 다른 실시 형태에서, 전술한 실시예의 단계 203 내지 단계 206의 설명을 이용하여 매칭 관계를 만족시키는 특징점 쌍을 결정할 수도 있는데, 여기서 더 이상 설명하지 않는다.

본 실시예에 있어서, 제1 손실값이 제2 임계값을 초과하면, 변환 관계(또는 변환 매트릭스)가 잘못되었거나, 처리될 프레임 이미지에 대한 변화 처리가 잘못되었음을 나타낼 수 있으며, 후속 이미지 처리 과정에서 상기 목표 프레임 이미지를 처리하지 않도록 상기 목표 프레임 이미지를 삭제할 수 있고; 또한 변환 성공 여부를 자동으로 판정하고 해당 목표 프레임 이미지를 처리하는 목적에 달성하도록 경고 정보를 출력할 수 있다.

본 실시예에 있어서, 제1 손실값이 제2 임계값을 초과하지 않으면, 변환 관계(또는 변환 매트릭스)가 정확함을 나타내며, 처리될 프레임 이미지에 대한 변환 처리가 성공되어, 상기 목표 프레임 이미지를 보류할 수 있고, 또한 변환 관계(또는 변환 매트릭스)에 의해 처리될 프레임 이미지에서의 다른 목표 대상에 대응하는 목표 영역에 대해 변환 처리를 수행하여, 상기 다른 목표 대상에 대응하는 목표 영역에 대응되는 키 프레임 이미지에서의 위치를 얻는다.

본 실시예의 이미지 처리 방법이 게임 테이블에 대한 이미지 자가 적응(self-adaptive) 변환의 시나리오에 적용되는 경우, 상이한 게임 테이블에 배치된 카메라의 위치, 각도가 완전하게 일치하도록 확보할 수 없으며, 각각의 게임 테이블에 대응하는 키 프레임 이미지에서의 목표 대상(예들 들어, 게임 테이블)에 대응하는 목표 영역의 위치도 완전하게 일치하도록 확보할 수 없기 때문에, 각각의 게임 테이블에 대한 카메라 배치가 완료된 후, 본 실시예의 이미지 처리 방법을 이용하여 하나의 변환 관계(변환 매트릭스)를 결정하여, 각각의 카메라에 의해 수집된 이미지가 동일한 키 프레임 이미지의 수집 시야각이 같은 시야각으로 변환되어, 각각의 카메라에 의해 수집된 이미지가 모두 목표 대상이 모두 동일한 위치에 위치한 이미지로 변환됨으로써, 목표 대상의 검출 인식 등 후속적 다양한 처리를 용이하도록 한다.

본 발명의 실시예는 또한 이미지 처리 장치를 제공한다. 도 5는 본 발명의 실시예의 이미지 처리 장치 구성의 예시적인 구조도 1이다. 도 5에 도시된 바와 같이, 상기 장치는 이미지 획득 유닛(41), 특징 추출 유닛(42), 매칭 유닛(43) 및 변환 유닛(44)을 포함한다.

상기 이미지 획득 유닛(41)은 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하기 위한 것이다.

상기 특징 추출 유닛(42)은 상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하기 위한 것이다.

상기 매칭 유닛(43)은 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하기 위한 것이다.

상기 변환 유닛(44)은 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하며; 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 매칭 유닛(43)은 상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득 - 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함함 - 하고; 제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득하고; 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하며; 상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 매칭 유닛(43)은, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 측면에서, 상기 적어도 하나의 제1 비교 결과에 기반하여 제1 문자열을 생성하고; 상기 적어도 하나의 제2 비교 결과에 기반하여 제2 문자열을 생성하며; 상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍 거리를 결정하고, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 도 6에 도시된 바와 같이, 상기 장치는 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득 - 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점과 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함함 - 하기 위한 스크리닝 유닛(45)을 더 포함한다.

상기 변환 유닛(44)은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 측면에서, 상기 스크리닝 유닛(45)에 의해 획득된 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 스크리닝 유닛(45)은, 상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하며; 상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하고; 대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 특징 추출 유닛(42)은, 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하며; 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하고; 상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 변환 유닛(44)은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 측면에서, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하기 위한 것이다.

본 발명의 일 선택적 실시예에 있어서, 상기 변환 유닛(44)은, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 측면에서, 상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환 처리하여, 목표 프레임 이미지를 획득하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 도 7에 도시된 바와 같이, 상기 장치는 결정 유닛(46) 및 처리 유닛(47)을 더 포함한다.

상기 특징 추출 유닛(42)은 또한 상기 목표 프레임 이미지의 특징점을 추출하기 위한 것이다.

상기 결정 유닛(46)은, 상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정 - 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다름 - 하기 위한 것이다.

상기 처리 유닛(47)은, 상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 상기 획득된 목표 프레임 이미지를 보류하기 위한 것이다.

본 발명의 일 선택적인 실시예에 있어서, 상기 처리 유닛(47)은, 또한 상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제하기 위한 것이다.

본 발명의 실시예에서, 상기 장치의 이미지 획득 유닛(41), 특징 추출 유닛(42), 매칭 유닛(43), 변환 유닛(44), 스크리닝 유닛(45), 결정 유닛(46) 및 처리 유닛(47)은, 실제 응용에서는 모두 중앙 처리 장치(CPU, Central Processing Unit), 디지털 신호 프로세서(DSP, Digital Signal Processor), 마이크로 컨트롤러 유닛(MCU, Microcontroller Unit) 또는 필드 프로그래머블 게이트 어레이(FPGA, Field－Programmable Gate Array)에 의해 구현될 수 있다.

설명해야 할 것은, 상기 실시예에 의해 제공된 이미지 처리 장치가 이미지 처리를 수행할 때, 상기 각 프로그램 모듈의 분할만 예를 들어 설명하며, 실제 응용에서는, 필요에 따라 다른 프로그램 모듈에 의해 상기 처리 할당을 완료할 수 있고, 즉 장치의 내부 구조를 상이한 프로그램 모듈로 분할하여, 전술한 처리의 전부 또는 일부를 완료하도록 한다. 또한, 상기 실시예에 의해 제공된 이미지 처리 장치는 이미지 처리 방법 실시예와 동일한 구상에 속하며, 구체적인 구현 과정은 방법 실시예를 구체적으로 참조하고, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 또한 전자 기기를 제공하며, 도 8은 본 발명의 실시예의 전자 기기의 하드웨어 구성의 예시적인 구조도이다. 도 8에 도시된 바와 같이, 상기 전자 기기(50)는 메모리(52), 프로세서(51) 및 메모리(52)에 저장되며 프로세서(51)에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서(51)가 상기 프로그램을 실행할 때, 본 발명의 실시예에 따른 이미지 처리 방법의 단계가 구현된다.

이해할 수 있는 것은, 본 실시예의 전자 기기(50)의 각 컴포넌트는 버스 시스템(53)을 통해 결합될 수 있다. 버스 시스템(53)은 이러한 컴포넌트들 사이의 연결 및 통신을 구현하는데 사용됨을 이해할 수 있다. 버스 시스템(53)은 데이터 버스 외에, 전력 버스, 컨트롤 버스 및 상태 신호 버스를 더 포함한다. 하지만 명확한 설명을 위해, 도 8에 다양한 버스가 모두 버스 시스템(53)으로 표시되어 있다.

이해할 수 있는 것은, 메모리(52)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 휘발성 및 비휘발성 메모리를 모두 포함할 수도 있다. 여기서, 비휘발성 메모리는 판독 전용 메모리(ROM, Read Only Memory), 프로그래머블 판독 전용 메모리(PROM, Programmable Read-Only Memory), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM, Erasable Programmable Read-Only Memory), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(EEPROM, Electrically Erasable Programmable Read-Only Memory), 자기 랜덤 액세스 메모리(FRAM, ferromagnetic random access memory), 플래시 메모리(Flash Memory), 자기 표면 메모리, 컴팩트 디스크, 또는 판독 전용 컴팩트 디스크(CD-ROM, Compact Disc Read-Only Memory)일 수 있으며; 자기 표면 메모리는 자기 디스크 메모리 또는 자기 테이프 메모리일 수 있다. 휘발성 메모리는 외부 캐시로 사용되는 랜덤 액세스 메모리(RAM, Random Access Memory)일 수 있다. 예시적이지만 비한정적 설명을 통해, 예들 들어, 정적 랜덤 액세스 메모리(SRAM, Static Random Access Memory), 동기식 정적 랜덤 액세스 메모리(SSRAM, Synchronous Static Random Access Memory), 동적 랜덤 액세스 메모리(DRAM, Dynamic Random Access Memory), 동기식 동적 랜덤 액세스 메모리(SDRAM, Synchronous Dynamic Random Access Memory), 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(DDRSDRAM, Double Data Rate Synchronous Dynamic Random Access Memory), 향상된 동기식 동적 랜덤 액세스 메모리(ESDRAM, Enhanced Synchronous Dynamic Random Access Memory), 동기식 링크 동적 랜덤 액세스 메모리(SLDRAM, SyncLink Dynamic Random Access Memory), 직접 램버스 랜덤 액세스 메모리(DRRAM, Direct Rambus Random Access Memory) 등 다양한 형태의 RAM을 사용할 수 있다. 본 발명의 실시예에서 설명된 메모리(52)는 이러한 및 임의의 다른 적합한 타입의 메모리를 포함하지만 이에 한정되지 않는 것으로 의도된다.

상기 본 발명의 실시예에서 개시된 방법은 프로세서(51)에 적용되거나, 프로세서(51)에 의해 구현될 수 있다. 프로세서(51)는 신호의 처리 능력을 가진 집적 회로 칩일 수 있다. 구현 프로세스에서, 상기 방법의 각 단계는 프로세서(51)에서의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령어에 의해 완료될 수 있다. 상기한 프로세서(51)는 범용 프로세서, DSP, 또는 다른 프로그래머블 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수 있다. 프로세서(51)는 본 발명의 실시예에서 개시된 각 방법, 단계 및 논리 블록도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수 있다. 본 발명의 실시예를 참조하여 개시된 방법의 단계들은, 하드웨어 디코딩 프로세서로 직접 구현되어 실행 완료되거나, 디코딩 프로세서의 하드웨어 및 소프트웨어 모듈 조합에 의해 실행 완료될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있으며, 상기 저장 매체는 메모리(52)에 위치할 수 있고, 프로세서(51)는 메모리(52)의 정보를 판독하며, 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.

예시적 실시예에서, 전자 기기(50)는 전술한 방법을 실행하기 위해, 하나 또는 복수의 주문형 집적 회로(ASIC, Application Specific Integrated Circuit), DSP, 프로그래머블 논리 소자(PLD,Programmable Logic Device), 복합 프로그래머블 논리 소자(CPLD, Complex Programmable Logic Device), FPGA, 범용 프로세서, 컨트롤러, MCU, 마이크로 프로세서(Microprocessor), 또는 다른 전자 부품에 의해 구현될 수 있다.

예시적 실시예에서, 본 발명의 실시예는 또한 컴퓨터 프로그램을 포함하는 메모리(52)와 같은 컴퓨터 판독 가능 저장 매체를 제공하며, 전술한 방법에 따른 단계를 완료하기 위해 상기 컴퓨터 프로그램은 전자 기기(50)의 프로세서(51)에 의해 실행된다. 컴퓨터 판독 가능 저장 매체는 FRAM, ROM, PROM, EPROM, EEPROM, Flash Memory, 자기 표면 메모리, 컴팩트 디스크, 또는 CD-ROM과 같은 메모리일 수 있다.

본 발명의 실시예는 또한 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때, 본 발명의 실시예에 따른 이미지 처리 방법의 단계가 구현된다.

본 출원에 의해 제공된 여러 실시예에서, 개시된 기기 및 방법은 다른 방법으로 구현될 수 있음을 이해해야 한다. 전술한 기기 실시예는 개략적인 것일 뿐이며, 예들 들어, 상기 유닛의 분할은 다만 논리 기능 분할이고, 실제 구현 시, 다른 분할 방법이 존재할 수 있으며, 예를들어, 복수의 유닛 또는 컴포넌트가 다른 하나의 시스템에 조합 또는 통합되거나, 일부 특징이 무시되거나, 실행되지 않을 수 있다. 또한, 표시되거나 논의된 각 조성 부분의 상호 결합, 또는 직접 결합 또는, 통신 연결은 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.

상기 개별 부품으로서 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로서 표시된 부품은 물리적 유닛일 수 있고 아닐 수도 있으며, 즉, 하나의 장소에 위치되거나 복수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예의 방안의 목적을 달성할 수 있다.

또한, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있으며, 각 유닛이 물리적으로 개별적으로 존재할 수도 있고, 2 개 또는 2 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어 형태 또는 하드웨어 및 소프트웨어 기능 유닛 형태로 구현될 수 있다.

당업자는 상기 방법 실시예를 구현하기 위한 전부 또는 일부 단계가 프로그램 명령어 관련 하드웨어에 의해 완료될 수 있음을 이해할 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램이 실행될 때, 상기 방법 실시예가 포함되는 단계를 실행하며, 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 컴팩트 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

또한, 본 발명의 상기 통합된 유닛이 소프트웨어 기능 모듈의 형태로 구현되어 개별적 제품으로 판매되거나 사용될 경우, 하나의 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안의 본질 또는 선행 기술에 대해 기여한 부분은 소프트웨어 제품의 형태로 구현되어, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되고, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등)로 하여금 본 발명의 각 실시예에 따른 방법의 전부 또는 일부를 실행하도록 하는 일부 명령어를 포함한다. 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 컴팩트 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

전술한 내용은 다만 본 발명의 구체적 실시 형태일 뿐이며, 본 발명의 보호 범위는 이에 한정되지 않고, 당업자는 본 발명이 개시한 기술적 범위 내에서 변경 또는 교환이 모두 본 발명의 보호 범위 내에 포함되는 것을 용이하게 생각할 수 있다. 따라서, 본 발명의 보호 범위는 상기한 특허 청구범위에 의해 결정되어야 한다.

Claims

이미지 처리 방법으로서,
상기 방법은,
목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하는 단계;
상기 키 프레임 이미지의 하나 또는 복수 개의 특징점 및 상기 처리될 프레임 이미지의 하나 또는 복수 개의 특징점을 각각 추출하는 단계;
상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계;
매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계; 및
상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하는 단계는,
상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득하는 단계 - 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함함 - ;
제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득하는 단계;
상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계; 및
상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계는,
상기 적어도 하나의 제1 비교 결과에 기반하여 제1 문자열을 생성하는 단계;
상기 적어도 하나의 제2 비교 결과에 기반하여 제2 문자열을 생성하는 단계; 및
상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍 거리를 결정하며, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 단계는,
특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하는 단계 - 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점 및 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함함 - ; 및
상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서,
상기 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득하는 단계는,
상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하는 단계;
상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하는 단계; 및
대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 키 프레임 이미지의 특징점 및 상기 처리될 프레임 이미지의 특징점을 각각 추출하는 단계는,
상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하는 단계;
상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하는 단계; 및
상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서,
상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 단계는,
상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제7항에 있어서,
상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 단계는,
상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환하여, 목표 프레임 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
목표 프레임 이미지를 획득한 후, 상기 이미지 처리 방법은,
상기 목표 프레임 이미지의 특징점을 추출하는 단계;
상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정하는 단계 - 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다름 - ;
상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 획득된 목표 프레임 이미지를 보류하는 단계; 및
상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치에 있어서,
상기 장치는 이미지 획득 유닛, 특징 추출 유닛, 매칭 유닛 및 변환 유닛을 포함하며,
상기 이미지 획득 유닛은, 목표 대상을 포함하는 키 프레임 이미지를 획득하며, 상기 목표 대상을 포함하는 처리될 프레임 이미지를 획득하기 위한 것이고;
상기 특징 추출 유닛은, 상기 키 프레임 이미지의 하나 또는 복수 개의 특징점 및 상기 처리될 프레임 이미지의 하나 또는 복수 개의 특징점을 각각 추출하기 위한 것이며;
상기 매칭 유닛은, 상기 키 프레임 이미지의 각 특징점과 상기 처리될 프레임 이미지의 각 특징점 사이의 매칭 관계를 결정하기 위한 것이고;
상기 변환 유닛은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하며; 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제10항에 있어서,
상기 매칭 유닛은,
상기 키 프레임 이미지의 제1 특징점과 관련된 제1 그룹 픽셀 포인트 쌍을 획득하며, 상기 처리될 프레임 이미지의 제2 특징점과 관련된 제2 그룹 픽셀 포인트 쌍을 획득 - 상기 제1 특징점은 상기 키 프레임 이미지의 하나의 특징점이며; 상기 제2 특징점은 상기 처리될 프레임 이미지의 하나의 특징점이고; 상기 제1 그룹 픽셀 포인트 쌍의 제1 픽셀 포인트 쌍과 상기 제1 특징점의 상대적 위치 관계는 상기 제2 그룹 픽셀 포인트 쌍의 제2 픽셀 포인트 쌍과 상기 제2 특징점의 상대적 위치 관계와 일치하며; 상기 제1 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제1 픽셀 포인트 쌍을 포함하고; 상기 제2 그룹 픽셀 포인트 쌍은 적어도 하나의 그룹의 제2 픽셀 포인트 쌍을 포함함 - 하고;
제1 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제1 비교 결과를 획득하며, 제2 픽셀 포인트 쌍에 포함된 두 픽셀 포인트의 픽셀 값을 비교하여, 제2 비교 결과를 획득하고;
상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하며;
상기 유사성이 제1 기설정 임계값에 도달하면, 상기 제1 특징점 및 상기 제2 특징점이 매칭 관계를 만족시키는 것으로 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제11항에 있어서,
상기 매칭 유닛은, 상기 적어도 하나의 그룹의 제1 픽셀 포인트 쌍에 대응하는 적어도 하나의 제1 비교 결과 및 상기 적어도 하나의 그룹의 제2 픽셀 포인트 쌍에 대응하는 적어도 하나의 제2 비교 결과에 기반하여, 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하는 측면에서,
상기 적어도 하나의 제1 비교 결과에 기반하여 제1 문자열을 생성하고;
상기 적어도 하나의 제2 비교 결과에 기반하여 제2 문자열을 생성하며;
상기 제1 문자열 및 상기 제2 문자열에 기반하여 제1 해밍 거리를 결정하고, 상기 제1 해밍 거리에 기반하여 상기 제1 그룹 픽셀 포인트 쌍 및 상기 제2 그룹 픽셀 포인트 쌍의 유사성을 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 장치는 특징점 쌍 세트를 스크리닝하여, 목표 특징점 쌍 세트를 획득 - 각 특징점 쌍은 매칭 관계를 가진 상기 키 프레임 이미지의 하나의 특징점과 상기 처리될 프레임 이미지의 하나의 특징점으로 구성되며, 상기 특징점 쌍 세트는 복수의 그룹의 특징점 쌍을 포함함 - 하기 위한 스크리닝 유닛을 더 포함하며;
상기 변환 유닛은, 매칭 관계를 가진 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점에 기반하여 변환 관계를 결정하는 측면에서,
상기 스크리닝 유닛에 의해 얻은 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제13항에 있어서,
상기 스크리닝 유닛은,
상기 특징점 쌍 세트의 각 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점과 상기 처리될 프레임 이미지의 특징점 사이의 유사성을 획득하며;
상기 특징점 쌍 세트의 모든 특징점 쌍에 대응하는 유사성의 최대값을 결정하며, 상기 최대값에 기반하여 제1 임계값을 결정하고;
대응하는 유사성이 상기 제1 임계값보다 작은 특징점 쌍을 상기 특징점 쌍 세트로부터 제거하여, 목표 특징점 쌍 세트를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제10항 내지 제14항 중 어느 한 항에 있어서,
상기 특징 추출 유닛은,
상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 제1 픽셀 포인트의 기설정 영역 범위 내의 복수의 제2 픽셀 포인트를 결정하며;
상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른지 여부를 판단하고;
상기 복수의 제2 픽셀 포인트의 그레이 스케일 값이 상기 제1 픽셀 포인트의 그레이 스케일 값과 다른 경우, 상기 제1 픽셀 포인트가 상기 키 프레임 이미지 또는 상기 처리될 프레임 이미지의 특징점인 것으로 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제13항에 있어서,
상기 변환 유닛은, 상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 기반하여 변환 관계를 결정하는 측면에서,
상기 목표 특징점 쌍 세트의 목표 특징점 쌍에 포함되는 상기 키 프레임 이미지의 특징점의 좌표와 상기 처리될 프레임 이미지의 특징점의 좌표에 기반하여 변환 매트릭스를 결정하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제16항에 있어서,
상기 변환 유닛은, 상기 변환 관계에 기반하여 상기 처리될 프레임 이미지를 처리하여, 목표 프레임 이미지를 획득하는 측면에서,
상기 변환 매트릭스에 기반하여 상기 목표 대상을 포함하는 상기 처리될 프레임 이미지에서의 목표 영역을 변환 처리하여, 목표 프레임 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 장치는 결정 유닛 및 처리 유닛을 더 포함하며;
상기 특징 추출 유닛은 또한 상기 목표 프레임 이미지의 특징점을 추출하기 위한 것이고;
상기 결정 유닛은, 상기 키 프레임 이미지의 특징점 및 상기 목표 프레임 이미지의 특징점에 기반하여 제1 손실값을 결정 - 상기 제1 손실값을 결정하기 위한 상기 키 프레임 이미지의 특징점은 상기 변환 관계를 결정하기 위한 상기 키 프레임 이미지의 특징점과 다름 - 하기 위한 것이며;
상기 처리 유닛은, 상기 제1 손실값이 제2 임계값을 초과하지 않는 경우, 획득된 목표 프레임 이미지를 보류하고,
상기 처리 유닛은 또한, 상기 제1 손실값이 제2 임계값을 초과하는 경우, 상기 획득된 목표 프레임 이미지를 삭제하기 위한 것임을 특징으로 하는 이미지 처리 장치.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계가 구현되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
메모리, 프로세서 및 메모리에 저장되며 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 기기로서,
상기 프로세서가 상기 프로그램을 실행할 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계가 구현되는 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능 코드가 기기에서 실행될 때, 상기 기기의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계를 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.