KR20200000111A - 3차원 피사체 인식의 안티-스푸핑 방법 - Google Patents

3차원 피사체 인식의 안티-스푸핑 방법 Download PDF

Info

Publication number
KR20200000111A
KR20200000111A KR1020180072012A KR20180072012A KR20200000111A KR 20200000111 A KR20200000111 A KR 20200000111A KR 1020180072012 A KR1020180072012 A KR 1020180072012A KR 20180072012 A KR20180072012 A KR 20180072012A KR 20200000111 A KR20200000111 A KR 20200000111A
Authority
KR
South Korea
Prior art keywords
subject
spoofing
images
matrix
landmark
Prior art date
Application number
KR1020180072012A
Other languages
English (en)
Other versions
KR102126722B1 (ko
Inventor
문기봉
강준구
이상윤
송응열
이준협
Original Assignee
한국스마트인증 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국스마트인증 주식회사, 연세대학교 산학협력단 filed Critical 한국스마트인증 주식회사
Priority to KR1020180072012A priority Critical patent/KR102126722B1/ko
Publication of KR20200000111A publication Critical patent/KR20200000111A/ko
Application granted granted Critical
Publication of KR102126722B1 publication Critical patent/KR102126722B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의한 3차원 피사체 인식의 안티-스푸핑 방법은, 카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와; SFM을 통해 복수 개의 이미지로부터 3차원 구조체를 획득하는 제2 단계와; 인접 이미지간의 회전 행렬과 이동 행렬을 산출하는 제3 단계와; 이미지를 획득하는 시점의 가속도 센서 측정값을 적분해서 위치 정보를 획득하는 제4 단계와; 제3 단계의 회전 행렬과 이동 행렬에 기초하여 점군을 생성하여 제1 기하학적 형태를 산출하는 제5 단계와; 제4 단계의 위치 정보에 기초하여 점군을 생성하여 제2 기하학적 형태를 산출하는 제6 단계와; Procrustes 분석에 의해 제1 기하학적 형태와 제2 기하학적 형태 사이의 산출된 스케일 팩터를 산출하는 제7 단계와; 제7 단계에서 스케일 팩터가 소정의 기준에 도달하는지 여부에 따라서 안티-스푸핑 여부를 판단하는 제8 단계를 포함한다.
본 발명의 다른 형태에 의한 3차원 피사체 인식의 안티-스푸핑 방법은, 카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와; 복수 개의 이미지에서 랜드마크를 검출하는 제2 단계와; 제2 단계에서 검출된 랜드마크에 대해서 랜드마크 사라짐 현상이 발생하는지를 판단하는 제3 단계와; 제3 단계에서 랜드마크 사라짐 현상이 발생하는 것으로 판단되면 정상 피사체로 판단하는 제4 단계를 포함한다.

Description

3차원 피사체 인식의 안티-스푸핑 방법{Anti-Spoofing Method of Recognition of 3D-Subject}
본 발명은 카메라로 3차원 피사체를 인식함에 있어서, 해당 피사체를 2차원적으로 표시한 이미지를 정상적인 3차원 피사체로 인식하는 것을 방지하는 안티-스푸핑 방법에 대한 것이다.
최근에 안면 인식 기술의 발전과 더불어 사용자 편이성이 중시됨에 따라 비강압적/비협조적 인식 환경에서의 안면 인식을 위한 기술 수요가 증대하고 있다.
그런데 실제 3차원적인 안면이 아니라, 사진 등과 같은 2차원 이미지를 정상적인 3차원 안면으로 인식하는 문제가 있고 실제로도 이를 이용하여 다양한 형태의 해킹이 발생하는 보안상의 우려가 있어서 그에 대한 해결책의 필요성이 대두되고 있다.
본 발명은 이러한 종래 기술의 한계를 극복하기 위해, 실제 3차원이 아닌 2차원적 이미지를 통한 안면(피사체) 인식을 방지하는 안티-스푸핑 방법을 제공하는 것을 목적으로 한다.
본 발명에 의한 3차원 피사체 인식의 안티-스푸핑 방법은, 카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와; SFM을 통해 복수 개의 이미지로부터 3차원 구조체를 획득하는 제2 단계와; 인접 이미지간의 회전 행렬과 이동 행렬을 산출하는 제3 단계와; 이미지를 획득하는 시점의 가속도 센서 측정값을 적분해서 위치 정보를 획득하는 제4 단계와; 제3 단계의 회전 행렬과 이동 행렬에 기초하여 점군을 생성하여 제1 기하학적 형태를 산출하는 제5 단계와; 제4 단계의 위치 정보에 기초하여 점군을 생성하여 제2 기하학적 형태를 산출하는 제6 단계와; Procrustes 분석에 의해 제1 기하학적 형태와 제2 기하학적 형태 사이의 산출된 스케일 팩터를 산출하는 제7 단계와; 제7 단계에서 스케일 팩터가 소정의 기준에 도달하는지 여부에 따라서 안티-스푸핑 여부를 판단하는 제8 단계를 포함한다.
제3 단계는, 카메라 내부 파라미터 행렬을 산출하는 제3-1 단계와; 제1 이미지의 제1 피쳐(feature)의 좌표와, 제1 피쳐에 대응하는 제2 이미지의 제2 피쳐의 좌표, 및 카메라 내부 파라미터 행렬을 이용하여 회전 행렬과 이동 행렬을 산출하는 제3-2 단계를 포함할 수 있다.
제5 단계 및 제6 단계는, 각각의 점군의 평균 위치를 산출하는 제8-1 단계와; 제1 기하학적 형태와 제2 기하학적 형태 각각의 평균 위치를 정렬시키는 제8-2 단계와; 제1 기하학적 형태의 점군 좌표와 평균 위치간의 차이의 제곱의 합과, 제2 기하학적 형태의 점군 좌표와 평균 위치간의 차이의 제곱의 합을 점군의 개수로 나눈 값의 제곱근을, 스케일 팩터로 산출하는 제8-3 단계를 포함할 수 있다.
제3 단계는, 재투영 오차를 최소화하는 제3-3 단계를 더 포함할 수 있다.
가속도 센서 측정값은 칼만 필터에 의해 보정된 값이 될 수 있다.
본 발명의 다른 형태에 의한 3차원 피사체 인식의 안티-스푸핑 방법은, 카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와; 복수 개의 이미지에서 랜드마크를 검출하는 제2 단계와; 제2 단계에서 검출된 랜드마크에 대해서 랜드마크 사라짐 현상이 발생하는지를 판단하는 제3 단계와; 제3 단계에서 랜드마크 사라짐 현상이 발생하는 것으로 판단되면 정상 피사체로 판단하는 제4 단계를 포함한다.
본 발명에 의하면, 3차원적으로 이동하여 피사체를 촬영한 카메라 단말기의 촬영 이미지로부터 SFM을 통해 3차원 구조로 복원하고 그에 기초한 위치 정보로 생성된 제1 기하학적 형태와, 가속도 센서의 측정값에 기초한 위치 정보로 생성한 제2 기하학적 형태의 스케일 팩터를 이용하여 안티-스푸핑 방법을 구현함으로써 2차원 이미지를 정상적인 3차원 피인식 객체로 판단하는 오류를 제거할 수 있는 작용 효과가 있다. 특히, 카메라 단말기로 촬영한 이미지로부터 생성된 3차원 구조 정보를 저장하지 않고 모션 정보(회전 행렬, 이동 벡터)만 저장하고 사용함으로써 처리 속도를 현저하게 빠르게 할 수 있는 효과도 제공된다. 또한, 피사체를 카메라로 촬영할 때 랜드마크를 검출하고 랜드마크 사라짐 현상(occlusion)이 나타나지 않으면 정상적인 3차원 피사체가 아닌 것으로 판별함으로써 빠른 판단이 가능해진다.
도 1은 본 발명에 의한 안티-스푸핑 방법을 위한 3차원 이미지 변환 개념을 설명하기 위한 도면.
도 2는 본 발명에 의한 안티-스푸핑 방법이 수행되는 환경을 도시한 도면.
도 3은 본 발명에 의한 안티-스푸핑 방법의 흐름도.
도 4은 특성을 추출하기 위해 사용되는 A-KAZE의 FED 알고리즘의 psudo 코드의 예.
도 5는 카메라 이미지와 실세계 좌표계와의 관계를 예시한 도면.
도 6은 재투영 오차 최소화 과정을 설명하기 위한 도면.
도 7은 점군에 의해 생성된 기하학적 형태의 유사도 산출 과정을 설명하기 위한 도면.
도 8은 랜드마크 사라짐 현상을 보여 주기 위한 예시.
이하에서는 첨부 도면을 참조하여 본 발명에 대해서 자세하게 설명한다.
본 명세서에서 수행되는 정보(데이터) 전송/수신 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 명세서 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, A로부터 B까지 직접 전송(전달) 또는 수신되는 것 만을 표현하는 것은 아니다. 본 발명의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행 단계로 설명된 과정보다 앞서서 수행되더라도 발명의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 “A 또는 B”은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서 "모듈"이라 함은 범용적인 하드웨어와 그 기능을 수행하는 소프트웨어의 논리적 결합을 의미한다.
본 명세서에서는 본 발명의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 발명의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 필수적이지 않은 특정 구성요소를 배제하거나 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
본 발명은 전자적 연산이 가능한 컴퓨터 등의 전자적 연산 장치에 의해서 수행되며, 후술하는 본 발명의 각 단계의 수학적 연산 및 산출은 해당 연산 또는 산출을 하기 위해 공지되어 있는 코딩 방법 및/또는 본 발명에 적합하게 고안된 코딩에 의해서 컴퓨터 연산으로 구현될 수 있다.
그리고 본 명세서에서 "값"이라 함은 스칼라값 뿐만 아니라 벡터 및 행렬, 다항식도 포함하는 광의의 개념으로 정의된다.
본 명세서에서는 설명의 간소화와 이해의 용이성을 위해 피사체(10)의 한 종류인 사람의 얼굴을 예로 들어 설명한다. 그러나 3차원 피사체로서 소정의 목적을 위하여 인식될 필요가 있는 것이라면 어느 것이든 본 발명의 안티-스푸핑 방법이 적용될 수 있다.
도 1은, 본 발명에 의한 안티-스푸핑 방법을 위한 3차원 이미지 변환 개념을 설명하기 위한 도면이다.
얼굴(10)에 대해서 카메라 단말기(20)를 소정의 방향 A를 따라서 이동시키면서 얼굴(10)을 촬영한다. 카메라 단말기(20)는 얼굴(10)과 같은 3차원 피사체를 촬영할 수 있는 카메라 모듈을 포함하고, 소정의 전자적 연산이 가능한 전자적 단말기로서 예를 들어 카메라 모듈이 설치된 스마트폰이나 태블릿 PC가 될 수 있다. 카메라 단말기(20)에서 카메라와 전자적 연산이 가능한 전자적 단말기 예를 들어 노트북 컴퓨터나, 데스크탑 컴퓨터는 반드시 일체로 되어 있을 필요는 없고, 컴퓨터에 카메라를 연결한 상태의 장치도 카메라 단말기의 범주에 속하는 것으로 이해되어야 한다.
카메라 단말기(20)에 의해 촬영된 얼굴은 복수 개의 이미지(30-1, 30-2,..., 30-n)로 형성된다. 복수 개의 이미지는 본 발명에 의한 안티-스푸핑의 판단 기준이 되는 이미지군(30)을 형성한다.
본 발명에 의하면, 각각의 이미지에서 서로 매칭이 되는 피쳐(feature)를 추출한다. 피쳐(feature) 또는 피쳐 지점(feature point)은 입력 이미지에서 엣지(edge)가 소정의 기준 이상으로 강하게 표시되거나 이미지의 강도(intensity)가 소정의 기준 이상으로 급격하게 변하는 부분에 생기는 지점을 의미한다.
그러한 피쳐를 검출하기 위한 알고리즘의 일례로 A-KAZE를 사용할 수 있다. 피처 지점 추출에 사용하는 검출기로 SIFT와 SURF가 있는데 이들 모두 가우시안 필터를 사용한다. 그런데 그러한 검출기에서는 엣지 부근에서 블러 현상(blurring)이 발생하여 물체의 경계 부분을 제대로 보존하지 못하는 단점이 있고 정밀도 측면에서 노이즈에 취약하다. 최근에 소개된 A-KAZE는 비선형공간상에서 피쳐 지점을 검출하는 알고리즘으로서, 가우시안 블러링 대신 비선형 확산 필터(Nonlinear diffusion filter)를 이용하여 이미지의 세부 정보(edge)는 보존하고, 노이즈를 보다 효과적으로 제거하는 스케일 공간을 구성할 수 있다.
A-KAZE는 KAZE의 비선형 확산 필터의 연산 속도를 개선한 FED(Fast Explicit Diffusion)과 M-LDB(Modified-Local Difference Binary) 기술자를 적용하여 속도를 크게 개선한 방법이다. 도 4에 그러한 A-KAZE에 사용된 FED 알고리즘의 psudo 코드의 일례가 도시되어 있다.
도 2에 도시된 바와 같이, 카메라 단말기(20)는 피사체(얼굴)를 촬영하여 이미지들(30-1,...,30-n)을 획득하는 역할을 수행하며, 획득된 이미지들(30-1,...,30-n)은 서버(50)로 전송되어, 서버(50)의 안티-스푸핑 감지 프로그램 모듈(55)이 본 발명에 의한 안티-스푸핑 방법을 수행한다. 그러한 방식에 따르면, 연산 능력이 상대적으로 떨어지는 카메라 단말기(20)가 아닌 서버(50)에 의해 안티-스푸핑 방법이 수행됨으로써 처리 속도를 높일 수 있다. 카메라 단말기(20)는, 획득한 이미지(30-1,...,30-n) 정보와, 후술하는 가속도 센서 감지 정보를 서버(50)로 전송한다. 그러나 본 발명에 의한 안티-스푸핑 방법이 카메라 단말기(20) 예를 들어, 카메라가 설치되어 있는 스마트폰 또는 태블릿 PC에 의해서 수행될 수도 있으며, 그러한 실시예도 본 발명의 범위에 포함되는 것으로 이해되어야 한다.
카메라 단말기(20)에 의해 촬영된 이미지들(30-1,...,30-n)을 이용하여 3D 정보를 복원한다. 이 방법을 SFM(Structure from Motion)이라고 하는데, Global SFM과 Incremental SFM이 있다. Incremental SFM은 이미지들을 한번에 한개씩 추가하면서, 복원된 모델을 계속 증가시키는 방법이다. 이 방법은 노이즈에 강인한 반면에, 연산 속도가 많이 걸리는 Bundle Adjustment를 이미지이 추가될 때마다 반복적으로 수행해야 하기 때문에 스케일 조정이 어려운 단점이 있다. Global SFM은 모든 이미지들을 한번에 비교 분석하기 때문에 속도 측면에서 뿐만 아니라 정밀도 측면에서도 상대적으로 우수한 효과를 가진다. 나아가 병렬 구조로 진행되기 때문에 연산 속도 역시 더욱 빠르다. 본 명세서에서는 Global SFM을 적용하는 실시예에 대해서 설명한다.
도 5에는 3차원 피사체(10)를 카메라 단말기(20)가 촬영할 때에, 실세계 좌표(world coordinate system)과 2차원 이미지의 좌표간의 관계가 예시적으로 도시되어 있다.
SFM을 통해 3차원 모델을 복원하기 위해서는 먼저 다음과 같은 카메라 내부 파라미터 K를 산출해야 한다.
Figure pat00001
f: 촛점 거리; w: 이미지의 폭(너비); h: 이미지의 높이
카메라 내부 파라미터 K를 산출하기 위해서 4개의 점을 이용할 수 있다.
도 5의 관계에서 2차원과 3차원 좌표간의 관계식은 다음과 같다.
Figure pat00002
αi는 스케일 변수이고, xi는 이차원 평면상의 좌표, P는 프로젝션(projection) 행렬, Xi는 3차원 좌표다. P는 K[R∥t]가 된다. R은 회전행렬, t는 이동벡터를 의미한다.
Xi의 아핀(affine) 변환 좌표를
Figure pat00003
(
Figure pat00004
)라고 하면 다음과 같은 관계가 성립한다.
Figure pat00005
Figure pat00006
카메라 내부 파라미터 행렬 K를 구하기 위해 사용하는 4개의 점을 [Xi, Xj, Xk, Xl]로 하면, 다음과 같은 식을 유도할 수 있다.
Figure pat00007
α는 양수이며, λ1 = 1이라고 한다. α와 λ는 호모지니어스 좌표계의 일환으로서 상수를 의미한다.
Figure pat00008
는 4개의 점의 거리간의 비율을 의미한다.
각각의 x는 알지 못하는 파라미터인 f를 포함하고 있다. 위 식을 정리하면 f는 f2(
Figure pat00009
)의 다항식 형태로 존재하며, {i, j, k, l} = {1, 2, 3, 4} 라고 했을 때 모르는 4개의 변수
Figure pat00010
를 가지고 있는 총 15개의 관계식이 존재한다.
이 중에서 오버피팅(overfitting) 문제를 고려하여 4개의 식만을 이용하는 것이 바람직하다.
본 발명의 발명자는 이 다항식 문제를 Grobner basis 방법을 통해 해결하였다. 최초의 15개 관계식에서 G-J 제거식을 이용해서 가장 마지막에 남는 4개의 식을 이용한다. 그렇게 하면 10개의 해(solution)와 액션 행렬(action matrix)을 획득한다.
다항식 f에 관한 문제를 해결하기 위해 적용한 Grobner basis 방법에 따라, basis B를 먼저 구한다. 다음으로 G-J 제거법을 이용하면 154×180 크기의 구성행렬 M을 획득한다. 구성행렬 M의 각각의 행들을 이용하여 액션 행렬인
Figure pat00011
(
Figure pat00012
의 결과로 나오는 단항식)을 생성한다.
Figure pat00013
는 액션 행렬의 고유벡터를 사용함으로써 구할 수 있으며 촛점 거리
Figure pat00014
로 구할 수 있으며, 따라서 카메라 내부 파라미터 행렬 K도 산출할 수 있다. 상기 과정은 논문 "Bujnak, M., Kukelova, Z., & Pajdla, T. (2008, June). A general solution to the P4P problem for camera with unknown focal length. In　Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on　(pp. 1-8). IEEE."을 참조하면 보다 더 상세하게 이해할 수 있다.
SFM에서 3차원으로 복원된 복원물을 최적화하기 위해 Bundle Adjustment 과정(재투영 오차 최소화 과정)을 거칠 수 있다.
이 과정은, 관측된 이미지의 한 점과, 이 점을 3차원 좌표계에서 예측된 점을 이미지에 재투영하였을 때에 두 점간의 오차를 최소화하는 과정이다. 이 과정에서 Levenberg-Marquardt 알고리즘을 사용할 수 있다. 이 알고리즘에 따르면 현재 추정치 근처에서 최소화할 함수를 반복적으로 선형화함으로써 정규 방정식이라고 불리는 선형 시스템의 해(solution)를 찾는다.
도 6에 재투영 오차 최소화 방법을 설명하기 위한 개념도가 도시되어 있다.
서로 다른 위치에서 촬영된 m 개의 이미지에서 n개의 3차원 점들이 보이고, qij는 i번째 이미지에 위치한 3차원 좌표의 j번째 점이 그 이미지에 투영된 픽셀 좌표로 가정한다. wij는 i번째 점이 이미지 i에서 보이면 1, 그렇지 않으면 0을 표시하는 이진 변수이다. 각각의 카메라 i는 Ci로 하고, 각각의 3차원 좌표의 j번째 점은 벡터 Xj로 표시한다.
재투영 오차 최소화는 다음 식을 통해서 수행한다.
Figure pat00015
P(Ci, Xj)는 이미지 j에서 i번째 점이 투영되는 좌표를 예측하는 함수이고, d(x, y)는 벡터 x와 y에 의해 표현되는 이미지 좌표들간의 유클리디안 거리를 의미하는 함수식이다. wij는 0 또는 1의 값을 가진다. 만약 점 j가 카메라 i에서 촬영된 이미지에서 보이는 점이라면 wij는 1이 되고, 아닌 경우는 0이 된다. 수학식 5에서 함수 d는 다음과 같이 표시할 수 있다.
Figure pat00016
수학식 5에서 구하고자 하는 것은 3차원 좌표 X이다. 실제값(ground-truth)을 z라고 하고, 예측된 값을 z(x)라 하면 실제값과 예측값의 차이(error function)은 다음 식과 같다.
Figure pat00017
수학식 5와 수학식 7을 이용하면 코스트 함수(cost function) f(x)를 다음과 같이 정의할 수 있다.
Figure pat00018
수학식 5에서 X와 C에 대해서 재투영 오차를 최소화하는 것을 목적으로 하기 때문에 수학식 8에서도 f(x)가 최소가 되도록 최적화 작업을 거친다.
비선형 문제 해결을 위한 대표적인 알고리즘으로 Gauss-Newton 방식이 있다.
재투영 최소화 과정은, 논문 "Triggs, Bill, et al. "Bundle adjustment―a modern synthesis."　International workshop on vision algorithms. Springer, Berlin, Heidelberg, 1999"를 참고하면 보다 더 상세하게 이해할 수 있다.
다음으로 SFM에 의해 복원된 3차원 구조에 의한, 도 3의 단계(310)의 회전 행렬과 이동 행렬을 산출하는 과정에 대해서 설명한다.
전술한 바와 같이 두 개의 이미지에서 매칭되는 피쳐 지점(feature point)을 A-KAZE 검출기를 이용하여 검출하고, 앞서 산출한 카메라 내부 파라미터 행렬 등을 이용하여 다음과 같은 관계를 만족하는 기본 행렬(Eij; Essential Matrix)을 산출한다.
Figure pat00019
K는 카메라 내부 파라미터 행렬, X와 X'은 서로 다른 이미지에서 매칭되는 피쳐 지점의 좌표를 의미한다. 기본 행렬 Eij를 통해서 회전 행렬과, 이동 벡터를 초기값으로 구할 수 있다.
기본 행렬에서 회전행렬을 추출하기 위한 알려진 방법은 특이값 분해(Singular Value Decomposition, SVD) 방법이다. 즉 E = UDVT를 이용하여 다음과 같은 관계식을 산출할 수 있다.
Figure pat00020
U와 V는 특이값 분해를 통해 나온 결과값으로서 특이 벡터(singular vector)를 포함하는 행렬이며, 서로 직교 행렬인 특징을 가진다.
Figure pat00021
Figure pat00022
Figure pat00023
회전행렬 R1, R2는 180도 차이를 갖는 관계이다. 오일러 각도 분해 작업을 통해 각각 x, y, z 축으로 회전한 각도를 계산하고, 회전 행렬을 구한다. 수학식 11 및 12는 이동 벡터에 대한 수학식으로서, 수학식 11은 t의 외적곱 형태를 취하고 있어서 수학식 12와 같이 변형하여 사용한다. 또한, 계산된 R과 t는 수학식 13의 관계를 만족해야 한다.
회전행렬은 불안정하고 일정한 값이 아니기 때문에 추가적으로 AC-RANSAC 기법을 적용하여 outlier를 제거하고, 안정된 회전 행렬과 이동 벡터를 구하게 된다. 이동 벡터는 1열의 행렬로도 볼 수 있기 때문에 본 명세서에서는 좀 더 광범위한 개념인 "이동 행렬"로도 표기한다.
전술한 과정을 거쳐서 카메라 단말기(20)가 획득한 이미지로부터 산출되는 카메라 위치 정보는 서버(50)로 전달된다. 이 카메라 위치 정보는, 회전행렬, 이동행렬(벡터)과, 이를 통해서 산출되는 카메라의 위치 정보가 될 수 있다.
한편, 복수 개의 이미지를 획득하기 위해 카메라 단말기(20)를 피사체(10)에 대해서 3차원적으로 이동시킬 때에 카메라 단말기(20)의 가속도 센서 측정값에 기초하여 위치 정보를 획득한다(단계 320).
카메라 단말기(20)에 제공되는 가속도 센서의 측정값을 이중 적분하면 카메라의 위치 정보를 획득할 수 있다. 적분 방법으로는, Trapezoidal Rule, Simpson method, Gauss Quadrature 등이 있다.
가속도 센서의 측정값은, 이동 도중에 튀는 부분(outlier)이 존재할 수 있어서 칼만 필터를 통한 보정 작업이 필요할 수 있다. 칼만 필터를 통한 보정 방법은 널리 알려져 있는 공지 기술의 영역이기 때문에 본 명세서에서 자세한 설명은 생략한다.
본 발명은, SFM을 통한 회전 행렬과 이동 행렬(벡터)에 의해 산출되는 위치 정보와, 가속도 센서의 측정값을 통해 산출되는 위치 정보의 차이를 통해서 안티-스푸핑을 수행한다.
SFM을 통해서 산출되는 위치 정보를 이용하여 점군을 생성하고, 그 점군으로 제1 기하학적 형태(100)를 산출한다(단계 330). 그리고 가속도 센서의 측정값에 기초한 위치 정보로 점군을 생성하고 그 점군으로 제2 기하학적 형태(200)를 산출한다(단계 340). 두 기하학적 형태를 비교하기 위한 방법으로 Proscrustes 분석을 사용할 수 있다.
각 점군들의 평균 위치를 다음과 같이 산출한다. x는 제1 기하학적 형태의 점군 좌표이고, y는 제2 기하학적 형태의 점군 좌표이다.
Figure pat00024
평균점의 위치를 구한 뒤에, 각 점군들의 평균점의 위치를 정렬시킨다. 그렇게 하기 위해서는 한 점군을 기준으로 맞춰야 하기 때문에 다음 수학식과 같이 중심 좌표를 산출한다.
Figure pat00025
Figure pat00026
한 점군을 기준으로 두 기하학적 형태를 정렬시키면 도 7(b)에 도시된 상태가 될 수 있다. 다음과 같은 수학식을 통해서 스케일 팩터(s; scale factor)를 산출한다(단계 350).
Figure pat00027
이 스케일 팩터(s)가 소정의 기준에 도달하는지를 판단한다(단계 360). 소정의 기준에 도달하면 정상 인식으로 판단하고(단계 370), 그렇지 않으면 스푸핑 즉 정상적인 3차원 피사체를 인식한 것이 아니라 2차원 이미지 등을 인식한 것으로 판단한다(단계 380).
본 발명의 다른 실시예에 의하면 랜드마크 사라짐 현상(occlusion)을 이용하여 안티-스푸핑을 구현할 수 있다.
3차원 피사체가 얼굴인 경우, 얼굴의 랜드마크(landmark)를 검출하는 다양한 알고리즘이 알려져 있다. 예를 들어, AAM, DeepFace, Face++ 등이 있다.
이 알고리즘에서는 보통 눈 양 끝, 입가 양 끝, 눈썹, 코 밑 부분 등을 기본 랜드마크로 검출한다. 그러나 검출하는 랜드마크의 종류에 본 발명의 권리범위가 제한되는 것은 아니다.
실제 3차원 피사체에 대해서 카메라 단말기(20)를 이동시키면서 촬영하면, 카메라의 위치에 따라서 직전에는 검출되는 랜드마크가 사라질 수 있다. 도 8에 랜드마크 사라짐 현상(occlusion)이 나타나는 예가 도시되어 있다. 도 8에 도시된 바와 같이 실제 3차원 피사체를 촬영하는 각도에 따라서 어느 이미지에서는 검출되는 랜드마크가 다른 이미지에서는 검출되지 않을 수 있다.
그런데 2차원 이미지 예를 들어 사진에 대해서 카메라 단말기(20)를 이동시키면서 촬영하면, 피사체의 랜드마크 사라짐 현상은 발생하지 않는다. 즉 카메라 단말기(20)의 이동에 따라서 검출되던 랜드마크가 사라지지 않는 경우는 실제 3차원 피사체가 아닌 것으로 판별한다.
본 발명에 의하면, 3차원적으로 이동하여 피사체를 촬영한 카메라 단말기의 촬영 이미지로부터 SFM을 통해 3차원 구조로 복원하고 그에 기초한 위치 정보로 생성된 제1 기하학적 형태와, 가속도 센서의 측정값에 기초한 위치 정보로 생성한 제2 기하학적 형태의 스케일 팩터를 이용하여 안티-스푸핑 방법을 구현함으로써 2차원 이미지를 정상적인 3차원 피인식 객체로 판단하는 오류를 제거할 수 있는 작용 효과가 있다. 특히, 카메라 단말기로 촬영한 이미지로부터 생성된 3차원 구조 정보를 저장하지 않고 모션 정보(회전 행렬, 이동 벡터)만 저장하고 사용함으로써 처리 속도를 현저하게 빠르게 할 수 있는 효과도 제공된다. 또한, 피사체를 카메라로 촬영할 때 랜드마크를 검출하고 랜드마크 사라짐 현상(occlusion)이 나타나지 않으면 정상적인 3차원 피사체가 아닌 것으로 판별함으로써 빠른 판단이 가능해진다.
이상 첨부 도면을 참고하여 본 발명에 대해서 설명하였지만 본 발명의 권리범위는 후술하는 특허청구범위에 의해 결정되며 전술한 실시예 및/또는 도면에 제한되는 것으로 해석되어서는 아니된다. 그리고 특허청구범위에 기재된 발명의, 당업자에게 자명한 개량, 변경 및 수정도 본 발명의 권리범위에 포함된다는 점이 명백하게 이해되어야 한다.
10: 3차원 피사체
20: 카메라 단말기
55: 안티-스푸핑 감지 프로그램 모듈

Claims (6)

  1. 3차원 피사체 인식의 안티-스푸핑 방법에 있어서,
    카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와,
    SFM을 통해 복수 개의 이미지로부터 3차원 구조체를 획득하는 제2 단계와,
    인접 이미지간의 회전 행렬과 이동 행렬을 산출하는 제3 단계와,
    이미지를 획득하는 시점의 가속도 센서 측정값을 적분해서 위치 정보를 획득하는 제4 단계와,
    제3 단계의 회전 행렬과 이동 행렬에 기초하여 점군을 생성하여 제1 기하학적 형태를 산출하는 제5 단계와,
    제4 단계의 위치 정보에 기초하여 점군을 생성하여 제2 기하학적 형태를 산출하는 제6 단계와,
    Procrustes 분석에 의해 제1 기하학적 형태와 제2 기하학적 형태 사이의 산출된 스케일 팩터를 산출하는 제7 단계와,
    제7 단계에서 스케일 팩터가 소정의 기준에 도달하는지 여부에 따라서 안티-스푸핑 여부를 판단하는 제8 단계를 포함하는,
    피사체 인식의 안티-스푸핑 방법.
  2. 청구항 1에 있어서,
    제3 단계는,
    카메라 내부 파라미터 행렬을 산출하는 제3-1 단계와,
    제1 이미지의 제1 피쳐(feature)의 좌표와, 제1 피쳐에 대응하는 제2 이미지의 제2 피쳐의 좌표, 및 카메라 내부 파라미터 행렬을 이용하여 회전 행렬과 이동 행렬을 산출하는 제3-2 단계를 포함하는,
    피사체 인식의 안티-스푸핑 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    제5 단계 및 제6 단계는,
    각각의 점군의 평균 위치를 산출하는 제8-1 단계와,
    제1 기하학적 형태와 제2 기하학적 형태 각각의 평균 위치를 정렬시키는 제8-2 단계와,
    제1 기하학적 형태의 점군 좌표와 평균 위치간의 차이의 제곱의 합과, 제2 기하학적 형태의 점군 좌표와 평균 위치간의 차이의 제곱의 합을 점군의 개수로 나눈 값의 제곱근을, 스케일 팩터로 산출하는 제8-3 단계를 포함하는,
    피사체 인식의 안티-스푸핑 방법.
  4. 청구항 2에 있어서,
    제3 단계는,
    재투영 오차를 최소화하는 제3-3 단계를 더 포함하는,
    피사체 인식의 안티-스푸핑 방법.
  5. 청구항 1 또는 청구항 2에 있어서,
    가속도 센서 측정값은 칼만 필터에 의해 보정된 값인,
    피사체 인식의 안티-스푸핑 방법.
  6. 3차원 피사체 인식의 안티-스푸핑 방법에 있어서,
    카메라 단말기가 피사체를 향해 3차원적으로 이동하면서 획득한 복수 개의 이미지를 수신하는 제1 단계와,
    복수 개의 이미지에서 랜드마크를 검출하는 제2 단계와,
    제2 단계에서 검출된 랜드마크에 대해서 랜드마크 사라짐 현상이 발생하는지를 판단하는 제3 단계와,
    제3 단계에서 랜드마크 사라짐 현상이 발생하는 것으로 판단되면 정상 피사체로 판단하는 제4 단계를 포함하는,
    피사체 인식의 안티-스푸핑 방법.
KR1020180072012A 2018-06-22 2018-06-22 3차원 피사체 인식의 안티-스푸핑 방법 KR102126722B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180072012A KR102126722B1 (ko) 2018-06-22 2018-06-22 3차원 피사체 인식의 안티-스푸핑 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180072012A KR102126722B1 (ko) 2018-06-22 2018-06-22 3차원 피사체 인식의 안티-스푸핑 방법

Publications (2)

Publication Number Publication Date
KR20200000111A true KR20200000111A (ko) 2020-01-02
KR102126722B1 KR102126722B1 (ko) 2020-06-25

Family

ID=69155060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180072012A KR102126722B1 (ko) 2018-06-22 2018-06-22 3차원 피사체 인식의 안티-스푸핑 방법

Country Status (1)

Country Link
KR (1) KR102126722B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150954B1 (ko) * 2020-04-06 2020-09-02 주식회사 맥스트 점군 정보 가공 장치 및 방법
CN113343771A (zh) * 2021-05-12 2021-09-03 武汉大学 一种基于自适应元学习的人脸防伪方法
KR20220163030A (ko) * 2021-06-02 2022-12-09 가톨릭대학교 산학협력단 활막염의 중증도 진단용 바이오마커

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
KR101415287B1 (ko) * 2012-06-26 2014-07-04 구글 인코포레이티드 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스
KR101436290B1 (ko) * 2011-09-01 2014-08-29 모르포 생체인식 유형의 접근제어시스템에 대한 부정 검출
JP2017016192A (ja) * 2015-06-26 2017-01-19 株式会社東芝 立体物検知装置及び立体物認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
KR101436290B1 (ko) * 2011-09-01 2014-08-29 모르포 생체인식 유형의 접근제어시스템에 대한 부정 검출
KR101415287B1 (ko) * 2012-06-26 2014-07-04 구글 인코포레이티드 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스
JP2017016192A (ja) * 2015-06-26 2017-01-19 株式会社東芝 立体物検知装置及び立体物認証装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150954B1 (ko) * 2020-04-06 2020-09-02 주식회사 맥스트 점군 정보 가공 장치 및 방법
WO2021206200A1 (ko) * 2020-04-06 2021-10-14 주식회사 맥스트 점군 정보 가공 장치 및 방법
CN113343771A (zh) * 2021-05-12 2021-09-03 武汉大学 一种基于自适应元学习的人脸防伪方法
KR20220163030A (ko) * 2021-06-02 2022-12-09 가톨릭대학교 산학협력단 활막염의 중증도 진단용 바이오마커

Also Published As

Publication number Publication date
KR102126722B1 (ko) 2020-06-25

Similar Documents

Publication Publication Date Title
JP6430064B2 (ja) データを位置合わせする方法及びシステム
US10395383B2 (en) Method, device and apparatus to estimate an ego-motion of a video apparatus in a SLAM type algorithm
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US9280832B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
US7929728B2 (en) Method and apparatus for tracking a movable object
Li et al. A 4-point algorithm for relative pose estimation of a calibrated camera with a known relative rotation angle
WO2014061372A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9626552B2 (en) Calculating facial image similarity
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
US10853960B2 (en) Stereo matching method and apparatus
KR102126722B1 (ko) 3차원 피사체 인식의 안티-스푸핑 방법
JP5833507B2 (ja) 画像処理装置
US9865061B2 (en) Constructing a 3D structure
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
Stamatopoulos et al. Automated Target-Free Network Orienation and Camera Calibration
Zheng et al. Minimal solvers for 3d geometry from satellite imagery
Bu et al. Semi-direct tracking and mapping with RGB-D camera for MAV
CN106295710A (zh) 基于非几何约束的图像局部特征匹配方法、装置及终端
Muresan et al. A multi patch warping approach for improved stereo block matching
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
Lui et al. An Iterative 5-pt Algorithm for Fast and Robust Essential Matrix Estimation.
Vakil et al. An information theoretic metric for identifying optimum solution for normalized cross correlation based similarity measures
Georgiev et al. A fast and accurate re-calibration technique for misaligned stereo cameras
Liu et al. Evaluation of different SLAM algorithms using Google tangle data
KR101178015B1 (ko) 시차 맵 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)