KR102579610B1 - Atm 이상행동감지 장치 및 그 장치의 구동방법 - Google Patents
Atm 이상행동감지 장치 및 그 장치의 구동방법 Download PDFInfo
- Publication number
- KR102579610B1 KR102579610B1 KR1020230101165A KR20230101165A KR102579610B1 KR 102579610 B1 KR102579610 B1 KR 102579610B1 KR 1020230101165 A KR1020230101165 A KR 1020230101165A KR 20230101165 A KR20230101165 A KR 20230101165A KR 102579610 B1 KR102579610 B1 KR 102579610B1
- Authority
- KR
- South Korea
- Prior art keywords
- transaction
- abnormal
- atm
- abnormal behavior
- unit
- Prior art date
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 95
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000012731 temporal analysis Methods 0.000 claims description 7
- 238000000700 time series analysis Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
- G07F19/20—Automatic teller machines [ATMs]
- G07F19/207—Surveillance aspects at ATMs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
본 발명은 ATM 이상행동감지 장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 ATM 이상행동감지 장치는, 현금 인출기(ATM)에서 거래하는 거래 주체자의 촬영영상을 수신하는 통신 인터페이스부, 및 수신한 촬영영상을 분석하여 영상 내 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 거래 주체자의 전신을 기반으로 동일인 여부를 판단하여 이상 거래를 판단하는 제어부를 포함할 수 있다.
Description
본 발명은 ATM 이상행동감지 장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 자동화된 현금 인출기에서 발생할 수 있는 거래 주체자의 이상행동 패턴을 분석할 수 있는 ATM 이상행동감지 장치 및 그 장치의 구동방법에 관한 것이다.
자동화된 현금인출기(ATM)의 사용이 증가함에 따라, 이를 사용한 현금 강탈 또는 불법 자금 이체 등의 범죄 또한 증가하고 있다. 현금인출기를 부당하게 이용하고자 하는 범죄자들은 본인의 신분을 숨기기 위하여 얼굴을 가리게 된다. 따라서 사용자에 대한 인식이 불가하도록 얼굴을 가린 사람이 현금인출기를 사용하는 것을 막기 위하여 얼굴 가림을 검출하거나 얼굴의 인식 가능성을 판단하는 기술이 화두가 되고 있으며, 이러한 필요에 따라 다양한 방법들이 발명되어 왔다.
종래에는 신뢰성이 낮은 얼굴 즉, 눈, 입 등을 모자, 선글라스, 마스크 등으로 위장한 얼굴을 가진 사용자가 금융 거래를 시도하는 경우 부정 거래로 인식하여 금융거래가 일어나지 않도록 하기 위한 얼굴 위장 판별 방법, 현금인출기를 얼굴을 가린 채 부당하게 사용하고자 하는 상황을 거부하기 위하여, 현금인출기의 카메라에서 취득된 영상에 인식 가능한 얼굴이 존재하는가를 판단하기 위한 얼굴 인식 가능성 판단 방법 등의 기술 등이 공개된 바 있다.
그런데 종래 기술들은 거래 주체 즉 사용자를 분석하고 위장한 얼굴 여부를 기준으로 가해자를 판단하는 방법에 대해서만 기술하고 있다. 사용자 중 피(가)해자에 대하여 판단할 수 있는 방법이 고안되지 않았다. 또한, 동일인 거래자를 판단하기 위해 얼굴인식 기반 기술을 제공하였으나 이는 얼굴을 가리거나 위장한 사용자에 대해서는 정확도 성능을 보장할 수 없는 문제가 있다.
본 발명의 실시예는 가령 자동화된 현금 인출기에서 발생할 수 있는 거래 주체자의 이상행동 패턴을 분석할 수 있는 ATM 이상행동감지 장치 및 그 방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 ATM 이상행동감지 장치는, 현금 인출기(ATM)를 사용해 금융거래를 하는 거래 주체자의 촬영영상을 수신하는 통신 인터페이스부, 및 상기 수신한 촬영영상을 분석하여 영상 내 상기 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 상기 거래 주체자의 전신을 기반으로 동일인 여부를 판단하여 이상 거래를 판단하는 제어부를 포함한다.
상기 제어부는, 상기 거래 주체자의 이상행동을 판단할 때 상기 거래시 위장을 하거나 이전 거래의 동일인으로 거래하는 제1 거래자 또는 상기 거래시 전화 통화를 하는 제2 거래자의 이상행동을 판단할 수 있다.
상기 제어부는, 상기 제1 거래자나 상기 제2 거래자의 이상 거래로 판단될 때 상기 거래를 위해 기지정된 인증 이외에 추가 인증을 요청할 수 있다.
상기 제어부는, 상기 동일인 여부의 판단을 위하여 상기 거래 주체자의 전신 영역에 대한 특징을 추출하여 현 거래자의 특징과 기저장되는 이전 거래자의 특징을 비교하여 동일인 여부를 판단할 수 있다.
상기 제어부는, 상기 거래 주체자의 이상 거래를 판단할 때 거래 주체자들의 행동에 따라 순간 발생할 수 있는 극단치(outlier) 데이터를 제거하기 위해 시계열 분석을 통해 이상행동(positive)과 그렇지 않은 행동(negative)간의 연속성을 고려한 비율을 계산하여 판단의 정확도를 증가시킬 수 있다.
또한 본 발명의 실시예에 따른 ATM 이상행동감지 장치의 구동방법은, 통신 인터페이스부가 현금 인출기(ATM)를 사용해 금융거래를 하는 거래 주체자의 촬영영상을 수신하는 단계, 및 제어부가 상기 수신한 촬영영상을 분석하여 영상 내 상기 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 상기 거래 주체자의 전신을 기반으로 동일인 여부를 판단하여 이상 거래를 판단하는 단계를 포함한다.
상기 이상행동을 판단하는 단계는, 상기 거래 주체자의 이상행동을 판단할 때 상기 거래시 위장을 하거나 이전 거래의 동일인으로 거래하는 제1 거래자 또는 상기 거래시 전화 통화를 하는 제2 거래자의 이상행동을 판단할 수 있다.
상기 구동방법은, 상기 제1 거래자나 상기 제2 거래자의 이상 거래로 판단될 때 상기 거래를 위해 기지정된 인증 이외에 추가 인증을 요청하는 단계를 더 포함할 수 있다.
상기 동일 여부를 판단하는 단계는, 상기 거래 주체자의 전신 영역에 대한 특징을 추출하여 현 거래자의 특징과 기저장되는 이전 거래자의 특징을 비교하여 동일인 여부를 판단할 수 있다.
상기 이상 거래를 판단하는 단계는, 상기 거래 주체자의 이상 거래를 판단할 때 거래 주체자들의 행동에 따라 순간 발생할 수 있는 극단치(outlier) 데이터를 제거하기 위해 시계열 분석을 통해 이상행동(positiver)과 그렇지 않은 행동(negative)간의 연속성을 고려한 비율을 계산하여 판단의 정확도를 증가시킬 수 있다.
본 발명의 실시예에 따르면, 자동화된 현금 인출기에서의 이상 거래 행동 유형을 식별하고 피(가)해자, 가해자의 이상 행동을 방지하여 사용자의 피해를 최소화할 수 있을 것이다.
또한 본 발명의 실시예에 따르면 영상 분석의 환경 변화에 취약점을 최소화하기 위하여 학습 모델 기반으로 정형 데이터를 추출하고 정형화된 데이터로부터 행동 유형을 판단할 수 있으며, 프레임별 판단된 결과를 시계열 분석을 수행하여 높은 정확도로 일반 사용자에게 불편을 최소화할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 ATM 이상행동 감지장치의 세부 구성을 예시한 블록다이어그램,
도 2는 도 1의 프레임별 이상거래 영상분석부의 세부 구성을 나타내는 블록다이어그램,
도 3은 사용자의 사람 객체 및 관심 객체 검출을 설명하기 위한 예시도,
도 4는 얼굴 랜드마크를 설명하기 위한 예시도,
도 5는 Roll, Pitch, Yaw를 설명하기 위한 도면,
도 6은 얼굴에서의 Roll, Pitch, Yaw 정보를 설명하기 위한 도면,
도 7은 통화 판단을 위한 영상 분석을 설명하기 위한 예시도,
도 8은 동일인 판단을 위한 특징 추출 및 유사도 비교를 설명하기 위한 도면,
도 9는 배경을 합성하여 학습 데이터를 생성하는 과정을 설명하기 위한 도면,
도 10은 본 발명의 다른 실시예에 따른 ATM 이상행동 감지장치의 세부 구성을 나타내는 블록다이어그램, 그리고
도 11은 도 10의 ATM 이상행동 감지장치의 구동과정을 나타내는 흐름도이다.
도 2는 도 1의 프레임별 이상거래 영상분석부의 세부 구성을 나타내는 블록다이어그램,
도 3은 사용자의 사람 객체 및 관심 객체 검출을 설명하기 위한 예시도,
도 4는 얼굴 랜드마크를 설명하기 위한 예시도,
도 5는 Roll, Pitch, Yaw를 설명하기 위한 도면,
도 6은 얼굴에서의 Roll, Pitch, Yaw 정보를 설명하기 위한 도면,
도 7은 통화 판단을 위한 영상 분석을 설명하기 위한 예시도,
도 8은 동일인 판단을 위한 특징 추출 및 유사도 비교를 설명하기 위한 도면,
도 9는 배경을 합성하여 학습 데이터를 생성하는 과정을 설명하기 위한 도면,
도 10은 본 발명의 다른 실시예에 따른 ATM 이상행동 감지장치의 세부 구성을 나타내는 블록다이어그램, 그리고
도 11은 도 10의 ATM 이상행동 감지장치의 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 ATM 이상행동 감지장치의 세부 구성을 예시한 블록다이어그램이며, 도 2는 도 1의 프레임별 이상거래 영상분석부의 세부 구성을 나타내는 블록다이어그램이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 ATM 이상행동 감지장치(100)는 자동 현금 인출기의 내부에 구성되거나, 자동 현금 인출기에 연결되어 주변에 설치되는 에지장치, 또 자동 현금 인출기와 원격지에서 연결되어 통신하도록 동작하는 서버 등의 장치로서, 현금 인출기(ATM) 관리부(110) 및 이상거래 탐지부(120)를 포함하여 구성되며, CPU나 MPU, 또는 소프트웨어 형태의 매니저(Manager) 등의 제어부를 더 포함할 수도 있을 것이다.
이상 거래 탐지를 위해 본 발명의 실시예에 따른 ATM 이상행동 감지장치(100)는 현금 인출기 관리부(110)와 이상거래 탐지부(120)가 분리 또는 통합된 구조로 구성될 수 있으며, 이상거래 탐지부(120)는 사용자의 이용 흐름에 따른 이상 거래를 탐지하기 위한 동작을 수행할 수 있다.
현금 인출기 관리부(110)는 거래시작 판단부(111), 영상 취득부(112), 거래 종료 판단부(113), 금융망 전송부(114) 및 이상 거래 방지부(115)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함한다"는 것은 금융망 전송부(114)와 같은 일부 구성요소가 생략되어 현금 인출기 관리부(110)가 구성되거나 거래시작 판단부(111)와 같은 일부 구성요소가 거래 종료 판단부(113)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 거래시작 판단부(111), 영상 취득부(112), 거래 종료 판단부(113), 금융망 전송부(114) 및 이상 거래 방지부(115)는 하드웨어(H/W) 모듈, 소프트웨어(S/W) 모듈, 또는 그 조합에 의해 구성될 수 있을 것이다.
거래시작 판단부(111)는 사용자가 카드를 삽입하거나 화면의 메뉴를 선택하여 거래를 시작할 때 거래 시작 이벤트를 파악할 수 있는 기능부에 해당한다. 예를 들어, 자동 현금 인출기는 터치 패널을 포함하므로, 화면상의 특정 버튼 가령 현금 출금 등의 버튼이 선택될 때 거래 시작으로 판단할 수 있다. 영상 취득부(112)는 현금 인출기 관리부(110)가 통제하는 영상취득장치(예: 카메라)로부터 영상을 주기적으로 취득하여 메모리 또는 기타 저장장치에 임시 저장하는 기능부에 해당한다. 거래 종료 판단부(113)는 사용자가 출금, 입금 등의 거래를 종료하였다고 판단할 수 있는 기능부이다. 금융망 전송부(114)는 은행의 전산망을 기반으로 해당 사용자의 거래 정보(예: 이상 거래 유무)를 전송하는 기능부이다. 이상 거래 방지부(115)는 이상 거래 탐지부(120)로부터 이상 거래로 판단된 경우 사용자에게 경고, 거래 차단 등을 조치할 수 있는 서비스 제공부로, 추가적인 인증을 사용자에게 요구할 수 있거나 현금 인출 거래를 방지 또는 사용자에게 추가적인 확인을 요청할 수 있다. 여기서 추가 인증은 계좌비밀번호와 같은 기설정된 인증 이외에 휴대폰 전화번호나 생체인증, 나아가 주민등록번호 전체 또는 일부를 요청하는 것도 얼마든지 가능할 수 있다.
이상거래 탐지부(120)는 현금인출기 관리부(110)의 정보를 수신하여 거래 시작 ~ 거래 종료시까지 발생하는 영상들을 분석하고 영상 내 이상행동에 대한 판단을 수행할 수 있다. 이상거래 탐지부(120)는 도 1에 도시된 바와 같이, 탐지 초기화(부)(121), (프레임별) 이상거래 영상분석부(122), (연속 프레임에 대한) 최종 판단부(123) 및 결과 전송부(124)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 크게 다르지 않으므로 그 내용들로 대신하고자 한다. 탐지 초기화(부)(121), (프레임별) 이상거래 영상분석부(122), (연속 프레임에 대한) 최종 판단부(123) 및 결과 전송부(124)의 경우에도 하드웨어 모듈, 소프트웨어 모듈 또는 그 조합에 의해 구성될 수 있다.
탐지 초기화부(121)는 사용자의 거래동안 전달되는 영상 분석 결과를 저장, 동일인 판단을 위해 이전 거래자의 특징값 업데이트 등의 사용자간 이상 거래 탐지를 위해 필요한 정보를 초기화하거나 업데이트하는 기능부에 해당한다. 또한 이상거래 영상분석부(122)는 현금인출기 관리부(110)에서 전달되는 영상을 분석하여 필요한 정보를 추출하는 기능부이다. 최종 판단부(123)는 (현금인출기) 관리부(110)로부터 거래 종료 이벤트를 수신시 사용자의 거래 시간동안 이상거래 영상분석부(122)에서 분석 및 누적된 정보에 기반하여 이상거래에 대한 최종 판단을 수행하는 기능부이다. 결과 전송부(124)는 최종 판단된 결과를 (현금인출기) 관리부(110)에 전달하여 관리부(110)가 추가적인 조치를 수행할 수 있도록 하는 기능부이다.
이상거래 탐지부(120), 더 정확하게는 이상거래 영상분석부(122)는 도 2에서의 영상 취득부(200), 객체검출부(210), 얼굴 및 랜드마크 검출부(220), 머리속성 분류기(230), 전신 특징 추출부(240), 이상 거래 판단부(250) 및 동일인 판단부(260)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 크게 다르지 않으며, 도 2의 영상 취득부(200), 객체검출부(210), 얼굴 및 랜드마크 검출부(220), 머리속성 분류기(230), 전신 특징 추출부(240), 이상 거래 판단부(250) 및 동일인 판단부(260)는 하드웨어 모듈, 소프트웨어 모듈 또는 그 조합에 의해 구성될 수 있다.
영상 취득부(200)는 IP 카메라, USB 등의 영상취득장치로부터 전달된 영상 데이터를 영상 분석이 가능한 색상(예: RGB, YCbCr, Point cloud data 등) 도메인의 비압축 데이터로 변환하는 동작을 수행한다. 압축 즉 인코딩된 데이터를 복호화하는 동작을 수행한다고 볼 수 있다. 객체 검출부(210)는 사용자의 이상 거래를 판단하기 위해 촬영영상의 비디오 프레임에서 사람 전신, 사람의 머리, 손 객체를 검출하는 동작을 수행할 수 있다. 해당 객체들의 검출은 인공지능의 딥러닝 객체 검출기를 통해 검출이 이루어질 수 있으며, 템플릿 기반으로 객체를 검출하는 것도 얼마든지 가능할 수 있다. 가령 인공지능의 객체 검출기는 전신, 머리, 손 객체의 학습 데이터를 학습한 후 그 학습 결과를 근거로 객체를 판단해 검출할 수 있다. 템플릿의 경우에는 템플릿에 저장되어 있는 전신, 머리, 손 객체의 데이터와의 비교에 의해 판단이 이루어져 객체 검출로 이어질 수 있다. 얼굴 및 랜드마크 검출부(220)는 객체 검출부(210)에서 검출된 머리 영역을 입력받아 얼굴 영역의 위치, 눈, 코, 입 등에 대한 얼굴의 주요 랜드마크를 검출할 수 있다. 물론 랜드마크의 검출을 위하여 비디오 데이터의 화소(pixel) 분석을 통해 모양이나 색상 등의 속성을 분석하여 검출이 가능할 수 있다. 또 단위 비디오 프레임 내의 화소들을 이용한 좌표값의 형태로 주요 랜드마크가 처리될 수 있다. 또한 머리속성 분류기(230)는 객체 검출부(210)에서 검출된 머리 영역에 대하여 학습된 모델로부터 액세서리 착용 상태를 분류할 수 있다. 인공지능을 적용한 객체 분류기가 사용될 수 있는 것이다. 설계된 머리속성 분류기(230)를 멀티 라벨 결과를 도출하여 '모자+마스크', '모자+선글라스+마스크' 등과 같이 여러 액세서리를 동시에 착용 여부를 판단할 수 있도록 분류기가 설계될 수 있다. 전신 특징 추출부(240)는 사용자의 얼굴 가림으로 인해 얼굴 인식을 수행할 수 없으면 전신 기반의 동일인 거래 판단을 위해 객체 검출부(210)에서 검출된 신체 전체에 대한 학습된 모델로부터 임베딩 특징값을 추출할 수 있다. 이상 거래 판단부(250)는 객체 검출부(210), 얼굴 및 랜드마크 검출부(220) 및 머리속성 분류기(230)에서 영상 분석된 정보를 기반으로 정해진 규칙(예: 기설정된 이벤트 데이터 등)에 의해 이상 거래를 결정하고 결정된 결과를 N번째 저장소에 저장한다. 동일인 판단부(260)는 전신 특징 추출부(240)에서 추출된 특징값과 이전 거래에서 추출된 특징값을 비교하여 동일인 여부를 판단한다. 동일 거래 중에 추출된 특징값은 대표 특징값을 추출하는 방법으로 하나의 대표 특징값을 생성하며 데이터베이스(DB) 또는 메모리 공간에 저장할 수 있다.
다시 정리해 보면, 본 발명의 실시예에서는 자동화된 현금 인출기에서 발생할 수 있는 거래 주체자의 이상행동 패턴을 분석할 수 있는 방법을 제공할 수 있다. 여기서, 거래 주체자는 크게 이상 거래의 가해자/피(가)해자, 일반 사용자로 분류할 수 있다. 가해자/피(가)해자, 일반 사용자는 제1 거래자 내지 제3 거래자 등으로 각각 명명될 수도 있으므로, 본 발명의 실시예에서는 그러한 명칭에 특별히 한정하지는 않을 것이다. COVID 펜데믹, 기타 액세서리 등을 고려하여 눈 가림 거래자, 이전 거래와 동일인으로 판단시 가해자 거래로 정의할 수 있으며, 피(가)해자는 통화 중인 거래자로 정의한다. 가해자의 지시에 따라 거래가 이루어질 수 있기 때문이다. 가해자나 피해자가 아닌 경우는 정상적인 거래로 판단하여 사용자의 불편이 없도록 서비스를 제공할 수 있다.
종래 기술들에서 제시하고 있는 얼굴 검출 후, 얼굴 내부 객체(예: 눈, 입 등)를 검출하는 것은 위장된 얼굴에 대한 검출률이 현저히 저하되어 최종 판단 정확도에 저하를 야기시키고 있다. 이를 해결하기 위해 본 발명의 실시예에서는 사람 검출 후 머리 영역에 대해서 이상 거래를 판단할 수 있는 방법을 제공함으로써 종래 기술들에서 얼굴 인식 기반 동일인을 판단하는 방법을 극복할 수 있는 전신 기반 동일인 여부를 판단하여 이상 거래를 판단할 수 있는 기술을 제공할 수 있다.
또한, 본 발명의 실시예에서는 거래 중 취득되는 연속 영상을 효율적으로 판단하여 최종 판단에 있어 오판단을 최소화할 수 있는 방법을 제공하며 사용자의 움직임(예: 고개 돌림, 고개 숙임 등)으로 인해 학습된 영상 분류 모델이 판단할 수 없는 경우를 정의하여 사용자의 불편을 최소화할 수 있다.
나아가 본 발명의 실시예는 자동화된 현금 인출기가 부정 거래의 매개체로 활용되고 있고 그 피해액이 매년 증가하고 있어 이를 예방하기 위해 현금 인출기 사용자의 이상행동을 분석할 수 있는 방법을 제공할 수 있다. 현금 인출기의 부정거래 고객 유형은 가해자와 피해자로 구분할 수 있으며 가해자는 위장, 연속거래 등의 행위, 피해자는 거래 중 휴대폰 통화를 하면서 가해자의 지시를 이행하고 있는 행동을 하는 유형이 있다. 이러한 행동 유형을 판단하여 가해자의 거래를 차단하고 피해자에게 경고 메시지를 전달함으로써 부정 거래로부터 피해를 최소화할 수 있다.
또한, 본 발명의 실시예에서는 현금 인출기에 장착되어 있는 카메라로부터 영상을 취득하여 연속 프레임에 대해서 행동 유형들을 판단할 수 있는 방법을 제공함으로써 종래 기술들이 얼굴 검출에 기반하는 문제점들을 극복하기 위해 사람 전신을 검출하고 판단할 수 있는 방법, 그리고 동일인 거래 유형을 판단할 수 있는 방법을 제공할 수 있다.
계속해서 도 3 내지 도 9를 참조하여 본 발명의 실시예에 따른 구체적인 동작을 설명하고자 한다. 해당 동작들은 이상거래 탐지부(120) 또는 이상거래 영상분석부(122)를 구성하는 영상 취득부(200), 객체검출부(210), 얼굴 및 랜드마크 검출부(220), 머리속성 분류기(230), 전신 특징 추출부(240), 이상 거래 판단부(250) 및 동일인 판단부(260)의 일부 또는 전부에서 이루어질 수 있을 것이다.
도 3은 사용자의 사람 객체 및 관심 객체 검출을 설명하기 위한 예시도이다. 도 3의 (a)는 입력 영상, 그리고 도 3의 (b)는 관심 객체 검출 예시를 각각 나타낸다. 본 발명의 실시예에서는 사용자의 이상 거래 판단을 위해 관심 객체(예: 위장하거나 동일인으로 중복거래를 하는 사용자, 그리고 거래하면서 전화통화 중인 사용자에 관련된 객체 등)를 검출할 수 있다. 자동화된 인출기에 설치된 카메라 등의 영상취득장치에서의 사용자 화면은 도 3의 (a)와 유사하며 본 발명의 실시예에서 제시하는 방법을 위해서 도 3의 (b)에서와 같이 사람 전신(300), 머리 영역(310), 손 영역(320), 휴대폰 영역의 위치를 학습된 검출기로부터 추정할 수 있다.
도 4는 얼굴 랜드마크를 설명하기 위한 예시도이다. 도 4의 (a)는 관심 객체 검출, 도 4의 (b)는 얼굴 검출 입력, 그리고 도 4의 (c)는 랜드마크 검출 예시를 각각 나타낸다. 본 발명의 실시예에서는 얼굴 및 랜드마크 검출에 의한 각도를 계산할 수 있다. 객체 검출에서 검출된 머리 영역의 일부를 (가령 인공지능 프로그램에 의해) 학습된 얼굴 검출기에 입력하여 도 4에서와 같이 랜드마크를 검출할 수 있다. 도 4에서의 랜드마크의 수는 예시로써 다수의 랜드마크일 수 있으며 정확한 각도 계산을 위해 2개의 눈 좌표와 하나 이상의 랜드마크는 반드시 포함되어야 한다.
아래의 <수학식 1>은 핀홀 카메라 형태에서 카메라 렌즈 특성 정보(fx,fy=수직/수평 초점 거리, cx,cy=렌즈의 중심점(주점))를 활용하여 3차원 공간을 2차원 이미지 평면으로 투사하기 위해 모델링된 수식을 의미한다.
얼굴 검출로부터 얻어진 2차원 좌표(u,v)와 이를 3D 공간으로 매핑된 좌표(Xw, Yw, Zw)를 기반으로 투영 매트릭스(r, t)를 구할 수 있다.
<수학식 2>의 투영 매트릭스는 RANSAC(RANdom SAmple Consensus) 기법을 통해 <수학식 1>로부터 도출할 수 있다.
투영 매트릭스로부터 <수학식 3> 내지 <수학식 5>를 적용해 각각 Roll, Pitch, Yaw의 각을 계산할 수 있으며 이의 해당 정보는 도 6에서와 같이 얼굴에 대한 회전, 기울임 정보를 나타낼 수 있다. 도 5에서 볼 수 있는 바와 같이, Roll은 x축을 기준으로 하는 회전각을 나타내며, Pitch는 y축을 기준으로 하는 회전, 그리고 Yaw는 z축을 기준으로 하는 회전각을 각각 나타낸다.
본 발명의 실시예에서는 머리 영역에서 액세서리 분류를 효율적으로 처리하기 위하여 액세서리 및 눈가림 분류기를 사용할 수 있다. 액세서리 및 눈가림 분류기는 딥러닝 기반 액세서리 분류기이며 <표 1>에서와 같이 분류하고자 하는 객체가 동시에 존재하는 경우가 있어 다중 라벨 분류기를 설계하여 즉 사용하여 입력된 머리 영역에서 액세서리 분류를 효율적으로 처리할 수 있다.
<표 1>은 다중 분류기의 실시 예를 보여주고 있으며 이상행동 판단을 위한 액세서리 분류기에서는 이진 분류기 모델을 기반으로 할 경우 액세서리 중복시 하나의 분류 모델로부터 다중 라벨에 대한 결과를 얻을 수 없다. 따라서, 본 발명의 실시예에서는 다중 라벨 분류기를 이용하여 여러 액세서리가 존재할 경우 하나의 학습된 딥러닝 기반 다중 라벨 분류기로부터 필요한 결과를 판단할 수 있다.
<표 1>에 나타낸 이진 분류기 모델 및 다중 레벨 분류기의 Loss 함수의 계산식은 <수학식 6> 및 <수학식 7>와 같이 나타낼 수 있다.
도 7은 통화 판단을 위한 영상 분석의 실시예를 설명하기 위한 도면이다. 도 7의 (a)는 관심 객체 검출 결과를 나타내고, 도 7의 (b)는 손 분류기, 그리고 도 7의 (c) 및 (d)는 머리/손 상호 관계로서 (c)는 IoU Score, (d)는 귀/손 간격을 각각 설명하기 위한 도면이다.
본 발명의 실시예에서는 현금 인출기에서의 피해자 이상행동을 통화 행동으로 정의하고 영상 분석 기반 휴대 전화를 이용한 통화 중인 고객을 판단할 수 있는 방법을 제공할 수 있다. 위의 관심 객체 검출부에서 '손'의 객체와 '머리' 객체 영역의 상호 관계를 분석하여 영상 기반의 통화 행동을 판단할 수 있다. 물론 이러한 판단을 위하여 행동을 판단하기 위한 룰(rule) 기반으로 저장되는 데이터를 이용하거나 인공지능의 학습을 통해 판단하는 것도 얼마든지 가능할 수 있다. 다시 말해, 이미 많은 학습 데이터를 통해 행동을 학습하였으므로 이를 근거로 판단이 얼마든지 가능할 수 있는 것이다.
도 7은 통화 판단을 위하여 검출된 관심 객체 중 손 영역에 대해서 학습된 모델로부터 손에 휴대폰의 여부를 분류한다. 분류된 손 영역으로 현재 통화 중인 상황을 추정한다. 손의 위치가 머리의 귀 영역에 존재하는지를 판단하기 위하여 머리 영역과 손 영역 간의 중첩 영역(IoU, intersection over union)이 일정 범위 안에 존재하는지를 분석한다(<수학식 8> 참조). 또한, 중첩 영역이 범위 안에 있더라도 사용자의 순간 동작에 의해 통화 중을 오판단할 수 있다. 오판단을 최소화하기 위해 두 눈의 좌표를 기반으로 귀의 위치를 추정하여 귀의 위치와 손 상단 좌표가 일정 범위 안에 존재하는지 존재 여부를 분석한다.
손 분류기로부터 '휴대폰'의 분류 결과와 머리/손 영역 상호 관계 분석이 모두 만족할 경우 통화 중임으로 판단할 수 있다(의사코드(pseudo code) 1 참조).
[의사코드 1]
나아가, 본 발명의 실시예에서는 프레임별 이상 거래 판단을 위해 위의 1) 사용자의 이상 거래 판단을 위한 관심 객체 검출, 2) 얼굴 및 랜드마크 검출에 의한 각도 계산, 3) 액세서리 및 눈가림 분류기에서 분석된 분석 결과로부터 가해자와 피해자에 대한 판단 테이블을 실시예로 표현할 수 있다. <표 2>는 가해자 이상 거래 판단 테이블을, 그리고 <표 3>은 피해자 이상 거래 판단 테이블을 각각 나타낸다. 이상 거래 여부를 프레임별 판단 결과로 저장하고 사용자의 거래 전체에 대한 판단은 이후에 설명할 시계열 이상 거래 판단에 사용자의 이상행동을 최종 판단한다.
<표 1> 및 <표 2>에서 얼굴 회전 조건에서의 X는 위의 얼굴 및 랜드마크 검출에 의한 각도 계산 과정에서 계산된 yaw, roll, pitch 가 일정 각도 범위 내에 있지 않는 경우 정상 거래 사용자의 불편을 최소화하기 위해 '판단 불가'로 결정하여 사용자가 고개를 돌린 경우, 숙인 경우 오판단을 최소화할 수 있도록 한다.
더 나아가, 본 발명의 실시예에 따른 사용자별(시계열) 이상 거래 판단은, 위의 1) 사용자의 이상 거래 판단을 위한 관심 객체 검출, 2) 얼굴 및 랜드마크 검출에 의한 각도 계산, 3) 액세서리 및 눈가림 분류기, 4) 통화 판단, 5) 프레임별 이상 거래 판단 과정에서의 판단 결과를 시계열 분석하여 사용자의 행동에 따라 순간 발생할 수 있는 극단치(outlier) 데이터들을 제거한다. 프레임별 판단 결과에 사용자의 순간 행동들을 제거하여 최종 판단의 정확도를 향상시킬 수 있다. 위의 1) 사용자의 이상 거래 판단을 위한 관심 객체 검출, 2) 얼굴 및 랜드마크 검출에 의한 각도 계산, 3) 액세서리 및 눈가림 분류기, 4) 통화 판단, 5) 프레임별 이상 거래 판단 과정은 영상취득장치로부터 취득된 단일 프레임에서의 영상 분석 동작에 관한 것이다.
<의사코드 2>는 이전 프레임의 사용자 행동 결과와 현재 결과가 동일할 경우에만 연속 결과로 간주한다. 그렇지 않을 경우 누적 수를 0으로 하여 시계열 판단에 기여할 수 있는 연속성을 수치화할 수 방법에 대한 실시예를 설명하고 있다. <의사 코드 3>에서는 판단하고자 하는 이상행동(positive)과 그렇지 않은 행동(negative)간의 연속성을 고려한 비율을 계산할 수 있는 실시예를 제공한다.
[의사코드 2]
[의사코드 3]
마지막으로 본 발명의 실시예에 따른 사용자별 동일인 판단 과정은, 현금 인출기에서의 가해자 이상 행동은 서로 다른 카드로 거래 별 동일인인 경우가 존재하며 이를 판단하여 가해자의 거래를 차단할 수 있다. 도 8에서는 검출된 사람 영역을 입력 영상으로 전달받고 학습된 전신 식별 모델로부터 특징 벡터를 추출하는 과정을 설명한다. 추출된 특징 벡터를 기반으로 이전 사용자와 현재 사용자의 유사도를 측정하여 동일인 여부를 판단할 수 있다. 도 8은 동일인 판단을 위한 특징 추출을 설명하기 위한 도면으로 도 8의 (a)는 거래별 사람 영역 검출을, 그리고 도 8의 (b)는 전신 특징 추출을 각각 나타낸다. <수학식 9>는 유사도 비교를 나타낸다.
전신 특징 추출을 위한 학습 데이터 생성은 설치된 현금 인출기의 다양한 환경에서 배경보다는 사람의 영역에 특징이 집중될 수 있도록 도 9에서와 같이 여러 배경을 합성하여 학습 데이터를 생성할 수 있다. 그렇지 않은 경우 고정된 카메라로 인해 특징값 추출시 동일한 배경으로 인해 배경의 특징을 추출하는 경우가 있고 이는 동일인 인식의 정확도 저하를 야기시킨다. 도 9의 (a)는 수집된 데이터를 나타내고, 도 9의 (b)는 배경 제거 데이터를 나타내며, 도 9의 (c)는 배경합성 데이터 = 학습데이터인 것을 각각 나타낸다.
도 10은 본 발명의 다른 실시예에 따른 ATM 이상행동 감지장치의 세부 구성을 나타내는 블록다이어그램이다.
도 10에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 ATM 이상행동 감지장치(100')는 통신 인터페이스부(1000), 제어부(1010), ATM 이상행동 감지부(1020) 및 저장부(1030)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(1030)와 같은 일부 구성요소가 생략되어 ATM 이상행동 감지장치(100')가 구성되거나 ATM 이상행동 감지부(1020)와 같은 일부 구성요소가 제어부(1010)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(1000)는 가령 자동 현금 인출기에 구비되는 카메라 또는 저장매체 등으로부터 영상을 취득할 수 있다. 여기서, 영상은 자동 현금 인출기를 통해 거래 주체자의 금융거래가 시작되고 거래가 종료될 때까지 촬영되는 촬영영상을 의미할 수 있다. 여기서, 거래 주체자는 가해자, 피(가)해자, 일반 사용자로 분류될 수 있다. 물론 다양한 유형의 거래 주체자는 ATM 거래를 위한 거래자이며, 따라서 제1 거래자 내지 제3 거래자 등으로 명명될 수 있을 것이다.
통신 인터페이스부(1000)는 통신을 수행하는 과정에서 데이터를 압축하는 인코딩, 데이터를 복원하는 디코딩 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다. 본 발명의 실시예에 따른 통신 인터페이스부(1000)는 촬영영상을 디코딩할 수 있을 것이다.
제어부(1010)는 통신 인터페이스부(1000), ATM 이상행동 감지부(1020) 및 저장부(1030)의 전반적인 제어 동작을 담당할 수 있다. 제어부(1010)는 ATM 거래와 관련한 촬영영상이 제공되면 이를 저장부(1030)에 임시 저장한 후 불러내어 영상 분석을 위해 ATM 이상행동 감지부(1020)에 제공할 수 있을 것이다.
또한 제어부(1010)는 ATM 이상행동 감지부(1020)의 판단 결과 특정 거래자의 거래가 비정상 즉 이상 거래라고 판단될 때 ATM 이상행동 감지부(1020)의 요청에 따라 기지정된 인증(예: 계좌비밀번호 등) 이외에도 추가 인증을 진행하기 위한 동작을 수행할 수 있다. 물론 여기서 추가 인증은 주민등록번호의 일부 또는 전부를 요구하거나, 휴대폰 전화번호를 추가로 요청하기 위한 동작을 수행할 수 있다. 물론 이를 위하여 제어부(1010)는 영상이 표시되는 터치스크린 즉 터치패널의 동작을 제어할 수 있다. 이외에도 제어부(1010)는 이상 거래로 판단될 때 거래자에게 경고문구나 알람을 통해 경고하거나 가령 거래금액이 기준이상으로 큰 액수일 때는 거래를 차단시키는 것도 얼마든지 가능할 수 있다. 제어부(1010)는 이러한 동작에 관여할 수도 있을 것이다.
ATM 이상행동 감지부(1020)는 ATM을 통해 거래하는 거래자들의 거래시작과 거래종료까지의 촬영영상을 제공받아 분석할 수 있다. 영상 분석과정에서 거래자의 전신 영역, 머리 영역, 손 영역을 각각 검출할 수 있다. 또한 머리 영역의 경우에는 얼굴 영역의 위치, 눈, 코, 입 등에 대한 얼굴의 주요 랜드마크를 검출할 수도 있다. 이러한 얼굴 및 랜드마크의 검출은 각도 계산을 위해 수행될 수 있으며, 이에 따라 가령 ATM 거래시 전화 통화에 의한 이상행동이나 이상거래 등을 판단하기 위해 사용할 수 있다.
ATM 이상행동 감지부(1020)는 도 2에서 살펴본 바와 같이, 머리 영역을 통한 이상 거래 판단과, 전신 영역을 통해 동일인 여부를 판단해 이상 거래를 판단하는 동작을 수행한다고 볼 수 있다. 가령 머리 영역으로 이상 거래의 판단이 어려울 때 전신 영역을 이용해 동일인 여부를 판단해 이상 거래를 판단할 수 있을 것이다. 앞서와 같이 얼굴 및 랜드마크를 통해서는 각도를 계산해 이상 거래를 판단하며, 또 가령 인공지능의 머리속성 분류기를 통해서는 액세서리 정보를 통해 이상 거래를 판단할 수도 있다. 예를 들어 위장하는 거래자의 경우는 눈 가림 여부를 판단할 수 있고, 또 거래시 전화통화 등 이상행동을 보이는 거래자는 통화중 판단을 통해 이상 거래를 판단할 수 있다. 또한 ATM 이상행동 감지부(1020)는 동일인 판단을 위해 전신 영역에서 특징점 등을 추출하며, 이에 따라 이전 거래에서 기저장되는 거래자의 전신 특징 정보와 비교하여 이를 근거로 이전 거래의 동일인 여부를 판단할 수 있다.
ATM 이상행동 감지부(1020)는 통화 판단 여부를 판단할 때 오판단을 최소화하기 위해 두 눈의 좌표를 기반으로 귀의 위치를 추정하여 귀의 위치와 손 상단 좌표가 일정 범위 안에 존재하는지 여부를 분석할 수 있지만, 다시 말해 휴대폰의 분류 결과와 머리/손 영역 상호 관계 분석이 모두 만족할 경우 통화 중임으로 판단할 수 있지만, 이상 거래를 판단할 때 사용자 즉 거래자의 시계열 분석을 통해 거래자의 행동에 따라 순간 발생할 수 있는 극단치 데이터를 제거함으로써 판단의 정확도를 증가시킬 수 있다. 이를 위하여 ATM 이상행동 감지부(1020)는 이상행동과 그렇지 않은 행동간의 연속성을 고려한 비율을 계산하여 이를 이용할 수 있으며, 가령 이전 프레임의 사용자 행동 결과와 현재 결과가 동일할 경우에만 연속 결과로 간주하고 그렇지 않을 경우 누적 수를 0으로 하여 시계열 판단에 기여할 수 있는 연속성을 수치화할 수 있을 것이다.
저장부(1030)는 제어부(1010)의 제어하에 처리되는 다양한 유형의 데이터 및 정보를 임시 저장할 수 있다. 저장부(1030)는 ATM의 카메라에서 촬영되는 촬영영상을 제공받아 임시 저장한 후 불러내어 영상 분석을 위해 ATM 이상행동 감지부(1020)로 제공할 수 있을 것이다.
상기한 내용 이외에도 도 10의 통신 인터페이스부(1000), 제어부(1010), ATM 이상행동 감지부(1020) 및 저장부(1030)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예에 따른 도 10의 통신 인터페이스부(1000), 제어부(1010), ATM 이상행동 감지부(1020) 및 저장부(1030)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(1030)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(1010)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 ATM 이상행동감지 장치(100)의 동작 초기에 ATM 이상행동감지부(1020)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.
도 11은 도 10의 ATM 이상행동 감지장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 11을 도 10과 함께 참조하면, 본 발명의 실시예에 따른 ATM 이상행동 감지장치(100)는 현금 인출기(ATM)를 사용해 금융거래를 하는 거래 주체자의 촬영영상을 수신한다(S1100). ATM 이상행동 감지장치(100)는 현금 인출기의 내부에 구성되거나 에지장치의 형태로 현금 인출기의 주변에 구성되는 등 다양한 형태로 구성될 수 있으며, 거래 주체자는 거래시 위장을 하거나, 전화통화를 하는 거래자, 또 정상 거래자 등을 모두 포함할 수 있을 것이다.
또한 본 발명의 실시예에 따른 ATM 이상행동 감지장치(100)는 수신한 촬영영상을 분석하여 영상 내 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 거래 주체자의 전신을 기반으로 동일 여부를 판단하여 이상 거래를 판단할 수 있다(S1110). 거래 주체자의 이상행동은 위에서와 같이 위장이나 전화통화 행위 등을 의미할 수 있다. 또한 이상 거래는 이상행동을 보이는 거래자에 의한 거래를 의미할 수 있다. 예를 들어, 이전 거래의 거래자와 현재 거래의 거래자가 동일인이 경우가 대표적일 수 있다. 본 발명의 실시예에서는 동일인 여부의 판단을 위하여 촬영영상의 영상 내 거래자의 전신 영역에 대한 객체를 추출하고 추출한 전신 영역의 객체에서 특징점을 추출하여 이를 근거로 이전 거래자의 특징과 비교하여 동일인 여부를 판단할 수 있을 것이다. 전신 영역의 객체에서 특징점은 다양하게 추출될 수 있지만, 가령 인공지능을 적용한 학습된 전신 식별 모델로부터 특징 벡터를 추출하여 추출된 특징 벡터를 기반으로 이전 거래자와 현재 거래자의 유사도를 측정하여 동일인 여부를 판단할 수 있을 것이다. 여기서 특징 벡터는 전신 영역에서 특정 부위와 다른 특정 부위와의 거리, 방향 등의 값이 될 수 있다.
상기한 내용 이외에도 본 발명의 실시예에 따른 ATM 이상행동 감지장치(100)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 100': ATM 이상행동 감지장치 110: 현금 인출기 관리부
120: 이상거래 탐지부 200: 영상 취득부
210: 객체 검출부 220: 얼굴 및 랜드마크 검출(부)
230: 머리속성 분류기 240: 전신 특징 추출(부)
250: 이상 거래 판단부 260: 동일인 판단부
1000: 통신 인터페이스부 1010: 제어부
1020: ATM 이상행동 감지부 1030: 저장부
120: 이상거래 탐지부 200: 영상 취득부
210: 객체 검출부 220: 얼굴 및 랜드마크 검출(부)
230: 머리속성 분류기 240: 전신 특징 추출(부)
250: 이상 거래 판단부 260: 동일인 판단부
1000: 통신 인터페이스부 1010: 제어부
1020: ATM 이상행동 감지부 1030: 저장부
Claims (10)
- 현금 인출기(ATM)를 사용해 금융거래를 하는 거래 주체자의 촬영영상을 수신하는 통신 인터페이스부; 및
상기 수신한 촬영영상을 분석하여 영상 내 상기 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 상기 거래 주체자의 전신을 기반으로 동일인 여부를 판단하여 이상 거래를 판단하는 제어부;를 포함하되,
상기 제어부는, 상기 거래 주체자의 이상 거래를 판단할 때 거래 주체자들의 행동에 따라 순간 발생할 수 있는 극단치(outlier) 데이터를 제거하기 위해 시계열 분석을 통해 이상행동(positiver)과 그렇지 않은 행동(negative)간의 연속성을 고려한 비율을 계산하여 판단의 정확도를 증가시키고,
상기 제어부는, 상기 수신한 촬영영상의 이전 프레임의 사용자 행동 결과와 현재 결과가 동일한 경우에만 연속 결과로 간주하고 그렇지 않을 경우 누적 수를 0으로 하여 시계열 판단을 위한 연속성을 수치화하는, ATM 이상행동감지 장치. - 제1항에 있어서,
상기 제어부는, 상기 거래 주체자의 이상행동을 판단할 때 상기 거래시 위장을 하거나 이전 거래의 동일인으로 거래하는 제1 거래자 또는 상기 거래시 전화 통화를 하는 제2 거래자의 이상행동을 판단하는, ATM 이상행동감지 장치. - 제2항에 있어서,
상기 제어부는, 상기 제1 거래자나 상기 제2 거래자의 이상 거래로 판단될 때 상기 거래를 위해 기지정된 인증 이외에 추가 인증을 요청하는, ATM 이상행동감지 장치. - 제1항에 있어서,
상기 제어부는, 상기 동일인 여부의 판단을 위하여 상기 거래 주체자의 전신 영역에 대한 특징을 추출하여 현 거래자의 특징과 기저장되는 이전 거래자의 특징을 비교하여 동일인 여부를 판단하는, ATM 이상행동감지 장치. - 삭제
- 통신 인터페이스부가, 현금 인출기(ATM)를 사용해 금융거래를 하는 거래 주체자의 촬영영상을 수신하는 단계; 및
제어부가, 상기 수신한 촬영영상을 분석하여 영상 내 상기 거래 주체자의 이상행동을 판단하고, 판단 결과를 근거로 상기 거래 주체자의 전신을 기반으로 동일인 여부를 판단하여 이상 거래를 판단하는 단계;를 포함하되,
상기 이상 거래를 판단하는 단계는,
상기 거래 주체자의 이상 거래를 판단할 때 거래 주체자들의 행동에 따라 순간 발생할 수 있는 극단치(outlier) 데이터를 제거하기 위해 시계열 분석을 통해 이상행동(positiver)과 그렇지 않은 행동(negative)간의 연속성을 고려한 비율을 계산하여 판단의 정확도를 증가시키고,
상기 이상 거래를 판단하는 단계는,
상기 수신한 촬영영상의 이전 프레임의 사용자 행동 결과와 현재 결과가 동일한 경우에만 연속 결과로 간주하고 그렇지 않을 경우 누적 수를 0으로 하여 시계열 판단을 위한 연속성을 수치화하는, ATM 이상행동감지 장치의 구동방법. - 제6항에 있어서,
상기 이상행동을 판단하는 단계는,
상기 거래 주체자의 이상행동을 판단할 때 상기 거래시 위장을 하거나 이전 거래의 동일인으로 거래하는 제1 거래자 또는 상기 거래시 전화 통화를 하는 제2 거래자의 이상행동을 판단하는, ATM 이상행동감지 장치의 구동방법. - 제7항에 있어서,
상기 제1 거래자나 상기 제2 거래자의 이상 거래로 판단될 때 상기 거래를 위해 기지정된 인증 이외에 추가 인증을 요청하는 단계;를 더 포함하는, ATM 이상행동감지 장치의 구동방법. - 제6항에 있어서,
상기 동일인 여부를 판단하는 단계는,
상기 거래 주체자의 전신 영역에 대한 특징을 추출하여 현 거래자의 특징과 기저장되는 이전 거래자의 특징을 비교하여 동일인 여부를 판단하는, ATM 이상행동감지 장치의 구동방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230101165A KR102579610B1 (ko) | 2023-08-02 | 2023-08-02 | Atm 이상행동감지 장치 및 그 장치의 구동방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230101165A KR102579610B1 (ko) | 2023-08-02 | 2023-08-02 | Atm 이상행동감지 장치 및 그 장치의 구동방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102579610B1 true KR102579610B1 (ko) | 2023-09-18 |
Family
ID=88196266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230101165A KR102579610B1 (ko) | 2023-08-02 | 2023-08-02 | Atm 이상행동감지 장치 및 그 장치의 구동방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102579610B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100825689B1 (ko) | 2006-08-18 | 2008-04-29 | 학교법인 포항공과대학교 | 얼굴 위장 판별 방법 |
| KR101280439B1 (ko) | 2011-09-30 | 2013-06-28 | 아이포콤 주식회사 | 현금인출기 카메라에서 취득된 얼굴 영상에 대한 얼굴 인식 가능성 판단 방법 |
| KR101372365B1 (ko) | 2012-03-23 | 2014-03-13 | 아이포콤 주식회사 | 현금 인출기용 부정 금융 거래 시도 판단 장치 |
| KR20150087959A (ko) * | 2014-01-23 | 2015-07-31 | 삼성전자주식회사 | 사용자 인증 방법 및 장치 |
| KR20200059643A (ko) * | 2018-11-21 | 2020-05-29 | 효성티앤에스 주식회사 | 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법 |
| KR20210103210A (ko) * | 2020-02-13 | 2021-08-23 | 주식회사 인텔리빅스 | 영상처리장치 및 그 장치의 구동방법 |
| KR20220135746A (ko) * | 2021-03-31 | 2022-10-07 | 효성티앤에스 주식회사 | 금융자동화기기 및 이의 제어방법, 금융자동화시스템 |
-
2023
- 2023-08-02 KR KR1020230101165A patent/KR102579610B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100825689B1 (ko) | 2006-08-18 | 2008-04-29 | 학교법인 포항공과대학교 | 얼굴 위장 판별 방법 |
| KR101280439B1 (ko) | 2011-09-30 | 2013-06-28 | 아이포콤 주식회사 | 현금인출기 카메라에서 취득된 얼굴 영상에 대한 얼굴 인식 가능성 판단 방법 |
| KR101372365B1 (ko) | 2012-03-23 | 2014-03-13 | 아이포콤 주식회사 | 현금 인출기용 부정 금융 거래 시도 판단 장치 |
| KR20150087959A (ko) * | 2014-01-23 | 2015-07-31 | 삼성전자주식회사 | 사용자 인증 방법 및 장치 |
| KR20200059643A (ko) * | 2018-11-21 | 2020-05-29 | 효성티앤에스 주식회사 | 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법 |
| KR20210103210A (ko) * | 2020-02-13 | 2021-08-23 | 주식회사 인텔리빅스 | 영상처리장치 및 그 장치의 구동방법 |
| KR20220135746A (ko) * | 2021-03-31 | 2022-10-07 | 효성티앤에스 주식회사 | 금융자동화기기 및 이의 제어방법, 금융자동화시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11443559B2 (en) | Facial liveness detection with a mobile device | |
| US10789465B2 (en) | Feature extraction and matching for biometric authentication | |
| US12014571B2 (en) | Method and apparatus with liveness verification | |
| US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
| US10095927B2 (en) | Quality metrics for biometric authentication | |
| US20190138807A1 (en) | Iris liveness detection for mobile devices | |
| US11790494B2 (en) | Facial verification method and apparatus based on three-dimensional (3D) image | |
| JP4156430B2 (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
| JP4755202B2 (ja) | 顔特徴の検出方法 | |
| CN113366487A (zh) | 基于表情组别的操作确定方法、装置及电子设备 | |
| KR100695155B1 (ko) | 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법 | |
| JP2023502202A (ja) | 偽造物理的文書の検出のための、データベース、データ構造、およびデータ処理システム | |
| WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
| US20220277311A1 (en) | A transaction processing system and a transaction method based on facial recognition | |
| KR100825689B1 (ko) | 얼굴 위장 판별 방법 | |
| KR102579610B1 (ko) | Atm 이상행동감지 장치 및 그 장치의 구동방법 | |
| CN114663930A (zh) | 一种活体检测方法、装置、终端设备及存储介质 | |
| US20180012071A1 (en) | Adaptive quantization method for iris image encoding | |
| Dixit et al. | SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People) | |
| Sundharam et al. | Re-evaluation of Face Anti-spoofing Algorithm in Post COVID-19 Era Using Mask Based Occlusion Attack | |
| KR20040098134A (ko) | 영상처리를 이용한 지능형 무인자동화 기기 및 그구현방법 | |
| Bhat et al. | Prevention of spoofing attacks in FR based attendance system using liveness detection | |
| CN118486065A (zh) | 人脸识别方法、装置、设备、介质及程序产品 | |
| Lincy et al. | Advanced feature set for face recognition under assorted lighting conditions | |
| Radha et al. | Two-Stage Cascade Framework for Multimodality Face Anti-Spoofing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |