KR20200023092A - 심리 분석 기반의 이상 상태 감지 방법 및 장치 - Google Patents

Abstract

본 발명은 사용자 본인 확인 혹은 타인의 접근을 기반으로 이상 상태를 탐지하는 것이 아니라, 영상 분석을 통한 심리 분석을 통해 사용자의 불안, 긴장, 공포와 같은 부정적 심리 상태를 추출하고 이를 기반으로 사용자의 이상 상태를 감지함으로써, 보이스피싱과 같이 범죄 행위에 노출된 사용자를 검출할 수 있는 심리 분석 기반의 이상 상태 감지 방법 및 이를 위한 장치에 관한 것이다.

Description

심리 분석 기반의 이상 상태 감지 방법 및 장치{A method and apparatus for anomaly detection based on psychological analysis}

본 발명은 사용자의 이상 상태를 감지하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 심리 분석을 통해 사용자의 불안, 긴장, 공포와 같은 부정적 심리 상태를 추출하고 이를 기반으로 사용자의 이상 상태를 감지하는 방법 및 장치에 관한 것이다.

보안 기술은 위험, 손실 및 범죄가 발생되지 않도록 방지하거나, 이에 대처하기 위한 기술로서, 오프라인 영역에서의 보안이 요구되는 건물에 대한 침입 탐지, 출입 통제, 접근 제한, 공항의 보안검색기술, 및 네트워크를 기반으로 이루어지는 온라인 영역에서의 컴퓨터 시스템으로의 침입 탐지, 개인 정보 보호, 금융결제, 전자상거래 등과 같은 온라인 서비스를 위한 사용자 본인 인증 기술 등을 들 수 있다.

전자통신기술의 이용이 보편화되고, 비대면으로 이루어지는 온라인 기반의 금융결제, 상거래가 급격히 증가하고, 이러한 비대면 처리에 따른 취약점을 이용한 불법 행위가 급증하면서, 온라인 영역에서 보안 기술의 중요성은 더욱 부각되고 있다.

한편, 최근 스미싱, 파밍, 피싱, 보이스피싱 등과 같은 전자금융사기가 급증하고 있다. 이 중, 스미싱, 파밍, 피싱 등은, 사용자 모르게 사용자 장치에 악성코드를 설치하거나, 피싱 사이트로의 접속을 유도하여, 금융결제를 수행하도록 하거나 개인정보를 탈취하는 것으로서, 사용자가 인지하지 못하는 상태에서 이루어지는 범죄 행위로서, 사용자 본인의 주의를 통해 예방할 수 있으며, 또한, 이를 탐지하고 예방하기 위한 다양한 기술들이 개발되어 있다.

그런데 보이스피싱은 전화를 통해 불법적으로 개인 정보(주민 등록 번호, 신용 카드 번호, 은행 계좌 번호 등)를 빼내거나 송금을 유도하는 범죄행위로서, 범죄자가 공공기관을 사칭하거나 사전에 SNS 등을 이용하여 사용자의 상황을 확인한 후, 사용자 혹은 사용자의 가족이나 지인을 속여 송금을 유도하는 것으로, 실제 송금이 사용자 본인에 의해서 이루어지기 때문에, 금융 거래가 이루어지는 시점에서 범죄 행위임을 인지하는데 어려움이 있다.

특히, 기존의 보안 기술은, 사용자 본인 여부에 대한 확인을 기반으로 이루어지기 때문에, 보이스피싱에 의한 송금과 같이 사용자 본인에 의해 이루어지는 금융 거래에서 범죄 행위를 검출하는 것은 불가능하다.

한국공개특허 제10-2014-0046341호, 2014년 04월 18일 공개 (명칭: 얼굴인식기능을 활용한 금융자동화기기 보안 시스템 및 보안 방법)

본 발명의 목적은 사용자 본인 확인 혹은 타인의 접근을 기반으로 이상 상태를 탐지하는 것이 아니라, 영상 분석을 통한 심리 분석을 통해 사용자의 불안, 긴장, 공포와 같은 부정적 심리 상태를 추출하고 이를 기반으로 사용자의 이상 상태를 감지함으로써, 보이스피싱과 같이 범죄 행위에 노출된 사용자를 검출할 수 있는 심리 분석 기반의 이상 상태 감지 방법 및 장치를 제공하는데 있다.

상술한 바와 같은 목적을 달성하기 위한 수단으로 심리 분석 기반의 이상 상태 감지를 위한 사용자 장치를 제공한다. 본 발명의 바람직한 실시 예에 따른 사용자 장치는, 사용자의 영상을 촬영하는 카메라부; 및 임의의 응용프로그램을 수행하는 중에 상태 분석 이벤트가 발생하는 지를 확인하여, 상태 분석 이벤트가 발생할 경우, 상기 카메라부를 통해 사용자 영상을 촬영하고, 사용자 영상에 기반한 심리분석을 통한 이상 상태 판단 결과에 따라서 보안 처리를 수행하는 제어부를 포함한다.

더하여, 상기 사용자 장치는 네트워크를 통해서 보안 서버에 접속하여 데이터를 송수신하기 위한 통신부를 더 포함하고, 상기 제어부는 상기 촬영된 사용자 영상을 보안 서버로 전송하여 이상상태 분석을 요청하고, 이에 대응하여 보안 서버로부터 상기 심리분석을 통한 이상 상태 판단 결과를 수신할 수 있다.

또한, 상기 사용자 장치에 있어서, 제어부는 상기 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하고, 상기 복수의 객체에 대해 각각의 위치, 형상, 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하고, 복수 객체의 객체 상세 정보를 조합하여 도출된 사용자의 심리 상태를 기반으로 사용자의 이상 상태를 판단할 수 있다.

이때, 상기 제어부는 상기 사용자의 심리 상태와 함께 상기 상태 분석 이벤트를 발생시킨 상황 정보를 더 고려하여 상기 이상 상태를 판단할 수 있다.

본 발명에 있어서, 상기 복수의 객체는 사용자의 얼굴, 눈, 눈썹, 미간, 코, 입, 손, 팔, 어깨, 목, 가슴, 어깨 중 하나 이상을 포함한다.

더하여, 본 발명은 상술한 과제의 해결 수단으로서, 심리 분석 기반의 이상 상태 감지를 위한 보안 서버를 제공한다.

상기 보안 서버는, 네트워크를 통해서 데이터를 송수신하는 통신 모듈; 상기 통신 모듈로 송수신된 데이터를 저장하는 저장 모듈; 및 상기 통신 모듈을 통해서 사용자장치로부터 사용자 영상이 수신되면, 수신된 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하고, 복수 객체의 형상, 위치, 및 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하여, 추적한 객체 상세 정보를 기반으로 사용자의 심리상태를 추출하고, 상기 심리상태를 고려하여 사용자의 이상 상태를 판단하는 제어 모듈을 포함한다.

상기 제어 모듈은, 상기 사용자 장치에서 상태 분석 이벤트를 발생시킨 상황 정보를 더 수신하고, 사용자의 심리 상태와 함께 상기 상황 정보를 더 고려하여 상기 이상 상태를 판단할 수 있다.

또한, 본 발명은 심리 분석 기반의 이상 상태 감지 방법을 제공한다. 본 발명의 실시 예에 따른 방법은, 보안 처리를 위한 장치가, 사용자 영상을 수신하는 단계; 수신된 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하는 단계; 복수 객체의 형상, 위치, 및 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하는 단계; 및 추적한 객체 상세 정보를 기반으로 사용자의 심리상태를 추출하고, 상기 심리상태를 고려하여 사용자의 이상 상태를 판단하는 단계를 포함하고, 더하여, 사용자 요청에 따라서 임의의 응용프로그램을 수행하는 중에, 상태 분석 이벤트가 발생하는 지를 확인하는 단계; 상태 분석 이벤트가 발생하면, 사용자 영상을 수집하는 단계를 더 포함할 수 있다.

본 발명은 사용자의 금융 거래나 전자상거래 시에 사용자의 심리 분석을 통해 사용자가 불안, 초조, 긴장 등의 부정적인 심리 상태에서 금융 거래나 결제를 요청하는 지를 확인하여, 사용자 이상상태를 판단함으로써, 보이스피싱 등에 의해서 사용자가 속아서 자발적으로 송금하는 등의 행위를 검출할 수 있다.

특히, 타인의 행위나 접근을 감지하는 것이 아니라, 사용자 본인의 심리 상태 분석에 기반하기 때문에, 범죄 행위에 피해를 당한 사용자의 행위를 정상 상태의 사용자 행위와 구분하여 감지함으로써 범죄 행위를 방지할 수 있다.

도 1은 본 발명의 실시 예에 따른 심리 분석 기반의 이상 상태 감지 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 심리 분석 기반의 이상 상태 감지를 위한 보안 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 심리 분석 기반의 이상 상태 감지를 위한 사용자 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 심리 분석 기반의 이상 상태 감지 방법을 도시한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 보안 서버의 동작을 나타낸 순서도이다.
도 6은 본 발명의 다른 실시 예에 따른 사용자 장치의 동작을 나타낸 순서도이다.
도 7은 본 발명에 따른 심리 분석 기반의 이상 상태 감지 방법이 적용되는 상황의 일 예를 도시한 도면이다.
도 8은 도 7에 도시된 예시에서 심리 분석 기반의 이상 상태 감지 과정을 예시한 도면이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "~부", "~기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, ATM(Automatic Teller's Machine) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서, 상기 컴퓨터 시스템들을 사용하는 사용자의 이상 상태를 감지하는 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

먼저, 본 발명의 실시 예에 따른 이상 상태 감지 시스템에 대해서 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 이상 상태 감지 시스템(10)을 나타낸 도면이다. 도 1을 참조하면, 이상 상태 감지 시스템(10)은 네트워크(50)를 통해 연결된 보안 서버(100) 및 사용자 장치(200)를 포함한다.

보안 서버(100) 및 사용자 장치(200)는 네트워크(50)를 통해 상호간에 데이터를 송수신할 수 있다. 네트워크(50)는 예를 들어, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신망을 포함할 수 있으며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신망을 포함할 수도 있다.

아울러, 본 발명에 이용되는 네트워크(50)는 예컨대, 다수의 접속망(미도시) 및 이들을 연결하는 코어망(미도시)으로 이루어진 이동통신망을 포함할 수 있다. 여기서, 접속망은 단말과 직접 접속하여 무선 통신을 수행하는 망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. 또한, 전술한 바와 같이, 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU를 집중화된 DU와 연결하여 구성할 수도 있다. 또한, 접속망과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망과 외부 망, 예컨대, 인터넷망과 같은 다른 통신망을 연결하는 역할을 수행한다.

이러한 코어망은 앞서 설명한 바와 같이, 접속망 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망은 주파수간 이동성을 관리하고, 접속망 및 코어망 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.

또한, 본 발명에 따른 네트워크(50)는 인터넷 망을 포함할 수 있다. 인터넷망은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미한다. 이러한 네트워크(NW)를 통해서 보안 서버(100) 및 사용자 장치(200)가 상호 연동하여 본 발명에 따른 이상 상태 감지 시스템을 구성한다.

사용자 장치(200)는 사용자가 사용하는 장치로서, 프로세서 및 메모리를 포함하는 컴퓨팅 시스템과, 소정의 기능을 수행시키는 프로그램을 구비하여, 사용자 조작에 따라서 프로그램을 실행함으로써 임의의 기능을 수행할 수 있다. 이때, 상기 프로그램은, 예를 들어, 은행이나 신용카드회사와 같은 금융 기관과 연계된 금융 결제 프로그램, 전자상거래 프로그램 등과 같이 보안 기술의 적용이 필요한 프로그램이 될 수 있다.

이러한 사용자 장치(200)는 예를 들어, 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA 등과 같은 일반 사용자가 이용하는 정보 처리 기기뿐만 아니라, 은행의 ATM(Automatic Teller's Machine), 오프라인 상점의 POS(Point of sale terminal) 등이 될 수 도 있다.

그리고, 보안 서버(100)는 상술한 사용자 장치(200)를 통해, 위험, 손실 및 범죄가 발생되지 않도록 방지하거나, 이에 대처하기 위한 장치이다. 이때, 보호 대상은, 상기 사용자 장치(200)를 이용하는 사용자의 개인 정보, 혹은 상기 사용자의 자산이 될 수 있다. 구체적으로, 상기 보안 서버(100)는 상기 사용자 장치(200)로부터 제공되는 상기 사용자 장치(200)를 이용하는 사용자의 영상을 기반으로 상기 사용자의 심리 상태를 분석하고, 분석한 심리 상태를 기반으로 사용자의 이상상태를 감지하여 사용자의 개인 정보 또는 사용자의 자신의 손실이나 침입 등을 방지한다.

이러한, 보안 서버(100)는 네트워크 상에 존재하는 하나의 엔티티(Entity)로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 보안 서버(100)는 금융기관의 ATM 기에 연결되어 금융 거래를 수행하는 애플리케이션 서버, 네트워크(50)를 기반으로 소정의 상품이나 서비스를 거래하는 전자상거래 서버 등이 될 수 있다.

그리고, 사용자 장치(200)는 이동통신단말기를 대표적인 예로서 설명하지만 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 일례로, 단말기는 휴대폰, PMP(Portable Multi-media Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿 PC, 패블릿 PC, 노트북, 퍼스널컴퓨터 등이 될 수도 있으며, 다른 예에서는 ATM, POS 단말기 등이 될 수도 있다.

그러면, 보다 상세히 본 발명의 실시 예에 따른 보안 서버(100) 및 사용자 장치(200)의 구성에 대해서 살펴보기로 한다. 먼저, 본 발명의 실시 예에 따른 보안 서버(100)의 구성에 대해서 설명하기로 한다.

도 2는 본 발명의 실시 예에 따른 보안 서버의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 보안 서버(100)는 통신 모듈(110), 저장 모듈(120) 및 제어 모듈(130)을 포함한다.

통신 모듈(110)은 사용자 장치(200)와의 통신을 위한 것이다. 통신 모듈(110)은 네트워크(50)에 접속하고, 사용자 장치(200)가 상기 네트워크(50)를 통해서 보안 서버(100)에 접속하면 사용자 장치(200)와 필요한 정보를 포함하는 데이터를 교환하기 위한 통신을 수행한다. 통신 모듈(110)은 제어 모듈(130)로부터 사용자 장치(200)로 전송하기 위한 데이터, 예컨대, 사용자 장치(200)를 이용하는 사용자의 영상을 포함하는 데이터를 전달받으면, 전달받은 데이터를 패킷으로 구성하여 보안 서버(100)로 전송한다. 또한, 통신 모듈(110)은 사용자 장치(200)로부터 수신되는 패킷으로부터 데이터, 즉, 사용자의 영상을 추출하여 제어 모듈(130)로 전달한다.

저장 모듈(120)은 보안 서버(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 보안 서버(100)의 전반적인 동작을 제어하는 프로그램 및 보안 서버(100)를 부팅시키는 운영체제(OS, Operating System), 이미지 검색을 위한 애플리케이션을 등을 저장할 수 있다. 데이터 영역은 보안 서버(100)의 운영에 따라 발생하는 데이터 및 보안 서버(100)의 운영에 필요한 데이터가 저장되는 영역이다. 예컨대, 저장 모듈(120)은 사용자 장치(200)로부터 전송받은 사용자의 영상을 저장할 수 있다. 또한, 저장 모듈(120)은 상기 사용자의 영상을 분석하는 과정에서 나타나는 정보들, 예를 들어, 사용자의 심리 상태에 대한 정보를 저장할 수 있다. 또한, 저장 모듈(120)은 상기 사용자의 심리 분석에 필요한 정보를 저장할 수 있다. 구체적으로, 행동 심리 모형에 기반한 기준 데이터를 저장할 수 있다. 저장 모듈(120)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.

제어 모듈(130)은 보안 서버(100)의 전반적인 동작 및 보안 서버(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어 모듈(130)은 마이크로프로세서 또는 중앙 처리 장치(Central Processing Unit: CPU)인 것이 바람직하다. 제어 모듈(130)은 이미지 처리 모듈(131) 및 이미지 분석 모듈(133)을 포함한다.

이미지 처리 모듈(131)은 상기 사용자 장치(200)로부터 수신한 사용자의 영상에 대한 처리를 수행하기 위한 구성이다. 상기 이미지 처리 모듈(131)은 잘 알려진 다양한 영상 처리 기능을 수행한다. 예를 들어, 영상에 대한 필터링, 정규화 등의 영상 전처리와 함께 사용자의 얼굴 인식, 사용자 영상으로부터 심리 분석에 필요한 객체의 추출을 수행할 수 있다. 상기 사용자의 영상은, 사용자가 사용자 장치(200)를 이용하는 동안 실시간 혹은 소정 주기로 전송되는 것으로서, 상기 이미지 처리 모듈(131)은 이렇게 동일 사용자에 대한 영상을 시간 순서로 처리하여 관련 데이터를 저장 모듈(120)에 저장할 수 있다.

다음으로, 상기 이미지 분석 모듈(133)은 상기 이미지 처리 모듈(131)에 의해 심리 분석용으로 추출된 복수의 객체를 분석하여 사용자의 심리 상태를 판단한다. 사용자의 심리 상태는 기 설정된 심리 모형에 기반하여 이루어질 수 있다.

이러한 이미지 처리 모듈(133) 및 이미지 분석 모듈(133)을 포함하는 제어 모듈(130)의 동작은 아래에서 도 4 내지 도 8을 참조하여 더 상세하게 설명될 것이다.

다음으로, 본 발명의 실시 예에 따른 사용자 장치(200)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시 예에 따른 사용자 장치의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 사용자 장치(200)는 통신부(210), 입력부(220), 표시부(230), 저장부(240), 제어부(250), 및 카메라부(260)를 포함한다.

통신부(210)는 보안 서버(100)를 비롯한 다른 장치와 통신을 위한 것으로, 다양한 통신 연결 방식을 통해 통신을 수행한다. 이러한 통신부(210)는 다양한 통신 연결 방식의 통신 기능 중 어느 하나를 선택하여 통신할 수 있다. 이러한 통신부(210)는 하나의 모듈 혹은 복수의 모듈로 구현될 수도 있다. 예컨대, 통신부(210)는 WCDMA, LTE, LTE-A 등의 표준에 따라 기지국을 통해 네트워크에 접속하는 광대역이동통신 방식, Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 방식에 따라 접속포인트(AP: Access Point)를 통해 네트워크에 접속하여 통신을 수행하는 무선근거리통신 방식 등을 이용할 수 있다. 통신부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 제어부(250)로부터 전달 받은 데이터, 예컨대, 심리 상태의 분석 결과 혹은 심리 상태의 분석 결과에 따른 보안 제어 명령을 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다. 또한, 통신부(210)는 무선 채널을 통해 데이터, 예컨대, 이미지 검색 결과를 포함하는 무선 신호를 수신하여 제어부(250)로 전달할 수 있다.

입력부(220)는 사용자 장치(200)를 제어하기 위한 사용자의 키 조작을 입력 받고 입력 신호를 생성하여 제어부(250)로 전달한다. 입력부(220)는 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자 장치(200)의 일면에 소정의 기능키로 형성될 수 있다. 표시부(230)가 터치스크린으로 이루어진 경우, 입력부(220)의 각 종 키들의 기능이 표시부(230)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(220)는 생략될 수도 있다.

표시부(230)는 사용자 장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(230)는 사용자 장치(200)의 프로그램 또는 기능 실행에 따른 다양한 실행 화면, 즉, 부팅 화면, 대기 화면, 메뉴 화면 등을 출력하는 기능을 수행한다. 상기 화면들은 프로그램에 지정된 알고리즘에 따라 구현될 수 있다. 이러한 표시부(230)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(230)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(230)는 터치센서를 포함하며, 제어부(250)는 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(250)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(250)로 전송할 수 있다.

저장부(240)는 사용자 장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자 장치(200)의 전반적인 동작을 제어하는 프로그램 및 사용자 장치(200)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자 장치(200)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 또한, 저장부(240)는 사용자 장치(200)의 동작에 따라 발생되는 각 종 데이터 등을 저장할 수 있다.

제어부(250)는 사용자 장치(200)의 전반적인 동작 및 사용자 장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(250)는 중앙 처리 장치(Central Processing Unit: CPU), 애플리케이션 프로세서(Application Processor), 그래픽 프로세서(GPU: graphic processing unit) 등이 될 수 있다. 제어부(250)는 기 저장된 프로그램에 따라서 소정의 기능을 수행하는 중에, 상태 분석 이벤트가 발생하면, 사용자 장치(200)를 이용 중인 사용자의 영상을 획득하여 통신부(210)를 통해서 보안 서버(100)로 전송한다. 상기 사용자 영상의 전송은 실시간으로 혹은 주기적으로 이루어질 수 있다. 참고로, 사용자 영상은 정지 영상일 수 도 있고, 동영상이 될 수 도 있다. 그리고, 상기 보안 서버(100)로부터 심리 분석 결과 혹은 심리 분석 결과에 따른 보안 제어 명령을 수신하고, 이에 따라서 사용자 장치(200)에 대한 사용자의 이용을 제한한다. 참고로, 사용자의 이용 제한은, 사용자 요청한 명령(예를 들어, 결제 명령 또는 송금 명령 등)에 대한 실행을 중지한다. 이에 사용자 장치(200)를 이용하는 사용자가 보이스피싱과 같은 범죄 행위에 노출되어 잘못된 명령이나 기능을 실행하는 것을 저지할 수 있다.

그리고, 카메라부(260)는 사용자 장치(200)를 이용하는 사용자의 영상을 촬영하기 위한 구성이다. 참고로, 상기 카메라부(260)는 적어도 사용자 장치(200)를 이용하는 사용자의 얼굴 영상을 촬영할 수 있도록 설치되는 것이 바람직하다. 가장 바람직하게는 사용자의 전신 영상을 촬영할 수 있는 것이 좋고, 전신 촬영이 어려운 경우 사용자의 상반신(얼굴, 어깨, 가슴, 팔, 손 등)을 촬영하는 것이 좋다. 이를 위하여, 상기 카메라부(260)는 사용자와 대면하게 되는 표시부(230)의 주변에 설치될 수 있다.

다음으로, 본 발명의 실시 예에 따른 심리분석에 기반한 이상 상태 감지 방법에 대해서 설명하기로 한다.

도 4는 본 발명의 실시 예에 따른 심리 분석에 기반한 이상 상태 감지 과정을 나타낸 흐름도이다.

도 4를 참조하면, 본 발명에 따른 이상 상태 감지 시스템에 있어서, 사용자 장치(200)는 사용자의 조작에 따라서 소정의 기능을 수행할 수 있다. 여기서, 소정의 기능은, 금융 거래, 전자상거래 등이 될 수 있으며, 이를 위하여, 상기 사용자 장치(200)는 소정의 프로그램을 실행하고, 아울러, 네트워크(50)를 통해서 외부의 서버장치(예를 들어, 쇼핑몰 사이트 서버, 은행 서버, 신용카드사 서버 등)와 연동할 수 있다.

아울러, 상기 사용자 장치(200)의 사용자의 조작에 따라서 소정의 기능 수행과는 별도로, 본 발명에 따른 심리 분석 기반의 이상 상태 감지 방법에 따라서 상태 분석 이벤트가 발생하는 지 확인한다(S105). 여기서, 상태 분석 이벤트는, 보안을 위하여 심리 분석에 기반한 사용자의 이상 상태 감지를 요청하는 이벤트로서, 상기 사용자 장치(200)에서 수행되는 기능 중, 보안을 위해 사용자가 정상 상태인지 확인이 필요한 기능에 대한 사용자 요청이 발생될 경우에 발생되도록 설정된다. 여기서, 보안을 위해 사용자가 정상 상태인지 확인이 필요한 사용자 요청은, 송금 요청, 결제 요청 등 범죄 행위와 연관될 경우 사용자에게 손실을 주거나 사용자를 위험에 빠트릴 수 있는 기능의 요청이 될 수 있다. 따라서, 상기 사용자 장치(200)는 금융이나 전자상거래와 관련된 처리를 수행하는 응용 프로그램과 함께 본 발명에 따른 심리 분석 기반의 이상 상태 감지 방법을 실행시키는 프로그램을 설치하여 실행할 수 있다.

그리고, 사용자 장치(200)는 상술한 확인 결과 상태 분석 이벤트가 발생하면, 카메라부(260)를 제어하여 사용자 영상을 촬영하며(S110), 촬영된 사용자 영상을 보안 서버(100)로 전송한다(S115). 상기 S110 단계 및 S115 단계는 상기 상태 분석 이벤트가 종료될 때까지 반복적으로 이루어질 수 있다. 아울러, 상기 사용자 영상의 전송 시, 사용자 장치(200)는 사용자의 이상 상태 분석에 대한 요청을 함께 전송할 수 있다.

그리고, 상술한 바와 같이, 상태 분석 이벤트에 의하여 사용자 장치(200)로부터 사용자 영상이 전송되면, 보안 서버(100)는 수신되는 사용자 영상에 기반하여 사용자의 심리 상태를 분석하고, 분석된 심리 상태에 기반하여 사용자의 이상 상태를 검출한다(S120).

여기서, 심리 상태 분석 및 이에 따른 이상 상태 검출 과정을 도 5를 참조하여 더 구체적으로 설명한다.

도 5는 본 발명의 실시 예에 따른 보안 서버(100)의 이상 상태 검출 과정을 상세하게 나타낸 순서도이다.

도 5를 참조하면, 보안 서버(100)는 구체적으로, 수신된 사용자 영상에 대한 기본적인 전처리를 수행한 후, 사용자 영상으로부터 심리 분석에 필요한 복수의 객체를 추출한다(S205). 여기서, 심리 분석에 필요한 복수의 객체는 행동 심리 분석 모형에서 사람의 심리 분석에 사용되는 얼굴, 팔, 손, 어깨, 가슴, 머리, 눈썹, 코, 입, 귀 등이 될 수 있다.

그리고, 본 발명에 따른 보안 서버(100)는 상기 추출한 복수 객체의 형상, 위치, 및 움직임 중에서 하나 이상을 확인한다(S210). 이는 복수 객체 각각의 특징 정보에 기반한 영상 분석을 통해서 이루어질 수 있다.

참고로, 심리학에서는 사람의 얼굴 표정과 행동으로 그 사람의 심리 상태가 표출된다고 알려져 있다. 예를 들어, 긴장하거나 놀란 경우 눈을 크게 뜨고 눈동자가 흔들리게 되며, 자신감 있는 사람은 어깨를 당당히 펴는데 반해, 불안하거나 위축되어 있는 사람은 방어적인 행동으로 어깨를 움츠리거나 배를 가리는 행동을 취하게 되며, 불안하거나 걱정이 많은 경우 손으로 얼굴을 가리거나 만지는 행위를 자주 취하게 된다. 이러한 예는 가장 기본적으로 알려져 있는 예시로서, 심리학 실험 및 관찰을 통해서 사람의 표정 및 행위와 심리 상태간의 관계에 대한 다양한 이론 및 정리가 이루어져 있다. 이를 행동 심리 모형이라 한다.

따라서, 본 발명에 따른 보안 서버(100)는 이러한 행동 심리 모형에 기반하여 복수의 객체를 추출하고, 복수 객체의 형상, 위치, 및 움직임을 확인할 수 있다.

그리고 본 발명에 따른 보안 서버(100)는 상기 확인된 복수 객체의 형상, 위치, 움직임의 조합에 기반하여 사용자의 심리 상태를 판단한다(S215). 이때, 본 발명에 따른 보안 서버(100)는 하나의 객체에 대한 분석 결과에 기반하여 심리 상태를 판단하는 것이 아니라, 하나의 객체에 대한 지속적이고 반복적인 형상, 위치, 움직임의 변화뿐만 아니라, 복수 객체의 형상, 위치, 및 움직임의 변화를 조합하여 심리 상태를 판단한다. 예를 들어, 보안 서버(100)는 둘 이상의 객체의 형상, 위치 및 움직임이 지속적으로 동일한 심리 상태를 나타내고 있을 때, 사용자의 심리 상태를 최종 결정할 수 있다.

아울러 본 발명에 따른 보안 서버(100)는 앞서 상태 분석 이벤트를 발생시킨 상황과 사용자의 심리 상태를 모두 고려하여 사용자의 이상상태를 여부를 판단한다(S220). 예를 들어, 사용자가 한번도 사용하지 않은 계좌로 기 설정된 금액 이상의 비용을 송금 요청하거나, 일정 시간(예를 들어, 1시간) 이내에 사용자가 송금을 요청한 금액이 기 설정된 금액 이상이 될 때, 상태 분석 이벤트가 발생할 수 있으며, 아울러, 이때 상기 S215 단계에서 사용자의 심리 상태가 불안, 초조, 긴장, 공포 등과 같은 부정적인 심리 상태로 검출된 경우, 범죄 행위와의 연관 가능성이 있는 이상 상태로 판단할 수 있다.

다시 도 4로 되돌아가서, 상술한 바와 같이, 사용자 영상에 기반한 심리 분석을 통해서 사용자의 이상 상태가 검출되면(S120), 본 발명에 따른 보안 서버(100)는 사용자의 이상 상태를 사용자 장치(200)로 통지하고(S125), 사용자 장치(200)는 이상 상태에 대응한 보안 처리를 수행한다(S130). 여기서, 보안 처리는, 상기 상태 분석 이벤트를 발생시킨 사용자의 요청 혹은 응용프로그램의 소정 프로세싱에 대한 실행을 중단시키거나, 사용자의 이상 상태를, 관련된 공공기관 혹은 지인에게 통지하는 형태로 이루어질 수 있다.

참고로, 상술한 예에서는 사용자 장치(200)가 이상 상태 판단 결과에 따라서 능동적으로 보안 처리를 수행하는 것으로 기술하였으나, 이와 달리, 보안 서버(100)에서 사용자의 이상 상태에 따라서 적절한 보안 처리 명령을 생성하여 사용자 장치(200)로 전송하고, 상기 사용자 장치(200)가 상기 보안 처리 명령을 수행하는 형태로 이루어질 수 도 있다.

아울러, 이상의 실시 예에서는 영상에 기반한 심리 분석 과정만을 기술하였다. 그러나, 본 발명은 이에 한정되는 것이 아니며, 심리 분석이 가능한 요소라면, 사용자의 정보 중 어떠한 것이라도 더 이용할 수 있다. 구체적으로, 본 발명은 사용자의 영상 이외에, 사용자의 음성을 함께 수집하여 심리 분석에 이용할 수 있다.

또한, 이상의 실시 예에서는 보안 서버(100)와 사용자 장치(200)의 연동을 통해서 심리 분석 기반의 이상 상태 감지가 이루어지는 것으로 기술하였으나, 이와 달리, 사용자 장치(200)의 단독 동작으로 심리 분석 기반의 이상 상태 감지가 이루어질 수 도 있다. 이를 위해서, 상기 사용자 장치(200)는 심리분석 기반의 이상상태 감지를 실행시키기 위한 응용프로그램 및 판단 기준이 되는 다양한 행동 심리 모형에 관한 데이터를 보유할 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 사용자 장치의 동작을 나타낸 순서도로서, 사용자 장치(200)의 단독 동작으로 심리 분석 기반의 이상 상태 감지가 이루어지는 경우의 실시 예를 나타낸다.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 사용자 장치(200)는 사용자의 조작에 따라서 소정의 기능을 수행하는 중에, 상태 분석 이벤트가 발생하는지를 확인하고(S305), 상태 분석 이벤트가 발생한 경우, 사용자 장치(200)를 이용하는 사용자의 영상을 촬영한다(S310).

여기서, 소정의 기능은, 금융 거래, 전자상거래 등이 될 수 있으며, 이러한 처리 중 상태 분석 이벤트가 발생하는 상황은 기 설정된다.

예를 들어, 상태 분석 이벤트는 단순하게 송금 요청, 결제 요청 등 범죄 행위와 연관될 경우 사용자에게 손실을 주거나 사용자를 위험에 빠트릴 수 있는 기능에 대한 사용자 요청이 있을 때 발생되도록 설정할 수 도 있고, 이보다는 좀더 복잡하게, 블랙리스트에 포함된 특정 계좌 혹은 사용자가 한번도 사용한 적인 없는 계좌로 일정 금액 이상의 송금 요청이 발생하거나, 단시간(예를 들어, 1시간 이내 내에 누적된 송금 요청이 일정한 금액 이상에 도달한 경우에 발생하도록 할 수 도 있다. 이러한 상태 분석 이벤트의 발생은, 검출하고자 하는 범죄 행위의 유형이나 방법 형태 등에 따라서 설정될 수 있다.

그리고, 상술한 바와 같이, 상태 분석 이벤트에 의하여 사용자 영상이 촬영되면, 사용자 장치(200)는 사용자 영상으로부터 심리 분석에 필요한 복수의 객체를 추출한다(S305). 여기서, 심리 분석에 필요한 복수의 객체는 행동 심리 분석 모형에서 사람의 심리 분석에 사용되는 얼굴, 팔, 손, 어깨, 가슴, 머리, 눈썹, 코, 입, 귀 등이 될 수 있다.

그리고, 본 발명의 다른 실시 예에 따른 사용자 장치(200)는 상기 추출한 복수 객체의 형상, 위치, 및 움직임 중에서 하나 이상을 포함하는 개게 상세 정보를 추적한다(S320).

그리고 사용자 장치(200)는 상기 추적한 객체 상세 정보에 기반하여 사용자의 심리상태를 분석하고, 상기 분석한 사용자의 심리 상태와 상태 분석 이벤트가 발생한 상황을 조합하여 사용자의 이상 상태 여부를 판단한다(S325).

상기 S325단계는 보안 서버(100)에서와 동일한 방식으로 이루어질 수 있다.

그리고, 사용자가 이상 상태인 것으로 판단된 경우, 사용자 장치(100)는 표시부(230)를 통해서 사용자에게 본인의 상태 정보를 알리는 안내 메시지를 출력하고(S330), 아울러, 상기 상태 분석 이벤트가 발생한 어플리케이션과 연계하여 보안 처리를 수행한다(S335).

상기 보안 처리는, 앞서 설명한 바와 같이, 상기 상태 분석 이벤트를 발생시킨 사용자의 요청 혹은 어플리케이션 프로그램의 소정 프로세싱에 대한 실행을 중단시키거나, 사용자의 이상 상태를, 관련된 공공기관 혹은 지인에게 통지하는 형태로 이루어질 수 있다.

이상에서 설명한 본 발명에 따른 심리 분석 기반의 이상 상태 감지는 도 7 및 도 8의 예시를 통해 보다 쉽게 이해될 수 있다.

도 7은 본 발명에 따른 심리 분석 기반의 이상 상태 감지 방법이 적용되는 상황의 일 예를 도시한 도면이고, 도 8은 도 7에 도시된 예시에서 심리 분석 기반의 이상 상태 감지 과정을 예시한 도면이다.

도 7은, 사용자가 이동통신단말기(스마트폰)을 이용하여 모바일 금융 거래(계좌 이체)를 하고 있는 상황을 나타낸다.

이때, 상태 분석 이벤트는 금융 거래 요청이 있으면 발생되는 것으로 가정한다.

따라서, 도 7에 도시한 상황에서 사용자가 계좌 이체를 요청하면, 해당 사용자 장치(200), 즉, 이동통신단말기는 계좌 이체를 요청하는 사용자의 영상을 촬영한다.

도 8의 좌측은 상기 도 7의 상황에서, 이동통신단말기에 의해 촬영된 사용자 영상으로, 상기 사용자 영상은 사용자의 얼굴을 중심으로 한 상반신 일부를 포함할 수 있다.

그리고, 도 8의 우측은 상기 좌측의 사용자 영상으로부터 추출된 심리분석을 위해 추출된 복수의 객체를 나타낸다.

여기서, 복수의 객체는, 각각 눈과 눈썹을 포함하는 눈 주변 영상, 코, 입 및 손을 포함한다.

상기 상태에서 본 발명은 각각의 객체의 형상, 위치, 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하며, 상기 추적을 통해서, 사용자가 눈썹 사이의 미간과 코에 주름이 잡혀있으며, 입술의 양끝을 아래로 내려 굳히고 있고, 손은 입술을 만지면서 떨고 있음을 확인할 수 있다.

이에 본 발명은 이러한 사용자의 행위를 행동 심리 모형에 적용하여, 사용자가 불안, 초조, 긴장 등의 부정적 심리 상태에 있음을 판단할 수 있다.

아울러, 이러한 사용자의 심리 상태로 사용자가 한번도 이용한 적인 없는 계좌로 일정 금액 이상을 송금하고 있다면, 이상상태로 판단하여 사용자의 계좌 요청을 중지시키거나, 사용자의 계좌 이체 시도를 지정한 연락처(예를 들어, 공공기관 또는 설정된 지인)로 알릴 수 있다.

이에 따르면, 보이스피싱 등의 사기 행위에 의해서 속은 사용자가 불안한 심리 상태로 송금을 수행하는 행위를 검출할 수 있으며, 계좌 이체 중지나 지인으로의 연락을 통해서 사용자가 해당 상황을 다시 판단해볼 수 있도록 유도하여, 보이스피싱에 의한 자산 손실을 방지할 수 있다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

본 발명은 사용자의 금융 거래나 전자상거래 시에 사용자의 심리 분석을 통해 사용자가 불안, 초조, 긴장 등의 부정적인 심리 상태에서 금융 거래나 결제를 요청하는 지를 확인하여, 사용자 이상상태를 판단함으로써, 보이스피싱 등에 의해서 사용자가 속아서 자발적으로 송금하는 등의 행위를 검출할 수 있다.

특히, 타인의 행위나 접근을 감지하는 것이 아니라, 사용자 본인의 심리 상태 분석에 기반하기 때문에, 범죄 행위에 피해를 당한 사용자의 행위를 정상 상태의 사용자 행위와 구분하여 감지함으로써 범죄 행위를 방지할 수 있다.

100: 보안 서버 110: 통신 모듈
120: 저장 모듈 130: 제어 모듈
131: 이미지 처리 모듈 133: 이미지 분석 모듈
200: 사용자 장치 210: 통신부
220: 입력부 230: 표시부
240: 저장부 250: 제어부

Claims (10)

1. 사용자의 영상을 촬영하는 카메라부;
   임의의 응용프로그램을 수행하는 중에 상태 분석 이벤트가 발생하는 지를 확인하여, 상태 분석 이벤트가 발생할 경우, 상기 카메라부를 통해 사용자 영상을 촬영하고, 사용자 영상에 기반한 심리분석을 통한 이상 상태 판단 결과에 따라서 보안 처리를 수행하는 제어부를 포함하는 사용자 장치.
2. 제1항에 있어서,
   네트워크를 통해서 보안 서버에 접속하여 데이터를 송수신하기 위한 통신부를 더 포함하고,
   상기 제어부는 상기 촬영된 사용자 영상을 보안 서버로 전송하여 이상상태 분석을 요청하고, 이에 대응하여 보안 서버로부터 상기 심리분석을 통한 이상 상태 판단 결과를 수신하는 것을 특징으로 하는 사용자 장치.
3. 제1항에 있어서, 상기 제어부는
   상기 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하고, 상기 복수의 객체에 대해 각각의 위치, 형상, 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하고, 복수 객체의 객체 상세 정보를 조합하여 도출된 사용자의 심리 상태를 기반으로 사용자의 이상 상태를 판단하는 것을 특징으로 하는 사용자 장치.
4. 제3항에 있어서, 상기 제어부는
   상기 사용자의 심리 상태와 함께 상기 상태 분석 이벤트를 발생시킨 상황 정보를 더 고려하여 상기 이상 상태를 판단하는 것을 특징으로 하는 사용자 장치.
5. 제1항에 있어서, 상기 복수의 객체는
   사용자의 얼굴, 눈, 눈썹, 미간, 코, 입, 손, 팔, 어깨, 목, 가슴, 어깨 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 장치.
6. 네트워크를 통해서 데이터를 송수신하는 통신 모듈;
   상기 통신 모듈로 송수신된 데이터를 저장하는 저장 모듈; 및
   상기 통신 모듈을 통해서 사용자장치로부터 사용자 영상이 수신되면, 수신된 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하고, 복수 객체의 형상, 위치, 및 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하여, 추적한 객체 상세 정보를 기반으로 사용자의 심리상태를 추출하고, 상기 심리상태를 고려하여 사용자의 이상 상태를 판단하는 제어 모듈을 포함하는 보안 서버.
7. 제6항에 있어서,
   상기 제어 모듈은, 상기 사용자 장치에서 상태 분석 이벤트를 발생시킨 상황 정보를 더 수신하고, 사용자의 심리 상태와 함께 상기 상황 정보를 더 고려하여 상기 이상 상태를 판단하는 것을 특징으로 하는 보안 서버.
8. 제6항에 있어서, 상기 복수의 객체는
   사용자의 얼굴, 눈, 눈썹, 미간, 코, 입, 손, 팔, 어깨, 목, 가슴, 어깨 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 장치.
9. 보안 처리를 위한 장치가,
   사용자 영상을 수신하는 단계;
   수신된 사용자 영상으로부터 심리 분석을 위한 복수의 객체를 추출하는 단계;
   복수 객체의 형상, 위치, 및 움직임 중 하나 이상을 포함하는 객체 상세 정보를 추적하는 단계; 및
   추적한 객체 상세 정보를 기반으로 사용자의 심리상태를 추출하고, 상기 심리상태를 고려하여 사용자의 이상 상태를 판단하는 단계를 포함하는 심리 분석 기반의 이상 상태 감지 방법.
10. 제9항에 있어서,
    사용자 요청에 따라서 임의의 응용프로그램을 수행하는 중에, 상태 분석 이벤트가 발생하는 지를 확인하는 단계;
    상태 분석 이벤트가 발생하면, 사용자 영상을 수집하는 단계를 더 포함하는 것을 특징으로 하는 심리 분석 기반의 이상 상태 감지 방법.

Images