KR20170077381A - 음성 인식을 이용한 보이스피싱 방지 시스템 및 방법 - Google Patents

Abstract

보이스피싱 방지 시스템이 발신 단말로부터의 보이스피싱을 방지하기 위하여, 발신 단말이 수신 단말로의 호 연결을 시도하는 과정에서 1차 보이스피싱호를 검출하고, 발신 단말과 수신 단말 사이에 호 연결 후 음성 통화가 이루어질 때, 수신 단말과의 정보 송수신을 통해 발신 단말에 대한 2차 보이스피싱호를 검출하여 보이스피싱을 방지한다.

Description

음성 인식을 이용한 보이스피싱 방지 시스템 및 방법{System and method for prevent voice phishing using speech recognition}

본 발명은 음성 인식을 이용한 보이스피싱 방지 시스템 및 방법에 관한 것이다.

최근 사회적 문제로 대두되어 큰 피해 규모를 일으키고 있는 보이스피싱은, 전화를 통해 발신인이 공공기관임을 사칭하여 수신인의 신상 정보를 파악하여 악용하거나 수신인으로 하여금 금전적 피해를 발생시키는 범죄 행위이다. 이러한 보이스피싱을 막기 위하여 다양한 방법들이 연구되고 있다.

보이스피싱으로 신고된 발신 번호로 블랙리스트를 구성하고, 발신 번호가 블랙리스트에 있는 번호인지를 검색하여 보이스피싱 여부를 파악하는 방법이 있다. 또 다른 방법으로는 공공기관의 전화번호로 화이트리스트를 구성하고, 발신번호가 화이트리스트에 있는 번호인지 검색하여 수신자 단말로 전달하여 보이스피싱을 예방하는 방법들이 있다.

이러한 보이스피싱을 예방하기 위한 방법들은 전화번호를 이용한 방법으로 한정되기 때문에, 전화번호를 변조하는 경우에는 보이스피싱 여부를 판별하기 어려운 문제점이 있다.

따라서, 본 발명은 음성 인식을 이용하여 보이스피싱 호 여부를 판단하는 보이스피싱 방지 시스템 및 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 음성 인식을 이용하여 보이스피싱을 방지하는 시스템은,

발신 단말과 수신 단말 사이에 음성 호 연결이 시도될 때, 발신 단말의 전화번호를 토대로 1차로 보이스피싱호 여부를 인식하는 제1 인식부; 및 상기 발신 단말과 수신 단말 사이에 음성 호가 연결된 후, 상기 발신 단말과 수신 단말 사이에 송수신되는 음성을 인식하고, 상기 수신 단말과의 정보 송수신을 토대로 상기 발신 단말에 의해 연결된 호가 보이스피싱호인지 여부를 2차로 확인하는 제2 인식부를 포함한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 보이스피싱 방지 시스템이 발신 단말로부터의 보이스피싱을 방지하는 방법은,

상기 발신 단말이 수신 단말로의 호 연결을 시도하는 과정에서 1차로 보이스피싱호를 검출하는 단계; 및 상기 발신 단말과 수신 단말 사이에 호 연결 후 음성 통화가 이루어질 때, 상기 수신 단말과의 정보 송수신을 통해 상기 발신 단말에 의해 생성된 호에 대하여 2차로 보이스피싱호를 검출하는 단계를 포함한다.

본 발명에 따르면 실제 통화 내용으로 보이스피싱 여부를 판단하기 때문에, 신고된 블랙리스트에 없는 신규 전화번호를 통한 보이스피싱 시도나 인증되지 않은 전화번호로 걸려온 보이스피싱 호에 대해서도 예방할 수 있다.

도 1은 본 발명의 실시예에 따른 보이스피싱 방지 시스템이 설정된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 보이스피싱 인식 서버의 구조도이다.
도 3은 본 발명의 실시예에 따른 단말의 구조도이다.
도 4는 본 발명의 실시예에 따른 보이스피싱 방지 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 발신번호 분석을 통한 보이스피싱호 검출 방법에 대한 흐름도이다.
도 6은 본 발명의 실시예에 따른 음성인식을 통한 보이스피싱호 검출 방법에 대한 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 단말(terminal)은, 이동국(Mobile Station, MS), 이동 단말(Mobile Terminal, MT), 가입자국(Subscriber Station, SS), 휴대 가입자국(Portable Subscriber Station, PSS), 사용자 장치(User Equipment, UE), 접근 단말(Access Terminal, AT) 등을 지칭할 수도 있고, 이동 단말, 가입자국, 휴대 가입자 국, 사용자 장치 등의 전부 또는 일부의 기능을 포함할 수도 있다.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 음성인식을 이용한 보이스피싱 방지 시스템 및 방법에 대해 설명한다.

도 1은 본 발명의 실시예에 따른 보이스피싱 방지 시스템이 설정된 환경의 예시도이다.

도 1에 도시된 바와 같이, 보이스피싱 인식 서버(100)는 단말(200)과 연동하여, 단말(200)로 호 연결이 시도되면 호와 발신 번호를 토대로 1차로 보이스피싱 여부를 판단한다. 그리고 발신 단말과 수신 단말 사이에 호가 연결되면, 수신 단말(200)로부터 전달되는 음성을 토대로 텍스트를 추출하여 2차로 보이스피싱 여부를 확인하거나, 보이스피싱 어휘를 관리하기도 한다.

단말(200)은 보이스피싱 인식 서버(100)로부터 수신한 발신번호에 대해 전화번호 목록에 저장되어 있는 번호인지 확인하여 제공한다. 또한, 호 연결 후 발신자와의 통화가 수행될 때, 발신자의 음성을 인식하여 피싱 어휘가 들어오는 경우 보이스피싱 핵심어를 추출하여 피싱호인지 여부를 확인하기도 한다.

본 발명의 실시예에서는 단말(200)이 음성 저장 기능이 있거나 음성 인식 기능을 수행하는 단말을 예로 하여 설명한다. 그러나, 음성 인식 기능을 수행하지 못하는 유선전화와 같은 단말인 경우에는 가입자의 요청에 따라 교환기에 저장된 통화 내용을 바탕으로 보이스피싱 인식 서버(100)에서 보이스피싱 여부를 인식할 수도 있다.

본 발명의 실시예에서는 보이스피싱 인식 서버(100)를 보이스피싱 방지 시스템이라고도 지칭하나, 반드시 이와 같이 한정되는 것은 아니다. 이러한 보이스피싱 인식 서버(100)와 단말(200)의 구조에 대해 도 2 및 도 3을 참조로 설명한다.

도 2는 본 발명의 실시예에 따른 보이스피싱 인식 서버의 구조도이고, 도 3은 본 발명의 실시예에 따른 단말의 구조도이다.

먼저 도 2에 도시된 바와 같이, 보이스피싱 인식 서버(100)는 발신 단말과 수신 단말 사이에 음성 호 연결이 시도될 때 1차로 보이스피싱호 여부를 인식하는 제1 인식부(110)와, 음성 호 연결 후 실제 단말(200)의 사용자 즉 수신자가 발신자와의 통화를 진행하는 중에 2차로 보이스피싱 여부를 인식하는 제2 인식부(120)를 포함한다.

제1 인식부(110)는 호 수신부(111), 가입자 정보 확인부(112), 블랙리스트 번호 확인부(113), 블랙리스트 번호 저장부(114), 화이트리스트 번호 확인부(115), 화이트리스트 번호 저장부(116) 및 발신번호 저장 확인부(117)를 포함한다. 그리고 제2 인식부(120)는 음성 스트리밍 수신부(121), 소속 정보 저장부(122), 피싱 어휘 검출부(123) 및 피싱 어휘 저장부(124)를 포함한다.

호 수신부(111)는 발신 단말(도면 미도시)로부터 시도되는 호 연결시도 신호를 수신한다. 그리고 호 연결시도 신호로부터 발신 단말의 전화번호와 수신 단말의 전화번호를 추출한다.

가입자 정보 확인부(112)는 외부로부터 입력되는 보이스피싱 방지 서비스에 가입한 가입자 정보를 수신하여 저장한다. 여기서 가입자 정보는 가입자의 전화번호를 포함하는 복수의 정보들이 포함될 수 있으며, 어느 하나로 한정하여 설명하지 않는다.

그리고 가입자 정보 저장부(112)는 호 수신부(111)가 추출한 수신 단말의 전화번호가 가입자 정보 저장부(112)에 저장되어 있는지 확인한다. 만약 수신 단말의 사용자가 보이스피싱 방지 서비스에 가입한 사용자가 아니면, 일반적인 음성 호 연결 서비스를 제공하도록 호 연결 절차를 수행하도록 한다. 그러나, 수신 단말의 사용자가 보이스피싱 방지 서비스에 가입한 사용자라면, 호 수신부(111)로 추출한 정보들을 블랙리스트 번호 확인부(113)로 전달하도록 한다. 여기서 호 연결 절차는 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

블랙리스트 번호 확인부(113)는 호 수신부(111)로부터 수신한 발신 단말의 전화번호가 블랙리스트 번호 저장부(114)에 저장되어 있는지 확인한다. 만약 블랙리스트 번호 저장부(114)에 발신 단말의 전화번호가 저장되어 있다면, 수신 단말의 사용자가 인지할 수 있도록 보이스피싱 안내 메시지를 수신 단말로 전달한다. 그리고 발신 단말에 의해 연결이 시도되는 호를 보이스피싱호로 설정한다.

블랙리스트 번호 저장부(114)는 보이스피싱에 사용된 단말들의 전화번호를 저장하고, 블랙리스트 번호 확인부(113)의 요청에 따라 저장된 전화번호들을 제공한다. 블랙리스트 번호 저장부(114)는 보이스피싱호를 발생시킨 단말들이 추가로 발생할 때마다 해당 단말들의 전화번호를 저장, 갱신한다.

화이트리스트 번호 확인부(115)는 블랙리스트 번호 확인부(113)에서 블랙리스트로 확인되지 않은 발신 단말의 전화번호를 수신하여, 화이트리스트 번호 저장부(116)에 저장되어 있는지 확인한다. 발신 단말의 전화번호가 화이트리스트에 저장된 전화번호라면 호 연결을 시도한다. 그러나, 화이트리스트에 저장된 전화번호가 아닐 경우 발신 단말의 전화번호를 발신번호 저장 확인부(117)로 전달한다.

화이트리스트 번호 저장부(116)는 복수의 화이트리스트 전화번호들이 저장되어 있다. 여기서 화이트리스트 전화번호는 보이스피싱 시 발신자들이 자신들의 소속으로 주로 이용하는 공공기관(예를 들어, 검찰청, 경찰청, 우체국 등)뿐만 아니라 금융 기관 등의 대표 전화번호로, 화이트리스트 전화번호를 수집하는 방법은 여러 방법이 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다.

발신번호 저장 확인부(117)는 화이트리스트 번호 확인부(115)로부터 수신한 발신 단말의 전화번호가 수신 단말에 저장되어 있는지 여부를 확인하기 위하여 수신 단말로 발신 단말의 전화번호를 포함하는 발신번호 저장 유무 확인 신호를 전달한다. 그리고 수신 단말로부터 수신한 전화번호 저장 여부에 따라 별 다른 메시지의 출력 없이 호를 연결 절차를 수행하거나, 보이스피싱일 수도 있음을 알리는 메시지를 출력한 후 호 연결 절차를 수행할 수도 있다.

음성 스트리밍 수신부(121)는 수신 단말과 발신 단말 사이에 호가 연결된 후, 수신 단말과 발신 단말 사이에 생성되며, 제1 음성 또는 제2 음성을 포함하는 음성 스트리밍을 수신한다. 제1 음성은 발신 단말과 수신 단말 사이에 호가 연결되고 인사말이 오간 후 발신자가 발신자의 소속을 말하는 단계에 대한 음성으로, 수신 단말로부터 수신한다. 그리고 제2 음성은 호 연결 직후부터 수신자가 발신 단말의 보이스피싱 여부를 상세하게 검색하기 위해 별도의 입력 신호를 생성할 때까지 단말에 임시로 저장된 음성을 의미한다.

본 발명의 실시예에서는 설명의 편의를 위하여 소속을 말하는 단계에 대한 음성을 제1 음성이라 지칭하고, 단말에서 보이스피싱 인식 서버로 전달되는 음성을 제2 음성이라 구분지어 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고 제2 음성은 제1 음성을 포함할 수도 있고 제1 음성 이후의 음성만을 포함할 수도 있다. 본 발명의 실시예에서는 통화 완료 후에도 보이스피싱호로 확인된 음성으로부터 보이스피싱 어휘 추출을 위해, 제2 음성에 제1 음성도 포함하는 것을 예로 하여 설명한다.

소속 정보 저장부(122)는 화이트리스트 번호 저장부(116)에 저장되어 있는 복수의 공공기관의 소속(예를 들어, 검찰청 조직인 서울고등검찰청, 인천지방검찰청 등) 전화번호들이 저장되어 있다. 소속 전화번호들은 미리 설정된 주기 또는 특별한 이벤트가 발생하였을 때마다 갱신될 수 있으며, 복수의 공공기관의 소속 전화번호들을 수집하는 방법은 여러 방법을 통해 수행될 수 있으므로 어느 하나의 방법으로 한정하지 않는다.

그리고, 소속 정보 저장부(122)는 제1 음성에 포함되어 있는 발신자가 언급한 자신의 소속을 추출하고, 추출한 소속에 대응되어 소속 정보 저장부(122)에 미리 저장되어 있는 소속 전화번호를 수신 단말로 전송한다.

피싱 어휘 검출부(123)는 음성 스트리밍 수신부(121)가 제2 음성을 수신하면, 수신한 제2 음성 스트리밍을 텍스트로 변환하여 추출한다. 여기서, 음성 스트리밍을 텍스트로 변환하고 피싱 어휘를 검출하는 방법은 자연어 음성 인식 기술을 이용하며, 자연어 음성 인식 기술에 대한 사항은 이미 알려진 것으로 본 발명의 실시예에서는 상세한 설명을 생략한다.

본 발명의 실시예에서는 피싱 어휘 검출부(123)를 보이스피싱 인식 서버(100)에 두고 음성으로부터 피싱 어휘를 검출하는 것을 예로 하여 설명하나, 단말(200)에 피싱 어휘 검출부를 두고 피싱 어휘를 검출할 수도 있다. 단말에 피싱 어휘 검출부를 두게 되는 경우에는, 이후 설명할 단말(200)의 구조에 포함되어 있는 핵심어 추출부(223)와는 차별된 기능을 수행할 수 있다.

그리고, 피싱 어휘 검출부(123)는 추출한 텍스트 내에 포함되어 있는 어휘 중, 피싱 어휘 저장부(124)에 저장되어 있는 보이스피싱 어휘들이 있는지 확인한다. 만약 보이스피싱 어휘들이 있는 것으로 판단하거나, 보이스피싱 어휘들이 없는 것으로 판단하는 등 판단 결과를 수신 단말로 전송한다. 피싱 어휘 검출부(123)는 자연어 음성 인식 기술을 이용하여 음성 스트리밍을 텍스트로 변환하고, 변환된 텍스트 문장을 분석하여 문장 내 전후관계를 파악한 후 보이스피싱 어휘가 있는지, 보이스피싱 어휘가 없더라도 전후 관계를 파악하여 보이스피싱호인지 여부를 판단하게 된다.

피싱 어휘 저장부(124)는 복수의 보이스피싱 어휘들이 저장되어 있다. 그리고, 피싱 어휘 검출부(123)의 요청에 따라 저장되어 있는 보이스피싱 어휘들을 제공하여 보이스피싱 여부를 확인하도록 한다. 또한, 단말이나 외부로부터 피싱 어휘 저장부(124)에 저장되어 있지 않은 어휘들 중, 새로 보이스피싱 어휘로 나타난 어휘들을 수신하여 저장한다.

그리고, 피싱 어휘 저장부(124)는 피싱 어휘 검출부(123)에서 보이스피싱으로 확인한 음성을 저장하고, 다른 보이스피싱 음성과 함께 음성 인식을 위한 음향 모델로 재구축되도록 한다.

한편, 도 3에 도시된 바와 같이 단말(200)도 음성 호가 연결되기 전에 보이스피싱 여부를 확인하는 구성 요소와 호 연결 후 보이스피싱 여부를 확인하는 구성 요소로 구분한다. 이러한 단말(200)은 발신 번호 유무 확인부(210), 전화번호 저장부(211), 음성 수신부(220), 음성 임시 저장부(221), 제1 음성 추출부(222), 핵심어 추출부(223), 핵심어 저장부(224), 상세 검색 요청 신호 수신부(225) 및 보이스피싱 여부 수신부(226)를 포함한다.

발신 번호 유무 확인부(210)는 보이스피싱 인식 서버(100)로부터 임의의 전화번호가 포함된 발신번호 저장 유무 확인 신호를 수신하면, 전화번호 저장부(211)에 저장되어 있는 전화번호와 비교하여 발신번호의 저장 유무를 확인한다. 그리고, 보이스피싱 인식 서버(100)로 저장 유무에 따른 신호를 생성하여 전달한다. 발신번호 저장 유무 메시지는 발신 단말 전화번호가 저장되어 있다면 전화번호가 저장되어 있음을 알리는 정보가 포함되고, 발신 단말 전화번호가 저장되어 있지 않다면 전화번호가 없음을 알리는 정보가 포함된다.

전화번호 저장부(211)는 사용자에 의해 입력된 복수의 단말의 전화번호를 저장하고 관리한다. 그리고 발신 번호 유무 확인부(210)가 발신번호의 저장 여부를 확인할 때 저장된 전화번호들을 제공하여 확인하도록 한다.

음성 수신부(220)는 발신 단말과의 호 연결이 이루어지면, 발신자와의 통화 내용이 포함된 음성을 수신한다.

음성 임시 저장부(221)는 호 연결 직후부터 음성 수신부(220)가 수신한 음성을 임시로 저장한다. 임시 저장된 음성은 추후 사용자의 입력이 발생하면 단말 내에 영구 저장되고, 입력이 없으면 임시 저장된 음성은 호 연결 해제와 더불어 삭제된다.

제1 음성 추출부(222)는 호 연결과 동시에 입력되는 음성에서, 발신자가 자신의 소속을 언급하는 부분의 제1 음성을 추출한다. 그리고 추출한 제1 음성을 보이스피싱 인식 서버(100)로 전달하여, 언급된 소속과 발신 단말의 전화번호를 토대로 보이스피싱 여부를 1차로 확인하도록 한다.

여기서 제1 음성은 통화 시작 시 발신자와 수신자 사이에 인사말을 하고 난 뒤 먼저 이루어지는 부분이 발신자가 자신의 소속을 언급하는 부분임을 감안하여, 호 연결 직후 인사말 어휘가 나오는지 확인한다. 그리고 인사말 어휘가 나오는 시점을 인식 시작 지점으로 설정하고, 설정된 인식 시작 지점으로부터 미리 설정된 시간 범위 안의 음성을 제1 음성으로 추출한다. 이를 위해, 제1 음성 추출부(222)도 인사말 어휘를 검출하는 핵심어 검출 절차를 수행하며, 제1 음성 추출부(222)에는 다양한 인사말 어휘가 미리 저장되어 있다.

핵심어 추출부(223)는 발신자와의 통화 내용이 기록되는 음성에 보이스피싱 핵심어가 포함되어 있는지 확인한다. 그리고 보이스피싱 핵심어가 포함되어 있다고 확인하면, 사용자가 인지할 수 있도록 보이스피싱 안내 메시지를 제공한다. 이를 위해, 핵심어 추출부(223)는 핵심어 검출 인식기술(Keyword spotting)을 이용하여 보이스피싱 어휘들이 텍스트 내에 포함되어 있는지 추출하며, 핵심어 검출 인식기술은 이미 알려진 사항으로 본 발명의 실시예에서는 상세한 설명을 생략한다.

본 발명의 실시예에서는 핵심어 추출부(223)는 사용자에 의해 미리 지정된 10~30개 정도의 보이스피싱 핵심어를 음성에서 추출하는 기능을 수행하는 것을 예로 하여 설명하고 있다. 따라서, 상기 보이스피싱 인식 서버(100)에서 설명한 피싱 어휘 검출부(123)가 단말(200)에 구현되는 경우에는, 핵심어 추출부(223)에서 핵심어를 추출하고 피싱 어휘 검출부(123)에서 추가로 10~30개에 대한 핵심어 이외의 보이스피싱 어휘도 추출할 수 있다.

피싱 어휘 검출부(123)가 단말(200)에 구현되는 경우에는 핵심어를 1차로 추출하고, 핵심어가 있는 경우 추가로 피싱 어휘를 2차로 검출하여 보이스피싱 여부를 판단하게 할 수 있다.

핵심어 저장부(224)는 단말의 사용자가 사전에 설정한 보이스피싱에 주로 나타나는 핵심어를 저장, 관리한다. 그리고 핵심어 추출부(223)가 음성 스트리밍에서 보이스피싱에 사용된 단어가 포함되어 있는지 확인하는 과정에서, 저장된 핵심어를 제공한다. 핵심어 저장부(224)에 저장된 핵심어들은 사용자에 의해 수정될 수 있으며, 단말의 성능에 따라 저장되는 핵심어의 수가 변경될 수 있다.

상세 검색 요청 신호 수신부(225)는 수신자가 발신자와 통화하는 과정에서 보이스피싱의 어휘들이 직접적으로 포함되어 있지 않으나 보이스피싱 잠재 호로 의심되는 경우 또는 보이스피싱에 대한 상세 검색을 원하는 경우, 단말에 포함되어 있는 버튼을 통해 상세 검색을 요청하면 이를 상세 검색 요청 신호로 수신한다. 그리고 상세 검색 요청 신호를 수신하면, 상세 검색 요청 신호 수신부(225)는 음성 임시 저장부(221)에 임시로 저장된 음성을 제2 음성으로 하여 보이스피싱 인식 서버(100)로 전달한다.

본 발명의 실시예에서는 상세 검색 요청 신호가 수신되는 경우 제2 음성을 보이스피싱 인식 서버(100)로 전달하는 것을 예로 하여 설명하고 있으나, 핵심어 추출부(223)가 보이스피싱 핵심어를 추출하는 경우 제2 음성을 보이스피싱 인식 서버(100)로 전달할 수도 있다. 또는 보이스피싱 핵심어 추출 여부나 외부로부터 요청 신호 없이 모든 음성을 보이스피싱 인식 서버(100)로 전달할 수도 있다.

보이스피싱 여부 수신부(226)는 보이스피싱 인식 서버(100)로부터 보이스피싱 안내 메시지를 수신하면, 이를 사용자가 인지할 수 있도록 제공한다.

이상에서 설명한 보이스피싱 방지 시스템을 통해 보이스피싱을 방지하는 방법에 대해 도 4 내지 도 6을 참조로 설명한다.

도 4는 본 발명의 실시예에 따른 보이스피싱 방지 방법에 대한 흐름도이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 보이스피싱 방지 방법은 크게 4개의 절차로 이루어진다. 첫 번째 절차는 보이스피싱 서비스 가입 절차이고, 두 번째는 1차 보이스피싱호 검출 절차이다. 세 번째 절차는 2차 보이스피싱호 검출 절차이고, 마지막으로는 피싱 어휘를 갱신하는 절차이다.

먼저, 단말의 사용자는 사전에 보이스피싱을 차단하는 서비스에 가입하는 절차를 수행한다(S100). 서비스 가입 절차는 다양한 형태로 이루어질 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. S100 단계에서 보이스피싱 서비스에 가입한 가입자 정보는 보이스피싱 인식 서버(100)에 저장되며, 가입자 정보는 사용자가 소지한 단말의 전화번호를 포함하는 것을 예로 하여 설명한다.

S100 단계 이후에, 보이스피싱 인식 서버(100)와 수신 단말은 1차 보이스피싱호 검출 절차를 수행한다. 즉, 임의의 수신 단말이 음성 호 연결을 통해 통화 서비스를 이용하기 위하여 호 연결 시도가 발생하면, 보이스피싱 인식 서버(100)는 발신 단말의 전화번호가 미리 저장된 블랙리스트 번호에 포함되어 있는지 검색한다(S110).

그리고 블랙리스트 번호에 발신 단말의 전화번호가 저장되어 있으면, 해당 발신 단말은 보이스피싱을 위한 단말인 것으로 확인하고 수신 단말에 보이스피싱호임을 알리는 메시지를 전달한다. 그러나, 블랙리스트 번호에 발신 단말의 전화번호가 저장되지 않은 것으로 확인하면, 발신 단말의 전화번호가 미리 저장된 화이트리스트 번호에 포함되는지 검색한다(S120).

화이트리스트 번호는 공공기관의 대표번호로, 보이스피싱 시 발신자의 소속으로 주로 사용되는 모든 공공기관들의 대표번호와 수신 단말의 전화번호를 비교한다. 만약 발신 단말의 전화번호가 화이트리스트 번호 중 하나이면 바로 호 연결을 시도한다. 그러나, 화이트리스트 번호 중 하나가 아니라면, 보이스피싱 인식 서버(100)는 수신 측 단말로 발신 단말의 전화번호를 전달하여, 수신 단말에 발신 단말의 전화번호가 저장되어 있는지 검색을 요청한다(S130).

S130 단계에서 발신 단말의 전화번호가 수신 단말에 저장되어 있다면, 호 연결을 수행한다. 그러나, 수신 단말에 발신 단말의 전화번호가 저장되어 있지 않다면, 보이스피싱일 가능성이 있음 알리는 메시지를 함께 제공한 후 호 연결을 수행한다.

S110 단계 내지 S130 단계는 발신 단말이 호 연결을 시도하는 과정에서 1차로 보이스피싱호를 검출하는 것이다. 1차로 보이스피싱호를 검출하는 방법에 대해 도 5를 참조로 먼저 상세히 설명한다. 도 5는 보이스피싱 인식 서버(100)를 주체로 하여 나타낸 흐름도이다.

도 5는 본 발명의 실시예에 따른 발신번호 분석을 통한 보이스피싱호 검출 방법에 대한 흐름도이다.

도 5에 도시된 바와 같이, 발신 단말로부터 음성 호의 연결 시도 신호가 전송되면(S101), 보이스피싱 인식 서버(100)는 1차 보이스피싱호 검출 절차를 수행한다. 보이스피싱호 검출 전에 수신 단말의 전화번호를 토대로, 수신자가 보이스피싱호 검출 서비스에 가입한 서비스 가입자인지 확인한다(S102).

만약 서비스에 가입한 사용자가 아니라면, 일반적인 음성 호 연결을 통해 음성 서비스를 제공한다(S103). 그러나, 서비스에 가입한 사용자라면, 발신 단말의 전화번호가 이미 저장된 블랙리스트 번호인지 확인한다(S110). 발신 단말의 전화번호가 블랙리스트 번호로 저장되어 있다면, 보이스피싱 인식 서버(100)는 보이스피싱호에 따른 호 연결 시도를 차단하기 위하여 세팅하고, 수신 단말로 보이스피싱임을 알리는 알림 메시지를 전달한다(S111).

그리고 보이스피싱 인식 서버(100)는 호 연결을 종료한다(S112). 본 발명의 실시예에서는 발신 단말의 전화번호가 블랙리스트임을 확인하면 보이스피싱 인식 서버(100)가 호 연결을 종료하는 것을 예로 하여 설명하나, S111 단계에서 수신 단말로 전송된 알람 메시지를 토대로 수신자가 전화를 받지 않는 등을 통해 호 연결 시도를 무시할 수도 있다.

한편, S110 단계에서 확인한 결과, 발신 단말의 전화번호가 블랙리스트 번호로 저장되어 있지 않은 것으로 확인하면, 발신 단말의 전화번호가 화이트리스트 번호로 저장되어 있는지 확인한다(S120). 화이트리스트는 공공기관의 대표번호로 이루어진 리스트로, 공공기관의 대표번호들을 수집하는 방법은 여러 방법을 통해 수행할 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다.

S120 단계에서 발신 단말의 전화번호가 화이트리스트 번호 중 하나이면, 보이스피싱 인식 서버(100)는 S101 단계에서 수신한 호 연결 시도를 보이스피싱 안심 호로 세팅하고(S121), 호 연결 절차를 수행한다(S132). 그러나, 발신 단말의 전화번호가 화이트리스트 번호 중 하나가 아니면,　보이스피싱 인식 서버(100)는 수신 단말로 발신 단말의 전화번호를 전달하여 수신 단말에 저장되어 있는지 확인한다.

그리고 수신 단말로부터 발신 단말의 전화번호의 저장 여부에 대한 신호를 수신하면(S122), 수신한 신호를 토대로 발신 단말의 전화번호가 수신 단말에 저장되어 있는지 확인한다(S130). 만약 수신 단말에 발신 단말의 전화번호가 저장되어 있다면 S132 단계에 따라 호 연결 절차를 수행한다. 그러나, 전화번호가 수신 단말에 저장되어 있지 않다면, 보이스피싱호일 가능성이 있음을 알리는 메시지를 수신 단말에 전달한 후(S131), 호 연결 절차를 수행한다(S132).

상기에서 설명한 바와 같이 1차로 보이스피싱호를 검출한 뒤에, 상기 도 4의 S130 단계 이후에 발신 단말과 수신 단말에 호가 연결되면, 2차로 보이스피싱호 여부를 검출하는 단계를 수행한다.

이에 대해 도 4를 참조로 이어 설명하면, 수신 단말은 발신자가 호 연결 후 자신의 소속을 말하는 과정에서 해당 음성을 인식하여 보이스피싱 인식 서버(100)로 제1 음성을 전달한다. 보이스피싱 인식 서버(100)는 제1 음성을 토대로 발신자 소속을 미리 저장된 공공기관에 소속된 복수의 전화번호들과 비교하여 발신자가 언급한 소속과 발신단말의 전화번호가 일치하는지 검색한다(S140).

만약 발신자 소속과 발신 단말의 전화번호가 저장된 번호와 일치하지 않는다면, 피싱일 가능성이 있음을 메시지와 같은 형태로 수신 단말의 사용자에게 안내한다. 그리고 발신자와 수신자가 통화를 하는 중에, 단말은 발신자가 말하는 내용에 보이스피싱 핵심어가 있는지 확인한다(S150). 보이스피싱 핵심어의 유무는 수신 단말의 사용자가 사전에 단말에 저장해 놓은 보이스피싱 핵심어들이 발신자가 말하는 내용상에 있는지 확인하는 것을 통해 수행된다.

만약 발신자가 말하는 내용상에 보이스피싱 핵심어가 있다고 확인되면, 이를 메시지로 제공하여 수신자가 통화를 중단하는 등 추가 조치를 취하도록 한다. 그러나, 보이스피싱 핵심어가 내용상에 없다 하더라도, 수신자가 통화 내용 중에 보이스피싱으로 의심하거나 추가 상세 분석이 필요한 것으로 판단하여 단말을 통해 통화 음성 인식/피싱어 분석 등을 요청하면(S160), 단말은 지금까지 임시로 저장된 음성 내용을 제2 음성으로 보이스피싱 인식 서버(100)에 전달한다.

보이스피싱 인식 서버(100)는 제2 음성을 분석하여 보이스피싱 여부를 재확인한다. 이는 S150 단계에서 보이스피싱 핵심어로 단말에 저장된 어휘 이외에 보이스피싱 인식 서버(100)에 추가로 저장된 어휘들이 있는 경우, 추가로 저장된 어휘를 토대로 자세하게 보이스피싱 여부를 확인하기 위함이다.

이와 같은 절차를 통해 보이스피싱 여부를 확인하는 과정에서, 사용자가 새로운 보이스피싱 어휘로 판단되는 어휘를 찾아낸다거나, 보이스피싱 인식 서버(100)가 새로 추가된 보이스피싱 어휘가 있는 것으로 외부로부터 인지하면, 보이스피싱 인식 서버(100)는 피싱어휘를 갱신하여 이후 보이스피싱 여부를 확인하는 과정에 반영되도록 한다(S170).

S140 단계 내지 S170 단계는 호 연결 후 통화 과정에서 2차로 보이스피싱호 여부를 확인하는 것으로, 피싱 어휘 갱신 절차까지 포함하여 도 6을 참조로 상세히 설명한다.

도 6은 본 발명의 실시예에 따른 음성인식을 통한 보이스피싱호 검출 방법에 대한 흐름도이다.

도 6에 도시된 바와 같이, 발신 단말과 수신 단말 사이에 음성 호가 연결되고 발신자와 통화가 이루어지는 중에, 단말(200)은 발신자가 자신의 소속을 언급하는 부분의 음성을 추출한다(S140). 일반적으로 발신자는 발신자와 수신자 사이에 인사말을 하고 난 뒤, 발신자는 자신의 소속을 언급한다. 따라서, 수신 단말은 인사말 어휘가 나오는 시점을 인식 시작 지점으로 확인하고, 확인된 인식 시작 지점으로부터 미리 설정된 시간 범위 안의 음성을 제1 음성으로 추출한 후 보이스피싱 인식 서버(100)로 제1 음성을 전달한다(S141).

보이스피싱 인식 서버(100)는 S141 단계에서 단말(200)로부터 수신한 제1 음성으로부터 발신자의 소속을 언급하는 부분을 인식한다(S142). 그리고 인식한 발신자의 소속에 대응하여 보이스피싱 인식 서버(100)에 미리 저장되어 있는 전화번호들을 검색한 후(S143), 검색된 실제 소속에 대한 소속 전화번호를 수신 단말로 전달한다(S144).

수신 단말(200)은 S144 단계에서 수신한 소속 전화번호와 S140 단계 이전에 연결된 호에 따른 발신 단말의 전화번호를 비교하여(S145), 실제로 발신 단말의 전화번호가 발신자가 밝힌 소속에 대응하는지 확인한다. 만약 두 전화번호가 일치하지 않으면 연결된 음성 호가 보이스피싱호임을 확인하고, 수신 단말(200)은 수신자가 인지하도록 보이스피싱임을 알린다(S146). 본 발명의 실시예에서는 S145 단계가 수신 단말에서 수행하는 것을 예로 하여 설명하나, 보이스피싱 인식 서버(100)에서 수행될 수도 있다.

S145 단계에서 확인한 결과 발신 단말의 전화번호와 실제 소속 전화번호가 일치하는 것으로 확인하면, 단말(200)은 발신자와 수신자가 전화 통화를 하는 중에, 발신자의 통화 내용에서 미리 설정한 보이스피싱 어휘가 추출되는지 확인한다(S150). 만약 보이스피싱 어휘가 추출되었다면 S146 단계에 따라 보이스피싱임을 알리는 메시지를 수신자에게 알린다.

그러나, 보이스피싱 어휘가 추출되지 않았다면, 발신자와 수신자는 지속적으로 통화를 수행한다. 그리고 단말(200)은 수신자로부터 상세 검색 요청 신호가 입력되었는지 확인한다(S151). 여기서 상세 검색 요청 신호라 함은, 수신자가 통화를 지속하는 중에 보이스피싱 어휘로 설정한 어휘가 직접적으로 언급되지 않더라도 잠재적인 보이스피싱으로 의심되는 통화 내용이 있는 것으로 의심한다고 가정한다. 그러면 수신자는 수신 단말에 미리 설정된 버튼이나 입력 수단을 통해 발신자의 통화 내용을 상세 검색할 필요가 있음을 입력하면, 이때 발생하는 것이 상세 검색 요청 신호이다.

단말(200)은 상세 검색 요청 신호가 입력되면, 호 연결 직후부터 상세 검색 요청 신호가 입력된 시점까지 수신 단말(200)에 임시 저장된 음성을 제2 음성으로 하여 보이스피싱 인식 서버(100)로 전달한다(S152). 보이스피싱 인식 서버(100)는 S152 단계를 통해 수신한 제2 음성의 음성 스트리밍을 분석하고(S160), 분석한 음성 스트리밍에서 보이스피싱 인식 서버(100)에 미리 저장된 보이스피싱 어휘가 포함되어 있는지 확인한다(S161). 제2 음성의 음성 스트리밍을 분석하여 보이스피싱 어휘가 포함되어 있는지 확인하는 단계는 일반 자연어 음성 인식 기술을 이용하며, 이에 대한 설명은 생략한다.

이때, 상기 S150 단계에서 단말(200)이 보이스피싱 어휘를 추출하는 단계는, 수신 단말의 성능에 따라 소수의 보이스피싱 어휘만을 추출한다. 그러나 S161 단계에서 보이스피싱 인식 서버(100)가 보이스피싱 어휘의 포함 여부를 추출하는 것은 단말(200)에 지정되지 않은 다른 유사 보이스피싱 어휘들의 포함 여부도 확인할 수 있으므로 좀 더 상세하게 보이스피싱 여부를 확인할 수 있다. 또한, S152 단계에서 제2 음성을 보이스피싱 인식 서버(100)로 전달한 후에도 단말(200)은 지속적으로 보이스피싱 어휘에 대한 핵심어를 검출하는 S150 단계를 지속한다.

보이스피싱 인식 서버(100)는 S161 단계에서 확인한 결과 보이스피싱 어휘가 포함되어 있는지 여부에 따라, 보이스피싱 여부 메시지를 단말(200)로 전송한다(S162). 단말(200)은 S162 단계에서 수신한 보이스피싱 여부 메시지를 토대로, 연결되어 있는 호가 보이스피싱호인지 확인하고(S163), 보이스피싱호인 것으로 확인되면 보이스피싱임을 알리는 메시지를 단말을 통해 사용자에게 안내한다(S146). 그러나, 상세 검색을 통해서도 별도의 보이스피싱 어휘가 포함되어 있지 않다면 통화는 지속된다(S164).

이러한 절차들이 여러 번 반복되는 과정에서, S161 단계에서 보이스피싱 어휘가 포함된 것으로 판단된 제2 음성은 보이스피싱 인식 서버(100)에 저장되어 통화가 종료된 후에도 이미 알려진 보이스피싱 어휘 외에 새로 등장한 보이스피싱 어휘들이 발생하였는지 확인하는 절차가 수행된다. 또한, 새로운 보이스피싱 어휘들이 발생하면, 보이스피싱 인식 서버(100)는 피싱 어휘를 갱신하여 S161 단계에서 보이스피싱 여부를 확인하는 과정에서 사용되도록 한다(S170).

그리고 S170 단계 이후에 도면에는 도시하지 않았으나 보이스피싱 음성과 함께 훈련을 거쳐 음성 인식을 위한 음향 모델로 재 구축하거나, 누적된 보이스피싱 문장을 바탕으로 내용을 분석할 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

1. 음성 인식을 이용하여 보이스피싱을 방지하는 시스템에 있어서,
   발신 단말과 수신 단말 사이에 음성 호 연결이 시도될 때, 발신 단말의 전화번호를 토대로 1차로 보이스피싱호 여부를 인식하는 제1 인식부; 및
   상기 발신 단말과 수신 단말 사이에 음성 호가 연결된 후, 상기 발신 단말과 수신 단말 사이에 송수신되는 음성을 인식하고, 상기 수신 단말과의 정보 송수신을 토대로 상기 발신 단말에 의해 연결된 호가 보이스피싱호인지 여부를 2차로 확인하는 제2 인식부
   를 포함하는 보이스피싱 방지 시스템
2. 제1항에 있어서,
   상기 제1 인식부는,
   상기 발신 단말로부터 시도되는 호 연결시도 신호를 수신하고, 호 연결시도 신호로부터 발신 단말 전화번호와 수신 단말 전화번호를 추출하는 호 수신부;
   상기 호 수신부가 추출한 발신 단말 전화번호가 미리 저장되어 있는 복수의 블랙리스트 전화번호에 해당하는지 확인하는 블랙리스트 번호 확인부;
   상기 발신 단말 전화번호가 블랙리스트로 저장되어 있지 않으면, 미리 저장되어 있는 복수의 화이트리스트 전화번호에 해당하는지 확인하는 화이트리스트 번호 확인부; 및
   상기 발신 단말 전화번호가 화이트리스트로 저장되어 있지 않으면 상기 수신 단말에 저장되어 있는지 여부를 확인하고, 상기 수신 단말로부터 전송되는 발신 단말 전화번호의 저장 유무에 따라 보이스피싱 가능 여부를 상기 수신 단말로 전송하는 발신번호 저장 확인부
   를 포함하는 보이스피싱 방지 시스템.
3. 제2항에 있어서,
   상기 제1 인식부는,
   보이스피싱 방지 서비스에 가입한 가입자 정보를 수신하여 저장하는 가입자 정보 확인부;
   상기 블랙리스트 번호 확인부가 발신 단말 전화번호의 블랙리스트 여부를 확인하는데 사용하는 복수의 블랙리스트 전화번호를 저장, 관리하는 블랙리스트 번호 저장부; 및
   상기 화이트리스트 번호 확인부가 발신 단말 전화번호의 화이트리스트 여부를 확인하는데 사용하는 복수의 화이트리스트 전화번호를 저장, 관리하는 화이트리스트 번호 저장부
   를 더 포함하는 보이스피싱 방지 시스템.
4. 제3항에 있어서,
   상기 제2 인식부는,
   상기 발신 단말과 수신 단말 사이에 호가 연결된 후, 상기 수신 단말과 발신 단말 사이에 발생하는 제1 음성과 제2 음성을 포함하는 음성 스트리밍을 수신하는 음성 스트리밍 수신부;
   상기 화이트리스트 번호 저장부에 저장되어 있는 복수의 화이트리스트 전화번호에 대응하는 복수의 소속 전화번호들을 저장하고, 상기 제1 음성에 포함되어 있는 발신자에 의해 언급된 소속의 소속 전화번호를 상기 수신 단말로 전송하는 소속 정보 저장부;
   복수의 보이스피싱 어휘들이 저장되어 있고, 보이스피싱으로 확인된 복수의 음성을 저장하는 피싱 어휘 저장부; 및
   상기 음성 스트리밍 수신부가 수신한 제2 음성에 대한 음성 스트리밍을 텍스트로 변환하고, 변환한 텍스트에 상기 피싱 어휘 저장부에 저장된 복수의 보이스피싱 어휘들이 포함되어 있는지 확인하며, 확인한 결과에 따라 보이스피싱 여부 메시지를 수신 단말로 전송하는 피싱 어휘 검출부
   를 포함하는 보이스피싱 방지 시스템.
5. 제4항에 있어서,
   상기 수신 단말은,
   상기 발신 단말과의 호가 연결된 후 발신자와의 통화 내용이 포함된 음성을 수신하는 음성 수신부;
   상기 음성 수신부가 수신한 음성을 임시 저장하는 음성 임시 저장부;
   상기 음성 수신부가 수신한 음성으로부터 미리 설정된 구간에 상기 발신자에 의해 언급된 소속 정보를 포함하는 제1 음성을 추출하여 상기 제2 인식부로 전송하는 제1 음성 추출부;
   수신 단말의 사용자에 의해 미리 설정된 보이스피싱의 복수의 핵심어를 저장하는 핵심어 저장부; 및
   상기 음성 수신부가 수신하는 음성에 상기 핵심어 저장부에 저장된 복수의 핵심어 중 적어도 하나의 핵심어가 포함되어 있는지 확인하고, 적어도 하나의 핵심어가 포함되어 있으면 보이스피싱임을 알리는 메시지를 수신 단말의 사용자에게 제공하는 핵심어 추출부
   를 포함하는 보이스피싱 방지 시스템.
6. 제5항에 있어서,
   상기 핵심어 추출부는 핵심어 검출 인식기술(Keyword spotting)을 이용하여 상기 음성에 핵심어가 포함되어 있는지 확인하는 보이스피싱 방지 시스템.
7. 제5항에 있어서,
   상기 수신 단말은,
   외부로부터 입력되는 상세 검색 요청 신호를 수신하면 상기 음성 임시 저장부에 저장되어 있는 상기 제1 음성을 포함하는 제2 음성을 상기 제2 인식부로 전송하는 상세 검색 요청 신호 수신부; 및
   상기 제2 인식부로부터 보이스피싱 안내 메시지를 수신하면, 수신한 보이스피싱 안내 메시지를 사용자에게 제공하는 보이스피싱 여부 수신부
   를 더 포함하는 보이스피싱 방지 시스템.
8. 제7항에 있어서,
   상기 수신 단말은,
   사용자에 의해 입력된 복수의 단말의 전화번호를 저장하고 관리하는 전화번호 저장부; 및
   상기 제1 인식부로부터 임의의 전화번호가 포함된 발신번호 저장 유무 확인 신호를 수신하면, 임의의 전화번호가 상기 전화번호 저장부에 저장되어 있는지 확인하고, 확인 결과를 상기 제1 인식부로 전달하는 발신번호 유무 확인 수신부
   를 더 포함하는 보이스피싱 방지 시스템.
9. 제8항에 있어서,
   상기 수신 단말은,
   음성 스트리밍을 텍스트로 변환하고, 변환한 텍스트에 상기 피싱 어휘 저장부에 저장된 복수의 보이스피싱 어휘들이 포함되어 있는지 확인하며, 확인한 결과에 따라 보이스피싱 여부 메시지를 사용자에게 전송하는 피싱 어휘 검출부
   를 더 포함하는 보이스피싱 방지 시스템.
10. 보이스피싱 방지 시스템이 발신 단말로부터의 보이스피싱을 방지하는 방법에 있어서,
    상기 발신 단말이 수신 단말로의 호 연결을 시도하는 과정에서 1차로 보이스피싱호를 검출하는 단계; 및
    상기 발신 단말과 수신 단말 사이에 호 연결 후 음성 통화가 이루어질 때, 상기 수신 단말과의 정보 송수신을 통해 상기 발신 단말에 의해 생성된 호에 대하여 2차로 보이스피싱호를 검출하는 단계
    를 포함하는 보이스피싱 방지 방법.
11. 제10항에 있어서,
    상기 1차 보이스피싱호를 검출하는 단계는,
    상기 발신 단말에 의해 생성된 호 연결 시도 신호로부터 추출한 발신 단말 전화번호가 블랙리스트 번호인지 확인하는 단계;
    상기 발신 단말 전화번호가 블랙리스트 번호가 아니면, 화이트리스트 번호인지 확인하는 단계;
    상기 발신 단말 전화번호가 화이트리스트 번호가 아니면, 상기 수신 단말로 상기 발신 단말 전화번호를 전달하여 저장되어 있는지 확인하는 단계; 및
    상기 수신 단말로부터 발신 단말 전화번호의 저장 여부를 알리는 메시지를 수신하면, 보이스피싱 가능 여부를 알리는 메시지를 상기 수신 단말로 전송하고 수신한 메시지에 따라 호 연결 시도에 따른 호 연결 절차를 수행하는 단계
    를 포함하는 보이스피싱 방지 방법.
12. 제11항에 있어서,
    상기 블랙리스트 번호인지 확인하는 단계는,
    상기 발신 단말 전화번호가 미리 저장되어 있는 복수의 블랙리스트 전화번호 중 하나이면, 상기 수신 단말로 보이스피싱 알림 메시지를 전송하는 단계
    를 포함하는 보이스피싱 방지 방법.
13. 제11항에 있어서,
    상기 화이트리스트 번호인지 확인하는 단계는,
    상기 발신 단말 전화번호가 미리 저장되어 있는 복수의 화이트리스트 전화번호 중 하나이면 보이스피싱 안심호 세팅을 수행하고 호 연결 절차를 수행하는 단계
    를 포함하고,
    상기 화이트리스트 전화번호는 복수의 공공기관의 대표번호인 보이스피싱 방지 방법.
14. 제10항에 있어서,
    상기 2차 보이스피싱호를 검출하는 단계에서 상기 수신 단말은,
    연결된 호에 의해 상기 발신 단말과 수신 단말 사이에서 생성된 음성으로부터 발신자 소속 정보가 포함된 제1 음성을 추출하는 단계;
    상기 추출한 제1 음성에 대한 소속 전화번호를 상기 보이스피싱 방지 시스템으로부터 수신하고, 수신한 소속 전화번호와 상기 발신 단말의 전화번호가 일치하는지 확인하는 단계; 및
    상기 수신한 소속 전화번호와 발신 단말의 전화번호가 일치하지 않으면, 수신 단말의 사용자에게 보이스피싱임을 알리는 메시지를 전송하는 단계
    를 포함하는 보이스피싱 방지 방법.
15. 제14항에 있어서,
    상기 제1 음성은 발신 단말의 발신자와 수신 단말의 수신자 사이에 오고간 인사말을 기준으로 미리 설정된 시간 간격 내의 음성을 제1 음성으로 추출하는 보이스피싱 방지 방법.
16. 제14항에 있어서,
    상기 제1 음성을 추출하는 단계 이후에 보이스피싱 방지 시스템은,
    상기 수신 단말로부터 제1 음성을 수신하고, 미리 저장된 복수의 소속 전화번호 중 상기 제1 음성에 포함된 발신자 소속 정보에 대응하는 소속 전화번호를 상기 수신 단말로 전송하는 단계
    를 포함하는 보이스피싱 방지 방법.
17. 제14항에 있어서,
    상기 수신한 소속 전화번호와 발신 단말의 전화번호가 일치하면, 생성된 음성에 보이스피싱 어휘가 포함되어 있는지 확인하는 단계; 및
    상기 보이스피싱 어휘가 음성에 포함되어 있으면 보이스피싱임을 알리는 메시지를 디스플레이 하는 단계
    를 포함하며,
    상기 음성에 보이스피싱 어휘가 포함되어 있는지 여부는 핵심어 검출 인식기술 및 자연어 음성 인식기술을 이용하여 확인하는 보이스피싱 방지 방법.
18. 제17항에 있어서,
    상기 보이스피싱 어휘가 포함되어 있는지 확인하는 단계 이후에,
    외부로부터 상세 검색 요청 신호가 입력되었는지 확인하는 단계;
    상세 검색 요청 신호가 입력되면, 호 연결 시점부터 상기 상세 검색 요청 신호가 입력된 시점까지의 제2 음성을 상기 보이스피싱 방지 시스템으로 전달하는 단계; 및
    상기 보이스피싱 방지 시스템으로부터 상기 제2 음성에 대한 보이스피싱 여부 메시지를 수신하고, 수신한 메시지에 따라 보이스피싱 알림 메시지를 제공하는 단계
    를 포함하는 보이스피싱 방지 방법.
19. 제18항에 있어서,
    상기 제2 음성을 상기 보이스피싱 방지 시스템으로 전달하는 단계에서 상기 보이스피싱 방지 시스템은,
    상기 제2 음성에 대한 음성 스트리밍을 텍스트로 추출하는 단계;
    상기 추출한 텍스트에 미리 저장된 복수의 보이스피싱 어휘 중 적어도 하나의 어휘가 포함되어 있는지 확인하는 단계; 및
    보이스피싱 어휘의 포함 여부에 따라 보이스피싱 여부 메시지를 상기 수신 단말로 전송하는 단계
    를 포함하며,
    상기 제2 음성으로부터 자연어 음성 인식 기술을 이용하여 보이스피싱 어휘가 포함되어 있는지 확인하는 보이스피싱 방지 방법.
20. 제10항에 있어서,
    상기 2차 보이스피싱호를 검출하는 단계 이후에,
    상기 보이스피싱 방지 시스템은 보이스피싱 어휘가 포함된 음성을 저장하고, 미리 저장된 보이스피싱 어휘 이외의 새로운 보이스피싱 어휘가 발생하면 저장된 보이스피싱 어휘에 추가하는 단계
    를 포함하는 보이스피싱 방지 방법.

Images