KR20190056273A - 영상 통화 서비스를 제공하는 단말 및 서버 - Google Patents

영상 통화 서비스를 제공하는 단말 및 서버 Download PDF

Info

Publication number
KR20190056273A
KR20190056273A KR1020180034757A KR20180034757A KR20190056273A KR 20190056273 A KR20190056273 A KR 20190056273A KR 1020180034757 A KR1020180034757 A KR 1020180034757A KR 20180034757 A KR20180034757 A KR 20180034757A KR 20190056273 A KR20190056273 A KR 20190056273A
Authority
KR
South Korea
Prior art keywords
user
terminal
call service
video call
feature points
Prior art date
Application number
KR1020180034757A
Other languages
English (en)
Other versions
KR102034839B1 (ko
Inventor
안상일
최혁
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Publication of KR20190056273A publication Critical patent/KR20190056273A/ko
Application granted granted Critical
Publication of KR102034839B1 publication Critical patent/KR102034839B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보를 이용하여, 영상 통화 서비스를 제공하는 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 영상 통화 서비스를 제공하는 단말 및 영상 통화 서비스를 제공하는 서버를 개시한다.

Description

영상 통화 서비스를 제공하는 단말 및 서버{TERMINAL AND SERVER PROVIDING A VIDEO CALL SERVICE}
영상 통화 서비스를 제공하는 단말과 영상 통화 서비스를 제공하는 서버에 관한 것이다.
과학 기술의 발전에 따라, 대부분의 사람들이 스마트 폰, 태블릿 PC와 같은 단말을 보유하게 되었다. 이와 같은 단말은 영상을 촬영하고, 재생할 수 있으며, 다른 단말과 통신을 수행하여 정보를 주고받거나, 영상 통화(video call)를 지원할 수 있다.
영상 통화를 기반으로 하는 다양한 종류의 영상 통화 서비스가 존재한다. 예를 들어, 랜덤 영상 채팅 서비스는 랜덤 영상 채팅 서비스 이용 요청을 한 사용자의 단말을 랜덤 영상 채팅 서비스를 이용하는 사용자들 중 무작위로 선정된 사용자의 단말과 연결시켜주는 서비스이다.
랜덤 영상 채팅 서비스를 비롯한 다양한 종류의 영상 통화 서비스가 좋은 품질로 제공되기 위해, 영상 통화 서비스를 이용하여 상대방에게 의도적인 부정행위를 한 사용자에 대하여 영상 통화 서비스 이용에 제한을 주는 방안이 요구된다.
영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보를 이용하여, 영상 통화 서비스를 제공하는 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 영상 통화 서비스를 제공하는 단말 및 영상 통화 서비스를 제공하는 서버를 제공하는 것이다.
제 1 측면에 따른 서버는, 단말과 통신을 수행하는 통신 인터페이스; 스토리지; 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고, 상기 프로세서는, 상기 명령어들을 실행함으로써, 상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말로부터 상기 단말의 사용자를 촬영한 영상 스트림을 수신하고, 상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하며, 상기 스토리지에 저장된 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 상기 추출된 단말의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하고, 상기 판단 결과를 상기 단말에 전송할 수 있다.
제 2 측면에 따른 서버는 단말과 통신을 수행하는 통신 인터페이스; 스토리지; 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고, 상기 프로세서는, 상기 명령어들을 실행함으로써, 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여, 상기 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 생성하여 상기 스토리지에 저장하고, 상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말의 사용자를 촬영한 영상 스트림을 수신하고, 상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하며, 상기 스토리지에 저장된 학습 모델 및 상기 추출된 안면 특징점들을 이용하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지 판단하고, 상기 판단 결과를 상기 단말에 전송할 수 있다.
제 3 측면에 따른 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션은 단말에서, 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여 생성되는, 상기 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 서버로부터 수신하는 단계; 상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말의 사용자를 촬영한 영상 스트림을 획득하는 단계; 상기 획득된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하는 단계; 상기 학습 모델 및 상기 추출된 안면 특징점들을 이용하여, 상기 단말의 사용자가 상기 영상 통화 서버의 제공이 제한된 사용자인지 판단하는 단계; 및 상기 판단 결과에 기초하여, 상기 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한하는 단계;를 수행하도록 할 수 있다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 통화 서비스를 제공하는 단말의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 영상 통화 서비스를 제공하는 서버의 구성을 나타낸 블록도이다.
도 4는 일 실시예에 따른 영상 통화 서비스를 제공하는 서버가 복수 개의 분산 서버들로 구현된 모습을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라, 사용자의 안면 특징점들의 분포 정보에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 과정을 설명하기 위한 도면이다.
도 6과 도 7은 일 실시예에 따라, 영상 통화 서비스를 제공하는 서버가 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 이용하여, 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 8은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 단말의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는 다양한 방식들을 설명하기 위한 도면이다.
도 9와 도 10은 다른 실시예에 따라, 영상 통화 서비스를 제공하는 서버가 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 이용하여, 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 11과 도 12는 또 다른 실시예에 따라, 영상 통화 서비스를 제공하는 단말이 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 이용하여, 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 13과 도 14는 또 다른 실시예에 따라, 영상 통화 서비스를 제공하는 단말이 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 이용하여, 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 영상 통화 서비스를 제공하는 단말 및 서버에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
영상 통화 서비스는 복수의 사용자들이 각자의 단말을 이용하여 자신의 영상을 상대방에게 전송하고 상대방의 영상을 수신함으로써 의사를 주고받을 수 있는 서비스를 의미한다. 영상 통화 서비스를 이용하는 사용자들은 각자의 단말을 통해, 영상과 음성을 주고받을 수 있으며, 채팅 기능을 통해 텍스트를 주고받을 수도 있다. 영상 통화 서비스를 이용하려는 사용자는 상대방을 직접 지정하거나, 영상 통화 서비스를 제공하는 서버에서 랜덤으로 또는 소정의 방식에 따라 상대방을 지정해줌으로써, 상대방과 영상 통화 서비스를 이용할 수 있다.
도 1을 참조하면, 단말(100)이 통신망을 통해 영상 통화 서비스를 제공하는 서버(200)와 연결되어 있다. 서버(200)는 복수의 사용자들이 각자의 단말(100)을 이용하여 영상 통화 서비스를 이용할 수 있도록 도와주는 각종 프로그램 또는 애플리케이션과 데이터를 저장할 수 있다. 서버(200)는 근거리 통신 및 원격지 통신을 모두 수행할 수 있다. 서버(200)는 통신망을 통해 복수의 단말(100)들과 연결될 수 있다. 단말(100)은 서버(200)와의 연결에 이용될 수 있는 다양한 종류의 사용자 단말이 될 수 있다. 예를 들어, 단말(100)은 서버(200)와 통신을 수행할 수 있는 장치로서, 스마트 왓치와 같은 웨어러블 장치, 스마트 폰, 태블릿 PC, 랩톱 컴퓨터와 같은 모바일 장치, 또는 데스크톱 컴퓨터와 같은 스테이셔너리(satationary) 장치 등이 될 수 있다. 또한, 단말(100)은 영상 통화 서비스를 통해 연결되는 사용자들 간 영상 통화가 이루어질 수 있도록, 영상을 촬영하고 재생할 수 있는, 영상 통화를 지원하는 영상 통화 장치일 수 있다.
도 2는 일 실시예에 따른 단말(100)의 구성을 나타낸 블록도이다.
도 2를 참고하면, 단말(100)은 메모리(110), 프로세서(120), 사용자 인터페이스(130), 통신 인터페이스(140), 및 음성 및 영상 입력부(150)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(110)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터를 이용하거나, 또는 새로운 프로그램, 컨텐츠, 및 데이터를 메모리(110)에 저장할 수도 있다.
프로세서(120)는 메모리(110)에 액세스하여, 메모리(110)에 저장된 O/S를 이용하여 부팅을 수행할 수 있다. 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터를 이용하여, 디스플레이(136)에 소정의 화면을 표시할 수 있다. 프로세서(120)는 디스플레이(136)의 일 영역에 대한 사용자 조작이 이루어지면, 사용자의 조작에 대응되는 제어 동작을 수행할 수 있다.
프로세서(120)는 그래픽 처리에 특화된 GPU(Graphic Processing Unit)를 포함할 수 있다. GPU는 단말(100)의 부팅이 완료되면, 디스플레이(136)의 영역에 사용자 인터페이스 화면을 디스플레이한다. 구체적으로는, GPU는 컨텐츠, 아이콘, 및 메뉴 등과 같은 다양한 객체를 포함하는 영상 통화 레이아웃이 표시된 화면을 생성할 수 있다. GPU는 화면의 영상 통화 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 및 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, GPU는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU에서 생성된 화면은 디스플레이(136)로 제공되어, 디스플레이(136)의 각 영역에 각각 표시될 수 있다.
한편, 프로세서(120)는 비디오 프로세서와 오디오 프로세서를 포함할 수 있다. 프로세서(120)는 비디오 프로세서와 오디오 프로세서를 제어하여, 통신 인터페이스(140)를 통해 수신된 영상 스트림 또는, 메모리(110)에 저장된 영상 스트림에 포함된 비디오 데이터 또는 오디오 데이터를 처리할 수 있다.
사용자 인터페이스(130)는 입력부(131)와 출력부(135)를 포함할 수 있다.
입력부(131)는 사용자로부터 다양한 명령어를 입력받을 수 있다. 입력부(131)는 키패드(132), 터치 패널(133) 및 펜 인식 패널(134) 중 적어도 하나를 포함할 수 있다.
키패드(132)는 단말(100)의 본체 외관의 전면부나 측면부, 또는 배면부 등의 다양한 영역에 형성된 기계적 버튼, 및 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(133)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(133)이 표시 패널과 결합하여 터치 스크린을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 및 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다.
펜 인식 패널(134)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(134)은, 예로, EMR(Electromagnetic Radiation) 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 펜 인식 패널(134)은 그리드 구조를 가지는 전자 유도 코일 센서와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부를 포함하여 구성될 수 있다.
출력부(135)는 디스플레이(136), 및 스피커(137)를 포함할 수 있다.
디스플레이(136)는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있다. 표시 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), 및 PDP(Plasma Display Panel) 등과 같은 다양한 방식으로 구현될 수 있다. 표시 패널은 유연하게(flexible) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이(136)는 입력부(131)의 터치 패널(133)과 결합되어 터치 스크린으로 제공될 수 있다.
스피커(137)는 오디오 데이터에 기초하여 소리를 출력할 수 있다. 예를 들어, 스피커(137)는 영상 스트림에 포함된 오디오 데이터에 따라, 사용자의 음성을 출력할 수 있다.
통신 인터페이스(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(140)는 와이파이 칩, 블루투스 칩, NFC(Near Field Communication) 칩, 및 무선통신 칩 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 통신 인터페이스(140)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. NFC 칩은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC 방식으로 동작하는 칩을 의미한다. 무선 통신 칩은 IEEE(Institute of Electrical and Electronics Engineers), 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 및 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
음성 및 영상 입력부(150)는 마이크(151)와 카메라(153)를 포함할 수 있다. 마이크(151)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환할 수 있다. 프로세서(120)는 마이크(151)를 통해 입력되는 사용자 음성을 영상 통화에 이용하거나, 오디오 데이터로 변환하여 메모리(110)에 저장할 수 있다. 카메라(153)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬영할 수 있다. 카메라(153)는 단말(100)의 전면 또는 후면에 위치한 카메라 모듈일 수 있다. 프로세서(120)는 마이크(151)를 통해 입력되는 음성과 카메라(153)에 의해 촬영되는 영상을 이용하여, 영상 통화를 위한 영상 스트림을 생성할 수 있다.
한편, 단말(100)은 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(120)는 카메라(153)를 활성화시켜 사용자를 촬영하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우, 프로세서(120)는 마이크(151)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행할 수 있다.
전술한 단말(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 단말(100)은 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 단말(100)은 전술한 구성요소들 중 적어도 하나를 이용하여, 다음과 같은 동작을 수행할 수 있다.
도 3은 일 실시예에 따른 영상 통화 서비스를 제공하는 서버(200)의 구성을 나타낸 블록도이다.
도 3을 참조하면, 서버(200)는 메모리(210), 프로세서(220), 스토리지(230), 및 통신 인터페이스(240)을 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 서버(200)가 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들을 더 포함할 수 있음을 알 수 있다. 도 3의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 둘 이상의 구성요소로 세분화되거나, 둘 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는 통신 인터페이스(240)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(230)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 단말(100)로부터 수신되는 정보로부터 영상 통화 서비스에 이용되는 정보를 생성하거나, 수신되는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(230)에 저장할 수 있다. 또한, 프로세서(220)는 단말(100)로부터 획득된 요청 사항에 대한 응답으로써, 스토리지(230)에 저장된 정보를 이용하여, 통신 인터페이스(240)를 통해 단말(100)에 영상 통화 서비스를 제공하기 위한 정보를 전송할 수 있다.
스토리지(230)는 서버(200)가 영상 통화 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(230)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 영상 통화 서비스에 이용되는 각종 데이터를 저장할 수 있다.
스토리지(230)는 영상 통화 서비스를 이용하는 사용자별 개인 정보를 데이터베이스화하여 저장 및 관리할 수 있다. 스토리지(230)는 서버(200)에 접속하기 위한 계정별로 사용자의 신상 정보와 영상 통화 서비스에 이용되는 가상 재화(virtual property) 정보와 같은 다양한 정보 등을 저장할 수 있다. 신상 정보는 영상 통화 서비스를 이용하는 사용자의 국적, 이름, 성별, 및 관심사 등의 개인 정보를 포함할 수 있다. 가상 재화 정보는 영상 통화 서비스를 이용하는 사용자가 유료로 제공되는 부가 서비스를 이용하기 위한 가상 재화일 수 있다. 예를 들어, 사용자가 원하는 조건의 상대방과 영상 통화 매칭을 하기 위해서는 사용자는 소정의 가상 재화를 지불하여야 한다.
통신 인터페이스(240)는 단말(100)을 포함한 외부 기기와 통신을 수행할 수 있다. 예를 들어, 서버(200)는 단말(100)로부터 영상 통화 서비스 개시 요청, 및 영상 통화 서비스 환경을 갖추기 위한 설정 정보에 대한 요청 등을 수신하고, 단말(100)의 요청에 대한 응답으로, 영상 통화 서비스와 관련된 정보들을 제공할 수 있다.
도 4는 다른 실시예에 따라 영상 통화 서비스를 제공하는 서버(200)가 복수 개의 분산 서버들로 구현된 모습을 설명하기 위한 도면이다. 이상에서 영상 통화 서비스를 제공하는 서버(200)와 관련하여 기재된 내용은 이하 생략된 내용이라 하더라도 그대로 적용될 수 있다.
도 4를 참고하면, 영상 통화 서비스를 제공하는 분산 서버들은 부하 분산 서버(200-1)와 영상 통화 서비스를 제공하는 기능 서버들(200-3, 200-5, 200-7)로 구성될 수 있다. 부하 분산 서버(200-1)는 단말(100)과 같은 외부 기기의 영상 통화 서비스에 관한 요청이 있을 때, 영상 통화 서비스를 제공하는 기능 서버들(200-3, 200-5, 200-7) 중 임의의 서버를 결정하여 단말(100)에 연결시키거나, 영상 통화 서비스를 제공하는 기능 서버들(200-3, 200-5, 200-7)의 상태를 모니터링하여 최적의 서버를 선택하여 단말(100)에 연결시킬 수 있다.
한편, 영상 통화 서비스를 제공하는 서비스 제공자는 좋은 품질의 영상 통화 서비스를 제공하기 위해 부정행위를 한 사용자에 대해서 조치를 취할 수 있다. 부정행위를 한 사용자의 예로는, 영상 통화 서비스를 이용하는 도중에 소정 수위 이상의 신체 노출을 하거나, 인종 차별적 발언 또는 욕을 하거나, 반사회적 또는 반인륜적 컨텐츠를 실행한 자일 수 있다. 영상 통화 서비스를 제공하는 서비스를 제공하는 서비스 제공자는 다른 사용자들을 위해 이러한 부정행위를 한 사용자에 대해서는 영상 통화 서비스의 제공을 제한할 수 있다. 예를 들어, 서비스 제공자는 부정행위를 한 사용자를 영상 통화 서비스를 이용할 수 있는 사용자 목록에서 제거하거나 영상 통화 서비스를 이용할 수 없는 사용자 목록에 저장할 수 있다. 그리고, 서비스 제공자는 부정행위를 한 사용자의 영상 통화 서비스 개시 요청을 무시 또는 차단하거나, 실행된 영상 통화 서비스를 제공하는 애플리케이션을 종료시키거나, 부정행위를 한 이력에 의해 상기 영상 통화 서비스의 제공이 제한됨을 알려주는 메시지를 제공하여 영상 통화 서비스의 이후 진행이 불가함을 알려줄 수 있다. 이하, 부정행위 등을 이유로 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보를 이용하여, 단말의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 단말(100) 및 서버(200)에 대해 설명한다.
도 5는 일 실시예에 따라, 사용자의 안면 특징점들의 분포 정보에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 사용자는 사용자의 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션을 실행할 수 있다. 단말(100)에서 애플리케이션이 실행됨에 따라, 단말(100)은 영상 통화 서비스의 제공을 위해 요구되는 정보를 단말(100)의 디스플레이에 표시하여 사용자로부터 입력받을 수 있다. 단말(100)은 영상 통화 서비스를 제공하는 애플리케이션에 대한 사용자의 회원가입 또는 로그인을 위해 사용자의 안면을 촬영할 수 있다. 또는, 단말(100)에서 애플리케이션이 실행됨에 따라, 애플리케이션을 통해 사용자의 단말(100)과 영상 통화의 상대방의 단말 간의 영상 통화가 이루어지기 전 또는 영상 통화 중에, 단말(100)은 사용자의 안면을 촬영한 영상을 수집할 수 있다. 부정행위를 이유로 이미 영상 통화 서비스 이용이 제한된 사용자가 새롭게 회원가입을 시도하거나, 다른 계정으로 로그인을 하거나, 다른 계정으로 로그인된 다른 사용자의 단말을 이용하여 영상 통화 서비스를 이용하려고 하는 경우, 영상 통화 서비스의 제공이 제한된 사용자가 영상 통화 서비스를 이용하는 것을 차단하기 위함이다.
단말(100)은 카메라(132)를 통해 사용자를 촬영한 영상 또는 영상 스트림을 획득할 수 있다. 영상 스트림은 적어도 하나의 영상을 포함한 것일 수 있다. 단말(100)은 단말(100)의 사용자의 안면의 각도와 사이즈가 소정의 기준에 맞게 촬영되도록, 단말(100)의 화면에 가이드라인을 제공할 수 있다. 가이드라인을 제공하는 이유는 최대한 규격화된 각도 및 사이즈의 안면 영상을 획득하기 위함이다. 단말(100)은 제공된 가이드라인에 따라 단말(100)의 사용자의 안면이 촬영된 영상 스트림을 획득할 수 있다.
단말(100) 또는 서버(200)는 소정의 영상 처리 알고리즘에 기초하여, 사용자를 촬영한 영상 스트림으로부터 사용자의 안면 특징점들을 추출할 수 있다. 여기서, 안면 특징점들은 안면 영상에 포함된 특정한 모양, 패턴, 색상, 밝기 또는 이들의 조합으로부터 획득될 수 있다. 예를 들면, 단말(100) 또는 서버(200)는 사용자를 촬영한 영상 스트림 중 촬영된 각도에 기초하여 사용자의 안면이 가장 정면으로 촬영된 영상이나 사용자의 안면이 가장 선명하게 촬영되고, 소정의 사이즈에 가장 가까운 사이즈의 영상을 선정하여, 선정된 영상에서 단말(100)의 사용자의 안면 부위인 눈 부위, 코 부위, 입 부위, 이마 부위, 볼 부위, 턱 부위 및 안면 윤곽으로부터 안면 특징점들을 추출할 수 있다.
단말(100) 또는 서버(200)는 사용자의 안면 특징점들의 분포 정보에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
사용자가 영상 통화 서비스의 제공이 제한되지 않은 사용자인 것으로 판단되면, 단말(100) 또는 서버(200)는 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지시킬 수 있다.
사용자가 영상 통화 서비스의 제공이 제한된 사용자인 것으로 판단되면, 단말(100) 또는 서버(200)는 영상 통화 서비스를 제공하는 애플리케이션의 실행을 제한할 수 있다.
이하, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는 주체와 판단하는 방식에 따라 구별되는 다양한 실시예들을 도 6 내지 도 14를 참조하여 설명한다.
도 6과 도 7은 일 실시예에 따라, 영상 통화 서비스를 제공하는 서버(200)가 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 이용하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 6을 참조하면, 서버(200)가 단말(100)과 통신을 수행하여, 단말(100)의 사용자를 촬영한 영상 스트림을 수신하고, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과를 단말(100)로 전송할 수 있다.
단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 단말(100)은 회원가입 과정이나 로그인 과정, 또는 영상 통화 서비스가 연결되기 전이나 영상 통화 서비스 이용 과정 중에서 사용자를 촬영할 수 있다. 단말(100)은 소정의 시기나 조건을 만족할 때 단말(100)의 사용자를 촬영하고, 촬영한 영상 스트림을 서버(200)로 전송할 수 있다.
서버(200)는 영상 통화 서비스를 제공하는데 이용되는 정보와 영상 통화 서비스를 이용하는 사용자의 신상 정보, 예를 들어, 사용자의 국적, 이름, 성별, 및 관심사 등의 개인 정보를 저장하여 관리할 수 있다. 서버(200)는 영상 통화 서비스를 이용하는 중 부정행위를 한 사용자에 대한 정보를 저장해 둘 수 있다. 예를 들어, 서버(200)는 부정행위를 하여 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보를 데이터베이스화하여 저장해 둘 수 있다. 서버(200)는 단말(100)로부터 사용자를 촬영한 영상 스트림이 수신함으로써, 영상 스트림에 포함된 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지에 대한 판단 요청이 수신되면, 판단 후 판단 결과를 단말(100)에 전송할 수 있다.
도 7을 참조하면, 블록 710에서, 서버(200)는 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 단말(100)로부터 단말(100)의 사용자를 촬영한 영상 스트림을 수신할 수 있다. 예를 들어, 서버(200)는 영상 통화 서비스를 제공하는 애플리케이션에 대한 사용자의 회원가입 과정이나 로그인 과정, 또는 영상 통화가 이루어지기 전이나 영상 통화 중에, 단말(100)에서 촬영된 사용자의 안면을 포함한 영상 스트림을 수신할 수 있다.
블록 720에서, 서버(200)는 수신된 영상 스트림으로부터 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다.
블록 730에서, 서버(200)는 스토리지(230)에 저장된 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
도 8은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는 다양한 방식들을 설명하기 위한 도면이다.
도 8을 참조하면, 사용자 X와 사용자 Y가 각각 촬영된 영상이 있다. 사용자 X의 영상은 영상 통화 서비스를 제공하는 서버(200)의 스토리지(230)에 저장되어 있던 영상 통화 서비스의 제공이 제한된 사용자의 영상일 수 있다. 사용자 Y의 영상은 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라 촬영된, 단말(100)의 사용자의 영상일 수 있다. 각 영상에는 사용자의 안면 특징점들이 표시되어 있고, 이로부터 안면 특징점들의 분포 정보를 알 수 있다.
동일 인물이더라도 촬영된 영상에서의 안면의 각도, 사이즈, 또는 촬영 환경 등에 따라 안면 특징점들이 다를 수 있으므로, 동일한 촬영 조건에서 촬영된 영상을 비교하는 것이 바람직하다. 만일, 안면의 각도, 사이즈, 또는 촬영 환경 등에 차이가 있는 경우, 서버(200)는 데이터베이스에 저장된 영상 통화 서비스의 제공이 제한된 사용자의 영상 스트림과 단말(100)로부터 수신된 영상 스트림에 대해 정규화 프로세스를 수행하고, 정규화된 각각의 영상 스트림을 이용할 수 있다. 서버(200)는 정규화된 각각의 영상 스트림으로부터 추출된, 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보와 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
도 8을 참조하면, 사용자 X와 사용자 Y 각각의 영상에, 복수 개의 안면 특징점들이 검출될 수 있다. 이 중 사용자 X와 사용자 Y가 동일한 인물인지 판단하기 위해, 각 영상의 안면 특징점들을 이용할 수 있다. 예를 들어, 각 영상의 안면 특징점들 중 두 영상의 서로 대응되는 위치에 존재하는 특징점들 중에서 전부 또는 사용자의 표정 변화에 영향을 적게 받는 일부 특징점들을 활용할 수 있다. 두 영상의 안면 특징점들을 이용하여 두 영상의 사용자들이 동일한 인물인지 판단함에 있어서, 어느 한쪽 영상에만 있는 안면 특징점들을 더 활용할 수도 있다.
이하, 설명의 편의상, 사용자 X와 사용자 Y 각각의 영상의 안면 특징점들 중 3개의 안면 특징점들을 예로 들어, 영상 통화 서비스의 제공이 제한된 사용자 X의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자 Y의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는 방식에 대해 설명한다. 도 8을 참조하면, 사용자 X의 영상에 안면 특징점들 A, B, C가 있고, 사용자 Y의 영상에 안면 특징점들 A', B', C'가 있다.
첫 번째 방식(①)에 따르면, 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자 X의 안면 특징점들 A, B, C와 영상 스트림에서 추출된 단말(100)의 사용자 Y의 안면 특징점들 A', B', C'를 대응시키고, 서로 대응되는 안면 특징점들 간 변위의 합산을 고려한 유사도에 기초하여, 사용자 Y가 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다. 예를 들어, A와 A'를 기준으로서 일치시키고, B와 B' 간의 변위와 C와 C' 간의 변위를 합산하고, 소정의 임계치(H)와 비교하여, 소정의 임계치(H)보다 작거나 같으면 사용자 X와 사용자 Y가 동일한 인물이라고 판단할 수 있다.
두 번째 방식(②)에 따르면, 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자 X의 안면 특징점들 A, B, C 중 기준 특징점 A와 주변 특징점들 B, C 간 변위의 합산과 영상 스트림에서 추출된 단말(100)의 사용자 Y의 안면 특징점들 A', B', C' 중 기준 특징점 A'와 주변 특징점들 B', C' 간 변위의 합산 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다. 예를 들어, A와 B 간의 변위 AB와 A와 C 간의 변위 AC를 합산하고, A'와 B' 간의 변위 A'B'와 A'와 C' 간의 변위 A'C'를 합산하여, 두 합산 간의 유사도가 소정의 값 이상이면, 사용자 X와 사용자 Y가 동일한 인물이라고 판단할 수 있다.
세 번째 방식(③)에 따르면, 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자 X의 안면 특징점들 A, B, C 중 기준 특징점 A과 주변 특징점들 B, C 간 변위의 비율과 영상 스트림에서 추출된 단말(100)의 사용자 Y의 안면 특징점들 A', B', C' 중 기준 특징점 A'과 주변 특징점들 B', C' 간 변위의 비율 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다. 예를 들어, A와 B 간의 변위 AB와 A와 C 간의 변위 AC의 비율을 산출하고, A'와 B' 간의 변위 A'B'와 A'와 C' 간의 변위 A'C'의 비율을 산출하여, 두 비율 간의 유사도가 소정의 값 이상이면, 사용자 X와 사용자 Y가 동일한 인물이라고 판단할 수 있다.
한편, 서버(200)는 수신된 영상 스트림으로부터 단말(100)의 사용자의 안면에 대한 깊이 지도(depth map)를 생성하고, 생성된 깊이 지도에서의 안면 특징점들을 추출할 수 있다. 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자의 안면에 대한 깊이 지도에서의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자의 안면에 대한 깊이 지도에서 추출된 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
또한, 서버(200)는 수신된 영상 스트림으로부터 단말(100)의 사용자의 안면에 대한 3차원 영상을 생성하고, 생성된 3차원 영상에서의 안면 특징점들을 추출할 수 있다. 사용자의 안면에 대한 3차원 영상을 생성하기 위하여, 적어도 하나의 사용자의 안면이 포함된 영상이 이용될 수 있다. 영상 통화 서비스의 제공이 제한된 사용자의 안면에 대한 3차원 영상에서의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자의 안면에 대한 3차원 영상에서 추출된 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
다시 도 7을 참조하면, 블록 740에서, 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과를 단말(100)에 전송할 수 있다.
도 9와 도 10은 다른 실시예에 따라, 영상 통화 서비스를 제공하는 서버(200)가 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 이용하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 9를 참조하면, 서버(200)가 단말(100)과 통신을 수행하여, 단말(100)의 사용자를 촬영한 영상 스트림을 수신하고, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과를 단말(100)로 전송할 수 있다. 이상에서, 도 6에서 설명한 내용과 중복되는 내용에 대해서는 이하 상세한 설명을 생략한다.
단말(100)은 단말(100)의 사용자를 촬영하고, 촬영한 영상 스트림을 서버(200)에 전송할 수 있다.
서버(200)는 부정행위를 하여 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 생성하여 스토리지(230)에 저장할 수 있다.
학습 모델은 영상 통화 서비스를 이용하는 사용자들 중 영상 통화 서비스의 제공이 제한된 사용자를 검출하기 위해 이용되는 데이터 인식 모델일 수 있다. 데이터 인식 모델은, 인공 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들면, 학습 모델은 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보를 이용하여 학습 된 것일 수 있다. 또는, 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보와 영상 통화 서비스의 제공이 제한되게 된 부정행위에 관한 정보를 이용하여 학습 된 것일 수 있다. 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델은 부정행위의 종류와 관계없이, 영상 통화 서비스의 제공이 제한된 사용자 전체와 관련된 학습 모델이거나, 부정행위의 종류별로 준비된 학습 모델일 수 있다. 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델 및 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들을 이용하면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자일 확률을 수치로 나타낼 수 있다. 예를 들어, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자일 확률을 구하기 위해, 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델에 단말(100)의 사용자의 안면 특징점들을 적용할 수 있다. 단말 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하기 위해, 학습 모델 및 단말(100)의 사용자의 안면 특징점들을 이용한 결과와 소정의 임계치를 비교할 수 있다. 비교 결과에 따라, 적용 결과가 소정의 임계치 이상이면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인 것으로 판단할 수 있다.
서버(200)는 단말(100)로부터 사용자를 촬영한 영상 스트림이 수신되어, 영상 통화 서비스의 제공이 제한된 사용자인지에 대한 판단 요청이 수신되면, 학습 모델을 이용하여 판단 후 판단 결과를 단말(100)에 전송할 수 있다.
도 10을 참조하면, 블록 1010에서 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 생성하여 스토리지(230)에 저장할 수 있다.
블록 1020에서, 서버(200)는 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 단말(100)의 사용자를 촬영한 영상 스트림을 수신할 수 있다.
블록 1030에서, 서버(200)는 수신된 영상 스트림으로부터 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다.
블록 1040에서, 서버(200)는 스토리지(230)에 저장된 학습 모델 및 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들을 이용하여, 영상 통화 서비스의 제공이 제한된 사용자인지 판단할 수 있다. 학습 모델 및 영상 스트림으로부터 추출된 영상 통화 서비스를 제공하는 단말(100)의 사용자의 안면 특징점들을 이용하면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자일 확률을 수치로 나타낼 수 있다. 학습 모델 및 단말(100)의 사용자의 안면 특징점들을 이용한 결과와 소정의 임계치를 비교하여, 소정의 임계치 이상이면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인 것으로 판단할 수 있다. 반대로, 소정의 임계치 미만이면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한되지 않은 사용자라고 판단할 수 있다.
블록 1050에서, 서버(200)는 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과를 단말(100)에 전송할 수 있다.
도 11과 도 12는 또 다른 실시예에 따라, 영상 통화 서비스를 제공하는 단말(100)이 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 이용하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 11을 참조하면, 단말(100)은 서버(200)로부터 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델을 수신할 수 있다. 학습 모델에 관한 설명은 도 9에서 설명한 바와 같다. 단말(100)은 서버(200)로부터 업데이트 주기에 따라 업데이트된 학습 모델을 수신할 수 있다.
단말(100)은 사용자의 안면 특징점들 및 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델을 이용하여, 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다. 단말(100)은 영상 스트림으로부터 사용자의 눈 부위, 코 부위, 입 부위, 이마 부위, 볼 부위, 턱 부위 및 안면 윤곽으로부터 안면 특징점들을 추출할 수 있다. 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자 판별을 위한 학습 모델 및 사용자의 안면 부위 중 적어도 하나의 부위에 대한 특징점들의 분포 정보를 이용하여, 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
단말(100)은 학습 모델을 이용한 판단 결과에 기초하여, 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한할 수 있다.
도 12를 참조하면, 블록 1210에서, 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여 생성되는, 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 서버(200)로부터 수신할 수 있다. 단말(100)은 서버(200)로부터 업데이트 주기에 따라 서버(200)에서 업데이트된 학습 모델을 수신할 수 있다.
블록 1220에서, 단말(100)은 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 단말(100)의 사용자를 촬영한 영상 스트림을 획득할 수 있다. 예를 들어, 단말(100)은 영상 통화 서비스를 제공하는 애플리케이션에 대한 사용자의 회원가입 과정이나 로그인 과정, 또는 영상 통화가 이루어지기 전이나 영상 통화 중에, 단말(100)에서 촬영된 사용자의 안면을 포함한 영상 스트림을 획득할 수 있다. 단말(100)은 단말(100)의 사용자의 안면의 각도와 사이즈가 소정의 수준으로 촬영되도록, 단말(100)의 화면에 가이드라인을 제공할 수 있다. 단말(100)은 제공된 가이드라인에 따라 단말(100)의 사용자의 안면이 촬영된 영상 스트림을 획득할 수 있다.
블록 1230에서, 단말(100)은 획득된 영상 스트림으로부터 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다. 단말(100)은 획득된 영상 스트림 중 촬영된 각도에 기초하여 단말(100)의 사용자의 안면이 가장 정면으로 촬영된 영상을 선정하여, 선정된 영상에서 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다. 단말(100)은 단말(100)의 사용자를 촬영한 영상 스트림으로부터 사용자의 눈 부위, 코 부위, 입 부위, 이마 부위, 볼 부위, 턱 부위 및 안면 윤곽으로부터 안면 특징점들을 추출할 수 있다.
블록 1240에서, 단말(100)은 서버(200)로부터 수신된 학습 모델 및 획득된 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들을 이용하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단할 수 있다. 학습 모델 및 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들을 이용하면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자일 확률을 수치로 나타낼 수 있다. 학습 모델 및 단말(100)의 사용자의 안면 특징점들을 이용한 결과와 소정의 임계치를 비교하여, 소정의 임계치 이상이면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인 것으로 판단할 수 있다. 반대로, 소정의 임계치 미만이면, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한되지 않은 사용자라고 판단할 수 있다.
블록 1250에서, 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과에 기초하여, 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한할 수 있다. 단말(100)은 판단 결과, 영상 통화 서비스의 제공이 제한된 사용자인 경우, 실행된 영상 통화 서비스를 제공하는 애플리케이션을 종료시키거나, 부정행위를 한 이력에 의해 영상 통화 서비스의 제공이 제한됨을 알려주는 메시지를 제공함으로써, 애플리케이션의 실행을 제한할 수 있다.
도 13과 도 14는 또 다른 실시예에 따라, 영상 통화 서비스를 제공하는 단말(100)이 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 이용하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 실시예를 설명하기 위한 도면이다.
도 13을 참조하면, 단말(100)은 서버(200)로부터 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 수신할 수 있다. 단말(100)은 서버(200)로부터 업데이트 주기에 따라 업데이트된 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 수신할 수 있다.
단말(100)은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자를 촬영한 영상 스트림에서 추출된 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다. 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 이용한 판단 결과에 기초하여, 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한할 수 있다.
도 14를 참조하면, 블록 1410에서, 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스를 서버(200)로부터 수신할 수 있다.
블록 1420에서, 단말(100)은 단말(100)에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 단말(100)의 사용자를 촬영한 영상 스트림을 획득할 수 있다. 예를 들어, 단말(100)은 영상 통화 서비스를 제공하는 애플리케이션에 대한 사용자의 회원가입 과정이나 로그인 과정, 또는 영상 통화가 이루어지기 전이나 영상 통화 중에, 단말(100)에서 촬영된 사용자의 안면을 포함한 영상 스트림을 획득할 수 있다. 단말(100)은 단말(100)의 사용자의 안면의 각도와 사이즈가 소정의 기준에 맞게 촬영되도록, 단말(100)의 화면에 가이드라인을 제공할 수 있다. 단말(100)은 제공된 가이드라인에 따라 단말(100)의 사용자의 안면이 촬영된 영상 스트림을 획득할 수 있다.
블록 1430에서, 단말(100)은 획득된 영상 스트림으로부터 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다. 단말(100)은 획득된 영상 스트림 중 촬영된 각도에 기초하여 단말(100)의 사용자의 안면이 가장 정면으로 촬영된 영상을 선정하여, 선정된 영상에서 단말(100)의 사용자의 안면 특징점들을 추출할 수 있다. 단말(100)은 단말(100)의 사용자를 촬영한 영상 스트림으로부터 사용자의 눈 부위, 코 부위, 입 부위, 이마 부위, 볼 부위, 턱 부위 및 안면 윤곽으로부터 안면 특징점들을 추출할 수 있다.
블록 1440에서, 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 영상 스트림으로부터 추출된 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 단말(100)의 사용자가 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
단말(100)은, 서버(200)로부터 수신된 데이터베이스에 저장된, 영상 통화 서비스의 제공이 제한된 사용자의 영상 스트림과 단말(100)에서 획득된 영상 스트림에 대해 정규화 프로세스를 수행할 수 있다. 단말(100)은 정규화된 각각의 영상 스트림으로부터 추출된, 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보와 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단할 수 있다.
영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 단말(100)의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는 다양한 방식들은 앞서 도 8에서 설명한 것과 동일한 방식들이 적용될 수 있으므로 이와 관련된 상세한 설명은 생략한다.
블록 1450에서, 단말(100)은 영상 통화 서비스의 제공이 제한된 사용자인지 판단한 판단 결과에 기초하여, 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한할 수 있다. 단말(100)은 판단 결과, 영상 통화 서비스의 제공이 제한된 사용자인 경우, 실행된 영상 통화 서비스를 제공하는 애플리케이션을 종료시키거나, 부정행위를 한 이력에 의해 영상 통화 서비스의 제공이 제한됨을 알려주는 메시지를 제공함으로써, 애플리케이션의 실행을 제한할 수 있다.
상술한 영상 통화 서비스를 제공하는 방법에 관한 실시예들은 단말(100)에서, 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독가능 저장매체에 저장된 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 영상 통화 서비스를 제공하는 방법에 관한 실시예들은 단말(100)로 하여금 상술한 영상 통화 서비스를 제공하는 방법의 각 단계를 실행시키기 위한 컴퓨터 판독가능 저장매체에 저장된 애플리케이션 또는 컴퓨터 프로그램 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 단말과 통신을 수행하는 통신 인터페이스;
    스토리지;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말로부터 상기 단말의 사용자를 촬영한 영상 스트림을 수신하고, 상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하며, 상기 스토리지에 저장된 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보 데이터베이스와 상기 추출된 단말의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하고, 상기 판단 결과를 상기 단말에 전송하는, 서버.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들과 상기 추출된 단말의 사용자의 안면 특징점들을 대응시키고, 서로 대응되는 안면 특징점들 간 변위의 합산을 고려한 상기 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들 중 기준 특징점과 주변 특징점들 간 변위의 합산과 상기 추출된 단말의 사용자의 안면 특징점들 중 기준 특징점과 주변 특징점들 간 변위의 합산 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들 중 기준 특징점과 주변 특징점들 간 변위의 비율과 상기 추출된 단말의 사용자의 안면 특징점들 중 기준 특징점과 주변 특징점들 간 변위의 비율 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면에 대한 깊이 지도(depth map)를 생성하고, 상기 생성된 깊이 지도에서의 안면 특징점들을 추출하며, 상기 영상 통화 서비스의 제공이 제한된 사용자의 안면에 대한 깊이 지도에서의 안면 특징점들의 분포 정보 데이터베이스와 상기 추출된 단말의 사용자의 안면에 대한 깊이 지도에서의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면에 대한 3차원 영상을 생성하고, 상기 생성된 3차원 영상에서의 안면 특징점들을 추출하며, 상기 영상 통화 서비스의 제공이 제한된 사용자의 안면에 대한 3차원 영상에서의 안면 특징점들의 분포 정보 데이터베이스와 상기 추출된 단말의 사용자의 안면에 대한 3차원 영상에서의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  7. 제 1 항에 있어서,
    상기 데이터베이스에 저장된 상기 영상 통화 서비스의 제공이 제한된 사용자의 영상 스트림과 상기 수신된 영상 스트림에 대해 정규화 프로세스를 수행하고, 정규화된 각각의 영상 스트림으로부터 추출된, 상기 영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보와 상기 단말의 사용자의 안면 특징점들의 분포 정보 간의 유사도에 기초하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지를 판단하는, 서버.
  8. 단말과 통신을 수행하는 통신 인터페이스;
    스토리지;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여, 상기 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 생성하여 상기 스토리지에 저장하고, 상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말의 사용자를 촬영한 영상 스트림을 수신하고, 상기 수신된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하며, 상기 스토리지에 저장된 학습 모델 및 상기 추출된 안면 특징점들을 이용하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지 판단하고, 상기 판단 결과를 상기 단말에 전송하는, 서버.
  9. 단말에서,
    영상 통화 서비스의 제공이 제한된 사용자의 안면 특징점들의 분포 정보에 기초하여 생성되는, 상기 영상 통화 서비스의 제공이 제한된 사용자를 판별하기 위한 학습 모델을 서버로부터 수신하는 단계;
    상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 상기 단말의 사용자를 촬영한 영상 스트림을 획득하는 단계;
    상기 획득된 영상 스트림으로부터 상기 단말의 사용자의 안면 특징점들을 추출하는 단계;
    상기 학습 모델 및 상기 추출된 안면 특징점들을 이용하여, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는 단계; 및
    상기 판단 결과에 기초하여, 상기 영상 통화 서비스를 제공하는 애플리케이션의 실행을 유지하거나 제한하는 단계;
    를 수행하도록 하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  10. 제 9 항에 있어서,
    상기 단말의 사용자를 촬영한 영상 스트림을 획득하는 단계는,
    상기 단말에서 영상 통화 서비스를 제공하는 애플리케이션이 실행됨에 따라, 회원가입 과정이나 로그인 과정에서 상기 단말의 사용자를 촬영한 영상 스트림을 획득하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  11. 제 9 항에 있어서,
    상기 단말의 사용자를 촬영한 영상 스트림을 획득하는 단계는,
    상기 단말의 사용자의 안면의 각도와 사이즈가 소정의 기준에 맞게 촬영되도록, 상기 단말의 화면에 가이드라인을 제공하는 단계; 및
    상기 제공된 가이드라인에 따라 상기 단말의 사용자의 안면이 촬영된 영상 스트림을 획득하는 단계;
    를 포함하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  12. 제 9 항에 있어서,
    상기 추출하는 단계는,
    상기 획득된 영상 스트림 중 촬영된 각도에 기초하여 상기 단말의 사용자의 안면이 정면으로 촬영된 영상을 선정하여, 상기 선정된 영상에서 상기 단말의 사용자의 안면 특징점들을 추출하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  13. 제 9 항에 있어서,
    상기 판단하는 단계는,
    상기 학습 모델 및 상기 추출된 안면 특징점들을 이용하여, 상기 영상 통화 서비스의 제공이 제한된 사용자일 확률을 수치로 나타낸 결과와 소정의 임계치를 비교하고, 비교 결과에 따라, 상기 단말의 사용자가 상기 영상 통화 서비스의 제공이 제한된 사용자인지 판단하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  14. 제 9 항에 있어서,
    상기 애플리케이션의 실행을 유지하거나 제한하는 단계는,
    상기 판단 결과, 상기 영상 통화 서비스의 제공이 제한된 사용자인 경우, 상기 실행된 영상 통화 서비스를 제공하는 애플리케이션을 종료시키거나, 부정행위를 한 이력에 의해 상기 영상 통화 서비스의 제공이 제한됨을 알려주는 메시지를 제공함으로써, 상기 애플리케이션의 실행을 제한하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  15. 제 9 항에 있어서,
    상기 수신하는 단계는,
    상기 서버에서 주기에 따라 업데이트된 학습 모델을 수신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
KR1020180034757A 2017-11-16 2018-03-26 영상 통화 서비스를 제공하는 단말 및 서버 KR102034839B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170153308 2017-11-16
KR20170153308 2017-11-16

Publications (2)

Publication Number Publication Date
KR20190056273A true KR20190056273A (ko) 2019-05-24
KR102034839B1 KR102034839B1 (ko) 2019-10-21

Family

ID=66680111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034757A KR102034839B1 (ko) 2017-11-16 2018-03-26 영상 통화 서비스를 제공하는 단말 및 서버

Country Status (1)

Country Link
KR (1) KR102034839B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210051065A (ko) * 2019-10-29 2021-05-10 라인플러스 주식회사 영상 통화 서비스를 제공하는 인스턴트 메시징 애플리케이션을 통해 수신된 정보를 검증하는 방법 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690295B1 (ko) * 2005-09-20 2007-03-09 삼성전자주식회사 휴대용 단말기용 얼굴 영상 정규화 방법 및 얼굴 인식시스템
KR100828411B1 (ko) * 2006-10-20 2008-05-09 연세대학교 산학협력단 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
KR20100062559A (ko) * 2008-12-02 2010-06-10 에스케이 텔레콤주식회사 영상통화 서비스 시스템 및 그 방법
KR20110087025A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
KR101117549B1 (ko) * 2010-03-31 2012-03-07 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법
KR20130070670A (ko) * 2011-12-16 2013-06-28 삼성전자주식회사 얼굴을 인식하여 수신처를 자동으로 확인하는 휴대용 단말기의 장치 및 방법
KR101443021B1 (ko) * 2013-03-08 2014-09-22 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690295B1 (ko) * 2005-09-20 2007-03-09 삼성전자주식회사 휴대용 단말기용 얼굴 영상 정규화 방법 및 얼굴 인식시스템
KR100828411B1 (ko) * 2006-10-20 2008-05-09 연세대학교 산학협력단 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
KR20100062559A (ko) * 2008-12-02 2010-06-10 에스케이 텔레콤주식회사 영상통화 서비스 시스템 및 그 방법
KR20110087025A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
KR101117549B1 (ko) * 2010-03-31 2012-03-07 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법
KR20130070670A (ko) * 2011-12-16 2013-06-28 삼성전자주식회사 얼굴을 인식하여 수신처를 자동으로 확인하는 휴대용 단말기의 장치 및 방법
KR101443021B1 (ko) * 2013-03-08 2014-09-22 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210051065A (ko) * 2019-10-29 2021-05-10 라인플러스 주식회사 영상 통화 서비스를 제공하는 인스턴트 메시징 애플리케이션을 통해 수신된 정보를 검증하는 방법 및 시스템

Also Published As

Publication number Publication date
KR102034839B1 (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
US10939071B2 (en) Terminal for providing video call service
US20200412975A1 (en) Content capture with audio input feedback
US10574941B2 (en) Terminal and server for providing video call service
WO2016169432A1 (zh) 身份验证方法、装置及终端
CN108304758A (zh) 人脸特征点跟踪方法及装置
US10949654B2 (en) Terminal and server for providing video call service
KR102700003B1 (ko) 전자 장치 및 그 제어 방법
KR20190072066A (ko) 영상 통화 서비스를 제공하는 단말과 서버
JP2012095300A (ja) ユーザ装置及びそのユーザの状況認知方法
US12063321B2 (en) Modular camera interface with context-based display elements utilizing first and second lens
WO2016173453A1 (zh) 活体鉴别方法、信息生成方法和终端
CN108833262B (zh) 会话处理方法、装置、终端及存储介质
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US9977510B1 (en) Gesture-driven introduction system
CN111738100B (zh) 一种基于口型的语音识别方法及终端设备
JP6651086B1 (ja) 画像分析プログラム、情報処理端末、及び画像分析システム
KR102120871B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
US10721437B2 (en) Terminal and server for providing video call service
KR102034839B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
US10554698B2 (en) Terminal and server providing video call service
WO2024064092A1 (en) Ar graphical assistance with tasks
CN111756705B (zh) 活体检测算法的攻击测试方法、装置、设备及存储介质
US20240126502A1 (en) Voice controlled uis for ar wearable devices
CN114648780A (zh) 评分方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant