KR20190050086A - 통신 장치, 서버 및 그것의 통신 방법 - Google Patents

통신 장치, 서버 및 그것의 통신 방법 Download PDF

Info

Publication number
KR20190050086A
KR20190050086A KR1020170145249A KR20170145249A KR20190050086A KR 20190050086 A KR20190050086 A KR 20190050086A KR 1020170145249 A KR1020170145249 A KR 1020170145249A KR 20170145249 A KR20170145249 A KR 20170145249A KR 20190050086 A KR20190050086 A KR 20190050086A
Authority
KR
South Korea
Prior art keywords
terminal
recognition result
server
face recognition
face
Prior art date
Application number
KR1020170145249A
Other languages
English (en)
Other versions
KR102293416B1 (ko
Inventor
안상일
정강식
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020170145249A priority Critical patent/KR102293416B1/ko
Priority to US16/177,597 priority patent/US10728498B2/en
Publication of KR20190050086A publication Critical patent/KR20190050086A/ko
Application granted granted Critical
Publication of KR102293416B1 publication Critical patent/KR102293416B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)

Abstract

통신 방법은 제1 단말기가 적어도 하나 이상의 제2 단말기와 순차적으로 영상 통화를 수행하는 단계, 제1 단말기가 각각의 영상 통화 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계, 제1 단말기가 얼굴 인식 결과를 서버에 출력하는 단계, 및 제1 단말기가 적어도 하나 이상의 제2 단말기와의 영상 통화가 종료된 후, 제1 단말기가 서버로부터 얼굴 인식 결과를 기반으로 선택된 제3 단말기와 영상 통화를 수행하는 단계를 포함한다.

Description

통신 장치, 서버 및 그것의 통신 방법{COMMUNICATION DEVICE, SERVER AND COMMUNICATION METHOD THEREOF}
기재된 실시예는 복수의 통신 장치를 보다 효과적으로 서로 매칭할 수 있는 통신 장치, 서버 및 그것의 통신 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 간편하게 휴대할 수 있는 통신 장치가 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 통신 장치가 널리 보급되고 있다. 통신 장치의 대부분은 통신 기능을 포함하고 있다. 사용자는 통신 장치를 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 서버는 사용자의 통신 장치 및 다른 사용자의 통신 장치를 포함하는 복수의 통신 장치를 서로 연결할 수 있다. 서버는 사용자 및 다른 사용자가 서로 메시지를 주고받을 수 있도록 복수의 통신 장치 사이를 중개할 수 있다. 서버는 복수의 통신 장치 중에서 사용자의 통신 장치 및 다른 사용자의 통신 장치를 서로 매칭할 수 있다. 이로써, 서버는 사용자의 통신 장치 및 다른 사용자의 통신 장치 사이를 중개할 수 있다. 따라서, 사용자 및 다른 사용자가 서로 모르는 관계인 경우에도, 서버의 중개를 통해 서로 메시지를 주고받을 수 있다.
기재된 실시예에 따르면 복수의 통신 장치를 보다 효과적으로 서로 매칭할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
또한, 실시예에 따르면 복수의 통신 장치의 사용자들 중에서 적합한 사용자가 다른 통신 장치의 사용자에게 매칭되도록 중개할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
또한, 실시예에 따르면 복수의 통신 장치 각각의 사용자가 중개 서비스를 통해 인간관계를 확장할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
본 발명의 실시예에 따른 단말기의 통신 방법은 제1 단말기가 적어도 하나 이상의 제2 단말기와 순차적으로 영상 통화를 수행하는 단계, 제1 단말기가 각각의 영상 통화 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계, 제1 단말기가 얼굴 인식 결과를 서버에 출력하는 단계, 및 제1 단말기가 적어도 하나 이상의 제2 단말기와의 영상 통화가 종료된 후, 제1 단말기가 서버로부터 얼굴 인식 결과를 기반으로 선택된 제3 단말기와 영상 통화를 수행하는 단계를 포함한다.
몇몇 실시예로서, 제1 단말기가 영상 통화 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계는, 제1 단말기가 영상의 특정 구간에서 하나의 대표 프레임을 선택하는 단계를 포함하고, 제1 단말기가 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계는, 제1 단말기가 하나의 대표 프레임으로부터 얼굴을 검출하는 단계를 포함하고, 제1 단말기가 적어도 하나 이상의 대표 프레임에 포함된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계는, 제1 단말기가 하나의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계를 포함한다.
몇몇 실시예로서, 제1 단말기가 영상 통화 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계는, 제1 단말기가 영상의 특정 구간에서 복수의 대표 프레임을 선택하는 단계를 포함하고, 제1 단말기가 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계는, 제1 단말기가 복수의 대표 프레임 각각으로부터 얼굴을 검출하는 단계를 포함하고, 인식 결과를 기반으로, 제1 단말기가 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계는, 제1 단말기가 복수의 대표 프레임 각각에서 검출된 얼굴의 개수에 대한 정보를 기반으로 얼굴 인식 결과를 생성하는 단계를 포함한다.
몇몇 실시예로서, 제1 단말기가 복수의 대표 프레임 각각에서 검출된 얼굴의 개수에 대한 정보를 기반으로 얼굴 인식 결과를 생성하는 단계는, 제1 단말기가 복수의 대표 프레임 각각에서 검출된 얼굴 개수의 평균 값에 기초하여 얼굴 인식 결과를 생성하는 단계를 포함한다.
몇몇 실시예로서, 제1 단말기가 복수의 대표 프레임 각각에서 검출된 얼굴의 개수에 대한 정보를 기반으로 얼굴 인식 결과를 생성하는 단계는, 제1 단말기가 복수의 대표 프레임 각각에서 검출된 얼굴 개수 중 가장 많은 빈도로 검출된 얼굴 개수를 얼굴 인식 결과를 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 서버의 통신 방법은 서버가 제1 단말기로부터 제1 매치 요청을 수신하는 단계, 제1 매치 요청에 응답하여 서버가 제1 단말기 및 적어도 하나 이상의 단말기 중 선택된 단말기 사이에 영상 통화가 수행되도록 중개하는 단계, 서버가 선택된 단말기와의 영상 통화 중 촬영되는 영상을 기반으로 생성되는 얼굴 인식 결과를 제1 단말기로부터 수신하는 단계, 서버가 제1 단말기로부터 제2 매치 요청을 수신하는 단계, 제2 매치 요청에 응답하여 서버가 수신된 얼굴 인식 결과를 기반으로 적어도 하나 이상의 단말기 중 제1 단말기와 매칭될 단말기를 선택하는 단계, 및 서버가 제1 단말기 및 선택된 단말기 사이에 영상 통화가 수행되도록 중개하는 단계를 포함한다.
몇몇 실시예로서, 제2 매치 요청에 응답하여 서버가 수신된 얼굴 인식 결과를 기반으로 적어도 하나 이상의 단말기 중 제1 단말기와 매칭될 단말기를 선택하는 단계는, 적어도 하나 이상의 단말기 중 제1 단말기로부터 수신된 얼굴 인식 결과와 동일한 얼굴 인식 결과를 제공한 단말기를 선택하는 단계를 포함한다.
몇몇 실시예로서, 얼굴 인식 결과는 영상의 복수의 프레임 중 선택된 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함한다.
몇몇 실시예로서, 제2 매치 요청에 응답하여 서버가 수신된 얼굴 인식 결과를 기반으로 제1 단말기와 매칭될 단말기를 선택하는 단계는, 검출된 얼굴의 개수가 복수인 경우, 서버가 적어도 하나 이상의 단말기 중 제1 단말기로부터 수신된 얼굴 인식 결과가 2 이상의 얼굴의 개수에 대한 정보를 포함하는 경우, 서버가 적어도 하나 이상의 단말기 중 2 이상의 얼굴 인식 결과를 제공한 단말기를 제1 단말기와 매칭될 단말기로서 선택하는 단계를 포함한다.
본 발명의 실시예에 따른 복수의 단말기 및 서버 사이의 통신 방법은 복수의 단말기 중 제1 단말기가 서버에 제1 매치 요청을 전송하는 단계, 서버가 제1 매치 요청에 응답하여 복수의 단말기 중 선택된 제2 단말기와 영상 통화가 수행되도록 중개하는 단계, 제1 단말기가 제2 단말기와의 영상 통화 중 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임에 포함된 얼굴의 개수를 검출하여 얼굴 인식 결과를 생성하는 단계, 제1 단말기 및 제2 단말기 사이의 영상 통화가 중단되는 경우, 제1 단말기가 제2 매치 요청을 서버에 전송하는 단계, 서버가 제2 매치 요청에 응답하여 복수의 단말기 중 랜덤으로 선택된 제3 단말기와 영상 통화가 수행되도록 중개하는 단계, 제1 단말기가 제3 단말기와의 매치 중에 얼굴 인식 결과를 서버에 전송하는 단계, 제1 단말기 및 제3 단말기 사이의 매칭이 중단된 후, 제1 단말기가 제3 매치 요청을 서버에 전송하는 단계, 서버가 제3 매치 요청에 응답하여 제1 단말기로부터 수신된 얼굴 인식 결과를 기반으로 복수의 단말기 중 제1 단말기와 매칭될 단말기를 선택하는 단계, 및 서버가 선택된 단말기의 사용자의 영상을 제1 단말기에 전송하는 단계를 포함한다.
몇몇 실시예로서, 제1 단말기가 제2 단말기와의 매치 중 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하여 얼굴 인식 결과를 생성하는 단계는, 제1 단말기가 영상의 특정 구간에서 적어도 하나의 대표 프레임을 선택하는 단계, 및 적어도 하나 이상의 대표 프레임에서 얼굴을 검출하고, 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 통신 장치는 촬영된 영상을 수신하는 입력부, 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하고, 적어도 하나 이상의 대표 프레임에서 얼굴을 검출하고, 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 제어부, 및 얼굴 인식 결과를 서버에 전송하고, 서버로부터 얼굴 인식 결과를 기반으로 선택된 단말기의 사용자에 대한 영상을 수신하는 통신부를 포함한다.
몇몇 실시예로서, 제어부는 영상의 특정 구간들 별로 각각 적어도 하나 이상의 대표 프레임을 선택한다.
본 발명의 실시ㄹ예에 따른 통신 방법은 제1 단말기가 적어도 한 번 이상의 영상 통화를 수행하는 단계, 제1 단말기가 제2 단말기와 제1 영상 통화를 수행하는 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계, 제1 단말기가 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계, 제1 단말기가 제1 영상 통화를 수행하는 중간에 또는 제1 영상 통화 이후에 수행되는 제3 단말기와의 제2 영상 통화를 수행하는 중간에 얼굴 인식 결과를 서버에 출력하는 단계, 및 제1 단말기는 제2 영상 통화 이후에 서버로부터 얼굴 인식 결과를 기반으로 선택된 제4 단말기와 제3 영상 통화를 수행하는 단계를 포함한다.
기재된 실시예에 따르면 복수의 통신 장치를을 보다 효과적으로 서로 매칭할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
또한, 실시예에 따르면 복수의 통신 장치의 사용자들 중에서 적합한 사용자가 다른 통신 장치의 사용자에게 매칭되도록 중개할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
또한, 실시예에 따르면 복수의 통신 장치 각각의 사용자가 중개 서비스를 통해 보다 효과적으로 인간관계를 확장할 수 있는 통신 장치, 서버 및 그것의 통신 방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 서버가 동작하는 서버 시스템의 환경을 나타내는 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 제1 단말기의 제어부를 자세하게 보여주는 블록도이다.
도 4는 제1 단말기의 제어부의 동작 방법을 보여주는 블록도이다.
도 5는 본 발명의 실시예에 따른 도 2의 추출부를 자세히 보여주는 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 도 2의 추출부를 자세히 보여주는 도면이다.
도 8은 본 발명의 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다.
도 9는 서버에 저장되는 대기 사용자 목록을 자세히 보여주는 도면이다.
도 10은 본 발명의 실시예에 따른 단말기 및 서버의 통신 방법을 보여주는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 서버가 동작하는 서버 시스템의 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 서버 시스템의 환경은 서버(500) 및 복수의 통신 장치(100~400)를 포함할 수 있다.
복수의 통신 장치(100~400) 각각은 서버(500)를 매개로 연결될 수 있다. 본 발명의 설명의 편의를 위해, 도 1에서 다섯 개의 통신 장치들이 도시되어 있다. 하지만, 통신 장치의 개수는 다섯 개로 한정되지 않는다. 복수의 통신 장치(100~400)는 각각 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 중 하나로서 구현될 수 있다. 복수의 통신 장치(100~400)는 프로그램 또는 애플리케이션을 실행할 수 있다. 예를 들어, 복수의 통신 장치(100~400) 중 적어도 두 개의 통신 장치들은 서버(500)에 의해 매칭될 수 있다. 그리고, 매칭된 통신 장치들은 서로 영상 통화를 수행할 수 있다.
제1 통신 장치(100)는 다른 통신 장치와 매칭되기 위해, 프로필 정보를 서버(500)에 제공할 수 있다. 예를 들어, 프로필 정보는 제1 통신 장치(100)의 사용자의 사진, 취미 정보, 닉네임(nickname) 정보, 키 정보, 생년월일 정보, 성별 정보, 거주 지역 정보, 또는 학교 정보 중 적어도 하나를 포함할 수 있다. 프로필 정보는 이에 한정되지 않고, 제1 통신 장치(100)의 사용자에 대한 다양한 정보들을 포함할 수 있다.
제1 통신 장치(100)는 복수의 통신 장치(100~400) 중 제1 통신 장치(100)를 제외한 적어도 하나 이상의 통신 장치(200~400) 중 하나의 통신 장치와 연결될 수 있다. 제1 통신 장치(100)가 적어도 하나 이상의 통신 장치(200~400) 중 하나의 통신 장치와 매치 중에, 제1 통신 장치(100)는 촬영되는 영상에 포함된 얼굴이 검출되는지 여부를 확인할 수 있다. 만약 제1 통신 장치(100)에서 촬영되는 영상에서 얼굴이 검출되는 경우, 제1 통신 장치(100)는 검출된 얼굴의 개수가 몇 개인지 판단할 수 있다. 그리고, 제1 통신 장치(100)는 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 서버(500)에 전송할 수 있다.
적어도 하나 이상의 통신 장치(200~400)는 제1 통신 장치(100)와 유사 또는 동일한 방법으로 검출된 얼굴의 개수에 대한 정보를 서버(100)에 전송할 수 있다. 복수의 통신 장치(100~400) 각각은 전송한 얼굴 인식 결과를 기반으로 서버(500)로부터 매칭될 수 있다. 예를 들어, 제1 통신 장치(100)가 서버(500)에 매치를 요청하는 경우, 제1 통신 장치(100)는 서버(500)의 중개에 의해 적어도 하나 이상의 통신 장치(200~400) 중 제1 통신 장치(100)와 동일한 얼굴 인식 결과를 제공한 통신 장치와 매치되어 영상 통화를 수행할 수 있다.
서버(500)는 복수의 통신 장치(100~400)가 서로 통신을 수행할 수 있도록 연결시킬 수 있다. 서버(500)는 복수의 통신 장치(100~400)각각으로부터 매치 요청을 수신할 수 있다. 매치 요청에 응답하여, 서버(500)는 복수의 통신 장치(100~400) 중 적어도 두 개의 통신 장치를 매칭할 수 있다. 서버(500)는 복수의 통신 장치(100~400)각각으로부터 얼굴 인식 결과를 수신할 수 있다. 예를 들어, 얼굴 인식 결과는 매칭 시작 이전 또는 매치 중 특정한 시점에서 서버(500)에 수신될 수 있다. 다른 예로서, 얼굴 인식 결과는 매치 중 주기적으로 서버(500)에 수신될 수 있다. 얼굴 인식 결과가 서버(500)에 수신되는 경우, 서버(500)는 복수의 통신 장치(100~400) 중 동일한 얼굴 인식 결과를 제공한 적어도 두 개의 통신 장치를 매칭시킬 수 있다.
이하에서, 발명의 설명의 편의를 위해, 통신 장치 및 단말기는 동일한 의미로 사용될 수 있다. 그리고, 복수의 통신 장치(100~400) 및 서버(500)의 통신 방법은 도 2 내지 도 10을 참조하여 설명될 것이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다. 도 2를 참조하면, 제1 단말기(100)는 입력부(110), 저장부(120), 제어부(130), 출력부(140) 및 통신부(150)를 포함할 수 있다. 도 1을 참조하면, 적어도 하나 이상의 단말기(200~400)는 각각 제1 단말기(100)와 유사 또는 동일하게 구현될 수 있다.
입력부(110)는 외부로부터 신호를 수신할 수 있다. 입력부(110)는 제1 단말기(100)의 사용자로부터 신호를 수신할 수 있다. 또한, 입력부(110)는 외부 장치로부터 신호를 수신할 수 있다. 입력부(110)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치 등을 포함할 수 있다. 입력부(110)는 입력부(110)에 포함된 마이크를 통해 외부로부터 음성을 수신할 수 있다. 또한, 입력부(110)는 입력부(110)에 포함된 카메라로부터 촬영된 영상을 수신할 수 있다.
입력부(110)에 포함된 터치스크린은 제1 단말기(100)의 사용자로부터 터치 입력을 수신할 수 있다. 입력부(110)에 포함된 카메라는 제1 단말기(100)의 사용자로부터 제스처를 수신할 수 있다.
저장부(120)는 데이터를 저장할 수 있다. 저장부(120)는 입력부(110)로부터 수신된 음성 또는 영상 데이터를 저장할 수 있다. 그리고, 저장부(120)는 제어부(130)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(120)는 제어부(130)에 의해 인코딩된 음성을 저장할 수 있다. 저장부(120)는 통신부(150)를 통해 외부에 전송할 데이터를 저장하거나 통신부(150)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 플래시(flash) 메모리, ROM(Read Only Memory), RAM(Random Access Memory), EEROM(Electrically Erasable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
제어부(130)는 제1 단말기(100)의 동작을 제어할 수 있다. 제어부(130)는 제1 단말기(100)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(130)는 제1 단말기(100)에 포함된 각각의 구성요소의 동작을 제어할 수 있다. 제어부(130)는 입력부(110)에 의해 수신된 신호에 대한 응답으로, 제1 단말기(100)의 동작을 제어할 수 있다.
제어부(130)는 입력부(110)를 통해 수신되는 영상을 검사할 수 있다. 예를 들어, 제어부(130)는 저장부(120)에 저장된 영상을 검사할 수 있다. 다른 예로서, 제어부(130)는 입력부(110)를 통해 수신되는 영상을 직접 검사할 수 있다. 즉, 제어부(130)는 서버(100)에서 처리되는 정보 및 데이터 중 영상을 포함하는 정보 및 데이터를 검사할 수 있다.
제어부(130)는 상술된 영상을 검사하여 영상(IMG)이 아동 음란물인지를 판별할 수 있다. 예를 들어, 제어부(130)는 영상에서 등장하는 적어도 한명 이상의 사람의 얼굴을 검출할 수 있고, 이를 기반으로 영상에 등장하는 얼굴의 개수에 대한 정보를 생성할 수 있다. 제어부(130)의 동작은 이하의 도면들을 참조하여 더욱 상세하게 설명된다.
출력부(140)는 화면을 표시할 수 있다. 제어부(130)는 출력부(140)에 화면이 표시되도록 제어할 수 있다. 출력부(140)는 사용자 인터페이스를 표시할 수 있다. 출력부(140)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(140)는 데이터를 표시할 수 있다. 출력부(140)는 제어부(130)에 의해 수행된 연산 결과를 표시할 수 있다. 출력부(140)는 저장부(120)에 저장된 데이터를 표시할 수 있다. 출력부(140)는 통신부(150)에 의해 수신된 데이터를 표시할 수 있다. 예를 들어, 출력부(140)는 서버(500) 또는 적어도 하나 이상의 단말기(200~400)로부터 수신되는 영상을 표시할 수 있다.
출력부(140)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(140)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(140)는 터치스크린을 포함할 수 있다.
출력부(140)는 다른 단말기로부터 수신된 음성을 출력할 수 있다. 출력부(140)는 입력부(110)를 통해 수신된 음성을 출력할 수 있다. 출력부(140)는 예를 들어, 스피커(speaker)를 포함할 수 있다. 출력부(140)는 스피커를 통해 입력부(110)로부터 수신된 음성 및 다른 단말기로부터 수신된 음성을 출력할 수 있다.
통신부(150)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신할 수 있다. 통신부(150)는 서버(500) 및 적어도 하나 이상의 단말기(200~400)에 데이터를 전송할 수 있다. 통신부(150)는 서버(500) 및 적어도 하나 이상의 단말기(200~400)로부터 데이터를 수신할 수 있다. 통신부(150)는 제어부(130)에 의해 수행된 연산 결과를 외부에 전송할 수 있다. 예를 들어, 통신부(150)는 얼굴 개수에 대한 정보를 포함하는 얼굴 인식 결과를 서버(500)에 전송할 수 있다. 또한, 통신부(150)는 저장부(120)에 저장된 데이터를 외부에 전송할 수 있다.
통신부(150)에 의해 전송될 데이터 또는 통신부(150)에 의해 수신된 데이터는 저장부(120)에 저장될 수 있다. 예를 들어, 통신부(150)는 제어부(130)에서 생성된 메시지를 서버(500)에 전송할 수 있다.
통신부(150)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 기타 네트워크 인터페이스를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 제1 단말기의 제어부를 자세하게 보여주는 블록도이다. 도 2 및 도 3을 참조하면, 제어부(130) 또는 제어부(130)에 포함된 구성 요소들 각각은 소프트웨어(software) 또는 하드웨어(hardware) 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계코드, 펌웨어 코드(firmware code), 임베디드 코드(embedded code, 애플리케이션(application) 등과 같은 프로그램 실행 명령어들로 구현될 수 있다. 하드웨어는 전기 전자 회로, 프로세서, 컴퓨터, 압력 센서, 관성 센서, MEMS(microelectromechanical system), 수동 소자들, 또는 그것들의 조합일 수 있다. 간결한 설명을 위하여, 제어부(130)는 저장부(120)에 저장된 영상(IMG)을 검사하는 것으로 가정한다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니며, 제2 단말기(200)로부터 수신된 영상, 또는 제2 단말기(200)에 전송될 영상이 검사될 수 있다.
도 3을 참조하면, 제어부(130)는 저장부(120)로부터 영상(IMG)을 수신할 수 있다. 예시적으로, 영상(IMG)은 복수의 프레임(FR1~FRn)을 포함할 수 있다. 제어부(130)는 수신된 영상(IMG)에서 얼굴의 개수를 감지할 수 있다.
제어부(130)는 추출부(131), 및 연산부(132)를 포함할 수 있다. 추출부(131)는 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 적어도 하나 이상의 대표 프레임 각각에서 얼굴 또는 얼굴 영역(facial region)을 추출할 수 있다. 그리고, 연산부(132)는 적어도 하나 이상의 대표 프레임들 각각으로부터 추출된 얼굴 또는 얼굴 영역을 기반으로 영상(IMG)에 포함된 얼굴의 개수를 연산할 수 있다. 연산부(132)는 얼굴 개수를 연산하여 선출된 얼굴 개수 정보를 포함하는 얼굴 인식 결과를 생성할 수 있다.
본문에서 사용되는 "인물들의 수" 또는 "얼굴의 수" 또는 "인물들의 얼굴"과 같은 용어들은 실제 인물의 수 또는 얼굴 영역의 수가 아닌, 프레임 내에 나타나는 인물의 수 또는 얼굴의 수 또는 인물들의 얼굴을 가리킬 수 있다. 또한, 간결한 설명을 위하여 프레임 내에서 얼굴이 포함된 영역(즉, 얼굴 영역(facial region)은 "프레임 내의 검출된 얼굴" 또는 "인물의 얼굴" 등의 용어로 불릴 수 있다. 상술된 가정들은 본 발명의 기술적 특징을 간결하고 명확하게 설명하기 위한 가정이며, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2 및 도 3에는 제1 단말기(100)가 영상(IMG)으로부터 얼굴을 추출하는 실시예가 개시되어 있다. 본 발명의 다른 실시예에 있어서, 제1 단말기(100)는 입력부(110)를 통해 촬영된 영상(IMG)을 서버(500)에 전송할 수 있다. 그리고, 서버(500)는 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 적어도 하나 이상의 대표 프레임을 선택하고, 적어도 하나 이상의 대표 프레임에서 얼굴 또는 얼굴 영역을 추출할 수 있다.
도 4는 제1 단말기의 제어부의 동작 방법을 보여주는 블록도이다. 도 2 내지 도 4를 참조하면, S110 단계에서, 제1 단말기(100)의 제어부(130)는 영상의 복수의 프레임(FR1~FRn) 중 적어도 하나 이상의 대표 프레임을 선택할 수 있다. 이와 같은 경우, 영상은 제1 단말기(100)의 입력부(110)를 통해 수신될 수 있다.
S120 단계에서, 제1 단말기(100)의 제어부(130)는 적어도 하나 이상의 대표 프레임으로부터 얼굴을 인식할 수 있다. S130 단계에서, 제1 단말기(100)의 제어부(130)는 적어도 하나 이상의 대표 프레임에 포함된 얼굴 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성할 수 있다. 그리고, 제1 단말기(100)는 생성된 얼굴 인식 결과를 외부에 출력할 수 있다.
도 5는 본 발명의 실시예에 따른 도 2의 추출부를 자세히 보여주는 도면이다. 추출부(131)는 프레임 선택 모듈(131a), 및 얼굴 검출 모듈(131b)을 포함할 수 있다. 추출부(131)는 도 3을 참조하여 설명된 바와 같이 영상(IMG)의 복수의 프레임(FR1~FRn) 중에서 선택된 적어도 하나 이상의 대표 프레임에서 적어도 하나 이상의 인물의 얼굴을 추출할 수 있다.
프레임 선택 모듈(131a)은 한 번의 매치 중 수신되는 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 적어도 하나 이상의 프레임을 대표 프레임으로서 선택할 수 있다. 예를 들어, 프레임 선택 모듈(131a)은 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 제1 프레임(FR1)을 대표 프레임으로서 선택할 수 있다. 예를 들어서, 제1 프레임(FR1)은 영상(IMG)의 특정 구간에서 선택될 수 있다. 대표 프레임으로서 선택된 제1 프레임(FR1)은 얼굴 검출 모듈(131b)로 제공된다.
얼굴 검출 모듈(131b)은 선택된 제1 프레임(FR1)에서 얼굴을 검출할 수 있다. 예를 들어, 얼굴 검출 모듈(131b)은 제1 프레임(FR1)에서 제1 및 제2 얼굴들(A1, A2)을 검출할 수 있다. 예시적으로, 프레임에서 검출된 얼굴은 얼굴이 포함된 소정의 영역을 가리킬 수 있다.
예시적으로, 얼굴 검출 모듈(131b)은 잘 알려진 얼굴 검출 알고리즘(face detecting algorithm)을 사용하여 선택된 제1 프레임(FR1)에서 얼굴을 검출할 수 있다. 얼굴 검출 알고리즘의 일 예로서, 얼굴 검출 모듈(131b)은 복수의 사각형 영역들을 프레임 내에서 이동시킴으로써 제1 프레임(FR1)에서 얼굴들을 검출할 수 있다. 이 경우, 얼굴 영역 검출 모듈(131b)은 복수의 사각형 영역들의 최대 크기를 설정함으로써 불필요한 얼굴 영역 검출을 방지할 수 있다.
예를 들어, 영상(IMG)에 복수의 인물들이 등장할 수 있기 때문에, 적어도 둘 이상의 인물들에 대한 얼굴들이 하나의 대표 프레임 내에 포함되어야 한다. 그러나, 하나의 대표 프레임 내에서 인물의 얼굴이 소정의 크기를 초과하는 경우, 동일 프레임 내의 다른 인물의 얼굴과 상대적인 비교가 어려울 수 있다. 따라서, 얼굴 검출 모듈(131b)은 복수의 사각형 영역들의 최대 크기를 소정의 크기로 설정하여, 소정의 크기를 초과하는 얼굴에 대한 검출을 방지함으로써 얼굴 영역 검출에 대한 오버헤드를 감소시킬 수 있다.
본 발명의 기술적 사상에 따른 얼굴 영역 검출 모듈(131b)의 얼굴 영역 검출 방법은 상술된 얼굴 검출 알고리즘에 한정되지 않는다. 예를 들어, 얼굴 검출 모듈(131b)은 대표 프레임 내의 눈, 코, 입 등과 같은 얼굴의 특징점들을 검출하고, 검출된 특징점들을 기반으로 대표 프레임 내의 인물들의 얼굴들을 검출할 수 있다.
얼굴 검출 모듈(131b)은 추출된 얼굴에 대한 정보를 연산부(132)에 전송할 수 있다. 연산부(132)는 수신된 얼굴에 대한 정보를 기반으로 얼굴 개수를 연산하여 얼굴 인식 결과를 생성할 수 있다. 예를 들어, 연산부(132)는 얼굴 검출 모듈(131b)로부터 두 개의 얼굴들(A1, A2)에 대한 정보를 수신할 수 있다. 연산부(132)는 얼굴 인식 결과로서 ‘2’를 산출할 수 있다. 산출된 얼굴 인식 결과(예를 들어, ‘2’)는 통신부(150)를 통해 서버(500)에 전송될 수 있다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 도 2의 추출부를 자세히 보여주는 도면이다. 도 3, 도 6 및 도 7을 참조하면, 추출부(131)는 프레임 선택 모듈(131a), 및 얼굴 검출 모듈(131b) 을 포함할 수 있다. 추출부(131)는 도 3을 참조하여 설명된 바와 같이 영상(IMG)의 복수의 프레임(FR1~FRn) 중에서 선택된 적어도 하나 이상의 대표 프레임에서 적어도 하나 이상의 인물의 얼굴을 추출할 수 있다.
프레임 선택 모듈(131a)은 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 일부 프레임들을 대표 프레임들로서 선택할 수 있다. 예를 들어, 프레임 선택 모듈(131a)은 영상(IMG)에 포함된 복수의 프레임(FR1~FRn) 중 제1 내지 제5 프레임들(FR1~FR5)을 대표 프레임들로서 선택할 수 있다. 대표 프레임들로서 선택된 제1 내지 제5 프레임들(FR1~FR5)은 얼굴 검출 모듈(131b)로 제공된다.
도 6을 참조하면, 제1 내지 제5 프레임들(FR1~FR5)은 제1 매치 중 수신되는 복수의 프레임(FR1~FRn) 중 선택된 대표 프레임들일 수 있다. 예를 들어, 프레임 선택 모듈(131a)은 한 번의 매칭(예를 들어, 제1 매칭) 중 수신되는 영상(IMG)의 특정 시점에서, 제1 내지 제5 프레임들(FR1~FR5)을 연속으로 선택할 수 있다. 다른 예로서, 프레임 선택 모듈(131a)은 한 번의 매칭(예를 들어, 제1 매칭) 중 수신되는 영상(IMG)에서 특정 주기마다 제1 내지 제5 프레임들(FR1~FR5)을 각각 선택할 수 있다.
도 7을 참조하면, 제1 내지 제5 프레임들(FR1~FR5)은 각각 서로 다른 매치 중에 선택될 수 있다. 제1 프레임(FR1)은 서버(500)에 의한 제1 매치 중 선택된 대표 프레임일 수 있다. 제2 프레임(FR2)은 서버(500)에 의한 제2 매치 중 선택된 대표 프레임일 수 있다. 제3 프레임(FR3)은 서버(500)에 의한 제3 매치 중 선택된 대표 프레임일 수 있다. 제4 프레임(FR4)은 서버(500)에 의한 제4 매치 중 선택된 대표 프레임일 수 있다. 그리고, 제5 프레임(FR5)은 서버(500)에 의한 제5 매치 중 선택된 대표 프레임일 수 있다. 본 발명은 상술된 실시예에 한정되지 않는다. 프레임 선택 모듈(131a)은 제1 내지 제5 매칭 각각에서 적어도 하나 이상의 대표 프레임을 선택할 수 있다.
예를 들어, 제1 내지 제5 프레임들(FR1~FR5)은 얼굴(또는 얼굴 영역)을 추출하기 위한 프레임들을 가리킬 수 있다. 예시적으로, 프레임 선택 모듈(131a)은 영상(IMG)의 특정 구간들 별로 각각 대표 프레임들을 선택할 수 있다. 예를 들어, 영상(IMG)의 특정 구간들은 소정의 개수의 연속되는 프레임들의 집합 또는 연속되는 소정의 시간동안의 프레임들의 집합을 가리킬 수 있다. 다른 예로서, 프레임 선택 모듈(131a)은 랜덤하게 대표 프레임들을 선택할 수 있다. 예를 들어, 제1 내지 제5 프레임들(FR1~FR5) 각각은 서로 연속되지 않는(즉, 시간적으로 인접하지 않는) 프레임일 것이다. 이에 한정되지 않고, 1 내지 제5 프레임들(FR1~FR5) 각각은 서로 연속되는(즉, 시간적으로 인접한) 프레임일 것이다.
영상(IMG)에 포함된 모든 프레임들에 대하여 상대적인 얼굴 크기를 판독할 경우, 상대적 얼굴 크기에 대한 연산량이 증가하고, 연산 처리 시간이 증가할 것이다. 본 발명의 실시예에 따른 제어부(130)는 프레임 선택 모듈(131a)에 의해 대표 프레임들을 선택하여 상대적인 얼굴 크기들을 연산하기 때문에, 상술된 연산에 대한 오버헤드를 감소시킬 수 있다.
도 6 및 도 7을 참조하면, 얼굴 검출 모듈(131b)은 선택된 제1 내지 제5 프레임들(FR1~FR5) 각각에서 얼굴을 검출할 수 있다. 예를 들어, 얼굴 검출 모듈(131b)은 제1 프레임(FR1)에서 제1 및 제2 얼굴들(A1, A2)을 검출할 수 있고, 제2 프레임(FR2)에서 제3 얼굴(A3)을 검출할 수 있다. 마찬가지로, 얼굴 검출 모듈(131b)은 제3 내지 제5 프레임들(FR3~FR5)에서 제4 내지 제9 얼굴들(A5~A9)을 각각 검출할 수 있다. 예를 들어, 프레임에서 검출된 얼굴은 얼굴이 포함된 소정의 영역을 가리킬 수 있다.
얼굴 검출 모듈(131b)은 잘 알려진 얼굴 검출 알고리즘을 사용하여 선택된 제1 내지 제5 프레임들(FR1~FR5) 각각에서 얼굴들을 검출할 수 있다. 얼굴 검출 알고리즘의 일 예로서, 얼굴 검출 모듈(131b)은 복수의 사각형 영역들을 프레임 내에서 이동시킴으로써 제1 내지 제5 프레임들(FR1~FR5) 각각에서 얼굴들을 검출할 수 있다. 이 경우, 얼굴 영역 검출 모듈(131b)은 복수의 사각형 영역들의 최대 크기를 설정함으로써 불필요한 얼굴 영역 검출을 방지할 수 있다.
영상(IMG)에 복수의 인물들이 등장할 수 있기 때문에, 적어도 둘 이상의 인물들에 대한 얼굴들이 하나의 대표 프레임 내에 포함되어야 한다. 그러나, 하나의 대표 프레임 내에서 인물의 얼굴 전체가 노출되지 않은 경우(예를 들어, 제2 프레임(FR2)의 제2 인물(P2) 참조), 동일 프레임 내의 다른 인물의 얼굴과 상대적인 비교가 어려울 수 있다. 따라서, 얼굴 검출 모듈(131b)은 복수의 사각형 영역들의 최소 크기를 소정의 크기로 설정하여, 소정의 크기보다 작은 얼굴에 대한 검출을 방지함으로써 얼굴 영역 검출에 대한 오버헤드를 감소시킬 수 있다. 이 경우, 제2 프레임(FR2)의 제2 인물(P2)의 얼굴 영역은 검출 되지 않을 것이다.
본 발명의 기술적 사상에 따른 얼굴 영역 검출 모듈(131b)의 얼굴 영역 검출 방법은 상술된 얼굴 검출 알고리즘에 한정되지 않는다. 예를 들어, 얼굴 검출 모듈(131b)은 대표 프레임 내의 눈, 코, 입 등과 같은 얼굴의 특징점들을 검출하고, 검출된 특징점들을 기반으로 대표 프레임 내의 인물들의 얼굴들을 검출할 수 있다.
도 6 및 도 7을 참조하면, 얼굴 검출 모듈(131b)는 제1 내지 제5 프레임들(FR1~FR5) 각각에서 추출된 얼굴에 대한 정보를 연산부(132)에 전송할 수 있다. 연산부(132)는 수신된 얼굴에 대한 정보를 기반으로 얼굴 개수를 연산하여 얼굴 인식 결과를 생성할 수 있다. 예를 들어, 복수의 연산부(132)는 얼굴 검출 모듈(131b)로부터 제1 프레임(FR1)에서 추출된 얼굴들(A1, A2), 제2 프레임(FR2)에서 추출된 얼굴(A3), 제3 프레임(FR3)에서 추출된 얼굴들(A4, A5), 제4 프레임(FR6)에서 추출된 얼굴들(A6, A7) 및 제5 프레임(FR5)에서 추출된 얼굴들(A8, A9)에 대한 정보를 수신할 수 있다.
얼굴 검출 모듈(131b)에서 제2 프레임(FR2)를 제외한 나머지 프레임들(FR1, FR3~FR5)에서 모두 두 개의 얼굴이 검출되었다. 따라서, 연산부(132)는 제1 내지 제4 프레임들(FR1~FR5) 각각에서 검출된 얼굴 개수의 빈도를 기반으로 얼굴 인식 결과를 생성할 수 있다. 예를 들어, 연산부(132)는 얼굴 인식 결과로서 ‘2’를 산출할 수 있다. 산출된 얼굴 인식 결과(예를 들어, ‘2’)는 통신부(150)를 통해 서버(500)에 전송될 수 있다.
다른 실시예로서, 연산부(132)는 제1 내지 제5 프레임들(FR1~FR5) 각각에서 검출된 얼굴 개수의 평균 값을 기반으로 얼굴 인식 결과를 생성할 수 있다. 예를 들어, 연산부(132)는 연산 결과로서 ‘1.8’을 산출할 수 있다. 평균 값을 이용하여 얼굴 인식 결과를 생성하는 경우, 연산부(132)는 소수 첫째 자리 값을 반올림하여 얼굴 인식 결과로서 ‘2’를 생성할 수 있다. 산출된 얼굴 인식 결과(예를 들어, ‘2’)는 통신부(150)를 통해 서버(500)에 전송될 수 있다.
도 3 내지 도 7을 참조하여 설명된 것과 같이, 본 발명의 실시예에 따른 단말기는 서버에 의한 매치 중 입력부를 통해 수신되는 영상으로부터 얼굴을 검출할 수 있다. 좀 더 구체적으로, 단말기는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하고, 선택된 적어도 하나 이상의 대표 프레임에 포함된 인물의 얼굴을 검출할 수 있다. 예를 들어, 단말기는 한 번의 매치 중 복수의 대표 프레임을 선택할 수 있다. 다른 예로서, 단말기는 복수의 매치 각각에서 적어도 하나 이상의 대표 프레임을 선택할 수 있다.
단말기는 적어도 하나 이상의 대표 프레임에 포함된 얼굴을 검출하고, 검출된 얼굴의 개수에 대한 정보를 생성할 수 있다. 그리고, 단말기는 생성된 얼굴 개수에 대한 정보를 포함하는 얼굴 인식 결과를 서버에 전송할 수 있다.
도 8은 본 발명의 실시예에 따른 서버의 동작 방법을 보여주는 순서도이다. 도 1 및 도 8을 참조하면, S210 단계에서, 서버(500)는 제2 단말기(200)의 사용자에 대한 영상을 제1 단말기(100)에 전송할 수 있다. 예를 들어, 서버(500)가 제1 단말기(100)로부터 매치 요청을 수신하는 경우, 서버(500)는 제1 단말기(100) 및 제2 단말기(200)를 매칭할 수 있다.
그리고, 제1 단말기(100) 및 제2 단말기(200) 사이에서 수행될 영상 통화를 위해, 서버(500)는 제2 단말기(200)의 사용자에 대한 영상을 제1 단말기(100)에 전송할 수 있다. 또한, 서버(500)는 제1 단말기(100)의 사용자에 대한 영상을 제2 단말기(200)에 전송할 수 있다. 예를 들어, 제2 단말기(200)는 랜덤으로 선택될 수 있다.
S220 단계에서, 서버(500)는 제1 단말기(100)로부터 제2 단말기(200)와 매치 중 생성되는 얼굴 인식 결과를 수신할 수 있다. 얼굴 인식 결과는 제1 단말기(100)의 입력부(110)를 통해 수신되는 영상에 포함된 얼굴의 개수에 대한 정보일 수 있다. 얼굴 인식 결과는 도 2 내지 도 7을 참조하여 설명된 바와 같이 생성될 수 있다.
S230 단계에서, 서버(500)는 제1 단말기(100)로부토 새로운 매치 요청을 수신할 수 있다. 예를 들어, 제1 단말기(100)가 제2 단말기(200)와의 영상 통화를 중단하고, 새로운 단말기와의 영상 통화를 원하는 경우, 서버(100)에 새로운 매치 요청을 전송할 수 있다.
S240 단계에서, 서버(500)는 제1 단말기(100)로부터 수신된 얼굴 인식 결과를 기반으로 제1 단말기(100)와 매치될 단말기를 선택할 수 있다. 얼굴 인식 결과는 도 4 내지 도 7을 참조하여 설명된 방법을 기반으로 생성될 수 있다. 본 발명의 실시예에서, 서버(500)는 제1 단말기(100)와 영상 통화를 수행할 단말기로서 적어도 하나 이상의 단말기(200~400) 중 제1 단말기(100)와 동일한 얼굴 인식 결과를 제공한 단말기를 제1 우선 순위로 선택할 수 있다.
서버(500)는 적어도 하나 이상의 항목을 포함하는 적어도 하나 이상의 목록을 저장할 수 있다. 서버(500)에 포함되는 목록은 도 9를 참조하여 설명될 수 있다.
도 9는 서버에 저장되는 대기 사용자 목록을 자세히 보여주는 도면이다. 예를 들어, 서버(500)는 “목록 A”, “목록 B”, 및 “목록 C”를 포함할 수 있다. 적어도 하나 이상의 목록 각각에 포함된 항목은 중개되기를 기다리고 있는 각각의 대기 사용자 또는 대기 사용자의 단말에 대응할 수 있다. 각각의 항목은 특정한 대기 사용자에 대응할 수 있다. 각각의 항목에 대응하는 특정한 대기 사용자는 서로 다를 수 있다. 각각의 항목은 특정한 대기 사용자에 대한 정보 또는 식별자를 포함할 수 있다.
특정한 대기 사용자에 대한 정보는 예를 들어, 특정한 대기 사용자의 위치 정보, 성별 정보, 나이 정보, 직업 정보, 관심사 정보, 인종(ethnicity) 정보, 종교 정보, 구사 언어 정보, 또는 선호 상대 조건 정보 중에서 적어도 하나 이상을 포함할 수 있다. 특정한 대기 사용자의 선호 상대 조건 정보는 특정한 대기 사용자가 자신과 매치되길 원하는 상대의 위치 정보, 성별 정보, 나이 정보, 직업 정보, 관심사 정보, 인종 정보, 종교 정보, 구사 언어 정보, 또는 선호 상대 조건 정보 중에서 적어도 하나 이상을 포함할 수 있다.
도 9를 참조하면, 목록 A는 두 개의 항목을 포함할 수 있다. 목록 A에 포함된 두 개의 항목은 각각 “대기 사용자 1” 및 “대기 사용자 2”에 대응할 수 있다. 목록 B는 세 개의 항목을 포함할 수 있다. 목록 B에 포함된 세 개의 항목은 각각 “대기 사용자 3” “대기 사용자 4” 및 “대기 사용자 5”에 대응할 수 있다. 그리고 목록 C는 두 개의 항목을 포함할 수 있다. 목록 C에 포함된 두 개의 항목은 각각 “대기 사용자 6” 및 “대기 사용자 7”에 대응할 수 있다.
적어도 둘 이상의 목록은 특정한 값에 각각 대응할 수 있다. 예를 들어, 각각의 목록의 특정한 값이 ‘얼굴 인식 결과’인 경우, 목록 A는 ‘1’, 목록 B는 ‘2’ 및 목록 C는 ‘3’에 대응할 수 있다. 좀 더 구체적으로, 목록 A가 ‘1’에 대응하는 경우, 목록 A에 포함된 “대기 사용자 1” 및 “대기 사용자 2”가 제공한 얼굴 인식 결과는 ‘1’일 수 있다. 목록 B가 ‘2’에 대응하는 경우, 목록 B에 포함된 “대기 사용자 3”, “대기 사용자 4” 및 “대기 사용자 5”가 제공한 얼굴 인식 결과는 ‘2’일 수 있다. 그리고, 목록 C가 ‘3’에 대응하는 경우, 목록 C에 포함된 “대기 사용자 6” 및 “대기 사용자 7”가 제공한 얼굴 인식 결과는 ‘3’일 수 있다. 만약, 제1 단말기(100)가 제공한 얼굴 인식 결과가 ‘1’인 경우, 서버(500)는 목록 A에 포함된 항목 중 하나를 제1 단말기(100)와 중개될 단말기 또는 사용자로서 선택할 수 있다. 제1 단말기(100)가 제공한 얼굴 인식 결과가 ‘2’인 경우, 서버(500)는 목록 B에 포함된 항목 중 하나를 제1 단말기(100)와 중개될 단말기 또는 사용자로서 선택할 수 있다. 그리고, 제1 단말기(100)가 제공한 얼굴 인식 결과가 ‘3’인 경우, 서버(500)는 목록 C에 포함된 항목 중 하나를 제1 단말기(100)와 중개될 단말기 또는 사용자로서 선택할 수 있다.
서버(500)에 포함된 목록의 개수는 세 개로 한정되지 않는다. 적어도 하나 이상의 단말기(200~400)로부터 수신되는 얼굴 인식 결과에 따라 서버(500)에 포함된 목록의 개수는 변경될 수 있다.
다른 실시예로서, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 제1 단말기(100)가 제공한 얼굴 인식 결과와 동일한 얼굴 인식 결과를 제공한 단말기가 없는 경우, 제1 단말기(100)와 영상 통화를 수행할 단말기로서 제2 우선 순위의 단말기를 선택할 수 있다. 예를 들어, 제1 단말기(100)로부터 제공된 얼굴 인식 결과가 ‘2’인 경우, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 동일한 얼굴 인식 결과(예를 들어, ‘2’) 제공한 단말기를 제1 우선 순위로 선택할 수 있다.
만약 적어도 하나 이상의 단말기(200~400) 중 제1 단말기(100)h아 동일한 얼굴 인식 결과(예를 들어, ‘2’)을 제공한 단말기가 없는 경우, 제1 단말기(100)로부터 제공된 얼굴 인식 결과에 기초하여 제2 우선 순위의 단말기를 선택할 수 있다. 예를 들어, 제1 단말기(100)로부터 제공된 얼굴 인식 결과가 ‘2’ 이상인 경우, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 ‘2’ 이상의 얼굴 인식 결과를 제공한 단말기를 제1 단말기(100)와 영상 통화를 수행할 단말기로서 선택할 수 있다. 또는 제1 단말기(100)로부터 제공된 얼굴 인식 결과가 ‘1’인 경우, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 ‘2’ 이하의 얼굴 인식 결과를 제공한 단말기를 제1 단말기(100)와 영상 통화를 수행할 단말기로서 선택할 수 있다.
S250 단계에서, 서버(500)는 선택된 단말기의 사용자에 대한 영상을 제1 단말기(100)에 전송할 수 있다. 따라서, 제1 단말기(100)는 새로운 단말기와 매칭되어 영상 통화를 수행할 수 있다.
도 10은 본 발명의 실시예에 따른 단말기 및 서버의 통신 방법을 보여주는 순서도이다. 도 1 및 도 10을 참조하면, S310 단계에서, 제1 단말기(100)는 제1 매치 요청을 서버(500)에 전송할 수 있다. S320 단계에서, 서버(500)는 제1 매치 요청에 응답하여 제2 단말기(200)를 선택하고, 제2 단말기(200)의 사용자의 영상을 제1 단말기(100)에 전송할 수 있다. 예를 들어, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 제2 단말기(200)를 랜덤으로 선택할 수 있다.
S330 단계에서, 제1 단말기(100)는 입력부(110)로부터 수신되는 영상의 복수의 프레임 중 적어도 하나 이상 대표 프레임을 선택하고, 선택된 적어도 하나 이상의 대표 프레임으로부터 얼굴을 인식할 수 있다. 제1 단말기(100)는 얼굴을 인식하여 얼굴 개수 정보를 생성하고, 얼굴 개수 정보를 포함하는 얼굴 인식 결과를 생성할 수 있다. 제1 단말기(100)의 얼굴 인식 결과를 생성하는 방법은 도 3 내지 도 7을 참조하여 설명된 것과 유사 또는 동일할 수 있다.
S340 단계에서, 제1 단말기(100)는 제2 매치 요청을 서버(500)에 전송할 수 있다. 제1 단말기(100) 및 제2 단말기(200) 사이의 매칭이 중단되는 경우, 제1 단말기(100)는 새로운 매칭을 위해 제2 매치 요청을 서버(500)에 전송할 수 있다. S350 단계에서, 서버(500)는 제2 매치 요청에 응답하여 제3 단말기(300)를 선택할 수 있다. 예를 들어, 서버(500)는 적어도 하나 이상의 단말기(200~400) 중 제3 단말기(300)를 랜덤으로 선택할 수 있다.
S360 단계에서, 제1 단말기(100)는 얼굴 인식 결과를 서버(500)에 전송할 수 있다. 예를 들어, 제1 단말기(100)는 제2 단말기(200)와의 매치 중에 생성된 얼굴 인식 결과를 제3 단말기(300)와의 매치 중에 서버(500)에 전송할 수 있다. 그리고 S370 단계에서, 제1 단말기(100)는 제3 매치 요청을 서버(500)에 전송할 수 있다. 제1 단말기(100) 및 제3 단말기(300) 사이의 매칭이 중단되는 경우, 제1 단말기(100)는 새로운 매칭을 위해 제3 매치 요청을 서버(500)에 전송할 수 있다.
S380 단계에서, 서버(500)는 제1 단말기(100)로부터 수신된 얼굴 인식 결과를 기반으로 제1 단말기(100)와 영상 통화를 수행할 단말기를 선택할 수 있다. 예를 들어, 서버(500)는 제1 단말기(100)로부터 수신된 얼굴 인식 결과와 동일한 얼굴 인식 결과를 제공한 단말기를 제1 단말기(100)와 영상 통화를 수행할 단말기로서 선택할 수 있다. 또는 서버(500)는 제1 단말기(100)로부터 수신된 얼굴 인식 결과와 유사한 얼굴 인식 결과를 제공한 단말기를 제1 단말기(100)와 영상 통화를 수행할 단말기로서 선택할 수 있다. S390 단계에서, 서버(500)는 선택된 단말기의 사용자의 영상을 제1 단말기(100)에 전송할 수 있다.
도 1 내지 도 10을 참조하여 설명된 바와 같이, 본 발명의 실시예에 따른 서버(500)는 복수의 통신 장치(100~400)를 보다 효과적으로 서로 매칭시킬 수 있다. 또한, 본 발명의 실시예에 따른 서버(500)는 복수의 통신 장치(100~400)의 사용자들 중에서 적합한 사용자가 다른 통신 장치의 사용자에게 매칭되도록 중개할 수 있다. 또한, 실시예에 따른 통신 방법에 의해 복수의 통신 장치(100~400) 각각의 사용자는 중개 서비스를 통해 인간 관계를 확장할 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 200, 300, 400: 통신 장치, 단말기
110: 입력부
120: 저장부
130: 제어부
140: 출력부
150: 통신부
131: 추출부
132: 연산부
131a: 프레임 선택 모듈
131b: 얼굴 검출 모듈
500: 서버

Claims (15)

  1. 제1 단말기가 적어도 하나 이상의 제2 단말기와 순차적으로 영상 통화를 수행하는 단계;
    상기 제1 단말기가 각각의 영상 통화 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계;
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계;
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임에서 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계;
    상기 제1 단말기가 상기 얼굴 인식 결과를 서버에 출력하는 단계; 및
    상기 제1 단말기가 상기 적어도 하나 이상의 제2 단말기와의 상기 영상 통화가 종료된 후, 상기 제1 단말기가 상기 서버로부터 상기 얼굴 인식 결과를 기반으로 선택된 제3 단말기와 영상 통화를 수행하는 단계
    를 포함하는 통신 방법.
  2. 제 1 항에 있어서,
    상기 제1 단말기가 상기 영상 통화 중에 촬영되는 상기 영상의 상기 복수의 프레임 중 상기 적어도 하나 이상의 대표 프레임을 선택하는 단계는,
    상기 제1 단말기가 상기 영상의 특정 구간에서 하나의 대표 프레임을 선택하는 단계를 포함하고,
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임으로부터 상기 얼굴을 검출하는 단계는,
    상기 제1 단말기가 상기 하나의 대표 프레임으로부터 상기 얼굴을 검출하는 단계를 포함하고,
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임에 포함된 상기 얼굴의 개수에 대한 정보를 포함하는 상기 얼굴 인식 결과를 생성하는 단계는,
    상기 제1 단말기가 상기 하나의 대표 프레임에서 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 상기 얼굴 인식 결과를 생성하는 단계를 포함하는 통신 방법.
  3. 제 1 항에 있어서,
    상기 제1 단말기가 상기 영상 통화 중에 촬영되는 상기 영상의 상기 복수의 프레임 중 상기 적어도 하나 이상의 대표 프레임을 선택하는 단계는,
    상기 제1 단말기가 상기 영상의 특정 구간에서 복수의 대표 프레임을 선택하는 단계를 포함하고,
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임으로부터 상기 얼굴을 검출하는 단계는,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각으로부터 상기 얼굴을 검출하는 단계를 포함하고,
    상기 인식 결과를 기반으로, 상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임에서 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 상기 얼굴 인식 결과를 생성하는 단계는,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각에서 상기 검출된 얼굴의 개수에 대한 정보를 기반으로 상기 얼굴 인식 결과를 생성하는 단계를 포함하는 통신 방법.
  4. 제 3 항에 있어서,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각에서 상기 검출된 얼굴의 개수에 대한 정보를 기반으로 상기 얼굴 인식 결과를 생성하는 단계는,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각에서 검출된 얼굴 개수의 평균 값에 기초하여 상기 얼굴 인식 결과를 생성하는 단계를 포함하는 통신 방법.
  5. 제 3 항에 있어서,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각에서 상기 검출된 얼굴의 개수에 대한 정보를 기반으로 상기 얼굴 인식 결과를 생성하는 단계는,
    상기 제1 단말기가 상기 복수의 대표 프레임 각각에서 검출된 얼굴 개수 중 가장 많은 빈도로 검출된 상기 얼굴 개수를 상기 얼굴 인식 결과를 생성하는 단계를 포함하는 통신 방법.
  6. 제 1 항의 중개 서비스 제공 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  7. 서버가 제1 단말기로부터 제1 매치 요청을 수신하는 단계;
    상기 제1 매치 요청에 응답하여 상기 서버가 제1 단말기 및 적어도 하나 이상의 단말기 중 선택된 단말기 사이에 영상 통화가 수행되도록 중개하는 단계;
    상기 서버가 상기 선택된 단말기와의 영상 통화 중 촬영되는 영상을 기반으로 생성되는 얼굴 인식 결과를 상기 제1 단말기로부터 수신하는 단계;
    상기 서버가 상기 제1 단말기로부터 제2 매치 요청을 수신하는 단계;
    상기 제2 매치 요청에 응답하여 상기 서버가 상기 수신된 얼굴 인식 결과를 기반으로 상기 적어도 하나 이상의 단말기 중 상기 제1 단말기와 매칭될 단말기를 선택하는 단계; 및
    상기 서버가 상기 제1 단말기 및 상기 선택된 단말기 사이에 영상 통화가 수행되도록 중개하는 단계
    를 포함하는 통신 방법.
  8. 제 7 항에 있어서,
    상기 제2 매치 요청에 응답하여 상기 서버가 상기 수신된 얼굴 인식 결과를 기반으로 상기 적어도 하나 이상의 단말기 중 상기 제1 단말기와 매칭될 단말기를 선택하는 단계는,
    상기 적어도 하나 이상의 단말기 중 상기 제1 단말기로부터 수신된 상기 얼굴 인식 결과와 동일한 얼굴 인식 결과를 제공한 단말기를 선택하는 단계를 포함하는 통신 방법.
  9. 제 7 항에 있어서,
    상기 얼굴 인식 결과는 상기 영상의 복수의 프레임 중 선택된 적어도 하나 이상의 대표 프레임에서 검출된 얼굴의 개수에 대한 정보를 포함하는 통신 방법.
  10. 제 9 항에 있어서,
    상기 제2 매치 요청에 응답하여 상기 서버가 상기 수신된 얼굴 인식 결과를 기반으로 상기 제1 단말기와 매칭될 단말기를 선택하는 단계는,
    상기 검출된 얼굴의 개수가 복수인 경우, 상기 서버가 상기 적어도 하나 이상의 단말기 중 상기 제1 단말기로부터 수신된 상기 얼굴 인식 결과가 2 이상의 상기 얼굴의 개수에 대한 정보를 포함하는 경우, 상기 서버가 상기 적어도 하나 이상의 단말기 중 2 이상의 얼굴 인식 결과를 제공한 단말기를 상기 제1 단말기와 매칭될 단말기로서 선택하는 단계를 포함하는 통신 방법.
  11. 복수의 단말기 및 서버 사이의 통신 방법에 있어서,
    상기 복수의 단말기 중 제1 단말기가 상기 서버에 제1 매치 요청을 전송하는 단계;
    상기 서버가 상기 제1 매치 요청에 응답하여 상기 복수의 단말기 중 선택된 제2 단말기와 영상 통화가 수행되도록 중개하는 단계;
    상기 제1 단말기가 상기 제2 단말기와의 상기 영상 통화 중 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임에 포함된 얼굴의 개수를 검출하여 얼굴 인식 결과를 생성하는 단계;
    상기 제1 단말기 및 상기 제2 단말기 사이의 상기 영상 통화가 중단되는 경우, 상기 제1 단말기가 제2 매치 요청을 상기 서버에 전송하는 단계;
    상기 서버가 상기 제2 매치 요청에 응답하여 상기 복수의 단말기 중 선택된 제3 단말기와 영상 통화가 수행되도록 중개하는 단계;
    상기 제1 단말기가 상기 제3 단말기와의 매치 중에 상기 얼굴 인식 결과를 상기 서버에 전송하는 단계;
    상기 제1 단말기 및 상기 제3 단말기 사이의 매칭이 중단된 후, 상기 제1 단말기가 제3 매치 요청을 상기 서버에 전송하는 단계;
    상기 서버가 상기 제3 매치 요청에 응답하여 상기 제1 단말기로부터 수신된 상기 얼굴 인식 결과를 기반으로 상기 복수의 단말기 중 상기 제1 단말기와 매칭될 단말기를 선택하는 단계; 및
    상기 서버가 상기 선택된 단말기의 사용자의 영상을 상기 제1 단말기에 전송하는 단계
    를 포함하는 통신 방법.
  12. 제 11 항에 있어서,
    상기 제1 단말기가 상기 제2 단말기와의 매치 중 촬영되는 상기 영상의 상기 복수의 프레임 중 상기 적어도 하나 이상의 대표 프레임으로부터 상기 얼굴을 검출하여 상기 얼굴 인식 결과를 생성하는 단계는,
    상기 제1 단말기가 상기 영상의 특정 구간에서 상기 적어도 하나의 대표 프레임을 선택하는 단계; 및
    상기 적어도 하나 이상의 대표 프레임에서 상기 얼굴을 검출하고, 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 상기 얼굴 인식 결과를 생성하는 단계
    를 포함하는 통신 방법.
  13. 촬영된 영상을 수신하는 입력부;
    상기 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하고, 상기 적어도 하나 이상의 대표 프레임에서 얼굴을 검출하고, 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 제어부; 및
    상기 얼굴 인식 결과를 서버에 전송하고, 상기 서버로부터 상기 얼굴 인식 결과를 기반으로 선택된 단말기의 사용자에 대한 영상을 수신하는 통신부를 포함하는 통신 장치.
  14. 제 13 항에 있어서,
    상기 제어부는 상기 영상의 특정 구간들별로 각각 상기 적어도 하나 이상의 대표 프레임을 선택하는 통신 장치.
  15. 제1 단말기가 적어도 한 번 이상의 영상 통화를 수행하는 단계;
    상기 제1 단말기가 제2 단말기와 제1 영상 통화를 수행하는 중에 촬영되는 영상의 복수의 프레임 중 적어도 하나 이상의 대표 프레임을 선택하는 단계;
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임으로부터 얼굴을 검출하는 단계;
    상기 제1 단말기가 상기 적어도 하나 이상의 대표 프레임에서 상기 검출된 얼굴의 개수에 대한 정보를 포함하는 얼굴 인식 결과를 생성하는 단계;
    상기 제1 단말기가 상기 제1 영상 통화를 수행하는 중간에 또는 상기 제1 영상 통화 이후에 수행되는 제3 단말기와의 제2 영상 통화를 수행하는 중간에 상기 얼굴 인식 결과를 서버에 출력하는 단계; 및
    상기 제1 단말기는 상기 제2 영상 통화 이후에 상기 서버로부터 상기 얼굴 인식 결과를 기반으로 선택된 제4 단말기와 제3 영상 통화를 수행하는 단계를 포함하는 통신 방법.
KR1020170145249A 2017-11-02 2017-11-02 통신 장치, 서버 및 그것의 통신 방법 KR102293416B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170145249A KR102293416B1 (ko) 2017-11-02 2017-11-02 통신 장치, 서버 및 그것의 통신 방법
US16/177,597 US10728498B2 (en) 2017-11-02 2018-11-01 Communication device, server and communication method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170145249A KR102293416B1 (ko) 2017-11-02 2017-11-02 통신 장치, 서버 및 그것의 통신 방법

Publications (2)

Publication Number Publication Date
KR20190050086A true KR20190050086A (ko) 2019-05-10
KR102293416B1 KR102293416B1 (ko) 2021-08-26

Family

ID=66244587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170145249A KR102293416B1 (ko) 2017-11-02 2017-11-02 통신 장치, 서버 및 그것의 통신 방법

Country Status (2)

Country Link
US (1) US10728498B2 (ko)
KR (1) KR102293416B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293416B1 (ko) * 2017-11-02 2021-08-26 주식회사 하이퍼커넥트 통신 장치, 서버 및 그것의 통신 방법
CN111131751B (zh) * 2019-12-24 2023-04-07 视联动力信息技术股份有限公司 一种视联网会议的信息展示方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046734A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 발신자 확인 영상 표시 시스템
US20110053570A1 (en) * 2009-08-25 2011-03-03 Song Jiyoung Mobile terminal and method for managing phone book data thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US8487956B2 (en) * 2005-11-29 2013-07-16 Kyocera Corporation Communication terminal, system and display method to adaptively update a displayed image
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
EP2615812B1 (en) * 2010-09-10 2018-09-05 NEC Corporation Controlling transmission of data by a portable terminal
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US10380414B2 (en) * 2014-10-23 2019-08-13 Intel Corporation Method and system of facial expression recognition using linear relationships within landmark subsets
EP3414705A1 (en) * 2016-02-09 2018-12-19 Aware, Inc. Face liveness detection using background/foreground motion analysis
US9743042B1 (en) * 2016-02-19 2017-08-22 Microsoft Technology Licensing, Llc Communication event
US10446189B2 (en) * 2016-12-29 2019-10-15 Google Llc Video manipulation with face replacement
US20180349708A1 (en) * 2017-05-30 2018-12-06 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
KR102293416B1 (ko) * 2017-11-02 2021-08-26 주식회사 하이퍼커넥트 통신 장치, 서버 및 그것의 통신 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046734A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 발신자 확인 영상 표시 시스템
US20110053570A1 (en) * 2009-08-25 2011-03-03 Song Jiyoung Mobile terminal and method for managing phone book data thereof

Also Published As

Publication number Publication date
US20190132549A1 (en) 2019-05-02
US10728498B2 (en) 2020-07-28
KR102293416B1 (ko) 2021-08-26

Similar Documents

Publication Publication Date Title
JP7110413B2 (ja) データ更新方法及び装置、電子機器並びに記憶媒体
US10885178B2 (en) Methods and devices for generating security questions and verifying identities
KR102079091B1 (ko) 단말기 및 그것의 이미지 처리 방법
RU2643473C2 (ru) Способ и аппаратура для идентификации отпечатков пальцев
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
KR101967658B1 (ko) 영상 통화 장치 및 영상 통화 방법
US10452890B2 (en) Fingerprint template input method, device and medium
EP2978265B1 (en) Method and apparatus for automatically connecting to a wireless network
US20210166040A1 (en) Method and system for detecting companions, electronic device and storage medium
US10216976B2 (en) Method, device and medium for fingerprint identification
US20150332439A1 (en) Methods and devices for hiding privacy information
US20170123587A1 (en) Method and device for preventing accidental touch of terminal with touch screen
US9875255B2 (en) Terminal and method for sharing content thereof
US10003944B2 (en) Electronic device and method for providing emergency video call service
JP2021057902A (ja) 端末機及びその動作方法
US9924090B2 (en) Method and device for acquiring iris image
US10380417B2 (en) Method and apparatus for recognizing iris
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US10083346B2 (en) Method and apparatus for providing contact card
WO2017219497A1 (zh) 消息生成方法及装置
WO2020048392A1 (zh) 应用程序的病毒检测方法、装置、计算机设备及存储介质
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
CN108363939B (zh) 特征图像的获取方法及获取装置、用户认证方法
KR102293416B1 (ko) 통신 장치, 서버 및 그것의 통신 방법
US20160078840A1 (en) Methods and systems for connecting multiple devices to form a combined virtual touch screen

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right