KR101967658B1 - 영상 통화 장치 및 영상 통화 방법 - Google Patents

영상 통화 장치 및 영상 통화 방법 Download PDF

Info

Publication number
KR101967658B1
KR101967658B1 KR1020170065732A KR20170065732A KR101967658B1 KR 101967658 B1 KR101967658 B1 KR 101967658B1 KR 1020170065732 A KR1020170065732 A KR 1020170065732A KR 20170065732 A KR20170065732 A KR 20170065732A KR 101967658 B1 KR101967658 B1 KR 101967658B1
Authority
KR
South Korea
Prior art keywords
image
terminal
video
user
message
Prior art date
Application number
KR1020170065732A
Other languages
English (en)
Other versions
KR20180129562A (ko
Inventor
안상일
정강식
용현택
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020170065732A priority Critical patent/KR101967658B1/ko
Priority to US16/617,031 priority patent/US10701315B2/en
Priority to PCT/KR2018/000830 priority patent/WO2018221824A1/en
Publication of KR20180129562A publication Critical patent/KR20180129562A/ko
Application granted granted Critical
Publication of KR101967658B1 publication Critical patent/KR101967658B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 영상 통화 장치 및 영상 통화 방법에 관한 것으로서, 제1단말과의 영상 통화 세션을 수립하는 단계, 영상 통화 세션을 통해 제1단말로부터 영상 스트림을 수신하는 단계, 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계, 검사 결과 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한(abusive) 요소를 포함한다고 판정된 경우 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계, 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계, 및 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 제1단말의 사용자에 대한 신고 및 제2영상을 서버에 전송하는 단계를 포함하는 영상 통화 방법이 제공될 수 있다.

Description

영상 통화 장치 및 영상 통화 방법{DEVICE AND METHOD OF MAKING VIDEO CALLS}
기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 영상 통화 장치 및 영상 통화 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말이 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말이 널리 보급되고 있다. 상기 단말의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말을 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말을 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 상기 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말의 통신 기능을 이용하여 상기 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
또한, 동시에, 상기 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 상기 사용자에게 전송할 수 있다. 사용자의 단말에 포함된 디스플레이는 사용자의 단말에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
상기 사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 상기 사용자의 단말 및 상기 다른 사용자의 단말을 포함한 복수의 단말은 서버에 연결될 수 있다. 서버는 상기 사용자의 단말 및 상기 다른 사용자의 단말 사이를 중개할 수 있다. 따라서, 상기 사용자 및 다른 사용자는 서로 모르는 관계였다고 하더라도 서버의 중개를 통해 서로 영상 통화를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 하는 도중에, 사용자는 상대방으로부터의 부적절한 영상에 노출될 수 있다. 특히, 사용자가 서로 모르는 관계에 있는 상대방과 영상 통화를 하는 도중에, 사용자가 상대방으로부터의 음란한 영상에 노출될 가능성이 높을 수 있다.
예를 들어, 상대방의 단말에 의해 촬영된 상대방의 벌거벗은 신체의 영상이 영상 통화 세션을 통해 사용자의 단말에 수신될 수 있다. 사용자의 단말이 상기 수신된 영상을 표시함으로써 사용자는 음란한 영상에 노출될 수 있다. 사용자가 자신이 원하지 않는 음란한 영상에 노출된 경우 사용자는 성적 수치심 또는 불쾌함을 느낄 수 있다.
기재된 실시예에 따르면 사용자 간의 건전한 영상 통화를 유도할 수 있는 영상 통화 장치 및 영상 통화 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 영상 통화 장치 및 영상 통화 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 영상 통화 장치 및 영상 통화 방법이 제공될 수 있다.
실시예에 따른 영상 통화 방법은, 제1단말과의 영상 통화 세션을 수립하는 단계, 상기 영상 통화 세션을 통해 상기 제1단말로부터 영상 스트림을 수신하는 단계, 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계, 상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한(abusive) 요소를 포함한다고 판정된 경우 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계, 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계, 및 상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 각각의 상기 적어도 하나 이상의 제1영상으로부터 상기 불량한 요소의 검출을 시도하는 단계를 포함할 수 있다.
또한, 상기 불량한 요소의 검출을 시도하는 단계는, 각각의 상기 적어도 하나 이상의 제1영상으로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분의 검출을 시도하는 단계를 포함할 수 있다.
또한, 상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분의 검출을 시도하는 단계는, 각각의 상기 적어도 하나 이상의 제1영상으로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분의 검출을 시도하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소의 검출을 시도하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소가 검출되지 않은 경우 상기 불량한 요소가 검출될 때까지 일정하거나 일정하지 않은 주기마다 상기 불량한 요소의 검출을 시도하는 단계를 반복하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은 상기 전송하는 단계 이후에, 상기 영상 통화 세션이 종료될 때까지 일정하거나 일정하지 않은 주기마다 상기 검사하는 단계 내지 상기 전송하는 단계를 반복하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은 상기 영상 통화 세션을 수립하는 단계 이전에, 적어도 하나 이상의 제4영상 및 각각의 상기 적어도 하나 이상의 제4영상이 상기 불량한 요소를 포함하는지 여부에 대한 정보를 이용하여 학습(train)된 기계학습 모델을 준비하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 준비된 기계학습 모델을 이용하여 상기 적어도 하나 이상의 제1영상이 상기 불량한 요소를 포함하는지 여부를 예측(predict)하는 단계를 포함할 수 있다.
또한, 상기 예측하는 단계는, 상기 준비된 기계학습 모델을 이용하여 각각의 상기 적어도 하나 이상의 제1영상에 대하여 상기 제1영상이 상기 불량한 요소를 포함할 확률을 산출하는 단계, 상기 적어도 하나 이상의 제1영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제5영상을 검출하는 단계, 및 각각의 상기 적어도 하나 이상의 제5영상이 상기 불량한 요소를 포함한다고 판정하는 단계를 포함할 수 있다.
또한, 상기 예측하는 단계는, 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제6영상 각각에 대하여 상기 제6영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출하는 단계, 상기 적어도 하나 이상의 제6영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제7영상을 검출하는 단계, 각각의 상기 적어도 하나 이상의 제7영상이 상기 불량한 요소를 포함한다고 판정하는 단계, 및 상기 적어도 하나 이상의 제7영상 중에서 상기 산출된 확률이 가장 높은 영상을 상기 제2영상으로서 저장하는 단계를 포함할 수 있다.
또한, 상기 예측하는 단계는, 적어도 특정한 대기 시간이 지난 후에, 상기 영상 스트림에 포함되고 최근의 상기 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제8영상 각각에 대하여 상기 제8영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출하는 단계, 상기 적어도 하나 이상의 제8영상에 대하여 산출된 상기 확률 중에서 가장 높은 확률이 상기 저장된 제2영상에 대하여 산출된 상기 확률보다 더 높은 경우 상기 저장된 제2영상을 상기 가장 높은 확률에 대응하는 영상으로 갱신하는 단계, 및 상기 영상 통화 세션이 종료될 때까지 상기 적어도 하나 이상의 제8영상 각각에 대하여 상기 확률을 산출하는 단계 및 상기 갱신하는 단계를 반복하는 단계를 더 포함할 수 있다.
또한, 상기 메시지를 표시하는 단계는, 상기 영상 통화 세션이 종료된 후에 또는 상기 영상 통화 세션이 유지되고 있는 동안에 상기 메시지를 표시하는 단계를 포함할 수 있다.
또한, 상기 메시지를 표시하는 단계는, 상기 제2영상과 함께 상기 메시지를 표시하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 통화 방법은, 제1단말이 제2단말과의 영상 통화 세션을 수립하는 단계, 상기 제1단말이 상기 영상 통화 세션을 통해 상기 제2단말에 영상 스트림을 전송하는 단계, 상기 제1단말이 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계, 상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한 요소를 포함한다고 판정된 경우 상기 제2단말이 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계, 상기 제2단말이 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계, 및 상기 수신된 승인 입력에 대한 응답으로 상기 제2단말이 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송하는 단계를 포함할 수 있다.
또한, 상기 다른 영상 통화 방법은 상기 검사하는 단계 이후에, 상기 제1단말이 상기 제2영상을 상기 제2단말에 전송하는 단계, 및 상기 제2단말이 상기 제2영상을 수신하고 저장하는 단계를 더 포함할 수 있다.
실시예에 따른 영상 통화 장치는, 제1단말과의 영상 통화 세션을 수립하고 상기 영상 통화 세션을 통해 상기 제1단말로부터 영상 스트림을 수신하는 통신부, 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 제어부, 상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한(abusive) 요소를 포함한다고 판정된 경우 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 출력부, 및 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 입력부를 포함하고, 상기 통신부는 상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송할 수 있다.
기재된 실시예에 따르면 사용자 간의 건전한 영상 통화가 유도될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것이 방지될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
도 1은 실시예에 따른 영상 통화 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 실시예에 따른 영상 통화 장치의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 4는 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 5는 실시예에 따른 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 6은 실시예에 따른 영상 통화 세션이 유지되고 있는 동안에 상대방을 신고할 것을 제안하는 메시지가 표시된 제2 영상 통화 장치의 정면도이다.
도 7은 실시예에 따른 영상 통화 세션이 종료된 후에 상대방을 신고할 것을 제안하는 메시지가 표시된 제2 영상 통화 장치의 정면도이다.
도 8은 다른 실시예에 따른 영상 통화 세션이 종료된 후에 상대방을 신고할 것을 제안하는 메시지가 표시된 제2 영상 통화 장치의 정면도이다.
도 9는 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 10은 실시예에 따른 기계학습 모델을 이용하여 적어도 하나 이상의 제1영상이 불량한 요소를 포함하는지 여부를 예측하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 11은 다른 실시예에 따른 기계학습 모델을 이용하여 적어도 하나 이상의 제1영상이 불량한 요소를 포함하는지 여부를 예측하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 12는 또 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 12를 참조하여 실시예에 따른 영상 통화 장치(200, 210, 220) 및 영상 통화 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 통화 장치(200, 210, 220)가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 영상 통화 장치(200, 210, 220)가 동작하는 환경은 서버(100), 및 상기 서버(100)와 서로 연결된 적어도 둘 이상의 영상 통화 장치(200, 210, 220)를 포함할 수 있다. 도 1에서는 편의상 세 개의 영상 통화 장치(200, 210, 220)만이 도시되어 있으나, 세 개보다 더 많은 수의 영상 통화 장치(200, 210, 220)가 포함될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 통신망을 통해 각각의 영상 통화 장치(200, 210, 220)와 서로 연결될 수 있다. 서버(100)가 제1 영상 통화 장치(200)와 서로 연결된 경우, 서버(100)는 제1 영상 통화 장치(200)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제2 영상 통화 장치(210)와 서로 연결된 경우, 서버(100)는 제2 영상 통화 장치(210)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제3 영상 통화 장치(220)와 서로 연결된 경우, 서버(100)는 제3 영상 통화 장치(220)와 통신망을 통해 서로 데이터를 주고 받을 수 있다.
서버(100)는 영상 통화 장치(200, 210, 220)로부터 데이터를 수신할 수 있다. 서버(100)는 영상 통화 장치(200, 210, 220)로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 영상 통화 장치(200, 210, 220)에 전송할 수 있다.
서버(100)는 복수의 영상 통화 장치(200, 210, 220)로부터 영상 통화 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 복수의 영상 통화 장치(200, 210, 220) 중에서 적어도 둘 이상의 영상 통화 장치(200, 210, 220)를 선택할 수 있다. 예를 들어, 서버(100)는 상기 적어도 둘 이상의 영상 통화 장치(200, 210, 220)로서 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210)를 선택할 수 있다.
서버(100)는 상기 선택된 적어도 둘 이상의 영상 통화 장치(200, 210, 220) 사이의 영상 통화 연결을 중개할 수 있다. 예를 들어, 서버(100)는 제1 영상 통화 장치(200)에 대한 연결 정보를 제2 영상 통화 장치(210)에 전송할 수 있다. 다른 예로서, 서버(100)는 제2 영상 통화 장치(210)에 대한 연결 정보를 제1 영상 통화 장치(200)에 전송할 수 있다.
제1 영상 통화 장치(200)에 대한 연결 정보는 예를 들어, 제1 영상 통화 장치(200)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제1 영상 통화 장치(200)에 대한 연결 정보를 수신한 제2 영상 통화 장치(210)는 상기 수신된 연결 정보를 이용하여 제1 영상 통화 장치(200)에의 연결을 시도할 수 있다.
제2 영상 통화 장치(210)에 대한 연결 정보는 예를 들어, 제2 영상 통화 장치(210)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 영상 통화 장치(210)에 대한 연결 정보를 수신한 제1 영상 통화 장치(200)는 상기 수신된 연결 정보를 이용하여 제2 영상 통화 장치(210)에의 연결을 시도할 수 있다.
제1 영상 통화 장치(200)의 제2 영상 통화 장치(210)에의 연결 시도 또는 제2 영상 통화 장치(210)의 제1 영상 통화 장치(200)에의 연결 시도가 성공함으로써, 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)에 영상 또는 소리를 전송할 수 있다. 제1 영상 통화 장치(200)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩된 결과물을 제2 영상 통화 장치(210)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)로부터 영상 또는 소리를 수신할 수 있다. 제1 영상 통화 장치(200)는 디지털 신호로 인코딩된 영상 또는 소리를 수신하고, 상기 수신된 인코딩된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 영상 통화 장치(200)의 사용자 및 제2 영상 통화 장치(210)의 사용자는 서로 영상 통화를 할 수 있다.
영상 통화 장치(200, 210, 220)는 단말일 수 있다. 영상 통화 장치(200, 210, 220)는 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 영상 통화 장치(200, 210, 220)는 프로그램 또는 애플리케이션을 실행할 수 있다. 각각의 영상 통화 장치(200, 210, 220)는 서로 동일한 종류의 장치일 수도 있고, 서로 동일한 종류의 장치가 아닐 수도 있다.
이하에서는 설명의 편의를 위해 제1 영상 통화 장치(200)를 가리키는 용어로서 제1 영상 통화 장치(200) 및 제1단말(200)을 혼용하기로 한다. 또한, 이하에서는 제2 영상 통화 장치(210)를 가리키는 용어로서 제2 영상 통화 장치(210) 및 제2단말(210)을 혼용하고, 제3 영상 통화 장치(220)를 가리키는 용어로서 제3 영상 통화 장치(220) 및 제3단말(220)을 혼용하기로 한다.
도 2는 실시예에 따른 제1단말(200)의 구성을 나타내는 블록도이다. 제2단말(210)의 구성 또는 제3단말(220)의 구성은 제1단말(200)의 구성과 서로 동일하거나 동일하지 않을 수 있다. 도 2를 참조하면, 실시예에 따른 제1단말(200)은 입력부(201), 통신부(202), 저장부(203), 출력부(204), 및 제어부(205)를 포함할 수 있다.
입력부(201)는 외부로부터 입력을 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 입력을 수신할 수 있다. 또한, 입력부(201)는 입력으로서 외부 장치로부터 신호를 수신할 수 있다. 입력부(201)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치를 포함할 수 있다.
입력부(201)는 입력부(201)에 포함된 카메라를 통해 외부로부터 빛을 수신할 수 있다. 입력부(201)는 외부의 사물로부터 방출된 빛 또는 외부의 사물에서 반사된 빛을 수신할 수 있다. 입력부(201)는 상기 카메라를 통해 제1단말(200)의 주변의 영상을 연속적으로 촬영할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 영상을 촬영할 수 있다.
입력부(201)는 입력부(201)에 포함된 마이크를 통해 외부로부터 소리를 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 음성을 수신할 수 있다. 또한, 입력부(201)는 외부의 소리 재생 장치로부터 소리를 수신할 수 있다. 입력부(201)는 상기 마이크를 통해 제1단말(200)의 주변에서 나는 소리를 연속적으로 녹음할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 음성을 녹음할 수 있다.
통신부(202)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신할 수 있다. 통신부(202)는 다른 영상 통화 장치(200, 210, 220) 또는 서버(100)에 데이터를 전송할 수 있다. 통신부(202)는 다른 영상 통화 장치(200, 210, 220) 또는 서버(100)로부터 데이터를 수신할 수 있다. 통신부(202)는 제어부(205)에 의해 수행된 연산 결과를 외부에 전송할 수 있다. 통신부(202)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 외부로부터 수신할 수 있다. 또한, 통신부(202)는 저장부(203)에 저장된 데이터를 외부에 전송할 수 있다. 통신부(202)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 외부에 전송할 수 있다.
통신부(202)에 의해 전송될 데이터 또는 통신부(202)에 의해 수신된 데이터는 저장부(203)에 저장될 수 있다. 예를 들어, 통신부(202)는 저장부(203)에 저장된 인코딩된 영상 또는 음성을 서버(100) 또는 다른 영상 통화 장치(200, 210, 220)에 전송할 수 있다. 또한, 통신부(202)는 다른 영상 통화 장치(200, 210, 220)로부터 상기 다른 영상 통화 장치(200, 210, 220)에 의해 인코딩된 영상 또는 음성을 수신할 수 있다.
통신부(202)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(202)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(202)는 기타 네트워크 인터페이스를 포함할 수 있다.
저장부(203)는 데이터를 저장할 수 있다. 저장부(203)는 입력부(201)에 의해 수신된 입력을 저장할 수 있다. 저장부(203)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 저장할 수 있다. 저장부(203)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 저장할 수 있다. 저장부(203)는 제어부(205)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(203)는 제어부(205)에 의해 인코딩된 영상 또는 음성을 저장할 수 있다. 저장부(203)는 통신부(202)를 통해 외부로 전송할 데이터를 저장하거나 통신부(202)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(203)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 저장부(203)는 예를 들어, 플래시(flash) 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 등을 포함할 수 있다. 저장부(203)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
출력부(204)는 외부에 신호를 출력할 수 있다. 출력부(204)는 예를 들어, 화면을 표시하거나, 소리를 재생하거나, 또는 진동을 출력할 수 있다. 출력부(204)는 디스플레이, 스피커, 바이브레이터, 오실레이터, 또는 기타 출력 장치를 포함할 수 있다.
출력부(204)는 화면을 표시할 수 있다. 제어부(205)는 출력부(204)가 화면을 표시하도록 출력부(204)를 제어할 수 있다. 출력부(204)는 사용자 인터페이스를 표시할 수 있다. 출력부(204)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(204)는 데이터를 표시할 수 있다. 출력부(204)는 제어부(205)에 의해 수행된 연산 결과를 표시할 수 있다. 출력부(204)는 저장부(203)에 저장된 데이터를 표시할 수 있다. 출력부(204)는 통신부(202)에 의해 수신된 데이터를 표시할 수 있다.
출력부(204)는 입력부(201)에 의해 촬영된 제1단말(200)의 사용자의 영상 또는 다른 영상 통화 장치(200, 210, 220)에 의해 촬영된 다른 사용자의 영상을 표시할 수 있다. 또한, 출력부(204)는 입력부(201)에 의해 녹음된 제1단말(200)의 사용자의 음성 또는 다른 영상 통화 장치(200, 210, 220)에 의해 녹음된 다른 사용자의 음성을 재생할 수 있다.
출력부(204)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(204)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(204)는 터치스크린을 포함할 수 있다.
제어부(205)는 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소의 동작을 제어할 수 있다.
제어부(205)는 신호를 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 사용자의 영상을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 사용자의 음성을 처리할 수 있다.
제어부(205)는 통신부(202)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 통신부(202)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 통신부(202)를 통해 수신된 다른 사용자의 영상 또는 음성을 처리할 수 있다.
제어부(205)는 입력부(201)에 의해 수신된 신호에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다.
제어부(205)는 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호에 따라 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호 또는 저장부(203)에 저장된 데이터를 이용하여 연산을 수행할 수 있다. 예를 들어, 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 영상을 이용하여 영상 처리(image processing)를 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 촬영된 영상을 인코딩할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 음성을 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 녹음된 소리 또는 음성을 인코딩할 수 있다.
제어부(205)는 통신부(202)에 의해 수신된 다른 사용자의 영상 또는 음성을 디코딩할 수 있다. 제어부(205)는 상기 디코딩된 영상 또는 음성에 후처리(postprocessing)를 수행할 수 있다. 예를 들어, 제어부(205)는 통신부(202)에 의해 수신된 다른 사용자의 영상에 영상 처리를 수행할 수 있다.
제어부(205)는 연산 결과가 저장부(203)에 저장되도록 제어할 수 있다. 제어부(205)는 연산 결과가 출력부(204)에 의해 출력되도록 제어할 수 있다. 제어부(205)는 연산 결과가 통신부(202)에 의해 다른 영상 통화 장치(200, 210, 220)에 전송되도록 제어할 수 있다.
제어부(205)는 예를 들어, 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU), 마이크로컨트롤러유닛(Micro Controller Unit, MCU), 또는 마이크로프로세서(microprocessor)를 포함할 수 있다.
제2단말(210)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제2단말(210)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제2단말(210)은 통신망에 연결될 수 있다. 제2단말(210)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제2단말(210)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
제2단말(210)은 서버(100)의 중개를 통해 상기 제1단말(200)과 서로 연결될 수 있다. 제2단말(210)은 제1단말(200)에 데이터를 전송하거나 제1단말(200)로부터 데이터를 수신할 수 있다. 서로 연결된 제1단말(200) 및 제2단말(210)은 서로 메시지, 파일, 데이터, 영상, 동영상, 소리, 또는 음성 등을 주고 받을 수 있다.
제2단말(210)은 제1단말(200)과의 음성 통화 세션 또는 영상 통화 세션을 수립할 수 있다. 상기 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 제1단말(200)의 사용자 및 제2단말(210)의 사용자는 상기 음성 통화 세션 또는 영상 통화 세션을 이용하여 서로 음성 통화 또는 영상 통화를 할 수 있다.
상기 영상 통화 세션은 제1단말(200) 및 제2단말(210) 사이에 직접적으로 수립될 수 있다. 다른 실시예에 따르면, 적어도 하나 이상의 다른 장치를 경유하여 제1단말(200) 및 제2단말(210) 사이에 영상 통화 세션이 수립될 수 있다. 예를 들어, 상기 영상 통화 세션은 제1단말(200)과 서버(100) 사이에 수립된 세션 및 서버(100)와 제2단말(210) 사이에 수립된 세션을 포함할 수 있다.
제1단말(200) 및 제2단말(210)은 서로 직접 데이터를 주고 받을 수 있다. 또한, 제1단말(200) 및 제2단말(210)은 서버(100) 또는 다른 중개 장치를 경유하여 서로 데이터를 주고 받을 수 있다.
제3단말(220)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제3단말(220)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제3단말(220)은 통신망에 연결될 수 있다. 제3단말(220)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제3단말(220)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
이하에서는, 도 3 내지 도 12를 참조하여 실시예에 따른 영상 통화 방법 내에서의 영상 통화 장치(200, 210, 220)의 보다 구체적인 동작에 대하여 상세히 설명하기로 한다.
도 3은 실시예에 따른 제2단말(210)에 의한 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 3을 참조하면, 실시예에 따른 영상 통화 방법에서는, 먼저, 제1단말(200)과의 영상 통화 세션을 수립하는 단계(S110)가 수행될 수 있다.
서버(100)는 제1단말(200)에 대한 연결 정보를 제2단말(210)에 전송할 수 있다. 제2단말(210)의 통신부(202)는 서버(100)로부터 상기 연결 정보를 수신할 수 있다. 제2단말(210)의 통신부(202)는 상기 연결 정보를 이용하여 제1단말(200)에의 연결을 시도할 수 있다. 상기 연결 시도가 성공함으로써, 제2단말(210)은 제1단말(200)과의 영상 통화 세션을 수립할 수 있다.
다른 실시예에 따르면, 서버(100)는 제2단말(210)에 대한 연결 정보를 제1단말(200)에 전송할 수 있다. 제1단말(200)의 통신부(202)는 상기 연결 정보를 이용하여 제2단말(210)에의 연결을 시도할 수 있다. 제2단말(210)의 통신부(202)는 상기 연결 시도를 수락할 수 있다. 이로써, 제2단말(210)은 제1단말(200)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 영상 통화 세션을 통해 상기 제1단말(200)로부터 영상 스트림을 수신하는 단계(S120)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 상기 영상 통화 세션을 통해 제1단말(200)로부터 영상 스트림을 수신할 수 있다. 상기 영상 스트림은 제1단말(200)에 의해 실시간으로 촬영된 영상 또는 녹음된 소리를 포함할 수 있다. 다시 말해서, 제2단말(210)의 통신부(202)는 제1단말(200)로부터 제1단말(200)에 의해 촬영되고 있는 제1단말(200)의 사용자의 영상 또는 녹음되고 있는 제1단말(200)의 사용자의 소리를 연속적으로 수신할 수 있다. 제2단말(210)의 통신부(202)는 영상 통화 세션이 유지되고 있는 동안 영상 스트림을 계속하여 수신할 수 있다.
영상 스트림은 WebRTC(Web Real-Time Communication)의 프로토콜 및 인터페이스를 이용하여 수신될 수 있다. 영상 스트림은 인코딩된 영상 또는 소리를 포함할 수 있다. 제2단말(210)의 제어부(205)는 상기 인코딩된 영상 또는 소리를 디코딩할 수 있다. 제2단말(210)의 출력부(204)는 상기 디코딩된 영상 또는 소리를 출력할 수 있다.
영상 스트림은 적어도 하나 이상의 영상을 포함할 수 있다. 각각의 적어도 하나 이상의 영상은 대응되는 일련번호(sequence number)를 가질 수 있다. 상기 일련번호는 예를 들어, 타임스탬프(timestamp)일 수 있다. 제2단말(210)의 출력부(204)는 상기 적어도 하나 이상의 영상을 대응되는 일련번호의 순서에 따라 순차적으로 출력할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 출력부(204)는 상기 적어도 하나 이상의 영상을 상기 적어도 하나 이상의 영상이 수신된 순서에 따라 순차적으로 출력할 수 있다.
제2단말(210)의 출력부(204)는 영상 통화 세션이 유지되고 있는 동안 상기 영상 스트림에 포함된 적어도 하나 이상의 영상을 연속적으로 출력할 수 있다. 제2단말(210)의 출력부(204)는 영상 통화 세션이 유지되고 있는 동안 상기 영상 스트림을 통해 새로이 수신되고 있는 영상들을 연속적으로 출력할 수 있다.
제2단말(210)의 통신부(202)는 상기 영상 통화 세션을 통해 제1단말(200)에 영상 스트림을 전송할 수 있다. 상기 영상 스트림은 제2단말(210)의 입력부(201)에 의해 실시간으로 촬영된 영상 또는 녹음된 소리를 포함할 수 있다. 다시 말해서, 제2단말(210)의 통신부(202)는 제2단말(210)에 의해 촬영되고 있는 제2단말(210)의 사용자의 영상 또는 녹음되고 있는 제2단말(210)의 사용자의 소리를 제1단말(200)에 연속적으로 전송할 수 있다. 제2단말(210)의 통신부(202)는 영상 통화 세션이 유지되고 있는 동안 영상 스트림을 계속하여 전송할 수 있다.
제2단말(210)의 제어부(205)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 인코딩할 수 있다. 영상 스트림은 상기 인코딩된 영상 또는 소리를 포함할 수 있다. 영상 스트림은 WebRTC의 프로토콜 및 인터페이스를 이용하여 전송될 수 있다.
제2단말(210)의 출력부(204)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 출력할 수 있다. 제2단말(210)의 출력부(204)는 영상 통화 세션이 유지되고 있는 동안 상기 영상 또는 소리를 연속적으로 출력할 수 있다. 제2단말(210)의 출력부(204)는 영상 통화 세션이 유지되고 있는 동안 상기 영상 스트림을 통해 새로이 전송되고 있는 영상들을 연속적으로 출력할 수 있다.
제2단말(210)의 출력부(204)는 제1단말(200)로부터 수신된 영상 스트림에 포함된 영상 및 제2단말(210)의 입력부(201)에 의해 촬영된 영상을 하나의 화면에 동시에 출력할 수 있다. 도 4는 실시예에 따른 영상 통화 도중에 제2단말(210)의 사용자의 영상 및 제1단말(200)의 사용자의 영상이 표시된 제2단말(210)의 정면도이다. 도 4에 도시된 바와 같이, 제2단말(210)의 출력부(204)는 입력부(201)에 의해 촬영된 영상을 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시할 수 있다. 또한, 제2단말(210)의 출력부(204)는 통신부(202)에 의해 수신된 영상을 디스플레이의 전체 영역 중에서 상기 사각형의 영역을 제외한 나머지 영역에 표시할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계(S130)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 영상 스트림에 포함된 영상 중에서 적어도 하나 이상의 제1영상을 선택할 수 있다. 제어부(205)는 상기 제1영상으로서 상기 영상 스트림에 포함된 영상 중에서 특정한 개수의 영상을 무작위로 또는 일정한 간격으로 선택할 수 있다. 상기 특정한 개수는 예를 들어, 5개일 수 있다.
다른 실시예에 따르면, 제어부(205)는 상기 제1영상으로서 상기 영상 스트림에 포함된 영상 중에서 최근에 수신된 특정한 개수의 영상을 선택할 수 있다. 상기 특정한 개수는 예를 들어, 5개일 수 있다.
또 다른 실시예에 따르면, 제어부(205)는 상기 제1영상으로서 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 특정한 개수의 영상을 무작위로 또는 일정한 간격으로 선택할 수 있다. 상기 특정한 시간은 예를 들어, 3초일 수 있다. 상기 특정한 개수는 예를 들어, 5개일 수 있다.
제어부(205)는 상기 선택된 적어도 하나 이상의 제1영상을 검사할 수 있다. 제어부(205)는 각각의 적어도 하나 이상의 제1영상으로부터 불량한(abusive) 요소의 검출을 시도할 수 있다. 예를 들어, 제어부(205)는 각각의 적어도 하나 이상의 제1영상으로부터 불량한 요소에 대응하는 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분의 검출을 시도할 수 있다.
제어부(205)는 불량한 요소를 검출하기 위해 적어도 하나 이상의 제1영상을 이용하여 영상 처리(image processing)를 수행할 수 있다. 제어부(205)는 상기 영상 처리를 통해 각각의 적어도 하나 이상의 제1영상으로부터 적어도 하나 이상의 특징점(feature)을 추출할 수 있다. 상기 특징점은 적어도 하나 이상의 제1영상에 포함된 특정한 모양, 패턴, 색상, 또는 이들의 조합일 수 있다. 제어부(205)는 상기 추출된 특징점이 상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 특정한 모양, 패턴, 색상, 또는 이들의 조합을 포함하는지 여부를 판정할 수 있다.
예를 들어, 제어부(205)는 상기 추출된 특징점이 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상의 불량한 요소에 대응하는지 여부를 판정할 수 있다.
다른 실시예에 따르면, 제어부(205)는 일정하거나 일정하지 않은 주기마다 당시로부터 최근에 수신된 영상을 검사할 수 있다. 도 5는 상기 다른 실시예가 수행되는 구체적인 과정을 나타내는 순서도이다.
도 5를 참조하면, 먼저, 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소의 검출을 시도하는 단계(S131)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 제1영상으로서, 최근의 특정한 시간 이내에 수신된 영상 중에서 적어도 하나 이상의 제3영상을 선택할 수 있다. 제어부(205)는 각각의 적어도 하나 이상의 제3영상으로부터 불량한 요소의 검출을 시도할 수 있다. 상기 특정한 시간은 예를 들어, 3초일 수 있다.
다음으로, 상기 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소가 검출되지 않은 경우 상기 불량한 요소가 검출될 때까지 일정하거나 일정하지 않은 주기마다 상기 불량한 요소의 검출을 시도하는 단계(S131)를 반복하는 단계(S132)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 상기 불량한 요소의 검출을 시도하는 단계(S131)를 반복할 수 있다.
다시 말해서, 제어부(205)는 선택된 적어도 하나 이상의 제3영상으로부터 불량한 요소의 검출을 시도한 결과 불량한 요소가 검출되지 않은 경우, 적어도 특정한 대기 시간이 지나기를 기다릴 수 있다. 상기 특정한 대기 시간은 예를 들어, 3초일 수 있다. 제어부(205)는 적어도 상기 특정한 대기 시간이 지난 후에, 현재로부터 최근의 특정한 시간 이내에 수신된 영상 중에서 적어도 하나 이상의 제3영상을 새로이 선택할 수 있다. 제어부(205)는 새로이 선택된 적어도 하나 이상의 제3영상으로부터 불량한 요소의 검출을 시도할 수 있다. 제어부(205)는 적어도 하나 이상의 제3영상으로부터 불량한 요소가 검출될 때까지 상기와 같은 과정을 반복할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한 요소를 포함한다고 판정된 경우 상기 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계(S150)가 수행될 수 있다. 상기 검사 결과, 제2단말(210)의 제어부(205)는 상기 적어도 하나 이상의 제1영상 중에서 제2영상이 불량한 요소를 포함한다고 판정할 수 있다. 상기와 같이 판정된 경우 제2단말(210)의 출력부(204)는 메시지를 표시할 수 있다. 상기 메시지는 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 내용을 포함할 수 있다.
출력부(204)는 영상 통화 세션이 유지되고 있는 동안에 상기 메시지를 표시할 수 있다. 다시 말해서, 출력부(204)는 도 4에서와 같이 제1단말(200)의 사용자의 영상 및 제2단말(210)의 사용자의 영상이 표시된 화면 위에 상기 메시지를 오버레이하여 표시할 수 있다.
도 6은 실시예에 따른 영상 통화 세션이 유지되고 있는 동안에 상대방을 신고할 것을 제안하는 메시지가 표시된 제2단말(210)의 정면도이다. 도 6에 도시된 바와 같이, 제2단말(210)의 출력부(204)는 "방금 불쾌한 경험을 하셨다면 신고해주세요"와 같은 내용을 포함하는 메시지를 오버레이하여 표시할 수 있다. 또한, 출력부(204)는 상기 메시지의 아래에, 신고에 대한 승인에 대응하는 승인 버튼 및 신고에 대한 거절에 대응하는 취소 버튼을 더 표시할 수 있다.
제2단말(210)의 출력부(204)가 상기 메시지를 표시한 이후, 특정한 시간이 지나도록 제2단말(210)의 사용자로부터 아무런 입력이 수신되지 않는 경우, 출력부(204)는 상기 메시지 및 상기 버튼의 표시를 중단할 수 있다. 다시 말해서, 상기 특정한 시간이 지난 후에 출력부(204)는 도 4에서와 같이 제1단말(200)의 사용자의 영상 및 제2단말(210)의 사용자의 영상을 포함하는 화면을 다시 표시할 수 있다. 상기 특정한 시간은 예를 들어, 3초일 수 있다.
제2단말(210)의 출력부(204)는 상기 메시지 및 상기 버튼이 표시되어 있는 동안 타이머를 더 표시할 수 있다. 상기 타이머는 상기 메시지 및 상기 버튼의 표시가 중단될 때까지 남은 시간을 표시할 수 있다.
다른 실시예에 따르면, 출력부(204)는 영상 통화 세션이 종료된 후에 상기 메시지를 표시할 수 있다. 다시 말해서, 출력부(204)는 제1단말(200)과의 영상 통화 세션이 종료된 후에 표시된 대기 화면 위에 상기 메시지를 오버레이하여 표시할 수 있다.
도 7은 실시예에 따른 영상 통화 세션이 종료된 후에 상대방을 신고할 것을 제안하는 메시지가 표시된 제2단말(210)의 정면도이다. 도 7에 도시된 바와 같이, 제2단말(210)의 출력부(204)는 "방금 전 매치에서 불쾌한 경험을 하셨다면 신고해주세요"와 같은 내용을 포함하는 메시지를 대기 화면 위에 오버레이하여 표시할 수 있다. 또한, 출력부(204)는 상기 메시지의 아래에 승인 버튼 및 취소 버튼을 더 표시할 수 있다.
또 다른 실시예에 따르면, 출력부(204)는 상기 제2영상과 함께 상기 메시지를 표시할 수 있다. 다시 말해서, 출력부(204)는 불량한 요소를 포함한다고 판정된 제2영상과 함께 신고할 것을 제안하는 메시지를 표시할 수 있다. 출력부(204)는 영상 통화 세션이 유지되고 있는 동안에 또는 영상 통화 세션이 종료된 후에 상기 제2영상 및 상기 메시지를 표시할 수 있다.
도 8은 상기와 같은 실시예에 따라 상기 제2영상 및 상기 메시지가 함께 표시된 제2단말(210)의 정면도이다. 도 8에 도시된 바와 같이, 출력부(204)는 상기 메시지의 아래에 승인 버튼 및 취소 버튼을 더 표시할 수 있다.
상기와 같이 영상으로부터 불량한 요소가 검출된 경우 신고를 제안하는 메시지가 자동으로 표시됨으로써, 불량 사용자에 대한 적극적인 신고가 유도될 수 있다. 이로써, 사용자 간의 건전한 영상 통화가 유도될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것이 방지될 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계(S160)가 수행될 수 있다. 제2단말(210)의 사용자는 상기 표시된 메시지를 확인한 후에 상기 승인 버튼에 터치 입력을 입력할 수 있다. 다시 말해서, 제2단말(210)의 입력부(201)는 상기 메시지의 표시에 대한 응답으로 제2단말(210)의 사용자로부터 승인 입력을 수신할 수 있다.
다음으로, 상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말(200)의 사용자에 대한 신고 및 상기 제2영상을 서버(100)에 전송하는 단계(S170)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 상기 수신된 승인 입력에 대한 응답으로 서버(100)에 신고를 전송할 수 있다. 상기 신고는 제1단말(200)의 사용자가 불량 사용자라는 취지에 대응할 수 있다. 또한, 통신부(202)는 불량한 요소를 포함한다고 판정된 제2영상을 증거로서 서버(100)에 더 전송할 수 있다.
다음으로, 상기 영상 통화 세션이 종료될 때까지 일정하거나 일정하지 않은 주기마다 상기 검사하는 단계(S130) 내지 상기 전송하는 단계(S170)를 반복하는 단계(S180)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 제1단말(200)로부터 새로이 수신된 영상 중에서 적어도 하나 이상의 영상을 검사할 수 있다. 상기 검사 결과, 불량한 요소를 포함한다고 판정된 영상이 존재하는 경우, 제2단말(210)의 출력부(204)는 상기 영상 통화 세션이 유지되고 있는 동안 신고를 제안하는 메시지를 표시할 수 있다.
만약 상기 메시지의 표시에 대한 응답으로 거절 입력이 수신되거나 특정한 시간이 지나도록 승인 입력이 수신되지 않은 경우, 출력부(204)는 상기 메시지의 표시를 중단할 수 있다. 만약 상기 특정한 시간 이내에 상기 메시지의 표시에 대한 응답으로 승인 입력이 수신된 경우, 제2단말(210)의 통신부(202)는 신고 및 상기 영상을 서버(100)에 전송할 수 있다.
제2단말(210)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 새로이 수신된 영상에 대하여 상기와 같은 과정이 반복되도록 제어할 수 있다. 제어부(205)는 제1단말(200)과의 영상 통화 세션이 종료될 때까지 예를 들어, 3초마다 상기와 같은 과정이 반복되도록 제어할 수 있다. 이로써, 제2단말(210)은 제1단말(200)로부터 연속적으로 수신된 영상을 지속적으로 검사할 수 있다.
도 9는 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 9를 참조하면, 먼저, 적어도 하나 이상의 제4영상 및 각각의 상기 적어도 하나 이상의 제4영상이 상기 불량한 요소를 포함하는지 여부에 대한 정보를 이용하여 학습(train)된 기계학습 모델을 준비하는 단계(S200)가 수행될 수 있다.
제2단말(210)의 저장부(203)는 상기 기계학습 모델을 준비할 수 있다. 상기 기계학습 모델은 임의의 영상에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 영상이 불량한 요소를 포함하는지 여부 사이의 상관관계에 대응할 수 있다.
상기 기계학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 상기 기계학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 상기 기계학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
상기 기계학습 모델은 적어도 하나 이상의 제4영상 및 각각의 상기 적어도 하나 이상의 제4영상이 불량한 요소를 포함하는지 여부에 대한 분류 정보를 이용하여 학습(train)된 분류 모델(classification model)일 수 있다. 상기 적어도 하나 이상의 제4영상은 다른 영상 통화 세션 또는 다른 출처를 통해 미리 수집될 수 있다. 상기 적어도 하나 이상의 제4영상은 불량한 요소를 포함하는 불량 영상 및 불량한 요소를 포함하지 않는 정상 영상을 포함할 수 있다. 상기 분류 정보는 각각의 상기 적어도 하나 이상의 제4영상이 불량 영상인지 또는 정상 영상인지 여부에 대응하는 태그(tag) 정보일 수 있다.
제2단말(210)의 통신부(202)는 상기 기계학습 모델을 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(203)는 상기 수신된 기계학습 모델을 저장할 수 있다.
다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 기계학습 모델을 스스로 학습시킬 수 있다. 예를 들어, 제2단말(210)의 저장부(203)는 상기 적어도 하나 이상의 제4영상 및 상기 분류 정보를 준비할 수 있다. 제어부(205)는 상기 준비된 적어도 하나 이상의 제4영상 및 상기 분류 정보를 이용하여 기계학습 모델을 학습시킬 수 있다. 제2단말(210)의 저장부(203)는 상기 학습된 기계학습 모델을 저장할 수 있다.
제어부(205)는 딥 러닝(deep learning) 알고리즘을 이용하여 상기 기계학습 모델을 학습시킬 수 있다. 상기 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Networks), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나 이상을 포함할 수 있다.
상기 기계학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있다. 상기 기계학습 모델은 AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 각각의 상기 적어도 하나 이상의 제4영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 각각의 상기 변환된 영상을 이용하여 Inception-v4가 포함된 기계학습 모델을 학습시킬 수 있다. 학습된 모델은 모두 4,330,627개의 변수를 포함할 수 있다. 각각의 변수의 크기는 4 바이트(byte)일 수 있다. 따라서, 학습된 모델의 크기는 적어도 17,322,508 바이트일 수 있다.
다음으로, 제1단말(200)과의 영상 통화 세션을 수립하는 단계(S210)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 제1단말(200)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 영상 통화 세션을 통해 상기 제1단말(200)로부터 영상 스트림을 수신하는 단계(S220)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 상기 영상 통화 세션을 통해 제1단말(200)로부터 영상 스트림을 수신할 수 있다.
다음으로, 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상이 불량한 요소를 포함하는지 여부를 상기 준비된 기계학습 모델을 이용하여 예측(predict)하는 단계(S230)가 수행될 수 있다. 상기 기계학습 모델은 상기 제1영상에 포함된 적어도 하나 이상의 특징점을 입력값으로서 취할 수 있다. 제2단말(210)의 제어부(205)는 상기 기계학습 모델을 이용하여 상기 적어도 하나 이상의 특징점이 정상적인 요소 또는 불량한 요소에 대응하는지 여부를 예측할 수 있다.
도 10은 실시예에 따른 기계학습 모델을 이용하여 적어도 하나 이상의 제1영상이 불량한 요소를 포함하는지 여부를 예측하는 단계(S230)가 수행되는 과정을 나타내는 순서도이다. 도 10을 참조하면, 먼저, 상기 준비된 기계학습 모델을 이용하여 각각의 상기 적어도 하나 이상의 제1영상에 대하여 상기 제1영상이 상기 불량한 요소를 포함할 확률을 산출하는 단계(S231)가 수행될 수 있다.
제2단말(210)의 제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 각각의 상기 적어도 하나 이상의 제1영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 상기 변환된 각각의 영상을 상기 기계학습 모델의 입력값으로서 이용할 수 있다. 제어부(205)는 상기 기계학습 모델을 실행(run)할 수 있다.
상기 실행의 결과로서, 상기 기계학습 모델의 출력 레이어(output layer)로부터 결과값이 산출될 수 있다. 상기 결과값은 예를 들어, 3개의 숫자값을 포함하는 벡터(vector)일 수 있다. 상기 3개의 숫자값은 각각 상기 검사의 대상이 된 제1영상이 불량한 요소를 포함하지 않을 확률, 불량한 요소를 포함할 확률, 및 상의를 탈의한 제1단말(200)의 사용자의 모습을 포함할 확률에 대응할 수 있다. 상기 3개의 숫자값의 합은 1일 수 있다.
다음으로, 상기 적어도 하나 이상의 제1영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제5영상을 검출하는 단계(S232)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 각각의 상기 적어도 하나 이상의 제1영상에 대하여 산출된 상기 3개의 숫자값 중에서 두번째 숫자값이 상기 특정한 임계값 이상인지 여부를 판정할 수 있다. 상기 특정한 임계값은 예를 들어, 0.97일 수 있다. 제어부(205)는 상기 적어도 하나 이상의 제1영상 중에서 상기와 같은 조건을 만족하는 적어도 하나 이상의 제5영상을 검출할 수 있다. 다시 말해서, 제어부(205)는 불량한 요소를 포함할 확률이 97% 이상이라고 산출된 적어도 하나 이상의 제5영상을 검출할 수 있다.
다음으로, 각각의 상기 적어도 하나 이상의 제5영상이 상기 불량한 요소를 포함한다고 판정하는 단계(S233)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 검출된 각각의 적어도 하나 이상의 제5영상이 상기 불량한 요소를 포함한다고 판정할 수 있다.
도 11은 다른 실시예에 따른 기계학습 모델을 이용하여 적어도 하나 이상의 제1영상이 불량한 요소를 포함하는지 여부를 예측하는 단계(S230)가 수행되는 과정을 나타내는 순서도이다. 도 11을 참조하면, 먼저, 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제6영상 각각에 대하여 상기 제6영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출하는 단계(S241)가 수행될 수 있다.
제2단말(210)의 제어부(205)는 상기 제1영상으로서, 상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 적어도 하나 이상의 제6영상을 선택할 수 있다. 상기 특정한 시간은 예를 들어, 3초일 수 있다. 제어부(205)는 각각의 적어도 하나 이상의 제6영상에 대하여 상기 확률을 산출할 수 있다. 제어부(205)는 상기 제1영상이 상기 불량한 요소를 포함할 확률을 산출하는 단계(S231)에서와 유사한 방법으로 상기 제6영상이 상기 불량한 요소를 포함할 확률을 산출할 수 있다.
다음으로, 상기 적어도 하나 이상의 제6영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제7영상을 검출하는 단계(S242)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 적어도 하나 이상의 제5영상을 검출하는 단계(S232)에서와 유사한 방법으로 상기 적어도 하나 이상의 제7영상을 검출할 수 있다.
다음으로, 각각의 상기 적어도 하나 이상의 제7영상이 상기 불량한 요소를 포함한다고 판정하는 단계(S243)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 검출된 각각의 적어도 하나 이상의 제7영상이 상기 불량한 요소를 포함한다고 판정할 수 있다.
다음으로, 상기 적어도 하나 이상의 제7영상 중에서 상기 산출된 확률이 가장 높은 영상을 상기 제2영상으로서 저장하는 단계(S244)가 수행될 수 있다. 제2단말(210)의 저장부(203)는 상기 적어도 하나 이상의 제7영상 중에서 상기 산출된 확률이 가장 높은 영상을 별도로 저장할 수 있다. 예를 들어, 상기 적어도 하나 이상의 제7영상은 97.2%의 불량한 요소를 포함할 확률을 갖는 영상, 97.5%의 상기 확률을 갖는 영상, 및 97.3%의 상기 확률을 갖는 영상을 포함할 수 있다. 저장부(203)는 상기 3개의 제7영상 중에서 97.5%의 상기 확률을 갖는 영상을 상기 제2영상으로서 저장할 수 있다.
다음으로, 적어도 특정한 대기 시간이 지난 후에 상기 확률을 산출하는 단계(S241)를 다시 수행하는 단계(S245)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 제6영상 각각에 대하여 상기 확률이 산출된 후에 적어도 특정한 대기 시간이 지나기를 기다릴 수 있다. 상기 특정한 대기 시간은 예를 들어, 3초일 수 있다.
그리고 나서 제어부(205)는 상기 영상 스트림에 포함되고 현재로부터 최근의 특정한 시간 이내에 수신된 영상 중에서 적어도 하나 이상의 제8영상을 선택할 수 있다. 상기 특정한 시간은 예를 들어, 3초일 수 있다. 제어부(205)는 상기 적어도 하나 이상의 제8영상 각각에 대하여 상기 제8영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출할 수 있다.
다음으로, 상기 적어도 하나 이상의 제8영상에 대하여 산출된 상기 확률 중에서 가장 높은 확률이 상기 저장된 제2영상에 대하여 산출된 상기 확률보다 더 높은 경우 상기 저장된 제2영상을 상기 가장 높은 확률에 대응하는 영상으로 갱신하는 단계(S246)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 새로이 산출된 상기 확률 중에서 가장 높은 확률 및 상기 저장된 제2영상에 대하여 산출된 상기 확률을 서로 비교할 수 있다.
만약 상기 가장 높은 확률이 상기 제2영상에 대응하는 확률보다 더 높은 경우, 제2단말(210)의 저장부(203)는 상기 저장된 제2영상을 상기 가장 높은 확률에 대응하는 영상으로 갱신할 수 있다. 다시 말해서, 저장부(203)는 상기 저장된 제2영상을 상기 적어도 하나 이상의 제8영상 중에서 상기 산출된 확률이 가장 높은 영상으로 갱신할 수 있다. 만약 상기 가장 높은 확률이 상기 제2영상에 대응하는 확률보다 더 낮거나 같은 경우, 제2단말(210)의 저장부(203)는 상기 저장된 제2영상을 갱신하지 않고 유지할 수 있다.
다음으로, 상기 영상 통화 세션이 종료될 때까지 상기 적어도 하나 이상의 제8영상 각각에 대하여 상기 확률을 산출하는 단계(S245) 및 상기 갱신하는 단계(S246)를 반복하는 단계(S247)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 새로이 수신된 영상에 대하여 상기와 같은 과정이 반복되도록 제어할 수 있다. 이로써, 상기 영상 통화 세션이 종료된 후에 제2단말(210)의 저장부(203)는 상기 영상 통화 세션이 유지되는 동안 검사된 모든 영상 중에서 불량한 요소를 포함할 확률이 가장 높은 영상을 상기 제2영상으로서 저장할 수 있다.
다시 도 9를 참조하면, 다음으로, 상기 적어도 하나 이상의 제1영상에 포함된 상기 제2영상이 불량한 요소를 포함한다고 판정된 경우 상기 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계(S250)가 수행될 수 있다. 상기와 같이 판정된 경우 제2단말(210)의 출력부(204)는 메시지를 표시할 수 있다. 상기 메시지는 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 내용을 포함할 수 있다.
다음으로, 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계(S260)가 수행될 수 있다. 제2단말(210)의 입력부(201)는 상기 메시지의 표시에 대한 응답으로 제2단말(210)의 사용자로부터 승인 입력을 수신할 수 있다.
다음으로, 상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말(200)의 사용자에 대한 신고 및 상기 제2영상을 서버(100)에 전송하는 단계(S270)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 상기 수신된 승인 입력에 대한 응답으로 서버(100)에 신고를 전송할 수 있다. 상기 신고는 제1단말(200)의 사용자가 불량 사용자라는 취지에 대응할 수 있다. 또한, 통신부(202)는 저장부(203)에 저장된 상기 제2영상을 증거로서 서버(100)에 더 전송할 수 있다.
다음으로, 상기 영상 통화 세션이 종료될 때까지 일정하거나 일정하지 않은 주기마다 상기 예측하는 단계(S230) 내지 상기 전송하는 단계(S270)를 반복하는 단계(S280)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 새로이 수신된 영상에 대하여 상기와 같은 과정이 반복되도록 제어할 수 있다. 만약 상기 실시예 중에서 특정한 실시예에 따라 상기 영상 통화 세션이 종료될 때까지 상기 확률을 산출하는 단계(S245) 및 상기 갱신하는 단계(S246)를 반복하는 단계(S247)가 수행된 경우 본 과정(S280)은 생략될 수 있다.
도 12는 또 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 12를 참조하면, 먼저, 제1단말(200)이 기계학습 모델을 준비하는 단계(S300)가 수행될 수 있다. 제1단말(200)의 저장부(203)는 상기 기계학습 모델을 준비하는 단계(S200)에서와 유사한 방법으로 상기 기계학습 모델을 준비할 수 있다.
다음으로, 상기 제1단말(200)이 제2단말(210)과의 영상 통화 세션을 수립하는 단계(S310)가 수행될 수 있다. 제1단말(200)의 통신부(202)는 상기 영상 통화 세션을 수립하는 단계(S110)에서와 유사한 방법으로 제2단말(210)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 제1단말(200)이 상기 영상 통화 세션을 통해 상기 제2단말(210)에 영상 스트림을 전송하는 단계(S320)가 수행될 수 있다. 제1단말(200)의 통신부(202)는 상기 영상 통화 세션을 통해 제2단말(210)에 영상 스트림을 전송할 수 있다. 상기 영상 스트림은 제1단말(200)의 입력부(201)에 의해 실시간으로 촬영된 영상 또는 녹음된 소리를 포함할 수 있다. 다시 말해서, 제1단말(200)의 통신부(202)는 제1단말(200)에 의해 촬영되고 있는 제1단말(200)의 사용자의 영상 또는 녹음되고 있는 제1단말(200)의 사용자의 소리를 제2단말(210)에 연속적으로 전송할 수 있다. 제1단말(200)의 통신부(202)는 영상 통화 세션이 유지되고 있는 동안 영상 스트림을 계속하여 전송할 수 있다.
다음으로, 상기 제1단말(200)이 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계(S330)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 상기 영상 스트림에 포함된 영상 중에서 적어도 하나 이상의 제1영상을 선택할 수 있다. 다시 말해서, 제1단말(200)의 제어부(205)는 제2단말(210)에 전송한 영상 중에서 적어도 하나 이상의 제1영상을 선택할 수 있다.
제1단말(200)의 제어부(205)는 상기 선택된 적어도 하나 이상의 제1영상을 검사할 수 있다. 제1단말(200)의 제어부(205)는 상기 검사하는 단계(S130) 또는 상기 예측하는 단계(S230)에서와 유사한 방법으로 상기 적어도 하나 이상의 제1영상을 검사할 수 있다.
다음으로, 상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한 요소를 포함한다고 판정된 경우 상기 제2단말(210)이 상기 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계(S350)가 수행될 수 있다. 상기 검사 결과 상기 제2영상이 불량한 요소를 포함한다고 판정된 경우 제1단말(200)의 통신부(202)는 상기 제2영상을 제2단말(210)에 전송할 수 있다.
제2단말(210)의 통신부(202)는 상기 제2영상을 제1단말(200)로부터 수신할 수 있다. 제2단말(210)의 저장부(203)는 상기 수신된 제2영상을 저장할 수 있다. 제2단말(210)의 출력부(204)는 제1단말(200)의 사용자를 불량 사용자로서 신고할 것을 제안하는 내용을 포함하는 메시지를 표시할 수 있다. 제2단말(210)의 출력부(204)는 상기 메시지를 표시하는 단계(S150)에서와 유사한 방법으로 상기 메시지를 표시할 수 있다.
다음으로, 상기 제2단말(210)이 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계(S360)가 수행될 수 있다. 제2단말(210)의 입력부(201)는 상기 승인 입력을 수신하는 단계(S160)에서와 유사한 방법으로 상기 승인 입력을 수신할 수 있다.
다음으로, 상기 수신된 승인 입력에 대한 응답으로 상기 제2단말(210)이 불량 사용자로서의 상기 제1단말(200)의 사용자에 대한 신고 및 상기 제2영상을 서버(100)에 전송하는 단계(S370)가 수행될 수 있다. 제2단말(210)의 통신부(202)는 상기 수신된 승인 입력에 대한 응답으로 서버(100)에 신고를 전송할 수 있다. 상기 신고는 제1단말(200)의 사용자가 불량 사용자라는 취지에 대응할 수 있다. 또한, 제2단말(210)의 통신부(202)는 제1단말(200)로부터 수신된 상기 제2영상을 증거로서 서버(100)에 더 전송할 수 있다.
다음으로, 상기 영상 통화 세션이 종료될 때까지 일정하거나 일정하지 않은 주기마다 상기 제1단말(200) 및 상기 제2단말(210)이 상기 검사하는 단계(S330) 내지 상기 전송하는 단계(S370)를 반복하는 단계(S380)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 새로이 전송된 영상에 대하여 상기 검사하는 단계(S330)가 반복되도록 제어할 수 있다. 제2단말(210)의 제어부(205)는 일정하거나 일정하지 않은 주기마다 새로이 수신된 영상에 대하여 상기 메시지를 표시하는 단계(S350) 내지 상기 전송하는 단계(S370)가 반복되도록 제어할 수 있다.
이상에서 설명된 실시예에 따르면, 사용자 간의 건전한 영상 통화가 유도될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있다. 또한, 컴퓨터 판독 가능 매체는 휘발성 매체, 비휘발성 매체, 분리형 매체, 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 서버
200: 제1 영상 통화 장치, 제1단말
201: 입력부
202: 통신부
203: 저장부
204: 출력부
205: 제어부
210: 제2 영상 통화 장치, 제2단말
220: 제3 영상 통화 장치, 제3단말

Claims (17)

  1. 제1단말과의 영상 통화 세션을 수립하는 단계;
    상기 영상 통화 세션을 통해 상기 제1단말로부터 영상 스트림을 수신하는 단계;
    상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계;
    상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한(abusive) 요소를 포함한다고 판정된 경우, 상기 영상 통화 세션이 종료된 후에 상기 제2영상과 함께 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계;
    상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계; 및
    상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송하는 단계
    를 포함하고,
    상기 메시지 표시에 대응하는 응답이 특정한 시간 이내에 수신되지 않으면 상기 메시지 및 상기 제2 영상의 표시를 중단하는 단계를 더 포함하는 영상 통화 방법.
  2. 제1항에 있어서,
    상기 검사하는 단계는,
    각각의 상기 적어도 하나 이상의 제1영상으로부터 상기 불량한 요소의 검출을 시도하는 단계
    를 포함하는 영상 통화 방법.
  3. 제2항에 있어서,
    상기 불량한 요소의 검출을 시도하는 단계는,
    각각의 상기 적어도 하나 이상의 제1영상으로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분의 검출을 시도하는 단계
    를 포함하는 영상 통화 방법.
  4. 제3항에 있어서,
    상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분의 검출을 시도하는 단계는,
    각각의 상기 적어도 하나 이상의 제1영상으로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분의 검출을 시도하는 단계
    를 포함하는 영상 통화 방법.
  5. 제1항에 있어서,
    상기 검사하는 단계는,
    상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소의 검출을 시도하는 단계
    를 포함하는 영상 통화 방법.
  6. 제5항에 있어서,
    상기 검사하는 단계는,
    상기 적어도 하나 이상의 제3영상으로부터 상기 불량한 요소가 검출되지 않은 경우 상기 불량한 요소가 검출될 때까지 일정하거나 일정하지 않은 주기마다 상기 불량한 요소의 검출을 시도하는 단계를 반복하는 단계
    를 더 포함하는 영상 통화 방법.
  7. 제5항에 있어서,
    상기 전송하는 단계 이후에,
    상기 영상 통화 세션이 종료될 때까지 일정하거나 일정하지 않은 주기마다 상기 검사하는 단계 내지 상기 전송하는 단계를 반복하는 단계
    를 더 포함하는 영상 통화 방법.
  8. 제1항에 있어서,
    상기 영상 통화 세션을 수립하는 단계 이전에,
    적어도 하나 이상의 제4영상 및 각각의 상기 적어도 하나 이상의 제4영상이 상기 불량한 요소를 포함하는지 여부에 대한 정보를 이용하여 학습(train)된 기계학습 모델을 준비하는 단계
    를 더 포함하고,
    상기 검사하는 단계는,
    상기 준비된 기계학습 모델을 이용하여 상기 적어도 하나 이상의 제1영상이 상기 불량한 요소를 포함하는지 여부를 예측(predict)하는 단계
    를 포함하는 영상 통화 방법.
  9. 제8항에 있어서,
    상기 예측하는 단계는,
    상기 준비된 기계학습 모델을 이용하여 각각의 상기 적어도 하나 이상의 제1영상에 대하여 상기 제1영상이 상기 불량한 요소를 포함할 확률을 산출하는 단계;
    상기 적어도 하나 이상의 제1영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제5영상을 검출하는 단계; 및
    각각의 상기 적어도 하나 이상의 제5영상이 상기 불량한 요소를 포함한다고 판정하는 단계
    를 포함하는 영상 통화 방법.
  10. 제8항에 있어서,
    상기 예측하는 단계는,
    상기 영상 스트림에 포함되고 최근의 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제6영상 각각에 대하여 상기 제6영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출하는 단계;
    상기 적어도 하나 이상의 제6영상 중에서 상기 산출된 확률이 특정한 임계값 이상인 적어도 하나 이상의 제7영상을 검출하는 단계;
    각각의 상기 적어도 하나 이상의 제7영상이 상기 불량한 요소를 포함한다고 판정하는 단계; 및
    상기 적어도 하나 이상의 제7영상 중에서 상기 산출된 확률이 가장 높은 영상을 상기 제2영상으로서 저장하는 단계
    를 포함하는 영상 통화 방법.
  11. 제10항에 있어서,
    상기 예측하는 단계는,
    적어도 특정한 대기 시간이 지난 후에, 상기 영상 스트림에 포함되고 최근의 상기 특정한 시간 이내에 수신된 영상 중에서 선택된 적어도 하나 이상의 제8영상 각각에 대하여 상기 제8영상이 상기 불량한 요소를 포함할 확률을 상기 준비된 기계학습 모델을 이용하여 산출하는 단계;
    상기 적어도 하나 이상의 제8영상에 대하여 산출된 상기 확률 중에서 가장 높은 확률이 상기 저장된 제2영상에 대하여 산출된 상기 확률보다 더 높은 경우 상기 저장된 제2영상을 상기 가장 높은 확률에 대응하는 영상으로 갱신하는 단계; 및
    상기 영상 통화 세션이 종료될 때까지 상기 적어도 하나 이상의 제8영상 각각에 대하여 상기 확률을 산출하는 단계 및 상기 갱신하는 단계를 반복하는 단계
    를 더 포함하는 영상 통화 방법.
  12. 제1항에 있어서,
    상기 메시지를 표시하는 단계는,
    상기 영상 통화 세션이 유지되고 있는 동안에 상기 메시지를 표시하는 단계
    를 포함하는 영상 통화 방법.
  13. 제1항에 있어서,
    상기 메시지를 표시하는 단계는,
    상기 제2영상과 함께 상기 메시지를 표시하는 단계
    를 포함하는 영상 통화 방법.
  14. 제1단말이 제2단말과의 영상 통화 세션을 수립하는 단계;
    상기 제1단말이 상기 영상 통화 세션을 통해 상기 제2단말에 영상 스트림을 전송하는 단계;
    상기 제1단말이 상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 단계;
    상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한 요소를 포함한다고 판정된 경우, 상기 영상 통화 세션이 종료된 후에 상기 제2영상과 함께 상기 제2단말이 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 단계;
    상기 제2단말이 상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 단계; 및
    상기 수신된 승인 입력에 대한 응답으로 상기 제2단말이 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송하는 단계
    를 포함하고,
    상기 메시지 표시에 대응하는 응답이 특정한 시간 이내에 수신되지 않으면 상기 메시지 및 상기 제2 영상의 표시를 중단하는 단계를 더 포함하는 영상 통화 방법.
  15. 제14항에 있어서,
    상기 검사하는 단계 이후에,
    상기 제1단말이 상기 제2영상을 상기 제2단말에 전송하는 단계; 및
    상기 제2단말이 상기 제2영상을 수신하고 저장하는 단계
    를 더 포함하는 영상 통화 방법.
  16. 제1항의 영상 통화 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  17. 제1단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 제1단말로부터 영상 스트림을 수신하는 통신부;
    상기 영상 스트림에 포함된 영상 중에서 선택된 적어도 하나 이상의 제1영상을 검사하는 제어부;
    상기 검사 결과 상기 적어도 하나 이상의 제1영상에 포함된 제2영상이 불량한(abusive) 요소를 포함한다고 판정된 경우, 상기 영상 통화 세션이 종료된 후에 상기 제2영상과 함께 상기 제1단말의 사용자를 불량 사용자로서 신고할 것을 제안하는 메시지를 표시하는 출력부; 및
    상기 메시지의 표시에 대한 응답으로 승인 입력을 수신하는 입력부
    를 포함하고,
    상기 통신부는 상기 수신된 승인 입력에 대한 응답으로 불량 사용자로서의 상기 제1단말의 사용자에 대한 신고 및 상기 제2영상을 서버에 전송하며,
    특정한 시간 이내에 상기 입력부를 통해 상기 메시지 표시에 대응하는 응답이 수신되지 않으면, 상기 출력부는 상기 메시지 및 상기 제2 영상의 표시를 중단하는 영상 통화 장치.
KR1020170065732A 2017-05-27 2017-05-27 영상 통화 장치 및 영상 통화 방법 KR101967658B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170065732A KR101967658B1 (ko) 2017-05-27 2017-05-27 영상 통화 장치 및 영상 통화 방법
US16/617,031 US10701315B2 (en) 2017-05-27 2018-01-18 Video communication device and video communication method
PCT/KR2018/000830 WO2018221824A1 (en) 2017-05-27 2018-01-18 Video communication device and video communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170065732A KR101967658B1 (ko) 2017-05-27 2017-05-27 영상 통화 장치 및 영상 통화 방법

Publications (2)

Publication Number Publication Date
KR20180129562A KR20180129562A (ko) 2018-12-05
KR101967658B1 true KR101967658B1 (ko) 2019-04-29

Family

ID=64454858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170065732A KR101967658B1 (ko) 2017-05-27 2017-05-27 영상 통화 장치 및 영상 통화 방법

Country Status (3)

Country Link
US (1) US10701315B2 (ko)
KR (1) KR101967658B1 (ko)
WO (1) WO2018221824A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10922584B2 (en) 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US10810726B2 (en) * 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11758069B2 (en) * 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
KR102287704B1 (ko) 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR20210115442A (ko) 2020-03-13 2021-09-27 주식회사 하이퍼커넥트 신고 평가 장치 및 그것의 동작 방법
KR102149898B1 (ko) * 2020-06-22 2020-08-31 양현석 카메라가 장착된 기기용 카메라 커버
US11596870B2 (en) * 2020-07-31 2023-03-07 Sony Interactive Entertainment LLC Classifying gaming activity to identify abusive behavior
KR102576636B1 (ko) * 2021-03-22 2023-09-11 하이퍼커넥트 유한책임회사 기계 학습 기반 영상 스트림 제공 방법 및 장치
CN117061788B (zh) * 2023-10-08 2023-12-19 中国地质大学（武汉） 一种短视频自动化监管与预警方法、设备及存储设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283969B1 (en) * 2000-11-22 2007-10-16 Tekelec Methods and systems for automatically registering complaints against calling parties
KR20060076475A (ko) * 2004-12-29 2006-07-04 브이케이 주식회사 이동통신 단말기에 대한 스팸 메시지 차단 방법
KR100882476B1 (ko) * 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치
KR101062672B1 (ko) * 2010-01-05 2011-09-06 (주)필링크 유해 동영상 검출장치 및 그 방법
KR101237469B1 (ko) * 2011-05-12 2013-02-26 재단법인 서울호서직업전문학교 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체
KR101394597B1 (ko) * 2012-05-09 2014-05-27 김명훈 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US8786662B2 (en) * 2012-08-11 2014-07-22 Nikola Vladimir Bicanic Successive real-time interactive video sessions
WO2014090262A1 (en) * 2012-12-11 2014-06-19 Unify Gmbh & Co. Kg Method of processing video data, device, computer program product, and data construct
US20150070516A1 (en) * 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
EP2887625A1 (en) * 2013-12-19 2015-06-24 Alcatel Lucent Method for real-time reporting and prevention of call abuse
US9646227B2 (en) * 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US9503456B1 (en) * 2015-01-22 2016-11-22 Google Inc. Video chat abuse detection based on external context
WO2017004241A1 (en) * 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법

Also Published As

Publication number Publication date
US20200154078A1 (en) 2020-05-14
US10701315B2 (en) 2020-06-30
WO2018221824A1 (en) 2018-12-06
KR20180129562A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
KR101967658B1 (ko) 영상 통화 장치 및 영상 통화 방법
KR101932844B1 (ko) 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
KR102283972B1 (ko) 통신 장치, 서버 및 동작 방법
KR20190056538A (ko) 서버 및 그것의 동작 방법
EP4096222A1 (en) Live broadcast assistance method and electronic device
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US11102450B2 (en) Device and method of displaying images
US11394922B2 (en) Terminal and operating method thereof
US11553157B2 (en) Device and method of displaying images
KR20190016671A (ko) 통신 장치, 서버 및 통신 방법
CA3086381C (en) Method for detecting the possible taking of screenshots
KR102293416B1 (ko) 통신 장치, 서버 및 그것의 통신 방법
CN106330864B (zh) 验证信息的处理方法、装置及系统
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
KR102315211B1 (ko) 단말기 및 그것의 동작 방법
KR101967651B1 (ko) 영상 표시 방법, 장치 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)