KR102287704B1 - 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 - Google Patents
단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 Download PDFInfo
- Publication number
- KR102287704B1 KR102287704B1 KR1020200012270A KR20200012270A KR102287704B1 KR 102287704 B1 KR102287704 B1 KR 102287704B1 KR 1020200012270 A KR1020200012270 A KR 1020200012270A KR 20200012270 A KR20200012270 A KR 20200012270A KR 102287704 B1 KR102287704 B1 KR 102287704B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- terminal
- data set
- validation
- buffer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000010200 validation analysis Methods 0.000 claims abstract description 65
- 239000000872 buffer Substances 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 19
- 230000002950 deficient Effects 0.000 claims description 8
- 238000011017 operating method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 206010034912 Phobia Diseases 0.000 description 4
- 208000019899 phobic disease Diseases 0.000 description 4
- 230000001568 sexual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 206010027783 Moaning Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013502 data validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004392 genitalia Anatomy 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009329 sexual behaviour Effects 0.000 description 2
- 210000004916 vomit Anatomy 0.000 description 2
- 230000008673 vomiting Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
Abstract
단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 단말기의 동작 방법은, 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계, 상기 제1 단말기에서 획득된 데이터를 상기 제2 단말기에 전송하는 단계, 상기 제2 단말기에서, 상기 제1 단말기로부터 수신한 상기 데이터를 미리 설정된 크기의 버퍼에 순차적으로 저장하는 단계, 상기 제2 단말기에서, 상기 버퍼에 저장된 상기 데이터에 대한 유효성 검사를 수행하는 단계 및 상기 유효성 검사 결과에 대응하여 상기 데이터를 처리하는 단계를 포함한다.
Description
본 발명은 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 구체적으로는 영상 통화 사용자를 불쾌한 환경에 노출시키지 않는 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말이 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말이 널리 보급되고 있다. 상기 단말의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말을 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말을 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 상기 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말의 통신 기능을 이용하여 상기 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
또한, 동시에, 상기 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 상기 사용자에게 전송할 수 있다. 사용자의 단말에 포함된 디스플레이는 사용자의 단말에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 하는 도중에, 사용자는 상대방으로부터의 부적절한 영상 또는 소리에 노출될 수 있다. 특히, 사용자가 서로 모르는 관계에 있는 상대방과 영상 통화를 하는 도중에, 사용자가 상대방으로부터의 음란한 영상에 노출될 가능성이 높을 수 있다.
영상 통화 사용자를 유해한 환경으로부터 보호하기 위해 다양한 방법들이 고안되고 있으나, 실시간으로 데이터가 송수신되는 과정에서 낮은 레이턴시(latency)를 유지하면서 유해한 요소들을 확실하게 차단하는 방법이 필요하다.
본 발명은 영상 통화 사용자가 유해한 환경에 노출되지 않도록 하는 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 단말기의 동작 방법은, 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계, 상기 제1 단말기에서 획득된 데이터를 상기 제2 단말기에 전송하는 단계, 상기 제2 단말기에서, 상기 제1 단말기로부터 수신한 상기 데이터를 미리 설정된 크기의 버퍼에 순차적으로 저장하는 단계, 상기 제2 단말기에서, 상기 버퍼에 저장된 상기 데이터에 대한 유효성 검사를 수행하는 단계 및 상기 유효성 검사 결과에 대응하여 상기 데이터를 처리하는 단계를 포함한다.
또한, 상기 제2 단말기에서, 상기 데이터를 디코딩(decoding)하는 단계를 더 포함하고, 상기 디코딩하는 단계에서는 상기 유효성 검사를 수행하는 단계에서 유효성 검사가 완료된 데이터를 디코딩할 수 있다.
또한, 상기 유효성 검사를 수행하는 단계에서는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용할 수 있다.
또한, 상기 데이터를 처리하는 단계에서는, 상기 유효성 검사 결과 불량한 요소를 포함하고 있는 데이터를 재생하지 않도록 결정할 수 있다.
또한, 상기 데이터를 처리하는 단계에서는, 상기 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정할 수 있다.
또한, 상기 데이터는 영상 데이터, 음성 데이터 및 텍스트 데이터 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 유효성 검사를 수행하는 단계는, 상기 버퍼에 저장된 제1 데이터 셋에 대한 유효성 검사를 수행하는 단계, 상기 버퍼에 저장된 제2 데이터 셋에 대한 유효성 검사를 수행하는 단계 및 상기 버퍼에 저장된 제3 데이터 셋에 대한 유효성 검사를 수행하는 단계를 포함하고, 상기 제1 내지 제3 데이터 셋은 상기 버퍼에 순차적으로 저장된 데이터 셋일 수 있다.
또한, 상기 유효성 검사를 수행한 결과, 상기 제1 데이터 셋 및 상기 제3 데이터 셋은 불량한 요소를 포함하지 않고, 상기 제2 데이터 셋은 불량한 요소를 포함한 것으로 판단된 경우, 상기 데이터의 처리 방법을 결정하는 단계에서는, 상기 제1 데이터 셋 및 상기 제3 데이터 셋을 재생하도록 결정하고, 상기 제2 데이터 셋은 재생하지 않도록 결정할 수 있다.
또한, 상기 데이터의 처리 방법을 결정하는 단계에서는, 상기 제2 데이터 셋에 포함된 영상 데이터에 블러(blur) 또는 모자이크 처리를 하고, 상기 제2 데이터 셋에 포함된 음성 데이터는 무음(mute) 처리를 하고, 상기 제2 데이터 셋에 포함된 텍스트 데이터는 표시하지 않을 수 있다.
한편, 본 발명에 따른 단말기의 동작 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 단말기는, 상기 단말기와 타 단말기 사이에 영상 통화 세션을 수립하고, 서로 데이터를 송수신하기 위한 통신 인터페이스, 상기 영상 통화 세션을 통해 상기 타 단말기로부터 수신한 데이터를 수신된 시간에 따라 순차적으로 저장하는 데이터 저장부, 상기 데이터 저장부에 저장된 상기 데이터에 대한 유효성 검사를 수행하는 유효성 검사부 및 상기 유효성 검사 결과에 대응하여 상기 데이터를 처리하는 제어부를 포함한다.
또한, 상기 데이터를 디코딩(decoding)하는 디코더를 더 포함하고, 상기 디코더는 상기 유효성 검사부에서 유효성 검사가 완료된 데이터에 대해 디코딩을 수행할 수 있다.
또한, 상기 유효성 검사부는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용할 수 있다.
또한, 상기 제어부는 상기 유효성 검사 결과 불량한 요소를 포함하고 있는 데이터를 재생하지 않도록 결정할 수 있다.
또한, 상기 제어부는 상기 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정할 수 있다.
또한, 상기 데이터는 영상 데이터, 음성 데이터 및 텍스트 데이터 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 유효성 검사부는, 상기 데이터 저장부에 저장된 제1 데이터 셋 내지 제3 데이터 셋에 대한 유효성 검사를 수행하고, 상기 제1 내지 제3 데이터 셋은 상기 데이터 저장부에 순차적으로 저장된 데이터 셋일 수 있다.
또한, 상기 유효성 검사를 수행한 결과, 상기 제1 데이터 셋 및 상기 제3 데이터 셋은 불량한 요소를 포함하지 않고, 상기 제2 데이터 셋은 불량한 요소를 포함한 것으로 판단된 경우, 상기 제어부는 상기 제1 데이터 셋 및 상기 제3 데이터 셋을 재생하도록 결정하고, 상기 제2 데이터 셋은 재생하지 않도록 결정할 수 있다.
또한, 상기 제어부는, 상기 제2 데이터 셋에 포함된 영상 데이터에 블러(blur) 또는 모자이크 처리를 하고, 상기 제2 데이터 셋에 포함된 음성 데이터는 무음(mute) 처리를 하고, 상기 제2 데이터 셋에 포함된 텍스트 데이터는 표시하지 않을 수 있다.
본 발명은 영상 통화 사용자가 유해한 환경에 노출되지 않도록 하는 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
도 1은 본 발명에 따른 단말기가 동작하는 환경을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따라 데이터가 버퍼에 저장되는 동작을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 5는 종래 기술에 따른 단말기의 동작 방법을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 단말기의 구조를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따라 데이터가 버퍼에 저장되는 동작을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 5는 종래 기술에 따른 단말기의 동작 방법을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 단말기의 구조를 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명에 따른 단말기가 동작하는 환경을 개략적으로 나타내는 도면이다. 도 1을 참조하면, 제1 단말기(10), 및 제2 단말기(20)가 동작하는 환경은 서버(100) 및 서버(100)와 서로 연결된 제1 단말기(10), 및 제2 단말기(20)를 포함할 수 있다. 본 발명에 따른 단말기에 대한 설명은 도 1에 도시되는 제1 단말기(10), 및 제2 단말기(20)에 대한 설명으로 대체될 수 있다. 설명의 편의를 위해 도 1에는 두 개의 단말기, 즉 제1 단말기(10), 및 제2 단말기(20) 만을 도시하고 있으나, 두 개 보다 더 많은 수의 단말기가 포함될 수 있다. 추가될 수 있는 단말기에 대하여, 특별히 언급될 설명을 제외하고, 제1 단말기(10), 및 제2 단말기(20)에 대한 설명이 적용될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency Identification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 데이터를 수신할 수 있다. 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나에 전송할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나의 단말기로부터 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 단말을 선택할 수 있다. 예를 들어, 서버(100)는 제1 단말기(10), 및 제2 단말기(20)를 선택할 수 있다.
서버(100)는 상기 선택된 제1 단말기(10), 및 제2 단말기(20) 사이의 통신 연결을 중개할 수 있다. 예컨대, 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 사이의 영상 통화 연결을 중개하거나, 텍스트 송수신 연결을 중개할 수 있다. 서버(100)는 제1 단말기(10)에 대한 연결 정보를 제2 단말기(20)에 전송할 수 있고, 제2 단말기(20)에 대한 연결 정보를 제1 단말기(10)에 전송할 수 있다.
제1 단말기(10)에 대한 연결 정보는 예를 들어, 제1 단말기(10)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 단말기(20)에 대한 연결 정보를 수신한 제1 단말기(10)는 상기 수신된 연결 정보를 이용하여 제2 단말기(20)에의 연결을 시도할 수 있다.
제1 단말기(10)의 제2 단말기(20)에의 연결 시도 또는 제2 단말기(20)의 제1 단말기(10)에의 연결 시도가 성공함으로써, 제1 단말기(10) 및 제2 단말기(20) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)에 영상 또는 소리를 전송할 수 있다. 제1 단말기(10)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩 된 결과물을 제2 단말기(20)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)로부터 영상 또는 소리를 수신할 수 있다. 제1 단말기(10)는 디지털 신호로 인코딩 된 영상 또는 소리를 수신하고, 상기 수신된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 단말기(10)의 사용자 및 제2 단말기(20)의 사용자는 서로 영상 통화를 할 수 있다.
제1 단말기(10), 및 제2 단말기(20)는, 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 제1 단말기(10), 및 제2 단말기(20)는 프로그램 또는 애플리케이션을 실행할 수 있다. 제1 단말기(10), 및 제2 단말기(200) 각각은 서로 동일한 종류의 장치일 수 있고, 서로 다른 종류의 장치일 수도 있다.
도 2는 본 발명의 일 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말기의 동작 방법은, 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계(S110), 제2 단말기에 데이터를 전송하는 단계(S120), 수신한 데이터를 버퍼에 저장하는 단계(S130), 데이터 유효성을 검사하는 단계(S140), 및 데이터를 처리하는 단계(S150)를 포함한다.
단계(S110)에서는 두 개의 단말기 즉, 제1 단말기(10)와 제2 단말기(20) 사이에 영상 통화 세션을 수립한다. 상기 영상 통화 세션은 도 1을 참조로 하여 설명한 서버(100)에 의해 수립되거나, 제1 단말기(10) 및 제2 단말기(20)에 의하여 능동적으로 수립될 수 있다.
단계(S120)에서는 제1 단말기(10)에서 획득된 데이터를 제2 단말기(20)에 전송한다. 상기 영상 통화 세션을 통해 제1 단말기(10)와 제2 단말기(20)는 서로 데이터를 주고받을 수 있다. 상기 데이터는 영상, 음성, 및 텍스트 중 적어도 어느 하나를 포함할 수 있다. 제1 단말기(10)에서 생성된 데이터가 제2 단말기(20)로 전송되는 경우, 제1 단말기(10)에서 생성된 데이터는 인코딩(encoding) 되어 제2 단말기(20)로 전송되고, 인코딩 된 데이터는 제2 단말기(20)에서 디코딩(decoding) 될 수 있다. 제2 단말기(20)에서 생성된 데이터가 제1 단말기(10)로 전송되는 경우에는 제2 단말기(20)에서 인코딩 된 데이터가 제1 단말기(10)에서 디코딩 될 수 있다.
단계(S130)에서는, 제2 단말기(20)에서, 제1 단말기(10)로부터 수신한 데이터를 미리 설정된 크기의 버퍼에 순차적으로 저장한다. 예를 들어, 상기 버퍼의 크기가 n bytes 로 미리 설정되어 있는 경우, 제1 단말기(10)로부터 수신되는 데이터는 제2 단말기(20)의 버퍼에 n bytes 단위로 저장될 수 있다. 특정한 시간 구간 동안에 제1 단말기(10)로부터 10Хn bytes의 데이터가 제2 단말기(20)로 전송되는 경우, 상기 데이터는 제1 단말기(10)로부터 전송되는 순서에 따라 n bytes 단위로 상기 버퍼에 순차적으로 저장될 수 있다. 한편, 여기서 상기 버퍼의 크기는 전체 버퍼의 크기를 의미할 수 있으나 수신한 데이터를 저장하는 단위 버퍼의 크기를 의미할 수도 있다.
한편, 상기 단위 버퍼의 크기는 일정한 시간에 대응하여 결정될 수 있다. 예를 들어, 상기 단위 버퍼의 크기는 1ms에 대응하는 데이터의 크기로 결정될 수 있다. 이때, 상기 단위 버퍼에는 1ms에 대응하는 데이터가 수신된 순서대로 전체 버퍼에 순차적으로 저장될 수 있다.
단계(S140)에서는, 제2 단말기(20)에서, 상기 버퍼에 저장된 데이터에 대한 유효성 검사를 수행한다. 상기 유효성 검사는 제1 단말기(10)로부터 수신된 데이터가 유효(valid)한지 여부를 검사하는 것으로 데이터 자체의 유효성과 더불어 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 검사하는 것을 포함한다.
예를 들어, 상기 데이터는 영상 데이터(image data), 음성 데이터(audio data), 및 텍스트 데이터(text data) 중 적어도 어느 하나를 포함할 수 있으며, 단계(S140)에서는 상기 영상 데이터, 음성 데이터 또는 텍스트 데이터에 불량한 요소가 포함되어 있는지 여부를 검사할 수 있다.
일 실시예에서, 단계(S140)에서는, 상기 데이터에 포함된 영상 데이터가 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다.
또한, 단계(S140)에서는, 상기 데이터에 포함된 음성 데이터 또는 텍스트 데이터가 욕설, 협박성(intimidatory) 발언, 혐오성 발언, 반사회적 발언, 반인류적 발언, 성적인 발언, 범죄성(criminality) 발언 또는 모욕적인 발언 중 적어도 어느 하나에 대응하는 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다. 또는, 상기 데이터에 포함된 음성 데이터가 신음, 헐떡이는 소리(gasping sound), 비명 또는 괴성 중에서 적어도 하나 이상의 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다. 다른 예로서, 상기 데이터에 포함된 음성 데이터가 굉음, 총성, 구토 소리(vomit sound), 타격 소리(hit sound), 채찍 소리(whip sound), 칼 소리(knife sound), 휘두르는 소리(swing sound), 찌르는 소리(stab sound), 톱 소리(saw sound), 쇳소리(grating sound), 삐걱거리는 소리(creaking sound), 특정한 임계값 이상의 피치(pitch)를 갖는 소리, 또는 특정한 임계값 이상의 크기(loudness)를 갖는 소리 중 적어도 하나 이상의 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다.
한편, 다른 실시예에서, 단계(S140)에서는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용할 수 있다. 상기 기계학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 상기 기계학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 상기 기계학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
상기 기계학습 모델은 적어도 하나 이상의 영상, 음성 또는 텍스트, 및 상기 적어도 하나 이상의 영상, 음성 또는 텍스트가 불량한 요소를 포함하는지 여부에 대한 정보를 이용하여 학습(train)된 분류 모델(classification model)일 수 있다. 상기 기계학습 모델은 임의의 영상, 음성 또는 텍스트에 포함된 적어도 하나 이상의 특징점을 입력값으로 이용할 수 있다. 상기 기계학습 모델은 상기 적어도 하나 이상의 특징점이 불량한 요소에 대응하는지 여부를 예측(predict)할 수 있다.
상기 기계학습 모델은 딥 러닝(deep learning) 알고리즘을 이용하여 학습될 수 있다. 상기 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Network), 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망(Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Network) 중에서 적어도 하나 이상을 포함할 수 있다.
상기 기계학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있다. 상기 기계학습 모델은 AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
한편, 본 발명의 다른 실시예에서, 단계(S140)는 상기 버퍼에 저장된 제1 데이터 셋(data set)에 대한 유효성 검사를 수행하는 단계, 상기 버퍼에 저장된 제2 데이터 셋에 대한 유효성 검사를 수행하는 단계, 및 상기 버퍼에 저장된 제3 데이터 셋에 대한 유효성 검사를 수행하는 단계를 포함할 수 있고, 여기서 상기 제1 내지 제3 데이터 셋은 상기 버퍼에 순차적으로 저장된 데이터 셋일 수 있다.
따라서, 단계(S110)에서 상기 영상 통화 세션이 수립된 이후에 단계(S120) 내지 단계(S150)는 상기 단위 버퍼에 저장된 데이터 셋에 대하여 반복적으로 수행되는 것으로 이해할 수 있다.
상기 영상 통화 세션이 수립되어 제1 단말기(10)와 제2 단말기(20) 사이에 데이터 전송이 실시간으로 연속적으로 일어나는 경우, 상기 버퍼에 순차적으로 저장된 데이터에 대해 연속적인 유효성 검사가 수행될 수 있다. 유효성 검사가 완료된 데이터 셋은 단계(S150)로 전달되고, 해당 데이터 셋 이후에 저장된 데이터 셋에 대한 유효성 검사가 수행될 수 있다.
단계(S150)에서는 상기 유효성 검사 결과에 대응하여 상기 데이터를 처리한다. 일 실시예에서, 단계(S150)에서는 단계(S140)에서의 유효성 검사 결과 상기 데이터에 불량한 요소가 포함되어 있다고 판단된 경우, 제2 단말기(20)에서 해당 데이터를 재생하지 않도록 결정할 수 있다.
예를 들어, 순차적으로 버퍼에 저장된 데이터를 수신된 순서에 따라 검사하고, 불량한 요소를 포함하고 있는 데이터는 재생하지 않도록 결정할 수 있다. 영상 데이터에 불량한 요소가 포함되어 있는 경우, 해당 데이터는 제2 단말기(20)의 디스플레이를 통해 재생되지 않을 수 있다. 음성 데이터에 불량한 요소가 포함되어 있는 경우, 해당 데이터는 제2 단말기(20)의 스피커를 통해 재생되지 않을 수 있다.
n 번째 저장된 데이터(제n 데이터)에 불량한 요소가 포함되어 있는 경우, 상기 제n 데이터는 재생되지 않을 수 있고, n+1 번째 저장된 데이터(제n+1 데이터)에 대한 유효성 검사가 수행될 수 있다. 상기 제n+1 데이터에 불량한 요소가 포함되지 않은 것으로 판단되는 경우, 상기 제n+1 데이터는 제2 단말기(20)에서 정상적으로 재생되고 n+2 번째 저장된 데이터(제n+2 데이터)에 대한 유효성 검사가 수행될 수 있다. 상기 제n+2 데이터의 재생 여부는 단계(S140)에서의 유효성 검사 결과에 따라 단계(S150)에서 결정될 수 있다.
한편, 단계(S150)에서는 상기 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정할 수 있다. 예를 들어, 영상 데이터에 불량한 요소가 포함되어 있는 경우에는, 이전 데이터 셋(data set)에 포함된 영상 데이터를 재생하거나 상기 불량한 요소가 포함되어 있는 영상 데이터를 블러(blur) 또는 모자이크(mosaic) 처리한 영상을 대체 영상으로 재생하도록 결정할 수 있다. 음성 데이터에 불량한 요소가 포함되어 있는 경우에는, 이전 데이터 셋에 포함된 음성 데이터를 재생하거나 상기 불량한 요소가 포함되어 있는 음성 데이터를 음소거(mute) 처리할 수 있다. 또는, 텍스트 데이터에 불량한 요소가 포함되어 있는 경우에는, 해당 텍스트 데이터를 표시하지 않거나 불량한 요소가 포함되어 있음을 알리는 메시지를 표시하도록 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따라 데이터가 버퍼에 저장되는 동작을 개략적으로 나타내는 도면이다.
도 3을 참조하면, 영상 통화 세션을 통해 연결된 상대 단말기로부터 전송되는 데이터는 크기 m의 버퍼에 순차적으로 저장될 수 있다. 이때, 상기 버퍼의 크기 m은 미리 결정된 크기의 바이트(bytes)에 대응하거나, 미리 결정된 시간에 대응할 수 있다.
도 3에서 제n-1 데이터 셋(data set n-1), 제n 데이터 셋(data set n), 및 제n+1 데이터 셋(data set n+1)은 상기 상대 단말기로부터 순차적으로 전송된 것으로 이해할 수 있다.
상기 버퍼에 저장된 상기 제n-1 데이터 셋(data set n-1) 내지 상기 제n+1 데이터 셋(data set n+1)에 대해 순차적으로 유효성 검사가 이루어질 수 있다. 상기 유효성 검사는 도 2를 참조로 하여 설명한 단계(S140)에 대응하며, 상기 유효성 검사가 완료된 데이터 셋은 단계(S150)에 대응하는 데이터 처리 단계를 거치게 된다.
도 3에 도시되는 버퍼가 도 1 및 도 2를 참조로 하여 설명한 제2 단말기(20)에 포함되는 구성 요소인 경우, 상기 제n-1 데이터 셋(data set n-1) 내지 상기 제n+1 데이터 셋(data set n+1)은 제1 단말기(10)로부터 순차적으로 전송된 것으로 이해할 수 있다.
상기 제n-1 데이터 셋(data set n-1) 내지 상기 제n+1 데이터 셋(data set n+1)의 크기는 서로 같은 것으로 이해할 수 있다. 또는, 상기 제n-1 데이터 셋(data set n-1) 내지 상기 제n+1 데이터 셋(data set n+1)의 재생시간 또한 서로 같은 것으로 이해할 수 있다.
즉, 상기 제n-1 데이터 셋(data set n-1) 내지 상기 제n+1 데이터 셋(data set n+1)이 저장되는 공간은 상기 버퍼에 포함되는 각각의 단위 버퍼로 정의될 수 있으며, FIFO(First In First Out) 방식으로 순차적인 데이터 처리가 이루어질 수 있다. 상기 버퍼에 저장된 데이터(또는, 데이터 셋)에 대하여 순차적으로 유효성 검사 및 상기 유효성 검사 결과에 따른 처리가 수행될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 개략적으로 나타내는 순서도이다.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 단말기의 동작 방법은, 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계(S210), 제2 단말기에 데이터를 전송하는 단계(S220), 수신한 데이터를 버퍼에 저장하는 단계(S230), 데이터 유효성 검사를 수행하는 단계(S240), 데이터를 디코딩(decoding)하는 단계(S250), 및 데이터를 처리하는 단계(S260)를 포함한다. 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계(S210), 제2 단말기에 데이터를 전송하는 단계(S220), 수신한 데이터를 버퍼에 저장하는 단계(S230), 데이터 유효성 검사를 수행하는 단계(S240), 및 데이터를 처리하는 단계(S260)에서는, 도 2를 참조로 하여 설명한 단계(S110) 내지 단계(S150)와 실질적으로 동일한 동작이 수행되므로 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.
제1 단말기(10)에서 전송되는 데이터는 디지털(digital) 데이터로 인코딩(encoding)되어 압축된 형태로 제2 단말기(20)로 전송되며, 단계(S250)에서는 인코딩된 데이터를 디코딩(decoding)하는 동작이 수행된다. 단계(S250)에서는 유효성 검사가 완료된 데이터에 대해 데이터 디코딩을 수행하며, 상기 유효성 검사 결과에 대응하여 단계(S260)에서 데이터 처리가 이루어진다. 단계(S240)에서 상기 유효성 검사를 통과하지 못한 데이터, 즉 불량한 요소를 포함하고 있는 데이터는 단계(S250)에서 디코딩 되지 않을 수 있다.
도 3의 버퍼 구조와 마찬가지로, 단계(S250)에서의 데이터 디코딩은 상기 버퍼에 저장된 순서에 따라 수행되고, 하나의 데이터(또는, 데이터 셋)에 대해 디코딩이 완료되면 해당 데이터 이후에 상기 버퍼에 저장된 데이터(또는, 데이터 셋)에 대해 디코딩이 수행된다.
도 5는 종래 기술에 따른 단말기의 동작 방법을 개략적으로 나타내는 도면이다.
도 5를 참조하면, 종래 기술에 따른 단말기는 수신된 데이터에 대해 디코딩(decoding)과 유효성 검사를 동시에 수행한다. 동일한 데이터에 대해 디코딩과 유효성 검사가 동시에 수행되므로 불량한 요소를 포함하고 있는 데이터가 발견되더라도 디코딩 된 데이터가 입출력 인터페이스로 전달되어 단말기의 사용자에게 표시될 수 있다. 따라서, 불량한 요소를 포함하고 있는 데이터의 재생을 중단하더라도 해당 데이터의 일부는 사용자에게 노출될 수 밖에 없는 문제를 가지게 된다.
종래 기술에 따른 단말기는 디코딩과 유효성 검사를 동시에 수행함으로써 데이터 통신에 수반되는 지연(latency)을 줄일 수 있으나 User Health 측면에서는 바람직하지 않다.
이에 반해, 본 발명에 따른 단말기의 동작 방법에 따르면, 유효성 검사를 통과하지 않은 데이터에 대해서는 디코딩이 수행되지 않고, 상기 입출력 인터페이스로 전달되더라도 사용자에게는 정상적으로 표시되지 않을 수 있다. 따라서, 사용자 경험을 해칠 수 있는 불량한 요소를 원천적으로 차단하는 효과를 기대할 수 있다.
도 6은 본 발명의 일 실시예에 따른 단말기의 구조를 개략적으로 나타내는 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 단말기(30)는 통신 인터페이스(31), 데이터 저장부(32), 유효성 검사부(33), 및 제어부(34)를 포함한다. 도 1의 제1 단말기(10), 제2 단말기(20)는 도 6에 도시되는 단말기(30)와 실질적으로 동일한 구성요소를 포함할 수 있다.
통신 인터페이스(31)는 단말기(30)와 타 단말기 사이에 영상 통화 세션을 수립하고, 상기 타 단말기와 서로 데이터를 송수신할 수 있도록 한다. 단말기(30)에는 영상 통화를 실행하는 애플리케이션(application)이 설치되어 있고, 이와 동일한 애플리케이션이 설치되어 있는 타 단말기와 영상 통화를 수행할 수 있다. 통신 인터페이스(31)는 단말기(30)로부터의 영상 통화 요청을 상대방 단말기에 전송하거나, 상대방 단말기로부터 영상 통화 요청을 수신할 수 있다. 그리고, 단말기(30)의 정보를 상대방 단말기에 전송하거나 상대방 단말기의 정보를 수신할 수 있으며, 단말기 정보를 이용하여 영상 통화 세션을 수립할 수 있다.
상기 영상 통화 세션이 수립되면, 통신 인터페이스(31)는 단말기(30)에서 획득된 데이터를 상기 타 단말기에 전송할 수 있다. 상기 데이터는 영상, 음성, 및 텍스트 중 적어도 어느 하나를 포함할 수 있다. 단말기(30)에서 생성된 데이터가 상기 타 단말기로 전송되는 경우, 단말기(30)에서 생성된 데이터는 인코딩(encoding) 되어 상기 타 단말기로 전송되고, 인코딩 된 데이터는 상기 타 단말기에서 디코딩(decoding) 될 수 있다. 상기 타 단말기에서 생성된 데이터가 단말기(30)로 전송되는 경우에는 상기 타 단말기에서 인코딩 된 데이터가 단말기(30)에서 디코딩 될 수 있다. 따라서, 단말기(30)는 인코딩 된 데이터를 디코딩하는 디코더(decoder)를 더 포함할 수 있다. 그리고, 상기 디코더는 유효성 검사부(330)에서 유효성 검사가 완료된 데이터에 대해 디코딩을 수행할 수 있다.
데이터 저장부(32)는 타 단말기로부터 수신한 데이터를 미리 설정된 크기의 버퍼에 순차적으로 저장한다. 예를 들어, 상기 버퍼의 크기가 n bytes 로 미리 설정되어 있는 경우, 상기 타 단말기로부터 수신되는 데이터는 데이터 저장부(32)의 버퍼에 n bytes 단위로 저장될 수 있다. 특정한 시간 구간 동안에 상기 타 단말기로부터 10Хn bytes의 데이터가 단말기(30)로 전송되는 경우, 상기 데이터는 상기 타 단말기로부터 전송되는 순서에 따라 n bytes 단위로 상기 버퍼에 순차적으로 저장될 수 있다. 한편, 여기서 상기 버퍼의 크기는 전체 버퍼의 크기를 의미할 수 있으나 수신한 데이터를 저장하는 단위 버퍼의 크기를 의미할 수도 있다.
한편, 상기 단위 버퍼의 크기는 일정한 시간에 대응하여 결정될 수 있다. 예를 들어, 상기 단위 버퍼의 크기는 1ms에 대응하는 데이터의 크기로 결정될 수 있다. 이때, 상기 단위 버퍼에는 1ms에 대응하는 데이터가 수신된 순서대로 전체 버퍼에 순차적으로 저장될 수 있다.
유효성 검사부(33)는 데이터 저장부(32)에 저장된 데이터에 대한 유효성 검사를 수행한다. 상기 유효성 검사는 상기 타 단말기로부터 수신된 데이터가 유효(valid)한지 여부를 검사하는 것으로, 데이터 자체의 유효성과 더불어 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 검사하는 것을 포함한다.
예를 들어, 상기 데이터는 영상 데이터(image data), 음성 데이터(audio data), 및 텍스트 데이터(text data) 중 적어도 어느 하나를 포함할 수 있으며, 유효성 검사부(33)는 상기 영상 데이터, 음성 데이터 또는 텍스트 데이터에 불량한 요소가 포함되어 있는지 여부를 검사할 수 있다.
일 실시예에서, 유효성 검사부(33)는, 상기 데이터에 포함된 영상 데이터가 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다.
또한, 유효성 검사부(33)는, 상기 데이터에 포함된 음성 데이터 또는 텍스트 데이터가 욕설, 협박성(intimidatory) 발언, 혐오성 발언, 반사회적 발언, 반인류적 발언, 성적인 발언, 범죄성(criminality) 발언 또는 모욕적인 발언 중 적어도 어느 하나에 대응하는 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다. 또는, 상기 데이터에 포함된 음성 데이터가 신음, 헐떡이는 소리(gasping sound), 비명 또는 괴성 중에서 적어도 하나 이상의 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다. 다른 예로서, 상기 데이터에 포함된 음성 데이터가 굉음, 총성, 구토 소리(vomit sound), 타격 소리(hit sound), 채찍 소리(whip sound), 칼 소리(knife sound), 휘두르는 소리(swing sound), 찌르는 소리(stab sound), 톱 소리(saw sound), 쇳소리(grating sound), 삐걱거리는 소리(creaking sound), 특정한 임계값 이상의 피치(pitch)를 갖는 소리, 또는 특정한 임계값 이상의 크기(loudness)를 갖는 소리 중 적어도 하나 이상의 불량한 요소를 포함하고 있는지 여부를 검사할 수 있다.
한편, 다른 실시예에서, 유효성 검사부(33)는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용할 수 있다. 상기 기계학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 상기 기계학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 상기 기계학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
상기 기계학습 모델은 적어도 하나 이상의 영상, 음성 또는 텍스트, 및 상기 적어도 하나 이상의 영상, 음성 또는 텍스트가 불량한 요소를 포함하는지 여부에 대한 정보를 이용하여 학습(train)된 분류 모델(classification model)일 수 있다. 상기 기계학습 모델은 임의의 영상, 음성 또는 텍스트에 포함된 적어도 하나 이상의 특징점을 입력값으로 이용할 수 있다. 상기 기계학습 모델은 상기 적어도 하나 이상의 특징점이 불량한 요소에 대응하는지 여부를 예측(predict)할 수 있다.
상기 기계학습 모델은 딥 러닝(deep learning) 알고리즘을 이용하여 학습될 수 있다. 상기 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Network), 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망(Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Network) 중에서 적어도 하나 이상을 포함할 수 있다.
상기 기계학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있다. 상기 기계학습 모델은 AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
한편, 본 발명의 다른 실시예에서, 유효성 검사부(33)는 데이터 저장부(32)에 저장된 제1 데이터 셋(data set) 내지 제3 데이터 셋에 대한 유효성 검사를 수행할 수 있고, 이 때 상기 제1 내지 제3 데이터 셋은 데이터 저장부(32)에 순차적으로 저장된 데이터 셋을 의미한다.
따라서, 상기 영상 통화 세션이 수립된 이후에 데이터 저장부(32)에 시간적으로 가장 먼저 저장된 데이터 셋에 대하여 저장된 순서에 따라 유효성 검사가 수행되고, 그 이후에 저장된 데이터 셋에 대한 유효성 검사가 수행된다.
상기 영상 통화 세션이 수립되어 단말기(30)와 상기 타 단말기 사이에 데이터 전송이 실시간으로 연속적으로 일어나는 경우, 데이터 저장부(32)에 순차적으로 저장된 데이터에 대해 연속적인 유효성 검사가 수행될 수 있다. 유효성 검사가 완료된 데이터 셋은 데이터 처리 과정을 거치게 되고, 해당 데이터 셋 이후에 저장된 데이터 셋에 대한 유효성 검사가 수행될 수 있다.
제어부(34)는 상기 유효성 검사 결과에 대응하여 상기 데이터를 처리한다. 일 실시예에서 제어부(34)는 유효성 검사부(33)에서의 유효성 검사 결과 데이터에 불량한 요소가 포함되어 있다고 판단된 경우, 단말기(30)에서 해당 데이터를 재생하지 않도록 결정할 수 있다.
예를 들어, 순차적으로 데이터 저장부(32)에 저장된 데이터를 수신된 순서에 따라 검사하고, 불량한 요소를 포함하고 있는 데이터는 재생하지 않도록 결정할 수 있다. 영상 데이터에 불량한 요소가 포함되어 있는 경우, 해당 데이터는 단말기(30)의 디스플레이를 통해 재생되지 않을 수 있다. 음성 데이터에 불량한 요소가 포함되어 있는 경우, 해당 데이터는 단말기(30)의 스피커를 통해 재생되지 않을 수 있다. 상기 디스플레이 및 스피커는 단말기(30) 포함된 입출력 인터페이스(미도시)를 구성할 수 있다.
n 번째 저장된 데이터(제n 데이터)에 불량한 요소가 포함되어 있는 경우, 상기 제n 데이터는 재생되지 않을 수 있고, n+1 번째 저장된 데이터(제n+1 데이터)에 대한 유효성 검사가 수행될 수 있다. 상기 제n+1 데이터에 불량한 요소가 포함되지 않은 것으로 판단되는 경우, 상기 제n+1 데이터는 단말기(30)에서 정상적으로 재생되고 n+2 번째 저장된 데이터(제n+2 데이터)에 대한 유효성 검사가 수행될 수 있다. 상기 제n+2 데이터의 재생 여부는 유효성 검사 결과에 따라 제어부(34)에서 결정될 수 있다.
한편, 제어부(34)는 상기 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정할 수 있다. 예를 들어, 영상 데이터에 불량한 요소가 포함되어 있는 경우에는, 이전 데이터 셋(data set)에 포함된 영상 데이터를 재생하거나 상기 불량한 요소가 포함되어 있는 영상 데이터를 블러(blur) 또는 모자이크(mosaic) 처리한 영상을 대체 영상으로 재생하도록 결정할 수 있다. 음성 데이터에 불량한 요소가 포함되어 있는 경우에는, 이전 데이터 셋에 포함된 음성 데이터를 재생하거나 상기 불량한 요소가 포함되어 있는 음성 데이터를 음소거(mute) 처리할 수 있다. 또는, 텍스트 데이터에 불량한 요소가 포함되어 있는 경우에는, 해당 텍스트 데이터를 표시하지 않거나 불량한 요소가 포함되어 있음을 알리는 메시지를 표시하도록 결정할 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 서버 10: 제1 단말기
20: 제2 단말기 30: 단말기
31: 통신 인터페이스 32: 데이터 저장부
33: 유효성 검사부 34: 제어부
20: 제2 단말기 30: 단말기
31: 통신 인터페이스 32: 데이터 저장부
33: 유효성 검사부 34: 제어부
Claims (19)
- 제1 단말기와 제2 단말기 사이에 영상 통화 세션을 수립하는 단계;
상기 제1 단말기에서 획득된 데이터를 상기 제2 단말기에서 수신하는 단계;
상기 제2 단말기에서, 상기 제1 단말기로부터 수신한 상기 데이터를 버퍼에 순차적으로 저장하는 단계;
상기 제2 단말기에서, 상기 버퍼에 저장된 상기 데이터에 대한 유효성 검사를 수행하는 단계; 및
상기 제2 단말기에서, 상기 유효성 검사 결과에 따라 상기 버퍼에 저장된 상기 데이터의 재생 여부를 결정하는 단계;
를 포함하는 단말기의 동작 방법. - 제1항에 있어서,
상기 제2 단말기에서, 상기 데이터를 디코딩(decoding)하는 단계;
를 더 포함하고,
상기 디코딩하는 단계에서는 상기 유효성 검사를 수행하는 단계에서 유효성 검사가 완료된 데이터를 디코딩하는 단말기의 동작 방법. - 제1항에 있어서,
상기 유효성 검사를 수행하는 단계에서는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용하는 단말기의 동작 방법. - 제1항에 있어서,
상기 버퍼에 저장된 상기 데이터의 재생 여부를 결정하는 단계는, 상기 유효성 검사 결과 불량한 요소를 포함하고 있는 데이터를 재생하지 않도록 결정하는 단말기의 동작 방법. - 제1항에 있어서,
상기 버퍼에 저장된 상기 데이터의 재생 여부를 결정하는 단계는, 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정하는 단말기의 동작 방법. - 제1항에 있어서,
상기 데이터는 영상 데이터, 음성 데이터 및 텍스트 데이터 중 적어도 어느 하나를 포함하는 단말기의 동작 방법. - 제1항에 있어서,
상기 유효성 검사를 수행하는 단계는,
상기 버퍼에 저장된 제1 데이터 셋에 대한 유효성 검사를 수행하는 단계;
상기 버퍼에 저장된 제2 데이터 셋에 대한 유효성 검사를 수행하는 단계; 및
상기 버퍼에 저장된 제3 데이터 셋에 대한 유효성 검사를 수행하는 단계;
를 포함하고,
상기 제1 내지 제3 데이터 셋은 상기 버퍼에 순차적으로 저장된 데이터 셋인 단말기의 동작 방법. - 제7항에 있어서,
상기 유효성 검사를 수행한 결과, 상기 제1 데이터 셋 및 상기 제3 데이터 셋은 불량한 요소를 포함하지 않고, 상기 제2 데이터 셋은 불량한 요소를 포함한 것으로 판단된 경우,
상기 버퍼에 저장된 상기 데이터의 재생 여부를 결정하는 단계는, 상기 제1 데이터 셋 및 상기 제3 데이터 셋을 재생하도록 결정하고, 상기 제2 데이터 셋은 재생하지 않도록 결정하는 단말기의 동작 방법. - 제8항에 있어서,
상기 버퍼에 저장된 상기 데이터의 재생 여부를 결정하는 단계는,
상기 제2 데이터 셋에 포함된 영상 데이터에 블러(blur) 또는 모자이크 처리를 하고, 상기 제2 데이터 셋에 포함된 음성 데이터는 무음(mute) 처리를 하고, 상기 제2 데이터 셋에 포함된 텍스트 데이터는 표시하지 않는 단말기의 동작 방법. - 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
- 단말기로서,
상기 단말기와 타 단말기 사이에 영상 통화 세션을 수립하고, 서로 데이터를 송수신하기 위한 통신 인터페이스;
상기 영상 통화 세션을 통해 상기 타 단말기로부터 수신한 데이터를 수신된 시간에 따라 순차적으로 저장하는 데이터 저장부;
상기 데이터 저장부에 저장된 상기 데이터에 대한 유효성 검사를 수행하는 유효성 검사부; 및
상기 유효성 검사 결과에 대응하여 상기 데이터 저장부에 저장된 상기 데이터의 재생 여부를 결정하는 제어부;
를 포함하는 단말기. - 제11항에 있어서,
상기 데이터를 디코딩(decoding)하는 디코더;
를 더 포함하고,
상기 디코더는 상기 유효성 검사부에서 유효성 검사가 완료된 데이터에 대해 디코딩을 수행하는 단말기. - 제11항에 있어서,
상기 유효성 검사부는 상기 데이터에 불량한 요소가 포함되어 있는지 여부를 판단하기 위한 기계학습 모델을 이용하는 단말기. - 제11항에 있어서,
상기 제어부는 상기 유효성 검사 결과 불량한 요소를 포함하고 있는 데이터를 재생하지 않도록 결정하는 단말기. - 제14항에 있어서,
상기 제어부는 상기 불량한 요소를 포함하고 있는 데이터에 대응하는 시간동안 대체 데이터를 재생하도록 결정하는 단말기. - 제11항에 있어서,
상기 데이터는 영상 데이터, 음성 데이터 및 텍스트 데이터 중 적어도 어느 하나를 포함하는 단말기. - 제11항에 있어서,
상기 유효성 검사부는,
상기 데이터 저장부에 저장된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋에 대한 유효성 검사를 수행하고,
상기 제1 내지 제3 데이터 셋은 상기 데이터 저장부에 순차적으로 저장된 데이터 셋인 단말기. - 제17항에 있어서,
상기 유효성 검사를 수행한 결과, 상기 제1 데이터 셋 및 상기 제3 데이터 셋은 불량한 요소를 포함하지 않고, 상기 제2 데이터 셋은 불량한 요소를 포함한 것으로 판단된 경우,
상기 제어부는 상기 제1 데이터 셋 및 상기 제3 데이터 셋을 재생하도록 결정하고, 상기 제2 데이터 셋은 재생하지 않도록 결정하는 단말기. - 제18항에 있어서,
상기 제어부는,
상기 제2 데이터 셋에 포함된 영상 데이터에 블러(blur) 또는 모자이크 처리를 하고, 상기 제2 데이터 셋에 포함된 음성 데이터는 무음(mute) 처리를 하고, 상기 제2 데이터 셋에 포함된 텍스트 데이터는 표시하지 않는 단말기.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012270A KR102287704B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
| US17/161,893 US11496709B2 (en) | 2020-01-31 | 2021-01-29 | Terminal, operating method thereof, and computer-readable recording medium |
| JP2021013354A JP2021125881A (ja) | 2020-01-31 | 2021-01-29 | 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体 |
| EP21154225.3A EP3860135A1 (en) | 2020-01-31 | 2021-01-29 | Terminal, operating method thereof, and computer-readable recording medium |
| JP2022173296A JP2023015166A (ja) | 2020-01-31 | 2022-10-28 | 端末機、その動作方法およびコンピュータ読み取り可能な記録媒体 |
| US18/053,289 US20230094732A1 (en) | 2020-01-31 | 2022-11-07 | Terminal, Operating Method Thereof, and Computer-Readable Recording Medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012270A KR102287704B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102287704B1 true KR102287704B1 (ko) | 2021-08-10 |
Family
ID=74418219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012270A KR102287704B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11496709B2 (ko) |
| EP (1) | EP3860135A1 (ko) |
| JP (2) | JP2021125881A (ko) |
| KR (1) | KR102287704B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
| KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
| KR102282963B1 (ko) | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
| KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
| US11622147B2 (en) * | 2021-07-22 | 2023-04-04 | Popio Mobile Video Cloud, Llc | Blurring digital video streams upon initiating digital video communications |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190007934A (ko) * | 2017-07-14 | 2019-01-23 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 동작 방법 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0690279A (ja) * | 1992-09-08 | 1994-03-29 | Fujitsu General Ltd | イタズラ電話撃退装置 |
| US20030028875A1 (en) * | 2001-05-02 | 2003-02-06 | Koninklijke Philips Electronics N.V. | Television access control system |
| GB0709574D0 (en) | 2007-05-18 | 2007-06-27 | Aurix Ltd | Speech Screening |
| US20090041311A1 (en) * | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
| JP2008159034A (ja) * | 2007-11-07 | 2008-07-10 | Fujitsu Ltd | サーバおよび音声信号収集配信方法 |
| US20090288131A1 (en) * | 2008-05-13 | 2009-11-19 | Porto Technology, Llc | Providing advance content alerts to a mobile device during playback of a media item |
| US8441356B1 (en) | 2009-02-16 | 2013-05-14 | Handhold Adaptive, LLC | Methods for remote assistance of disabled persons |
| JP2011082694A (ja) | 2009-10-05 | 2011-04-21 | Sharp Corp | 通信会議システム及び通信装置 |
| JP2011205243A (ja) | 2010-03-24 | 2011-10-13 | Sharp Corp | 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム |
| US8826322B2 (en) * | 2010-05-17 | 2014-09-02 | Amazon Technologies, Inc. | Selective content presentation engine |
| US20130234826A1 (en) | 2011-01-13 | 2013-09-12 | Nikon Corporation | Electronic device and electronic device control program |
| JP5771998B2 (ja) | 2011-01-13 | 2015-09-02 | 株式会社ニコン | 電子機器および電子機器の制御プログラム |
| US9531998B1 (en) * | 2015-07-02 | 2016-12-27 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
| EP3164200A4 (en) * | 2014-07-03 | 2018-02-28 | Krush Technologies, LLC | Electronically mediated reaction game |
| JP6492638B2 (ja) | 2014-12-25 | 2019-04-03 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| WO2016189350A1 (en) | 2015-05-23 | 2016-12-01 | Yogesh Chunilal Rathod | Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s) |
| KR20170059201A (ko) | 2015-11-20 | 2017-05-30 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 컨텐츠 출력 방법 |
| US10104025B2 (en) | 2016-05-23 | 2018-10-16 | Oath Inc. | Virtual chat rooms |
| KR20180039402A (ko) | 2016-10-10 | 2018-04-18 | 주식회사 하이퍼커넥트 | 영상 표시 장치 및 영상 표시 방법 |
| US10349126B2 (en) * | 2016-12-19 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and apparatus for filtering video |
| KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
| KR101967658B1 (ko) * | 2017-05-27 | 2019-04-29 | 주식회사 하이퍼커넥트 | 영상 통화 장치 및 영상 통화 방법 |
| KR102056806B1 (ko) * | 2017-12-15 | 2019-12-18 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말과 서버 |
| WO2019217251A1 (en) | 2018-05-05 | 2019-11-14 | Tangosquared Llc | Novel decency filtration tools and their use in interfacing systems |
| JP2020010158A (ja) | 2018-07-06 | 2020-01-16 | 本田技研工業株式会社 | 周辺画像の提供方法、及び通信端末用プログラム |
| US10440324B1 (en) * | 2018-09-06 | 2019-10-08 | Amazon Technologies, Inc. | Altering undesirable communication data for communication sessions |
| KR102266888B1 (ko) | 2018-12-31 | 2021-06-21 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말기 및 서버 |
| US20200335089A1 (en) | 2019-04-16 | 2020-10-22 | International Business Machines Corporation | Protecting chat with artificial intelligence |
| WO2020250082A1 (ja) | 2019-06-14 | 2020-12-17 | 株式会社半導体エネルギー研究所 | ユーザーの感情に応じた動作を実行する情報処理装置 |
| US11330313B2 (en) | 2019-08-02 | 2022-05-10 | Dell Products L.P. | Crowd rating media content based on micro-expressions of viewers |
| KR102311603B1 (ko) | 2019-10-01 | 2021-10-13 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
-
2020
- 2020-01-31 KR KR1020200012270A patent/KR102287704B1/ko active IP Right Grant
-
2021
- 2021-01-29 EP EP21154225.3A patent/EP3860135A1/en not_active Withdrawn
- 2021-01-29 JP JP2021013354A patent/JP2021125881A/ja active Pending
- 2021-01-29 US US17/161,893 patent/US11496709B2/en active Active
-
2022
- 2022-10-28 JP JP2022173296A patent/JP2023015166A/ja active Pending
- 2022-11-07 US US18/053,289 patent/US20230094732A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190007934A (ko) * | 2017-07-14 | 2019-01-23 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3860135A1 (en) | 2021-08-04 |
| US11496709B2 (en) | 2022-11-08 |
| JP2021125881A (ja) | 2021-08-30 |
| US20210243408A1 (en) | 2021-08-05 |
| US20230094732A1 (en) | 2023-03-30 |
| JP2023015166A (ja) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102287704B1 (ko) | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 | |
| US11227129B2 (en) | Language translation device and language translation method | |
| CN107277423B (zh) | 丢包重传的方法及装置 | |
| US8489696B2 (en) | Instant messaging exchange incorporating user-generated multimedia content | |
| KR102282963B1 (ko) | 단말기, 서버 및 그것의 동작 방법 | |
| CN108920128B (zh) | 演示文稿的操作方法及系统 | |
| CN113362812B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN107135452A (zh) | 助听器适配方法及装置 | |
| KR20220024339A (ko) | 신고 평가 장치 및 그것의 동작 방법 | |
| US20220148603A1 (en) | Method for encoding live-streaming data and encoding device | |
| JP4957119B2 (ja) | 情報処理装置 | |
| US10742817B1 (en) | Conference call notification and setup configuration | |
| US11580954B2 (en) | Systems and methods of handling speech audio stream interruptions | |
| CN116758896A (zh) | 会议音频语种调整方法、装置、电子设备和存储介质 | |
| CN110942782A (zh) | 一种语音压缩、解压缩方法、装置和电子设备 | |
| CN110046276A (zh) | 一种语音中关键词的检索方法和装置 | |
| CN112863499B (zh) | 语音识别方法及装置、存储介质 | |
| CN114449341B (zh) | 音频处理方法、装置、可读介质及电子设备 | |
| US11810588B2 (en) | Audio source separation for audio devices | |
| CN110931028B (zh) | 一种语音处理方法、装置和电子设备 | |
| CN116437253A (zh) | 耳机控制方法、装置、设备及可读存储介质 | |
| CN116798442A (zh) | 一种多应用语音采集的方法、拾音设备及系统 | |
| CN116847020A (zh) | 提示方法、智能终端及存储介质 | |
| CN116229938A (zh) | 音频播放方法、音频转换方法及装置 | |
| CN115762498A (zh) | 语音播放的控制方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |