KR20180039402A - 영상 표시 장치 및 영상 표시 방법 - Google Patents

영상 표시 장치 및 영상 표시 방법 Download PDF

Info

Publication number
KR20180039402A
KR20180039402A KR1020160130656A KR20160130656A KR20180039402A KR 20180039402 A KR20180039402 A KR 20180039402A KR 1020160130656 A KR1020160130656 A KR 1020160130656A KR 20160130656 A KR20160130656 A KR 20160130656A KR 20180039402 A KR20180039402 A KR 20180039402A
Authority
KR
South Korea
Prior art keywords
image
images
sample
terminal
stream
Prior art date
Application number
KR1020160130656A
Other languages
English (en)
Inventor
안상일
정강식
용현택
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020160130656A priority Critical patent/KR20180039402A/ko
Priority to EP17859740.7A priority patent/EP3523960A4/en
Priority to PCT/KR2017/011139 priority patent/WO2018070762A1/en
Priority to JP2019540499A priority patent/JP6843359B2/ja
Priority to US15/729,520 priority patent/US11102450B2/en
Publication of KR20180039402A publication Critical patent/KR20180039402A/ko
Priority to US17/202,006 priority patent/US11553157B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G06K9/00221
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

기재된 실시예는 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 영상 표시 장치 및 영상 표시 방법에 관한 것으로서, 제1단말로부터 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계, 스트림에 포함된 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계, 샘플 영상 중에서 적어도 일부의 샘플 영상에서 안면이 검출되지 않았다고 판정하는 단계, 스트림에 포함된 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하는 단계, 및 스트림에 포함된 복수의 영상을 표시하는 단계를 포함하는 영상 표시 방법이 제공될 수 있다.

Description

영상 표시 장치 및 영상 표시 방법{DEVICE AND METHOD OF DISPLAYING IMAGES}
기재된 실시예는 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 영상 표시 장치 및 영상 표시 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말이 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말이 널리 보급되고 있다. 상기 단말의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말을 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말을 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 상기 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말의 통신 기능을 이용하여 상기 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
또한, 동시에, 상기 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 상기 사용자에게 전송할 수 있다. 사용자의 단말에 포함된 디스플레이는 사용자의 단말에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
상기 사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 상기 사용자의 단말 및 상기 다른 사용자의 단말을 포함한 복수의 단말은 서버에 연결될 수 있다. 서버는 상기 사용자의 단말 및 상기 다른 사용자의 단말 사이를 중개할 수 있다. 따라서, 상기 사용자 및 다른 사용자는 서로 모르는 관계였다고 하더라도 서버의 중개를 통해 서로 영상 통화를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 할 때, 사용자는 상대방으로부터의 음란한 영상에 노출될 수 있다. 특히, 사용자가 서로 모르는 관계에 있는 상대방과 영상 통화를 하는 경우 사용자가 상대방으로부터의 음란한 영상에 노출될 가능성이 높을 수 있다.
예를 들어, 상대방의 단말에 의해 촬영된 상대방의 벌거벗은 신체의 영상이 영상 통화 세션을 통해 사용자의 단말에 수신될 수 있다. 사용자의 단말이 상기 수신된 영상을 표시함으로써 사용자는 음란한 영상에 노출될 수 있다. 사용자가 자신이 원하지 않는 음란한 영상에 노출된 경우 사용자는 성적 수치심 또는 불쾌함을 느낄 수 있다.
기재된 실시예에 따르면 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 음란한 영상에 노출되는 것을 방지할 수 있는 영상 표시 장치 및 영상 표시 방법이 제공될 수 있다.
또한, 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 영상 표시 장치 및 영상 표시 방법이 제공될 수 있다.
또한, 사용자 간의 건전한 영상 통화를 유도할 수 있는 영상 표시 장치 및 영상 표시 방법이 제공될 수 있다.
실시예에 따른 영상 표시 방법은, 제1단말로부터 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계, 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계, 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하는 단계, 및 상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계를 포함할 수 있다.
또한, 상기 영상 처리를 수행하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 대상 영상을 선택하는 단계, 각각의 상기 대상 영상 내에서 적어도 일부의 대상 영역을 선택하는 단계, 및 각각의 상기 대상 영상의 상기 선택된 대상 영역에 상기 영상 처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 안면의 검출을 시도하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 최근의 특정한 시간에 대응하는 적어도 하나 이상의 샘플 영상을 선택하는 단계, 및 상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면의 검출을 시도하는 단계를 포함하고, 상기 안면이 검출되지 않았다고 판정하는 단계는, 상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 안면의 검출을 시도하는 단계는, 특정한 주기마다 상기 스트림 내의 새로이 수신된 영상 중에서 새로운 샘플 영상을 선택하는 단계, 및 상기 새로운 샘플 영상이 선택될 때마다 상기 새로운 샘플 영상에서 상기 안면의 검출을 시도하는 단계를 포함하고, 상기 안면이 검출되지 않았다고 판정하는 단계는, 상기 샘플 영상 중에서 최근의 특정한 시간 이내에 선택된 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 안면의 검출을 시도하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 제1 샘플 영상에서 상기 안면의 검출을 시도하는 단계, 및 상기 스트림 내에서 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상 중에서 선택된 적어도 하나 이상의 제2 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계를 포함하고, 상기 안면이 검출되지 않았다고 판정하는 단계는, 상기 제1 샘플 영상 및 모든 상기 적어도 하나 이상의 제2 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1 샘플 영상 및 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1 샘플 영상, 상기 적어도 하나 이상의 제2 샘플 영상, 및 상기 제1 샘플 영상보다 더 나중에 수신되고 상기 적어도 하나 이상의 제2 샘플 영상 중에서 가장 나중에 수신된 영상보다 더 먼저 수신된 모든 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 안면의 검출을 시도하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 제1시각에 대응하는 제1 샘플 영상 및 상기 제1시각으로부터 특정한 시간 이상의 시간차를 갖는 제2시각에 대응하는 제2 샘플 영상을 포함하는 적어도 둘 이상의 샘플 영상을 선택하는 단계, 및 상기 선택된 적어도 둘 이상의 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계를 포함하고, 상기 안면이 검출되지 않았다고 판정하는 단계는, 상기 선택된 적어도 둘 이상의 샘플 영상 중에서 상기 제1 샘플 영상, 상기 제2 샘플 영상, 및 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 대상 영상을 선택하는 단계는, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 안면이 검출되지 않았다고 판정된 상기 적어도 일부의 샘플 영상에 대응하는 적어도 하나 이상의 영상, 또는 모든 상기 복수의 영상을 상기 대상 영상으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 적어도 일부의 대상 영역을 선택하는 단계는, 각각의 상기 대상 영상 내에서 피부색에 대응하는 영역, 또는 전체 영역을 상기 대상 영역으로서 선택하는 단계를 포함할 수 있다.
또한, 상기 각각의 상기 대상 영상의 상기 선택된 대상 영역에 상기 영상 처리를 수행하는 단계는, 상기 대상 영역을 삭제하거나, 상기 대상 영역에 블러(blur) 효과 또는 모자이크(mosaic) 효과를 적용하거나, 상기 대상 영역의 색상, 명도, 대비 또는 채도를 조절하거나 또는 상기 대상 영역을 다른 영상으로 치환하는 단계를 포함할 수 있다.
또한, 상기 영상 표시 방법은, 상기 영상 처리의 해제에 대한 요청을 수신하는 단계, 및 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 요청이 수신된 후에 수신된 영상을 상기 영상 처리 없이 표시하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 영상 표시 방법은, 제1단말과의 영상 통화 세션을 수립하는 단계, 상기 영상 통화 세션을 통해 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계, 상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계, 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계, 및 상기 영상 통화 세션을 종료하는 단계를 포함할 수 있다.
실시예에 따른 영상 표시 장치는, 제1단말로부터 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 통신부, 상기 스트림에 포함된 상기 복수의 영상을 표시하는 출력부, 및 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 제어부를 포함하고, 만약 상기 제어부가 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하면 상기 제어부는 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하고, 상기 출력부는 상기 영상 처리가 수행된 상기 적어도 하나 이상의 영상을 표시할 수 있다.
기재된 실시예에 따르면 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 음란한 영상에 노출되는 것이 방지될 수 있다.
또한, 실시예에 따르면 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
또한, 실시예에 따르면 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 1은 실시예에 따른 영상 표시 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 영상 표시 방법이 수행되는 과정을 나타내는 순서도이다.
도 4는 실시예에 따른 스트림에 포함된 복수의 영상 중에서 선택된 샘플 영상이다.
도 5는 실시예에 따른 스트림에 포함된 복수의 영상 중에서 선택된 다른 샘플 영상이다.
도 6은 실시예에 따른 영상 처리를 수행하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 7은 실시예에 따른 안면의 검출을 시도하는 단계 내지 대상 영상을 선택하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 8은 실시예에 따른 샘플 영상을 선택하는 방법을 설명하기 위한 참고도이다.
도 9는 다른 실시예에 따른 안면의 검출을 시도하는 단계 내지 대상 영상을 선택하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 10은 또 다른 실시예에 따른 안면의 검출을 시도하는 단계 내지 대상 영상을 선택하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 11은 또 다른 실시예에 따른 샘플 영상을 선택하는 방법을 설명하기 위한 참고도이다.
도 12는 또 다른 실시예에 따른 안면의 검출을 시도하는 단계 내지 대상 영상을 선택하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 13은 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다.
도 14는 다른 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다.
도 15는 또 다른 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다.
도 16은 실시예에 따른 영상 처리가 수행된 영상이다.
도 17은 다른 실시예에 따른 영상 처리가 수행된 영상이다.
도 18은 또 다른 실시예에 따른 영상 처리가 수행된 영상이다.
도 19는 또 다른 실시예에 따른 영상 처리가 수행된 영상이다.
도 20은 다른 실시예에 따른 영상 표시 방법이 수행되는 과정을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 20을 참조하여 실시예에 따른 영상 표시 장치(100, 150) 및 영상 표시 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 표시 장치(100, 150)가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 영상 표시 장치(100, 150)가 동작하는 환경은 제1 영상 표시 장치(100), 및 상기 제1 영상 표시 장치(100)와 서로 연결된 제2 영상 표시 장치(150)를 포함할 수 있다.
다른 실시예에 따르면, 상기 영상 표시 장치(100, 150)가 동작하는 환경은 상기 제1 영상 표시 장치(100) 또는 상기 제2 영상 표시 장치(150)와 서로 연결된 서버(200)를 더 포함할 수 있다. 상기 영상 표시 장치(100, 150)가 동작하는 환경은 상기 서버(200)를 포함하지 않을 수 있다.
제1 영상 표시 장치(100)는 단말일 수 있다. 이하에서는 설명의 편의를 위해 제1 영상 표시 장치(100)를 가리키는 용어로서 제1 영상 표시 장치(100) 및 제1단말(100)을 혼용하기로 한다.
제1단말(100)은 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 제1단말(100)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제1단말(100)은 통신망에 연결될 수 있다. 제1단말(100)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제1단말(100)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
제1단말(100)과 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
도 2는 실시예에 따른 영상 표시 장치(100, 150)의 구성을 나타내는 블록도이다. 도 2를 참조하면, 실시예에 따른 영상 표시 장치(100, 150)는 입력부(101), 제어부(102), 저장부(103), 통신부(104), 및 출력부(105)를 포함할 수 있다.
입력부(101)는 외부로부터 신호를 수신할 수 있다. 입력부(101)는 영상 표시 장치(100, 150)의 사용자로부터 신호를 수신할 수 있다. 또한, 입력부(101)는 외부 장치로부터 신호를 수신할 수 있다. 입력부(101)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치를 포함할 수 있다.
입력부(101)는 입력부(101)에 포함된 카메라를 통해 외부로부터 빛을 수신할 수 있다. 입력부(101)는 외부의 사물로부터 방출된 빛 또는 외부의 사물에서 반사된 빛을 수신할 수 있다. 입력부(101)는 상기 카메라를 통해 영상 표시 장치(100, 150)의 사용자의 영상을 촬영할 수 있다.
입력부(101)는 입력부(101)에 포함된 마이크를 통해 외부로부터 음성을 수신할 수 있다. 입력부(101)는 영상 표시 장치(100, 150)의 사용자로부터 음성을 수신할 수 있다. 또한, 입력부(101)는 외부의 음성 재생 장치로부터 음성을 수신할 수 있다. 입력부(101)는 상기 마이크를 통해 영상 표시 장치(100, 150)의 사용자의 음성을 녹음할 수 있다.
제어부(102)는 영상 표시 장치(100, 150)의 동작을 제어할 수 있다. 제어부(102)는 영상 표시 장치(100, 150)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(102)는 영상 표시 장치(100, 150)에 포함된 각각의 구성요소의 동작을 제어할 수 있다.
제어부(102)는 신호를 처리할 수 있다. 제어부(102)는 입력부(101)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(102)는 입력부(101)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(102)는 입력부(101)에 포함된 카메라에 의해 촬영된 사용자의 영상을 처리할 수 있다. 제어부(102)는 입력부(101)에 포함된 마이크에 의해 녹음된 사용자의 음성을 처리할 수 있다.
제어부(102)는 통신부(104)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(102)는 통신부(104)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(102)는 통신부(104)를 통해 수신된 다른 사용자의 영상 또는 음성을 처리할 수 있다.
제어부(102)는 입력부(101)에 의해 수신된 신호에 대한 응답으로, 영상 표시 장치(100, 150)의 동작을 제어할 수 있다. 제어부(102)는 입력부(101)를 통해 수신된 사용자의 요청에 대한 응답으로, 영상 표시 장치(100, 150)의 동작을 제어할 수 있다.
제어부(102)는 연산을 수행할 수 있다. 제어부(102)는 입력부(101)에 의해 수신된 신호에 따라 연산을 수행할 수 있다. 제어부(102)는 입력부(101)에 의해 수신된 신호 또는 저장부(103)에 저장된 데이터를 이용하여 연산을 수행할 수 있다. 예를 들어, 제어부(102)는 입력부(101)에 포함된 카메라에 의해 촬영된 영상을 인코딩할 수 있다. 제어부(102)는 입력부(101)에 포함된 마이크에 의해 녹음된 음성을 인코딩할 수 있다.
제어부(102)는 통신부(104)에 의해 수신된 다른 사용자의 영상 또는 음성을 디코딩할 수 있다. 제어부(102)는 상기 디코딩된 영상 또는 음성에 후처리(postprocessing)를 수행할 수 있다. 예를 들어, 제어부(102)는 통신부(104)에 의해 수신된 다른 사용자의 영상에 영상 처리(image processing)를 수행할 수 있다.
제어부(102)는 연산 결과가 저장부(103)에 저장되도록 제어할 수 있다. 제어부(102)는 연산 결과가 출력부(105)에 의해 출력되도록 제어할 수 있다.
제어부(102)는 예를 들어, 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU), 마이크로컨트롤러유닛(Micro Controller Unit, MCU), 또는 마이크로프로세서(microprocessor)를 포함할 수 있다.
저장부(103)는 데이터를 저장할 수 있다. 저장부(103)는 제어부(102)가 연산을 수행하는 데에 이용할 데이터를 저장할 수 있다. 저장부(103)는 제어부(102)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(103)는 제어부(102)에 의해 인코딩된 영상 또는 음성을 저장할 수 있다. 저장부(103)는 통신부(104)를 통해 외부로 전송할 데이터를 저장하거나 통신부(104)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(103)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 저장부(103)는 예를 들어, 플래시(flash) 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 등을 포함할 수 있다. 저장부(103)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
통신부(104)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신할 수 있다. 통신부(104)는 다른 영상 표시 장치(100, 150) 또는 서버(200)에 데이터를 전송할 수 있다. 통신부(104)는 다른 영상 표시 장치(100, 150) 또는 서버(200)로부터 데이터를 수신할 수 있다. 통신부(104)는 제어부(102)에 의해 수행된 연산 결과를 외부에 전송할 수 있다. 또한, 통신부(104)는 저장부(103)에 저장된 데이터를 외부에 전송할 수 있다. 통신부(104)는 제어부(102)가 연산을 수행하는 데에 이용할 데이터를 외부로부터 수신할 수 있다.
통신부(104)에 의해 전송될 데이터 또는 통신부(104)에 의해 수신된 데이터는 저장부(103)에 저장될 수 있다. 예를 들어, 통신부(104)는 저장부(103)에 저장된 인코딩된 영상 또는 음성을 서버(200) 또는 다른 영상 표시 장치(100, 150)에 전송할 수 있다. 또한, 통신부(104)는 다른 영상 표시 장치(100, 150)로부터 상기 다른 영상 표시 장치(100, 150)에 의해 인코딩된 영상 또는 음성을 수신할 수 있다.
통신부(104)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(104)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(104)는 기타 네트워크 인터페이스를 포함할 수 있다.
출력부(105)는 외부에 신호를 출력할 수 있다. 출력부(105)는 예를 들어, 화면을 표시하거나, 소리를 재생하거나, 또는 진동을 출력할 수 있다. 출력부(105)는 디스플레이, 스피커, 바이브레이터, 오실레이터, 또는 기타 출력 장치를 포함할 수 있다.
출력부(105)는 화면을 표시할 수 있다. 제어부(102)는 출력부(105)가 화면을 표시하도록 출력부(105)를 제어할 수 있다. 출력부(105)는 사용자 인터페이스를 표시할 수 있다. 출력부(105)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(105)는 데이터를 표시할 수 있다. 출력부(105)는 제어부(102)에 의해 수행된 연산 결과를 표시할 수 있다. 출력부(105)는 저장부(103)에 저장된 데이터를 표시할 수 있다. 출력부(105)는 통신부(104)에 의해 수신된 데이터를 표시할 수 있다.
출력부(105)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(105)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(105)는 터치스크린을 포함할 수 있다.
출력부(105)는 제1 영상 표시 장치(100)에 의해 촬영된 사용자의 영상 또는 제2 영상 표시 장치(150)에 의해 촬영된 다른 사용자의 영상을 표시할 수 있다. 또한, 출력부(105)는 제1 영상 표시 장치(100)에 의해 녹음된 사용자의 음성 또는 제2 영상 표시 장치(150)에 의해 녹음된 다른 사용자의 음성을 재생할 수 있다.
제2 영상 표시 장치(150)는 단말일 수 있다. 이하에서는 설명의 편의를 위해 제2 영상 표시 장치(150)를 가리키는 용어로서 제2 영상 표시 장치(150) 및 제2단말(150)을 혼용하기로 한다.
제2단말(150)은 제1단말(100)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제2단말(150)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제2단말(150)은 통신망에 연결될 수 있다. 제2단말(150)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제2단말(150)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
제2단말(150)은 상기 제1단말(100)과 서로 연결될 수 있다. 제2단말(150)은 상기 통신망을 통해 상기 제1단말(100)과 서로 연결될 수 있다. 제2단말(150)은 제1단말(100)에 데이터를 전송하거나 제1단말(100)로부터 데이터를 수신할 수 있다.
서로 연결된 제1단말(100) 및 제2단말(150)은 서로 메시지, 파일, 음성 데이터, 영상, 또는 동영상 등을 주고 받을 수 있다. 제2단말(150)은 제1단말(100)과의 음성 통화 세션 또는 영상 통화(video call) 세션을 수립할 수 있다. 상기 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 제1단말(100)의 사용자 및 제2단말(150)의 사용자는 서로 음성 통화 또는 영상 통화를 할 수 있다.
상기 영상 통화 세션은 제1단말(100) 및 제2단말(150) 사이에 직접적으로 수립될 수 있다. 다른 실시예에 따르면, 적어도 하나 이상의 다른 장치를 경유하여 제1단말(100) 및 제2단말(150) 사이에 영상 통화 세션이 수립될 수 있다. 예를 들어, 상기 영상 통화 세션은 제1단말(100)과 서버(200) 사이에 수립된 세션 및 서버(200)와 제2단말(150) 사이에 수립된 세션을 포함할 수 있다.
제1단말(100) 및 제2단말(150)은 서로 직접 데이터를 주고 받을 수 있다. 또한, 제1단말(100) 및 제2단말(150)은 서버(200) 또는 다른 중개 장치를 경유하여 서로 데이터를 주고 받을 수 있다.
서버(200)는 제1단말(100) 또는 제2단말(150)과 서로 연결될 수 있다. 서버(200)가 제1단말(100)과 서로 연결된 경우, 서버(200)는 제1단말(100)과 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(200)가 제2단말(150)과 서로 연결된 경우, 서버(200)는 제2단말(150)과 통신망을 통해 서로 데이터를 주고 받을 수 있다.
서버(200)는 제1단말(100)로부터 데이터를 수신할 수 있다. 서버(200)는 제1단말(100)로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(200)는 상기 연산 결과를 제1단말(100) 또는 제2단말(150)에 전송할 수 있다. 서버(200)는 제2단말(150)로부터 데이터를 수신할 수 있다. 서버(200)는 제2단말(150)로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(200)는 상기 연산 결과를 제1단말(100) 또는 제2단말(150)에 전송할 수 있다.
이하에서는, 도 3 내지 도 20을 참조하여 실시예에 따른 영상 표시 방법 내에서의 영상 표시 장치(100, 150)의 보다 구체적인 동작에 대하여 상세히 설명하기로 한다.
도 3은 실시예에 따른 영상 표시 방법이 수행되는 과정을 나타내는 순서도이다. 도 3을 참조하면, 실시예에 따른 영상 표시 방법에서는, 먼저, 제1단말(100)로부터 상기 제1단말(100)에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계(S100)가 수행될 수 있다.
제2단말(150)의 통신부(104)는 제1단말(100)과의 영상 통화 세션을 수립할 수 있다. 제2단말(150)의 통신부(104)는 상기 영상 통화 세션을 통해 제1단말(100)로부터 스트림을 수신할 수 있다. 상기 스트림은 복수의 영상을 포함할 수 있다. 예를 들어, 상기 스트림은 동영상(video) 또는 적어도 둘 이상의 정지 영상(still image)을 포함할 수 있다.
상기 스트림에 포함된 복수의 영상은 제1단말(100)의 입력부(101)에 포함된 카메라에 의해 촬영된 영상일 수 있다. 제2단말(150)은 제1단말(100)에 의해 연속적으로 촬영되고 있는 복수의 영상을 상기 스트림을 통해 연속적으로 수신할 수 있다.
상기 복수의 영상은 제1단말(100)의 사용자의 영상일 수 있다. 예를 들어, 상기 복수의 영상은 제1단말(100)의 사용자의 얼굴의 영상을 포함할 수 있다. 상기 복수의 영상은 제1단말(100)의 사용자의 신체의 영상을 포함할 수 있다.
제2단말(150)은 제1단말(100)로부터 상기 스트림을 직접 수신할 수 있다. 다른 실시예에 따르면, 제2단말(150)은 제1단말(100)로부터 서버(200)를 경유하여 상기 스트림을 수신할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계(S110)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 스트림에 포함된 복수의 영상 중에서 적어도 하나 이상의 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 상기 복수의 영상 중에서 무작위로 또는 특정한 규칙에 따라 샘플 영상을 선택할 수 있다.
예를 들어, 제2단말(150)의 제어부(102)는 특정한 주기마다 상기 스트림 내의 새로이 수신된 영상 중에서 새로운 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 상기 스트림 내에서 가장 최근에 선택된 샘플 영상보다 더 나중에 수신된 모든 영상 중에서 새로운 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 무작위로 또는 특정한 규칙에 따라 상기 새로운 샘플 영상을 선택할 수 있다.
제2단말(150)의 제어부(102)는 상기 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도할 수 있다. 제2단말(150)의 제어부(102)는 예를 들어, OpenCV(Open Source Computer Vision)와 같은 오픈 소스(open source) 라이브러리 또는 다른 상용 프로그램을 이용하여 하나의 영상 내에 사람의 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다. 제2단말(150)의 제어부(102)는 각각의 샘플 영상마다 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
도 4는 실시예에 따른 스트림에 포함된 복수의 영상 중에서 선택된 샘플 영상이다. 또한, 도 5는 실시예에 따른 스트림에 포함된 복수의 영상 중에서 선택된 다른 샘플 영상이다. 제2단말(150)의 제어부(102)는 도 4의 샘플 영상 및 도 5의 샘플 영상 각각에서 안면의 검출을 시도할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S120)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 각각의 샘플 영상마다 안면에 대응하는 부분지 존재하는지 여부를 판정할 수 있다. 상기 판정 결과, 제2단말(150)의 제어부(102)는 상기 샘플 영상 중에서 적어도 하나의 샘플 영상에서 안면이 검출되지 않았다고 판정할 수 있다.
예를 들어, 제2단말(150)의 제어부(102)는 도 4의 영상에서와 같이 제1단말(100)의 사용자의 상반신에 대응하는 샘플 영상에서 안면이 검출되었다고 판정할 수 있다. 그러나, 제2단말(150)의 제어부(102)는 도 5의 영상에서와 같이 제1단말(100)의 사용자의 하반신에 대응하는 샘플 영상에서는 안면이 검출되지 않았다고 판정할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하는 단계(S130)가 수행될 수 있다. 만약 상기와 같이 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정된 경우, 제1단말(100)로부터 수신된 복수의 영상은 음란한 영상을 포함한다고 판정될 수 있다. 예를 들어, 제1단말(100)로부터 수신된 복수의 영상에 도 5와 같은 영상이 포함된 경우, 상기 복수의 영상은 음란한 영상을 포함한다고 판정될 수 있다.
제2단말(150)의 제어부(102)는 제2단말(150)의 사용자가 음란한 영상에 노출되는 것을 방지하기 위하여 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행할 수 있다. 제2단말(150)의 제어부(102)는 모든 상기 복수의 영상에 영상 처리를 수행하거나, 상기 복수의 영상 중에서 선택된 일부의 영상에 영상 처리를 수행할 수 있다.
도 6은 실시예에 따른 영상 처리를 수행하는 단계(S130)가 수행되는 과정을 나타내는 순서도이다. 도 6을 참조하면, 먼저, 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 대상 영상을 선택하는 단계(S131)가 수행될 수 있다.
제2단말(150)의 제어부(102)는 상기 복수의 영상 중에서 영상 처리를 수행할 적어도 하나 이상의 대상 영상을 선택할 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 상기 스트림에 포함된 모든 상기 복수의 영상을 상기 대상 영상으로서 선택할 수 있다.
다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 상기 복수의 영상 중에서, 안면이 검출되지 않았다고 판정된 상기 샘플 영상에 대응하는 적어도 하나 이상의 영상에 영상 처리를 수행할 수 있다. 상기 샘플 영상에 대응하는 영상은 상기 복수의 영상 중에서 상기 샘플 영상이 수신된 시각으로부터 특정한 시간 범위 내에 수신된 모든 영상일 수 있다.
예를 들어, 상기 스트림을 통해 1초당 20개의 영상이 연속적으로 수신된다고 가정하기로 한다. 또한, 4초의 주기가 돌아올 때마다 가장 최근에 수신된 영상이 새로운 샘플 영상으로서 선택된다고 가정하기로 한다. 또한, 2개의 샘플 영상에서 안면이 검출되지 않았다고 판정되었다고 가정하기로 한다. 상기 2개의 샘플 영상이 수신된 시각은 각각 24초 시점 및 32초 시점일 수 있다. 상기 2개의 샘플 영상에 대응하는 영상은 22초 시점으로부터 26초 시점까지의 시간 범위 내에 수신된 약 80개의 영상 및 30초 시점으로부터 34초 시점까지의 시간 범위 내에 수신된 약 80개의 영상일 수 있다.
제2단말(150)의 제어부(102)가 상기 샘플 영상을 선택하는 방법 및 상기 대상 영상을 선택하는 방법은 실시예에 따라 달라질 수 있다. 도 7은 실시예에 따른 안면의 검출을 시도하는 단계(S110) 내지 대상 영상을 선택하는 단계(S131)가 수행되는 과정을 나타내는 순서도이다.
도 7을 참조하면, 먼저, 상기 스트림에 포함된 상기 복수의 영상 중에서 최근의 특정한 시간에 대응하는 적어도 하나 이상의 샘플 영상을 선택하는 단계(S210)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 스트림 내에서 최근의 특정한 시간 동안 수신된 영상 중에서 적어도 하나 이상의 샘플 영상을 선택할 수 있다.
예를 들어, 제2단말(150)의 제어부(102)는 최근의 1초 동안에 수신된 영상 중에서 2개의 샘플 영상을 선택할 수 있다. 도 8은 실시예에 따른 샘플 영상을 선택하는 방법을 설명하기 위한 참고도이다. 도 8을 참조하면, 스트림 내에서 제1영상(301)이 샘플 영상으로서 과거에 이미 선택되어 있을 수 있다. 제2단말(150)의 제어부(102)는 현재로부터 특정한 시간 이전의 시점인 제1시점(t1) 이후에 수신된 영상 중에서 제2영상(302) 및 제3영상(303)을 샘플 영상으로서 추가적으로 선택할 수 있다.
다시 도 7을 참조하면, 다음으로, 상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면의 검출을 시도하는 단계(S211)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 선택된 샘플 영상 각각에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 제2영상(302) 및 제3영상(303)에서 안면의 검출을 시도할 수 있다.
다음으로, 상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S220)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 선택된 샘플 영상에서 안면에 대응하는 부분이 존재하지 않는다고 판정할 수 있다.
제2단말(150)의 제어부(102)는 선택된 샘플 영상 모두에서 안면에 대응하는 부분이 존재하지 않는 경우, 상기 안면이 검출되지 않았다고 판정할 수 있다. 다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 선택된 샘플 영상 중에서 적어도 하나 이상의 샘플 영상에서 안면에 대응하는 부분이 존재하지 않는 경우, 상기 안면이 검출되지 않았다고 판정할 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 제2영상(302) 및 제3영상(303)에서 안면이 검출되지 않았다고 판정할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계(S231)가 수행될 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 최근의 1초 동안에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다. 만약 상기 스트림을 통해 1초당 20개의 영상이 연속적으로 수신되고 있는 경우, 제2단말(150)의 제어부(102)는 최근의 1초 동안에 수신된 약 20개의 영상을 상기 대상 영상으로서 선택할 수 있다. 도 8을 참조하면, 제2단말(150)의 제어부(102)는 제2영상(302) 및 제3영상(303)을 포함하여 현재로부터 특정한 시간 이전의 시점(t1) 이후에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다.
도 9는 다른 실시예에 따른 안면의 검출을 시도하는 단계(S110) 내지 대상 영상을 선택하는 단계(S131)가 수행되는 과정을 나타내는 순서도이다. 도 9를 참조하면, 먼저, 특정한 주기마다 상기 스트림 내의 새로이 수신된 영상 중에서 새로운 샘플 영상을 선택하는 단계(S310)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 특정한 주기마다 가장 최근에 선택된 샘플 영상보다 더 나중에 수신된 모든 영상 중에서 적어도 하나 이상의 새로운 샘플 영상을 선택할 수 있다.
예를 들어, 제2단말(150)의 제어부(102)는 1초마다 2개의 새로운 샘플 영상을 선택할 수 있다. 도 8을 참조하면, 제2단말(150)의 제어부(102)는 제1영상(301)보다 더 나중에 수신된 모든 영상 중에서 제2영상(302) 및 제3영상(303)을 새로운 샘플 영상으로서 선택할 수 있다.
다시 도 9를 참조하면, 다음으로, 상기 새로운 샘플 영상이 선택될 때마다 상기 새로운 샘플 영상에서 상기 안면의 검출을 시도하는 단계(S311)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 특정한 주기마다 새로이 선택된 샘플 영상에서 안면의 검출을 시도할 수 있다.
다음으로, 상기 샘플 영상 중에서 최근의 특정한 시간 이내에 선택된 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S320)가 수행될 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 최근의 1초 이내에 선택된 2개의 샘플 영상에서 안면이 검출되지 않았다고 판정할 수 있다. 다시 말해서, 제2단말(150)의 제어부(102)는 제2영상(302) 및 제3영상(303)에서 안면이 검출되지 않았다고 판정할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계(S331)가 수행될 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 최근의 1초 동안에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다. 만약 상기 스트림을 통해 1초당 20개의 영상이 연속적으로 수신되고 있는 경우, 제2단말(150)의 제어부(102)는 최근의 1초 동안에 수신된 약 20개의 영상을 상기 대상 영상으로서 선택할 수 있다. 도 8을 참조하면, 제2단말(150)의 제어부(102)는 제2영상(302) 및 제3영상(303)을 포함하여 현재로부터 특정한 시간 이전의 시점(t1) 이후에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다.
도 10은 또 다른 실시예에 따른 안면의 검출을 시도하는 단계(S110) 내지 대상 영상을 선택하는 단계(S131)가 수행되는 과정을 나타내는 순서도이다. 도 10을 참조하면, 먼저, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 제1 샘플 영상에서 상기 안면의 검출을 시도하는 단계(S410)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 복수의 영상 중에서 제1 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 상기 제1 샘플 영상에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
도 11은 또 다른 실시예에 따른 샘플 영상을 선택하는 방법을 설명하기 위한 참고도이다. 도 11을 참조하면, 스트림 내에서 제4영상(311)이 샘플 영상으로서 과거에 이미 선택되어 있을 수 있다. 제2단말(150)의 제어부(102)는 제4영상(311)보다 더 나중에 수신된 영상 중에서 제5영상(312)을 상기 제1 샘플 영상으로서 선택할 수 있다.
다음으로, 상기 스트림 내에서 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상 중에서 선택된 적어도 하나 이상의 제2 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계(S411)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 제1 샘플 영상보다 더 나중에 수신된 영상 중에서 적어도 하나 이상의 제2 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 각각의 제2 샘플 영상에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
예를 들어, 도 11을 참조하면, 제2단말(150)의 제어부(102)는 제5영상(312)보다 더 나중에 수신된 영상 중에서 제6영상(313)을 상기 제2 샘플 영상으로서 선택할 수 있다. 제2단말(150)의 제어부(102)는 제6영상(313)에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
다른 예로서, 제2단말(150)의 제어부(102)는 2개의 영상을 상기 제2 샘플 영상으로서 선택할 수 있다. 상기 2개의 영상은 제6영상(313), 및 제5영상(312)보다 더 나중에 수신되고 제6영상(313)보다 더 먼저 수신된 다른 영상을 포함할 수 있다. 제2단말(150)의 제어부(102)는 상기 2개의 영상 각각에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
다시 도 10을 참조하면, 다음으로, 상기 제1 샘플 영상 및 모든 상기 적어도 하나 이상의 제2 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S420)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 제1 샘플 영상 및 제2 샘플 영상에서 안면이 검출되지 않았다고 판정할 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 제5영상(312) 및 제6영상(313)에서 안면이 검출되지 않았다고 판정할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1 샘플 영상 및 제2 샘플 영상에 대응하는 영상을 상기 대상 영상으로서 선택하는 단계(S431)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 제1 샘플 영상 및 제2 샘플 영상에 대응하는 영상을 상기 대상 영상으로서 선택할 수 있다.
예를 들어, 상기 제1 샘플 영상 및 제2 샘플 영상에 대응하는 영상은 상기 복수의 영상 중에서 상기 제1 샘플 영상 및 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상을 포함할 수 있다. 도 11을 참조하면, 제2단말(150)의 제어부(102)는 제5영상(312), 및 제5영상(312)보다 더 나중에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다.
다른 실시예에 따르면, 선택된 대상 영상은 상기 제1 샘플 영상, 상기 적어도 하나 이상의 제2 샘플 영상, 및 주변 영상을 포함할 수 있다. 상기 주변 영상은 상기 제1 샘플 영상보다 더 나중에 수신되고 상기 적어도 하나 이상의 제2 샘플 영상 중에서 가장 나중에 수신된 영상보다 더 먼저 수신된 모든 영상일 수 있다. 도 11을 참조하면, 제2단말(150)의 제어부(102)는 제5영상(312), 제6영상(313), 및 제5영상(312)보다 더 나중에 수신되고 제6영상(313)보다 더 먼저 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다.
도 12는 또 다른 실시예에 따른 안면의 검출을 시도하는 단계(S110) 내지 대상 영상을 선택하는 단계(S131)가 수행되는 과정을 나타내는 순서도이다. 도 12를 참조하면, 먼저, 상기 스트림에 포함된 상기 복수의 영상 중에서 제1시각에 대응하는 제1 샘플 영상 및 상기 제1시각으로부터 특정한 시간 이상의 시간차를 갖는 제2시각에 대응하는 제2 샘플 영상을 포함하는 적어도 둘 이상의 샘플 영상을 선택하는 단계(S510)가 수행될 수 있다.
제2단말(150)의 제어부(102)는 스트림에 포함된 복수의 영상 중에서 제1 샘플 영상을 선택할 수 있다. 상기 제1 샘플 영상이 수신된 시각은 제1시각일 수 있다. 제2단말(150)의 제어부(102)는 제1 샘플 영상이 수신된 시각으로부터 특정한 시간 이상이 지난 후에 수신된 영상을 제2 샘플 영상으로서 선택할 수 있다. 다시 말해서, 제1 샘플 영상이 수신된 시각 및 제2 샘플 영상이 수신된 시각의 시간차는 상기 특정한 시간 이상일 수 있다. 상기 특정한 시간은 예를 들어, 1초일 수 있다.
또한, 제2단말(150)의 제어부(102)는 제1 샘플 영상보다 더 먼저 수신된 영상 중에서 샘플 영상을 추가적으로 선택할 수 있다. 또한, 제2단말(150)의 제어부(102)는 제1 샘플 영상보다 더 나중에 수신되고 제2 샘플 영상보다 더 먼저 수신된 영상 중에서 샘플 영상을 추가적으로 선택할 수 있다. 또한, 제2단말(150)의 제어부(102)는 제2 샘플 영상보다 더 나중에 수신된 영상 중에서 샘플 영상을 추가적으로 선택할 수 있다.
예를 들어, 도 11을 참조하면, 제2단말(150)의 제어부(102)는 스트림 내에서 임의의 제2시점(t2)에 수신된 영상을 제1 샘플 영상으로서 선택할 수 있다. 제2단말(150)의 제어부(102)는 제2시점(t2)보다 1초 이상이 지난 후에 수신된 영상 중에서 제3시점(t3)에 수신된 영상을 제2 샘플 영상으로서 선택할 수 있다.
제2단말(150)의 제어부(102)는 제2시점(t2)보다 더 먼저 수신된 영상 중에서 제4영상(311)을 샘플 영상으로서 추가적으로 선택할 수 있다. 제2단말(150)의 제어부(102)는 제2시점(t2)보다 더 나중에 수신되고 제3시점(t3)보다 더 먼저 수신된 영상 중에서 제5영상(312) 및 제6영상(313)을 샘플 영상으로서 추가적으로 선택할 수 있다. 제2단말(150)의 제어부(102)는 제3시점(t3)보다 더 나중에 수신된 영상 중에서 제7영상(314)을 샘플 영상으로서 추가적으로 선택할 수 있다.
다시 도 12를 참조하면, 다음으로, 상기 선택된 적어도 둘 이상의 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계(S511)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 제1 샘플 영상, 제2 샘플 영상, 및 추가적으로 선택된 모든 샘플 영상에서 안면의 검출을 시도할 수 있다.
다음으로, 상기 선택된 적어도 둘 이상의 샘플 영상 중에서 상기 제1 샘플 영상, 상기 제2 샘플 영상, 및 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S520)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 제2시점(t2)에 수신된 제1 샘플 영상에서 안면에 대응하는 부분이 검출되지 않았다고 판정할 수 있다. 또한, 제2단말(150)의 제어부(102)는 제3시점(t3)에 수신된 제2 샘플 영상에서 안면에 대응하는 부분이 검출되지 않았다고 판정할 수 있다. 또한, 제2단말(150)의 제어부(102)는 제2시점(t2)보다 더 나중에 수신되고 제3시점(t3)보다 더 먼저 수신된 영상 중에서 샘플 영상으로서 선택된 제5영상(312) 및 제6영상(313)에서 안면이 검출되지 않았다고 판정할 수 있다. 다시 말해서, 제2단말(150)의 제어부(102)는 선택된 모든 샘플 영상 중에서, 제2시점(t2)으로부터 제3시점(t3)까지의 시간 동안에 수신된 샘플 영상에서 안면이 검출되지 않았다고 판정할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계(S531)가 수행될 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 제2시점(t2)으로부터 제3시점(t3)까지의 시간 동안에 수신된 모든 영상을 상기 대상 영상으로서 선택할 수 있다. 상기 선택된 대상 영상은 상기 제1 샘플 영상, 상기 제2 샘플 영상, 및 제2시점(t2)보다 더 나중에 수신되고 제3시점(t3)보다 더 먼저 수신된 샘플 영상을 포함할 수 있다. 또한, 상기 선택된 대상 영상은 상기 스트림 내에서 제2시점(t2)보다 더 나중에 수신되고 제3시점(t3)보다 더 먼저 수신된 모든 영상 중에서 샘플 영상으로 선택되지 않은 모든 나머지 영상을 포함할 수 있다.
다시 도 6을 참조하면, 상기 대상 영상을 선택하는 단계(S131)가 수행된 후에, 각각의 상기 대상 영상 내에서 적어도 일부의 대상 영역을 선택하는 단계(S132)가 수행될 수 있다. 도 13은 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다. 도 13에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 각각의 상기 대상 영상의 전체 영역을 상기 대상 영역으로서 선택할 수 있다.
다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 각각의 상기 대상 영상 내에서 피부색에 대응하는 영역을 상기 대상 영역으로서 선택할 수 있다. 제2단말(150)의 제어부(102)는 각각의 대상 영상에서 피부색에 대응하는 영역을 검출할 수 있다. 상기 피부색은 적어도 하나 이상의 색상을 가리킬 수 있다. 각각의 사람이 갖는 피부색은 서로 다를 수 있으므로, 제2단말(150)의 제어부(102)는 여러 가지의 피부색에 대하여 상기 피부색에 대응하는 영역을 검출할 수 있다.
도 14는 다른 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다. 도 14에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 대상 영상 내에서 피부색을 갖는 영역을 상기 대상 영역으로서 선택할 수 있다. 다시 말해서, 상기 선택된 대상 영역에 포함된 각각의 픽셀(pixel)은 피부색을 가질 수 있다.
제2단말(150)의 제어부(102)는 각각의 대상 영상 내에서 적어도 하나 이상의 폐곡선을 상기 대상 영역으로서 선택할 수 있다. 예를 들어, 도 14에 도시된 바와 달리, 피부색을 갖는 영역이 서로 인접하거나 이격된 복수의 폐곡선을 포함할 수 있다. 제2단말(150)의 제어부(102)는 상기 복수의 폐곡선 전부를 상기 대상 영역으로서 선택할 수 있다. 다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 상기 복수의 폐곡선 중에서 가장 넓은 면적을 갖는 하나 이상의 폐곡선을 상기 대상 영역으로서 선택할 수 있다.
도 15는 또 다른 실시예에 따른 선택된 대상 영역을 나타내는 참고도이다. 도 15에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 대상 영상 내에서 피부색을 갖는 영역을 포함하는 사각형의 영역을 상기 대상 영상으로서 선택할 수 있다. 다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 상기 사각형의 영역 대신에, 상기 피부색을 갖는 영역을 포함하는 원형, 타원형, 또는 다각형의 영역을 상기 대상 영상으로서 선택할 수 있다.
제2단말(150)의 제어부(102)는 각각의 대상 영상 내에서 적어도 하나 이상의 다각형의 영역을 상기 대상 영역으로서 선택할 수 있다. 예를 들어, 도 15에 도시된 바와 달리, 피부색을 갖는 영역이 서로 인접하거나 이격된 복수의 폐곡선을 포함할 수 있다. 제2단말(150)의 제어부(102)는 상기 복수의 폐곡선 전부를 포함하는 하나의 다각형의 영역을 상기 대상 영역으로서 선택할 수 있다. 다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 복수의 다각형의 영역을 상기 대상 영역으로서 선택할 수 있다. 각각의 다각형의 영역은 상기 복수의 폐곡선 중에서 적어도 하나 이상의 폐곡선을 포함할 수 있다. 또 다른 실시예에 따르면, 제2단말(150)의 제어부(102)는 상기 복수의 폐곡선 중에서 가장 넓은 면적을 갖는 하나 이상의 폐곡선을 포함하는 하나 이상의 다각형의 영역을 상기 대상 영역으로서 선택할 수 있다.
다시 도 6을 참조하면, 다음으로, 각각의 상기 대상 영상의 상기 선택된 대상 영역에 상기 영상 처리를 수행하는 단계(S133)가 수행될 수 있다. 도 16은 실시예에 따른 영상 처리가 수행된 영상이다. 도 16에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 도 15에서와 같이 선택된 대상 영역을 상기 대상 영상으로부터 삭제할 수 있다.
도 17은 다른 실시예에 따른 영상 처리가 수행된 영상이다. 다른 예로서, 도 17에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 상기 대상 영역에 블러(blur) 효과를 적용할 수 있다. 도 18은 또 다른 실시예에 따른 영상 처리가 수행된 영상이다. 또 다른 예로서, 도 18에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 상기 대상 영역에 모자이크(mosaic) 효과를 적용할 수 있다. 도 19는 또 다른 실시예에 따른 영상 처리가 수행된 영상이다. 또 다른 예로서, 도 19에 도시된 바와 같이, 제2단말(150)의 제어부(102)는 상기 대상 영역을 다른 영상으로 치환할 수 있다.
또 다른 예로서, 제2단말(150)의 제어부(102)는 상기 대상 영역의 색상, 명도, 대비(contrast) 또는 채도를 조절할 수 있다. 또한, 제2단말(150)의 제어부(102)는 위에 나열된 영상 처리의 조합을 수행할 수 있다. 예를 들어, 제2단말(150)의 제어부(102)는 상기 대상 영역에 블러 효과를 적용하고, 채도를 낮추고, 대비를 낮출 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계(S140)가 수행될 수 있다. 제2단말(150)의 출력부(105)는 상기 복수의 영상을 표시할 수 있다. 예를 들어, 제2단말(150)의 출력부(105)에 포함된 디스플레이는 1초당 20개의 영상을 연속적으로 표시할 수 있다. 상기 복수의 영상은 제2단말(150)의 제어부(102)에 의해 영상 처리가 수행된 적어도 하나 이상의 영상을 포함할 수 있다.
이로써, 제1단말(100)의 사용자와 영상 통화를 하는 제2단말(150)의 사용자가 상대방으로부터의 음란한 영상에 노출되는 것이 방지될 수 있다. 또한, 제2단말(150)의 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 제1단말(100)의 사용자 및 제2단말(150)의 사용자 간의 건전한 영상 통화가 유도될 수 있다.
다음으로, 상기 영상 처리의 해제에 대한 요청을 수신하는 단계(S150)가 수행될 수 있다. 예를 들어, 제2단말(150)의 사용자는 부적절한 영상에 노출될 수 있음을 감수하고, 수신된 영상의 원본을 보기를 원할 수 있다. 제2단말(150)의 출력부(105)에 포함된 디스플레이는 상기 영상 처리를 해제할지 여부를 묻는 메시지를 출력할 수 있다. 예를 들어, 제2단말(150)의 출력부(105)는 "안면이 검출되지 않았습니다. 원본을 보기 원하시면 버튼을 눌러주세요."와 같은 메시지를 출력할 수 있다. 제2단말(150)의 사용자는 상기 메시지에 대한 응답으로 제2단말(150)의 입력부(101)에 포함된 버튼을 누를 수 있다. 다시 말해서, 제2단말(150)의 입력부(101)는 제2단말(150)의 사용자로부터 상기 영상 처리의 해제에 대한 요청을 수신할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 상기 요청이 수신된 후에 수신된 영상을 상기 영상 처리 없이 표시하는 단계(S160)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 요청이 수신된 후에 수신된 영상에서 안면이 검출되지 않았다고 판정할 수 있다. 제2단말(150)의 제어부(102)는 위와 같은 판정에도 불구하고, 상기 요청이 수신된 후에 수신된 영상에 영상 처리를 수행하지 않을 수 있다. 제2단말(150)의 출력부(105)는 상기 요청이 수신된 후에 수신된 적어도 하나 이상의 영상을 상기 영상 처리 없이 표시할 수 있다.
도 20은 다른 실시예에 따른 영상 표시 방법이 수행되는 과정을 나타내는 순서도이다. 도 20을 참조하면, 먼저, 제1단말(100)과의 영상 통화 세션을 수립하는 단계(S600)가 수행될 수 있다. 제2단말(150)의 통신부(104)는 제1단말(100)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 영상 통화 세션을 통해 상기 제1단말(100)에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계(S610)가 수행될 수 있다. 제2단말(150)의 통신부(104)는 상기 영상 통화 세션을 통해 제1단말(100)로부터 스트림을 수신할 수 있다. 상기 스트림은 복수의 영상을 포함할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계(S620)가 수행될 수 있다. 제2단말(150)의 출력부(105)는 수신된 상기 복수의 영상을 표시할 수 있다.
다음으로, 상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계(S630)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 상기 복수의 영상 중에서 적어도 하나 이상의 샘플 영상을 선택할 수 있다. 제2단말(150)의 제어부(102)는 선택된 샘플 영상 각각에서 안면에 대응하는 부분이 존재하는지 여부를 검출할 수 있다.
다음으로, 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계(S640)가 수행될 수 있다. 제2단말(150)의 제어부(102)는 적어도 하나 이상의 샘플 영상에서 안면이 검출되지 않았다고 판정할 수 있다. 샘플 영상에서 안면이 검출되지 않은 경우, 상기 복수의 영상에는 부적절한 영상이 포함되어 있을 수 있다.
다음으로, 상기 영상 통화 세션을 종료하는 단계(S650)가 수행될 수 있다. 제2단말(150)의 통신부(104)는 제1단말(100)과의 영상 통화 세션을 종료할 수 있다. 이로써, 제1단말(100)의 사용자와 영상 통화를 하는 제2단말(150)의 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것이 방지될 수 있다.
이상에서 설명된 실시예에 따르면, 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 음란한 영상에 노출되는 것이 방지될 수 있다. 또한, 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 제1 영상 표시 장치, 제1단말
101: 입력부
102: 제어부
103: 저장부
104: 통신부
105: 출력부
150: 제2 영상 표시 장치, 제2단말
200: 서버
301: 제1영상
302: 제2영상
303: 제3영상
311: 제4영상
312: 제5영상
313: 제6영상
314: 제7영상

Claims (18)

  1. 제1단말로부터 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계;
    상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계;
    상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계;
    상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하는 단계; 및
    상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계
    를 포함하는 영상 표시 방법.
  2. 제1항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 대상 영상을 선택하는 단계;
    각각의 상기 대상 영상 내에서 적어도 일부의 대상 영역을 선택하는 단계; 및
    각각의 상기 대상 영상의 상기 선택된 대상 영역에 상기 영상 처리를 수행하는 단계
    를 포함하는 영상 표시 방법.
  3. 제2항에 있어서,
    상기 안면의 검출을 시도하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 최근의 특정한 시간에 대응하는 적어도 하나 이상의 샘플 영상을 선택하는 단계; 및
    상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면의 검출을 시도하는 단계
    를 포함하고,
    상기 안면이 검출되지 않았다고 판정하는 단계는,
    상기 선택된 적어도 하나 이상의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계
    를 포함하는 영상 표시 방법.
  4. 제3항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  5. 제2항에 있어서,
    상기 안면의 검출을 시도하는 단계는,
    특정한 주기마다 상기 스트림 내의 새로이 수신된 영상 중에서 새로운 샘플 영상을 선택하는 단계; 및
    상기 새로운 샘플 영상이 선택될 때마다 상기 새로운 샘플 영상에서 상기 안면의 검출을 시도하는 단계
    를 포함하고,
    상기 안면이 검출되지 않았다고 판정하는 단계는,
    상기 샘플 영상 중에서 최근의 특정한 시간 이내에 선택된 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계
    를 포함하는 영상 표시 방법.
  6. 제5항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 최근의 특정한 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  7. 제2항에 있어서,
    상기 안면의 검출을 시도하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 제1 샘플 영상에서 상기 안면의 검출을 시도하는 단계; 및
    상기 스트림 내에서 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상 중에서 선택된 적어도 하나 이상의 제2 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계
    를 포함하고,
    상기 안면이 검출되지 않았다고 판정하는 단계는,
    상기 제1 샘플 영상 및 모든 상기 적어도 하나 이상의 제2 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계
    를 포함하는 영상 표시 방법.
  8. 제7항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1 샘플 영상 및 상기 제1 샘플 영상보다 더 나중에 수신된 모든 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  9. 제7항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1 샘플 영상, 상기 적어도 하나 이상의 제2 샘플 영상, 및 상기 제1 샘플 영상보다 더 나중에 수신되고 상기 적어도 하나 이상의 제2 샘플 영상 중에서 가장 나중에 수신된 영상보다 더 먼저 수신된 모든 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  10. 제2항에 있어서,
    상기 안면의 검출을 시도하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 제1시각에 대응하는 제1 샘플 영상 및 상기 제1시각으로부터 특정한 시간 이상의 시간차를 갖는 제2시각에 대응하는 제2 샘플 영상을 포함하는 적어도 둘 이상의 샘플 영상을 선택하는 단계; 및
    상기 선택된 적어도 둘 이상의 샘플 영상 각각에서 상기 안면의 검출을 시도하는 단계
    를 포함하고,
    상기 안면이 검출되지 않았다고 판정하는 단계는,
    상기 선택된 적어도 둘 이상의 샘플 영상 중에서 상기 제1 샘플 영상, 상기 제2 샘플 영상, 및 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계
    를 포함하는 영상 표시 방법.
  11. 제10항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 제1시각으로부터 상기 제2시각까지의 시간에 대응하는 모든 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  12. 제2항에 있어서,
    상기 적어도 하나 이상의 대상 영상을 선택하는 단계는,
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 안면이 검출되지 않았다고 판정된 상기 적어도 일부의 샘플 영상에 대응하는 적어도 하나 이상의 영상, 또는 모든 상기 복수의 영상을 상기 대상 영상으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  13. 제2항에 있어서,
    상기 적어도 일부의 대상 영역을 선택하는 단계는,
    각각의 상기 대상 영상 내에서 피부색에 대응하는 영역, 또는 전체 영역을 상기 대상 영역으로서 선택하는 단계
    를 포함하는 영상 표시 방법.
  14. 제2항에 있어서,
    상기 각각의 상기 대상 영상의 상기 선택된 대상 영역에 상기 영상 처리를 수행하는 단계는,
    상기 대상 영역을 삭제하거나, 상기 대상 영역에 블러(blur) 효과 또는 모자이크(mosaic) 효과를 적용하거나, 상기 대상 영역의 색상, 명도, 대비 또는 채도를 조절하거나 또는 상기 대상 영역을 다른 영상으로 치환하는 단계
    를 포함하는 영상 표시 방법.
  15. 제1항에 있어서,
    상기 영상 처리의 해제에 대한 요청을 수신하는 단계; 및
    상기 스트림에 포함된 상기 복수의 영상 중에서 상기 요청이 수신된 후에 수신된 영상을 상기 영상 처리 없이 표시하는 단계
    를 더 포함하는 영상 표시 방법.
  16. 제1항의 영상 표시 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  17. 제1단말과의 영상 통화 세션을 수립하는 단계;
    상기 영상 통화 세션을 통해 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 단계;
    상기 스트림에 포함된 상기 복수의 영상을 표시하는 단계;
    상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 단계;
    상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하는 단계; 및
    상기 영상 통화 세션을 종료하는 단계
    를 포함하는 영상 표시 방법.
  18. 제1단말로부터 상기 제1단말에 의해 촬영된 복수의 영상을 포함하는 스트림을 수신하는 통신부;
    상기 스트림에 포함된 상기 복수의 영상을 표시하는 출력부; 및
    상기 스트림에 포함된 상기 복수의 영상 중에서 선택된 적어도 하나 이상의 샘플 영상 각각에서 안면의 검출을 시도하는 제어부
    를 포함하고,
    만약 상기 제어부가 상기 샘플 영상 중에서 적어도 일부의 샘플 영상에서 상기 안면이 검출되지 않았다고 판정하면 상기 제어부는 상기 스트림에 포함된 상기 복수의 영상 중에서 적어도 하나 이상의 영상에 영상 처리를 수행하고, 상기 출력부는 상기 영상 처리가 수행된 상기 적어도 하나 이상의 영상을 표시하는 영상 표시 장치.
KR1020160130656A 2016-10-10 2016-10-10 영상 표시 장치 및 영상 표시 방법 KR20180039402A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160130656A KR20180039402A (ko) 2016-10-10 2016-10-10 영상 표시 장치 및 영상 표시 방법
EP17859740.7A EP3523960A4 (en) 2016-10-10 2017-10-10 DEVICE AND METHOD FOR DISPLAYING IMAGES
PCT/KR2017/011139 WO2018070762A1 (en) 2016-10-10 2017-10-10 Device and method of displaying images
JP2019540499A JP6843359B2 (ja) 2016-10-10 2017-10-10 映像表示装置及び映像表示方法(device and method of displaying images)
US15/729,520 US11102450B2 (en) 2016-10-10 2017-10-10 Device and method of displaying images
US17/202,006 US11553157B2 (en) 2016-10-10 2021-03-15 Device and method of displaying images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160130656A KR20180039402A (ko) 2016-10-10 2016-10-10 영상 표시 장치 및 영상 표시 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134869A Division KR101967651B1 (ko) 2018-11-06 2018-11-06 영상 표시 방법, 장치 및 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
KR20180039402A true KR20180039402A (ko) 2018-04-18

Family

ID=61829373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160130656A KR20180039402A (ko) 2016-10-10 2016-10-10 영상 표시 장치 및 영상 표시 방법

Country Status (5)

Country Link
US (1) US11102450B2 (ko)
EP (1) EP3523960A4 (ko)
JP (1) JP6843359B2 (ko)
KR (1) KR20180039402A (ko)
WO (1) WO2018070762A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US11394921B2 (en) * 2017-03-10 2022-07-19 Apple Inc. Systems and methods for perspective shifting in video conferencing session
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
CN109068084A (zh) * 2018-08-31 2018-12-21 努比亚技术有限公司 视频通话画面显示方法、移动终端及计算机可读存储介质
KR102282963B1 (ko) * 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) * 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102287704B1 (ko) 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR20210115442A (ko) * 2020-03-13 2021-09-27 주식회사 하이퍼커넥트 신고 평가 장치 및 그것의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200714A (ja) * 1996-01-17 1997-07-31 Casio Comput Co Ltd テレビ電話付き画像処理装置
KR20010000426A (ko) * 2000-09-28 2001-01-05 김용환 지능형 영상 인터페이스 방법
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법
JP2010271922A (ja) * 2009-05-21 2010-12-02 Fujifilm Corp 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム
KR20120090870A (ko) * 2012-05-09 2012-08-17 김명훈 얼굴인식 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴인식 알고리즘을 이용한 영상보안방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7360234B2 (en) 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
KR100882476B1 (ko) 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치
US20090041311A1 (en) 2007-08-09 2009-02-12 Jon Hundley Facial recognition based content blocking system
US8223187B2 (en) 2008-07-17 2012-07-17 Cisco Technology, Inc. Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream
JP2012054897A (ja) * 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法
JP5521924B2 (ja) 2010-09-10 2014-06-18 ダイキン工業株式会社 コンテナ用冷凍装置
JP5614494B2 (ja) 2011-03-30 2014-10-29 富士通株式会社 画像送信制御機能を含む情報処理装置
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
KR101237469B1 (ko) 2011-05-12 2013-02-26 재단법인 서울호서직업전문학교 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
EP2803202B1 (en) 2012-12-11 2023-11-08 RingCentral, Inc. Method of processing video data, device, computer program product, and data construct
KR101800617B1 (ko) * 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200714A (ja) * 1996-01-17 1997-07-31 Casio Comput Co Ltd テレビ電話付き画像処理装置
KR20010000426A (ko) * 2000-09-28 2001-01-05 김용환 지능형 영상 인터페이스 방법
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법
JP2010271922A (ja) * 2009-05-21 2010-12-02 Fujifilm Corp 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム
KR20120090870A (ko) * 2012-05-09 2012-08-17 김명훈 얼굴인식 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴인식 알고리즘을 이용한 영상보안방법

Also Published As

Publication number Publication date
US11102450B2 (en) 2021-08-24
JP6843359B2 (ja) 2021-03-17
JP2020500488A (ja) 2020-01-09
US20180103234A1 (en) 2018-04-12
WO2018070762A1 (en) 2018-04-19
EP3523960A1 (en) 2019-08-14
EP3523960A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
KR20180039402A (ko) 영상 표시 장치 및 영상 표시 방법
KR101989842B1 (ko) 단말기 및 그것의 영상 처리 방법
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
US11570401B2 (en) Digital zoom conferencing
US9792602B2 (en) Apparatus and method for providing emotion expression service in mobile communication terminal
KR101967658B1 (ko) 영상 통화 장치 및 영상 통화 방법
CN105635625B (zh) 视频通话方法和装置
US20160210105A1 (en) Method, device and system for projection on screen
US11553157B2 (en) Device and method of displaying images
JP5282329B2 (ja) 人関連ピクチャー及びビデオストリーム処理用通信装置
KR20200083008A (ko) 영상 통화 서비스를 제공하는 단말기 및 서버
CN106210797B (zh) 网络直播方法及装置
JP2017531973A (ja) 動画撮影方法及びその装置、プログラム、及び記憶媒体
KR20190007934A (ko) 통신 장치, 서버 및 동작 방법
KR20190050198A (ko) 전자 장치 및 그것의 통신 방법
WO2020216098A1 (zh) 一种跨电子设备转接服务的方法、设备以及系统
CN106992953A (zh) 系统信息获取方法及装置
CN111385349B (zh) 通信处理方法、装置、终端、服务器及存储介质
KR101172268B1 (ko) 영상 통화중 객체 숨김 서비스 제공 방법 및 시스템
KR101967651B1 (ko) 영상 표시 방법, 장치 및 컴퓨터 판독 가능한 기록매체
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
CN110213531B (zh) 监控录像处理方法及装置
KR20210013923A (ko) 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20210001154A (ko) 단말기, 서버 및 그것의 동작 방법
CN114140558A (zh) 图像数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment