KR20180103303A - 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법 - Google Patents

영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법 Download PDF

Info

Publication number
KR20180103303A
KR20180103303A KR1020170030049A KR20170030049A KR20180103303A KR 20180103303 A KR20180103303 A KR 20180103303A KR 1020170030049 A KR1020170030049 A KR 1020170030049A KR 20170030049 A KR20170030049 A KR 20170030049A KR 20180103303 A KR20180103303 A KR 20180103303A
Authority
KR
South Korea
Prior art keywords
content
image
digital
digital image
information
Prior art date
Application number
KR1020170030049A
Other languages
English (en)
Other versions
KR101963200B1 (ko
Inventor
이두황
유도경
서효범
유범재
Original Assignee
경희대학교 산학협력단
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 재단법인 실감교류인체감응솔루션연구단 filed Critical 경희대학교 산학협력단
Priority to KR1020170030049A priority Critical patent/KR101963200B1/ko
Publication of KR20180103303A publication Critical patent/KR20180103303A/ko
Application granted granted Critical
Publication of KR101963200B1 publication Critical patent/KR101963200B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법에 관한 것이다.
본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법은, 카메라 장치에 의해 디지털 영상 구현장치를 통해 디스플레이되는 디지털 콘텐츠를 시청하는 시청자를 촬영하여 객체를 인식하는 단계; 디지털 영상 구현장치가 카메라 장치에 의해 인식된 객체 중에 신규 객체가 추가되었는지를 판별하는 단계; 신규 객체가 추가되었으면, 디지털 영상 구현장치에 의해 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 단계; 디지털 영상 구현장치에 의해 콘텐츠 제공 서버로부터 제공된 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 취득하는 단계; 디지털 영상 구현장치에 의해 취득된 비디오 핑거프린트 기반 콘텐츠 메타 정보를 바탕으로 추가된 신규 객체가 시청 연령 제한에 해당하는지를 판별하는 단계; 및 시청 연령 제한에 해당하면, 디지털 영상 구현장치에 의해 사용자에 의해 미리 설정된 시청 제한 정보에 따라 시청 제어를 수행하여 방송중인 영상을 변환하는 단계를 포함한다.

Description

영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법{Real time video contents converting system and method using ACR(Automatic Contents Recognition)}
본 발명은 실시간 영상변환 시스템 및 방법에 관한 것으로서, 더 상세하게는 영상 콘텐츠 자동 인식기술(Automatic Contents Recognition; ACR)과 카메라 장치에 의한 객체 인식 기술을 이용하여 영상물의 시청 시 방송되는 영상 콘텐츠의 유해성 여부를 자동으로 인식하고, 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환해 줄 수 있는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법에 관한 것이다.
오늘날, TV 및 방송 미디어 분야의 기술 발달로 인해 기존의 아날로그 TV는 디지털 TV, IPTV, DMB 등 여러 형태로 변형되어 서비스되고 있다. 기본적으로 TV 콘텐츠 제공 서비스는 일방적인 것으로, 즉 방송 제공자 즉 방송국 측에서 일방적으로 방송 콘텐츠를 전송하면 사용자 측에서 이를 수신하여 TV 디스플레이에 출력하는 형태로 이루어진다.
이러한 현실 상황에서 가장 문제가 되는 것은 TV를 시청하는 일반 시청자들이 방송 제공자 측에서 전송하는 콘텐츠들을 그대로 받아들일 수밖에 없다는 점이다. 방송 제공자가 제공하는 콘텐츠 중에는 유해 정도에 따라 프로그램 등급이 분류되는 콘텐츠와, 불특정 다수를 상대로 반강제적으로 방송되는 광고 콘텐츠 등과 같이 유해한 콘텐츠들이 다량 존재한다. 성인들은 유해 콘텐츠가 방송되고 있을 때 스스로 TV 시청을 중단(다른 채널로 돌리거나 TV 전원을 오프)함으로써 이를 차단할 수 있으나, 판단 능력이 아직 미숙한 어린이들은 해당 콘텐츠가 유해 콘텐츠인지 판단하기도 어렵고, 설령 유해 콘텐츠라고 판단하였다 하더라도 자기 제어 능력이 떨어져, 스스로 TV 시청을 중단하는 것이 어렵다. 이와 같이 어린이(혹은 청소년)가 반복적으로 유해 콘텐츠(선정적, 폭력적 영상물이나 다양한 광고물)에 노출될 경우, 그러한 유해 콘텐츠가 해당 어린이(청소년)의 판단능력, 사고방식, 가치관 등에 악영향을 미칠 수 있는 위험성이 상당히 높다는 것이 일반적인 견해이다. 따라서, 어린이나 청소년의 TV 시청에 각별히 주의가 요구되고 있다. 또한, TV 화면을 통해 디스플레이되는 선정적이거나 폭력적인 장면 등에 대해서는 어린이나 청소년이 그러한 장면을 있는 그대로 시청할 수 없도록 필터링(예컨대, 해당 장면을 모자이크 처리를 하거나 평온한 자연 경치 화면으로 대체 등)할 필요가 있다.
한편, 이상과 같은 요구에 부응하여 공개특허공보 제10-2010-0016720호(특허문헌 1)에는 "네트워크를 이용한 TV 방송 중의 유해 컨텐츠 차단 및 대체 컨텐츠 제공 방법 및 시스템"이 개시되어 있는바, 이에 따른 네트워크를 이용한 TV 방송 중의 유해 컨텐츠 차단 및 대체 컨텐츠 제공 방법은, 프로세서에 의하여 사용자 입력에 의한 채널 선택 명령이 수신되는 단계; 프로세서에 의하여 채널 선택 명령에 따른 채널 설정이 이루어지는 단계; 외부 서버에 의하여 방송 데이터가 분석되는 단계; 외부 서버에 의하여 방송 데이터가 유해 컨텐츠가 아니라고 판단되면, 외부 서버가 판단에 따라 전송하는 제어 신호를 프로세서가 수신하여 이에 따라 스위치로 방송 데이터를 전달하고, 방송 데이터가 유해 컨텐츠라고 판단되면,외부 서버가 전송하는 제어 신호를 프로세서가 수신하여 스위치로 대체 컨텐츠를 전달하는 단계; 스위치에 의하여 전달된 방송 데이터 또는 대체 컨텐츠가 디스플레이에 출력되는 단계를 포함하여 이루어지는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 자동으로 유해 컨텐츠를 차단함과 동시에 해당 방송 시간에 대체 컨텐츠를 방송함으로써, 어린이나 청소년이 보호자 없이도 무분별한 유해 컨텐츠의 시청에 노출되는 것을 어느 정도 막을 수 있는 효과가 있을지는 모르겠으나, 사용자의 선택에 의해 미리 유해 컨텐츠로 분류된 방송에 해당하는 시간 영역의 방송이나 사용자의 선택에 의해 미리 선택된 방송 데이터에 대해 유해 컨텐츠로 판단하는 메커니즘으로 되어 있어, 사용자의 선택이 미치지 못한 컨텐츠나 방송 데이터에 대해서는 유해 컨텐츠를 판단해 낼 수 없는 문제점이 있다.
공개특허공보 제10-2010-0016720호(2010.02.16)
본 발명은 상기와 같은 상황을 종합적으로 감안하여 창출된 것으로서, 영상 콘텐츠 자동 인식기술(Automatic Contents Recognition; ACR)과 카메라 장치에 의한 객체 인식 기술을 이용하여 영상물의 시청 시 방송되는 영상 콘텐츠의 유해성 여부를 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환해 줌으로써, 유해 콘텐츠나 영상물의 선정성이나 폭력성이 청소년에 미치는 폐해를 최소화할 수 있는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템은,
ACR(Automatic Contents Recognition; 영상 콘텐츠 자동 인식기술) 알고리즘이 적용되며, 디지털 콘텐츠를 외부 장치로부터 수신하여 화면에 디스플레이하고, 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 외부 장치로 요청하는 디지털 영상 구현장치;
상기 디지털 영상 구현장치에 근접 위치되어 디지털 영상 구현장치와 전기적으로 연결되며, 디지털 영상 구현장치를 통해 디스플레이되는 영상물을 시청하는 시청자를 촬영하여 객체를 인식하고, 촬영된 영상 정보를 디지털 영상 구현장치로 전송하는 카메라 장치; 및
디지털 콘텐츠를 상기 디지털 영상 구현장치로 제공하는 한편 디지털 영상 구현장치로부터의 비디오 핑거프린트 쿼리(query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공하는 콘텐츠 제공 서버를 포함하고,
사용자에 의해 영상물의 시청 시, 방송되는 영상 콘텐츠의 유해성 여부를상기 디지털 영상 구현장치에 적용된 ACR 알고리즘과 상기 카메라 장치에 의한 객체 인식 기술을 이용하여 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환하여 화면에 디스플레이하는 점에 그 특징이 있다.
여기서, 상기 디지털 영상 구현장치는,
상기 카메라 장치를 통해 인식한 이미지와 메모리에 저장되어 있는 이미지를 비교하여 새로운 객체가 추가되었는지를 확인하고, 새로운 객체가 추가된 경우 안면인식 알고리즘을 이용하여 그 새로운 객체의 성별 및 나이를 추정하는 이미지 처리부;
비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 상기 콘텐츠 제공 서버로 요청하고, 상기 콘텐츠 제공 서버로부터 상기 쿼리 요청에 대해 응답으로서 콘텐츠 메타 정보를 수신하는 신호 송수신부;
상기 콘텐츠 제공 서버로부터 디지털 콘텐츠를 스트리밍 방식으로 수신하는 스트리밍 서비스부;
상기 스트리밍 서비스부를 통해 수신한 스트리밍 디지털 콘텐츠를 디스플레이하는 디스플레이부;
사용자에 의해 설정된 시청 제한 정보를 입력받아 저장하는 시청 제한 정보 입력 및 저장부;
사용자에 의해 설정된 시청 제한 정보를 취득하고, 상기 콘텐츠 제공 서버로부터 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 취득하며, 취득된 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 바탕으로 시청 제한이 필요한 어린이 및 청소년에 대해 시청 연령 제한에 해당하는지를 판별하고, 시청 연령 제한에 해당하면 사용자에 의해 설정된 시청 제한 정보에 따라 시청 제어를 수행하는 시청 제한 모듈부; 및
상기 이미지 처리부, 신호 송수신부, 스트리밍 서비스부, 디스플레이부, 시청 제한 정보 입력 및 저장부, 시청 제한 모듈부와 카메라 장치의 동작을 제어하고, 시스템의 전체적인 상태를 진단 및 조정하는 중앙 제어부를 포함하여 구성될 수 있다.
이때, 상기 시청 제한 정보 입력 및 저장부에 입력되는 시청 제한 정보는 연령별로 해당 디지털 콘텐츠의 플레이 중지, 모자이크 처리, 소리 제거 등의 방식으로 설정될 수 있다.
또한, 상기 디지털 영상 구현장치는 스마트 TV, IPTV, 케이블 TV, 위성 TV, 셋탑박스(STB) 등을 포함할 수 있다.
또한, 상기 콘텐츠 제공 서버는,
디지털 콘텐츠를 스트리밍 방식으로 상기 디지털 영상 구현장치로 제공하는 콘텐츠 스트리밍 서버와;
비디오 및 오디오 콘텐츠물로부터 콘텐츠 핑거프린트 정보를 추출하고, 추출된 콘텐츠 핑거프린트 정보를 기반으로 콘텐츠 메타 정보를 생성하는 핑거프린트 서버; 및
상기 핑거프린트 서버와 연동하여 콘텐츠 핑거프린트 정보를 수신하고, 핑거프린트 서버에 의해 생성된 콘텐츠 메타 정보를 기반으로 시청 제한 정보를 생성하며, 상기 디지털 영상 구현장치로부터의 비디오 핑거프린트 쿼리(query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공하는 시청 제한 정보 생성 서버를 포함하여 구성될 수 있다.
이때, 상기 콘텐츠 핑거프린트 정보는 핑거프린트, 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp) 등을 포함할 수 있다.
또한, 상기 콘텐츠 메타 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함할 수 있다.
또한, 상기 시청 제한 정보 생성 서버와 콘텐츠 스트리밍 서버는 하나의 장치로 패키지화되어 사용자의 TV나 셋탑박스(STB) 근처에 설치될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법은,
디지털 영상 구현장치, 카메라 장치, 콘텐츠 제공 서버를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템을 기반으로 하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법으로서,
a) 상기 카메라 장치에 의해 디지털 영상 구현장치를 통해 디스플레이되는 디지털 콘텐츠를 시청하는 시청자를 촬영하여 객체를 인식하는 단계;
b) 상기 디지털 영상 구현장치에 의해 상기 카메라 장치에 의해 인식된 객체 중에 신규 객체가 추가되었는지를 판별하는 단계;
c) 신규 객체가 추가되었으면, 상기 디지털 영상 구현장치에 의해 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 단계;
d) 상기 디지털 영상 구현장치에 의해 상기 콘텐츠 제공 서버로부터 제공된 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 취득하는 단계;
e) 상기 디지털 영상 구현장치에 의해 취득된 비디오 핑거프린트 기반 콘텐츠 메타 정보를 바탕으로 추가된 신규 객체가 시청 연령 제한에 해당하는지를 판별하는 단계; 및
f) 시청 연령 제한에 해당하면, 상기 디지털 영상 구현장치에 의해 사용자에 의해 미리 설정된 시청 제한 정보에 따라 시청 제어를 수행하여 방송중인 영상을 변환하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a) 이전에 상기 디지털 영상 구현장치에 의해 상기 콘텐츠 제공 서버로부터 제공되는 디지털 콘텐츠를 수신하여 화면에 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 단계 b)의 판별에서 신규 객체가 추가되지 않았으면, 상기 단계 a)로 회귀하는 단계를 더 포함할 수 있다.
또한, 상기 단계 c)의 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 단계는,
c-1) 각 객체의 얼굴을 검출하는 단계;
c-2) 상기 검출된 얼굴의 이미지 유효성을 평가하는 단계;
c-3) 상기 이미지 유효성이 평가된 얼굴의 특징을 추출하는 단계; 및
c-4) 상기 추출된 얼굴의 특징 정보를 바탕으로 해당 객체의 성별 및 나이를 추정하는 단계를 포함하여 구성될 수 있다.
또한, 상기 단계 c) 이후 단계 d) 이전에, 상기 추정된 성별 및 나이를 바탕으로 상기 디지털 영상 구현장치에 의해 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 상기 콘텐츠 제공 서버로 요청하는 단계와;
상기 콘텐츠 제공 서버에 의해 상기 비디오 핑거프린트 기반 쿼리 요청에 대해 응답으로서 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 제공하는 단계;를 더 포함할 수 있다.
이때, 상기 콘텐츠 메타(meta) 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함할 수 있다.
또한, 상기 단계 e)의 판별에서 시청 연령 제한에 해당하지 않으면, 상기 단계 a)로 회귀하는 단계를 더 포함할 수 있다.
또한, 상기 단계 f)에서 시청 제어는 디지털 콘텐츠 플레이 중지, 디지털 콘텐츠 모자이크 처리, 디지털 콘텐츠 소리 제거 중 적어도 어느 하나를 포함할 수 있다.
이와 같은 본 발명에 의하면, 영상 콘텐츠 자동 인식기술(Automatic Contents Recognition; ACR)과 카메라 장치에 의한 객체 인식 기술을 이용하여 영상물의 시청 시 방송되는 영상 콘텐츠의 유해성 여부를 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환해 줌으로써, 유해 콘텐츠나 영상물의 선정성이나 폭력성이 청소년에 미치는 폐해를 최소화할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템의 디지털 영상 구현장치의 내부 시스템 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법의 실행 과정을 나타낸 흐름도이다.
도 4는 도 3의 흐름도의 단계 S301 내지 S303의 수행 내용을 구체적으로 나타낸 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템(100)은 디지털 영상 구현장치(110), 카메라 장치(120) 및 콘텐츠 제공 서버(130)를 포함하여 구성된다.
디지털 영상 구현장치(110)는 내부의 중앙 제어부(110g)(후술됨)에 ACR (Automatic Contents Recognition; 영상 콘텐츠 자동 인식기술) 알고리즘(일종의 소프트웨어 프로그램)이 적용되며, 디지털 콘텐츠를 외부 장치(여기서는 콘텐츠 제공 서버(130))로부터 수신하여 화면에 디스플레이하고, 비디오 핑거프린트 (fingerprint) 기반 쿼리(query)를 외부 장치로 요청한다. 이와 같은 디지털 영상 구현장치(110)는 스마트 TV(111)를 비롯하여 IPTV, 케이블 TV, 위성 TV와, 셋탑박스(STB)(112) 등을 포함할 수 있다.
또한, 이상과 같은 디지털 영상 구현장치(110)는, 도 2에 도시된 바와 같이, 이미지 처리부(110a), 신호 송수신부(110b), 스트리밍 서비스부(110c), 디스플레이부(110d), 시청 제한 정보 입력 및 저장부(110e), 시청 제한 모듈부(110f)및 중앙 제어부(110g)를 포함하여 구성될 수 있다.
이미지 처리부(110a)는 상기 카메라 장치(120)를 통해 인식한 이미지와 메모리(미도시)에 저장되어 있는 이미지를 비교하여 새로운 객체가 추가되었는지를 확인하고, 새로운 객체가 추가된 경우 안면인식 알고리즘(일종의 소프트웨어 프로그램으로 본 발명의 시스템 개발자 또는 본 발명의 운용자에 의해 미리 탑재됨) 을 이용하여 그 새로운 객체의 성별 및 나이를 추정한다.
신호 송수신부(110b)는 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 상기 콘텐츠 제공 서버(130)로 요청하고, 콘텐츠 제공 서버(130)로부터 상기 쿼리 요청에 대한 응답으로서 콘텐츠 메타 정보를 수신한다. 이와 같은 콘텐츠 메타 정보에 대해서는 뒤에서 설명하기로 한다.
스트리밍 서비스부(110c)는 상기 콘텐츠 제공 서버(130)로부터 디지털 콘텐츠를 스트리밍 방식으로 수신한다.
디스플레이부(110d)는 스트리밍 서비스부(110c)를 통해 수신한 스트리밍 디지털 콘텐츠를 디스플레이한다.
시청 제한 정보 입력 및 저장부(110e)는 사용자에 의해 설정된 시청 제한 정보를 입력받아 저장한다. 이때, 이와 같은 시청 제한 정보 입력 및 저장부 (110e)에 입력되는 시청 제한 정보는 연령별로 해당 디지털 콘텐츠의 플레이 중지, 모자이크 처리, 소리 제거 등의 방식으로 설정될 수 있다.
시청 제한 모듈부(110f)는 사용자에 의해 설정된 시청 제한 정보를 취득하고, 상기 콘텐츠 제공 서버(130)로부터 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 취득하며, 취득된 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 바탕으로 시청 제한이 필요한 어린이 및 청소년에 대해 시청 연령 제한에 해당하는지를 판별하고, 시청 연령 제한에 해당하면 사용자에 의해 설정된 시청 제한 정보에 따라 시청 제어를 수행한다.
중앙 제어부(110g)는 이상과 같은 이미지 처리부(110a), 신호 송수신부(110b), 스트리밍 서비스부(110c), 디스플레이부(110d), 시청 제한 정보 입력 및 저장부 (110e), 시청 제한 모듈부(110f)와 카메라 장치(120)의 동작을 제어하고, 시스템의 전체적인 상태를 진단 및 조정한다.
다시 도 1을 참조하면, 카메라 장치(120)는 디지털 영상 구현장치(110)에 근접 위치되어 디지털 영상 구현장치(110)와 전기적으로 연결되며, 디지털 영상 구현장치(110)를 통해 디스플레이되는 영상물을 시청하는 시청자를 촬영하여 객체를 인식하고, 촬영된 영상 정보를 디지털 영상 구현장치(110)로 전송한다.
콘텐츠 제공 서버(130)는 디지털 콘텐츠를 디지털 영상 구현장치(110)로 제공하는 한편 디지털 영상 구현장치(110)로부터의 비디오 핑거프린트 쿼리 (query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공한다. 도 1에서 미설명 부호 132a는 핑거프린트 서버(132)의 데이터베이스를 나타내고, 133a는 시청 제한 정보 생성 서버(133)의 데이터베이스를 나타낸다.
이상과 같은 콘텐츠 제공 서버(130)는, 디지털 콘텐츠를 스트리밍 방식으로 디지털 영상 구현장치(110)로 제공하는 콘텐츠 스트리밍 서버(131)와; 비디오 및 오디오 콘텐츠물(Reference Content)로부터 콘텐츠 핑거프린트 정보를 추출하고, 추출된 콘텐츠 핑거프린트 정보를 기반으로 콘텐츠 메타 정보를 생성하는 핑거프린트 서버(132); 및 핑거프린트 서버(132)와 연동하여 콘텐츠 핑거프린트 정보를 수신하고, 핑거프린트 서버(132)에 의해 생성된 콘텐츠 메타 정보를 기반으로 시청 제한 정보를 생성하며, 디지털 영상 구현장치(110)로부터의 비디오 핑거프린트 쿼리(query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공하는 시청 제한 정보 생성 서버(133)를 포함하여 구성될 수 있다.
이때, 상기 콘텐츠 핑거프린트 정보는 핑거프린트, 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp) 등을 포함할 수 있다. 여기서, 이와 같은 콘텐츠 핑거프린트 정보는 해당 콘텐츠의 특징을 나타내는 특징 데이터를 의미하는 것으로서, 지문 데이터, DNA 데이터 또는 유전자 데이터라고도 한다. 이러한 핑거프린트 정보를 이용하면 데이터의 동일성 여부를 쉽게 판별할 수 있기 때문에 저작권 관리 분야 등에서 폭넓게 사용되고 있다. 예를 들면, 오디오 데이터의 경우, 오디오 데이터의 특징을 나타내는 각종 특징 데이터(예컨대, 주파수, 진폭 등)를 이용하여 핑거프린트 정보를 생성하고, 비디오 데이터의 경우에는 비디오 데이터의 여러 가지 특징 데이터(예컨대, 프레임의 모션 벡터 정보, 색상 정보 등)를 이용하여 핑거프린트 정보를 생성할 수 있다.
또한, 상기 콘텐츠 메타 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함할 수 있다.
또한, 상기 시청 제한 정보 생성 서버(133)와 콘텐츠 스트리밍 서버(131)는 패키지화된 하나의 장치로 구성되어 사용자의 TV(스마트 TV, IPTV 등)나 셋탑박스(STB) 근처에 설치될 수 있다.
이상과 같은 구성을 가지는 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템(100)은 사용자에 의해 영상물의 시청 시, 방송되는 영상 콘텐츠의 유해성 여부를 디지털 영상 구현장치(110)에 적용된 ACR 알고리즘과 카메라 장치(120)에 의한 객체 인식 기술을 이용하여 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환하여 화면에 디스플레이한다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템(100)을 바탕으로 한 실시간 영상변환 방법에 대해 설명해 보기로 한다.
도 3은 본 발명의 실시예에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법의 실행 과정을 나타낸 흐름도이다.
도 3을 참조하면, 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법은, 전술한 바와 같은 디지털 영상 구현장치(110), 카메라 장치(120), 콘텐츠 제공 서버(130)를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템(100)을 기반으로 하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법으로서, 먼저 상기 카메라 장치(120)에 의해 디지털 영상 구현장치(110)를 통해 디스플레이되는 디지털 콘텐츠를 시청하는 시청자를 촬영하여 객체를 인식한다(단계 S301). 여기서, 이와 같은 단계 S301 이전에 디지털 영상 구현장치(110)에 의해 콘텐츠 제공 서버(130)로부터 제공되는 디지털 콘텐츠를 수신하여 화면에 디스플레이하는 단계를 더 포함할 수 있다.
이렇게 하여 카메라 장치(120)에 의해 시청자를 촬영하여 객체를 인식하면, 디지털 영상 구현장치(110)는 카메라 장치(120)에 의해 인식된 객체 중에 신규 객체가 추가되었는지를 판별한다(단계 S302). 이 판별에서 신규 객체가 추가되지 않았으면, 상기 단계 S301로 회귀한다. 그리고 이 판별에서 신규 객체가 추가되었으면, 디지털 영상 구현장치(110)는 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정한다(단계 S303). 여기서, 이와 같이 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 것과 관련하여 조금 더 상세히 설명해 보기로 한다.
도 4는 도 3의 흐름도의 단계 S301 내지 S303의 수행 내용을 구체적으로 나타낸 흐름도이다.
도 4를 참조하면, 도 3에서의 단계 S301, 즉 카메라 장치(120)에 의해 디지털 콘텐츠를 시청하는 시청자를 촬영하여 객체를 인식함에 있어서, 카메라 장치(120)는 시청자를 촬영하여 이미지를 획득하고(단계 S301a), 획득된 이미지를 바탕으로 객체를 인식한다(단계 S301b). 이와 같이 카메라 장치(120)에 의해 촬영된 이미지 정보(데이터)는 디지털 영상 구현장치(110)로 전송되고, 디지털 영상 구현장치(110)의 이미지 처리부(110a)는 카메라 장치(120)로부터 수신한 이미지 정보(데이터)와 메모리에 저장되어 있는 이미지 정보(데이터)를 비교하여 새로운 객체가 추가되었는지를 확인하고(단계 S302), 새로운 객체가 추가된 경우 안면인식 알고리즘을 이용하여 그 새로운 객체의 성별 및 나이를 추정한다. 즉, 먼저 새로운 객체의 얼굴을 검출한다(단계 S303a). 그런 후, 검출된 얼굴의 이미지 유효성을 평가한다(단계 S303b). 그런 다음, 이미지 유효성이 평가된 얼굴의 특징을 추출하고(단계 S303c), 추출된 얼굴의 특징 정보를 바탕으로 해당 객체의 성별 및 나이를 추정한다(단계 S303d).
다시 도 3을 참조하면, 이상과 같이 디지털 영상 구현장치(110)에 의해 신규 객체의 얼굴에 따라 성별 및 나이를 추정한 후, 디지털 영상 구현장치(110)에 의해 콘텐츠 제공 서버(130)로부터 제공된 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 취득한다(단계 S304).
여기서, 본 발명에 따른 영상변환 방법은 상기 단계 S303 이후 단계 S304 이전에, 상기 추정된 성별 및 나이를 바탕으로 디지털 영상 구현장치(110)에 의해 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 콘텐츠 제공 서버(130)로 요청하는 단계와; 콘텐츠 제공 서버(130)에 의해 상기 비디오 핑거프린트 기반 쿼리 요청에 대해 응답으로서 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 제공하는 단계;를 더 포함할 수 있다. 이때, 상기 콘텐츠 메타(meta) 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함할 수 있다.
이상과 같이, 디지털 영상 구현장치(110)에 의해 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보가 취득되면, 디지털 영상 구현장치(110)는 취득된 비디오 핑거프린트 기반 콘텐츠 메타 정보를 바탕으로 추가된 신규 객체가 시청 연령 제한에 해당하는지를 판별한다(단계 S305). 이 판별에서 시청 연령 제한에 해당하지 않으면, 상기 단계 S301로 회귀한다. 그리고 시청 연령 제한에 해당하면, 디지털 영상 구현장치(110)는 사용자에 의해 미리 설정된 시청 제한 정보에 따라(단계 S306), 시청 제어를 수행하여 방송중인 영상을 변환한다(단계 S307). 여기서, 시청 제어는 디지털 콘텐츠(예컨대, VOD) 플레이 중지, 디지털 콘텐츠 화면 모자이크 처리, 디지털 콘텐츠 소리 제거 중 적어도 어느 하나를 포함할 수 있다.
여기서, 이상과 같은 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법과 관련하여 조금 더 설명을 부가해 보기로 한다.
1) ACR 기술을 활용하여 송출되고 있는 영상물의 태그(tag)를 읽어 영상물 전체 시청등급 관련 정보를 파악한다.
- 본 발명의 방법이 적용된 상태에서 사용자(예컨대, 어린이 및 청소년 자녀를 둔 부모)는 일단 전체 영상물에 대해 전체 관람가, 12세 이상 관람가, 15세 이상 관람가, 청소년 관람불가 등급을 파악한다. 이때, 상기 영상물의 태그는 영상물 제작자가 영상물의 제작 시 미리 연령별 등급에 따라 특정 기호나 부호, 문자 등으로 삽입해두게 된다.
2) 사용자 연령 인식 카메라 기술을 통하여 TV 시스템이 시청자(들)의 연령을 파악한다.
- TV(111)(도 1 참조)에 설치된 카메라 장치(120)로 개인이나 복수의 시청자의 얼굴을 인식하여 각 시청자의 연령을 개별적으로 파악한다.
- 개인 시청자(예: 10세)인 경우, 카메라 장치(120)에 인식된 개인 시청자의 연령에 따라, 디지털 영상 구현장치(110)는 시청등급 영상물(예: 15세 이상 관람가)을 시청하지 못하도록 영상을 변환시키거나(예를 들면, 화면을 모자이크 처리하거나), 다른 영상의 화면으로 대체함으로써 시청이 가능하도록 한다.
- 복수의 시청자(예: 10세 및 40세)인 경우, 카메라 장치(120)에 인식된 최연소 시청자의 연령에 따라, 디지털 영상 구현장치(110)는 시청등급 영상물(예: 15세이상 관람가)을 시청하지 못하도록 영상을 변환하거나(예를 들면, 화면을 모자이크 처리하거나), 다른 영상의 화면으로 대체함으로써 시청이 가능하도록 한다.
3) 영상물이 시청자의 연령에 맞게 정상적으로 송출되어 TV 화면에 디스플레이되면, ACR 기술을 통해 영상물 각각의 장면의 폭력성과 선정성 정도에 대한 정보를 인식한다.
- 즉, 실시간 영상변환 TV 시스템(스마트 TV 수상기 자체나 IPTV, Cable TV, 위성 TV, 셋탑박스 등)은 영상물이 재생되고 있는 동안, 탑재되어 있는 ACR 알고리즘을 이용하여 각각의 영상장면 정보에 대하여 영상물에 미리 삽입된 태그 (tag)를 통해 각 영상장면의 폭력성과 선정성 정도를 실시간으로 인식한다.
4) TV 시스템(디지털 영상 구현장치)은 카메라 장치에 의해 촬영된 영상 정보(데이터)를 바탕으로 시청자의 연령을 추정하여, 사용자가 미리 설정한 영상물의 폭력성과 선정성 수준(예: 상, 중, 하)에 따라, 영상물의 선정적이고 폭력적인 장면을 실시간으로 변환하여 송출한다.
- 즉, 각각의 영상 장면들마다 선정성과 폭력성 수준(상, 중, 하) 정보에 대한 태그를 사용자가 미리 표시해 두어 디지털 영상 구현장치(110)는 탑재된 ACR 알고리즘을 이용하여 이를 인식한다. 이때, 사용자는 리모콘 등을 이용하여 영상 장면들마다 선정성과 폭력성 수준(상, 중, 하) 정보에 대한 태그를 미리 표시해 둘 수 있다.
- 사용자는 미리 TV 시스템에 특정 연령대 및 영상장면의 폭력성, 선정성 송출 수준을 예를 들면 상, 중, 하로 설정해 둔다. 예를 들어, '16세'의 시청자가 TV를 혼자 시청하든 '40세'의 시청자와 함께 시청하든, 16세 시청자가 시청범위로 들어오게 되면, 아무리 15세 이상 관람가 영상이라 할지라도 기존의 폭력적인 장면과 선정적인 장면이 나타날 때마다, 그 표현 수준을 '하'로 자동으로 변환하여 송출하도록 사용자가 미리 설정할 수 있다.
- 이상과 같은 영상장면의 폭력성, 선정성 송출 수준(상, 중, 하)의 자동 변환은 전체 관람가, 12세 이상 관람가, 15세 이상 관람가, 청소년 관람불가 등급 영상물 모두에 적용된다.
이상의 사항을 하나의 예를 들어 설명해 보기로 한다.
예를 들면, 15세 이상 시청가능 영상물(폭력적인 장면이 포함되어 있음)을 부부(남편:47세, 아내:45세)와 자녀(16세)가 함께 시청하고 있는 상황을 가정하기로 한다.
ACR 알고리즘이 적용된 TV 시스템(디지털 영상 구현장치(110))은 송출되고 있는 영상물이 15세 이상이면 시청이 가능한 것을 인식하고, 그대로 송출한다.
이때, TV 시스템(디지털 영상 구현장치(110))의 ACR 알고리즘이 동작하여 송출되고 있는 영상물에 실시간으로 적용되며, 이에 따라 송출되고 있는 영상장면에 폭력적인 장면이 포함되어 있는지를 TV 시스템이 스스로 인식한다.
만약 송출되고 있는 영상장면에 폭력적인 장면이 포함되어 있고, 그 폭력적인 장면이 사용자(여기서는 부모)가 설정한 폭력성 수준보다 높으면, 현재 송출되고 있는 영상 장면이 15세 이상 시청가능 영상물이라고 할지라도 사용자(부모)가 TV 시스템에 설정한 선정성과 폭력성 수준에 부합하지 않음을 인식하고, 그 장면을 모자이크 처리 또는 다른 음으로 처리(예를 들면, 흉기나 출혈은 모자이크 처리, 욕설은 beep sound 처리)하거나, 그 다음 영상 장면으로 자동으로 이동한다.
또한, 만약 부부만이 영상물을 시청하고 있을 때에는 TV(111)에 설치된 카메라장치(120)에 의해 촬영된 영상(이미지) 정보를 바탕으로 부부의 나이를 인식하여 등급 시청에 문제가 없음을 확인하고, 이에 따라 아무런 제재 없이 기존 영상물의 표현 수준대로 그대로 송출한다.
이상의 설명과 같이, 본 발명에 따른 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법은 영상 콘텐츠 자동 인식기술(Automatic Contents Recognition; ACR)과 카메라 장치에 의한 객체 인식 기술을 이용하여 영상물의 시청 시 방송되는 영상 콘텐츠의 유해성 여부를 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환해 줌으로써, 유해 콘텐츠나 영상물의 선정성이나 폭력성이 청소년에 미치는 폐해를 최소화할 수 있는 장점이 있다.
또한, 이상과 같은 본 발명의 영상변환 방법이 적용될 경우, 영화, 드라마, 광고 등의 영상 콘텐츠를 제작하는 제작자 측면에서도 관람(시청) 등급 제재에 대한 부담감 없이 제작자의 창작 의도에 따라 자유롭게 표현할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 디지털 영상 구현장치 110a: 이미지 처리부
110b: 신호 송수신부 110c: 스트리밍 서비스부
110d: 디스플레이부 110e: 시청 제한 정보 입력 및 저장부
110f: 시청 제한 모듈부 110g: 중앙 제어부
111: TV 112: 셋탑박스
120: 카메라 장치 130: 콘텐츠 제공 서버
131: 콘텐츠 스트리밍 서버 132: 핑거프린트 서버
133: 시청 제한 정보 생성 서버 132a, 133a: 데이터베이스

Claims (18)

  1. ACR(Automatic Contents Recognition; 영상 콘텐츠 자동 인식기술) 알고리즘이 적용되며, 디지털 콘텐츠를 외부 장치로부터 수신하여 화면에 디스플레이하고, 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 외부 장치로 요청하는 디지털 영상 구현장치;
    상기 디지털 영상 구현장치에 근접 위치되어 디지털 영상 구현장치와 전기적으로 연결되며, 디지털 영상 구현장치를 통해 디스플레이되는 영상물을 시청하는 시청자를 촬영하여 객체를 인식하고, 촬영된 영상 정보를 디지털 영상 구현장치로 전송하는 카메라 장치; 및
    디지털 콘텐츠를 상기 디지털 영상 구현장치로 제공하는 한편 디지털 영상 구현장치로부터의 비디오 핑거프린트 쿼리(query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공하는 콘텐츠 제공 서버를 포함하고,
    사용자에 의해 영상물의 시청 시, 방송되는 영상 콘텐츠의 유해성 여부를상기 디지털 영상 구현장치에 적용된 ACR 알고리즘과 상기 카메라 장치에 의한 객체 인식 기술을 이용하여 자동으로 인식하고, 시청자의 연령에 따라 영상물의 선정성이나 폭력성의 표현 수위를 실시간으로 변환하여 화면에 디스플레이하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  2. 제1항에 있어서,
    상기 디지털 영상 구현장치는,
    상기 카메라 장치를 통해 인식한 이미지와 메모리에 저장되어 있는 이미지를 비교하여 새로운 객체가 추가되었는지를 확인하고, 새로운 객체가 추가된 경우 안면인식 알고리즘을 이용하여 그 새로운 객체의 성별 및 나이를 추정하는 이미지 처리부;
    비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 상기 콘텐츠 제공 서버로 요청하고, 상기 콘텐츠 제공 서버로부터 상기 쿼리 요청에 대해 응답으로서 콘텐츠 메타 정보를 수신하는 신호 송수신부;
    상기 콘텐츠 제공 서버로부터 디지털 콘텐츠를 스트리밍 방식으로 수신하는 스트리밍 서비스부;
    상기 스트리밍 서비스부를 통해 수신한 스트리밍 디지털 콘텐츠를 디스플레이하는 디스플레이부;
    사용자에 의해 설정된 시청 제한 정보를 입력받아 저장하는 시청 제한 정보 입력 및 저장부;
    사용자에 의해 설정된 시청 제한 정보를 취득하고, 상기 콘텐츠 제공 서버로부터 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 취득하며, 취득된 비디오 핑거프린트 정보 기반의 콘텐츠 메타 정보를 바탕으로 시청 제한이 필요한 어린이 및 청소년에 대해 시청 연령 제한에 해당하는지를 판별하고, 시청 연령 제한에 해당하면 사용자에 의해 설정된 시청 제한 정보에 따라 시청 제어를 수행하는 시청 제한 모듈부; 및
    상기 이미지 처리부, 신호 송수신부, 스트리밍 서비스부, 디스플레이부, 시청 제한 정보 입력 및 저장부, 시청 제한 모듈부와 카메라 장치의 동작을 제어하고, 시스템의 전체적인 상태를 진단 및 조정하는 중앙 제어부를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  3. 제2항에 있어서,
    상기 시청 제한 정보 입력 및 저장부에 입력되는 시청 제한 정보는 연령별로 해당 디지털 콘텐츠의 플레이 중지, 모자이크 처리, 소리 제거 중 적어도 하나의 방식으로 설정되는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  4. 제1항에 있어서,
    상기 디지털 영상 구현장치는 스마트 TV, IPTV, 케이블 TV, 위성 TV, 셋탑박스(STB) 중 적어도 하나를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  5. 제1항에 있어서,
    상기 콘텐츠 제공 서버는,
    디지털 콘텐츠를 스트리밍 방식으로 상기 디지털 영상 구현장치로 제공하는 콘텐츠 스트리밍 서버와;
    비디오 및 오디오 콘텐츠물로부터 콘텐츠 핑거프린트 정보를 추출하고, 추출된 콘텐츠 핑거프린트 정보를 기반으로 콘텐츠 메타 정보를 생성하는 핑거프린트 서버; 및
    상기 핑거프린트 서버와 연동하여 콘텐츠 핑거프린트 정보를 수신하고, 핑거프린트 서버에 의해 생성된 콘텐츠 메타 정보를 기반으로 시청 제한 정보를 생성하며, 상기 디지털 영상 구현장치로부터의 비디오 핑거프린트 쿼리(query) 요청에 대해 응답으로서 콘텐츠 메타(meta) 정보를 제공하는 시청 제한 정보 생성 서버를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  6. 제5항에 있어서,
    상기 콘텐츠 핑거프린트 정보는 핑거프린트, 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp)를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  7. 제5항에 있어서,
    상기 콘텐츠 메타 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  8. 제5항에 있어서,
    상기 시청 제한 정보 생성 서버와 콘텐츠 스트리밍 서버는 하나의 장치로 패키지화되어 사용자의 TV나 셋탑박스 근처에 설치되는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템.
  9. 디지털 영상 구현장치, 카메라 장치, 콘텐츠 제공 서버를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템을 기반으로 하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법으로서,
    a) 상기 카메라 장치에 의해 디지털 영상 구현장치를 통해 디스플레이되는 디지털 콘텐츠를 시청하는 시청자를 촬영하여 객체를 인식하는 단계;
    b) 상기 디지털 영상 구현장치에 의해 상기 카메라 장치에 의해 인식된 객체 중에 신규 객체가 추가되었는지를 판별하는 단계;
    c) 신규 객체가 추가되었으면, 상기 디지털 영상 구현장치에 의해 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 단계;
    d) 상기 디지털 영상 구현장치에 의해 상기 콘텐츠 제공 서버로부터 제공된 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 취득하는 단계;
    e) 상기 디지털 영상 구현장치에 의해 취득된 비디오 핑거프린트 기반 콘텐츠 메타 정보를 바탕으로 추가된 신규 객체가 시청 연령 제한에 해당하는지를 판별하는 단계; 및
    f) 시청 연령 제한에 해당하면, 상기 디지털 영상 구현장치에 의해 사용자에 의해 미리 설정된 시청 제한 정보에 따라 시청 제어를 수행하여 방송중인 영상을 변환하는 단계를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  10. 제9항에 있어서,
    상기 단계 a) 이전에 상기 디지털 영상 구현장치에 의해 상기 콘텐츠 제공 서버로부터 제공되는 디지털 콘텐츠를 수신하여 화면에 디스플레이하는 단계를 더 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  11. 제9항에 있어서,
    상기 단계 b)의 판별에서 신규 객체가 추가되지 않았으면, 상기 단계 a)로 회귀하는 단계를 더 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  12. 제9항에 있어서,
    상기 단계 c)의 안면인식 알고리즘을 이용하여 각 객체의 얼굴에 따라 성별 및 나이를 추정하는 단계는,
    c-1) 각 객체의 얼굴을 검출하는 단계;
    c-2) 상기 검출된 얼굴의 이미지 유효성을 평가하는 단계;
    c-3) 상기 이미지 유효성이 평가된 얼굴의 특징을 추출하는 단계; 및
    c-4) 상기 추출된 얼굴의 특징 정보를 바탕으로 해당 객체의 성별 및 나이를 추정하는 단계를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  13. 제9항에 있어서,
    상기 단계 c) 이후 단계 d) 이전에, 상기 추정된 성별 및 나이를 바탕으로 상기 디지털 영상 구현장치에 의해 비디오 핑거프린트(fingerprint) 기반 쿼리(query)를 상기 콘텐츠 제공 서버로 요청하는 단계와;
    상기 콘텐츠 제공 서버에 의해 상기 비디오 핑거프린트 기반 쿼리 요청에 대해 응답으로서 비디오 핑거프린트 기반 콘텐츠 메타(meta) 정보를 제공하는 단계;를 더 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  14. 재13항에 있어서,
    상기 콘텐츠 메타(meta) 정보는 콘텐츠 ID, 채널 ID, 타임 스탬프(time stamp), 시청 제한 정보를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  15. 제9항에 있어서,
    상기 단계 e)의 판별에서 시청 연령 제한에 해당하지 않으면, 상기 단계 a)로 회귀하는 단계를 더 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  16. 제9항에 있어서,
    상기 단계 f)에서 시청 제어는 디지털 콘텐츠 플레이 중지, 디지털 콘텐츠 모자이크 처리, 디지털 콘텐츠 소리 제거 중 적어도 하나를 포함하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  17. 제9항에 있어서,
    상기 단계 f)에서 상기 방송중인 영상을 변환함에 있어서, 상기 디지털 영상 구현장치가 상기 카메라 장치에 의해 촬영된 영상 정보를 바탕으로 시청자의 연령을 추정하여, 사용자가 미리 설정한 영상물의 폭력성과 선정성 수준에 따라, 영상물의 선정적이고 폭력적인 장면을 실시간으로 변환하여 송출하는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
  18. 제17항에 있어서,
    상기 사용자가 미리 설정한 영상물의 폭력성과 선정성 수준은 상, 중, 하로 설정되는 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 방법.
KR1020170030049A 2017-03-09 2017-03-09 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법 KR101963200B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170030049A KR101963200B1 (ko) 2017-03-09 2017-03-09 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030049A KR101963200B1 (ko) 2017-03-09 2017-03-09 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180103303A true KR20180103303A (ko) 2018-09-19
KR101963200B1 KR101963200B1 (ko) 2019-03-28

Family

ID=63718953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030049A KR101963200B1 (ko) 2017-03-09 2017-03-09 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101963200B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993802B1 (ko) * 2018-12-07 2019-06-27 김하얀 크리에이터 콘텐츠 관리서버 및 그 관리방법
KR102192027B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
KR20220076760A (ko) * 2020-12-01 2022-06-08 동의대학교 산학협력단 불특정인물의 얼굴 영역의 식별 정도에 따른 가림스티커 처리 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800190B2 (en) 2020-09-03 2023-10-24 Arris Enterprises Llc Method and system for content switching and content control based on facial identification profiling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112218A (ja) * 2000-10-03 2002-04-12 Sharp Corp 放送受信装置
KR20100016720A (ko) 2008-08-05 2010-02-16 구진국 네트워크를 이용한 ｔｖ 방송 중의 유해 컨텐츠 차단 및대체 컨텐츠 제공 방법 및 시스템
KR20140010673A (ko) * 2012-07-16 2014-01-27 삼성전자주식회사 디스플레이장치 및 그 제어 방법
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112218A (ja) * 2000-10-03 2002-04-12 Sharp Corp 放送受信装置
KR20100016720A (ko) 2008-08-05 2010-02-16 구진국 네트워크를 이용한 ｔｖ 방송 중의 유해 컨텐츠 차단 및대체 컨텐츠 제공 방법 및 시스템
KR20140010673A (ko) * 2012-07-16 2014-01-27 삼성전자주식회사 디스플레이장치 및 그 제어 방법
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993802B1 (ko) * 2018-12-07 2019-06-27 김하얀 크리에이터 콘텐츠 관리서버 및 그 관리방법
KR102192027B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
KR102192010B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 및 배포 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
KR20220076760A (ko) * 2020-12-01 2022-06-08 동의대학교 산학협력단 불특정인물의 얼굴 영역의 식별 정도에 따른 가림스티커 처리 시스템

Also Published As

Publication number Publication date
KR101963200B1 (ko) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6294238B2 (ja) 映像表示装置及びその動作方法
KR101995425B1 (ko) 영상 표시 장치, 단말 장치 및 그 동작 방법
KR101591535B1 (ko) 컨텐츠 및 메타데이터를 사용하는 기법
KR102116679B1 (ko) 영상 표시 장치 및 그 동작 방법
US8931031B2 (en) Matrix code-based accessibility
KR101963200B1 (ko) 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법
JP6290935B2 (ja) 映像表示装置及びその動作方法
US9530170B2 (en) User device, a second screen system and a method for rendering second screen information on a second screen
JP6151804B2 (ja) 映像表示装置及びその動作方法
CN108293140B (zh) 公共媒体段的检测
KR20140078759A (ko) 콘텐트 프로그램 자동 탐색을 위한 시스템 및 방법
KR20140119691A (ko) 영상 표시 장치 및 그 동작 방법
US8893166B2 (en) Method of surveying watching of image content, and broadcast receiving apparatus and server employing the same
KR20140051450A (ko) 멀티미디어 클립들을 캡처하기 위한 제스처 사용
KR101193534B1 (ko) 비디오 콘텐츠에 워터마크를 삽입하는 워터마킹 장치 및 방법
TW201206166A (en) Linking real time media context to related applications and services
CN103024473A (zh) 收视率调查系统和方法
KR20130076977A (ko) 방송 수신 장치 및 그 제어 방법
US20130177288A1 (en) Electronic device and audio output method
KR20210088922A (ko) 음성, 얼굴 인식 tv와 그 인식수단 및 연령별 프로그램 추천 장치
KR101686425B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20160102679A (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR102199568B1 (ko) 전자 장치 및 그 동작 방법
JP2010206440A (ja) デジタル放送受信装置及びコマーシャル効果評価方法
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right