KR101272611B1 - 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치 - Google Patents

신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치 Download PDF

Info

Publication number
KR101272611B1
KR101272611B1 KR1020090120241A KR20090120241A KR101272611B1 KR 101272611 B1 KR101272611 B1 KR 101272611B1 KR 1020090120241 A KR1020090120241 A KR 1020090120241A KR 20090120241 A KR20090120241 A KR 20090120241A KR 101272611 B1 KR101272611 B1 KR 101272611B1
Authority
KR
South Korea
Prior art keywords
image
probability value
body part
detection model
interest
Prior art date
Application number
KR1020090120241A
Other languages
English (en)
Other versions
KR20110063883A (ko
Inventor
최병철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090120241A priority Critical patent/KR101272611B1/ko
Priority to US12/962,099 priority patent/US8411964B2/en
Publication of KR20110063883A publication Critical patent/KR20110063883A/ko
Application granted granted Critical
Publication of KR101272611B1 publication Critical patent/KR101272611B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

본 발명은 영상으로부터 신체후보 관심영역(skin blob)을 추출하고, 추출된 신체후보 관심영역에 얼굴, 가슴, 성기, 결합성기 등의 신체부위별 탐지모델을 적용하여 선정도(nudity)를 산출함으로써, 멀티미디어 컨텐츠의 음란성, 유해도 내지 선정도를 분석하고, 선정도 및 신체부위에 기반하여 영상 데이터베이스를 탐색하고 관리하는 방법 및 장치에 관한 것이다. 본 발명의 실시예는, 영상으로부터 신체후보 관심영역(skin blob)을 추출하는 추출 단계와, 유해도 탐지모델을 이용하여 상기 영상 및 상기 신체후보 관심영역 중 적어도 하나의 유해도에 대한 판단 확률 값인 제1확률 값을 산출하는 유해도 판단 단계와, 신체부위별 탐지모델을 이용하여 상기 신체후보 관심영역을 신체부위별로 분류하고 상기 분류에 대한 판단 확률 값인 제2확률 값을 산출하는 신체부위별 분류 단계, 및 상기 제1 확률 값 및 상기 제2확률 값을 이용하여 상기 영상의 선정도를 산출하는 선정도 분석 단계를 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
선정도, 유해도, 음란물, 포르노, 신체부위별 탐지, 신체후보 관심영역, skin blob, nudity

Description

신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치{Method and Apparatus for Analyzing Nudity of Image Using Body Parts Detection Models and Managing Images Database Using Nudity and Body Parts in Pornography}
본 발명은 신체부위별 탐지모델 기반의 선정도 분석 방법 및 장치에 관한 것이다. 구체적으로 본 발명은, 영상으로부터 신체후보 관심영역(skin blob)을 추출하고, 추출된 신체후보 관심영역에 얼굴, 가슴, 성기, 결합성기 등의 신체부위별 탐지모델을 적용하여 선정도(nudity)를 산출함으로써, 멀티미디어 컨텐츠의 음란성, 유해도 내지 선정도를 분석하고, 선정도 및 신체부위에 기반하여 영상 데이터베이스를 탐색하고 관리하는 방법 및 장치에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2009-F-054-01, 과제명 : 유해 멀티미디어 콘텐츠 분석/차단 기술개발].
인터넷이 널리 사용됨에 따라 유용한 정보에 대한 접근이 용이해지고 있으나, 무분별한 유해정보의 유통이라는 부작용 역시 증가하고 있다. 사회적 보호가 필요한 청소년들과 절제력이 부족한 이용자들이 손쉽게 유해정보에 접근할 수 있다는 점은 이미 사회적인 문제로 대두되고 있다.
유해정보는 텍스트(text), 영상(image), 음성, 멀티미디어(multimedia) 컨텐츠 등의 형태로 분류할 수 있다. 유해정보 중에서 유해영상이 차지하는 비중과 영상정보의 언어독립적인 특성을 감안할 때, 영상 기반의 유해성 판단 기술인 유해영상 분류, 판별 내지 선정도 분석 기술은 유해정보 분석 기술 중에서도 중요하게 연구되고 있다.
M. Fleck, D. Forsyth, and C. Bregler의 "Finding Naked People," In European Conf. on Computer Vision, Vol.II, 1996은 영상의 특징추출 및 분류기술을 이용한 내용기반 이미지 검색(content based image retrieval, CBIR)을 제안하였다. 이후에는 유해영상에 특화된 특징을 추출하고, 추출된 특징과 학습 기반 판별 알고리즘을 사용하여 영상의 선정도를 분석하고자 하는 연구가 많이 이루어지고 있다.
유해영상 분류기술의 요소기술로는 유해영상 전처리 기술, 유해영상 특징추출 기술, 유해영상 판별 기술, 유해영상 분류 시스템 통합기술, 유해영상 분류 시스템 평가 기술 등이 있다. 이 중에서도 유해영상 특징추출 기술과 유해영상 판별 기술이 주로 연구되고 있다. 이러한 기술들은 웹 포털(web portal), UCC(User Created Contents), P2P(Peer-to-Peer), 웹 하드(web hard) 등 멀티미디어 컨텐츠를 이용하는 인터넷 기반 멀티미디어 서비스, 방송 컨텐츠, 영화 컨텐츠 등 다양한 분야에서 사용된다.
그러나, 종래의 유해영상 분류, 판별 내지 선정도 분석 기술은 해쉬(hash) 또는 메타(meta) 데이터베이스를 이용하는 방식이 대부분이었다. 그러나, 이들 방법은 영상의 일부 내용에만 기반하여 영상 전체의 유/무해 판단 값을 이용하는 분석으로 한계가 있으며, 국내 유해 컨텐츠 등급기준인 방송통신위원회의 SafeNet 유해등급기준을 적용하기 어렵다는 문제점이 있다.
상기 문제점을 해결하기 위하여 본 발명은, 영상으로부터 추출한 신체후보 관심영역에 유해도 탐지모델 및 신체부위별 탐지모델을 적용하여 SafeNet의 유해등급기준을 적용할 수 있게 하는 것을 목적으로 한다.
또한, 얼굴, 가슴, 성기, 결합성기 등 신체부위별 분류의 결과에 따라 선정도를 산출함으로써 분석의 신뢰성을 높이는 것을 목적으로 한다.
또한, 포르노 또는 음란한 영상을 포함하는 데이터베이스의 선정도 및 신체부위 기반 검색을 가능하게 하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 제1측면은, 영상으로부터 신체후보 관심영역(skin blob)을 추출하는 추출 단계와, 유해도 탐지모델을 이용하여 상기 영상 및 상기 신체후보 관심영역 중 적어도 하나의 유해도에 대한 판단 확률 값인 제1확률 값을 산출하는 유해도 판단 단계와, 신체부위별 탐지모델을 이용하여 상기 신체후보 관심영역을 신체부위별로 분류하고 상기 분류에 대한 판단 확률 값인 제2 확률 값을 산출하는 신체부위별 분류 단계, 및 상기 제1 확률 값 및 상기 제2확률 값을 이용하여 상기 영상의 선정도를 산출하는 선정도 분석 단계를 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 제1확률 값은 상기 영상 전체의 유해도에 대한 판단 확률 값인 제1a확률 값과 상기 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1b 확률 값을 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 얼굴, 가슴, 성기, 결합성기를 포함하며, 상기 제2확률 값은, 상기 신체부위별 분류 중 얼굴에 대한 판단 확률 값인 제2a 확률 값, 상기 신체부위별 분류 중 가슴에 대한 판단 확률 값인 제2b 확률 값, 상기 신체부위별 분류 중 성기에 대한 판단 확률 값인 제2c 확률 값, 상기 신체부위별 분류 중 결합성기에 대한 판단 확률 값인 제2d 확률 값을 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 신체부위별 분류의 기준은 SafeNet의 유해등급기준의 척도가 될수 있는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 선정도 분석 단계는 하기의 수학식1 내지 수학식 3 중 어느 하나에 의하여 상기 영상의 선정도를 산출하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
[수학식 1]
N = [WI*PI + ∑ (WX*PX(Bi))] * 100 [%]
단, WI + ∑ WX = 1, X = {B, FA, BR, G, CG}
[수학식 2]
N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
단, WI + ∑ WX = 1, X = {B, BR, G, CG}
[수학식 3]
N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
단, WI + ∑ WX = 1, X = {B, BR, G}
(여기서, N은 상기 영상의 선정도(nudity), I는 상기 영상(image), B는 상기 신체후보 관심영역(skin blob), PI는 상기 제1a확률 값, WI는 상기 제1a확률 값에 대한 가중치, PB(Bi)는 상기 제1b확률 값, PFA(Bi)는 상기 제2a확률 값, PBR(Bi)는 상기 제2b확률 값, PG(Bi)는 상기 제2c확률 값, PCG(Bi)는 상기 제2d확률 값, WX는 상기 제1b확률 값, 상기 제2a확률 값 내지 상기 제2d확률 값에 대한 가중치임.)
또한, 상기 선정도 분석 단계는 상기 제1확률 값 및 상기 제2확률 값을 가중 합산(weighted summation)하여 상기 영상의 선정도를 산출하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 추출 단계는, 상기 영상의 노이즈(noise) 및 조명효과를 제거하 는 전처리 단계와, 상기 영상에 피부색 모델(skin color model) 또는 질감 에너지 분석(texture energy analysis) 기법 중 어느 하나 이상을 적용하여 상기 신체후보 관심영역을 추출하는 영역추출 단계, 및 상기 영역추출된 신체후보 관심영역의 영상을 분할하는 영상분할 단계를 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
또한, 상기 영상의 선정도를 데이터베이스로 저장하는 선정도 저장 단계와, 상기 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 저장 단계, 및 상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 저장 단계를 더 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 방법을 제공한다.
상기 목적을 달성하기 위하여 본 발명의 제2측면은, 영상의 유해도 탐지모델을 저장하는 유해도 탐지모델 DB와, 영상의 신체부위별 탐지모델을 저장하는 신체부위별 탐지모델 DB와, 영상으로부터 신체후보 관심영역(skin blob)을 추출하는 추출부와, 상기 유해도 탐지모델을 이용하여 상기 영상 및 상기 신체후보 관심영역 중 적어도 하나의 유해도에 대한 판단 확률 값인 제1확률 값을 산출하는 유해도 판단부와, 상기 신체부위별 탐지모델을 이용하여 상기 신체후보 관심영역을 신체부위별로 분류하고 상기 분류에 대한 판단 확률 값인 제2확률 값을 산출하는 신체부위별 분류부, 및 상기 제1 확률 값 및 상기 제2확률 값을 이용하여 상기 영상의 선정도를 산출하는 선정도 분석부를 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
또한, 상기 신체부위별 분류는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준에 따라 이루어지고, 상기 제1확률 값은 상기 영상 전체의 유해도에 대한 판단 확률 값인 제1a확률 값과 상기 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1b 확률 값을 포함하며, 상기 제2확률 값은, 상기 신체부위별 분류 중 얼굴에 대한 판단 확률 값인 제2a 확률 값, 상기 신체부위별 분류 중 가슴에 대한 판단 확률 값인 제2b 확률 값, 상기 신체부위별 분류 중 성기에 대한 판단 확률 값인 제2c 확률 값, 상기 신체부위별 분류 중 결합성기에 대한 판단 확률 값인 제2d 확률 값을 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
또한, 상기 선정도 분석 단계는 상기 제1확률 값 및 상기 제2확률 값을 가중 합산(weighted summation)하여 상기 영상의 선정도를 산출하는 신체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
또한, 상기 추출부는, 상기 영상의 노이즈(noise) 및 조명효과를 제거하는 전처리부와, 상기 영상에 피부색 모델 또는 질감 에너지 분석(texture energy analysis) 기법 중 어느 하나 이상을 적용하여 상기 신체후보 관심영역을 추출하는 영역추출부, 및 상기 영역추출된 신체후보 관심영역의 영상을 분할하는 영상분할부를 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
또한, 상기 영상의 선정도를 데이터베이스로 저장하는 선정도 DB와, 상기 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB, 및 상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB를 더 포함하는 신 체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
또한, 상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해쉬(perceptual hash)로 구성하여 데이터베이스로 저장하는 인지 해쉬 DB를 더 포함하는 신체부위별 탐지모델 기반의 영상 선정도 분석 장치를 제공한다.
상기 목적을 달성하기 위하여 본 발명의 제3측면은, 영상의 유해도 탐지모델을 데이터베이스로 저장하는 유해도 탐지모델 DB 구축 단계와, 영상의 신체부위별 탐지모델을 데이터베이스로 저장하는 신체부위별 탐지모델 DB 구축 단계와, 상기 유해도 탐지모델 및 상기 신체부위별 탐지모델을 이용하여 산출한 영상의 선정도를 데이터베이스로 저장하는 선정도 DB 구축 단계와, 상기 신체부위별 탐지모델을 이용하여 추출한 상기 영상의 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB 구축 단계와, 상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB 구축 단계와, 상기 영상에 대하여 선정도 기반 질의가 입력될 경우 상기 선정도 DB 및 상기 메타정보 DB를 검색하여 상기 선정도 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 기반 검색 단계, 및 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 신체부위별 분류결과 DB 및 상기 메타정보 DB를 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 신체부위 기반 검색 단계를 포함하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법을 제공한다.
또한, 상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해 쉬(perceptual hash)로 구성하여 저장하는 인지 해쉬 DB 구축 단계를 더 포함하며, 상기 신체부위 기반 검색 단계는, 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 인지 해쉬 DB를 더 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법을 제공한다.
또한, 상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 SafeNet의 유해등급기준의 척도가 될 수 있는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 사용하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법을 제공한다.
상기 목적을 달성하기 위하여 본 발명의 제4측면은, 영상의 유해도 탐지모델을 데이터베이스로 저장하는 유해도 탐지모델 DB와, 영상의 신체부위별 탐지모델을 데이터베이스로 저장하는 신체부위별 탐지모델 DB와, 상기 유해도 탐지모델 및 상기 신체부위별 탐지모델을 이용하여 산출한 영상의 선정도를 데이터베이스로 저장하는 선정도 DB와, 상기 신체부위별 탐지모델을 이용하여 추출한 상기 영상의 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB와, 상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB와, 상기 영상에 대하여 선정도 기반 질의가 입력될 경우 상기 선정도 DB 및 상기 메타정보 DB를 검색하여 상기 선정도 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 기반 검색부, 및 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 신체부위별 분류결과 DB 및 상기 메타정보 DB를 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 신체부위 기반 검색부를 포함하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치를 제공한다.
또한, 상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해쉬(perceptual hash)로 구성하여 저장하는 인지 해쉬 DB를 더 포함하며, 상기 신체부위 기반 검색부는, 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 인지 해쉬 DB를 더 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치를 제공한다.
또한, 상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 SafeNet의 유해등급기준의 척도가 될 수 있는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 사용하는 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치를 제공한다.
본 발명에 따르면, 선정도 분석에 유해도 탐지모델 및 신체부위별 탐지모델을 이용함으로써 분석의 신뢰성을 높이는 효과가 있다.
또한, SafeNet에서 언급한 유해등급기준의 척도가 될 수 있는 얼굴, 가슴, 성기, 결합성기 등 신체부위별 분류의 결과에 따라 선정도를 산출할 수 있게 되는 효과가 있다.
또한, 음란한 영상을 포함하는 데이터베이스에 있어서 선정도 및 신체부위별 검색을 제공할 수 있게 되는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 장치의 개략적인 구성을 나타낸 블록도이다. 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 장치(100)는 유해도 탐지모델 데이터베이스(database, DB)(110), 신체부위별 탐지모델 데이터베이스(120), 영상 추출부(130), 유해도 판단부(140), 신체부위별 분류부(150), 선정도 분석부(160), 선정도 데이터베이스(170), 신체부위별 분류결과 데이터베이스(180), 인지 해쉬 데이터베이스(185), 메타정보 데이터베이스(190)를 포함할 수 있다.
유해도 탐지모델 DB(110)는 영상 전체 또는 영상으로부터 추출된 신체후보 관심영역(skin blob)의 유해도를 판단하기 위한 기준이 되는 유해도 탐지모델을 저장한다. 유해도 탐지모델로는 종래의 검색기반 판별모델 또는 학습기반 판별모델 등이 사용될 수 있다.
신체부위별 탐지모델 DB(120)는 신체의 특정 부위에 대한 분류 기준이 되는 신체부위별 탐지모델을 저장한다. 예컨대 얼굴, 가슴, 성기, 결합성기(성교), 손, 발, 팔, 다리, 허리, 엉덩이 등 신체부위 영상의 특징을 일정한 형태로 표현한 정보가 신체부위별 탐지모델이 될 수 있다. 실시예에 따라 신체부위별 탐지모델은 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 적용하여 각각 별개의 데이터 베이스로 구축될 수도 있다. 신체부위별 탐지모델로는 종래의 검색기반 판별모델 또는 학습기반 판별모델 등이 사용될 수 있다. 영상으로부터 추출된 신체후보 관심영역은 신체부위별 탐지모델과 비교되어 특정한 신체부위에 해당하는지 여부가 판별된다.
영상 추출부(130)는 입력 영상에서 신체후보 관심영역을 추출한다. 실시예에 따라 영상 추출부(130)는 입력 영상으로부터 노이즈 및 조명효과를 제거하고, 피부색 모델(skin color model) 또는 질감 에너지 분석(texture energy analysis) 기법을 적용하여 신체후보 관심영역을 추출하며, 추출된 신체후보 관심영역의 영상을 분할할 수 있다. 영상 추출부(130)의 세부 구성은 뒤에서 자세히 설명한다.
유해도 판단부(140)는 영상 전체 또는 영상 추출부(130)가 입력 영상으로부터 추출한 신체후보 관심영역을 유해도 탐지모델 DB(110) 내의 유해도 탐지모델과 비교하여 해당 신체후보 관심영역이 유해한 영상인지 여부를 판단한다. 유해도 판단부(140)는 영상 또는 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1확률 값을 산출할 수 있다.
신체부위별 분류부(150)는 영상 추출부(130)가 입력 영상으로부터 추출한 신체후보 관심영역을 신체부위별 탐지모델 DB(120) 내의 신체부위별 탐지모델과 비교하여 해당 신체후보 관심영역을 특정한 신체부위로 분류한다. 신체부위별 분류부(150)는 신체후보 관심영역의 신체부위별 분류에 대한 판단 확률 값인 제2확률 값을 산출할 수 있다. 제2확률 값은 어떠한 신체후보 관심영역을 특정한 신체부위로 분류할 때 그 판단의 확실성에 관한 확률을 의미한다. 예컨대, 어떠한 신체후보 관심영역을 분류할 때 그것이 70%의 확률로 가슴이라고 판단되지만 얼굴로 판단될 확률도 20% 가량 존재할 경우, 신체부위별 분류결과는 가슴이라고 도출하면서 그 판단 확률 값인 70%를 제2확률 값으로 저장할 수 있는 것이다. 실시예에 따라 신체부위별 분류부(150)는 신체후보 관심영역을 특정한 신체부위로 분류한 후, 분류된 특정한 신체부위에 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 신체부위 분류기준을 적용할 수 있다.
선정도 분석부(160)는 유해도 판단부(140)가 산출한 영상의 유해도 및 신체부위별 분류부(150)가 산출한 신체부위별 분류결과를 이용하여 선정도를 분석한다. 선정도 분석부(160)에서 수행되는 연산은 뒤에서 자세히 설명한다.
선정도 데이터베이스(170)는 선정도 분석부(160)가 산출한 선정도에 관한 정보를 데이터베이스로 저장한다.
신체부위별 분류결과 데이터베이스(180)는 신체부위별 분류부(150)가 산출한 신체후보 관심영역의 신체부위별 분류결과에 기 설정된 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 적용하여 데이터베이스로 저장한다.
인지 해쉬 DB(185)는 신체부위별 분류결과 데이터베이스(180)에 저장된 신체후보 관심영역의 신체부위별 분류결과를 인지 해쉬(perceptual hash)로 구성하여 데이터베이스로 저장한다. 인지 해쉬 DB(185)가 구성될 경우 데이터베이스 관리방법에서 신체부위 기반 검색을 효율화하는 데 이용될 수 있다.
메타정보 DB(190)는 신체후보 관심영역이 영상 전체에서 차지하는 위치 또 는 크기를 포함하는 메타(meta)정보를 데이터베이스로 저장한다.
도 2는 영상 추출부의 세부적인 구성을 나타낸 블록도이다. 영상 추출부(130)는 입력된 영상의 노이즈(noise) 및 조명효과를 제거하는 전처리부(131)와, 전처리된 영상에 피부색 모델 또는 질감 에너지 분석(texture energy analysis) 기법 중 어느 하나 이상을 적용하여 신체후보 관심영역을 추출하는 영역추출부(135), 및 영역추출된 신체후보 관심영역의 영상을 분할하는 영상분할부(139)를 포함할 수 있다.
실시예에 따라 전처리부(131)는 노이즈 제거부(132)와 조명효과 제거부(133)를 포함하도록 구성될 수 있으며, 영역 추출부(135)는 피부색모델 적용부(136)와 질감에너지 분석부(137)를 포함하도록 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 선정도 분석 방법을 실제 영상에 적용하는 과정을 도시한 것이다. 본 실시예의 선정도 분석은 선정도 분석부(160)에 의하여 수행되는데, 아래에서는 이에 대하여 먼저 설명한다.
선정도 분석부(160)는 유해도 판단부(140)가 산출한 영상의 유해도 및 신체부위별 분류부(150)가 산출한 신체부위별 분류결과를 이용하여 선정도를 분석한다. 영상의 유해도와 함께 그 판단 확률 값인 제1확률 값이 사용될 수 있고, 신체부위별 분류결과와 함께 그 판단 확률 값인 제2확률 값이 사용될 수 있다. 제1확률 값은 다시, 영상 전체의 유해도에 대한 판단 확률 값인 제1a확률 값과, 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1b확률 값으로 세분될 수 있다. 한편 제2확률 값은, 신체부위별 분류 중 얼굴에 대한 판단 확률 값인 제2a 확률 값, 신체 부위별 분류 중 가슴에 대한 판단 확률 값인 제2b 확률 값, 신체부위별 분류 중 성기에 대한 판단 확률 값인 제2c 확률 값, 신체부위별 분류 중 결합성기에 대한 판단 확률 값인 제2d 확률 값으로 세분될 수 있다.
선정도 분석에는 제1확률 값 및 제2확률 값을 가중 합산(weighted summation)하는 방식이 사용될 수 있다. 가중 합산 방식의 선정도 분석의 일 실시예로서 아래 수학식 1 내지 수학식 3이 사용될 수 있다.
N = [WI*PI + ∑ (WX*PX(Bi))] * 100 [%]
단, WI + ∑ WX = 1, X = {B, FA, BR, G, CG}
N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
단, WI + ∑ WX = 1, X = {B, BR, G, CG}
N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
단, WI + ∑ WX = 1, X = {B, BR, G}
(여기서, N은 상기 영상의 선정도(nudity), I는 상기 영상(image), B는 상기 신체후보 관심영역(skin blob), PI는 상기 제1a확률 값, WI는 상기 제1a확률 값에 대한 가중치, PB(Bi)는 상기 제1b확률 값, PFA(Bi)는 상기 제2a확률 값, PBR(Bi)는 상기 제2b확률 값, PG(Bi)는 상기 제2c확률 값, PCG(Bi)는 상기 제2d확률 값, WX는 상기 제1b확률 값, 상기 제2a확률 값 내지 상기 제2d확률 값에 대한 가중치임.)
상기 수학식 1 내지 수학식3에서 FA는 얼굴(face), BR은 가슴(breast), G는 성기(genital), CG는 결합성기(combined genitals)를 의미하며, W는 가중치(weighting factor), P는 확률 값을 의미한다.
수학식1은 신체부위로서 얼굴, 가슴, 성기, 결합성기를 모두 이용하고, 얼굴이 선정도를 높이는 요소라고 가정한 경우의 실시예에 관한 것이다. 수학식2는 신체부위로서 얼굴, 가슴, 성기, 결합성기를 모두 이용하지만, 얼굴 이외의 신체부위가 선정도를 높이는 요소라고 가정한 경우의 실시예에 관한 것이다. 수학식 2는 얼굴 자체는 선정도에 영향을 미치지 않는다고 보고, 특정한 신체후보 관심영역이 얼굴로 판정될 경우 오히려 얼굴로 판정되지 않을 판단 확률 값을 선정도를 높이는 요소로 사용한다. 수학식3은 신체부위로서 결합성기를 제외한 얼굴, 가슴, 성기만을 이용하고, 얼굴 이외의 신체부위가 선정도를 높이는 요소라고 가정한 경우의 실시예에 관한 것이다.
가중합산 방식의 선정도 분석에 이용되는 수학식은 선정도에 영향을 미치는 신체부위로 어떠한 부위를 선택하여 선정도 분석에 이용할 것인지, 얼굴을 선정도를 높이는 신체부위로 가정할 것인지, 성기와 결합성기를 별도의 신체부위로 판단하게 할 것인지 등에 따라서 상기 수학식 1 내지 수학식3에 한정되지 않고 다양하게 변형될 수 있다.
선정도(N) 산출을 위한 가중치(W)를 조절함으로써 신체부위 중 특정 부위가 영상에 포함되었다고 판단될 경우에 산출되는 선정도(N)를 조절할 수 있다. 예컨대, 얼굴과 가슴이 포함되는 경우는 선정도 산출에서 제외하고 성기와 결합성기가 포함되는 경우에만 선정도가 일정한 값을 갖도록 하기 위하여, WFA와 WBR은 0으로 설정하고 WG와 WCG는 0.5로 설정하는 방식의 조절이 가능하다. 선정도는 0 내지 100[%]의 백분율(percentage)로 표현될 수 있다.
영상 전체의 유해도에 대한 판단 확률 값인 PI와 신체후보 관심영역의 유해도에 대한 판단 확률 값인 PB(Bi)는 유해도 판단부(140)에서 산출되고, 신체부위별 분류 중 얼굴, 가슴, 성기, 결합성기에 대한 판단 확률 값인 PFA(Bi), PBR(Bi), PG(Bi), PCG(Bi)는 신체부위별 분류부(150)에서 산출될 수 있다.
다시 도 3을 참조하여 선정도 분석이 실제 이루어지는 과정을 설명하면 아래와 같다.
영상 추출부(130)는 입력된 영상(300)으로부터 신체후보 관심영역인 B1(310), B2(320), B3(330)을 추출한다. 유해도 판단부(140)는 유해도 탐지모델 DB(110)를 참조하여 영상 전체의 유해도에 대한 판단 확률 값인 PI와(305), 신체후보 관심영역 B1, B2, B3의 유해도에 대한 판단 확률 값인 PB(B1)=0.3, PB(B2)=0.6, PB(B3)=0.9를 각각 산출한다(315, 325, 335). 신체부위별 분류부(150)는 신체부위별 탐지모델 DB(120)를 참조하여 신체부위별 분류 중 얼굴(FA), 가슴(BR), 성기(G), 결합성기(CG)에 대한 판단 확률 값인 [PFA(B1)=0.8, PBR(B1)=0, PG(B1)=0, PCG(B1)=0.1], [PFA(B2)=0, PBR(B2)=0.7, PG(B2)=0, PCG(B2)=0.1], [PFA(B3)=0.1, PBR(B3)=0, PG(B3)=0.5, PCG(B3)=0.2]를 각각 산출한다(315, 325, 335). 본 실시예에서 가중치(W)(350)는 WI=0.2, WB=0.1, WFA=0.05, WBR=0.15, WG=0.2, WCG=0.3로 설정하였다(350).
이로써 선정도 분석부(160)는 기 설정된 상기 가중치 W(350)와, 유해도 판단부(140)로부터 산출된 유해도에 대한 판단 확률 값인 상기 PB(305, 315, 325, 335), 신체부위별 분류부(150)로부터 산출된 신체부위별 분류 중 얼굴(FA), 가슴(BR), 성기(G), 결합성기(CG)에 대한 판단 확률 값인 상기 PFA, PBR, PG, PCG(305, 315, 325, 335)를 상기 수학식 1에 대입하여(360), 선정도(N)(360) = [0.14 + 0.07 + 0.245 + 0.295] * 100[%] = 69[%]를 산출할 수 있게 되는 것이다(370).
선정도 분석부(160)가 가중합산 방식으로 수학식2를 이용할 경우, 유사한 원리에 의하여 동일한 판단 확률 값인 상기 PFA, PBR, PG, PCG(305, 315, 325, 335)를 상기 수학식 2에 대입하여(360), 선정도(N)(360) [0.14 + 0.07 + 0.245 + 0.295] * 100[%] = 75[%]를 산출할 수 있게 된다(370).
도 4는 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치의 개략적인 구성을 나타낸 블록도이다. 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치(400)는, 선정도 DB(170), 신체부위별 분류결과 DB(180), 인지 해쉬 DB(185), 메타정보 DB(190), 선정도 기반 검색부(410), 신체부위 기반 검색부(420)를 포함할 수 있다.
선정도 DB(170), 신체부위별 분류결과 DB(180), 인지 해쉬 DB(185), 메타정보 DB(190)는, 도1의 신체부위별 탐지모델 기반의 영상 선정도 분석 장치(100)에 대한 설명에서 언급한 것과 동일하게 구축될 수 있다. 실시예에 따라 신체부위별 분류결과 DB(180)는 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 적용하여 각각 별개의 데이터베이스로 구축될 수도 있다.
선정도 기반 검색부(410)는 선정도 DB(170)와 메타정보 DB(190)를 이용하여 질의로 입력된 선정도에 대응하는 영상을 응답으로 출력한다. 메타정보 DB(190)를 탐색할 경우 해당 영상의 위치와 크기에 대한 정보를 출력할 수도 있다.
신체부위 기반 검색부(420)는 신체부위별 분류결과 DB(180)를 이용하여 질의로 입력된 신체부위에 대응하는 영상을 응답으로 출력한다. 신체부위별 분류결과 DB(180)를 구축할 때 인지 해쉬 DB(185)를 함께 구성하면 영상 데이터베이스에 대한 질의, 관리 및 검색에 있어서 효율성을 도모할 수 있다. 이때 인지 해쉬 DB(185)는 신체부위별 분류결과 DB(185)와 1:1로 대응되도록 구성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 방법의 개략적인 흐름을 나타낸 흐름도이다. 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 방법은 크게 영상 추출 과정(S100), 유해도 판단 과정(S200), 신체부위별 분류 과정(S300), 선정도 분석 과정(S400)으 로 이루어진다.
영상 추출 과정(S100)은, 입력된 영상을 열고(S110), 노이즈 및 조명효과를 제거하는 전처리(preprocessing)를 수행한 후(S120), 전처리 된 영상에 피부색 모델(skin color model) 또는 질감 에너지 분석(texture energy analysis) 기법을 적용하여 신체후보 관심영역을 추출하고(S130), 추출된 신체후보 관심영역의 영상을 분할하는(S140) 단계로 세분될 수 있다.
유해도 판단 과정(S200)은, 영상 전체 또는 입력 영상으로부터 추출한 신체후보 관심영역을 유해도 탐지모델과 비교하여 해당 신체후보 관심영역이 유해한 영상인지 여부를 판단하고, 유해도에 대한 판단 확률 값인 제1확률 값을 저장한다.
신체부위별 분류 과정(S300)는 입력 영상으로부터 추출한 신체후보 관심영역을 신체부위별 탐지모델과 비교하여 해당 신체후보 관심영역을 특정한 신체부위로 분류한다. 신체부위별 탐지모델은 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 신체부위 분류기준을 적용하여 각각 별개의 데이터베이스로 구축될 수도 있다. 이후, 신체부위별 분류에 대한 판단 확률 값인 제2확률 값은 분류결과와 함께 저장된다.
선정도 분석 과정(S400)는, 유해도 판단 과정(S200)에서 산출된 영상의 유해도와 제1확률 값 및 신체부위별 분류 과정(S300)에서 산출된 신체부위별 분류결과와 제2확률 값을 이용하여 선정도를 분석한다. 선정도 분석에는 영상 전체의 유해도, 영상 내에서 추출된 신체후보 관심영역의 유해도, 신체후보 관심영역의 신체부위별 분류결과, 그리고 선정도 산출을 위하여 기 설정된 신체부위별 가중치 등이 사용된다. 이들 정보는 예컨대 상기 수학식 1 내지 수학식3과 같이 가중 합산을 포 함하는 다양한 방식으로 조합되어 사용될 수 있다.
도6은 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법의 개략적인 흐름을 나타낸 흐름도이다. 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법을 실행하기 위해서는, 선정도 DB(170), 신체부위별 분류결과 DB(180), 인지 해쉬 DB(185), 메타정보 DB(190)가 구성되어 있어야 한다. 실시예에 따라 신체부위별 분류결과 DB(180)는 SafeNet의 유해등급기준 또는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 적용하여 각각 별개의 데이터베이스로 구축될 수도 있다.
도 6a는 선정도 기반 질의에 따른 영상 데이터베이스 검색 과정을 나타낸 흐름도이다. 관리자가 선정도 기반 질의를 입력하면(S610), 선정도 기반 검색부(410)는 선정도 DB(170)와 메타정보 DB(190)를 검색하여(S620), 질의로 입력된 선정도에 대응하는 영상 및 그 메타정보를 추출하고(S630). 그것을 응답으로 출력한다(S640).
도 6b는 신체부위 기반 질의에 따른 영상 데이터베이스 검색 과정을 나타낸 흐름도이다. 관리자가 신체부위 기반 질의를 입력하면(S660), 신체부위 기반 검색부(420)는 신체부위별 분류결과 DB(180)를 검색하여(S670), 질의로 입력된 신체부위에 대응하는 영상 및 그 메타정보를 추출하고(S680), 그것을 응답으로 출력한다. 신체부위별 분류결과 DB(180)에 대응하는 인지 해쉬 DB(185)가 함께 구성된 경우, 신체부위별 분류결과 DB(180)와 함께 또는 단독으로 인지 해쉬 DB(185)에 대한 검색 및 그에 따른 정보 추출이 이루어질 수 있다.
본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.
이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.
도 1은 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 장치의 개략적인 구성을 나타낸 블록도이다.
도 2는 영상 추출부의 세부적인 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 선정도 분석 방법을 실제 영상에 적용하는 과정을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 장치의 개략적인 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 신체부위별 탐지모델 기반의 영상 선정도 분석 방법의 개략적인 흐름을 나타낸 흐름도이다.
도6은 본 발명의 일 실시예에 따른 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법의 개략적인 흐름을 나타낸 흐름도이다.

Claims (20)

  1. 영상으로부터 신체후보 관심영역(skin blob)을 추출하는 추출 단계와,
    유해도 탐지모델을 이용하여 상기 영상 및 상기 신체후보 관심영역 중 적어도 하나의 유해도에 대한 판단 확률 값인 제1확률 값을 산출하는 유해도 판단 단계와,
    신체부위별 탐지모델을 이용하여 상기 신체후보 관심영역을 신체부위별로 분류하고 상기 분류에 대한 판단 확률 값인 제2확률 값을 산출하는 신체부위별 분류 단계, 및
    상기 제1 확률 값 및 상기 제2확률 값을 가중 합산(weighted summation)하여 상기 영상의 선정도를 산출하는 선정도 분석 단계를 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  2. 제 1항에 있어서,
    상기 제1확률 값은 상기 영상 전체의 유해도에 대한 판단 확률 값인 제1a확률 값과 상기 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1b 확률 값을 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  3. 제 2항에 있어서,
    상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 얼굴, 가슴, 성기, 결합성기를 포함하며,
    상기 제2확률 값은, 상기 신체부위별 분류 중 얼굴에 대한 판단 확률 값인 제2a 확률 값, 상기 신체부위별 분류 중 가슴에 대한 판단 확률 값인 제2b 확률 값, 상기 신체부위별 분류 중 성기에 대한 판단 확률 값인 제2c 확률 값, 상기 신체부위별 분류 중 결합성기에 대한 판단 확률 값인 제2d 확률 값을 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  4. 제 3항에 있어서,
    상기 신체부위별 분류의 기준은 SafeNet의 유해등급기준의 척도가될 수 있는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  5. 제 3항에 있어서,
    상기 선정도 분석 단계는 하기의 수학식1 내지 수학식 3 중 어느 하나에 의하여 상기 영상의 선정도를 산출하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
    [수학식 1]
    N = [WI*PI + ∑ (WX*PX(Bi))] * 100 [%]
    단, WI + ∑ WX = 1, X = {B, FA, BR, G, CG}
    [수학식 2]
    N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
    단, WI + ∑ WX = 1, X = {B, BR, G, CG}
    [수학식 3]
    N = [WI*PI + ∑ {WFA*(1-PFA(Bi))+WX*PX(Bi)] * 100 [%]
    단, WI + ∑ WX = 1, X = {B, BR, G}
    (여기서, N은 상기 영상의 선정도(nudity), I는 상기 영상(image), B는 상기 신체후보 관심영역(skin blob), PI는 상기 제1a확률 값, WI는 상기 제1a확률 값에 대한 가중치, PB(Bi)는 상기 제1b확률 값, PFA(Bi)는 상기 제2a확률 값, PBR(Bi)는 상기 제2b확률 값, PG(Bi)는 상기 제2c확률 값, PCG(Bi)는 상기 제2d확률 값, WX는 상기 제1b확률 값, 상기 제2a확률 값 내지 상기 제2d확률 값에 대한 가중치임.)
  6. 삭제
  7. 제 1항에 있어서,
    상기 추출 단계는,
    상기 영상의 노이즈(noise) 및 조명효과를 제거하는 전처리 단계와,
    상기 영상에 피부색 모델(skin color model) 또는 질감 에너지 분석(texture energy analysis) 기법 중 어느 하나 이상을 적용하여 상기 신체후보 관심영역을 추출하는 영역추출 단계, 및
    상기 영역추출된 신체후보 관심영역의 영상을 분할하는 영상분할 단계를 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  8. 제 1항에 있어서,
    상기 영상의 선정도를 데이터베이스로 저장하는 선정도 저장 단계와,
    상기 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 저장 단계, 및
    상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 저장 단계를 더 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 방법.
  9. 영상의 유해도 탐지모델을 저장하는 유해도 탐지모델 DB와,
    영상의 신체부위별 탐지모델을 저장하는 신체부위별 탐지모델 DB와,
    영상으로부터 신체후보 관심영역(skin blob)을 추출하는 추출부와,
    상기 유해도 탐지모델을 이용하여 상기 영상 및 상기 신체후보 관심영역 중 적어도 하나의 유해도에 대한 판단 확률 값인 제1확률 값을 산출하는 유해도 판단부와,
    상기 신체부위별 탐지모델을 이용하여 상기 신체후보 관심영역을 신체부위별로 분류하고 상기 분류에 대한 판단 확률 값인 제2확률 값을 산출하는 신체부위별 분류부, 및
    상기 제1 확률 값 및 상기 제2확률 값을 가중 합산(weighted summation)하여 상기 영상의 선정도를 산출하는 선정도 분석부를 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 장치.
  10. 제 9항에 있어서,
    상기 신체부위별 분류는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준에 따라 이루어지고,
    상기 제1확률 값은 상기 영상 전체의 유해도에 대한 판단 확률 값인 제1a확률 값과 상기 신체후보 관심영역의 유해도에 대한 판단 확률 값인 제1b 확률 값을 포함하며,
    상기 제2확률 값은, 상기 신체부위별 분류 중 얼굴에 대한 판단 확률 값인 제2a 확률 값, 상기 신체부위별 분류 중 가슴에 대한 판단 확률 값인 제2b 확률 값, 상기 신체부위별 분류 중 성기에 대한 판단 확률 값인 제2c 확률 값, 상기 신체부위별 분류 중 결합성기에 대한 판단 확률 값인 제2d 확률 값을 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 장치.
  11. 삭제
  12. 제 9항에 있어서,
    상기 추출부는,
    상기 영상의 노이즈(noise) 및 조명효과를 제거하는 전처리부와,
    상기 영상에 피부색 모델 또는 질감 에너지 분석(texture energy analysis) 기법 중 어느 하나 이상을 적용하여 상기 신체후보 관심영역을 추출하는 영역추출부, 및
    상기 영역추출된 신체후보 관심영역의 영상을 분할하는 영상분할부를 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 장치.
  13. 제 9항에 있어서,
    상기 영상의 선정도를 데이터베이스로 저장하는 선정도 DB와,
    상기 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB, 및
    상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB를 더 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 장치.
  14. 제 13항에 있어서,
    상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해 쉬(perceptual hash)로 구성하여 데이터베이스로 저장하는 인지 해쉬 DB를 더 포함하는
    신체부위별 탐지모델 기반의 영상 선정도 분석 장치.
  15. 영상의 유해도 탐지모델을 데이터베이스로 저장하는 유해도 탐지모델 DB 구축 단계와,
    영상의 신체부위별 탐지모델을 데이터베이스로 저장하는 신체부위별 탐지모델 DB 구축 단계와,
    상기 영상의 유해도에 대한 판단확률값인 제1확률값 및 상기 신체부위별 분류에 대한 판단확률값인 제2확률값을 가중 합산(weighted summation)하여 산출한 영상의 선정도를 데이터베이스로 저장하는 선정도 DB 구축 단계와,
    상기 신체부위별 탐지모델을 이용하여 추출한 상기 영상의 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB 구축 단계와,
    상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB 구축 단계와,
    상기 영상에 대하여 선정도 기반 질의가 입력될 경우 상기 선정도 DB 및 상기 메타정보 DB를 검색하여 상기 선정도 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 기반 검색 단계, 및
    상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 신체부위별 분류결과 DB 및 상기 메타정보 DB를 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 신체부위 기반 검색 단계를 포함하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 방법.
  16. 제 15항에 있어서,
    상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해쉬(perceptual hash)로 구성하여 저장하는 인지 해쉬 DB 구축 단계를 더 포함하며,
    상기 신체부위 기반 검색 단계는, 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 인지 해쉬 DB를 더 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 방법.
  17. 제 15항에 있어서,
    상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 SafeNet의 유해등급기준의 척도가될 수 있는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 사용하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 방법.
  18. 영상의 유해도 탐지모델을 데이터베이스로 저장하는 유해도 탐지모델 DB와,
    영상의 신체부위별 탐지모델을 데이터베이스로 저장하는 신체부위별 탐지모델 DB와,
    상기 영상의 유해도에 대한 판단확률값인 제1확률값 및 상기 신체부위별 분류에대한 판단확률값인 제2확률값을 가중 합산(weighted summation)하여 산출한 영상의 선정도를 데이터베이스로 저장하는 선정도 DB와,
    상기 신체부위별 탐지모델을 이용하여 추출한 상기 영상의 신체후보 관심영역의 신체부위별 분류결과를 데이터베이스로 저장하는 신체부위별 분류결과 DB와,
    상기 신체후보 관심영역이 상기 영상에서 차지하는 위치 또는 크기를 포함하는 메타정보를 데이터베이스로 저장하는 메타정보 DB와,
    상기 영상에 대하여 선정도 기반 질의가 입력될 경우 상기 선정도 DB 및 상기 메타정보 DB를 검색하여 상기 선정도 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 선정도 기반 검색부, 및
    상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 신체부위별 분류결과 DB 및 상기 메타정보 DB를 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는 신체부위 기반 검색부를 포함하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 장치.
  19. 제 18항에 있어서,
    상기 신체후보 관심영역의 상기 신체부위별 분류결과를 인지 해쉬(perceptual hash)로 구성하여 저장하는 인지 해쉬 DB를 더 포함하며,
    상기 신체부위 기반 검색부는, 상기 영상에 대하여 신체부위 기반 질의가 입력될 경우 상기 인지 해쉬 DB를 더 검색하여 상기 신체부위 기반 질의에 대응하는 영상 및 메타정보를 응답으로 출력하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 장치.
  20. 제 18항에 있어서,
    상기 신체부위별 탐지모델은 상기 신체부위별 분류의 기준으로 SafeNet의 유해등급기준의 척도가될 수 있는 얼굴, 가슴, 성기, 결합성기를 포함하는 기준을 사용하는
    선정도 및 신체부위 기반 영상 데이터베이스 관리 장치.
KR1020090120241A 2009-12-07 2009-12-07 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치 KR101272611B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090120241A KR101272611B1 (ko) 2009-12-07 2009-12-07 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치
US12/962,099 US8411964B2 (en) 2009-12-07 2010-12-07 Method and apparatus for analyzing nudity of image using body part detection model, and method and apparatus for managing image database based on nudity and body parts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090120241A KR101272611B1 (ko) 2009-12-07 2009-12-07 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110063883A KR20110063883A (ko) 2011-06-15
KR101272611B1 true KR101272611B1 (ko) 2013-06-10

Family

ID=44082076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090120241A KR101272611B1 (ko) 2009-12-07 2009-12-07 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치

Country Status (2)

Country Link
US (1) US8411964B2 (ko)
KR (1) KR101272611B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496632B1 (ko) * 2010-11-04 2015-03-03 한국전자통신연구원 안심 콘텐츠 서비스를 위한 시스템 및 이를 위한 방법
KR101227569B1 (ko) 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
US8705853B2 (en) * 2012-04-20 2014-04-22 Apple Inc. Detecting skin tone
US9355406B2 (en) * 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
TW201702937A (zh) 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置
US9992639B1 (en) * 2016-11-19 2018-06-05 Avni P Singh Semantically-enabled controlled sharing of objects in a distributed messaging platform
US10733431B2 (en) * 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
CN111385602B (zh) * 2018-12-29 2022-08-09 广州市百果园信息技术有限公司 基于多层级多模型的视频审核方法、介质及计算机设备
US10810726B2 (en) * 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US10922584B2 (en) 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
KR102504537B1 (ko) * 2020-11-25 2023-02-28 (주)디지탈쉽 데이터 분할 기반 데이터 전처리 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074632A (ko) * 2007-02-09 2008-08-13 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973201B1 (en) 2000-11-01 2005-12-06 Koninklijke Philips Electronics N.V. Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US20050160258A1 (en) * 2003-12-11 2005-07-21 Bioobservation Systems Limited Detecting objectionable content in displayed images
KR100572768B1 (ko) 2004-06-02 2006-04-24 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
KR100862341B1 (ko) 2006-11-13 2008-10-13 삼성전기주식회사 사람의 피부 영역 검출장치 및 그 방법
US20080159627A1 (en) 2006-12-27 2008-07-03 Yahoo! Inc. Part-based pornography detection
JP4882768B2 (ja) 2007-01-30 2012-02-22 パナソニック電工株式会社 人体検出装置
US8358846B2 (en) * 2007-11-13 2013-01-22 Symantec Corporation Scanning images for pornography
CA2734143C (en) * 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
KR20100094045A (ko) 2009-02-18 2010-08-26 김계영 유두와 가슴선을 이용한 여성의 가슴 탐지 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074632A (ko) * 2007-02-09 2008-08-13 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법

Also Published As

Publication number Publication date
US8411964B2 (en) 2013-04-02
KR20110063883A (ko) 2011-06-15
US20110135204A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
KR101272611B1 (ko) 신체부위별 탐지모델 기반의 영상 선정도 분석 방법 및 장치, 선정도 및 신체부위 기반 영상 데이터베이스 관리 방법 및 장치
US11086924B2 (en) Image search device and image search method
US10747826B2 (en) Interactive clothes searching in online stores
KR101289085B1 (ko) 객체 기반 영상 검색시스템 및 검색방법
US8000504B2 (en) Multimodal classification of adult content
US9251403B2 (en) Method for finding and digitally evaluating illegal image material
de Castro Polastro et al. Nudetective: A forensic tool to help combat child pornography through automatic nudity detection
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
KR102187302B1 (ko) 보행자 패션 정보를 이용한 보행자 검색 시스템 및 보행자 검색 방법
CN112001282A (zh) 一种图像识别方法
Schmugge et al. Objective evaluation of approaches of skin detection using ROC analysis
Alberink et al. Performance of the FearID earprint identification system
CN105389562A (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
Peersman et al. icop: Automatically identifying new child abuse media in p2p networks
CN114399382A (zh) 用户欺诈风险的检测方法、装置、计算机设备及存储介质
Zaidan et al. Robust pornography classification solving the image size variation problem based on multi-agent learning
WO2018068664A1 (zh) 网络信息识别方法和装置
Peng et al. PKU-ICST at TRECVID 2015: Instance Search Task.
CN106708961B (zh) 垃圾文本库的建立方法、过滤方法及系统
WO2020118584A1 (en) Automatically generating training data sets for object recognition
CN115909407A (zh) 一种基于人物属性辅助的跨模态行人重识别方法
KR20150030445A (ko) 아동 음란물 탐지 시스템
Barzamini et al. Improving generalizability of ml-enabled software through domain specification
Artan et al. Vision based driver smoking behavior detection using surveillance camera images
JP2008293178A (ja) シーン管理装置及びシーン管理方法ならびにそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 7