KR102313338B1 - 영상 검색 장치 및 방법 - Google Patents

영상 검색 장치 및 방법 Download PDF

Info

Publication number
KR102313338B1
KR102313338B1 KR1020190149025A KR20190149025A KR102313338B1 KR 102313338 B1 KR102313338 B1 KR 102313338B1 KR 1020190149025 A KR1020190149025 A KR 1020190149025A KR 20190149025 A KR20190149025 A KR 20190149025A KR 102313338 B1 KR102313338 B1 KR 102313338B1
Authority
KR
South Korea
Prior art keywords
image
vector
search target
comparison
leaked
Prior art date
Application number
KR1020190149025A
Other languages
English (en)
Other versions
KR20200115017A (ko
Inventor
손동현
이동준
남유진
박성환
이동주
최준혁
Original Assignee
에스프레스토 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스프레스토 주식회사 filed Critical 에스프레스토 주식회사
Publication of KR20200115017A publication Critical patent/KR20200115017A/ko
Application granted granted Critical
Publication of KR102313338B1 publication Critical patent/KR102313338B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시예에 따른 영상 검색 장치에 의해 수행되는 영상 검색 방법은, 검색 대상 영상을 수신하는 단계, 검색 대상 영상을 전처리하는 단계, 전처리된 검색 대상 영상에서 이미지 벡터를 추출하는 단계, 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하는 단계, 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하는 단계, 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터를 서로 비교하는 단계, 및 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 비교 영상을 유출된 유출 영상으로 판정하는 단계를 포함한다.

Description

영상 검색 장치 및 방법{APPARATUS AND METHOD FOR SEARCHING IMAGE}
본 발명은 영상 검색 장치 및 방법에 관한 것이다. 보다 상세하게는, 인터넷 상에서 영상에 대한 불법적인 유출 여부를 검색하는 영상 검색 장치 및 방법에 관한 것이다.
현재, 영상 촬영을 위해 기존의 카메라와 캠코더뿐만 아니라 스마트폰이나 태블릿 등과 같은 휴대용 전자단말기에도 카메라가 탑재됨에 따라 관련된 기기를 사용하는 사용자는 영상을 쉽고 간편하게 촬영할 수 있게 되었다. 더불어, 인터넷의 발달로 인해 사용자는 언제 어디서나 촬영된 영상을 인터넷에 업로드할 수 있게 되었다.
이러한 사용자들에 의해 인터넷에 업로드되는 영상은 양질의 컨텐츠를 포함할 수도 있지만, 촬영의 동의를 얻지 못한 상태에서 촬영되거나, 개인적인 사생활을 촬영한 영상도 존재한다.
이러한, 영상이 인터넷 상에 유출된 경우, 선의의 피해자가 발생할 수 있다. 관련하여, 유출 영상을 인터넷 상에서 검색하는 기술로서, 인터넷 상에 유출된 것으로 판단된 영상과 불법 영상의 픽셀을 서로 비교하거나, 프레임을 서로 비교하여 유출된 불법 영상을 검색하는 기술이 있다. 하지만, 불법 영상은 대부분 고정된 길이를 갖지 않으며, 음란 영상의 경우 일반 영상들에 비해 길이가 월등히 길다. 이로 인해, 픽셀 또는 프레임을 기준으로 일일이 비교하여 유출 영상을 검색하는 데에는 많은 시간을 필요로 하는 문제점이 있었다.
특히, 개인의 사생활을 촬영한 영상, 예를 들어 음란 영상은 유출될 경우, 인터넷 상에서 빠른 속도로 퍼져나간다. 이로 인해, 음란 영상에 따른 피해자는 사회생활을 하거나 일상생활을 하기에 불가능할 정도로 심각한 피해를 입는다. 더욱이, 음란 영상은 제목이 다양하게 변화하여 유출되기 때문에, 인터넷 상에서 유출된 음란 영상을 검색해 내는데 한계가 존재하는 문제점이 있었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은 인터넷 상에 불법적으로 유출된 영상을 검색할 수 있는 영상 검색 장치 및 방법을 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은 유출 영상의 검색에 소요되는 시간을 감소시킬 수 있는 영상 검색 장치 및 방법을 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은 제목이 변경된 유출 영상을 검색할 수 있는 영상 검색 장치 및 방법을 제시하는데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 영상 검색 장치에 의해 수행되는 영상 검색 방법은, 검색 대상 영상을 수신하는 단계, 상기 검색 대상 영상을 전처리하는 단계, 상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하는 단계, 상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하는 단계, 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하는 단계, 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터를 서로 비교하는 단계, 및 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 단계를 포함한다.
다른 실시예에 따르면, 영상 검색 장치는 프록시 서버와 통신하는 통신부, 검색 대상 영상을 수신하는 입출력부, 및 상기 검색 대상 영상을 전처리하고, 상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하고, 상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하고, 상기 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하고, 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터를 서로 비교하고, 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 제어부를 포함한다.
또 다른 실시예에 따르면, 영상 검색 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 검색 방법은, 검색 대상 영상을 수신하는 단계, 상기 검색 대상 영상을 전처리하는 단계, 상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하는 단계, 상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하는 단계, 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하는 단계, 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터를 서로 비교하는 단계, 및 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 단계를 포함한다.
또 다른 실시예에 따르면, 영상 검색 장치에 의해 수행되며, 상기 영상 검색 방법은, 검색 대상 영상을 수신하는 단계, 상기 검색 대상 영상을 전처리하는 단계, 상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하는 단계, 상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하는 단계, 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하는 단계, 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터를 서로 비교하는 단계, 및 상기 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 실시예들은 인터넷 상에 유출된 불법 영상을 검색할 수 있는 영상 검색 장치 및 방법을 제시할 수 있다.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 불법 영상의 검색에 소요되는 시간을 감소시킬 수 있는 영상 검색 장치 및 방법을 제시할 수 있다.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다양한 사용자에 의해 유출되거나 제목이 변경된 유출 영상을 검색할 수 있는 영상 검색 장치 및 방법을 제시할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 영상 검색 장치를 도시한 도면이다.
도 2는 일 실시예에 따른 영상 검색 장치를 도시한 블록도이다.
도 3 및 도 4는 일 실시예에 따른 영상 검색 장치에서 수행되는 영상 검색 방법을 도시한 순서도이다.
도 5는 일 실시예에 따른 영상 검색 장치에서 유출 영상을 수집하는 동작을 도시한 순서도이다.
도 6은 일 실시예에 따른 영상 수집 검색 장치에서 유출 영상의 판정을 위해 이미지 벡터를 비교하는 동작을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
'검색 대상 영상'은 인터넷 상에 유출된 영상을 검색하기 위한 기준이 되는 영상이다. 따라서, 검색 대상 영상은 인터넷 상에 존재하는 다른 영상들과의 비교를 위해 사용될 수 있다. '비교 영상'은 인터넷 상의 모든 영상을 포함할 수 있으며, 인터넷 상에 유출된 영상을 찾기 위해 검색 대상 영상과 비교되는 영상을 의미한다.
'이미지 벡터'는 동영상 또는 동영상의 일부(예를 들어, 썸네일 등)로부터 추출될 수 있으며, 필요에 따라 동영상으로부터 추출된 정지영상, 즉 일반 이미지 등으로부터 추출될 수도 있다. 이러한, 이미지 벡터는 불법 영상에 기반한 방대한 데이터셋(dataset)으로 학습된 인공신경망(Neural Network)을 사용할 수 있고, 인공신경망 중에서 특징 벡터(feature vector)의 획득이 가능한 모든 인공신경망 모델 중 하나를 선택하여 사용할 수 있다. 예를 들어, 인공신경망으로 콘볼루션 신경망(CNN: Convolution Neural Network)을 이용할 수 있다. 따라서 이미지 벡터는 다양한 인공신경망들 중에서 하나를 사용하여 획득한 특징 벡터일 수 있다.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.
도 1은 일 실시예에 따른 영상 검색 장치를 도시한 도면이다.
도 1에 도시된 바와 같이, 영상 검색 장치(100)는 인터넷 상에 유출된 영상을 검색할 수 있는 영상 검색 방법이 적용된 전자단말기(10)만으로 구현되거나 서버(20)만으로 구현될 수 있다.
또한, 영상 검색 장치(100)는 서버-클라이언트 시스템으로 구현될 수도 있다. 영상 검색 장치(100)가 서버-클라이언트 시스템으로 구현된 경우, 영상 검색 장치(100)는 사용자와의 인터랙션을 위한 전자단말기(10)를 포함할 수 있다.
구체적으로 전자단말기(10)는 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰 (Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
영상 검색 장치(100)가 서버-클라이언트 시스템으로 구현된 경우, 서버를 포함할 수 있다. 여기서, 서버(20)는 클라이언트가 설치된 전자단말기(10)와 네트워크를 통해 통신이 가능한 컴퓨팅 장치로 구현될 수 있으며, 데이터를 저장할 수 있는 저장장치가 포함될 수 있거나 또는 제3의 서버(미도시)를 통해 데이터를 저장할 수도 있다.
도 2는 일 실시예에 따른 영상 검색 장치를 도시한 블록도이다.
도 2에 도시된 바와 같이, 영상 검색 장치(100)는 통신부(110), 입출력부(120), 저장부(130), 및 제어부(140)를 포함할 수 있다.
통신부(110)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(110)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
통신부(110)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(110)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다. 상술된 통신은 예시일 뿐이며, 영상 검색 장치(100)가 통신을 수행할 수 있도록 하는 각종 통신 기법이 가능하다.
이를 통해, 통신부(110)는 영상 검색을 위해 인터넷에 접속될 수 있으며, 인터넷 상의 웹 서버(또는, 에이치티티피(HTTP: Hyper Text Transfer Protocol) 서버) 등과 통신할 수 있다. 한편, 통신부(110)는 인터넷 상에서 요청된 데이터를 대용량 저장 매체 등에 저장할 수 있는 프록시(Proxy) 서버와 통신할 수도 있다. 이를 통해, 통신부(110)는 인터넷 상의 불법 영상을 수신할 수 있으며, 수신된 불법 영상을 프록시 서버 등에 저장할 수 있다.
입출력부(120)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 영상 검색 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(120)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(120)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
한편, 입출력부(120)는 USB 메모리 또는 외장 하드와 같은 저장 매체에 연결되어 영상을 입력받기 위한 단자를 구비하거나, 자기 혹은 광 디스크와 같은 매체로부터 영상을 독출할 수 있는 리더기(예를 들어, CD롬 또는 DVD롬 등)를 포함할 수 있다.
입출력부(120)는 사용자와 인터페이스를 할 수 있으며, 검색 대상 영상을 입력받기 위한 인터페이스를 사용자에게 제공하고, 검색 대상 영상의 검색 결과(예를 들어, 검색 대상 영상과 동일하거나 유사한 유출 영상 및 유출 영상 정보(URL, 제목, 업로드 날짜 등))를 제공할 수 있다. 또한, 입출력부(120)는 검색 대상 영상에 대응되는 유출 영상의 삭제를 위한 요청을 사용자로부터 수신하고, 유출 영상의 삭제 결과에 대한 정보를 사용자에게 제공할 수도 있다.
한편, 검색 대상 영상은 상술한 입출력부(120) 대신에 통신부(110)를 통해 수신할 수도 있다.
저장부(130)에는 파일 또는 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 저장부(130)에 저장된 데이터는 후술될 제어부(140)에 의해 액세스되어 이용되거나, 또는 제어부(140)에 의해 새로운 데이터가 저장될 수 있다. 또한 저장부(130)는 제어부(140)에 의해 실행될 수 있는 프로그램을 저장할 수 있다.
저장부(130)에는 유출 영상을 검색하기 위한 검색 대상 영상이 저장될 수 있다. 저장부(130)에는 검색 대상 영상으로부터 추출된 이미지 벡터를 저장할 수도 있다. 또한, 저장부(130)에는 검색된 유출 영상에 대한 정보, 예를 들어, 유알엘(Uniform Resource Locator, 이하 'URL'라 칭하기로 함), 제목, 업로드 날짜 등의 수집된 정보를 저장할 수 있으며, 상술한 정보들 이외에도 검색된 유출 영상에 대한 다양한 정보를 추가로 저장할 수 있다.
제어부(140)는 영상 검색 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(140)는 영상 검색 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
제어부(140)는 사용자로부터 유출 여부를 검색하기 위한 검색 대상 영상을 입력받을 수 있다. 제어부(140)는 검색 대상 영상을 입력받을 때, 원본 영상 또는 부분 영상(예를 들어, 썸네일 등)을 입력받을 수 있다.
제어부(140)는 검색 대상 영상을 전처리하여 검색에 필요한 부분만을 추출할 수 있다. 이를 위해, 제어부(140)는 검색 대상 영상에서 광고와 같은 불필요한 부분을 삭제하는 전처리 동작을 수행할 수 있다. 제어부(140)는 검색 대상 영상의 초반부 또는 후반부에서 소정 시간만큼 삭제할 수 있다. 한편, 제어부(140)는 검색 대상 영상 중 중반부에서 미리 설정된 위치를 기준으로 소정 시간만큼 삭제할 수도 있다.
예를 들어, 제어부(140)는 복수의 검색 대상 영상을 기준으로 삭제할 평균 시간 구간을 계산하고, 계산된 시간 구간만큼 검색 대상 영상의 초반부 또는 후반부에서 삭제할 수 있다. 제어부(140)는 삭제될 시간 구간을 미리 설정하고, 설정된 시간 구간만큼 검색 대상 영상의 초반부 또는 후반부에서 삭제할 수 있다. 또한, 제어부(140)는 유출 영상에 삽입된 특정 광고의 삽입 패턴(예를 들어, 영상 초반 5초 분량의 광고 영상 제공)을 추출하여 저장할 수 있다. 이후, 제어부(140)는 입력된 검색 대상 영상으로부터 특정 광고에 관련된 키워드 등을 추출하면, 특정 광고의 삽입 패턴을 고려하여 해당 부분(예를 들어, 영상 초반 5초 분량의 영상 또는 영상 시작 시점을 기준으로 10분이 경과한 지점부터 20초 분량의 영상 등)을 삭제할 수도 있다.
제어부(140)는 전처리된 영상에서 이미지 벡터를 추출할 수 있다. 제어부(140)는 이미지 벡터를 추출하기 위해 유출 영상을 학습한 인공신경망을 이용할 수 있으며, 전처리된 영상으로부터 인공신경망을 이용하여 이미지 벡터를 추출할 수 있다.
제어부(140)는 전처리된 영상에서 미리 설정된 소정 간격을 기준으로 이미지를 추출할 수 있다. 예를 들어, 제어부(140)는 3초를 기준으로 1장의 이미지를 추출할 수 있다. 제어부(140)는 추출된 이미지들을 클러스터링(Clustering) 기법, 예를 들어, 케이-민즈(K-means) 클러스터링을 이용하여 특정 장면(scenes)을 기준으로 추출된 이미지들을 군집화할 수 있다. 제어부(140)는 클러스터링을 이용하여 클러스터링 수(K)에 대응되는 대표 이미지 샘플을 추출할 수 있다. 이를 통해, 제어부(140)는 전처리된 영상에서 장면 각각에 대해 하나의 대표 이미지를 선정할 수 있다. 또한, 제어부(140)는 결정된 대표 이미지 샘플 각각에 대응되는 이미지 벡터를 선정할 수 있다.
제어부(140)는 프록시 서버로 검색 대상 영상의 검색을 요청할 수 있다. 이때, 제어부(140)는 검색 대상 영상으로부터 추출된 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 존재하는지 검색을 프록시 서버로 요청할 수 있다.
만약, 프록시 서버에서 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 제어부(140)는 프록시 서버로부터 검색된 이미지 벡터의 비교 영상과 비교 영상 정보를 수신할 수 있다. 이와 달리, 프록시 서버에서 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되지 않으면, 제어부(140)는 프록시 서버로부터 대표 이미지 샘플의 이미지 벡터에 대응되는 영상이 존재하지 않음을 나타내는 정보를 수신할 수 있다.
제어부(140)는 검색 대상 영상이 업로드될 수 있는 타겟 사이트의 웹 페이지로부터 비교 영상과 비교 영상 정보를 미리 획득하여 프록시 서버에 저장할 수 있다. 예를 들어, 타겟 사이트는 검색 대상 영상이 음란 영상일 경우, 음란 영상이 주로 업로드되는 웹 사이트일 수 있다. 제어부(140)는 비교 영상에 대해서도 전처리를 수행하여 광고와 같이 불필요한 부분을 미리 삭제할 수 있다. 이후, 제어부(140)는 비교 영상을 전처리한 영상으로부터 이미지 벡터를 추출할 수 있다. 제어부(140)는 클러스터링을 이용하여 비교 영상에 대해서도 대표 이미지 샘플을 추출 및 대표 이미지 샘플에 대응되는 이미지 벡터를 선정할 수 있다. 이를 통해 제어부(140)는 획득된 비교 영상의 이미지 벡터, 대표 이미지 샘플, 또는 대표 이미지 샘플의 이미지 벡터 중 적어도 일부를 프록시 서버에 저장할 수 있다.
이를 통해, 제어부(140)는 검색 대상 영상에 대한 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터의 검색 시, 비교 영상에 대한 대표 이미지 샘플의 이미지 벡터(또는 비교 영상의 이미지 벡터)를 검색할 수 있다.
제어부(140)는 프록시 서버에서 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 존재하지 않음을 확인하면, 유출 영상이 주로 업로드되는 타겟 사이트에 직접 접속할 수 있다. 이를 통해, 제어부(140)는 타겟 사이트로부터 검색 대상 영상과의 비교를 위한 비교 영상 및 비교 영상 정보(예를 들어, URL, 제목, 업로드 날짜, 썸네일 등)를 획득할 수 있다. 이를 위해, 제어부(140)는 비교 영상 및 비교 영상 정보를 획득하기 위해 타겟 사이트의 웹 페이지에 대한 소스코드를 크롤링 또는 파싱할 수 있다.
제어부(140)는 프록시 서버 또는 타겟 사이트로부터 검색된 비교 영상의 이미지 벡터와 검색 대상 영상의 이미지 벡터를 비교할 수 있다. 제어부(140)는 이미지 벡터들이 소정 기준값 이상의 유사도를 갖는지 비교할 수 있다. 예를 들어, 제어부(140)는 소정 개수 이상의 이미지 벡터가 서로 일치하거나, 이미지 벡터들 간의 유사도가 소정 기준치 이상으로 높으면, 검색한 비교 영상을 유출 영상으로 결정할 수 있다. 이때, 제어부(140)는 이미지 벡터의 코사인(Cosine) 성분에 대한 유사도를 판단할 수 있다. 제어부(140)는 대표 이미지 샘플에 대응되는 이미지 벡터와 코사인 성분의 유사도가 소정 기준값 이상인 이미지 벡터를 발견하면, 대표 이미지 샘플에 대응되는 유출 영상을 검출한 것으로 판단할 수 있다. 여기서, 제어부(140)에서 비교하는 이미지 벡터들은 검색 대상 영상과 비교 영상 각각의 전체 이미지 벡터가 사용되거나, 대표 이미지 샘플의 이미지 벡터만을 비교할 수도 있다.
제어부(140)는 검색 대상 영상과 비교한 비교 영상이 동일하거나 유사한 유출 영상으로 판정되면, 판정된 유출 영상과 유출 영상 정보, 예를 들어, URL, 영상 제목, 업로드 날짜 등에 대한 정보를 입출력부(120)를 통해 사용자에게 출력되도록 할 수 있다.
한편, 제어부(140)는 유출 영상에 대해 사용자의 인터넷 프로토콜(IP) 어드레스 또는 매체접근제어(MAC) 주소에 대한 정보를 노출시키지 않도록, 프록시 서버 상에서 프록시 서버에서 직접 삭제 요청 이메일을 자동으로 전송되도록 요청할 수 있다. 삭제 요청 이메일은 유출 영상에 관련하여 국문 또는 영문으로 작성된 개인정보보호법 및 처벌 조항에 대한 정보를 포함할 수 있다. 이때, 제어부(140)는 유출 영상에 대응되는 URL에 서버로부터 페이지를 요청하는 에이치티티피 겟(HTTP GET) 요청을 할 수 있다. 이때, 제어부(140)는 해당 URL로부터 유출 영상이 존재하지 않는 메시지(예를 들어, 'HTTP 404 not found'를 포함한 메시지)를 수신하면 유출 영상이 삭제된 것으로 판단할 수 있다. 이와 달리, 제어부(140)는 해당 URL로부터 유출 영상이 존재하는 메시지(예를 들어, 'HTTP 200'을 포함한 메시지)를 수신하면, 유출 영상이 삭제되지 않은 것으로 판단할 수 있다.
이를 통해, 제어부(140)는 유출 영상에 대해 삭제 요청과 함께 삭제 여부를 소정 주기를 간격으로 모니터링할 수 있다. 또한, 제어부(140)는 모니터링 결과를 영상 검색 장치(100)의 관리자 또는 이용자에게 통신부(110)를 통해 연결된 기기로 전송하거나 또는 입출력부(120)의 디스플레이 화면을 이용하여 출력할 수도 있다.
상술한 영상 검색 장치(100)는 인터넷 상에 불법적으로 유출된 영상을 검색할 수 있으며, 유출된 영상에 대해 삭제 요청 및 확인까지도 수행할 수 있다. 특히, 영상 검색 장치(100)는 영상(검색 대상 영상 또는 비교 영상)의 전처리를 통해 영상에서 불필요한 부분을 삭제한 영상을 이용하여 유출 영상을 검색하기 때문에 영상 검색에 소요되는 시간을 단축시킬 수 있다. 또한, 영상 검색 장치(100)는 영상으로부터 추출된 이미지 벡터를 활용하여 영상의 검색 내지는 비교를 하고, 대표 이미지 샘플과 같이 영상 내 특정 영상 또는 특정 영상의 이미지 벡터만을 검색에 이용하기 때문에 영상 검색에 소요되는 시간을 단축시킬 수 있다. 이로 인해, 음란 영상과 같이 일반 영상들 대비 3배 내지 20배의 긴 길이를 갖는 유출 영상의 검색 시, 영상 검색 장치(100)는 일반적인 픽셀 또는 프레임을 비교하는 영상 검색 방식들 대비 영상 검색 속도를 향상시킬 수 있다.
영상 검색 장치(100)는 오브젝트(객체)의 픽셀 간 차이가 적은 음란 영상의 경우, 픽셀 차이를 이용하여 영상을 검색하는 SIFT 또는 ORB와 같은 오브젝트 매칭 방식의 적용 없이도 유출된 영상을 검색해 낼 수 있다. 또한, 영상 검색 장치(100)는 유출 영상의 제목이 변경되더라도, 영상에서 획득한 이미지 벡터 등을 활용하기 때문에 제목과 상관없이 유출 영상을 검색해 낼 수 있다.
도 3과 도4는 일 실시예에 따른 영상 검색 장치에서 수행되는 영상 검색 방법을 도시한 순서도이다.
도 3과 도 4에 도시된 바와 같이, 영상 검색 장치(100)는 검색 대상 영상을 입력받을 수 있다(S211). 영상 검색 장치(100)는 별도의 저장 매체 등을 이용하여 검색 대상 영상을 입력받거나, 인터넷을 통해 유출 영상을 직접 다운로드하여 검색 대상 영상으로 이용할 수도 있다.
영상 검색 장치(100)는 검색 대상 영상을 전처리할 수 있다(S213). 영상 검색 장치(100)는 검색 대상 영상에서 광고와 같이 영상 검색에 불필요한 부분을 삭제하는 전처리 동작을 수행할 수 있다.
영상 검색 장치(100)는 전처리된 영상에서 이미지 벡터를 추출할 수 있다(S215).
영상 검색 장치(100)는 대표 이미지 샘플을 추출할 수 있다(S217). 영상 검색 장치(100)는 전처리된 영상에 대해 소정 시간 간격을 기준으로 이미지를 추출할 수 있다. 영상 검색 장치(100)는 소정 시간 간격으로 추출된 이미지를 클러스터링 기법 등을 사용하여 대표 이미지 샘플을 추출할 수 있다. 예를 들어, 영상 검색 장치(100)는 클러스터링 기법으로 추출된 이미지를 영상 내의 각 장면별로 구분하고, 구분된 장면 각각에서 대표 이미지 샘플을 추출할 수 있다.
영상 검색 장치(100)는 프록시 서버 내에서 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색할 수 있다(S219). 영상 검색 장치(100)는 대표 이미지 샘플과 관련되어 비교 대상이 되는 이미지 벡터 또는 영상을 검색할 수 있다. 이때, 영상 검색 장치(100)는 대표 이미지 샘플과의 실질적인 유사도를 판단하기 이전에 유사도 판단을 위한 대상 영상을 추출하기 위한 검색 동작을 수행한다. 따라서, 영상 검색 장치(100)는 하기의 S221 단계에서 수행되는 비교 동작에 비해 비교 정확도가 낮게 설정될 수 있다.
영상 검색 장치(100)는 프록시 서버 내에 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 존재하는지 확인한다(S221). 여기서, 검색된 이미지 벡터는 프록시 서버 내에 저장된 비교 영상의 이미지 벡터이고, 비교 영상의 대표 이미지 샘플에 대응되는 이미지 벡터일 수도 있다.
S221단계의 확인결과, 프록시 서버 내에 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 존재하지 않으면, 영상 검색 장치(100)는 S223단계로 진행한다.
영상 검색 장치(100)는 유출 영상이 업로드되는 타겟 사이트로부터 직접 검색 대상 영상과의 비교를 위한 비교 영상을 획득할 수 있다(S223). 이때, 영상 검색 장치(100)는 타겟 사이트의 웹 페이지를 크롤링 및 파싱을 통해 비교 영상을 획득할 수 있으며, 비교 영상의 URL, 영상 제목, 업로드 날짜, 썸네일 등을 포함한 비교 영상 정보를 함께 획득할 수 있다.
영상 검색 장치(223)는 비교 영상 또는 비교 영상의 썸네일로부터 이미지 벡터를 추출하고, S227단계로 진행할 수 있다.
S223단계의 확인결과, 프록시 서버 내에 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 존재하면, 영상 검색 장치(100)는 S227단계로 진행한다.
영상 검색 장치(100)는 대표 이미지 샘플의 이미지 벡터를 프록시 서버 내의 비교 영상의 이미지 벡터 또는 타겟 사이트로부터 획득된 비교 영상의 이미지 벡터와 비교할 수 있다(S227).
영상 검색 장치(100)는 검색 대상 영상의 이미지 벡터와 프록시 서버 또는 타겟 사이트로부터 검색된 비교 영상의 이미지 벡터를 서로 비교하여 유사도가 소정 기준값 이상인지 확인한다(S229). 여기서, 영상 검색 장치(100)는 검색 대상 영상과 비교 영상 각각에서 추출한 이미지 벡터 전체를 서로 비교하거나, 일부의 이미지 벡터(예를 들어, 검색 대상 영상과 비교 영상 각각의 대표 이미지 벡터에 대응되는 이미지 벡터들)를 서로 비교할 수 있다.
S229단계의 확인 결과, 이미지 벡터들 간의 유사도가 소정 기준값 미만이면, 영상 검색 장치(100)는 S231단계로 진행하여 동작을 종료할 수 있다.
S229단계의 확인 결과, 이미지 벡터들 간의 유사도가 소정 기준값 이상이면, 영상 검색 장치(100)는 S231단계로 진행한다.
영상 검색 장치(100)는 사용자에게 검색 대상 영상에 관련된 유출 영상에 대한 유출 영상 정보를 제공할 수 있다(S231). 예를 들어, 영상 검색 장치(100)는 유출 영상 정보, 예를 들어, URL, 제목, 업로드 날짜 등에 대한 정보를 사용자에게 제공할 수 있다. 이때, 영상 검색 장치(100)는 유출 영상이 업로드된 웹 페이지에서 관리자 또는 고객센터의 연락처(이메일 주소, 전화번호 등)에 대한 정보를 파싱하고, 파싱된 정보를 유출 영상 정보와 함께 제공할 수도 있다.
영상 검색 장치(100)는 사용자로부터 영상의 삭제 요청이 존재하는지 판단할 수 있다(S233).
S233단계의 판단결과, 사용자로부터 영상의 삭제 요청이 존재하지 않으면, 영상 검색 장치(100)는 동작을 종료할 수 있다.
S233단계의 판단결과, 사용자로부터 영상의 삭제 요청이 존재하면, 영상 검색 장치(100)는 S235단계로 진행할 수 있다.
영상 검색 장치(100)는 프록시 서버에 삭제 요청을 할 수 있다(S235). 이때, 영상 검색 장치(100)는 프록시 서버에 삭제 요청을 하기 때문에 사용자에 관련된 정보를 노출시키지 않는다. 이때, 영상 검색 장치(100)로부터 삭제 요청을 수신한 프록시 서버는 유출 영상이 업로드된 웹페이지 등에 개인정보보호법에 기초한 삭제 요청 메시지를 포함한 이메일 등을 자동으로 전송할 수 있다.
영상 검색 장치(100)는 삭제 요청 메시지의 전송에 따른 해당 유출 영상의 삭제를 확인하고, 확인된 결과를 출력하고 동작을 종료할 수 있다(S237). 이때, 영상 검색 장치(100)는 삭제 요청이 수행된 후, 해당 URL로 삭제 확인 메시지(예를 들어, HTTP GET)를 전송하여 회신된 결과값을 사용하여 유출 영상의 삭제 상태를 확인할 수 있다. 예를 들어, 영상 검색 장치(100)는 회신된 결과값에 대해 HTTP 404 not found를 수신하면 삭제 완료된 것으로 판단하고, HTTP 200을 수신하면, 삭제되지 않은 것으로 판단할 수 있다.
도 5는 일 실시예에 따른 영상 검색 장치에서 유출 영상을 수집하는 동작을 도시한 순서도이다.
도 5에 도시된 바와 같이, 영상 검색 장치(100)는 비교 영상 정보를 수집할 수 있다(S311). 영상 검색 장치(100)는 비교 영상 정보를 수집하기 위해 타겟 사이트 내 웹 페이지를 파싱할 수 있다. 이를 통해, 영상 검색 장치(100)는 비교 영상을 수집할 수 있으며, 비교 영상에 관련된 URL, 제목, 업로드 날짜 등을 수집할 수 있다.
영상 검색 장치(100)는 수집된 비교 영상 정보를 프록시 서버에 저장할 수 있다(S313). 영상 검색 장치(100)는 비교 영상과 비교 영상 정보를 서로 매칭시켜 저장할 수 있다.
영상 검색 장치(100)는 수집된 비교 영상을 전처리한다(S315). 영상 검색 장치(100)는 비교 영상 내에서 비교 영상의 검출에 불필요한 부분, 예를 들어 광고를 포함한 부분을 삭제할 수 있다.
영상 검색 장치(100)는 전처리된 비교 영상으로부터 이미지 벡터를 추출할 수 있다(S317). 영상 검색 장치(100)는 인공신경망을 이용하여 이미지 벡터를 추출할 수 있다. 여기서도, 영상 검색 장치(100)는 소정 시간 간격을 기준으로 이미지 벡터를 추출할 수 있다.
영상 검색 장치(100)는 클러스터링을 이용하여 비교 영상의 대표 이미지 샘플을 추출할 수 있다(S319). 또한, 영상 검색 장치(100)는 대표 이미지 샘플에 대응되는 이미지 벡터를 추출할 수 있다.
영상 검색 장치(100)는 비교 영상에 연관된 이미지 벡터를 프록시 서버에 비교 영상과 연관시켜 저장하고 동작을 종료할 수 있다(S321). 만약, 비교 영상을 계속해서 수집하는 경우, 영상 검색 장치(100)는 S311단계로 진행하여 S321 단계까지의 동작을 반복하여 수행할 수 있다. 영상 검색 장치(100)는 비교 영상의 이미지 벡터 또는 대표 이미지 샘플(비교 영상에 대한)에 대응되는 이미지 벡터를 프록시 서버에 저장할 수 있다. 영상 검색 장치(100)는 프록시 서버에 저장된 비교 영상을 사용자에 의해 요청된 검색 대상 영상과의 비교에 사용할 수 있다.
도 6은 일 실시예에 따른 영상 수집 검색 장치에서 유출 영상의 판정을 위해 이미지 벡터를 비교하는 동작을 설명하기 위한 도면이다.
영상 검색 장치(100)는 대표 이미지 샘플로부터 추출한 이미지 벡터와 비교를 위한 세 개의 비교 영상(영상 A, 영상 B, 영상 C)을 추출하거나 입력받을 수 있다. 예를 들어, 영상 검색 장치(100)는 세 개의 비교 영상(영상 A, 영상 B, 영상 C) 각각에 대응되는 이미지 벡터가 다섯 개일 수 있다. 영상 검색 장치(100)는 대표 이미지 벡터와의 비교를 위해 최대 15개의 이미지 벡터와의 비교 동작을 수행해야 한다.
여기서, 이미지 벡터(A1~A5)는 영상 A로부터 추출되고, 이미지 벡터(B1~B5)는 영상 B로부터 추출되고, 이미지 벡터(C1~C5)는 영상 C로부터 추출될 수 있다. 여기서는, 세 개의 비교 영상(영상 A, 영상 B, 영상 C) 각각에서 5개의 이미지 벡터를 추출하는 경우를 기준으로 설명하지만, 비교해야 하는 영상의 수가 증가하게 되면, 영상 검색 장치(100)에서 영상의 비교를 위해 필요한 시간도 함께 증가한다. 따라서, 영상 검색 장치(100)는 검색 대상이 확장되는 상황을 고려하여 이미지 벡터 노드와 유사성 링크로 구성된 트리 기반의 구조를 이용할 수 있다. 영상 검색 장치(100)는 미리 설정된 프레임워크를 사용하여 비교 영상(영상 A, 영상 B 및 영상 C) 각각으로부터 생성된 대표 이미지 벡터들 중에서 선택된 이미지일 수 있다.
영상 검색 장치(100)는 유사성 링크를 이용하여 유사한 이미지 벡터끼리 연결하여 그룹화할 수 있다. 영상 검색 장치(100)는 이미지 벡터를 생성한 후, 이미지 벡터를 제 1 그룹(401), 제 2 그룹(402) 및 제 3 그룹(403)으로 클러스터링할 수 있다.
예를 들어, 영상 검색 장치(100)는 제 1 그룹(401)으로 이미지 벡터 A1, B2, C1을 클러스터링 하고, 제 2 그룹(402)으로 이미지 벡터 A2, A4, A5, B1, B4, C2, C4를 클러스터링 하고, 제 3 그룹(403)으로 이미지 벡터 A3, B3, B5, C3, C5를 클러스터링할 수 있다. 영상 검색 장치(100)는 K가 그룹의 개수를 나타내는 케이-민즈(K-means) 클러스터링을 이용하여 영상들(영상 A, 영상 B, 영상 C)로부터 추출된 대표 이미지 벡터들을 클러스터링할 수 있다. 영상 검색 장치(100)는 하위 노드의 수가 K 미만이 될 때까지 클러스터링을 반복하여 수행할 수 있다. 이때, 영상 검색 장치는 중심점에 가까이 위치한 벡터는 상위 노드이고, 중심점에서 상대적으로 멀리 위치한 이미지 벡터는 하위 노드이다.
이때, 영상 검색 장치(100)는 케이-민즈 클러스터링을 이용하여 이미지 벡터를 3개의 그룹으로 분류한다. 영상 검색 장치(100)는 제 1 화살표(410) 방향으로 위치한 이미지 벡터(A1, A2, A3)를 차례로 비교할 수 있다. 영상 검색 장치(100)는 비교된 이미지 벡터들 중에서 대표 이미지 샘플에 대응되는 이미지 벡터(A3)를 검색한 경우, 동일 그룹 내에 있는 제 2 화살표(420) 방향의 나머지 이미지 벡터들(A3, B3, B5, C3, C5)을 검색 대상 영상의 대표 이미지 벡터와 차례로 비교할 수 있다. 이를 통해, 영상 검색 장치(100)는 영상의 비교를 위해 기존에 15개(최대 15개)의 이미지 벡터를 비교하던 것과 달리, 영상의 검색 또는 비교를 위해 두 개의 영역(411, 421) 내에 있는 7(3+4)개의 이미지 벡터만을 비교하면 되기 때문에 영상의 비교에 소요되는 시간은 현저히 감소한다. 만약, 영상 검색 장치(100)가 이미지 벡터의 수가 가장 많은 제 2 그룹(402)을 대상으로 영상을 비교하게 되더라도 9(3+6)개의 이미지 벡터만을 비교하기 때문에 영상의 모든 이미지 벡터를 비교하는 경우 대비 영상의 비교에 소모되는 시간이 현저히 감소할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
또한 본 발명의 일 실시예에 따르는 영상 검색 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일 실시예에 따르는 영상 검색 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 사용자 단말 20: 서버
100: 영상 검색 장치 110: 통신부
120: 입출력부 130: 저장부
140: 제어부

Claims (14)

  1. 영상 검색 장치에 의해 수행되는 영상 검색 방법에 있어서,
    검색 대상 영상을 수신하는 단계;
    상기 검색 대상 영상을 전처리하는 단계;
    상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하는 단계;
    상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하는 단계;
    프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하는 단계;
    상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터의 유사도를 기초로 서로 비교하는 단계; 및
    비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 단계를 포함하며,
    상기 이미지 벡터는 동영상의 모든 프레임 또는 동영상으로부터 추출된 정지영상으로부터 추출되는, 영상 검색 방법.
  2. 제 1 항에 있어서,
    상기 전처리하는 단계는,
    상기 검색 대상 영상의 초반 또는 후반 중 적어도 하나에서 소정 부분을 제거하는 단계를 포함하는 영상 검색 방법.
  3. 제 1 항에 있어서,
    상기 이미지 벡터를 추출하는 단계는,
    상기 전처리된 검색 대상 영상으로부터 인공신경망을 이용하여 이미지 벡터를 추출하는 단계를 포함하는 영상 검색 방법.
  4. 제 1 항에 있어서,
    상기 대표 이미지 샘플을 추출하는 단계는,
    상기 전처리된 검색 대상 영상에서 소정 시간 간격으로 이미지를 추출하는 단계; 및
    상기 추출된 이미지를 클러스터링하여 장면을 구분하고, 구분된 장면 각각에 대응되는 이미지를 상기 대표 이미지 샘플로 추출하는 단계를 포함하는 영상 검색 방법.
  5. 제 1 항에 있어서,
    상기 이미지 벡터를 검색하는 단계는,
    상기 검색 대상 영상의 이미지 벡터와 유사한 이미지 벡터를 갖는 비교 영상을 검색하되, 상기 검색 대상 영상의 이미지 벡터와 상기 비교 영상의 이미지 벡터는 각각 대표 이미지 벡터에 대응되는 이미지 벡터인 단계를 포함하는 영상 검색 방법.
  6. 제 1 항에 있어서,
    상기 유출 영상으로 판정하는 단계 이후에,
    상기 유출 영상의 삭제 요청 메시지의 발송을 상기 프록시 서버에 요청하는 단계; 및
    상기 유출 영상이 업로드된 웹 사이트로부터 상기 유출 영상의 삭제 상태의 확인을 상기 프록시 서버에 요청하고, 상기 프록시 서버로부터 상기 유출 영상의 삭제 상태에 관련된 정보를 수신하는 단계를 더 포함하는 영상 검색 방법.
  7. 프록시 서버와 통신하는 통신부;
    검색 대상 영상을 수신하는 입출력부; 및
    상기 검색 대상 영상을 전처리하고, 상기 전처리된 검색 대상 영상에서 이미지 벡터를 추출하고, 상기 전처리된 검색 대상 영상에서 대표 이미지 샘플을 추출하고, 상기 프록시 서버에 저장된 비교 영상에 관련된 이미지 벡터들 중에서 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터를 검색하고, 상기 대표 이미지 샘플의 이미지 벡터에 대응되는 이미지 벡터가 검색되면, 상기 검색 대상 영상과 검색된 이미지 벡터의 비교 영상 각각의 이미지 벡터의 유사도를 기초로 서로 비교하고, 비교 결과 소정 기준값 이상의 유사도를 갖는 경우, 상기 비교 영상을 유출 영상으로 판정하는 제어부를 포함하고,
    상기 이미지 벡터는 동영상의 모든 프레임 또는 동영상으로부터 추출된 정지영상으로부터 추출되는, 영상 검색 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 검색 대상 영상의 초반 또는 후반 중 적어도 하나에서 소정 부분을 제거하여 상기 전처리를 수행하는 영상 검색 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    상기 전처리된 검색 대상 영상으로부터 인공신경망을 이용하여 이미지 벡터를 추출하는 영상 검색 장치.
  10. 제 7 항에 있어서,
    상기 제어부는,
    상기 전처리된 검색 대상 영상에서 소정 시간 간격으로 이미지를 추출하고, 상기 추출된 이미지를 클러스터링하여 장면을 구분하고, 구분된 장면 각각에 대응되는 이미지를 상기 대표 이미지 샘플로 추출하는 영상 검색 장치.
  11. 제 7 항에 있어서,
    상기 제어부는,
    상기 검색 대상 영상의 이미지 벡터와 유사한 이미지 벡터를 갖는 비교 영상을 검색하되, 상기 검색 대상 영상의 이미지 벡터와 상기 비교 영상의 이미지 벡터는 각각 대표 이미지 벡터에 대응되는 이미지 벡터인 영상 검색 장치.
  12. 제 7 항에 있어서,
    상기 제어부는,
    상기 유출 영상의 삭제 요청 메시지의 발송을 상기 프록시 서버에 요청하고, 상기 유출 영상이 업로드된 웹 사이트로부터 유출 영상의 삭제 상태의 확인을 상기 프록시 서버에 요청하고, 상기 프록시 서버로부터 상기 유출 영상의 삭제 상태에 관련된 정보를 수신하는 영상 검색 장치.
  13. 제 1 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  14. 영상 검색 장치에 의해 수행되며, 제 1 항에 기재된 방법을 수행하기 위해 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.
KR1020190149025A 2019-03-29 2019-11-19 영상 검색 장치 및 방법 KR102313338B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190036892 2019-03-29
KR1020190036892 2019-03-29

Publications (2)

Publication Number Publication Date
KR20200115017A KR20200115017A (ko) 2020-10-07
KR102313338B1 true KR102313338B1 (ko) 2021-10-15

Family

ID=72883959

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190149025A KR102313338B1 (ko) 2019-03-29 2019-11-19 영상 검색 장치 및 방법
KR1020190149028A KR102313339B1 (ko) 2019-03-29 2019-11-19 영상 검색 장치 및 그것의 영상 수집 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190149028A KR102313339B1 (ko) 2019-03-29 2019-11-19 영상 검색 장치 및 그것의 영상 수집 방법

Country Status (1)

Country Link
KR (2) KR102313338B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304340B1 (ko) * 2020-11-27 2021-09-23 두에이아이(주) 시각정보 기반 참조 검색 기술을 이용한 인공지능 판독 보조방법
KR102538301B1 (ko) * 2020-11-30 2023-05-31 강승찬 유니폼 검색 서비스를 제공하기 위한 장치 및 방법
KR102455357B1 (ko) * 2022-03-14 2022-10-18 (주)라바웨이브 뉴럴 네트워크 기반의 피싱 데이터 필터링 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479799B1 (ko) * 2001-03-12 2005-03-30 삼성에스디에스 주식회사 동영상을 이용한 정보제공방법 및 그 장치
KR102278048B1 (ko) * 2014-03-18 2021-07-15 에스케이플래닛 주식회사 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
KR102427853B1 (ko) * 2015-11-11 2022-08-02 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Also Published As

Publication number Publication date
KR102313339B1 (ko) 2021-10-15
KR20200115018A (ko) 2020-10-07
KR20200115017A (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
US10885100B2 (en) Thumbnail-based image sharing method and terminal
WO2020119350A1 (zh) 视频分类方法、装置、计算机设备和存储介质
US10621755B1 (en) Image file compression using dummy data for non-salient portions of images
US9646006B2 (en) System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US9330189B2 (en) System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US8634603B2 (en) Automatic media sharing via shutter click
US8718383B2 (en) Image and website filter using image comparison
KR102313338B1 (ko) 영상 검색 장치 및 방법
CN111522996B (zh) 视频片段的检索方法和装置
US9639532B2 (en) Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10380267B2 (en) System and method for tagging multimedia content elements
US20140029801A1 (en) In-Video Product Annotation with Web Information Mining
US11537636B2 (en) System and method for using multimedia content as search queries
US20130191368A1 (en) System and method for using multimedia content as search queries
US20140280118A1 (en) Web search optimization method, system, and apparatus
US11763564B1 (en) Techniques for generating optimized video segments utilizing a visual search
US20150331949A1 (en) System and method for determining current preferences of a user of a user device
US10489654B1 (en) Video analysis method and system
US20150139569A1 (en) Method and system for determining the dimensions of an object shown in a multimedia content item
CN113742524A (zh) 视频快速检索方法、系统和视频快速推荐方法
Harkes et al. A Contact Sheet Approach to Searching Untagged Images on Smartphones

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right