KR102052534B1 - 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법 - Google Patents

딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법 Download PDF

Info

Publication number
KR102052534B1
KR102052534B1 KR1020190064783A KR20190064783A KR102052534B1 KR 102052534 B1 KR102052534 B1 KR 102052534B1 KR 1020190064783 A KR1020190064783 A KR 1020190064783A KR 20190064783 A KR20190064783 A KR 20190064783A KR 102052534 B1 KR102052534 B1 KR 102052534B1
Authority
KR
South Korea
Prior art keywords
image
data set
frame
frames
extracted
Prior art date
Application number
KR1020190064783A
Other languages
English (en)
Inventor
이재청
윤병선
유인재
조상호
Original Assignee
주식회사 비욘드테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비욘드테크 filed Critical 주식회사 비욘드테크
Application granted granted Critical
Publication of KR102052534B1 publication Critical patent/KR102052534B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법에 대한 것이다.
본 발명에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치는 입력된 360도 영상으로부터 복수개의 프레임을 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 복수개의 프레임별로 원본 데이터셋(dataset)을 각각 생성하는 원본 영상 특징 추출부; 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받아 2D 뷰포트(ViewPort) 형태의 프레임을 설정 개 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 설정 개의 프레임별로 질의 데이터셋을 각각 생성하는 식별 대상 영상 특징 추출부; 상기 각 프레임별 원본 데이터셋 및 상기 각 프레임별 질의 데이터셋을 각각 저장하는 데이터셋 저장부; 및 상기 식별 대상 영상 특징 추출부로부터 불법복제 영상 판단이 요청되면, 상기 추출된 설정 개의 프레임을 입력받고, 상기 각각의 질의 데이터셋에 포함된 객체의 ID와 상기 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출하고, 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하여 상기 식별 대상 영상의 불법 복제 여부를 판단하는 불법복제 영상 판단부를 포함한다.
이와 같이 본 발명에 따르면, 딥 러닝을 통해 인식된 객체의 특징점을 이용하여 360도 영상의 불법 복제 여부를 판단함으로써, 불법복제 영상의 식별 속도 및 식별 시간을 단축시킬 수 있는 효과가 있다.

Description

딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법{APPARATUS FOR JUDGING ILLEGAL DUPLICATION USING OBJECT RECOGNITION BASED ON DEEP LEARNING AND METHOD THEREOF}
본 발명은 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 딥 러닝을 통해 인식된 객체의 특징점을 이용하여 360도 영상의 불법 복제 여부를 식별하기 위한 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법에 관한 것이다.
방송 프로그램이나 영화 등과 같은 콘텐츠는 인터넷 등을 통하여 국내뿐 아니라 해외로도 대량 불법 유통됨으로써 국가적으로 큰 손실이 발생하고 있다. 특히 방송과 통신의 융합이 가속화될수록 그 저작권 침해의 규모는 더욱 증가할 것으로 우려되고 있다. 이에 따라 최근 정부와 저작권보호단체는 저작권법을 전면 개정하고 불법복제 영상의 단속과 처벌을 강화하는 등 불법복제 근절을 위한 다양한 노력을 하고 있다.
특히, 전면 개정된 저작권법에는 P2P, 웹하드 등 특수한 유형의 온라인서비스제공자(Online Service Provider; OSP)의 '불법복제 영상 전송을 차단하는 기술적 조치(필터링) 의무화' 조항이 포함되었다.
불법저작물 필터링 기술은 온라인에서 유통되는 동영상, 음악, 게임 등이 저작권자의 허락을 받지 않은 불법복제 영상인지 여부를 판별함으로써 저작권 침해물의 불법적 인터넷 전송을 차단하는 기술이다.
이러한 불법저작물 필터링 기술은 기본적으로 콘텐츠를 식별하는 기능을 가지고 있어야 한다. 즉, 각각의 원본 영상 콘텐츠로부터 고유의 특성이 될 수 있는 특징정보(feature)를 추출한 후 불법 유통되는 저작물의 특징정보와 비교하여 동일한 콘텐츠 여부를 판별하게 된다. 여기서 어떠한 특징정보를 어떻게 이용하는지가 필터링 기술의 성능, 즉 불법복제 영상 차단율을 결정하는 중요한 역할을 하게 된다.
대부분의 불법복제 영상들은 약간의 변형을 가하여 유포하는데, 예를 들면, 화면의 일부를 자르거나 해상도를 낮추는 식으로 변형하여 유포하면 종래의 블법저작물 필터링 기술로는 이를 식별하지 못하고 다른 영상으로 판단하는 문제점이 있다.
또한, 이러한 블법저작물 필터링 기술은 2D 영상의 불법 복제 여부를 판단하는데 주로 사용되므로, 360도 VR(virtual reality) 영상과 같은 3D 영상에는 적용하지 못하는 문제점이 있다.
따라서, 변형이 가해진 경우를 포함하여 3D 영상의 불법 복제물을 식별하기 위한 장치의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2005-001802호(2005.02.23. 공개)에 개시되어 있다.
방송 프로그램이나 영화 등과 같은 콘텐츠는 인터넷 등을 통하여 국내뿐 아니라 해외로도 대량 불법 유통됨으로써 국가적으로 큰 손실이 발생하고 있다. 특히 방송과 통신의 융합이 가속화될수록 그 저작권 침해의 규모는 더욱 증가할 것으로 우려되고 있다. 이에 따라 최근 정부와 저작권보호단체는 저작권법을 전면 개정하고 불법복제 영상의 단속과 처벌을 강화하는 등 불법복제 근절을 위한 다양한 노력을 하고 있다.
특히, 전면 개정된 저작권법에는 P2P, 웹하드 등 특수한 유형의 온라인서비스제공자(Online Service Provider; OSP)의 '불법복제 영상 전송을 차단하는 기술적 조치(필터링) 의무화' 조항이 포함되었다.
불법저작물 필터링 기술은 온라인에서 유통되는 동영상, 음악, 게임 등이 저작권자의 허락을 받지 않은 불법복제 영상인지 여부를 판별함으로써 저작권 침해물의 불법적 인터넷 전송을 차단하는 기술이다.
이러한 불법저작물 필터링 기술은 기본적으로 콘텐츠를 식별하는 기능을 가지고 있어야 한다. 즉, 각각의 원본 영상 콘텐츠로부터 고유의 특성이 될 수 있는 특징정보(feature)를 추출한 후 불법 유통되는 저작물의 특징정보와 비교하여 동일한 콘텐츠 여부를 판별하게 된다. 여기서 어떠한 특징정보를 어떻게 이용하는지가 필터링 기술의 성능, 즉 불법복제 영상 차단율을 결정하는 중요한 역할을 하게 된다.
대부분의 불법복제 영상들은 약간의 변형을 가하여 유포하는데, 예를 들면, 화면의 일부를 자르거나 해상도를 낮추는 식으로 변형하여 유포하면 종래의 블법저작물 필터링 기술로는 이를 식별하지 못하고 다른 영상으로 판단하는 문제점이 있다.
또한, 이러한 블법저작물 필터링 기술은 2D 영상의 불법 복제 여부를 판단하는데 주로 사용되므로, 360도 VR(virtual reality) 영상과 같은 3D 영상에는 적용하지 못하는 문제점이 있다.
따라서, 변형이 가해진 경우를 포함하여 3D 영상의 불법 복제물을 식별하기 위한 장치의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2005-001802호(2005.02.23. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 딥 러닝을 통해 인식된 객체의 특징점을 이용하여 360도 영상의 불법 복제 여부를 식별하기 위한 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치는, 입력된 360도 영상으로부터 복수개의 프레임을 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 복수개의 프레임별로 원본 데이터셋(dataset)을 각각 생성하는 원본 영상 특징 추출부; 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받아 2D 뷰포트(ViewPort) 형태의 프레임을 설정 개 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 설정 개의 프레임별로 질의 데이터셋을 각각 생성하는 식별 대상 영상 특징 추출부; 상기 각 프레임별 원본 데이터셋 및 상기 각 프레임별 질의 데이터셋을 각각 저장하는 데이터셋 저장부; 및 상기 식별 대상 영상 특징 추출부로부터 불법복제 영상 판단이 요청되면, 상기 추출된 설정 개의 프레임을 입력받고, 상기 각각의 질의 데이터셋에 포함된 객체의 ID와 상기 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출하고, 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하여 상기 식별 대상 영상의 불법 복제 여부를 판단하는 불법복제 영상 판단부를 포함한다.
이때, 상기 원본 영상 특징 추출부는 360도 영상을 입력받는 원본 영상 입력 모듈; 상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 복수개 추출하는 프레임 추출 모듈; 상기 추출된 각 프레임의 중앙 영역을 객체 식별 영역으로 각각 선정하는 객체 식별 영역 선정 모듈; 딥러닝 알고리즘을 이용하여 상기 객체 식별 영역 내 포함된 객체를 각 프레임별로 식별하는 객체 식별 모듈; 객체 식별시 각 객체별로 생성되는 바운딩 박스(Bounding box)를 이용하여 각 객체마다 복수의 특징점을 추출하는 특징점 추출 모듈; 및 상기 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 원본 데이터셋을 복수개의 프레임별로 각각 생성하는 원본 데이터셋 생성 모듈을 포함할 수 있다.
또한, 상기 원본 영상 특징 추출부는 상기 원본 영상 입력 모듈로부터 입력된 360도 영상의 프로젝션 타입을 판단하여 상기 360도 영상이 ERP(Equirectangular Projection) 타입이 아닌 경우, 상기 프레임 추출 모듈에서 추출된 복수개의 프레임을 ERP 타입으로 각각 변환하는 프로젝션 변환 모듈을 더 포함할 수 있다.
또한, 상기 객체 식별 영역 선정 모듈은 구형상(sphere)인 상기 프레임을 평면 형상으로 펼치고 상하 45도를 기준으로 4분할하고, 좌우 90도를 기준으로 4분할하여 분할된 각각의 영역에 대해 왜곡 보정을 수행한 후, 평면 형상이 되도록 상기 분할된 영역을 순서대로 병합하여 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정할 수 있다.
또한, 상기 식별 대상 영상 특징 추출부는 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받는 식별 대상 영상 입력 모듈; 상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 설정 개 추출하되, 2D 뷰포트 형태의 프레임으로 추출하는 프레임 추출 모듈; 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하는 객체 식별 모듈; 객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출하는 특징점 추출 모듈; 및 상기 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 질의 데이터셋을 설정 개의 프레임별로 각각 생성하는 질의 데이터셋 생성 모듈을 포함할 수 있다.
또한, 상기 프레임 추출 모듈은 상기 입력된 영상의 헤더 정보를 이용하여 해당 영상이 360도 영상인지 판단하고, 판단 결과 360도 영상인 경우 상기 추출된 설정 개의 프레임 각각에 대해 렌더링하고 FOV(Field of View)를 기준으로 3축 좌표를 0도로 고정하여 상기 2D 뷰포트 형태의 프레임으로 추출할 수 있다.
또한, 상기 불법복제 영상 판단부는 상기 식별 대상 영상 특징 추출부로부터 불법복제 영상 판단이 요청되면, 상기 식별 대상 영상 특징 추출부에서 추출된 설정 개수의 프레임을 입력받는 프레임 입력 모듈; 상기 데이터셋 저장부에 저장된 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출하는 원본 데이터셋 추출 모듈; 상기 질의 데이터셋과, 상기 추출된 원본 데이터셋 중 상기 질의 데이터셋에 대응하는 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하고, 판단된 유사도에 따라 해당 질의 데이터셋의 프레임에 가중치를 부여하되, 상기 질의 데이터셋의 수만큼 반복하여 유사도 판단 및 가중치를 부여하는 특징점 비교 모듈; 및 최종 부여된 상기 가중치가 설정 점수 이상이면 상기 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단하고, 가중치가 설정 점수 미만이면 상기 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단하는 최종 판단 모듈을 포함할 수 있다.
또한, 상기 불법복제 영상 판단부는 상기 원본 데이터셋 추출 모듈로부터 추출되는 원본 데이터셋이 존재하지 않는 경우, 해당 식별 대상 영상의 프레임에 대해 가중치를 부여하지 않을 수 있다.
또한, 상기 원본 데이터셋 추출 모듈은 복수개의 원본 데이터셋 중 첫번째 질의 데이터셋에 포함된 객체의 ID가 모두 포함된 원본 데이터셋들을 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출하고, 원본 데이터셋과 질의 데이터셋에 포함된 각 객체별 면적 비율 정보를 이용하여, 상기 추출된 원본 데이터셋들 중 상기 첫번째 질의 데이터셋에 포함된 모든 객체의 면적 비율 정보와 모두 동일한 원본 데이터셋을 최종 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출할 수 있다.
또한, 상기 특징점 비교 모듈은 상기 질의 데이터셋과, 상기 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리(Euclidean Distance)를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단할 수 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 방법은, 불법복제 영상 판단을 요청받으면, 원본 영상 특징 추출부로부터 추출된 복수개의 프레임과 해당 프레임에 대응하는 원본 데이터셋을 각각 입력받는 단계; 식별 대상 영상 특징 추출부로부터 추출된 설정 개의 프레임과 해당 프레임에 대응하는 질의 데이터셋을 각각 입력받는 단계; 상기 원본 데이터셋 중 상기 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 상기 원본 데이터셋을 각각 추출하는 단계; 상기 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하는 단계; 및 상기 판단 결과에 따라 식별 대상 영상의 불법 복제 여부를 최종 판단하는 단계를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치를 나타낸 블록구성도이다.
도 2는 도 1에 도시된 원본 영상 특징 추출부를 나타낸 블록구성도이다.
도 3은 도 1에 도시된 식별 대상 영상 특징 추출부를 나타낸 블록구성도이다.
도 4는 도 1에 도시된 불법복제 영상 판단부를 나타낸 블록구성도이다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 방법의 동작 흐름을 도시한 순서도이다.
도 6은 도 5의 S520 단계에서 도시된 원본 데이터셋을 생성하기 위한 방법의 동작 흐름을 도시한 순서도이다.
도 7은 도 6의 S650 단계를 설명하기 위한 참고도면이다.
도 8은 도 6의 S660 단계를 설명하기 위한 참고도면이다.
도 9는 도 6의 S670 단계를 설명하기 위한 참고도면이다.
도 10은 도 5의 S530 단계에서 도시된 질의 데이터셋을 생성하기 위한 방법의 동작 흐름을 도시한 순서도이다
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1 내지 도 4를 통해 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치(100)는 원본 영상 특징 추출부(110), 식별 대상 영상 특징 추출부(120), 데이터셋 저장부(130) 및 불법복제 영상 판단부(140)를 포함한다.
먼저, 원본 영상 특징 추출부(110)는 입력된 360도 영상으로부터 복수개의 프레임을 추출하고, 딥러닝(Deep learning) 알고리즘을 이용하여 추출된 프레임 내 포함된 객체를 각 프레임별로 식별한다.
여기서 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 학습시키는 기계학습의 한 분야이다.
딥러닝 기법들로는 신경망(deep neural networks), 콘볼루션 신경망(convolutional deep neural networks), DBN(deep believe networks) 등과 같은 다양한 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성 및 신호 처리 등의 분야에 적용되어 최첨단의 결과들을 보여준다.
또한, 원본 영상 특징 추출부(110)는 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 복수개의 프레임별로 원본 데이터셋(dataset)을 각각 생성한다.
그리고 식별 대상 영상 특징 추출부(120)는 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받아 2D 뷰포트(ViewPort) 형태의 프레임을 설정 개 추출하고, 딥러닝 알고리즘을 이용하여 추출된 프레임 내 포함된 객체를 각 프레임별로 식별한다.
여기서 뷰포트는 3D 영상을 디스플레이할 때 HMD(Head Mounted Display)와 같은 기기를 착용한 사용자가 현재 바라보는 시야에 해당하는 부분을 2D 형태의 프레임으로 추출한 것을 의미한다.
또한, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 설정 개의 프레임별로 질의 데이터셋을 각각 생성한다.
그리고 데이터셋 저장부(130)는 각 프레임별 원본 데이터셋 및 각 프레임별 질의 데이터셋을 각각 저장한다.
마지막으로 불법복제 영상 판단부(140)는 식별 대상 영상 특징 추출부(120)로부터 불법복제 영상 판단이 요청되면, 식별 대상 영상 특징 추출부(120)로부터 추출된 설정 개의 프레임을 입력받고, 데이터셋 저장부(130)에 저장된 각각의 질의 데이터셋에 포함된 객체의 ID와 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 데이터셋 저장부(130)로부터 각각 추출하고, 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하여 식별 대상 영상의 불법 복제 여부를 판단한다.
도 2는 도 1에 도시된 원본 영상 특징 추출부를 나타낸 블록구성도이다.
도 2에서와 같이 본 발명의 실시예에 따른 원본 영상 특징 추출부(110)는 원본 영상 입력 모듈(111), 프레임 추출 모듈(112), 프로젝션 변환 모듈(113), 객체 식별 영역 선정 모듈(114), 객체 식별 모듈(115), 특징점 추출 모듈(116) 및 원본 데이터셋 생성 모듈(117)을 포함한다.
먼저, 원본 영상 입력 모듈(111)은 360도 영상을 입력받는다.
그리고 프레임 추출 모듈(112)은 원본 영상 입력 모듈(111)로부터 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 복수개 추출한다.
이때, 프레임 간 변화율이 클수록 다른 장면(scene)에 해당할 확률이 높으므로, 설정 비율은 50% 이상으로 설정될 수 있으며 식별 대상 영상의 불법 복제 여부를 정확하게 판단하기 위해 장면이 바뀔때마다 프레임을 추출하도록 할 수도 있다.
그리고 프로젝션 변환 모듈(113)은 원본 영상 입력 모듈(111)로부터 입력된 360도 영상의 프로젝션 타입을 판단하여 입력된 영상이 360도 영상이 ERP(Equirectangular Projection) 타입이 아닌 경우, 프레임 추출 모듈(112)에서 추출된 복수개의 프레임을 ERP 타입으로 각각 변환한다.
본 발명의 실시예에서는 ERP 타입의 영상을 기준으로 프레임을 추출하므로, 만약, 입력된 360도 영상이 CMP(cube-map projection) 타입이면 ERP 타입으로 변환하여 프레임을 추출하고, 어안렌즈(Fisheye) 타입이면 각 이미지를 스티칭 한 후 구형 좌표계를 이용하여 이미지를 변환한 후 ERP 타입으로 변환하여 프레임을 추출하는 것이 바람직하다.
그리고 객체 식별 영역 선정 모듈(114)은 추출된 각 프레임의 중앙 영역을 객체 식별 영역으로 각각 선정한다.
이때, 객체 식별 영역 선정 모듈(114)은 구형상(sphere)인 프레임을 평면 형상으로 펼치고 상하 45도를 기준으로 4분할하고, 좌우 90도를 기준으로 4분할하여 분할된 각각의 영역에 대해 왜곡 보정을 수행한 후, 평면 형상이 되도록 분할된 영역을 순서대로 병합하여 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정할 수 있다.
즉, ERP 타입의 영상은 중앙 영역에 정보가 집중되어 있으므로, 좌우 영상이 연속성을 유지하도록 하여 분할된 각각의 영역에 대해 왜곡 보정을 수행한 후 각 분할된 영역을 병합하여 하나의 평면 영상으로 펼친 후 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정하는 것이 바람직하다.
그리고 객체 식별 모듈(115)은 딥러닝 알고리즘을 이용하여 상기 객체 식별 영역 내 포함된 객체를 각 프레임별로 식별한다.
본 발명의 실시예에서는 다수 종류의 딥러닝 알고리즘 중 하나의 신경망을 사용하고 이미지 하나에서 동시에 모든 물체의 바운딩 박스(Bounding box)를 찾는 욜로(YOLO) 알고리즘을 이용하여 프레임 내 모든 객체를 식별할 수도 있다. 다만, 욜로 알고리즘을 이용한 객체 식별 방법은 공지의 기술이므로 본 실시예에서는 자세한 설명을 생략하기로 한다.
그리고 특징점 추출 모듈(116)은 객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출한다.
마지막으로 원본 데이터셋 생성 모듈(117)은 객체 식별 모듈(115)로부터 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 원본 데이터셋을 복수개의 프레임별로 각각 생성한다.
즉, 각 프레임마다 원본 데이터셋을 각각 생성한다.
도 3은 도 1에 도시된 식별 대상 영상 특징 추출부를 나타낸 블록구성도이다.
도 3에서와 같이 본 발명의 실시예에 따른 식별 대상 영상 특징 추출부(120)는 식별 대상 영상 입력 모듈(121), 프레임 추출 모듈(122), 객체 식별 모듈(123), 특징점 추출 모듈(124) 및 질의 데이터셋 생성 모듈(125)을 포함한다.
먼저, 식별 대상 영상 입력 모듈(121)은 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받는다.
그리고 프레임 추출 모듈(122)은 식별 대상 영상 입력 모듈(121)로부터 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 설정 개 추출하되, 2D 뷰포트 형태의 프레임으로 추출한다.
이때, 프레임 간 변화율은 원본 영상 특징 추출부(110)에서와 동일하게 50% 이상으로 설정될 수 있으며, 식별 대상 영상의 불법 복제 여부를 정확하게 판단하기 위해 본 발명의 실시예에서는 총 5개의 프레임을 추출하는 것을 예시로 들어 설명하기로 한다. 그러나, 이는 어디까지나 예시일 뿐 추출되는 프레임의 개수를 한정하는 것은 아니다.
이때, 프레임 추출 모듈(122)은 식별 대상 영상 입력 모듈(121)로부터 입력된 영상의 헤더 정보를 이용하여 해당 영상이 360도 영상인지 판단하고, 판단 결과 360도 영상인 경우 추출된 설정 개의 프레임 각각에 대해 렌더링하고 FOV(Field of View)를 기준으로 3축 좌표를 0도로 고정하여 2D 뷰포트 형태의 프레임으로 추출한다.
그러나 360도 영상이 아닌 경우에는 추출된 설정 개의 프레임 각각에 대한 2D 뷰포트 형태의 프레임을 추출한다.
그리고 객체 식별 모듈(123)은 딥러닝 알고리즘을 이용하여 프레임 추출 모듈(122)로부터 추출된 프레임 내 포함된 객체를 각 프레임별로 식별한다.
이때, 딥러닝 알고리즘은 원본 영상 특징 추출부(110)에서와 동일하게 욜로 알고리즘을 이용하여 프레임 내 모든 객체를 식별할 수도 있다.
그리고 특징점 추출 모듈(124)은 객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출한다.
이때, 특징점 추출 과정은 바운딩 박스 내 객체를 이진화하여 윤곽선을 추출하고 추출된 윤곽선에서 변형에 강인한 부분을 특징점으로 추출한다
마지막으로 질의 데이터셋 생성 모듈(125)은 객체 식별 모듈(123)로부터 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 질의 데이터셋을 설정 개의 프레임별로 각각 생성한다.
즉, 각 프레임마다 질의 데이터셋을 각각 생성한다.
도 4는 도 1에 도시된 불법복제 영상 판단부를 나타낸 블록구성도이다.
도 4에서와 같이 본 발명의 실시예에 따른 불법복제 영상 판단부(140)는 프레임 입력 모듈(141), 원본 데이터셋 추출 모듈(142), 특징점 비교 모듈(143) 및 최종 판단 모듈(144)을 포함한다.
먼저 프레임 입력 모듈(141)은 식별 대상 영상 특징 추출부(120)로부터 불법복제 영상 판단이 요청되면, 식별 대상 영상 특징 추출부(120)의 프레임 추출 모듈(122)에서 추출된 설정 개수의 프레임을 입력받는다.
그리고 원본 데이터셋 추출 모듈(142)은 데이터셋 저장부(130)에 저장된 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출한다.
이때, 원본 데이터셋 추출 모듈(142)은 복수개의 원본 데이터셋 중 첫번째 질의 데이터셋에 포함된 객체의 ID가 모두 포함된 원본 데이터셋들을 추출하되, 각 질의 데이터셋 별로 질의 데이터셋의 수만큼 반복하여 추출하고, 원본 데이터셋과 질의 데이터셋에 포함된 각 객체별 면적 비율 정보를 이용하여, 추출된 원본 데이터셋들 중 첫번째 질의 데이터셋에 포함된 모든 객체의 면적 비율 정보와 모두 동일한 원본 데이터셋을 최종 추출하되, 각 질의 데이터셋 별로 질의 데이터셋의 수만큼 반복하여 추출할 수 있다.
그리고 특징점 비교 모듈(143)은 데이터셋 저장부(130)에 저장된 질의 데이터셋 중 어느 하나의 질의 데이터셋과, 원본 데이터셋 추출 모듈(142)로부터 추출된 원본 데이터셋 중 해당 질의 데이터셋에 대응하는 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하고, 판단된 유사도에 따라 해당 질의 데이터셋의 프레임에 가중치를 부여하되, 질의 데이터셋 생성 모듈(125)로부터 생성된 질의 데이터셋의 수만큼 반복하여 유사도 판단 및 가중치를 부여한다.
이때, 특징점 비교 모듈(143)은 질의 데이터셋과, 해당 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리(Euclidean Distance)를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하되, 판단된 유사도가 80%이상이면 원본 영상의 프레임과 식별 대상 영상의 프레임이 유사한 것으로 판단할 수 있다.
여기서 유클리디안 거리는 공식에 의해 n차원의 공간에서 두 특징점(벡터)간의 거리를 측정하여 두 특징점간 유사도를 분석하기 위한 것으로 측정된 거리가 가까울수록 유사하다고 판단하며, 이는 널리 알려진 공지의 기술이므로 자세한 공식은 기재하지 않기로 한다.
또한, 불법복제 영상 판단부(140)는 원본 데이터셋 추출 모듈(142)로부터 추출되는 원본 데이터셋이 존재하지 않는 경우, 해당 식별 대상 영상의 프레임에 대해 가중치를 부여하지 않는 것이 바람직하다.
마지막으로 최종 판단 모듈(144)은 특징점 비교 모듈(143)로부터 최종 부여된 가중치가 설정 점수 이상이면 해당 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단하고, 가중치가 설정 점수 미만이면 해당 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단한다.
즉, 본 발명의 실시예에서 예시로 든 식별 대상 영상의 프레임 수는 5이고, 각 프레임 당 부여되는 가중치는 1이므로 최종 부여되는 가중치의 총 합은 5 이하게 된다. 따라서 설정 점수를 4로 설정하는 경우 가중치가 부여된 프레임 수가 4이면 해당 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단하고, 4미만이면 해당 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단할 수 있다.
이하에서는 도 5 내지 도 10을 통해 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 먼저 식별 대상 영상 특징 추출부(120)로부터 불법복제 영상 판단 요청이 있는지 여부를 판단한다(S510).
S510 단계의 판단 결과, 불법복제 영상 판단 요청이 있으면 불법복제 영상 판단부(140)가 원본 영상 특징 추출부(110)로부터 추출된 복수개의 프레임과 해당 프레임에 대응하는 원본 데이터셋을 각각 입력받는다(S520).
그 다음, 불법복제 영상 판단부(140)가 식별 대상 영상 특징 추출부(120)로부터 추출된 설정 개의 프레임과 해당 프레임에 대응하는 질의 데이터셋을 각각 입력받는다(S530).
그 다음, 불법복제 영상 판단부(140)가 S520 단계에서 입력된 원본 데이터셋 중 S530 단계에서 입력된 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출한다(S540).
이때, S540 단계에서 불법복제 영상 판단부(140)는 복수개의 원본 데이터셋 중 첫번째 질의 데이터셋에 포함된 객체의 ID가 모두 포함된 원본 데이터셋들을 추출하되, 각 질의 데이터셋 별로 질의 데이터셋의 수만큼 반복하여 추출한다.
그리고, 불법복제 영상 판단부(140)는 원본 데이터셋과 질의 데이터셋에 포함된 각 객체별 면적 비율 정보를 이용하여, 앞서 추출된 원본 데이터셋들 중 첫번째 질의 데이터셋에 포함된 모든 객체의 면적 비율 정보와 모두 동일한 원본 데이터셋을 추출하되, 각 질의 데이터셋 별로 질의 데이터셋의 수만큼 반복하여 추출한다.
그 다음, 불법복제 영상 판단부(140)가 S540 단계에서 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단한다(S550).
이때, 불법복제 영상 판단부(140)는 질의 데이터셋과, 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단한다.
그 다음, 불법복제 영상 판단부(140)는 S550 단계에서 판단된 유사도가 설정 비율 이상인지 판단한다(S560)
S560 단계의 판단 결과, S550 단계에서 판단된 유사도가 설정 비율 이상이면 해당 질의 데이터셋의 프레임에 가중치를 부여한다(S570).
만약, S550 단계에서 판단된 유사도가 설정 비율 미만이면 해당 질의 데이터셋의 프레임에 가중치를 부여하지 않는다(S571).
그 다음, 불법복제 영상 판단부(140)는 S550 단계의 유사도 비교 및 판단 횟수가 S530 단계에서 입력된 질의 데이터셋의 수(식별 대상 영상으로부터 추출된 프레임 수)와 동일한지 판단하여, 동일할 때까지 S550 단계 내지 S570단계를 반복 수행한다(S580).
이때, 불법복제 영상 판단부(140)는 S540 단계로부터 추출되는 원본 데이터셋이 존재하지 않는 경우, 해당 식별 대상 영상의 프레임에 대해 가중치를 부여하지 않는 것이 바람직하다.
그 다음, 불법복제 영상 판단부(140)는 S560 단계의 판단 결과에 따라 부여된 가중치가 설정 점수 이상인지 판단한다(S590).
S590 단계의 판단 결과, 가중치가 설정 점수 이상이면 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단한다(S600).
그리고 가중치가 설정 점수 미만이면 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단한다(S601).
도 6은 도 5의 S520 단계에서 도시된 원본 데이터셋을 생성하기 위한 방법의 동작 흐름을 도시한 순서도이다.
도 6에서와 같이 원본 데이터셋을 생성하기 위해서는, 먼저 원본 영상 입력 모듈(111)이 360도 영상을 입력받는다(S610).
그 다음, 프레임 추출 모듈(112)이 S610 단계에서 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 복수개 추출한다(S620).
그 다음, 프로젝션 변환 모듈(113)이 S610 단계에서 입력된 360도 영상의 프로젝션 타입을 판단한다(S630).
S630 단계의 판단 결과, 360도 영상이 ERP 타입이 아닌 경우, S620 단계에서 추출된 복수개의 프레임을 ERP 타입으로 각각 변환한다(S640).
그 다음, 객체 식별 영역 선정 모듈(114)는 S620 단계에서 추출된 각 프레임의 중앙 영역을 객체 식별 영역으로 각각 선정한다(S650).
도 7은 도 6의 S650 단계를 설명하기 위한 참고도면이다.
도 7에서와 같이 S650 단계는 S620 단계에서 추출된 구형상(sphere)인 프레임을 평면 형상으로 펼치고 상하 45도를 기준으로 4분할, 좌우 90도를 기준으로 4분할하여 분할된 각각의 영역(영역 1 내지 영역 4)에 대해 왜곡 보정을 수행한 후, 평면 형상이 되도록 분할된 영역을 순서대로 병합하여 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정한다.
그 다음, 객체 식별 모듈(115)은 딥러닝 알고리즘을 이용하여 S650 단계에서 선정된 객체 식별 영역 내 포함된 객체를 각 프레임별로 식별한다(S660).
도 8은 도 6의 S660 단계를 설명하기 위한 참고도면이다.
도 8에서와 같이 딥러닝 알고리즘에 의해 객체 식별 영역 내 포함된 객체가 식별될 때, 각 객체마다 바운딩 박스가 생성되고 식별된 객체의 ID와 함께 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보와 해당 객체의 좌표가 식별될 수 있다.
그 다음, 특징점 추출 모듈(116)은 객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출한다(S670).
도 9는 도 6의 S670 단계를 설명하기 위한 참고도면이다.
도 9의 (a)는 객체로부터 추출되는 각각의 특징점을 표시한 것이고, (b)는 추출된 특징점간의 관계를 표시한 것이다.
도 9의 (a)에 나타낸 객체에서 추출된 특징점은 (b)에서와 같이 각 특징점의 좌표로 나타낼 수 있고 이를 다음의 수학식 1에서와 같이 특징점 간의 관계를 벡터의 내적을 통해 실수로 표시할 수도 있다.
Figure 112019056345669-pat00001
그 다음, 원본 데이터셋 생성 모듈(117)은 S660 단계에서 식별된 각 객체의 ID , 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 원본 데이터셋을 복수개의 프레임별로 각각 생성한다(S680).
즉, S680 단계에서는 S660 단계에서 식별된 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보와 함께 수학식 1에 의해 표시되는 인접한 특징점간 벡터 정보가 포함되는 원본 데이터셋을 복수개의 프레임별로 각각 생성할 수 있다.
도 10은 도 5의 S530 단계에서 도시된 질의 데이터셋을 생성하기 위한 방법의 동작 흐름을 도시한 순서도이다.
도 10에서와 같이 질의 데이터셋을 생성하기 위해서는, 먼저 식별 대상 영상 입력 모듈(121)이 불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받는다(S1010).
이때, 식별 대상 영상 특징 추출부(120)는 S1010 단계에서 입력된 영상의 헤더 정보를 이용하여 해당 영상이 360도 영상인지 판단한다(S1020).
S1020 단계의 판단 결과 360도 영상인 경우 프레임 추출 모듈(122)이 프레임 각각을 렌더링하고 FOV(Field of View)를 기준으로 3축 좌표를 0도로 고정하여 2D 뷰포트 형태의 프레임으로 추출한다(S1030).
만약, 360도 영상이 아닌 경우 프레임 추출 모듈(122)이 S1010 단계에서 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 2D 뷰포트 형태의 프레임으로 설정 개 추출한다(S1040).
그 다음, 객체 식별 모듈(123)이 딥러닝 알고리즘을 이용하여 S1040 단계에서 추출된 프레임 내 포함된 객체를 각 프레임별로 식별한다(S1050).
그 다음, 특징점 추출 모듈(124)이 S1050 단계의 객체 식별 과정에서 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출한다(S1060).
마지막으로 S1050 단계에서 식별된 각 객체의 ID , 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보, 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 질의 데이터셋을 설정 개의 프레임별로 각각 생성한다(S1070).
상술한 바와 같이, 본 발명의 실시예에 따른 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법은 딥 러닝을 통해 인식된 객체의 특징점을 이용하여 360도 영상의 불법 복제 여부를 판단함으로써, 불법복제 영상의 식별 속도 및 식별 시간을 단축시킬 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 화면의 크기나 해상도를 변형시켜 복제한 경우에도 불법 복제 여부를 단시간 내에 판단할 수 있어 식별 속도 및 식별 정확도를 향상시킬 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 불법복제 영상 판단 장치 110 : 원본 영상 특징 추출부
111 : 원본 영상 입력 모듈 112 : 프레임 추출 모듈
113 : 프로젝션 변환 모듈 114 : 객체 식별 영역 선정 모듈
115 : 객체 식별 모듈 116 : 특징점 추출 모듈
117 : 원본 데이터셋 생성 모듈
120 : 식별 대상 영상 특징 추출부 121 : 식별 대상 영상 입력 모듈
122 : 프레임 추출 모듈 123 : 객체 식별 모듈
124 : 특징점 추출 모듈 125 : 질의 데이터셋 생성 모듈
130 : 데이터셋 저장부 140 : 불법복제 영상 판단부
141 : 프레임 입력 모듈 142 : 원본 데이터셋 추출 모듈
143 : 특징점 비교 모듈 144 : 최종 판단 모듈

Claims (20)

  1. 딥 러닝 기반의 객체 인식을 이용하여 불법복제 영상을 판단하는 장치에 있어서,
    입력된 360도 영상으로부터 복수개의 프레임을 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 복수개의 프레임별로 원본 데이터셋(dataset)을 각각 생성하는 원본 영상 특징 추출부;
    불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받아 2D 뷰포트(ViewPort) 형태의 프레임을 설정 개 추출하고, 딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하고, 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 설정 개의 프레임별로 질의 데이터셋을 각각 생성하는 식별 대상 영상 특징 추출부;
    상기 각 프레임별 원본 데이터셋 및 상기 각 프레임별 질의 데이터셋을 각각 저장하는 데이터셋 저장부; 및
    상기 식별 대상 영상 특징 추출부로부터 불법복제 영상 판단이 요청되면, 상기 추출된 설정 개의 프레임을 입력받고, 상기 각각의 질의 데이터셋에 포함된 객체의 ID와 상기 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출하고, 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하여 상기 식별 대상 영상의 불법 복제 여부를 판단하는 불법복제 영상 판단부를 포함하고,
    상기 원본 영상 특징 추출부는,
    360도 영상을 입력받는 원본 영상 입력 모듈;
    상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 복수개 추출하는 프레임 추출 모듈;
    상기 추출된 각 프레임의 중앙 영역을 객체 식별 영역으로 각각 선정하는 객체 식별 영역 선정 모듈;
    딥러닝 알고리즘을 이용하여 상기 객체 식별 영역 내 포함된 객체를 각 프레임별로 식별하는 객체 식별 모듈;
    객체 식별시 각 객체별로 생성되는 바운딩 박스(Bounding box)를 이용하여 각 객체마다 복수의 특징점을 추출하는 특징점 추출 모듈; 및
    상기 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 원본 데이터셋을 복수개의 프레임별로 각각 생성하는 원본 데이터셋 생성 모듈을 포함하는 불법복제 영상 판단 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 원본 영상 특징 추출부는,
    상기 원본 영상 입력 모듈로부터 입력된 360도 영상의 프로젝션 타입을 판단하여 상기 360도 영상이 ERP(Equirectangular Projection) 타입이 아닌 경우, 상기 프레임 추출 모듈에서 추출된 복수개의 프레임을 ERP 타입으로 각각 변환하는 프로젝션 변환 모듈을 더 포함하는 불법복제 영상 판단 장치.
  4. 제1항에 있어서,
    상기 객체 식별 영역 선정 모듈은,
    구형상(sphere)인 상기 프레임을 평면 형상으로 펼치고 상하 45도를 기준으로 4분할하고, 좌우 90도를 기준으로 4분할하여 분할된 각각의 영역에 대해 왜곡 보정을 수행한 후, 평면 형상이 되도록 상기 분할된 영역을 순서대로 병합하여 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정하는 불법복제 영상 판단 장치.
  5. 제1항에 있어서,
    상기 식별 대상 영상 특징 추출부는,
    불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받는 식별 대상 영상 입력 모듈;
    상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 설정 개 추출하되, 2D 뷰포트 형태의 프레임으로 추출하는 프레임 추출 모듈;
    딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하는 객체 식별 모듈;
    객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출하는 특징점 추출 모듈; 및
    상기 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 질의 데이터셋을 설정 개의 프레임별로 각각 생성하는 질의 데이터셋 생성 모듈을 포함하는 불법복제 영상 판단 장치.
  6. 제5항에 있어서,
    상기 프레임 추출 모듈은,
    상기 입력된 영상의 헤더 정보를 이용하여 해당 영상이 360도 영상인지 판단하고, 판단 결과 360도 영상인 경우 상기 추출된 설정 개의 프레임 각각에 대해 렌더링하고 FOV(Field of View)를 기준으로 3축 좌표를 0도로 고정하여 상기 2D 뷰포트 형태의 프레임으로 추출하는 불법복제 영상 판단 장치.
  7. 제1항에 있어서,
    상기 불법복제 영상 판단부는,
    상기 식별 대상 영상 특징 추출부로부터 불법복제 영상 판단이 요청되면, 상기 식별 대상 영상 특징 추출부에서 추출된 설정 개수의 프레임을 입력받는 프레임 입력 모듈;
    상기 데이터셋 저장부에 저장된 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출하는 원본 데이터셋 추출 모듈;
    상기 질의 데이터셋과, 상기 추출된 원본 데이터셋 중 상기 질의 데이터셋에 대응하는 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하고, 판단된 유사도에 따라 해당 질의 데이터셋의 프레임에 가중치를 부여하되, 상기 질의 데이터셋의 수만큼 반복하여 유사도 판단 및 가중치를 부여하는 특징점 비교 모듈; 및
    최종 부여된 상기 가중치가 설정 점수 이상이면 상기 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단하고, 가중치가 설정 점수 미만이면 상기 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단하는 최종 판단 모듈을 포함하는 불법복제 영상 판단 장치.
  8. 제7항에 있어서,
    상기 불법복제 영상 판단부는,
    상기 원본 데이터셋 추출 모듈로부터 추출되는 원본 데이터셋이 존재하지 않는 경우, 해당 식별 대상 영상의 프레임에 대해 가중치를 부여하지 않는 불법복제 영상 판단 장치.
  9. 제7항에 있어서,
    상기 원본 데이터셋 추출 모듈은,
    복수개의 원본 데이터셋 중 첫번째 질의 데이터셋에 포함된 객체의 ID가 모두 포함된 원본 데이터셋들을 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출하고,
    원본 데이터셋과 질의 데이터셋에 포함된 각 객체별 면적 비율 정보를 이용하여, 상기 추출된 원본 데이터셋들 중 상기 첫번째 질의 데이터셋에 포함된 모든 객체의 면적 비율 정보와 모두 동일한 원본 데이터셋을 최종 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출하는 불법복제 영상 판단 장치.
  10. 제7항에 있어서,
    상기 특징점 비교 모듈은,
    상기 질의 데이터셋과, 상기 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리(Euclidean Distance)를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하는 불법복제 영상 판단 장치.
  11. 불법복제 영상 판단 장치에 의해 수행되는 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 방법에 있어서,
    불법복제 영상 판단을 요청받으면, 원본 영상 특징 추출부로부터 추출된 복수개의 프레임과 해당 프레임에 대응하는 원본 데이터셋을 각각 입력받는 단계;
    식별 대상 영상 특징 추출부로부터 추출된 설정 개의 프레임과 해당 프레임에 대응하는 질의 데이터셋을 각각 입력받는 단계;
    상기 원본 데이터셋 중 상기 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 상기 원본 데이터셋을 각각 추출하는 단계;
    상기 추출된 각각의 원본 데이터셋을 이용하여 해당 질의 데이터셋의 프레임과의 유사도를 비교 및 판단하는 단계; 및
    상기 판단 결과에 따라 식별 대상 영상의 불법 복제 여부를 최종 판단하는 단계를 포함하고,
    상기 원본 데이터셋을 각각 입력받는 단계는,
    360도 영상을 입력받는 단계;
    상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 복수개 추출하는 단계;
    상기 추출된 각 프레임의 중앙 영역을 객체 식별 영역으로 각각 선정하는 단계;
    딥러닝 알고리즘을 이용하여 상기 객체 식별 영역 내 포함된 객체를 각 프레임별로 식별하는 단계;
    객체 식별시 각 객체별로 생성되는 바운딩 박스(Bounding box)를 이용하여 각 객체마다 복수의 특징점을 추출하는 단계; 및
    상기 식별된 각 객체의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보, 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 원본 데이터셋을 복수개의 프레임별로 각각 생성하는 단계를 포함하는 불법복제 영상 판단 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 원본 데이터셋을 각각 입력받는 단계는,
    상기 입력된 360도 영상의 프로젝션 타입을 판단하여 상기 360도 영상이 ERP(Equirectangular Projection) 타입이 아닌 경우, 상기 추출된 복수개의 프레임을 ERP 타입으로 각각 변환하는 단계를 더 포함하는 불법복제 영상 판단 방법.
  14. 제11항에 있어서,
    상기 객체 식별 영역으로 각각 선정하는 단계는,
    구형상(sphere)인 상기 프레임을 평면 형상으로 펼치고 상하 45도를 기준으로 4분할, 좌우 90도를 기준으로 4분할하여 분할된 각각의 영역에 대해 왜곡 보정을 수행한 후, 평면 형상이 되도록 상기 분할된 영역을 순서대로 병합하여 상하 기준 45도 내지 -45도에 해당하는 중앙 영역을 객체 식별 영역으로 선정하는 불법복제 영상 판단 방법.
  15. 제11항에 있어서,
    상기 질의 데이터셋을 각각 입력받는 단계는,
    불법복제 여부를 판단하고자 하는 식별 대상 영상을 입력받는 단계;
    상기 입력된 영상에서 프레임 간 변화율이 설정 비율 이상인 프레임을 설정 개 추출하되, 2D 뷰포트 형태의 프레임으로 추출하는 단계;
    딥러닝 알고리즘을 이용하여 상기 추출된 프레임 내 포함된 객체를 각 프레임별로 식별하는 단계;
    객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출하는 단계; 및
    상기 식별된 각 객체의 ID , 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 인접한 특징점간 벡터 정보가 포함된 질의 데이터셋을 설정 개의 프레임별로 각각 생성하는 단계를 포함하는 불법복제 영상 판단 방법.
  16. 제15항에 있어서,
    상기 질의 데이터셋을 각각 입력받는 단계는,
    상기 입력된 영상의 헤더 정보를 이용하여 해당 영상이 360도 영상인지 판단하고, 판단 결과 360도 영상인 경우 상기 추출된 설정 개의 프레임 각각에 대해 렌더링하고 FOV(Field of View)를 기준으로 3축 좌표를 0도로 고정하여 상기 2D 뷰포트 형태의 프레임으로 추출하는 불법복제 영상 판단 방법.
  17. 제11항에 있어서,
    상기 각 질의 데이터셋에 대응하는 상기 원본 데이터셋을 각각 추출하는 단계는,
    복수개의 원본 데이터셋 중 첫번째 질의 데이터셋에 포함된 객체의 ID가 모두 포함된 원본 데이터셋들을 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출하는 단계; 및
    원본 데이터셋과 질의 데이터셋에 포함된 각 객체별 면적 비율 정보를 이용하여, 상기 추출된 원본 데이터셋들 중 상기 첫번째 질의 데이터셋에 포함된 모든 객체의 면적 비율 정보와 모두 동일한 원본 데이터셋을 추출하되, 각 질의 데이터셋 별로 상기 질의 데이터셋의 수만큼 반복하여 추출하는 단계를 포함하는 불법복제 영상 판단 방법.
  18. 제11항에 있어서,
    상기 유사도를 비교 및 판단하는 단계는,
    상기 질의 데이터셋과, 상기 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리(Euclidean Distance)를 이용하여 원본 영상의 프레임과 식별 대상 영상의 프레임 간 유사도를 판단하되, 판단된 유사도가 설정 비율 이상인 경우 해당 질의 데이터셋의 프레임에 가중치를 부여하고, 상기 질의 데이터셋의 수만큼 반복하여 유사도 판단 및 가중치를 부여하는 불법복제 영상 판단 방법.
  19. 제18항에 있어서,
    상기 불법 복제 여부를 최종 판단하는 단계는,
    상기 부여된 가중치가 설정 점수 이상이면 상기 식별 대상 영상이 불법 복제된 영상인 것으로 최종 판단하고, 가중치가 설정 점수 미만이면 상기 식별 대상 영상이 불법 복제 영상이 아닌 것으로 최종 판단하는 불법복제 영상 판단 방법.
  20. 제18항에 있어서,
    상기 각 질의 데이터셋에 대응하는 상기 원본 데이터셋을 각각 추출하는 단계는,
    상기 추출되는 원본 데이터셋이 존재하지 않는 경우, 해당 식별 대상 영상의 프레임에 대해 가중치를 부여하지 않는 불법복제 영상 판단 방법.
KR1020190064783A 2018-12-05 2019-05-31 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법 KR102052534B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180155226 2018-12-05
KR1020180155226 2018-12-05

Publications (1)

Publication Number Publication Date
KR102052534B1 true KR102052534B1 (ko) 2019-12-06

Family

ID=68837222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190064783A KR102052534B1 (ko) 2018-12-05 2019-05-31 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102052534B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072609A (ko) * 2019-12-09 2021-06-17 주식회사 디알엠인사이드 딥러닝 기반 사진저작물의 고속 식별을 지원하는 서비스 제공 장치 및 방법
KR20220107952A (ko) 2021-01-26 2022-08-02 주식회사 플랫팜 창작자의 저작권 모니터링 장치 및 방법
KR102598077B1 (ko) * 2023-03-21 2023-11-06 (주)노웨어소프트 인공지능 알고리즘에 기초하여 저작권을 보호하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170076368A (ko) * 2015-12-24 2017-07-04 주식회사 디알엠인사이드 불법 복제된 서적의 통합 식별 시스템 및 방법
KR20180106549A (ko) * 2017-03-21 2018-10-01 에스피테크놀러지 주식회사 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법
KR20180125885A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170076368A (ko) * 2015-12-24 2017-07-04 주식회사 디알엠인사이드 불법 복제된 서적의 통합 식별 시스템 및 방법
KR20180106549A (ko) * 2017-03-21 2018-10-01 에스피테크놀러지 주식회사 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법
KR20180125885A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072609A (ko) * 2019-12-09 2021-06-17 주식회사 디알엠인사이드 딥러닝 기반 사진저작물의 고속 식별을 지원하는 서비스 제공 장치 및 방법
KR102280736B1 (ko) 2019-12-09 2021-07-22 주식회사 디알엠인사이드 딥러닝 기반 사진저작물의 고속 식별을 지원하는 서비스 제공 장치 및 방법
KR20220107952A (ko) 2021-01-26 2022-08-02 주식회사 플랫팜 창작자의 저작권 모니터링 장치 및 방법
KR102598077B1 (ko) * 2023-03-21 2023-11-06 (주)노웨어소프트 인공지능 알고리즘에 기초하여 저작권을 보호하는 방법 및 장치

Similar Documents

Publication Publication Date Title
JP7270761B2 (ja) 画像処理方法及び装置、電子機器並びにコンピュータプログラム
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
KR102052534B1 (ko) 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
US10540576B1 (en) Panoramic camera systems
KR102052535B1 (ko) 특징점을 이용한 불법복제 영상 판단 장치 및 그 방법
US20120287233A1 (en) Personalizing 3dtv viewing experience
CN106682632B (zh) 用于处理人脸图像的方法和装置
WO2020169051A1 (zh) 一种全景视频数据处理的方法、终端以及存储介质
US11341735B2 (en) Image recommendation method, client, server, computer system and medium
JP5035195B2 (ja) 画像生成装置及びプログラム
US20140313362A1 (en) Method and device relating to image content
WO2021047482A1 (en) Method and system for performing steganographic technique
JP4040046B2 (ja) ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
US8913851B1 (en) Fingerprinting image using points of interest for robust image identification
CN103955713B (zh) 一种图标识别方法和装置
JP4916950B2 (ja) 動画像比較装置、動画像比較方法、及び動画像比較プログラム
JP2018137667A (ja) カメラキャリブレーション方法、プログラムおよび装置
JP4998422B2 (ja) 画像生成装置、方法、通信システム及びプログラム
CN108256611B (zh) 二维码影像生成方法、装置、计算设备及存储介质
CN113177543B (zh) 证件识别方法、装置、设备及存储介质
CN116391200A (zh) 缩放不可知水印提取
Agushinta et al. A method of cloud and image-based tracking for Indonesia fruit recognition
CN105830095B (zh) 用于选择增强现实标记的评级和建议
CN112966230A (zh) 信息隐写及提取方法、装置及设备
TWI752395B (zh) 訊息處理裝置、訊息處理方法以及訊息處理程式

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant