KR102027878B1 - 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 - Google Patents
딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 Download PDFInfo
- Publication number
- KR102027878B1 KR102027878B1 KR1020180009129A KR20180009129A KR102027878B1 KR 102027878 B1 KR102027878 B1 KR 102027878B1 KR 1020180009129 A KR1020180009129 A KR 1020180009129A KR 20180009129 A KR20180009129 A KR 20180009129A KR 102027878 B1 KR102027878 B1 KR 102027878B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- art
- artwork
- collection
- query
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/46—
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 컴퓨터 장치에 의해 구현되는 영상물 내의 미술품을 인식하는 시스템과 방법에 관한 것으로서, 구체적으로는 영상물을 수집하여 영상물 내 미술품 위치를 파악하여 주석을 달아 저장하여 인공지능의 딥러닝 알고리즘으로 학습하고, 저작권이 수반된 미술품들의 이미지 특징을 추출, 저장하여, 질의(Query) 영상물 내에 미술품이 포함되어 있는지 여부 및 포함된 미술품에 의해 타인의 저작권이 침해되는지 여부를 판단할 수 있는 시스템 및 방법에 관한 것이다.
본 발명은 「영상물 수집 분석부; 인공지능 기반의 미술품 검출부; 미술품 수집 분석부; 및 질의(Query) 영상물 판독부; 를 포함하여 구성된 영상물 내 미술품 인식 시스템(이하 '본 발명 시스템'이라 함)에 의해 구현되며, 사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고, 상기 영상물 수집 분석 단계는, (A-1) 상기 영상물 수집 분석부가 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계; (A-2) 상기 영상물 수집 분석부가 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 상기 위치를 포함한 주석(Annotation)을 저장하는 단계; 및 (A-3) 상기 미술품 검출부가 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 인공지능의 딥러닝 알고리즘을 통해 심층 학습하는 단계; 를 포함하고, 상기 미술품 수집 분석 단계는, (B-1) 상기 미술품 수집 분석부가 저작권이 유효한 미술품 이미지 및 상기 미술품의 저작권 정보 수집하는 단계; (B-2) 상기 미술품 수집 분석부가 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및 (B-3) 상기 미술품 수집 분석부가 수집된 미술품 이미지에서 특징을 추출하여 상기 저작권 정보와 함께 저장하는 단계; 를 포함하고, 상기 인식 단계는, (C-1) 상기 질의 영상물 판독부가 질의 영상물을 입력받는 단계; (C-2) 상기 미술품 검출부가 상기 (A-3)단계의 심층 학습 결과를 기반으로 상기 질의 영상물 내 미술품을 검출하는 단계; (C-3) 상기 질의 영상물 판독부가 검출된 미술품의 이미지를 분리하는 단계; (C-4) 상기 질의 영상물 판독부가 검출된 미술품 이미지의 크기를 정규화하는 단계; (C-5) 상기 질의 영상물 판독부가 검출된 미술품 이미지에서 특징을 추출하는 단계; 및 (C-6) 상기 질의 영상물 판독부가 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법(이하 '본 발명 방법'이라 함)」을 제공한다.
본 발명은 「영상물 수집 분석부; 인공지능 기반의 미술품 검출부; 미술품 수집 분석부; 및 질의(Query) 영상물 판독부; 를 포함하여 구성된 영상물 내 미술품 인식 시스템(이하 '본 발명 시스템'이라 함)에 의해 구현되며, 사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고, 상기 영상물 수집 분석 단계는, (A-1) 상기 영상물 수집 분석부가 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계; (A-2) 상기 영상물 수집 분석부가 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 상기 위치를 포함한 주석(Annotation)을 저장하는 단계; 및 (A-3) 상기 미술품 검출부가 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 인공지능의 딥러닝 알고리즘을 통해 심층 학습하는 단계; 를 포함하고, 상기 미술품 수집 분석 단계는, (B-1) 상기 미술품 수집 분석부가 저작권이 유효한 미술품 이미지 및 상기 미술품의 저작권 정보 수집하는 단계; (B-2) 상기 미술품 수집 분석부가 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및 (B-3) 상기 미술품 수집 분석부가 수집된 미술품 이미지에서 특징을 추출하여 상기 저작권 정보와 함께 저장하는 단계; 를 포함하고, 상기 인식 단계는, (C-1) 상기 질의 영상물 판독부가 질의 영상물을 입력받는 단계; (C-2) 상기 미술품 검출부가 상기 (A-3)단계의 심층 학습 결과를 기반으로 상기 질의 영상물 내 미술품을 검출하는 단계; (C-3) 상기 질의 영상물 판독부가 검출된 미술품의 이미지를 분리하는 단계; (C-4) 상기 질의 영상물 판독부가 검출된 미술품 이미지의 크기를 정규화하는 단계; (C-5) 상기 질의 영상물 판독부가 검출된 미술품 이미지에서 특징을 추출하는 단계; 및 (C-6) 상기 질의 영상물 판독부가 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법(이하 '본 발명 방법'이라 함)」을 제공한다.
Description
본 발명은 컴퓨터 장치에 의해 구현되는 영상물 내의 미술품을 인식하는 시스템과 방법에 관한 것으로서, 구체적으로는 영상물을 수집하여 영상물 내 미술품 위치를 파악하여 주석을 달아 저장하여 인공지능의 딥러닝 알고리즘으로 학습하고, 저작권이 수반된 미술품들의 이미지 특징을 추출, 저장하여, 질의(Query) 영상물 내에 미술품이 포함되어 있는지 여부 및 포함된 미술품에 의해 타인의 저작권이 침해되는지 여부를 판단할 수 있는 시스템 및 방법에 관한 것이다.
많은 미술품들이 TV프로그램과 영화장면들을 장식하기 위해 사용되고 있다. 그 많은 미술품들 중 일부는 저작권보호를 받는 것일 수도 있으며, 만약 영상제작자의 부주의로 저작권자의 허락 없이 그러한 미술품을 사용하였을 때 저작권을 침해하여 그에 따른 보상금 지불에 따른 경제적 손실이 발생할 수 있다. 영상 속 미술품의 저작권 침해 여부에 대해 사람이 하나 하나 찾아서 판단하는 방식은 많은 시간과 자본이 소요되므로 자동으로 인식 판단할 수 있는 방법이 있으면 영상제작자한테 큰 도움이 될 수 있다.
다만, 영상 속 미술품은 임의의 시점에서 임의의 크기로 촬영될 수 있고, 빛, 카메라 등의 영향을 받아 많은 노이즈가 부가될 수 있으므로, 이러한 변형 하에서도 영상 속의 미술품을 찾아내고 그 미술품에 저작권이 있는지 없는지를 판단함에 있어서 큰 난점이 되고 있다.
한편, 최근 인터넷으로부터 쏟아져 나오는 대량의 데이터들과 강력한 GPU의 병렬연산 능력으로 인하여 딥러닝 기술이 부활하고 있다. 그 중 CNN(Convolutional Neural Network) 딥러닝 알고리즘을 이용한 영상 속 객체인식 방법들이 아주 좋은 성능을 보여주고 있다.
1. Redmon, J.; Farhadi, A. Yolo9000: Better, faster, stronger. arXiv preprint arXiv:1612.08242.
2. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, A.C. SSD: Single Shot Multibox Detector. In ECCV. 2016.
3. Ren, S.; He, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017, 39, 1137-1149.
4. Lowe, D.G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision. 2004, 60, 91110.
5. Bay, H.; Tuytelaars, T.; Van Gool, L. Surf: Speeded up robust features. In ECCV. 2006.
6. Leutenegger, S.; Chli, M.; Siewart, R. Brisk: Binary robust invariant scalable keypoints. In International Conference on Computer Vision. 2011.
7. Morel, K.M.; Yu, G. ASIFT: a new framework for fully affine invariant image comparison. SIAM Journal on Imaging Sciences. 2009, 2, 438-469.
본 발명은 인공지능을 도입하여 영상 속에 포함된 미술품을 사람이 일일이 찾아내던 종래 상황을 개선하고, 영상 속에서 미술품이 노출되는 크기, 각도, 음영 등에 따른 변형에 관계없이 저작권 보호를 받는 미술품과의 유사성을 판단할 수 있도록 하는 장치 및 방법을 제공함에 그 목적이 있다.
상기 문제점을 해결하기 위하여 본 발명에서는 인공지능의 딥러닝 기술과 이미지로부터 불변하는 특징을 추출하는 기술을 결합하였다.
미술품들의 이미지 특징은 사전에 데이터베이스에 저장되어 있어야 되고, 영상제작자는 본 발명을 통하여 자신이 만든 영상에 상기 저장한 미술품들의 존재여부를 알아낼 수 있다.
본 발명은 「컴퓨터 장치에 의해 구현되는 시스템으로서, 미술품을 포함한 영상물을 수집하고, 수집된 영상물 내 미술품 위치를 표기한 주석(Annotation)을 저장하는 영상물 수집 분석부; 수집된 영상물 내 미술품 위치 및 주석을 심층 학습(Deep-Learning)하고, 질의(Query) 영상물에서 미술품을 검출하는 인공지능 기반의 미술품 검출부; 미술품 이미지를 수집하여 크기를 정규화한 후 추출된 이미지 특징을 저장하는 미술품 수집 분석부; 및 질의(Query) 영상물에서 검출된 미술품 이미지를 분리하여 크기를 정규화한 후, 이미지 특징을 추출하여 상기 미술품 수집 분석부를 통해 저장된 이미지 특징과 비교함으로써 인식 결과를 도출하는 질의 영상물 판독부; 를 포함하여 구성된 영상물 내 미술품 인식 시스템」을 제공한다.
또한, 본 발명은 「컴퓨터 장치에 의해 구현되는 사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는, 다시 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고, 상기 영상물 수집 분석 단계는, (A-1) 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계; (A-2) 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 주석(Annotation)을 저장하는 단계; 및 (A-3) 인공지능 기반의 미술품 검출부에게 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 심층 학습시키는 단계; 를 포함하고, 상기 미술품 수집 분석 단계는, (B-1) 저작권이 유효한 미술품 이미지를 수집하는 단계; (B-2) 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및 (B-3) 수집된 미술품 이미지에서 특징을 추출, 저장하는 단계; 를 포함하고, 상기 인식 단계는, (C-1) 질의(Query) 영상물을 입력받는 단계; (C-2) 상기 미술품 검출부로 질의 영상물 내 미술품을 검출하는 단계; (C-3) 검출된 미술품의 이미지를 분리하는 단계; (C-4) 검출된 미술품 이미지의 크기를 정규화하는 단계; (C-5) 검출된 미술품 이미지에서 특징을 추출하는 단계; 및 (C-6) 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법」을 함께 제공한다.
상기 (B-1)단계는 미술품 이미지에 관한 저작권 정보를 함께 수집하고, 상기 (B-3)단계는 이미지 특징과 함께 저작권 정보가 함께 저장되도록 구성할 수 있다.
또한, 상기 (C-2)단계는, 미술품이 검출되지 않으면 질의 영상물 내 미술품이 포함되지 않은 것으로 판정하고, (C-3)단계 내지 (C-6)단계의 실행 없이 종료하도록 구성할 수 있다.
본 발명에 따르면 다음과 같은 효과가 있다.
1. 인공지능 딥러닝 기반의 미술품 검출부를 학습시키고 이용함으로써 높은 정확도로 영상물 내 미술품을 검출해 낼 수 있다.
2. 미술품 원본의 이미지와 영상물에서 분리한 미술품의 이미지 크기를 동일하게 조정한 상태에서 이미지 특징을 추출 및 비교하므로 높은 인식율이 확보된다.
3. 영상제작자는 부주의로 인한 타인의 미술저작권 침해 문제 발생을 줄일 수 있고, 미술품의 저작권자는 영상물을 매개로 한 자신의 저작권 침해 여부를 쉽게 발견할 수 있다.
[도 1]은 본 발명이 제공하는 시스템의 모식도이다.
[도 2]는 본 발명이 제공하는 방법의 전체적인 흐름도이다.
[도 3]은 본 발명 시스템의 구성요소별 작용을 흐름도로 나타낸 것이다.
[도 4]는 본 발명 시스템의 구성요소별 작용을 실시예와 함께 흐름도로 나타낸 것이다.
[도 5]는 본 발명에 적용되는 미술품 검출부를 학습시킬 때 사용된 데이터의 예를 도시한 것이다.
[도 6]은 본 발명 시스템에 질의 영상물을 입력했을 때 출력되는 결과를 나타낸 것이다.
[도 2]는 본 발명이 제공하는 방법의 전체적인 흐름도이다.
[도 3]은 본 발명 시스템의 구성요소별 작용을 흐름도로 나타낸 것이다.
[도 4]는 본 발명 시스템의 구성요소별 작용을 실시예와 함께 흐름도로 나타낸 것이다.
[도 5]는 본 발명에 적용되는 미술품 검출부를 학습시킬 때 사용된 데이터의 예를 도시한 것이다.
[도 6]은 본 발명 시스템에 질의 영상물을 입력했을 때 출력되는 결과를 나타낸 것이다.
본 발명은 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 시스템과 방법을 제공한다. 이하에서는 첨부된 도면과 함께 본 발명을 상세히 설명한다.
본 발명은 「영상물 수집 분석부; 인공지능 기반의 미술품 검출부; 미술품 수집 분석부; 및 질의(Query) 영상물 판독부; 를 포함하여 구성된 영상물 내 미술품 인식 시스템(이하 '본 발명 시스템'이라 함)에 의해 구현되며,
사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고,
상기 영상물 수집 분석 단계는, (A-1) 상기 영상물 수집 분석부가 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계; (A-2) 상기 영상물 수집 분석부가 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 상기 위치를 포함한 주석(Annotation)을 저장하는 단계; 및 (A-3) 상기 미술품 검출부가 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 인공지능의 딥러닝 알고리즘을 통해 심층 학습하는 단계; 를 포함하고,
상기 미술품 수집 분석 단계는, (B-1) 상기 미술품 수집 분석부가 저작권이 유효한 미술품 이미지 및 상기 미술품의 저작권 정보 수집하는 단계; (B-2) 상기 미술품 수집 분석부가 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및 (B-3) 상기 미술품 수집 분석부가 수집된 미술품 이미지에서 특징을 추출하여 상기 저작권 정보와 함께 저장하는 단계; 를 포함하고,
상기 인식 단계는, (C-1) 상기 질의 영상물 판독부가 질의 영상물을 입력받는 단계; (C-2) 상기 미술품 검출부가 상기 (A-3)단계의 심층 학습 결과를 기반으로 상기 질의 영상물 내 미술품을 검출하는 단계; (C-3) 상기 질의 영상물 판독부가 검출된 미술품의 이미지를 분리하는 단계; (C-4) 상기 질의 영상물 판독부가 검출된 미술품 이미지의 크기를 정규화하는 단계; (C-5) 상기 질의 영상물 판독부가 검출된 미술품 이미지에서 특징을 추출하는 단계; 및 (C-6) 상기 질의 영상물 판독부가 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법(이하 '본 발명 방법'이라 함)」을 제공한다.
[도 1]은 본 발명이 제공하는 시스템의 모식도이다.
사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고,
상기 영상물 수집 분석 단계는, (A-1) 상기 영상물 수집 분석부가 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계; (A-2) 상기 영상물 수집 분석부가 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 상기 위치를 포함한 주석(Annotation)을 저장하는 단계; 및 (A-3) 상기 미술품 검출부가 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 인공지능의 딥러닝 알고리즘을 통해 심층 학습하는 단계; 를 포함하고,
상기 미술품 수집 분석 단계는, (B-1) 상기 미술품 수집 분석부가 저작권이 유효한 미술품 이미지 및 상기 미술품의 저작권 정보 수집하는 단계; (B-2) 상기 미술품 수집 분석부가 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및 (B-3) 상기 미술품 수집 분석부가 수집된 미술품 이미지에서 특징을 추출하여 상기 저작권 정보와 함께 저장하는 단계; 를 포함하고,
상기 인식 단계는, (C-1) 상기 질의 영상물 판독부가 질의 영상물을 입력받는 단계; (C-2) 상기 미술품 검출부가 상기 (A-3)단계의 심층 학습 결과를 기반으로 상기 질의 영상물 내 미술품을 검출하는 단계; (C-3) 상기 질의 영상물 판독부가 검출된 미술품의 이미지를 분리하는 단계; (C-4) 상기 질의 영상물 판독부가 검출된 미술품 이미지의 크기를 정규화하는 단계; (C-5) 상기 질의 영상물 판독부가 검출된 미술품 이미지에서 특징을 추출하는 단계; 및 (C-6) 상기 질의 영상물 판독부가 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법(이하 '본 발명 방법'이라 함)」을 제공한다.
[도 1]은 본 발명이 제공하는 시스템의 모식도이다.
본 발명 시스템을 구성하는 영상물 수집 분석부, 미술품 수집 분석부, 미술품 검출부 및 질의 영상물 판독부는 모두 컴퓨터 장치를 기능으로 분류한 것으로서, 각 구성요소가 물리적으로는 각자 분리되어 있거나 일부가 분리되어 있거나 전부가 결합되어 있을 수 있다.
상기 영상물 수집 분석부는 미술품을 포함한 영상물을 수집하고, 수집된 영상물 내 미술품 위치를 표기한 주석(Annotation)을 저장한다. 즉 상기 영상물 수집 분석부는 다량의 영상물을 수집하고, 수집된 영상물에 포함된 미술품을 탐색하고, 탐색된 미술품의 위치를 표기하고, 표기된 미술품의 위치 및 해당 위치에 대한 주석을 저장하는 것이다. 상기 주석(annotation)은 영상물 소스 파일에 삽입하는 설명, 표시 등을 통칭하는 것으로서, 영상물 재생에 영향을 미치지 않도록 삽입, 저장할 수 있다.
상기 미술품 검출부는 인공지능이 적용된 것으로서, 수집된 영상물 내 미술품 위치 및 주석을 심층 학습(Deep-Learning)하고, 질의(Query) 영상물에서 미술품을 검출한다. 상기 심층 학습은 본 발명 시스템 가동을 위한 사전 준비 과정으로 이루어지는 것이고, 질의 영상물에서 미술품을 검출하는 것은 본 발명 시스템을 통해 영상물 내 미술품 포함 여부 또는 영상물 내에 포함된 미술품이 타인의 저작권을 침해하는지 여부 등을 판단하는 과정에서 이루어진다.
근래에 공개된 딥러닝 알고리즘으로는 YOLOv2[Redmon, J.; Farhadi, A. Yolo9000: Better, faster, stronger. arXiv preprint arXiv:1612.08242], SSD[Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, A.C. SSD: Single Shot Multibox Detector. In ECCV. 2016.], Faster-RCNN[Ren, S.; He, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017, 39, 1137-1149.] 등이 있으며 전부 CNN기반으로 설계되었다. 본 발명 시스템에서는 전술한 알고리즘 중 하나를 선택하여 적용할 수 있다. 물론 향후 개발될 개선된 알고리즘의 적용을 배제하는 것은 아니다.
상기 미술품 수집 분석부는 저작권이 유효한 미술품 이미지를 수집하여 크기를 정규화한 후 추출된 이미지 특징을 저장한다. 미술품 이미지를 다량 수집하여 상기 미술품 이미지 크기를 정규화하고, 상기 이미지에서 특징을 추출하여 DB에 저장하는 것이다. 상기 DB에는 수집된 미술품의 저작권 정보(저작권자, 저작권 보호기간, 창작일, 저작권 소멸정보 등)을 함께 저장할 수 있다.
한편, 미술품 이미지마다 크기가 다르므로 이미지에서 특징을 추출하기 전에 256픽셀×256픽셀, 512픽셀×512픽셀 등으로 이미지의 크기를 정규화함으로써 이미지 크기의 변화가 이미지 특징에 미치는 영향을 감소시킬 수 있다.
대표적이고 유명한 이미지 특징 추출 알고리즘은 SIFT[Lowe, D.G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision. 2004, 60, 91110.], SURF[Bay, H.; Tuytelaars, T.; Van Gool, L. Surf: Speeded up robust features. In ECCV. 2006.], BRISK[Leutenegger, S.; Chli, M.; Siewart, R. Brisk: Binary robust invariant scalable keypoints. In International Conference on Computer Vision. 2011.], ASIFT[Morel, K.M.; Yu, G. ASIFT: a new framework for fully affine invariant image comparison. SIAM Journal on Imaging Sciences. 2009, 2, 438-469.] 등이 있으며, 본 발명 시스템에는 전술한 알고리즘 중 하나를 선택하여 적용할 수 있다. 물론 향후 개발될 개선된 알고리즘의 적용을 배제하는 것은 아니다.
상기 질의 영상물 판독부는 질의(Query) 영상물에서 검출된 미술품 이미지를 분리하여 크기를 정규화한 후, 이미지 특징을 추출하여 상기 미술품 수집 분석부를 통해 저장된 이미지 특징과 비교함으로써 인식 결과를 도출한다. 즉, 질의 영상물이 상기 질의 영상물 판독부에 입력되면, 상기 미술품 검출부에서 질의 영상물 내 포함된 미술품을 검출하고, 검출된 미술품 이미지를 질의 영상물에서 분리한다. 이후 분리된 미술품 이미지의 크기를 정규화하고 이미지 특징을 추출하여, 추출된 이미지 특징을 상기 미술품 수집 분석부에 의해 저장된 이미지 특징과 비교하여 질의 영상물에서 검출된 미술품이 어떠한 미술품인지를 인지해 낸다. 질의 영상물에서 검출, 분리된 미술품 이미지도 상기 미술품 수집 분석부에서와 동일한 크기로 정규화하고, 검출 분리된 미술품의 이미지 특징도 상기 미술품 수집 분석부의 이미지 특징 알고리즘과 동일한 알고리즘을 적용하여, 미술품 인식율을 높일 수 있다.
삭제
전술한 본 발명 시스템을 이용한 본 발명 방법은 사전 준비 단계 및 인식 단계로 이루어지고, 상기 사전 준비 단계는 상기 영상물 수집 분석부에 의한 영상물 수집 분석 단계와 상기 미술품 수집 분석부에 의한 미술품 수집 분석 단계로 구분되고, 상기 인식 단계는 상기 미술품 검출부 및 상기 질의 영상물 판독부에 의해 수행된다.
상기 사전 준비 단계 중 영상물 수집 분석 단계와 미술품 수집 분석 단계는 선후 관계가 성립하지 않는다. 양자가 동시에 진행되거나 어느 한쪽이 먼저 진행될 수 있는 것이다. 그러나 상기 사전 준비 단계와 인식 단계 간에는 선후관계가 성립한다. 사전 준비 단계 실시 후 인식 단계가 실시되어야 한다.
[도 2]는 본 발명이 제공하는 방법의 전체적인 흐름도이고, [도 3]은 본 발명 시스템의 구성요소별 작용을 흐름도로 나타낸 것이고, [도 4]는 본 발명 시스템의 구성요소별 작용을 실시예와 함께 흐름도로 나타낸 것이다.
상기 (A-1)단계 내지 (A-3)단계는 사전 준비 단계 중 영상물 수집 분석 단계에 해당한다.
상기 (A-1)단계는 본 발명 시스템의 영상물 수집 분석부에서 시행되는 단계로서, 프레임의 일부 또는 전부에 미술품이 포함된 다량의 영상물을 수집하는 단계이다. 영상물의 수집은 온라인 또는 오프라인으로 수행될 수 있다.
상기 (A-2)단계 역시 상기 영상물 수집 분석부에서 시행되며, 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 주석(annotation)을 저장하는 단계이다.
상기 (A-3)단계는 본 발명 시스템의 미술품 검출부에서 시행되는 단계로서, 인공지능 기반의 미술품 검출부에게 상기 (A-1)단계에서 수집된 영상물과 함께 상기 (A-2)단계를 거쳐 저장된 영상물에 내 미술품의 위치 및 주석을 심층 학습시키는 단계이다. 상기 미술품 검출부는 수집된 영상물 및 상기 영상물 내 미술품의 위치 및 주석을 심층 학습(Deep-Learning) 함으로써, 이후에는 영상물 내에서 미술품이 나타나는 위치(런닝타임)를 자동으로 도출해 내도록 할 수 있다.
상기 (B-1)단계 내지 (B-3)단계는 사전 준비 단계 중 미술품 수집 분석 단계에 해당하며, 각 단계 모두 미술품 수집 분석부에 의해 진행된다.
상기 (B-1)단계는 미술품 이미지를 수집하는 단계이다. 본 단계에서 상기 미술품 수집 분석부는 온라인 상에서 미술품 원본 이미지 파일을 탐색하여 수집하거나, 현실 공간에 존재하는 미술품 원본을 촬영한 사진 파일을 수집할 수 있다.
본 단계에서는 미술품 이미지와 함께 창작자, 창작일, 창작자 국적, 저작재산권자 등의 저작권 정보를 함께 수집하도록 구성할 수 있다. 더 나아가 저작권자의 생존 여부, 저작권자가 사망한 경우 사망연도 등에 관한 정보를 함께 수집하여 현행 저작권법상의 저작권 보호기간을 추산하도록 구성할 수 있다.
상기 (B-2)단계는 수집된 미술품 이미지의 크기를 정규화시키는 단계이다. 미술품 이미지마다 크기가 다르므로 이미지에서 특징을 추출하기 전에 이미지 크기를 일정하게 정규화함으로써 이미지 크기 변화에 따른 이미지 특징에 미치는 영향을 최소화시킬 수 있다.
상기 (B-3)단계는 수집된 미술품 이미지에서 특징을 추출, 저장하는 단계이다. 이미지 특징은 특징점(keypoint)과 특징기술자(descriptor)로 추출할 수 있다. 상기 특징점은 특징이 되는 점의 위치정보(영상좌표 등)를 의미하고 상기 특징기술자는 해당 특징점의 위치에서 추출한 지역 영상 특징정보(예를 들면, gradient 분포, 히스토그램 등)를 의미한다. 본 단계에서 상기 미술품 수집 분석부는 이미지 특징 DB를 마련하여 미술품 이미지별로 추출된 특징을 상기 DB에 저장해 둘 수 있다. 상기 (B-1)단계에서 미술품 이미지에 관한 저작권 정보를 함께 수집한 경우, 본 (B-3)단계에서는 상기 이미지 특징과 함께 저작권 정보를 DB에 저장할 수 있다.
상기 (C-1)단계 내지 (C-3)단계는 인식 단계에 해당한다.
상기 (C-1)단계는 질의 영상물 판독부에서 질의(Query) 영상물을 입력받는 단계이다. 질의 영상물이 입력되면 곧바로 상기 미술품 검출부에서 질의 영상물 내 미술품을 검출하는 (C-2)단계가 실시된다.
상기 (C-2)단계는 상기 미술품 검출부로 질의 영상물 내 미술품을 검출하는 단계로서, 상기 미술품 검출부는 (A-3)단계에서의 심층 학습을 통해 질의 영상물이 무엇인지 파악하여, 기존에 습득한 질의 영상물 내 미술품의 위치 정보를 기반으로 미술품을 검출해 낸다.
본 단계에서 미술품이 검출되지 않으면 질의 영상물 내 미술품이 포함되지 않은 것으로 판정하고, (C-3)단계 내지 (C-6)단계의 실행 없이 본 발명 방법을 종료시킬 수 있다.
본 단계에서 미술품이 검출되면 후속 단계들을 진행한다. 후술하겠지만, 질의 영상물 내 미술품이 위치한 영역을 분리하여 크기를 정규화 한 다음 이미지 특징을 추출하고, 사전에 DB에 저장되었던 미술품의 이미지 특징과 비교하여 질의 영상에 저작권이 유효한 미술품이 존재하는지를 판단하는 것이다.
상기 (C-3)단계는 검출된 미술품의 이미지를 분리하는 단계이다. 영상물은 다수의 이미지 프레임으로 구성되어 있으므로 일차적으로 미술품이 포함된 프레임 중 하나를 선택하여, 해당 프레임 내의 미술품이 위치한 영역을 따로 떼어 미술품 이미지를 분리해 내는 것이다.
이후에 진행되는 (C-4)단계는 검출된 미술품 이미지의 크기를 정규화하는 단계로서, 상기 정규화 작업은 (B-2)단계와 동일하게 수행한다. 상기 (C-5)단계는 검출된 미술품 이미지에서 특징을 추출하는 단계로서, 이 역시 상기 (B-3)단계와 동일한 알고리즘을 적용한다.
상기 (C-6)단계는 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계이다. 상기 이미지 특징 DB에 검출된 미술품의 이미지 특징과 일치하는 데이터가 검출되지 않으면 질의 영상물 내에는 저작권 보호 대상이 되는 미술품은 포함되지 않은 것으로 판정할 수 있다.
[도 5]는 본 발명에 적용되는 미술품 검출부를 학습시킬 때 사용된 데이터의 예를 도시한 것이다. 미술품에 해당하는 영역은 빨간색 박스로 표시하였다.
[도 6]은 본 발명 시스템에 질의 영상물을 입력했을 때 출력되는 결과를 예시한 것으로서, 상기 미술품 검출부 YOLOv2 알고리즘을 적용하고, 미술품 수집 분석부에 ASIFT 알고리즘을 적용하여 미술품의 지역 불변 이미지 특징을 도출하여 적용한 실시예이다. 그림에서 장방형 박스(분홍색, 녹색)로 표시된 영역은 학습된 YOLOv2 미술품 검출부로 찾아낸 미술품이 포함된 영역을 보여주는데, 녹색 박스는 인식된 미술품을 표시하고, 분홍색 박스는 그 영역안의 미술품이 데이터베이스에 등록되지 않았다는 것을 표시한 것이다.
이상에서 본 발명에 관하여 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 실시 예에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 수정 또는 변형될 수 있다. 따라서 본 발명의 청구범위는 이와 같은 수정 또는 변형을 포함한다.
해당없음
Claims (4)
- 삭제
- 영상물 수집 분석부; 인공지능 기반의 미술품 검출부; 미술품 수집 분석부; 및 질의(Query) 영상물 판독부; 를 포함하여 구성된 영상물 내 미술품 인식 시스템에 의해 구현되며,
사전 준비 단계와 인식 단계를 포함하는 방법으로서, 상기 사전 준비 단계는 영상물 수집 분석 단계와 미술품 수집 분석 단계로 구분되고,
상기 영상물 수집 분석 단계는,
(A-1) 상기 영상물 수집 분석부가 프레임의 일부 또는 전부에 미술품이 포함된 영상물을 수집하는 단계;
(A-2) 상기 영상물 수집 분석부가 수집된 영상물에서 미술품을 찾아 위치를 표기하고, 상기 위치를 포함한 주석(Annotation)을 저장하는 단계; 및
(A-3) 상기 미술품 검출부가 수집된 영상물과 함께 상기 영상물에 포함된 미술품의 위치 및 주석을 인공지능의 딥러닝 알고리즘을 통해 심층 학습하는 단계; 를 포함하고,
상기 미술품 수집 분석 단계는,
(B-1) 상기 미술품 수집 분석부가 저작권이 유효한 미술품 이미지 및 상기 미술품의 저작권 정보 수집하는 단계;
(B-2) 상기 미술품 수집 분석부가 수집된 미술품 이미지의 크기를 정규화시키는 단계; 및
(B-3) 상기 미술품 수집 분석부가 수집된 미술품 이미지에서 특징을 추출하여 상기 저작권 정보와 함께 저장하는 단계; 를 포함하고,
상기 인식 단계는,
(C-1) 상기 질의 영상물 판독부가 질의 영상물을 입력받는 단계;
(C-2) 상기 미술품 검출부가 상기 (A-3)단계의 심층 학습 결과를 기반으로 상기 질의 영상물 내 미술품을 검출하는 단계;
(C-3) 상기 질의 영상물 판독부가 검출된 미술품의 이미지를 분리하는 단계;
(C-4) 상기 질의 영상물 판독부가 검출된 미술품 이미지의 크기를 정규화하는 단계;
(C-5) 상기 질의 영상물 판독부가 검출된 미술품 이미지에서 특징을 추출하는 단계; 및
(C-6) 상기 질의 영상물 판독부가 검출된 미술품의 이미지 특징을 수집된 미술품의 이미지 특징과 비교하여 인식결과를 도출하는 단계; 를 포함하는 영상물 내 미술품 인식 방법.
- 삭제
- 제2항에서,
상기 (C-2)단계는, 미술품이 검출되지 않으면 질의 영상물 내 미술품이 포함되지 않은 것으로 판정하고, (C-3)단계 내지 (C-6)단계의 실행 없이 종료하는 것을 특징으로 하는 영상물 내 미술품 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009129A KR102027878B1 (ko) | 2018-01-25 | 2018-01-25 | 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009129A KR102027878B1 (ko) | 2018-01-25 | 2018-01-25 | 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190095606A KR20190095606A (ko) | 2019-08-16 |
| KR102027878B1 true KR102027878B1 (ko) | 2019-10-02 |
Family
ID=67806750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180009129A KR102027878B1 (ko) | 2018-01-25 | 2018-01-25 | 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102027878B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102261221B1 (ko) | 2020-04-07 | 2021-06-07 | (주)제타미디어 | 영상정보 획득 시스템 및 영상정보 표시 방법 |
| KR102593237B1 (ko) * | 2023-04-21 | 2023-10-24 | 주식회사 성흥티에스 | 인공지능 기반의 저작권 연동 영상 서비스 제공 시스템 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240037904A1 (en) * | 2020-06-29 | 2024-02-01 | Jung Kyu Park | Method and system for providing information about artist to user by using murals |
| KR102219232B1 (ko) * | 2020-06-29 | 2021-02-23 | 주식회사 로보프린트 | 벽화를 이용하여 사용자에게 작가의 정보를 제공하는 방법 및 시스템 |
| CN111832494B (zh) * | 2020-07-17 | 2024-03-05 | 中国联合网络通信集团有限公司 | 信息存储方法及设备 |
| KR102323880B1 (ko) * | 2021-04-27 | 2021-11-09 | 다온플레이스 주식회사 | 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101778724B1 (ko) * | 2016-12-05 | 2017-09-14 | 동국대학교 산학협력단 | 도로 표지 인식 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100706933B1 (ko) * | 2005-05-16 | 2007-04-11 | 에스케이 텔레콤주식회사 | 이미지 패턴 인식을 이용한 컨텐츠 제공 방법 및 이를이용하는 서비스 시스템 |
| AT502551B1 (de) | 2005-06-15 | 2010-11-15 | Arc Seibersdorf Res Gmbh | Verfahren und bildauswertungseinheit zur szenenanalyse |
| KR20150078578A (ko) | 2013-12-31 | 2015-07-08 | 홍익대학교 산학협력단 | 촬영 영상의 배경이미지와 피사체이미지를 분리하기 위한 시스템 및 방법 |
-
2018
- 2018-01-25 KR KR1020180009129A patent/KR102027878B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101778724B1 (ko) * | 2016-12-05 | 2017-09-14 | 동국대학교 산학협력단 | 도로 표지 인식 장치 및 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102261221B1 (ko) | 2020-04-07 | 2021-06-07 | (주)제타미디어 | 영상정보 획득 시스템 및 영상정보 표시 방법 |
| KR20210124906A (ko) | 2020-04-07 | 2021-10-15 | (주)제타미디어 | 영상정보 획득 시스템 및 그 방법 |
| KR102593237B1 (ko) * | 2023-04-21 | 2023-10-24 | 주식회사 성흥티에스 | 인공지능 기반의 저작권 연동 영상 서비스 제공 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190095606A (ko) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102027878B1 (ko) | 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법 | |
| Wu et al. | Deep matching and validation network: An end-to-end solution to constrained image splicing localization and detection | |
| US8520909B2 (en) | Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata | |
| RU2668717C1 (ru) | Генерация разметки изображений документов для обучающей выборки | |
| Zhang et al. | Detecting and extracting the photo composites using planar homography and graph cut | |
| Zhou et al. | Evaluating local features for day-night matching | |
| Kaur et al. | Copy-move forgery detection using DCT and SIFT | |
| Yusufu et al. | A video text detection and tracking system | |
| Emam et al. | A robust detection algorithm for image Copy-Move forgery in smooth regions | |
| Bai et al. | A fast stroke-based method for text detection in video | |
| Brogan et al. | Spotting the difference: Context retrieval and analysis for improved forgery detection and localization | |
| Mirza et al. | Urdu caption text detection using textural features | |
| Thilagavathy et al. | Fuzzy based edge enhanced text detection algorithm using MSER | |
| Malviya et al. | Copy move forgery detection using low complexity feature extraction | |
| Tatkare et al. | Fusion of SIFT and hue moments features for cloning tamper detection | |
| Zhong et al. | Fast and robust text detection in MOOCs videos | |
| Pan et al. | TV logo classification based on convolutional neural network | |
| Yang et al. | Text detection in video images using adaptive edge detection and stroke width verification | |
| Sachdev | A Novel Technique for Detection of Copy Move Forgery Using MSER Features | |
| Geetha et al. | Image text extraction and recognition using hybrid approach of region based and connected component methods | |
| EP3113076A1 (en) | Method and apparatus for deriving an image similarity measure based on repetitive feature points | |
| Sudir et al. | An effective edge and texture based approach towards curved videotext detection and extraction | |
| Hannane et al. | An automatic video surveillance indexing based on facial feature descriptors | |
| Jongweon et al. | Video identification based on common features in a scene segmented by CNN | |
| Malik et al. | Detecting Gurmukhi and Hindi Text Object Present In Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |