KR20190098775A

KR20190098775A - 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법

Info

Publication number: KR20190098775A
Application number: KR1020180004164A
Authority: KR
Inventors: 한성준; 김종원
Original assignee: 상명대학교산학협력단
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2019-08-23
Also published as: KR102103521B1

Abstract

본 발명은 인공지능의 심층학습(Deep Learning)으로 다양한 이미지를 사전 학습하고, 상기 사전 학습 결과를 반영하여 유통되는 영상물에 대해 프레임 단위로 이미지를 분석하고, 경우에 따라 영상물의 음성정보도 함께 분석하여 시간순으로 키워드를 도출해 낸 후 사전에 축적되어 있던 영상물 대본의 시계열적 키워드와 비교하는 방식의 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법에 관한 것이다.
본 발명은 「인공지능에 의해 구현되는 시스템으로서, 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 데이터셋 학습부; 영상물 대본에서 키워드를 추출하여 시계열적으로 나열, 저장하는 DB부; 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 영상물 분석부; 및 상기 DB부와 영상물 분석부의 키워드를 비교하여 유사성을 판단하는 비교판단부; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 시스템」을 제공한다.

Description

인공지능 심층학습 기반의 영상물 인식 시스템 및 방법{Artificial intelligence deep-learning based video object recognition system and method}

본 발명은 인공지능의 심층학습(Deep Learning)으로 다양한 이미지를 사전 학습하고, 상기 사전 학습 결과를 반영하여 유통되는 영상물에 대해 프레임 단위로 이미지를 분석하고, 경우에 따라 영상물의 음성정보도 함께 분석하여 시간순으로 키워드를 도출해 낸 후 사전에 축적되어 있던 영상물 대본의 시계열적 키워드와 비교하는 방식의 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법에 관한 것이다.

최근에 인공지능이 발전하면서 컴퓨터 비전분야의 이미지 인식, 동영상 인식, 음성인식 등의 분야에서 심층학습(Deep Learning) 방법이 다양하게 활용되고 있다. 기존에는 CNN(Convolution Neural Network)을 사용해 좋은 성능을 보였다면 현재는 CNN 외에도 RNN(Recurrent Neural Network), LSTM-RNN(Long Short-Term Memory - Recurrent Neural Network) 등의 심층학습 알고리즘이 활용되고 있다.

영상 콘텐츠를 찾는 소비자들이 많아지고, 이에 따라 영상 콘텐츠에 대한 투자 규모도 점차 증가하고 있으며, 영상 콘텐츠의 불법 유통(배포)에 따른 금전적 손실 규모도 커지고 있다. 따라서, 불법으로 유통되는 동영상을 효과적으로 인식하는 방법이 필요하며, 본 발명에서는 이를 위한 인공지능의 심층학습 방법을 도출하고자 한다.

1. 등록특허 10-1746074 "디지털 동영상 위변조 분석시스템 및 그 방법" 2. 등록특허 10-1485128 "불법 저작물의 증거 채증시스템 및 방법" 3. 공개특허 10-2008-0036016 "영상 분석을 위한 방법 및 이미지 평가 유닛" 4. 공개특허 10-2014-7011324 "다중분석을 위한 시스템과 방법"

1. 유지광, 이규철, "Deep Learning 기반 영상 인식 기술 동향", 정보와 통신, 2017.7. p17~24.

영상물의 불법 유통 상황을 효과적으로 모니터링하는 것은 매우 어렵다. 특히 스트리밍 영상이나 일부 장면만이 편집된 영상물의 경우 해당 영상물이 무엇인지는 컴퓨터 프로그램으로 자동 파악하기 어려웠다.

또한, 장시간 지속되는 영상물의 특징을 학습하여 관리하는 개념은 과도한 데이터 용량이 소요되고, 유통되는 영상물과 관리 대상 영상물의 동일성 판단이 신속하게 이루어지기 어려울 것이 예상된다.

본 발명은 효율적이고 신속하고 정확한 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법을 제공함에 그 목적이 있다.

전술한 과제 해결을 위해 본 발명은 「인공지능에 의해 구현되는 시스템으로서, 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 데이터셋 학습부; 영상물 대본에서 키워드를 추출하여 시계열적으로 나열, 저장하는 DB부; 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 영상물 분석부; 및 상기 DB부와 영상물 분석부의 키워드를 비교하여 유사성을 판단하는 비교판단부; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 시스템」을 제공한다.

상기 영상물 분석부는 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 인식된 오브젝트를 키워드로 분석하도록 구성할 수 있고, 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하도록 구성할 수 있다.

또한, 본 발명은 「인공지능에 의해 구현되는 방법으로서, (a) 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 단계; (b) 영상물 대본에서 키워드를 추출하여 시계열적으로 나열하여 저장한 DB를 생성하는 단계; (c) 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 단계; 및 (d) 상기 DB의 키워드와 영상물 분석으로 추출된 키워드를 비교하여 유사성을 판단하는 단계; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 방법」을 함께 제공한다.

상기 (c)단계는 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 오브젝트 간의 관계를 분석하여 키워드를 추출하도록 할 수 있다.

상기 (c)단계에는 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하는 과정을 더 포함시킬 수 있다.

본 발명에 따르면 다음과 같은 효과가 기대된다.

첫째, 데이터셋의 사전 심층학습 이후에는 별도의 학습이 필요 없이 모든 영상물에 적용 가능하다.

둘째, 영상물 분석을 위한 프레임 단위 이미지의 사전 처리가 불필요하므로 이미지 사전 처리 및 특징점 도출에 의한 영상물 분석 방법에 비해 신속한 판단이 이루어진다.

셋째, 관리 대상 영상물은 대본에서 추출된 키워드를 시계열적으로 나열, 저장한 DB부에 저장되므로 문자 정보의 용량이 적고, 유통되는 영상물과의 대비 속도도 향상된다.

넷째, 스트리밍 영상물이나 일부 추출된 영상물에 대해서도 본 발명 시스템 및 방법을 적용하여 관리 대상 영상물과의 유사성 판단이 가능하므로 영상물 저작권 보호에 효과적이다.

[도 1]은 본 발명 시스템의 전체 구조에 관한 모식도이다.
[도 2]는 영상물 분석부에서 심층학습 알고리즘을 적용한 이미지 분석 과정을 도시한 것이다.
[도 3]은 본 발명 시스템 내에서 인공지능 심층학습 기반의 영상물 인식 방법의 각 단계 진행을 나타낸 모식도이다.

본 발명은 인공지능 심층학습(Deep-Learning) 기반의 영상물 인식 시스템 및 방법에 관한 것이다. 이하에서는 첨부한 도면과 함께 본 발명을 상세히 설명하기로 한다.

본 발명 시스템은 [도 1]에 도시된 바와 같이 데이터셋 학습부, DB부, 영상물 분석부 및 비교판단부를 포함하여 구성된다.

상기 데이터셋 학습부는 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)한다.

상기 데이터셋 학습부는 외부에서 제공되는 데이터셋(일반적인 사람, 사물, 동물 등에 관한 다양한 오브젝트 이미지 군(群))에 기초하고, 신경망을 이용하여 각 오브젝트 이미지와 매칭되는 키워드를 심층학습하게 된다. 즉, 인공지능에 의해 각종 이미지를 언어로 인지하는 사전 학습이 이루어지는 것이며, 효율적인 사전 학습을 위해 공지된 여러 딥러닝 알고리즘을 택일하여 적용하거나 병용할 수 있다.

상기 DB부는 영화, 드라마 등의 영상물 대본에서 키워드를 추출하여 시계열적으로 나열, 저장한다. 관리하고자 하는 영상물의 대본에서 키워드를 추출하여 DB를 축적할 수 있으며, 이 과정도 인공지능에 의해 수행할 수 있다. 상기 DB에서는 관리 대상 영상물에 식별정보(일련번호 등)를 부가하여 식별정보별로 추출된 키워드를 시계열적으로 저장할 수 있다.

상기 영상물 분석부는 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 구성요소이다. 상기 영상물 분석부에서는 인공지능이 상기 데이터셋 학습부에서의 사전 학습 결과를 이용하여 영상물의 프레임 단위 이미지별로 각 오브젝트 이미지와 매칭되는 키워드를 도출해 낼 수 있다.

영상물은 연속되는 이미지들로 구성되어 있고, 또한 씬 단위인 일정 구간마다 연속되는 내용이 달라져 정지된 이미지를 키워드로 인식하는 것 보다 난이도가 높다.

본 발명에서는 영상물의 연속되는 프레임 단위 이미지에 대해 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 인식된 오브젝트를 키워드로 분석하도록 구성할 수 있다. [도 2]와 함께 부연설명하면, CNN 알고리즘으로 이미지 상의 오브젝트를 구분하여 인식하고, RNN 알고리즘을 거쳐 구분된 오브젝트에서 Man, Wine, Cup, Stewardess 등의 키워드를 도출함은 물론, 오브젝트 간의 관계에 관해서도 Hand over, In front of 등으로 분석해 낼 수 있다.

또한, 상기 영상물 분석부에서는 이미지 분석 이외에도 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하도록 구성함으로써 이미지 분석 결과를 보완하거나, 이미지에서는 도출되지 않는 대화 내용에 관한 키워드를 추출해 낼 수 있다. 상기 음성정보 분석 과정에서는 RNN(Recurrent Neural Network) 알고리즘을 적용할 수 있다.

상기 비교판단부는 상기 DB부와 영상물 분석부의 키워드를 비교하여 유사성을 판단하는 구성요소이다. 즉, 상기 영상물 분석부에서 이미지 및 음성 분석을 통해 도출해 낸 키워드 정보와 DB부에 저장되어 있는 영상물 대본에서 추출된 키워드 정보를 시간순으로 비교하여 양자간의 유사성을 판단함으로써, 일치하는 키워드가 특정 비율 이상이면 분석된 영상물이 대본 상의 저작물에 해당하는 것으로 인식할 수 있다. 영상물과 대본이 일치하는 것으로 판단되는 경우에는 영상물의 유통 경로 등을 파악하여 저작권 침해 여부를 판정할 수 있다. 또한 종래 방식으로는 파악하기 어려웠던 스트리밍 영상이나 영상의 일부만이 편집된 경우에도 본 발명에 따라, 그것이 관리 대상 영상물인지의 판단이 가능하게 된다.

또한, 본 발명은 인공지능에 의해 구현되는 방법으로서, (a) 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 단계; (b) 영상물 대본에서 키워드를 추출하여 시계열적으로 나열하여 저장한 DB를 생성하는 단계; (c) 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 단계; 및 (d) 상기 DB의 키워드와 영상물 분석으로 추출된 키워드를 비교하여 유사성을 판단하는 단계; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 방법을 함께 제공한다.

상기 (c)단계는 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 오브젝트 간의 관계를 분석하여 키워드를 추출하도록 구성할 수 있으며, 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하는 과정을 더 포함하여 구성할 수 있다.

[도 3]은 본 발명 시스템 내에서 인공지능 심층학습 기반의 영상물 인식 방법의 각 단계 진행을 나타낸 모식도이다.

[도 3]에 따라 부연 설명하면, 상기 (A)단계는 사전학습 단계로서, 인공지능이 사람, 사물 등에 관해 다양하게 구성된 이미지의 데이터셋을 제공받아 이미지별 오브젝트 키워드를 심층학습하는 단계이다.

상기 (B)단계는 관리 대상 영상물에 대한 DB 구성 단계로서, 관리 대상 영상물의 대본에서 키워드를 추출하고, 추출된 키워드를 시계열적으로 나열하여 저장하는 단계이다.

상기 (C)단계는 유통되는 영상물을 분석하는 단계로서, 해당 영상물에서 프레임 단위 이미지에서 오브젝트별 키워드를 추출하여 시계열적으로 배치하는 단계이다. 이러한 (C)단계에서는 상기 (A)단계의 사전학습 결과를 적용하여 이미지 오브젝트로부터 키워드를 추출해내고, 이 과정에서 전술한 CNN 알고리즘 및 RNN 알고리즘을 병용할 수 있다. 또한, 상기 (C)단계에서는 음성분석을 통해 상기 이미지 분석 결과를 보완하거나 보충할 수 있다.

이상에서 본 발명에 관하여 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 실시 예에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 수정 또는 변형될 수 있다. 따라서 본 발명의 청구범위는 이와 같은 수정 또는 변형을 포함한다.

해당없음

Claims

인공지능에 의해 구현되는 시스템으로서,
다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 데이터셋 학습부;
영상물 대본에서 키워드를 추출하여 시계열적으로 나열, 저장하는 DB부;
영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 영상물 분석부;
상기 DB부와 영상물 분석부의 키워드를 비교하여 유사성을 판단하는 비교판단부; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 시스템.
제1항에서,
상기 영상물 분석부는 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 인식된 오브젝트를 키워드로 분석하도록 구성된 것을 특징으로 하는 인공지능 심층학습 기반의 영상물 인식 시스템.
제1항에서,
상기 영상물 분석부는 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하도록 구성된 것을 특징으로 하는 인공지능 심층학습 기반의 영상물 인식 시스템.
인공지능에 의해 구현되는 방법으로서,
(a) 다수의 오브젝트 이미지를 키워드로 심층학습(Deep-Learning)하는 단계;
(b) 영상물 대본에서 키워드를 추출하여 시계열적으로 나열하여 저장한 DB를 생성하는 단계;
(c) 영상물을 프레임 단위 이미지 분석을 통해, 이미지 상의 오브젝트들과 오브젝트 간의 관계를 키워드로 추출하여 시계열적으로 나열하는 단계;
(d) 상기 DB의 키워드와 영상물 분석으로 추출된 키워드를 비교하여 유사성을 판단하는 단계; 를 포함하는 인공지능 심층학습 기반의 영상물 인식 방법.
제4항에서,
상기 (c)단계는 CNN(Convolution Neural Network) 알고리즘으로 상기 이미지 상의 오브젝트를 인식하고, RNN(Recurrent Neural Network) 알고리즘으로 오브젝트 간의 관계를 분석하여 키워드를 추출하는 것을 특징으로 하는 인공지능 심층학습 기반의 영상물 인식 방법.
제4항에서,
상기 (c)단계는 영상물의 음성정보로부터 키워드를 추출하여 상기 프레임 단위 이미지 분석을 통해 추출된 키워드와 시계열적으로 매칭시키며 나열하는 과정을 더 포함하는 것을 특징으로 하는 인공지능 심층학습 기반의 영상물 인식 방법.