KR20220056287A - 온톨로지 기반의 시멘틱 이미지 메타 추출 및 ai 학습용 데이터 구성 시스템 - Google Patents

Abstract

본 발명은 영상 콘텐츠에서 프레임 또는 장면 별로 구분하여 패턴 기반의 딥러닝을 수행하고 유사 프레임 또는 장면을 도출하고, 도출된 이미지에서 객체를 추출하여 온톨로지 지식 베이스로 구축하여, 온톨로지 추론 검색을 제공하는, 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 관한 것으로서, 영상 콘텐츠를 수집하는 콘텐츠 수집부; 수집된 영상 콘텐츠를 프레임 또는 장면 별로 구분하고, 유사 프레임 또는 유사 장면을 도출하는 유사이미지 도출부; 프레임 또는 장면에서 객체를 추출하는 객체 추출부; 추출된 객체에 라벨링을 부여하는 객체 라벨링부; 객체 및 라벨링을 온톨로지 지식 베이스로 구축하는 온톨로지 구축부; 및, 질의 객체를 입력받고, 입력된 질의 객체에 대한 유사 객체 또는 관련 객체를 검색하여 그 결과를 제공하는 객체 검색부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 동영상에서 유사 이미지 내에서의 객체를 추출하여 온톨로지로 구축함으로써, 동영상 콘텐츠 내의 객체와 관련된 유사 내용이나 관련된 객체들을 보다 정확하고 용이하게 검색할 수 있다.

Description

온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템 { A semantic image meta extraction and AI learning data composition system using ontology }

본 발명은 영상 콘텐츠에서 프레임 또는 장면 별로 구분하여 패턴 기반의 딥러닝을 수행하고 유사 프레임 또는 장면을 도출하고, 도출된 이미지에서 객체를 추출하여 온톨로지 지식 베이스로 구축하여, 온톨로지 추론 검색을 제공하는, 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 관한 것이다.

인터넷 기술을 활용한 검색 엔진은 학술, 기술 분야의 전문적인 문헌에 대한 접근뿐만 아니라, 일상 생활에서 필요한 소소한 정보들에 대한 접근도 용이하게 해 주었다. 예를 들어, 다른 사람이 업로드 한 여행 후기, 맛집에 대한 평가 같은 생활 밀착형 정보가 빈번하게 억세스 되고 있다. 즉, 데이터들의 폭증으로 인하여 다양한 컨텐츠들이 양산되어 나오며 이러한 컨텐츠들을 찾기 위해 사용자들은 시간과 비용을 많이 소모하고 있다. 특히, 컨텐츠들 중에 가장 시간을 소모시키는 것은 영상 컨텐츠이다.

즉, 검색 엔진을 통해 TV 프로그램, 유투브 등 동영상 컨텐츠에 대한 정보도 접근할 수 있다. 특히, 최신 트렌드에 민감한 소비자들은, TV 프로그램, 유투브 등에 등장하는 연기자, 가수 등이 착용하는 패션, 악세서리 등에 많은 관심을 가지고, 이러한 관심이 반영된 많은 정보가 검색 엔진을 통해 억세스 되고 있다.

그런데, 동영상 컨텐츠에 등장하는 특정 객체에 대한 정보를 얻고자 할 때, 검색 엔진에 입력할 쿼리를 작성해야 하는 불편함이 있다. 어떻게 쿼리를 작성해야 자신이 원하는 정보를 얻을 수 있을 지에 대하여 고민이 필요한 것이다. 특히, 영상 콘텐츠는 자신이 원하는 장면을 찾아야 하기 때문에 일반 검색보다 많은 시간을 사용하여야 한다.

따라서, 동영상 재생 중에 추가적인 정보를 알고 싶은 객체가 등장할 때, 추가적인 정보에 대한 검색을 간편하게 수행할 수 있도록 지원하는 검색 방법 및 그러한 검색 방법이 적용된 동영상 재생 장치의 제공이 요청된다.

한국 공개특허공보 제10-2016-0031226호(2016.03.22.공개) 한국 등록특허공보 제10-1178878호(2012.08.31.공고) 한국 등록특허공보 제10-1111046호(2012.03.05.공고)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 영상 콘텐츠에서 프레임 또는 장면 별로 구분하여 패턴 기반의 딥러닝을 수행하고 유사 프레임 또는 장면을 도출하고, 도출된 이미지에서 객체를 추출하여 온톨로지 지식 베이스로 구축하여, 온톨로지 추론 검색을 제공하는, 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템을 제공하는 것이다.

본 발명은 영상 컨텐츠들을 초 단위(Frame) 혹은 장면(Scene) 별로 나누어 이를 패턴기반의 딥러닝을 수행하여 유사 프레임(Frame) 혹은 장면(Scene)을 도출하고 도출된 이미지에서 객체를 도출하여 해당 객체에 대한 지식을 구축된 온톨로지 지식베이스를 기반으로 하여 확장을 시킨다.

이미지 내 객체 도출은 객체(Object)기반으로 라벨링을 진행하며 이는 이미지 객체 인식 기술을 사용하나 이는 오류가 있을 수 있으므로 이미지에 대한 라벨링 결과가 실제 맞는지 여부를 크라우드소싱(CrowdSourcing)을 활용하여 모니터링을 진행하고 모니터링에서 도출된 이슈를 다시 이미지 객체 인식 기술의 정정 패턴으로 유입시켜 오류률을 최소화 한다.

라벨링된 객체들은 온톨로지 기반의 검색을 하여 사용자들이 일반 검색어를 넣으면 해당 검색어에 대한 유의어, 연관어 검색이 되며 사용자가 자연어 검색을 하였을 때에는 이를 형태소 분석하여 도출된 결과값을 기반으로 온톨로지 추론을 하여 결과값을 도출한다.

상기 목적을 달성하기 위해 본 발명은 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 관한 것으로서, 영상 콘텐츠를 수집하는 콘텐츠 수집부; 수집된 영상 콘텐츠를 프레임 또는 장면 별로 구분하고, 유사 프레임 또는 유사 장면을 도출하는 유사이미지 도출부; 프레임 또는 장면에서 객체를 추출하는 객체 추출부; 추출된 객체에 라벨링을 부여하는 객체 라벨링부; 객체 및 라벨링을 온톨로지 지식 베이스로 구축하는 온톨로지 구축부; 및, 질의 객체를 입력받고, 입력된 질의 객체에 대한 유사 객체 또는 관련 객체를 검색하여 그 결과를 제공하는 객체 검색부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 있어서, 상기 유사이미지 도출부는 인공지능 기반 패턴별 유사도 학습을 진행하여 유사 프레임을 도출하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 의하면, 동영상에서 유사 이미지 내에서의 객체를 추출하여 온톨로지로 구축함으로써, 동영상 콘텐츠 내의 객체와 관련된 유사 내용이나 관련된 객체들을 보다 정확하고 용이하게 검색할 수 있는 효과가 얻어진다.

도 1은 온톨로지 기반의 이미지 객체 메타 검색 서비스 구성을 위한 내부 흐름도.
도 2는 Mac Pro 13인치'개체를 중심으로 추론 가능한 구축된 지식베이스 예시도.
도 3은 대용량 음성 데이터셋 자동 생성 방법 중 첫 번째 방법을 나타낸 도면.
도 4는 대용량 음성 데이터셋 자동 생성 방법 중 두 번째 방법을 나타낸 도면.
도 5는 멀티모달 딥러닝 방법을 나타낸 도면.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 전체 프로세스를 설명한다.

○ 본 발명은 영상 컨텐츠들을 초 단위(Frame) 혹은 장면(Scene) 별로 나누어 이를 패턴기반의 딥러닝을 수행하여 유사 Frame 혹은 Scene을 도출하고 도출된 이미지에서 객체를 도출하여 해당 객체에 대한 지식을 구축된 온톨로지 지식베이스를 기반으로 하여 확장을 시킴

○ 이미지 내 객체 도출은 객체(Object)기반으로 라벨링을 진행하며 이는 이미지 객체 인식 기술을 사용하나 이는 오류가 있을 수 있으므로 이미지에 대한 라벨링 결과가 실제 맞는지 여부를 크라우드소싱(CrowdSourcing)을 활용하여 모니터링을 진행하고 모니터링에서 도출된 이슈를 다시 이미지 객체 인식 기술의 정정 패턴으로 유입시켜 오류률을 최소화함

○ 라벨링된 객체들은 온톨로지 기반의 검색을 하여 사용자들이 일반 검색어를 넣으면 해당 검색어에 대한 유의어, 연관어 검색이 되며 사용자가 자연어 검색을 하였을 때에는 이를 형태소 분석하여 도출된 결과값을 기반으로 온톨로지 추론을 하여 결과값을 도출함

다음으로, 본 발명의 구성에 대하여 보다 구체적으로 설명한다.

○ 도 1은 온톨로지 기반의 이미지 메타 검색 시스템 서비스 구성을 위한 내부 Flow를 도식화 한 결과임

○ 첫 번째는 영상 컨텐츠에 대한 정보를 수집하며 이를 초단위 혹은 장면단위로 나누게 됨

○ 두 번째는 나눠진 객체들을 기반으로 장면 패턴별 유사도 학습을 진행하여 유사 프레임에 대한 장면을 도출함

○ 세 번째는 학습을 통해 도출된 유사 프레임에 대한 신뢰성 향상을 위해 모니터링을 진행함(이 때 모니터링에서 도출된 이슈사항에 대해선 새로운 데이터가 들어와 새로 학습을 진행할 때 고려 요소로 반영됨)

○ 네 번째는 나눠진 객체들은 이미지이므로 해당 이미지 내에 있는 Thing들을 도출함(이 때 모니터링에서는 이미지 라벨링에 대한 정합성을 판별하며 이슈사항이 있으면 해당 이슈에 대해선 이미지 내 객체 도출 알고리즘을 수정할 수 있음)

○ 라벨링된 자연어들을 기반으로 메타 온톨로지 지식베이스를 구축하여 사용자가 키워드 검색 시 해당 키워드에 대한 유의어, 연관어를 확장하여 해당 검색결과를 사용자에게 제공함

○ 사용자가 자연어 질의 검색 시 자연어는 형태소 분석을 한 후 분석된 형태소를 기반으로 자연어 질의를 온톨로지 지식베이스에서 추론을 통하여 결과 값을 반환하여 줌

○ 도 2는 데이터를 기반으로 만들어진 온톨로지 지식베이스의 예시이며 컨텐츠 내에 'Mac Pro 13인치'가 나왔다고 가정하고 이를 기반으로 지식베이스가 구축된 예시이며 이를 기반으로 서비스가 진행됨

○ 해당 콘텐츠들을 수집하여 패턴기반의 딥러닝을 하기 위해 데이터 수집은 다음과 같은 방법으로 데이터 수집을 진행함

○ 기계학습을 진행하거나 어떠한 알고리즘을 통해 결과를 도출하기 위해선 데이터셋이 필요함

○ 음성 데이터셋의 경우 정밀하게 녹음된 성우나 아나운서 소리의 데이터셋은 구할 수 있으나 해당 데이터셋을 가지고 음성처리를 한다면 시장에서 일반 사람들의 다양한 음성 데이터(사투리, 어눌한 소리 등)를 기반으로 처리하기에 어려움이 존재함

○ 본 방법은 이러한 어려움을 해결하기 위해 두 가지 음성 데이터셋 자동 생성 기법을 제안함

○ 첫 번째 방법은 도 3과 같으며 Youtube 영상 컨텐츠에서 자동 완성되는 스크립트를 사용하여 영상데이터와 해당 스크립트 간 매칭을 진행함

○ 음성데이터를 잘못된 스크립트로 변환된 것들은 모니티링하여 해당 모니터링에서 나온 이슈사항들을 영상 음성 자연어 매칭 엔진에서 이슈반영을 하여 새로운 데이터들 중 유사한 케이스에 대해선 대응이 됨

○ 도 4는 다양한 플랫폼의 영상컨텐츠들 중 자막이 있는 컨텐츠들을 기반으로 자막을 Auto Detection하여 해당 자막을 OCR기술을 통해 자막을 자연어 데이터로 변환시킴

○ OCR기술로 변환시킨 자연어 데이터들에서 오류에 대한 것은 모니터링을 통해 이슈 제기를 하여 해당 부분에 대하여 패턴화하고 이를 반영하여 향후 새로운 데이터 처리 시 이를 반영하여 요류률을 줄임

○ 이를 기반으로 영상 음성과 자연어 매칭이 되어 대용량의 음성 데이터셋을 구성할 수 있음

○ 수집된 데이터들을 기반으로 유사한 음성과 문맥일 경우에도 음성인식 결과 자연어의 결과물이 다른 것들에 대해선 도 5와 같이 자동 정정 프로세스를 진행함

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 사용자 단말 11 : 클라이언트
30 : 검색 서버
40 : 데이터베이스
80 : 네트워크

Claims (2)

1. 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템에 있어서,
   영상 콘텐츠를 수집하는 콘텐츠 수집부;
   수집된 영상 콘텐츠를 프레임 또는 장면 별로 구분하고, 유사 프레임 또는 유사 장면을 도출하는 유사이미지 도출부;
   프레임 또는 장면에서 객체를 추출하는 객체 추출부;
   추출된 객체에 라벨링을 부여하는 객체 라벨링부;
   객체 및 라벨링을 온톨로지 지식 베이스로 구축하는 온톨로지 구축부; 및,
   질의 객체를 입력받고, 입력된 질의 객체에 대한 유사 객체 또는 관련 객체를 검색하여 그 결과를 제공하는 객체 검색부를 포함하는 것을 특징으로 하는 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템.
   
2. 제1항에 있어서,
   상기 유사이미지 도출부는 인공지능 기반 패턴별 유사도 학습을 진행하여 유사 프레임을 도출하는 것을 특징으로 하는 온톨로지 기반의 시멘틱 이미지 메타 추출 및 AI 학습용 데이터 구성 시스템.
   

Images