KR20210006662A - 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 - Google Patents
지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210006662A KR20210006662A KR1020190082549A KR20190082549A KR20210006662A KR 20210006662 A KR20210006662 A KR 20210006662A KR 1020190082549 A KR1020190082549 A KR 1020190082549A KR 20190082549 A KR20190082549 A KR 20190082549A KR 20210006662 A KR20210006662 A KR 20210006662A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- animation
- search
- unit
- information
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 34
- 102000006479 Heterogeneous-Nuclear Ribonucleoproteins Human genes 0.000 title 1
- 108010019372 Heterogeneous-Nuclear Ribonucleoproteins Proteins 0.000 title 1
- 239000000284 extract Substances 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 241000220223 Fragaria Species 0.000 description 4
- 235000016623 Fragaria vesca Nutrition 0.000 description 4
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 4
- 241000234295 Musa Species 0.000 description 4
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241000234435 Lilium Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법에 관한 것으로서, 더 상세하게는 객체인식 및 추적 알고리즘을 기반으로 애니메이션 자원으로부터 객체를 인식하여 분류, 저장 및 검색에 의해 제공하며, 사용자의 검색 정보를 바탕으로 관련도 높은 애니메이션 자원을 추천하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법이다.
Description
본 발명은 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법에 관한 것으로서, 더 상세하게는 객체인식 및 추적 알고리즘을 기반으로 애니메이션 자원으로부터 객체를 인식하여 분류, 저장 및 검색에 의해 제공하며, 사용자의 검색 정보를 바탕으로 관련도 높은 애니메이션 자원을 추천하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법에 관한 것이다.
이른바 만화영화로 알려져있는 애니메이션은 움직이지 않는 물체를 움직이는 것처럼 보이게 만드는 촬영 기업 또는 그렇게 만들어진 영화를 뜻하며, 우리나라에서는 1950년대 중반에 최초로 애니메이션이 상영된 이후로 현재까지 급격하게 그 수요와 관련 기술이 발전하고 있다.
이와 더불어 전 세계적으로 동영상 시장 규모가 커지고, 동영상 관련한 서비스의 방문자 및 페이지뷰의 지속적인 증가에 따라 관련 사업 및 기술 개발도 지속적으로 증가하고 있으며, 따라서 스마트 디바이스의 증가 등으로 인하여 동영상 소비는 지속적으로 증가할 전망이다.
일반인에게 많이 알려진 애니메이션의 예로, 뽀로로, 피카츄, 짱구와 같은 만화영화 등은 일반적으로 제작 준비기간에 6개월, 제작비는 편당 6천만원 내지 1억원 정도의 비용이 소모되며, 유통사 판매는 편당 5백만원 내지 1천만원 등으로 비용이 책정되어 있다.
그런데, 이렇게 많은 비용과 시간을 들여서 애니메이션 영상이 만들어지지만 상기 애니메이션을 만들기 위하여 제작된 많은 애니메이션 소스, 즉 애니메이션 리소스와, 각 이미지 객체 등은 일반적으로 애니메이션 영상 제작 후 사장되고 폐기되는 경우가 많이 있었다.
따라서, 향후 후속편의 제작 또는 다른 사람이 저작권자 등과 계약 또는 허락 등을 얻어 상기 애니메이션의 캐릭터(이미지 객체) 등을 활용하여 사업을 하고자 하는 경우에 이미 작업하였던 애니메이션 소스였음에도 불구하고 새로 작업 및 생성하여야 하는 경우도 많이 발생하였으며, 그에 따른 시간, 인력 및 비용의 낭비가 상당한 문제가 있었다.
그러나, 이러한 문제를 해결하기 위한 애니메이션 유통 생태계의 상호 공생 및 수익 공유를 위하여 애니메이션 소스 등을 재활용하고 공유할 수 있는 서비스에 관한 기술은 전무한 상황이며, 따라서 애니메이션 소스로부터 향후 사용할 수 있는 이미지 객체와 같은 데이터를 추출 및 분류하고, 저장하고, 검색할 수 있고, 필요한 사용자에게 제공할 수 있는 시스템에 대한 기술 개발이 필요한 실정이다.
한편, 이미지 인식 기술은 통상 이미지에 나타난 객체가 무엇인지를 인식하는 기술을 지칭하며, 수많은 양의 이미지 데이터를 바탕으로 이미지를 인식하는 비전 분야의 머신러닝 기술을 발전을 해왔다.
특히 기존의 신경망 기술을 발전시킨 딥러닝 기술은 급격한 성능 향상을 보여주었으며, 비전과 자연어 처리 등 인공지능이 필요한 거의 모든 분야에 접목되어 지금도 활발히 연구가 진행 되고 있다.
2012년도에 토론토 대학의 제프리 힌튼 교수가 딥려닝 기술을 도입한 후에 성능은 눈에 띄게 향상되었으며, 2015년도 이후에는 이미지 분류와 같은 일부 분야의 경우 딥러닝의 성능이 인간을 넘어 섰다는 평가를 받을 정도로 관련 기술이 발달되었으며, 객체 인식 방법에서는 CNN을 기반으로 R-CNN부터 SSD까지 발전 되어 왔다.
그런데, 이러한 종래의 지능정보 기반의 이미지 인식 기술은 특별한 대상 없이 전체 이미지를 대상으로 각 객체를 인식하기 때문에 시간이 오래 걸리는 문제점 등이 있었으며, 애니메이션에 특화된 지능 정보 기반의 이미지 인식 기술에 관하여는 소개된 바가 없었다.
따라서, 전술한 애니메이션 소스로부터 향후 사용할 수 있는 이미지 객체와 같은 데이터를 추출 및 분류하기 위한 애니메이션에 최적화된 지능정보기술기반 애니메이션 콘텐츠 인식 기술에 관한 기술 개발이 필요한 실정이다.
본 발명은 본 발명은 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
전술한 본 발명의 과제는 애니메이션의 리소스 이미지, 장면 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 소스 입력부와, 상기 소스 입력부에 입력되는 애니메이션 소스에 포함된 이미지 객체를 분류하는 데이터 분류부와, 상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 메타데이터 처리부와, 상기 인식된 각각의 객체에 대한 키워드 및 카테고리를 추출하며, 상기 추출된 키워드 및 카테고리를 식별할 수 있는 라벨 정보를 생성하는 라벨링 처리부 및 상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리가 포함된 라벨 정보를 각각 저장하는 데이터 베이스부를 포함하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템을 제공함에 의해 달성될 수 있다.
여기서, 상기 데이터 분류부는 상기 애니메이션 소스가 리소스 이미지인 경우 상기 리소스 이미지에 따라 분류하는 리소스 처리부와, 상기 애니메이션 소스가 영상인 경우 상기 영상에 포함되는 영상 전체 프레임에서 대표 프레임을 선정한 뒤 선정된 대표 프레임 장면 이미지를 추출하는 클러스터링 처리부와, 상기 소스 입력부에 입력되는 장면 이미지 또는 상기 클러스터링 처리부에서 추출되는 장면 이미지를 상기 장면 이미지에 포함되는 이미지 객체로 각각 분류하는 이미지 객체 추적부를 포함할 수 있다.
또한, 상기 이미지 객체 추적부는 상기 이미지 객체를 각각 구별 인식하여 분류하기 위하여 AI 영상학습을 수행할 수 있다.
여기서, 상기 AI 영상학습은 Faster R-CNN(Faster Regions with Convolution Neural Networks) 또는 YOLO(You Only Look Once) 기법에 따른 학습 동작일 수 있다.
또한, 상기 클러스터링 처리부는 상기 영상 전체 프레임에 대하여 각 객체 영역만을 추출한 뒤, 상기 각 객체 영역간의 유사도가 기 설정된 기준유사도 이상인 프레임들을 유사프레임군으로 분류하며, 상기 유사프레임군 내에 포함된 복수 개의 프레임 중에서 가장 많은 객체 영역을 가진 프레임을 대표 프레임으로 선정할 수 있다.
또한, 상기 데이터 베이스부는 향후 검색시 동일 카테고리에 속하는 키워드를 동시에 추출 또는 검색할 수 있도록 상기 라벨 정보 저장시 카테고리별로 분류하여 저장할 수 있다.
또한, 사용자가 입력하는 키워드, 이미지 및 영상 중 적어도 하나를 포함하는 검색 정보를 수신하고 상기 검색 정보에 대응되는 애니메니션 소스를 제공할 수 있도록 상기 데이터 베이스부에 저장되는 상기 애니메니션 소스, 상기 이미지 객체, 상기 메타데이터 및 상기 라벨 정보를 검색할 수 있는 검색부를 더 포함할 수 있다.
또한, 상기 검색부에 입력되는 검색 정보를 기반으로 상기 데이터 베이스부에 애니메니션 소스, 이미지 객체, 메타데이터 및 라벨 정보를 검색하여 상기 검색부에 전송할 수 있다.
또한, 상기 검색추천 처리부는 상기 검색부에 입력되는 검색 정보를 기반으로 상기 검색 정보와 관련도가 높은 순으로 상기 애니메니션 소스, 이미지 객체를 추출 또는 추천하거나, 또는 입력되는 검색 정보와 동일 카테고리에 속하는 라벨 정보를 가진 애니메니션 소스, 이미지 객체를 추출 또는 추천하는 검색추천 처리부를 더 포함할 수 있다.
또한, 상기 검색추천 처리부는, 상기 검색부에 접속하는 사용자 정보와, 상기 사용자가 상기 검색부를 통해 검색하는 검색 정보와 상기 검색 정보에 따른 키워드를 수집 및 저장하며, 상기 사용자의 특정 검색 정보 및 키워드 입력 횟수가 기 설정된 기준치 이상인 경우 상기 검색 정보 및 키워드에 기반하여 상기 사용자의 검색 취향 정보를 산출하여 상기 데이터 베이스부에 상기 취향 정보에 대응하는 애니메니션 소스가 입력되는 경우 해당 애니메이션 소스를 상기 사용자에게 추천할 수 있다.
전술한 본 발명의 과제는 애니메이션의 리소스, 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 단계와, 상기 입력된 소스에 포함된 이미지 객체를 각각 인식하여 분류하는 단계와, 상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 단계와, 상기 인식된 각가의 객체에 대한 키워드 및 카테고리를 추출하는 단계와, 상기 추출된 키워드 및 카테고리를 고유하게 식별할 수 있도록 라벨 정보를 생성하는 단계와, 상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리와 상기 라벨 정보가 각각 저장되는 단계를 포함하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 방법을 제공함에 의해서도 달성될 수 있다.
여기서, 검색하고자 하는 키워드, 이미지 또는 영상이 입력되는 단계 및 상기 키워드, 이미지 또는 영상을 기반으로 상기 키워드, 이미지 또는 영상과의 관련도 순으로 상기 저장된 애니메이션 소스 및 이미지 객체를 검색하여 제공하는 단계를 더 포함할 수 있다.
본 발명에 따른 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법에 의하면, 애니메이션 소스 등을 재활용하고 공유할 수 있어 시간, 인력 및 비용의 낭비가 방지되고, 애니메이션 유통 생태계의 상호 공생 및 수익 공유가 달성될 수 있다.
또한, 애니메이션 소스에서 영상학습을 통하여 객체를 인식하고 분류함으로써 용이하고 효율적으로 각 객체를 구분할 수 있다.
또한, 각 객체에 대한 키워드 및 카테고리를 분류하고, 카테고리별로 저장 및 관리함으로써 데이터 관리가 용이하고, 사용자가 검색시 동일 카테고리에 속하는 키워드 및 이미지 객체를 제공함으로써 용이한 검색 및 추천 기능을 제공할 수 있다.
또한, 클러스터링 처리부에서 영상 전체 프레임에 대하여 각 객체 영역만을 추출하여 객체 영역간의 유사도만을 판단하여 유사프레임군으로 분류하기 때문에 애니메이션 콘텐츠에 최적화된 빠른 영상 인식이 가능하다.
또한, 사용자의 검색 정보 등을 수집 및 평가하여 해당 사용자에게 필요한 애니메이션 소스를 추천함으로써 효과적인 추천 기능을 제공할 수 있다.
도 1은 본 발명에 따른 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템에 관한 구성도를 도시한 것이다.
도 2는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 원본 애니메이션의 리소스 이미지의 예를 도시한 것이다.
도 3은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 원본 애니메이션의 장면 이미지의 예를 도시한 것이다.
도 4는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 영상에서 추출한 영상 프레임의 예를 도시한 것이다
도 5는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 장면 이미지 또는 영상프레임에서 추출한 이미지 객체를 도시한 것이다.
도 6은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 검색부를 통해 제공되는 이미지 객체의 예를 도시한 것이다.
도 7은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 방법의 흐름도를 도시한 것이다.
도 2는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 원본 애니메이션의 리소스 이미지의 예를 도시한 것이다.
도 3은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 원본 애니메이션의 장면 이미지의 예를 도시한 것이다.
도 4는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 영상에서 추출한 영상 프레임의 예를 도시한 것이다
도 5는 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 장면 이미지 또는 영상프레임에서 추출한 이미지 객체를 도시한 것이다.
도 6은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템의 검색부를 통해 제공되는 이미지 객체의 예를 도시한 것이다.
도 7은 도 1에 도시된 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 방법의 흐름도를 도시한 것이다.
이하에서는 본 발명의 실시예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.
도 1은 본 발명에 따른 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템에 관한 구성도이며, 이를 참조하여 본 발명의 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템에 관하여 설명한다.
본 발명의 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템(1)은 제작자, 저작권자 등으로부터 애니메이션 소스를 입력받아 각 소스로부터 리소스 이미지 또는 이미지 객체를 추출하여 분류 및 저장하며, 사용자의 검색 정보를 기반으로 각 리소스 또는 이미지 객체 및 그와 관련된 원본 영상, 메타데이터, 키워드 및 카테고리 등을 제공하며, 이를 위해 소스 입력부(100), 데이터 분류부(200), 메타데이터 처리부(300), 라벨링 처리부(400), 데이터 베이스부(500)를 포함하며, 검색부(600), 검색추천 처리부(700)를 더 포함할 수 있다.
도 2는 원본 애니메이션의 리소스 이미지의 예를 도시한 것이고, 도 3은 원본 애니메이션의 장면 이미지의 예를 도시한 것이다.
도 2 및 도 3을 참조하면, 소스 입력부(100)에는 애니메이션 소스가 입력될 수 있으며, 상기 애니메이션 소스는, 도 2에 도시된 예와 같이, 원본 애니메이션의 리소스 이미지일 수 있으며, 도 3에 도시된 예와 같이, 썸네일 또는 캡쳐된 주요 장면과 같은 장면 이미지일 수 있으며, 전체 영상 또는 부분적으로 편집된 부분 영상일 수 있다.
도 4는 영상에서 추출한 영상프레임의 예를 도시한 것이고, 도 5는 장면 이미지 또는 영상프레임에서 추출한 이미지 객체를 도시한 것이며, 이를 참조하여 데이터 분류부(200)에 관하여 설명한다.
데이터 분류부(200)는 애니메이션 소스에서 필요한 데이터를 추출 및 인식하거나 또는 각각 분류하는 역할을 하며, 이를 위해 리소스 처리부(210), 클러스터링 처리부(220) 및 이미지 객체 추적부(230)를 포함할 수 있다.
리소스 처리부(210)는 소스 입력부(100)에 입력되는 애니메이션 소스가 도 2에 도시된 예와 같은 리소스 이미지인 경우 상기 리소스 이미지를 각각 분류할 수 있다.
클러스터링 처리부(220)는 소스 입력부(100)에 입력되는 애니메이션 소스가 영상인 경우, 상기 영상을 분석하여 장면 이미지를 추출할 수 있다.
이를 자세히 설명하면, 애니메이션 소스가 영상인 경우 클러스터링 처리부(220)는 상기 영상을 구성하는 영상 전체 프레임을 각각 인식할 수 있다. 그 후 영상 전체 프레임에서 각각 유사한 프레임끼리 분류할 수 있는데, 여기서 영상 전체 프레임에 대해서 먼저 각 객체를 추출 및 식별한 후 추출된 객체를 비교하여 클러스터링을 수행할 수 있다.
다시말해, 어떠한 영상 전체 프레임을 분석하는 경우에 종래에는 각각의 프레임 별로 얼굴 또는 물체와 같은 객체 인식을 수행하여 각각 결과를 저장한 반면, 본 발명에서는 추후에 데이터 베이스부(500)에 저장되고, 추후 필요한 사용자에게 제공할 애니메이션 이미지 객체만을 인식하면 되기 때문에 미리 객체만을 추출하여 객체만을 서로 비교하여 유사도를 판단한 후 상기 유사도가 특정 유사도 이상인 프레임들을 유사프레임군으로 분류하는 방식을 사용하기 때문에 종래 방식에 비하여 클러스터링 속도가 최대 수십배 이상 빨라질 수 있는 효과가 있다.
여기서, 상기 이미지 객체를 추출 및 인식하는 방법은 AI 영상 객체 인식 학습 방법인 텐서플로우의 Faster R-CNN(Faster Regions with Convolution Neural Networks) 또는 YOLO(You Only Look Once) 기법에 따른 학습 동작일 수 있다.
클러스터링 처리부(220)의 클러스터링 방법을 설명하면, 클러스터링 처리부(220)는 전체 영상 프레임에서, 도 4에 도시된 바와 같이, 복수 개의 프레임을 추출할 수 있다. 이후, 상기 복수 개의 프레임에서 먼저 객체 영역을 추출할 수 있다. 이렇게 객체 영역을 추출한 후 객체 영역들을 서로 비교하여 각 객체 영역 간의 유사도가 기 설정된 기준유사도 이상인 경우, 예를 들면 색체 및 외형선의 일치율이 70% 이상인 경우 등, 각 객체 영역을 포함하는 프레임들을 유사프레임군으로 설정할 수 있다.
이후 각 유사프레임군에서 추후 이미지 객체 추적부(230)에서 이미지 객체를 추출할 수 있도록 하기 위하여 상기 유사프레임군 중에서 각각의 객체 영역을 비교하여 가장 많은 객체 영역을 가진 프레임을 상기 유사프레임군의 대표 프레임을 선정할 수 있다.
이러한 대표 프레임은 도 3에 도시된 예와 같은 장면 이미지이며, 복수의 유사프레임군에서 각각이 이러한 대표 프레임, 즉 장면 이미지가 선정되며 선정된 복수의 장면 이미지는 이미지 객체 추적부(230)로 전달될 수 있다.
이미지 객체 추적부(230)는 장면 이미지에 포함된 각각의 이미지 객체를 추출하여 각각 인식하고 분류할 수 있다. 이때, 상기 장면 이미지는 소스 입력부(100)에 입력되는 장면 이미지(예를 들면 썸네일)일 수 있으며, 한편 전술한 소스 입력부(100)에 영상 자체가 입력되는 경우 클러스터링 처리부(220)에서 선정된 대표 프레임인 장면 이미지일 수도 있다.
여기서, 장면 이미지에서 각각의 객체를 학습 및 각각 구별하여 추출 및 인식하여 분류하기위하여 상기 이미지 객체 추적부(230)는 AI 영상학습을 수행할 수 있다. 이러한 AI 영상학습은 텐서플로우의 Faster R-CNN(Faster Regions with Convolution Neural Networks) 또는 YOLO(You Only Look Once) 기법에 따른 학습 동작일 수 있으며, 이미지 객체 추적부(230)의 영상학습 결과로서 도 5에 도시된 예와 같은 이미지 객체가 추출될 수 있다.
메타데이터 처리부(300)는 소스 입력부(100)를 통해 입력된 애니메이션 소스와 상기 과정을 통해 추출된 각각의 이미지 객체 각각에 대한 메타데이터를 추출할 수 있다.
여기서, 메타데이터는 소스 입력부(100)를 통해 애니메이션 소스가 입력될 때 입력하는 원본 데이터에 대한 정보로서, 제작자, 제작일, 제작사, 데이터 사이즈, 데이터 파일명 등의 정보를 말하며, 각각의 이미지 객체가 추출된 경우 추출된 이미지 객체에 대한 상기 정보 뿐만 아니라 어떤 원본 데이터에서부터 추출되었는지에 대한 정보도 포함될 수 있다. 이러한 메타데이터는 추후 사용자에게 이미지 객체 제공시 함께 제공될 수 있다.
라벨링 처리부(400)는 상기 데이터 분류부(200)에서 각각 추출 및 분류된 이미지 객체(각각의 리소스 이미지도 결국 각각의 이미지 객체에 해당됨)에 라벨 처리를 하여 고유하게 식별할 수 있도록 할 수 있다.
다시말해, 전술한 데이터 분류부(200)에서는 단지 각각의 이미지 객체를 객체별로 분류만 해놓았을 뿐 각각의 객체가 어떠한 객체인지에 대한 정보는 없으며, 라벨링 처리부(400)는 이러한 각각의 객체를 고유하게 식별할 수 있도록 상기 이미지 객체가 무엇이고, 어디에 속하는지 키워드 및 카테고리를 포함한 라벨 정보를 부여할 수 있다.
여기서, 라벨링 처리부(400)는 자동으로 각각의 이미지 객체에 키워드 및 카테고리를 부여할 수 있으며, 추후 관리자 등에 의해 수동으로 해당 키워드가 부여되거나 또는 변경될 수 있다.
예를 들면, 라벨링 처리부(400)는 각각의 이미지 객체를 인식하여 제1 이미지 객체에는 '딸기'라는 키워드를 부여하고, 제2 이미지 객체에는 '바나나'라는 키워드를 부여하며, 제3 이미지 객체에는 '사과'라는 키워드를 부여할 수 있다. 이와 동시에 제1 내지 제3 이미지 객체에 각각 '과일'이라는 카테고리를 부여할 수 있다.
또한, 제4 이미지 객체에는 '무궁화'라는 키워드를 부여하고, 제5 이미지 객체에는 '장미'라는 키워드를 부여하며, 제6 이미지 객체에는 '백합'이라는 키워드를 부여할 수 있다. 이와 동시에 제4 내지 제6 이미지 객체에는 각각 '꽃'이라는 카테고리를 부여할 수 있다.
이러한 작업을 라벨링 작업이라 할 수 있으며, 이러한 라벨링 작업을 통해 추후 검색시 사용자 또는 후술할 검색추천 처리부(700)가 상기 키워드 및 카테고리 등으로 각 이미지 객체를 고유하게 식별할 수 있으며, 추천 알고리즘으로도 사용할 수 있다.
한편, 라벨링 처리부(400)는 각각의 이미지 객체의 빠른 검색을 위하여 이른바 태그라고 불리는 이미지 객체 정보를 생성할 수 있다.
데이터 베이스부(500)는 애니메이션 소스와, 각각의 이미지 객체와, 메타데이터 및 라벨 정보를 각각 저장할 수 있으며, 사용자가 정보 검색 및 요청시 각 이미지 객체 및 메타데이터, 라벨 정보 등을 제공할 수 있다.
데이터 베이스부(500)는 향후 검색시 동일 카테고리에 속하는 키워드를 동시에 추출 또는 검색할 수 있도록 상기 라벨 정보 저장시 카테고리별로 분류하여 저장할 수 있다.
검색부(600)는 사용자가 상기 데이터 베이스부(500)에 저장된 이미지 객체를 검색 및 제공받기 위하여 마련되며, 이러한 검색부(600)는 온라인 상으로 상기 데이터 베이스부(500)와 연결된 사용자 기기 또는 단말기일 수 있다.
검색부(600)는 상기 사용자가 입력하는 키워드, 이미지 및 영상 중 적어도 하나를 포함하는 검색 정보를 수신하며, 수신된 검색 정보를 기반으로 상기 검색 정보에 대응되는 애니메니션 소스를 제공할 수 있도록 상기 데이터 베이스부(500)에 저장되는 애니메니션 소스, 이미지 객체, 메타데이터 및 라벨 정보를 검색할 수 있다.
도 6은 본 발명의 검색부를 통해 제공되는 이미지 객체의 예를 도시한 것이다. 이를 참조하면, 검색부(600)를 통해 제공되는 이미지 객체는 이미지 객체 자체만이 아닌, 도시된 예와 같이, 상기 이미지 객체의 메타데이터(파일면, 파일 크기 등)와 키워드 및 카테고리를 포함한 라벨 정보가 함께 제공될 수 있다.
검색부(600)는 사용자가 입력하는 키워드를 곧바로 데이터 베이스부(500)에서 검색할 수도 있으나, 다른 항상 사용자가 정확한 키워드만을 입력할 수 있지는 않을 수 있으며, 이를 대비하여 다른 구성을 통하여 데이터 베이스부(500)의 정보를 검색할 수도 있다. 예를 들면, 사용자는 이미지나 영상 또는 다른 종류의 검색 정보를 입력할 수도 있으며, 이러한 검색 정보가 입력된 경우 상기 검색 정보에 기반하여 데이터 베이스부(500)를 검색하기 위하여 검색추천 처리부(700)를 더 포함할 수 있다.
검색추천 처리부(700)는 검색부(600)에 입력되는 검색 정보를 기반으로 상기 데이터 베이스부(500)의 애니메니션 소스, 이미지 객체, 메타데이터 및 라벨 정보를 검색하여 검색부(600)에 전송할 수 있다.
이때, 검색추천 처리부(700)는 검색부(600)에 입력되는 검색 정보를 기반으로 상기 검색 정보와 관련도가 높은 순으로 상기 애니메니션 소스, 이미지 객체를 추출 또는 추천할 수 있다.
또한, 검색추천 처리부(700)는 검색부(600)에 입력되는 입력되는 검색 정보와 동일 카테고리에 속하는 라벨 정보를 가진 애니메니션 소스, 이미지 객체를 추출 또는 추천할 수도 있다.
예를 들면, 검색부(600)에 키워드가 입력되는 경우, 예를 들면 '딸기'라는 키워드가 입력된 경우, 검색추천 처리부(700)는 상기 키워드에 해당되는 이미지 객체만을 검색하는 것이 아니라, 전술한 예에서 '딸기', '바나나', '사과'에 '과일'이라는 동일한 카테고리가 부여되었으므로 '딸기'의 키워드를 가진 이미지 객체를 제공함과 동시에 동일 카테고리에 속하는 '바나나' 또는 '사과'의 이미지 객체도 제공받을 것인지 추천할 수 있다.
또 다른 예를 들면, 검색부(600)에 '뽀로로'라는 키워드가 입력되는 경우, 검색추천 처리부(700)는 '뽀로로'라는 키워드에 해당되는 이미지 객체만을 검색하는 것이 아니라, 상기 '뽀로로'와 동일한 카테고리를 가지는 이미지 객체, 예를 들면 동일 애니메이션 상에 등장하는 캐릭터인 '루피' 또는 '에디'와 같은 이미지 객체,도 제공받을 것인지 추천할 수 있다.
한편, 검색추천 처리부(700)는 검색 정보가 키워드가 아닌 경우에, AI 영상학습을 통하여 키워드를 추출할 수도 있다. 예를 들면, 사용자가 뽀로로의 이미지 또는 영상 일부 등은 가지고 있으나 '뽀로로'라는 캐릭터 또는 이미지 자체의 명칭 등을 모르는 경우 등이 있을 수 있으며, 이 경우에 사용자가 소지하고 있는 이미지 또는 영상이 검색부(600)에 입력되면 검색추천 처리부(700)는 AI 영상학습을 통하여 상기 이미지 또는 영상으로부터 각 객체를 추출한 뒤 추출된 객체를 기반으로 상기 데이터 베이스부(500)를 검색할 수 있다.
이때, 상기 AI 영상학습은 텐서플로우의 Faster R-CNN(Faster Regions with Convolution Neural Networks) 또는 YOLO(You Only Look Once) 기법에 따른 학습 동작일 수 있다.
검색추천 처리부(700)는 검색부(600)에 접속하는 사용자 정보와, 상기 사용자가 검색부(600)를 통해 검색하는 검색 정보와 상기 검색 정보에 따른 키워드를 수집 및 저장할 수 있다. 이는 사용자의 검색 취향 등을 판단하여 상기 사용자에게 애니메이션 소스를 추천하기 위함이다.
이를 설명하면, 검색추천 처리부(700)는 검색부(600)에 접속하는 사용자 정보를 식별하여 상기 사용자가 어떠한 검색 정보를 입력하는지와, 검색 결과 등을 수집하며, 특정 검색 정보 또는 키워드 입력 횟수가 기 설정된 기준치 이상인 경우(예를 들면, 접속 회수 대비 입력된 특정 키워드 횟수가 70% 이상인 경우) 상기 검색 정보 및 키워드에 기반하여 상기 사용자의 검색 취향 정보를 산출 및 생성할 수 있다.
여기서, 사용자가 검색부(600)에 접속하는 경우에 상기 사용자의 검색 취향 정보가 생성되어 있으면 상기 취향 정보에 따라 해당 키워드를 타이핑하지 않아도 바로 클릭만으로 해당 키워드 또는 결과를 데이터 베이스부(500)에서 제공받을 수 있도록 할 수 있으며, 한편 종래에는 데이터 베이스부(500)에 저장되어 있지 않았던 상기 키워드에 해당되는 애니메이션 소스가 소스 입력부(100)를 통해 입력되는 경우 이를 알람 등으로 알려주고 추천함으로써 사용자가 용이하게 필요한 애니메이션 소스를 제공받을 수 있도록 할 수 있다.
이상으로 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 시스템(1)에 관하여 설명하였으며, 다음으로 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 방법에 관하여 설명한다.
도 7은 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 방법의 흐름도를 도시한 것이다. 이를 참조하면, 본 발명의 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 방법은 애니메이션의 리소스, 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 단계(s10)와, 상기 입력된 소스에 포함된 이미지 객체를 각각 인식하여 분류하는 단계(s20)와, 상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 단계(s30)와, 상기 인식된 각각의 객체에 대한 키워드 및 카테고리를 추출하는 단계(s40)와, 상기 추출된 키워드 및 카테고리를 고유하게 식별할 수 있도록 라벨 정보를 생성하는 단계(s50)와, 상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리와 상기 라벨 정보가 각각 저장되는 단계(s60)를 포함하며, 검색하고자 하는 키워드, 이미지 또는 영상이 입력되는 단계(s70)와, 상기 키워드, 이미지 또는 영상을 기반으로 상기 키워드, 이미지 또는 영상과의 관련도 순으로 상기 저장된 애니메이션 소스 및 이미지 객체를 검색하여 제공하는 단계(s80)을 더 포함할 수 있다.
여기서, 상기 방법은 전술한 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 시스템(1)에 의해 구현될 수 있으며, 설명의 용이를 위하여 상기 시스템에서 구현되는 상황을 예시하였으나 다만 이에 한정되지는 않으며, 동일한 기능을 수행할 수 있는 어떠한 시스템에 의해서도 구현될 수 있다.
애니메이션의 리소스, 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 단계(s10)는 소스 입력부(100)에서 수행될 수 있다. 이때, 소스 입력부(100)에는 리소스, 이미지 및 영상 중 하나가 입력될 수 있으며, 리소스, 이미지 또는 영상이 복합적으로 입력될 수도 있다.
상기 입력된 소스에 포함된 이미지 객체를 각각 인식하여 분류하는 단계(s20)는 데이터 분류부(200)에서 수행될 수 있다. 이때, 입력된 소스가 이미지인 경우 상기 이미지를 영상 분석을 통하여 각각의 객체를 추척하고, 각각의 객체별로 인식할 수 있으며, 한편 입력된 소스가 영상인 경우 상기 영상을 구성하는 프레임들을 유사도에 따라 유사프레임군으로 분류한 뒤 유사프레임군에서 대표 이미지를 선정하여 상기 대표 이미지에 대한 영상 분석을 통하여 각각의 객체를 추적하고, 각각의 객체별로 인식할 수 있다.
상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 단계(s30)에서는 입력된 소스에 대한 정보 및 각각의 객체에 대한 메타데이터, 즉 제작자, 제작일, 원본 데이터명 등이 추출될 수 있으며, 메타데이터 처리부(300)에서 수행될 수 있다.
상기 인식된 각각의 객체에 대한 키워드 및 카테고리를 추출하는 단계(s40)와 상기 추출된 키워드 및 카테고리를 고유하게 식별할 수 있도록 라벨 정보를 생성하는 단계(s50)는 라벨링 처리부(400)에서 수행될 수 있으며, 상기 단계(s40 및 s50)에서는 각각의 객체에 대한 키워드 및 카테고리를 추출하고 이러한 정보, 즉 라벨 정보를 생성할 수 있다.
여기서, 전술한 이미지 객체를 각각 인식하여 분류하는 단계(s20)에서는 이미지 객체를 인식만 할 뿐 인식된 이미지 객체가 무엇인지에 대한 정보가 없기 때문에 상기 인식된 각각의 이미지 객체를 고유하게 식별할 수 있도록 라벨 정보를 생성하여 부여하는 것이다.
상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리와 상기 라벨 정보가 각각 저장되는 단계(s60)에서는 전술한 각 이미지 객체 및 그와 관련된 정보가 저장될 수 있으며, 상기 단계(s60)는 데이터 베이스부(500)에서 수행될 수 있다.
검색하고자 하는 키워드, 이미지 또는 영상이 입력되는 단계(s70)은 검색부(600)에서 수행될 수 있으며, 검색부(600)를 통해 사용자는 검색하고자 하는 키워드 등을 입력할 수 있다.
키워드, 이미지 또는 영상을 기반으로 상기 키워드, 이미지 또는 영상과의 관련도 순으로 상기 저장된 애니메이션 소스 및 이미지 객체를 검색하여 제공하는 단계(s80)는 검색추천 처리부(700) 및 검색부(600)에 의해 수행될 수 있으며, 검색부(600)에 입력되는 키워드, 이미지 또는 영상을 기반으로 검색추천 처리부(700)가 데이터 베이스부(500)를 검색하여 관련도 순으로 검색부(600)를 통해 애니메이션 소스 및 이미지 객체를 제공할 수 있다.
이상으로 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 방법에 관하여 설명하였으며, 제작자 등과 사용자는 이러한 본 발명에 따른 지능정보기술기반 애니메니션 콘텐츠 리소스 서비스 시스템 및 방법을 사용함으로써 애니메이션 소스 등을 재활용하고 공유할 수 있어 시간, 인력 및 비용의 낭비가 방지되고, 애니메이션 유통 생태계의 상호 공생 및 수익 공유가 달성될 수 있다.
또한, 애니메이션 소스에서 영상학습을 통하여 객체를 인식하고 분류함으로써 용이하고 효율적으로 각 객체를 구분할 수 있으며, 또한, 각 객체에 대한 키워드 및 카테고리를 분류하고, 카테고리별로 저장 및 관리함으로써 데이터 관리가 용이하고, 사용자가 검색시 동일 카테고리에 속하는 키워드 및 이미지 객체를 제공함으로써 용이한 검색 및 추천 기능을 제공받을 수 있고, 클러스터링 처리부에서 영상 전체 프레임에 대하여 각 객체 영역만을 추출하여 객체 영역간의 유사도만을 판단하여 유사프레임군으로 분류하기 때문에 애니메이션 콘텐츠에 최적화된 빠른 영상 인식이 가능하며, 사용자의 검색 정보 등을 수집 및 평가하여 해당 사용자에게 필요한 애니메이션 소스를 추천함으로써 효과적인 추천 기능을 제공받을 수 있는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스를 제공받을 수 있다.
이상으로 본 발명에 따른 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법에 대하여 설명하였으며 다만, 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 본 실시예가 기술적 사상이나 필수적인 특징으로 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
100 : 소스 입력부
200 : 데이터 분류부
300 : 메타데이터 처리부
400 : 라벨링 처리부
500 : 데이터 베이스부
600 : 검색부
700 : 검색추천 처리부
200 : 데이터 분류부
300 : 메타데이터 처리부
400 : 라벨링 처리부
500 : 데이터 베이스부
600 : 검색부
700 : 검색추천 처리부
Claims (11)
- 애니메이션의 리소스 이미지, 장면 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 소스 입력부;
상기 소스 입력부에 입력되는 애니메이션 소스에 포함된 이미지 객체를 분류하는 데이터 분류부;
상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 메타데이터 처리부;
상기 인식된 각각의 객체에 대한 키워드 및 카테고리를 추출하며, 상기 추출된 키워드 및 카테고리를 식별할 수 있는 라벨 정보를 생성하는 라벨링 처리부; 및
상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리가 포함된 라벨 정보를 각각 저장하는 데이터 베이스부;를 포함하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제1항에 있어서,
상기 데이터 분류부는,
상기 애니메이션 소스가 리소스 이미지인 경우 상기 리소스 이미지에 따라 분류하는 리소스 처리부와, 상기 애니메이션 소스가 영상인 경우 상기 영상에 포함되는 영상 전체 프레임에서 대표 프레임을 선정한 뒤 선정된 대표 프레임 장면 이미지를 추출하는 클러스터링 처리부와, 상기 소스 입력부에 입력되는 장면 이미지 또는 상기 클러스터링 처리부에서 추출되는 장면 이미지를 상기 장면 이미지에 포함되는 이미지 객체로 각각 분류하는 이미지 객체 추적부,를 포함하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제2항에 있어서,
상기 이미지 객체 추적부는 상기 이미지 객체를 각각 구별 인식하여 분류하기 위하여 AI 영상학습을 수행하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제3항에 있어서,
상기 AI 영상학습은 Faster R-CNN(Faster Regions with Convolution Neural Networks) 또는 YOLO(You Only Look Once) 기법에 따른 학습 동작인 것을 특징으로하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제2항에 있어서,
상기 클러스터링 처리부는 상기 영상 전체 프레임에 대하여 각 객체 영역만을 추출한 뒤, 상기 각 객체 영역간의 유사도가 기 설정된 기준유사도 이상인 프레임들을 유사프레임군으로 분류하며, 상기 유사프레임군 내에 포함된 복수 개의 프레임 중에서 가장 많은 객체 영역을 가진 프레임을 대표 프레임으로 선정하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제2항에 있어서,
상기 데이터 베이스부는 향후 검색시 동일 카테고리에 속하는 키워드를 동시에 추출 또는 검색할 수 있도록 상기 라벨 정보 저장시 카테고리별로 분류하여 저장하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제1항 내지 제6항 중 어느 한 항에 있어서,
사용자가 입력하는 키워드, 이미지 및 영상 중 적어도 하나를 포함하는 검색 정보를 수신하고 상기 검색 정보에 대응되는 애니메니션 소스를 제공할 수 있도록 상기 데이터 베이스부에 저장되는 상기 애니메니션 소스, 상기 이미지 객체, 상기 메타데이터 및 상기 라벨 정보를 검색할 수 있는 검색부를 더 포함하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제7항에 있어서,
상기 검색부에 입력되는 검색 정보를 기반으로 상기 데이터 베이스부에 애니메니션 소스, 이미지 객체, 메타데이터 및 라벨 정보를 검색하여 상기 검색부에 전송하는 검색추천 처리부를 더 포함하며,
상기 검색추천 처리부는 상기 검색부에 입력되는 검색 정보를 기반으로 상기 검색 정보와 관련도가 높은 순으로 상기 애니메니션 소스, 이미지 객체를 추출 또는 추천하거나, 또는 입력되는 검색 정보와 동일 카테고리에 속하는 라벨 정보를 가진 애니메니션 소스, 이미지 객체를 추출 또는 추천하는 검색추천 처리부를 더 포함하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 제8항에 있어서,
상기 검색추천 처리부는,
상기 검색부에 접속하는 사용자 정보와, 상기 사용자가 상기 검색부를 통해 검색하는 검색 정보와 상기 검색 정보에 따른 키워드를 수집 및 저장하며,
상기 사용자의 특정 검색 정보 및 키워드 입력 횟수가 기 설정된 기준치 이상인 경우 상기 검색 정보 및 키워드에 기반하여 상기 사용자의 검색 취향 정보를 산출하여 상기 데이터 베이스부에 상기 취향 정보에 대응하는 애니메니션 소스가 입력되는 경우 해당 애니메이션 소스를 상기 사용자에게 추천하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템. - 애니메이션의 리소스, 이미지 및 영상 중 적어도 하나를 포함하는 애니메이션 소스가 입력되는 단계;
상기 입력된 소스에 포함된 이미지 객체를 각각 인식하여 분류하는 단계;
상기 인식된 각각의 객체에 대한 메타데이터를 추출하는 단계;
상기 인식된 각각의 객체에 대한 키워드 및 카테고리를 추출하는 단계;
상기 추출된 키워드 및 카테고리를 고유하게 식별할 수 있도록 라벨 정보를 생성하는 단계;
상기 애니메니션 소스와, 상기 각각 인식되어 분류된 이미지 객체와, 상기 메타데이터와, 상기 키워드 및 카테고리와 상기 라벨 정보가 각각 저장되는 단계를 포함하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 방법. - 제10항에 있어서,
검색하고자 하는 키워드, 이미지 또는 영상이 입력되는 단계; 및
상기 키워드, 이미지 또는 영상을 기반으로 상기 키워드, 이미지 또는 영상과의 관련도 순으로 상기 저장된 애니메이션 소스 및 이미지 객체를 검색하여 제공하는 단계를 더 포함하는 것을 특징으로 하는 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190082549A KR102258420B1 (ko) | 2019-07-09 | 2019-07-09 | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190082549A KR102258420B1 (ko) | 2019-07-09 | 2019-07-09 | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210006662A true KR20210006662A (ko) | 2021-01-19 |
| KR102258420B1 KR102258420B1 (ko) | 2021-05-28 |
Family
ID=74237500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190082549A KR102258420B1 (ko) | 2019-07-09 | 2019-07-09 | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102258420B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569007A (zh) * | 2021-06-18 | 2021-10-29 | 武汉理工数字传播工程有限公司 | 一种处理知识服务资源的方法、装置及存储介质 |
| KR102341863B1 (ko) * | 2021-08-25 | 2021-12-22 | 주식회사 에스에이엠지엔터테인먼트 | 생체정보를 이용한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 |
| KR102343581B1 (ko) * | 2021-08-31 | 2021-12-29 | 주식회사 에스에이엠지엔터테인먼트 | 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 |
| CN114329068A (zh) * | 2021-08-11 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置、电子设备、存储介质 |
| CN116522011A (zh) * | 2023-05-16 | 2023-08-01 | 深圳九星互动科技有限公司 | 一种基于大数据的推送方法及推送系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140096412A (ko) * | 2013-01-24 | 2014-08-06 | 에스케이플래닛 주식회사 | 검색 이력 기반 디지털 컨텐츠 추천 방법 및 그 장치 |
| KR20150006606A (ko) * | 2013-07-09 | 2015-01-19 | 주식회사 케이티 | 객체 기반으로 영상을 검색하는 서버 및 방법 |
| KR20160031226A (ko) * | 2014-09-12 | 2016-03-22 | 삼성에스디에스 주식회사 | 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치 |
| KR20170131924A (ko) * | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
-
2019
- 2019-07-09 KR KR1020190082549A patent/KR102258420B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140096412A (ko) * | 2013-01-24 | 2014-08-06 | 에스케이플래닛 주식회사 | 검색 이력 기반 디지털 컨텐츠 추천 방법 및 그 장치 |
| KR20150006606A (ko) * | 2013-07-09 | 2015-01-19 | 주식회사 케이티 | 객체 기반으로 영상을 검색하는 서버 및 방법 |
| KR20160031226A (ko) * | 2014-09-12 | 2016-03-22 | 삼성에스디에스 주식회사 | 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치 |
| KR20170131924A (ko) * | 2016-05-23 | 2017-12-01 | 네이버 주식회사 | 이미지 검색 방법, 장치 및 컴퓨터 프로그램 |
Non-Patent Citations (1)
| Title |
|---|
| Du, Juan. "Understanding of object detection based on CNN family and YOLO." Journal of Physics: Conference Series. Vol. 1004. No. 1. IOP Publishing (2018.02.23. 공개)* * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569007A (zh) * | 2021-06-18 | 2021-10-29 | 武汉理工数字传播工程有限公司 | 一种处理知识服务资源的方法、装置及存储介质 |
| CN114329068A (zh) * | 2021-08-11 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置、电子设备、存储介质 |
| CN114329068B (zh) * | 2021-08-11 | 2024-05-31 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置、电子设备、存储介质 |
| KR102341863B1 (ko) * | 2021-08-25 | 2021-12-22 | 주식회사 에스에이엠지엔터테인먼트 | 생체정보를 이용한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 |
| KR102343581B1 (ko) * | 2021-08-31 | 2021-12-29 | 주식회사 에스에이엠지엔터테인먼트 | 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 |
| CN116522011A (zh) * | 2023-05-16 | 2023-08-01 | 深圳九星互动科技有限公司 | 一种基于大数据的推送方法及推送系统 |
| CN116522011B (zh) * | 2023-05-16 | 2024-02-13 | 深圳九星互动科技有限公司 | 一种基于大数据的推送方法及推送系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102258420B1 (ko) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102258420B1 (ko) | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 | |
| US20200183977A1 (en) | Providing relevant cover frame in response to a video search query | |
| WO2022116888A1 (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| CN108509465B (zh) | 一种视频数据的推荐方法、装置和服务器 | |
| US10025950B1 (en) | Systems and methods for image recognition | |
| US7707162B2 (en) | Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification | |
| US9875303B2 (en) | System and process for building a catalog using visual objects | |
| US8457368B2 (en) | System and method of object recognition and database population for video indexing | |
| US20110072047A1 (en) | Interest Learning from an Image Collection for Advertising | |
| CN109871464B (zh) | 一种基于ucl语义标引的视频推荐方法与装置 | |
| CN109492168B (zh) | 一种基于旅游照片的可视化旅游兴趣推荐信息生成方法 | |
| Vijayarani et al. | Multimedia mining research-an overview | |
| KR102258419B1 (ko) | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 | |
| Rudinac et al. | Multimodal classification of violent online political extremism content with graph convolutional networks | |
| KR100876214B1 (ko) | 문맥기반 광고 장치와 그 방법 및 이를 구현할 수 있는컴퓨터로 읽을 수 있는 기록 매체 | |
| Liu et al. | Naming faces in broadcast news video by image google | |
| KR20230051995A (ko) | 실감형 확장현실 콘텐츠 관리 플랫폼 | |
| Gupta et al. | A Framework for Semantic based Image Retrieval from Cyberspace by mapping low level features with high level semantics | |
| KR20220108668A (ko) | 동영상 분석 방법 | |
| Ventura et al. | Automatic keyframe selection based on mutual reinforcement algorithm | |
| Ambika et al. | Ontology—Based semantic web CBIR by utilizing content and model annotations | |
| Galopoulos et al. | Towards a privacy respecting image-based user profiling component | |
| CN115630170B (zh) | 一种文档推荐方法、系统、终端机及存储介质 | |
| US20230131392A1 (en) | Travel destination searching system and method using color based space information database | |
| Cardoso et al. | Hierarchical Time-Aware Approach for Video Summarization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |