KR102376201B1 - 멀티미디어 지식 베이스 구축 시스템 및 방법 - Google Patents
멀티미디어 지식 베이스 구축 시스템 및 방법 Download PDFInfo
- Publication number
- KR102376201B1 KR102376201B1 KR1020170043864A KR20170043864A KR102376201B1 KR 102376201 B1 KR102376201 B1 KR 102376201B1 KR 1020170043864 A KR1020170043864 A KR 1020170043864A KR 20170043864 A KR20170043864 A KR 20170043864A KR 102376201 B1 KR102376201 B1 KR 102376201B1
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia
- information
- knowledge base
- detector
- knowledge
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000007493 shaping process Methods 0.000 claims abstract description 22
- 238000009411 base construction Methods 0.000 claims abstract description 21
- 238000012015 optical character recognition Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
- G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
- G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
- G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
- G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
멀티미디어 지식 베이스 구축 시스템은 멀티미디어 정보 검출부를 통해 텍스트, 음성, 영상 및 비디오 중 하나 이상의 조합으로 구성된 멀티미디어 데이터로부터 텍스트화된 메타 정보를 검출하고, 지식 베이스 정형화부를 상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를 이용하여 상기 멀티미디어 데이터를 외재적 구성 정보를 나타내는 구문론적 정보와 내재적 의미 정보를 나타내는 의미론적 정보로 나누어 멀티미디어 지식으로 정형화한다.
Description
본 발명은 멀티미디어 지식 베이스 구축 시스템 및 방법에 관한 것으로, 상세하게는 멀티미디어 데이터로부터 메타 정보를 추출하고 정형화하여 지식 베이스로 구축하는 멀티미디어 지식 베이스 구축 시스템 및 방법에 관한 것이다.
전 세계적으로 스마트폰, 디지털 카메라와 같은 개인용 촬영장치를 이용한 멀티미디어 데이터뿐만 아니라 다양한 CCTV(Closed Circuit Television), 자동차용 블랙박스, 드론 등을 통한 멀티미디어 데이터가 폭발적으로 증가하고 있다. 하지만 생성되는 멀티미디어 데이터 양이 방대하여 사용자가 일일이 멀티미디어 데이터에 태깅을 하거나 멀티미디어 데이터를 요약하여 저장하고, 이후에 이를 검색하는데 많은 시간과 노력이 요구된다. 이런 이유로, 멀티미디어 검색 및 분석을 보다 빠르고 정확하게 제공하기 위한 다양한 방법들이 연구되고 있다.
한편, 기존의 영상 콘텐츠 추천 시스템에서는 영상 콘텐츠의 메타 정보들 간의 연관성을 분석하여 메타 정보들 상호간의 관계를 표현하는 온톨로지를 구축하고, 이 온톨로지를 기반으로 메타 정보들간의 연관성, 유사성, 사용자 선호도, 가중치, 감정 상태 등을 통해 사용자에게 영상 콘텐츠를 추천하는 방법을 제시하고 있다. 그러나 이 방법은 화상 또는 비디오에 내재된 구체적인 정보 수준의 검색이 어렵다는 단점이 있다.
기존의 다른 화상 및 비디오 검색 시스템에서는 화상 및 비디오를 데이터베이스로부터 간편하게 검색하기 위하여, 데이터베이스를 비주얼 템플릿의 모음을 이용하여 색인하는 방법을 사용하였다.
본 발명이 해결하려는 과제는 멀티미디어 데이터에 대한 빠른 검색을 지원할 수 있는 멀티미디어 지식 베이스 구축 시스템 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 텍스트, 음성, 영상 및 비디오 중 하나 이상의 조합으로 구성된 멀티미디어 데이터로부터 멀티미디어 지식 베이스를 구축하는 시스템이 제공된다. 멀티미디어 지식 베이스 구축 시스템은 멀티미디어 정보 검출부, 그리고 지식 베이스 정형화부를 포함한다. 상기 멀티미디어 정보 검출부는 입력되는 멀티미디어 데이터로부터 텍스트화된 메타 정보를 검출한다. 그리고 상기 지식 베이스 정형화부는 상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를, 외재적 구성 정보를 나타내는 구문론적 정보와 내재적 의미 정보를 나타내는 의미론적 정보로 나누어 멀티미디어 지식으로 정형화한다.
상기 지식 베이스 정형화부는 상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를 이용하여 상기 멀티미디어 데이터를 5W1H 형식의 멀티미디어 지식으로 정형화할 수 있다.
상기 구문론적 정보는 상기 멀티미디어 데이터를 생성한 소스원 정보, 상기 소스원에 의해 생성된 멀티미디어 데이터의 정보 및 상기 멀티미디어 데이터를 구성하는 의미 영역에서 추출된 객체 검출 정보를 포함할 수 있다.
상기 의미론적 정보는 상기 멀티미디어 데이터를 구성하는 의미 영역에 내재된 이벤트 정보, 상기 이벤트 정보를 구성하는 상황 정보를 포함하고, 상기 이벤트 정보를 구성하는 상황 정보는 적어도 상기 이벤트의 동작주와 상기 이벤트의 피동작주를 포함할 수 있다.
상기 멀티미디어 지식 베이스 구축 시스템은 상기 멀티미디어 지식을 저장하는 지식 베이스 DB(database), 그리고 상기 지식 베이스 DB를 모델링하여 상기 멀티미디어 지식을 검색에 최적화된 구조로 변환하여 관리하는 지식 베이스 관리부를 더 포함할 수 있다.
상기 멀티미디어 지식 베이스 구축 시스템은 상기 사용자로부터 멀티미디어 데이터에 대한 검색 요청을 처리하는 사용자 인터페이스를 더 포함할 수 있다.
상기 사용자 인터페이스는 자연어, 텍스트, 영상, 동영상 중 적어도 하나의 검색 요청 정보로부터 5W1H의 형식의 검색 요청 정보를 추출하고, 상기 5W1H의 형식의 검색 요청 정보를 상기 지식 베이스 관리부로 전달하고, 상기 지식 베이스 관리부는 상기 5W1H의 형식의 검색 요청 정보를 토대로 상기 지식 베이스 DB를 검색하여 그 결과를 상기 사용자 인터페이스로 전달할 수 있다.
상기 사용자 인터페이스는 검색된 멀티미디어 데이터에 대한 링크를 제공하고, 상기 사용자가 상기 링크를 선택하는 경우 상기 검색된 멀티미디어 데이터를 재생할 수 있다.
상기 멀티미디어 정보 검출부는 음성 입력을 텍스트로 변환하여 상기 음성 입력에 포함된 객체나 행위를 추출하는 PoS(Part of Speech) 검출기, 영상 입력으로부터 문자를 추출하는 OCR(Optical Character Recognition) 검출기, 영상 또는 동영상 입력으로부터 상기 영상 또는 동영상 입력에 포함된 객체나 행위를 추출하는 PoV(Part of Visuals) 검출기, 그리고 영상 또는 동영상 입력으로부터 텍스트 문장을 추출하는 VtS(Visuals to Sentence) 검출기 중 적어도 하나를 포함할 수 있다.
상기 멀티미디어 정보 검출부는 필요한 메타 정보에 따라 상기 PoS 검출기, 상기 OCR 검출기, 상기 PoV 검출기 및 상기 VtS 검출기를 독립적으로 또는 조합하여 동작시키는 제어부를 더 포함할 수 있다.
상기 멀티미디어 지식 베이스 구축 시스템은 상기 멀티미디어 정보 검출부의 각 검출기의 입력 명세에 맞게 상기 멀티미디어 데이터를 전처리하여 상기 각 검출기로 전달하는 전처리부를 더 포함할 수 있다.
상기 지식 베이스 정형화부는 상기 텍스트화된 메타 정보가 상기 멀티미디어 지식의 표현 형식에 부합하지 않는 경우, 사전 구축된 규칙 및 용어 기반 지식 온톨로지를 이용하여 가장 유사도가 높은 용어로 추론 및 변경하여 멀티미디어 지식으로 정형화할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 멀티미디어 지식 베이스 구축 시스템에서 텍스트, 음성, 영상 및 비디오 중 하나 이상의 조합으로 구성된 멀티미디어 데이터로부터 멀티미디어 지식 베이스를 구축하는 방법이 제공된다. 멀티미디어 지식 베이스 구축 방법은 입력되는 멀티미디어 데이터로부터 텍스트화된 메타 정보를 검출하는 단계, 상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를 이용하여 외재적 구성 정보를 나타내는 구문론적 정보의 멀티미디어 지식과 내재적 의미 정보를 나타내는 의미론적 정보의 멀티미디어 지식으로 분류하여 정형화하는 단계, 그리고 상기 멀티미디어 지식을 지식 베이스 DB(database)에 저장하는 단계를 포함할 수 있다.
상기 정형화하는 단계는 상기 의미론적 정보의 멀티미디어 지식을 5W1H 형식으로 표현하는 단계를 포함할 수 있다.
상기 구문론적 정보는 상기 멀티미디어 데이터를 생성한 소스원 정보, 상기 소스원에 의해 생성된 멀티미디어 데이터의 정보 및 상기 멀티미디어 데이터를 구성하는 의미 영역에서 추출된 객체 검출 정보를 포함할 수 있다.
상기 의미론적 정보는 상기 멀티미디어 데이터를 구성하는 의미 영역에 내재된 이벤트 정보, 상기 이벤트 정보를 구성하는 상황 정보를 포함하고, 상기 이벤트 정보를 구성하는 상황 정보는 적어도 상기 이벤트의 동작주와 상기 이벤트의 피동작주를 포함할 수 있다.
상기 정형화하는 단계는 상기 텍스트화된 메타 정보가 상기 멀티미디어 지식의 표현 형식에 부합하지 않는 경우, 사전 구축된 규칙 및 용어 기반 지식 온톨로지를 이용하여 가장 유사도가 높은 용어로 추론 및 변경하는 단계, 그리고 상기 추론 및 변경된 용어를 상기 멀티미디어 지식으로 정량화하는 단계를 포함할 수 있다.
상기 멀티미디어 지식 베이스 구축 방법은 상기 지식 베이스 DB를 모델링하여 상기 멀티미디어 지식을 검색에 최적화된 구조로 변환하여 저장하는 단계를 더 포함할 수 있다.
상기 멀티미디어 지식 베이스 구축 방법은 사용자로부터 자연어, 텍스트, 영상, 동영상 중 적어도 하나의 검색 요청 정보를 수신하면, 상기 검색 요청 정보로부터 5W1H의 형식의 검색 요청 정보를 추출하는 단계, 상기 5W1H의 형식의 검색 요청 정보를 토대로 상기 지식 베이스 DB를 검색하는 단계, 그리고 검색 결과를 사용자에게 제공하는 단계를 더 포함할 수 있다.
상기 검출하는 단계는 상기 멀티미디어 데이터로부터 서로 다른 메타 정보를 검출하는 적어도 하나의 검출기로부터 검출되는 메타 정보를 획득하는 단계를 포함하고, 상기 적어도 하나의 검출기는 음성 입력을 텍스트로 변환하여 상기 음성 입력에 포함된 객체나 행위를 추출하는 PoS(Part of Speech) 검출기, 영상 입력으로부터 문자를 추출하는 OCR(Optical Character Recognition) 검출기, 영상 또는 동영상 입력으로부터 상기 영상 또는 동영상 입력에 포함된 객체나 행위를 추출하는 PoV(Part of Visuals) 검출기, 그리고 영상 또는 동영상 입력으로부터 텍스트 문장을 추출하는 VtS(Visuals to Sentence) 검출기 중 적어도 하나를 포함할 수 있다.
본 발명의 실시 예에 의하면, 음성, 영상, 비디오 등의 조합으로 구성되는 멀티미디어 데이터에 대해 언어분석, 영상 분석, 비디오 분석 등의 검출기를 조합 사용하여 멀티미디어에 내포된 메타 정보를 추출함으로써, 다양한 메타 정보 추출이 가능하고, 추출된 다양한 메타 정보를 5W1H(who, what, where, when, why, how) 형식으로 매핑하여 지식 베이스로 구축하므로 멀티미디어 요약 인덱싱이 가능하다. 또한 구축된 멀티미디어 지식 베이스를 기반으로 텍스트, 자연어, 영상, 비디오 기반 검색 기능을 용이하게 제공할 수 있다.
도 1은 본 발명의 한 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 정보 검출부의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템에서 멀티미디어 지식 베이스를 구축하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 입력 데이터의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 OCR 검출기에서 도 4에 도시된 입력 데이터로부터 추출한 메타 정보의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 지식 베이스 정형화부에서 지식 베이스를 생성하는 일 예를 나타낸 도면이다.
도 7은 도 1에 도시된 사용자 인터페이스를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 다른 일 예를 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 정보 검출부의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템에서 멀티미디어 지식 베이스를 구축하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 입력 데이터의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 OCR 검출기에서 도 4에 도시된 입력 데이터로부터 추출한 메타 정보의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 지식 베이스 정형화부에서 지식 베이스를 생성하는 일 예를 나타낸 도면이다.
도 7은 도 1에 도시된 사용자 인터페이스를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 다른 일 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 한 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템을 나타낸 도면이고, 도 2는 도 1에 도시된 멀티미디어 정보 검출부의 일 예를 나타낸 도면이다.
도 1을 참고하면, 멀티미디어 지식 베이스 구축 시스템(100)은 입력부(110), 전처리부(120), 멀티미디어 정보 검출부(130), 지식 베이스 정형화부(140), 지식 베이스 관리부(150), 지식 베이스 DB(database)(160) 및 원본 멀티미디어 아카이브(170)를 포함한다. 멀티미디어 지식 베이스 구축 시스템은 사용자 인터페이스(180)를 더 포함할 수 있다.
입력부(110)는 입력 데이터를 수신하고, 수신한 입력 데이터를 전처리부(120)로 전달한다. 입력부(110)는 수신한 입력 데이터를 원본 멀티미디어 아카이브(170)에 저장할 수 있다. 본 발명의 실시 예에서 입력 데이터는 텍스트, 음성, 영상(image), 비디오 등의 조합으로 구성되는 멀티미디어 데이터일 수 있다. 멀티미디어 데이터는 데이터 소스의 특징에 따라 음성, 영상, 비디오 중 적어도 일부만을 포함할 수 있다. 예를 들어, 스마트폰과 같은 단말 장치로부터 촬영된 멀티미디어 데이터는 음성 및 동영상을 포함할 수 있고, CCTV로 촬영된 멀티미디어 데이터는 동영상만을 포함할 수 있다. 주기적으로 특정 영역을 정지 영상으로 촬영한 경우, 멀티미디어 데이터는 영상 시퀀스를 포함할 수 있다.
전처리부(120)는 다양한 소스의 입력 데이터에 대해 멀티미디어 정보 검출부(130)의 각 검출기의 입력에 맞도록 샘플링, 크기변경 등의 전처리를 수행하고, 전처리된 데이터를 멀티미디어 정보 검출부(130)의 각 검출기로 전달한다. 예를 들면, 전처리부(120)는 입력 데이터가 초당 30 프레임으로 입력되는 동영상인 경우, 초당 프레임 수를 변경할 수 있고, 멀티미디어 정보 검출부(130)의 각 검출기의 입력 명세에 따라 동적으로 입력 데이터의 크기를 변경할 수 있다. 또한 전처리부(120)는 입력 데이터의 컨텍스트 정보를 지식 베이스 정형화부(140)로 전달한다.
멀티미디어 정보 검출부(130)는 전처리된 데이터를 토대로 요구되는 메타 정보를 추출한다.
도 2를 보면, 멀티미디어 정보 검출부(130)는 제어부(131), PoS(Part of Speech) 검출기(132), OCR(Optical Character Recognition) 검출기(133), PoV(Part of Visuals) 검출기(134) 및 VtS(Visuals to Sentence) 검출기(135)를 포함할 수 있다. 도 2에서는 PoS 검출기(132), OCR 검출기(133), PoV 검출기(134) 및 VtS 검출기(135)만을 도시하였으나, 요구되는 메타 정보에 따라 다른 제3자 검출기가 추가적으로 사용될 수 있다.
제어부(131)는 전처리부(120)에 의해 전처리된 데이터를 해당하는 검출기로 전달하고, 해당하는 검출기로부터 추출된 메타 정보를 지식 베이스 정형화부(140)로 전달한다.
PoS 검출기(132)는 입력 데이터가 음성을 포함하는 경우, 음성을 텍스트로 변환하여 텍스트 기반 품사 분석을 통해 입력 데이터에 포함된 객체(명사)나 행동/행위(동사)를 추출한다. 즉 PoS 검출기(132)는 음성 신호로부터 얻은 텍스트에서 의미역 분석과 같은 텍스트 마이닝 기법을 이용하여 대화 내용을 명사나 동사 기반으로 인식할 수 있다. 부가적으로, PoS 검출기(132)는 텍스트로 직접 변환이 불가능한 음성 신호의 경우에는 기차 소리 인식, 자동차 소리 인식 등과 같이 별도의 상황 정보로 메타 정보를 추출할 수 있다. PoS 검출기(132)에 의해 추출되는 메타 정보는 표 1과 같다.
OCR 검출기(133)는 입력 데이터가 동영상에서 추출한 프레임이나 영상일 경우, 영상 상에 존재하는 문자를 추출한다. 예를 들어, OCR 검출기(133)는 영상에 등장한 차량번호나 도로표지판 등을 인식할 수 있다. 이와 같이 인식된 차량번호는 입력 데이터에서 검출하는 자동차의 속성 값으로 사용될 수 있고, 인식된 도로표지판은 입력 데이터를 설명하는 상황 정보로 사용될 수 있다. OCR 검출기(133)에 의해 추출되는 메타 정보는 표 2와 같다.
PoV 검출기(134)는 입력 데이터가 영상 또는 동영상일 경우 CNN(Convolutional Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이나 기계학습 기법을 통해 객체(명사) 및 행동/행위(동사)를 추출한다. 예를 들어, PoV 검출기(134)는 각 영상이나 영상 프레임 또는 연결된 영상 및 영상 프레임에서 사물(명사)이나 이벤트(동사) 정보 등을 검출할 수 있다. PoV 검출기(134)에 의해 추출되는 메타 정보는 표 3과 같다.
VtS 검출기(135)는 입력 데이터가 영상 또는 동영상일 경우 신경망이나 기계학습 기법을 통해 입력 데이터를 텍스트 문장으로 자동 변환 및 추출한다. 예를 들어, VtS 검출기(135)는 입력 데이터가 영상인 경우 영상 캡셔닝 기법 등을 통해 문장을 추출할 수 있고, 입력 데이터가 동영상일 경우 CNN과 RNN등을 통해 문장을 추출할 수 있다. VtS 검출기에 의해 추출되는 메타 정보는 표 4와 같다.
제어부(131)는 요구되는 메타 정보의 검출 기능에 따라 PoS 검출기(132), OCR 검출기(133), PoV 검출기(134) 및 VtS 검출기(135)를 독립적으로 또는 다양하게 조합 구성하여 사용할 수 있도록 한다. 예를 들어, OCR 검출기(133)는 검출을 위한 영역 결정을 위해 PoV 검출기(134)와 연동함으로써, 차량과 같은 관심 객체의 영역 정보를 공유할 수 있다. 또한 PoV 검출기(134)는 OCR 검출기(133)와 연동함으로써, 내부적으로 인식한 차량번호를 OCR 검출기(133)로부터 추출된 차량의 속성으로 사용할 수 있다.
이러한 PoS 검출기(132), OCR 검출기(133), PoV 검출기(134) 및 VtS 검출기(135)는 하나의 시스템에서 중앙집중식으로 운용될 수도 있고, 논리적으로 서로 다른 머신에 분산 설치되어 운용되고 그 결과를 상호 공유할 수 있다.
지식 베이스 정형화부(140)는 스키마와 같은 멀티미디어 지식 표현 형식을 정의하고, 멀티미디어 정보 검출부(130)의 각 검출기(132~135)로부터 검출된 메타 정보와 전처리부(120)로부터 수신한 입력 데이터의 컨텍스트 정보를 동적으로 융합/합성하여 멀티미디어 지식 표현 형식에 따라 멀티미디어 지식으로 정형화한다. 지식 베이스 정형화부(140)는 멀티미디어 정보 검출부(130)의 각 검출기(132~135)로부터 검출된 메타 정보가 멀티미디어 지식 표현 형식에 부합하지 않을 경우, 사전 구축된 규칙(semantic rule) 및 용어(lexicon) 기반 지식 온톨로지를 이용하여 가장 유사도가 높은 용어로 추론 및 변경하여 멀티미디어 정보 검출부(130)의 각 검출기(132~135)로부터 검출된 메타 정보를 멀티미디어 지식으로 정형화할 수 있다. 사전 구축된 규칙(semantic rule) 및 용어(lexicon) 기반 지식 온톨로지는 텍스트 및 비디오 코퍼스를 기반으로 언어학적 모델 관점에서 전통적인 텍스트마이닝 기법을 통해 별도로 구축되어 사용될 수 있다.
본 발명의 실시 예에 따르면, 사전 정의된 멀티미디어 지식 표현은 구문론적(Syntactic) 정보와 의미론적(Semantic) 정보로 크게 나눌 수 있다. 구문론적 정보는 멀티미디어 데이터의 외재적 구성 정보를 나타낸다. 의미론적 정보는 멀티미디어 데이터의 내재적 의미 정보를 나타낸다. 예를 들면, 구문론적 정보와 의미론적 정보는 표 5와 같이 나타낼 수 있다.
지식 베이스 정형화부(140)는 멀티미디어 지식을 XML(Extensible Markup Language)과 같은 마크업 언어나, JSON(JavaScript Object Notation)과 같은 데이터 포맷으로 표현하여 저장 및 교환할 수 있다.
지식 베이스 관리부(150)는 지식 베이스 정형화부(140)에서 생성한 멀티미디어 지식을 DB 모델링을 통해 타겟 서비스에 최적화된 형태의 계층적인 구조로 변환하여 지식 베이스 DB(160)에 저장 및 관리한다. 예를 들어, 지식 베이스 관리부(150)는 이벤트 검색이 핵심인 서비스의 경우, 이벤트 검색이 용이하게 프라이머리 키(primary key)로 이벤트 식별자(ID)를 사용할 수 있다. 지식 베이스 관리부(150)는 객체들의 관계까지 검색할 필요가 있는 서비스의 경우 프라이머리 키로 객체 식별자를 사용하고 객체간 관계를 인덱싱하여 검색 성능을 높일 수 있다. 또한 지식 베이스 관리부(150)는 사용자 인터페이스(180)를 통해 사용자로부터 멀티미디어 데이터의 검색 요청에 따라 지식 베이스 DB(160)를 검색한다.
지식 베이스 관리부(150)는 지식 베이스 DB(160)를 하나의 머신에 구축하여 중앙집중식으로 관리할 수도 있고 물리적으로 분산 배치하여 분산 데이터베이스 형태로 저장 및 관리할 수 있다.
지식 베이스 DB(160)는 검색에 최적화된 형태의 멀티미디어 지식을 저장한다.
원본 멀티미디어 아카이브(170)는 입력 데이터에 해당하는 멀티미디어 데이터를 저장한다.
사용자 인터페이스(180)는 사용자와의 인터페이스를 제공하며, 멀티미디어 지식 베이스로 구축된 지식 베이스 DB(160)로부터 사용자의 멀티미디어 데이터에 대한 검색을 지원한다.
그러면, 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템에서 HD(High Definition)급 CCTV로 녹화된 비디오 영상을 입력 데이터로 하여 멀티미디어 지식 베이스를 구축하는 방법에 대해서 도 3 내지 도 5를 참고로 하여 자세하게 설명한다.
도 3은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템에서 멀티미디어 지식 베이스를 구축하는 방법을 나타낸 흐름도이고, 도 4는 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 입력 데이터의 일 예를 나타낸 도면이다.
도 3을 참고하면, 위도와 경도가 각각 35.22도 및 126.83도에 위치한 학생회관에 설치된 ID가 'Cam 1' 인 카메라에서 촬영된 비디오 스트림 중 스트림 ID가 'Stream2016-1234'인 2016년 11월 30일 오후 3시에 촬영된 비디오 영상이 입력 데이터로서 입력부(110)로 입력된다(S302). 즉 도 4에 도시한 바와 같은 입력 데이터가 입력부(110)로 입력된다. 이 비디오 영상의 해상도는 (1024*768)이고 해당 비디오 영상은 원본 멀티미디어 아카이브(170)의'/cam1/stream2016-1234' 디렉토리에 저장되어 있다. 이 비디오 영상의 참값(ground truth)은 사람(person)이 오후 3시에 학생회관 정면에 있는 차(car)에서 무엇인가를 내리고 있다는 것이다. 이 참값은 멀티미디어 지식 베이스 구축 시스템(100)이 검출한 메타 정보가 얼마나 정확한지 평가할 때 비교 기준이 되는 실제 참값이다.
입력부(110)로 입력된 비디오 영상은 전처리부(120)로 전달된다. 전처리부(120)는 멀티미디어 정보 검출부(130)의 각 검출기(132~135)의 입력 명세에 맞게 입력된 비디오 영상을 전처리한다(S304).
설명의 편의를 위해, PoS 검출기(132)와 VtS 검출기(135)는 사용되지 않으며, 입력 데이터 및 활용 가능한 검출기의 제약 조건에 따라 OCR 검출기(133)와 PoV 검출기(134)만 동작하는 것으로 설명한다. 또한 OCR 검출기(133)는 PoV 검출기(134)와 연동하지 않는 것으로 가정한다. 전처리부(120)는 OCR 검출기(133)의 입력 명세에 맞게 입력된 영상의 데이터 스트림을 의미영역으로 분할하고 각 의미영역에서 대표 프레임 영상을 추출한다. 그리고 대표 프레임 영상을 640x480으로 크기를 줄인 후, 멀티미디어 정보 검출부(130)로 전달한다. 전처리부(120)에서 대표 프레임 영상을 추출하는 방법은 처리해야 할 영상의 중간 프레임을 추출하거나 영상 프레임에서 전후 프레임과 비교하여 변화량이 큰 프레임을 추출하는 방법 등 다양한 방법이 사용될 수 있다. 또한 전처리부(120)는 의미영역의 영상에서 연속된 프레임 영상을 추출하고, 해당 영상을 초당 5 프레임으로 샘플링한 후 멀티미디어 정보 검출부(130)로 전달한다.
멀티미디어 정보 검출부(130)의 제어부(131)는 전처리부(120)로부터 대표 프레임 영상을 수신하면, 해당 대표 프레임 영상을 OCR 검출기(133)로 전달하면서 문자 인식을 요청한다. 또한 멀티미디어 정보 검출부(130)의 제어부(131)는 전처리부(120)로부터 연속된 프레임 영상을 수신하면, 해당 프레임 영상들을 PoV 검출기(134)로 전달하면서 객체(명사) 및 행동/행위(동사) 인식을 요청한다.
OCR 검출기(133)는 전처리부(120)에서 전송한 대표 프레임 영상으로부터 문자를 검출하고, [모델 ID][확률, 왼쪽 상단 좌표(left,top), 폭, 높이, 인식한 문자열]와 같은 형식으로 검출 결과를 출력할 수 있다. 모델 ID는 문자를 검출하기 위해 사용한 문자 검출 모델의 식별자를 나타내고, 확률은 검출된 문자 값이 참일 확률을 나타낸다. 왼쪽 상단 좌표(left,top), 폭 및 높이는 문자가 검출된 영역의 왼쪽 상단 좌표(left, top), 폭 및 높이를 나타낸다.
PoV 검출기(134)는 전처리부(120)로부터 수신한 영상 프레임들을 사용하여 영상에 존재하는 객체/사물(명사)을 검출하고, 이를 시공간상으로 누적하여 행동/행위(동사) 이벤트를 추론한다. PoV 검출기(134)는 [모델 ID][확률, 프레임 번호, 왼쪽 상단 좌표(left,top), 폭, 높이, 사물/객체(명사) 클래스] 집합과, [모델 ID][확률, 시작 프레임, 종료 프레임, 이벤트 발생 영역(bounding box)의 왼쪽 상단 좌표(left,top), 폭, 높이, 행동/행위(동사) 클래스] 집합과 같은 형식으로 검출 및 추론된 정보를 출력할 수 있다. 승차하다'의 이벤트를 예를 들면, 차를 타기 위한 행위의 주체인 '차'와 '사람'의 영역을 포함하는 큰 사각형 영역이 이벤트 발생 영역이 된다.
도 5는 본 발명의 실시 예에 따른 OCR 검출기에서 도 4에 도시된 입력 데이터로부터 추출한 메타 정보의 일 예를 나타낸 도면이다.
도 5에 도시한 바와 같이, 모델 ID가 OCR-1인 OCR 검출기(133)는 왼쪽 상단 좌표가 (10,20)이고, 폭이 15이고, 높이가 30인 의미영역의 대표 프레임 영상으로부터 0.88의 확률로 차량 번호 "38더 xxxx"를 인식하고, 인식 결과를 "[OCR-1][0.88, (10,20), 15, 30, 38더 xxxx]"와 같이 인식 결과를 출력할 수 있다.
모델 ID가 PoV-1인 PoV 검출기(134)는 프레임 번호 234의 영상 프레임에서 영상의 왼쪽 상단 좌표가 (10,10)이고, 폭이 200이며 높이가 300인 의미영역으로부터 0.998의 확률로 객체/사물(명사) 'car'를 검출하고, 프레임 번호 234의 영상 프레임에서 영상의 왼쪽 상단 좌표가 (40,70)이고, 폭이 150이며 높이가 200인 의미 영역으로부터 0.969의 확률로 객체/사물(명사) 'person'을 검출하며, 프레임 번호 234부터 250 구간의 영상 프레임에서 왼쪽 상단 좌표(10,10) 및 폭이 200이며 높이가 300인 의미 영역으로부터 0.78의 확률로 행동/행위 이벤트(동사) 'unload'를 인식하게 된다. 이 경우, PoV-1인 PoV 검출기(134)는 "[PoV-1][(0.998, 234, (10, 10), 200, 300, car), (0.969, 234, (40, 70), 150, 200, person), (0.78, 234, 250, (10,10), 200, 300, unload)]와 같은 형식으로 검출 결과를 출력한다.
이와 같이, 멀티미디어 정보 검출부(130)는 다양한 제3자 검출기 솔루션을 활용하여 입력 데이터인 비디오 영상에 대한 메타 정보를 검출하고(S306), 검출된 메타 정보를 지식 베이스 정형화부(140)로 전달한다.
지식 베이스 정형화부(140)는 전처리부(120)로부터 수신한 비디오 영상의 컨텍스트 정보와 멀티미디어 정보 검출부(130)로부터 검출된 비디오 영상에 대한 메타 정보를 동적으로 융합/합성하여 입력 데이터를 사전에 정의된 멀티미디어 지식 표현 기반으로 정형화한다(S308). 입력 데이터의 컨텍스트 정보는 예를 들면, 카메라 ID인 Cam 1, 스트림 ID인 'Stream2016-1234', 촬영 장소인 학생 회관 및 촬영 시간인 3시 등의 정보를 포함할 수 있다.
도 6은 본 발명의 실시 예에 따른 지식 베이스 정형화부에서 지식 베이스를 생성하는 일 예를 나타낸 도면이다.
지식 베이스 정형화부(140)는 전처리부(120)로부터 입력 데이터에 대한 컨텍스트 정보와 OCR 검출기(133) 및 PoV 검출기(134)로부터 도 5에 도시한 바와 같은 메타 정보를 수신한다. 그리고 지식 베이스 정형화부(140)는 도 6에 도시한 바와 같이 사전에 정의된 육하원칙(5W1H) 기반 멀티미디어 지식 의미론적 형식에 메타 정보를 매핑시켜 정형화할 수 있다.
다시, 도 3을 보면, 지식 베이스 관리부(150)는 지식 베이스 정형화부(140)로부터 수신한 멀티미디어 지식 정보를 지식 베이스 DB(160)에 저장한다(S310). 지식 베이스 관리부(150)는 저장된 멀티미디어 지식 정보에 대한 빠른 검색을 지원하기 위해 검색에 적합하도록 지식 베이스 DB(160)를 모델링하여 멀티미디어 지식 정보를 저장 및 관리할 수 있다. 지식 베이스 DB(160)를 모델링 할 경우, 멀티미디어 지식 정보 자체가 기본적으로 '주어(subject)+술어(predicate)+목적어(object)' 형태로 주로 구성되기 때문에 멀티미디어 지식 정보를 저장하는 DB 테이블 구조는 검색의 편의를 위해 (주어, 술어, 목적어) 레코드를 추가하여 구성할 수 있다. 지식 베이스 관리부(150)는 검색의 일반화를 위해서는 기본적으로 5W1H 기반으로 기저 DB를 구축하고 타겟 서비스의 용도에 따라 주로 검색이 되는 항목 중심으로 인덱싱을 다시 하여 검색 성능을 높일 수 있다.
표 6 및 표 7은 지식 베이스 관리부(150)에서 빠른 검색을 지원하기 위해 구성한 테이블의 일 예를 나타낸다.
즉, 빠른 검색을 지원하기 위해 행동/행위와 연관된 객체 정보는 표 6과 같은 테이블 형태로 구성될 수 있으며, 영상에 존재하는 객체 정보는 표 7과 같은 테이블 형태로 구성될 수 있다.
도 7은 도 1에 도시된 사용자 인터페이스를 나타낸 도면이다.
도 7을 참고하면, 사용자 인터페이스(180)는 텍스트 입력 처리부(181), 자연어 입력 처리부(182), 영상 입력 처리부(183), 비디오 입력 처리부(184), PoS 검출기(185), PoV 검출기(186) 및 SQL(Structured Query Language) 생성기(187)를 포함할 수 있다. 또한 사용자 인터페이스(180)는 출력부(188)를 더 포함할 수 있다.
텍스트 입력 처리부는 사용자로부터 수신한 텍스트 입력을 처리하고, 텍스트 입력을 PoS 검출기(185)로 전달한다.
자연어 입력 처리부(182)는 사용자로부터 수신한 자연어 입력을 처리하고, 자연어 입력 처리를 통해 나온 텍스트 결과를 PoS 검출기(185)로 전달한다.
영상 입력 처리부(183)는 사용자로부터 수신한 영상 입력을 처리하고, 영상 입력을 PoV 검출기(186)로 전달한다.
비디오 입력 처리부(184)는 사용자로부터 수신한 비디오 입력을 처리하고, 비디오 입력을 PoV 검출기(186)로 전달한다.
PoS 검출기(185)는 텍스트 입력 처리부(181) 및/또는 자연어 입력 처리부(182)로부터 전달 받은 텍스트로부터 5W1H의 정보를 추출하고, 추출한 5W1H의 정보를 SQL 생성기(187)로 전달한다.
PoV 검출기(186)는 영상 입력 처리부(183) 및/또는 비디오 입력 처리부(184)로부터 전달 받은 영상 및/또는 비디오로부터 5W1H의 형식으로 검색 요청 정보를 추출하고, 추출한 5W1H의 검색 요청 정보를 SQL 생성기(187)로 전달한다.
한편, 자연어, 텍스트, 영상, 동영상 등의 입력이 순서에 상관없이 복합적으로 입력되는 경우, 텍스트 입력 처리부(181), 자연어 입력 처리부(182), 영상 입력 처리부(183) 및 비디오 입력 처리부(184)는 순차적으로 동작하여 해당 입력을 처리할 수 있다.
SQL 생성기(187)는 5W1H의 검색 요청 정보를 지식 베이스 관리부(150)로 전달하여 검색을 요청하고, 지식 베이스 관리부(150)로부터 검색 결과를 수신한다.
출력부(188)는 지식 베이스 관리부(150)로부터 검색 결과를 사용자에게 제공한다. 이때 리스트 형식으로 검색 결과를 출력하거나 검색 결과에 대한 특정 링크를 사용자에게 제공할 수 있다. 출력부(188)는 사용자가 특정 링크를 선택하면, 원본 멀티미디어 데이터를 재생시킬 수 있다.
도 8은 본 발명의 실시 예에 따른 멀티미디어 지식 베이스 구축 시스템의 다른 일 예를 나타낸 도면으로, 도 1을 참고하여 설명한 멀티미디어 지식 베이스 구축 시스템의 기능 중 적어도 일부를 수행할 수 있는 컴퓨터 시스템을 나타낸다.
도 8을 참고하면, 멀티미디어 지식 베이스 구축 시스템(800)은 적어도 하나의 프로세서(810), 메모리(820), 저장 장치(830), 입출력(input/output, I/O) 인터페이스(840) 및 네트워크 인터페이스(850)를 포함한다.
프로세서(810)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.
메모리(820)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다.
저장 장치(830)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.
I/O 인터페이스(840)는 프로세서(810) 및/또는 메모리(820)가 저장 장치(830)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(840)는 사용자와의 인터페이스를 제공할 수 있다.
네트워크 인터페이스(850)는 네트워크를 통해 머신, 단말, 시스템 등과 같은 네트워크 엔티티와 인터페이스를 제공한다.
프로세서(810)는 도 1 내지 도 8에서 설명한 입력부(110), 전처리부(120), 멀티미디어 정보 검출부(130), 지식 베이스 정형화부(140), 지식 베이스 관리부(150) 및 사용자 인터페이스(180)의 기능 중 적어도 일부의 기능을 수행할 수 있다. 프로세서(810)는 도 1 내지 도 8에서 설명한 입력부(110), 전처리부(120), 멀티미디어 정보 검출부(130), 지식 베이스 정형화부(140), 지식 베이스 관리부(150) 및 사용자 인터페이스(180)의 기능 중 적어도 일부의 기능을 구현하기 위한 프로그램 명령을 메모리(820)에 로드시켜, 도 1 내지 도 8을 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(830)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
메모리(820) 또는 저장 장치(830)는 지식 베이스 DB 및 원본 멀티미디어 아카이브(170)를 포함할 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.
Claims (20)
- 텍스트, 음성, 영상 및 비디오 중 하나 이상의 조합으로 구성된 멀티미디어 데이터로부터 멀티미디어 지식 베이스를 구축하는 시스템으로서,
입력되는 멀티미디어 데이터로부터 텍스트화된 메타 정보를 검출하는 멀티미디어 정보 검출부, 그리고
상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를, 상기 멀티미디어 데이터의 외재적 구성 정보를 나타내는 구문론적 정보와 상기 멀티미디어 데이터의 내재적 의미 정보를 나타내는 의미론적 정보로 분류하여 멀티미디어 지식으로 정형화하는 지식 베이스 정형화부
를 포함하며,
상기 의미론적 정보는 상기 멀티미디어 데이터를 구성하는 의미 영역에 내재된 이벤트 정보 및 상기 이벤트 정보를 구성하는 상황 정보를 포함하고,
상기 구문론적 정보는 상기 멀티미디어 데이터를 생성한 카메라 관련 정보를 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 지식 베이스 정형화부는 상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를 이용하여 상기 멀티미디어 데이터를 5W1H 형식의 멀티미디어 지식으로 정형화하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 구문론적 정보는 상기 카메라에 의해 생성된 멀티미디어 데이터의 정보 및 상기 멀티미디어 데이터를 구성하는 의미 영역에서 추출된 객체 검출 정보를 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 이벤트 정보를 구성하는 상황 정보는 적어도 상기 이벤트의 동작주와 상기 이벤트의 피동작주를 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 멀티미디어 지식을 저장하는 지식 베이스 DB(database), 그리고
상기 지식 베이스 DB를 모델링하여 상기 멀티미디어 지식을 검색에 최적화된 구조로 변환하여 관리하는 지식 베이스 관리부
를 더 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제5항에서,
사용자로부터 멀티미디어 데이터에 대한 검색 요청을 처리하는 사용자 인터페이스
를 더 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제6항에서,
상기 사용자 인터페이스는 자연어, 텍스트, 영상, 동영상 중 적어도 하나의 검색 요청 정보로부터 5W1H의 형식의 검색 요청 정보를 추출하고, 상기 5W1H의 형식의 검색 요청 정보를 상기 지식 베이스 관리부로 전달하고,
상기 지식 베이스 관리부는 상기 5W1H의 형식의 검색 요청 정보를 토대로 상기 지식 베이스 DB를 검색하여 그 결과를 상기 사용자 인터페이스로 전달하는 멀티미디어 지식 베이스 구축 시스템. - 제6항에서,
상기 사용자 인터페이스는 검색된 멀티미디어 데이터에 대한 링크를 제공하고, 상기 사용자가 상기 링크를 선택하는 경우 상기 검색된 멀티미디어 데이터를 재생하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 멀티미디어 정보 검출부는
음성 입력을 텍스트로 변환하여 상기 음성 입력에 포함된 객체나 행위를 추출하는 PoS(Part of Speech) 검출기,
영상 입력으로부터 문자를 추출하는 OCR(Optical Character Recognition) 검출기,
영상 또는 동영상 입력으로부터 상기 영상 또는 동영상 입력에 포함된 객체나 행위를 추출하는 PoV(Part of Visuals) 검출기, 그리고
영상 또는 동영상 입력으로부터 텍스트 문장을 추출하는 VtS(Visuals to Sentence) 검출기
중 적어도 하나를 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제9항에서,
상기 멀티미디어 정보 검출부는 필요한 메타 정보에 따라 상기 PoS 검출기, 상기 OCR 검출기, 상기 PoV 검출기 및 상기 VtS 검출기를 독립적으로 또는 조합하여 동작시키는 제어부를 더 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제9항에서,
상기 멀티미디어 정보 검출부의 각 검출기의 입력 명세에 맞게 상기 멀티미디어 데이터를 전처리하여 상기 각 검출기로 전달하는 전처리부
를 더 포함하는 멀티미디어 지식 베이스 구축 시스템. - 제1항에서,
상기 지식 베이스 정형화부는 상기 텍스트화된 메타 정보가 상기 멀티미디어 지식의 표현 형식에 부합하지 않는 경우, 사전 구축된 규칙 및 용어 기반 지식 온톨로지를 이용하여 가장 유사도가 높은 용어로 추론 및 변경하여 멀티미디어 지식으로 정형화하는 멀티미디어 지식 베이스 구축 시스템. - 멀티미디어 지식 베이스 구축 시스템에서 텍스트, 음성, 영상 및 비디오 중 하나 이상의 조합으로 구성된 멀티미디어 데이터로부터 멀티미디어 지식 베이스를 구축하는 방법으로서,
입력되는 멀티미디어 데이터로부터 텍스트화된 메타 정보를 검출하는 단계,
상기 텍스트화된 메타 정보와 상기 멀티미디어 데이터의 컨텍스트 정보를 이용하여 상기 멀티미디어 데이터의 외재적 구성 정보를 나타내는 구문론적 정보의 멀티미디어 지식과 상기 멀티미디어 데이터의 내재적 의미 정보를 나타내는 의미론적 정보의 멀티미디어 지식으로 분류하여 정형화하는 단계, 그리고
상기 멀티미디어 지식을 지식 베이스 DB(database)에 저장하는 단계
를 포함하며,
상기 의미론적 정보는 상기 멀티미디어 데이터를 구성하는 의미 영역에 내재된 이벤트 정보 및 상기 이벤트 정보를 구성하는 상황 정보를 포함하고,
상기 구문론적 정보는 상기 멀티미디어 데이터를 생성한 카메라 관련 정보를 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 정형화하는 단계는 상기 의미론적 정보의 멀티미디어 지식을 5W1H 형식으로 표현하는 단계를 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 구문론적 정보는 상기 카메라에 의해 생성된 멀티미디어 데이터의 정보 및 상기 멀티미디어 데이터를 구성하는 의미 영역에서 추출된 객체 검출 정보를 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 이벤트 정보를 구성하는 상황 정보는 적어도 상기 이벤트의 동작주와 상기 이벤트의 피동작주를 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 정형화하는 단계는
상기 텍스트화된 메타 정보가 상기 멀티미디어 지식의 표현 형식에 부합하지 않는 경우, 사전 구축된 규칙 및 용어 기반 지식 온톨로지를 이용하여 가장 유사도가 높은 용어로 추론 및 변경하는 단계, 그리고
상기 추론 및 변경된 용어를 상기 멀티미디어 지식으로 정량화하는 단계
를 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 지식 베이스 DB를 모델링하여 상기 멀티미디어 지식을 검색에 최적화된 구조로 변환하여 저장하는 단계
를 더 포함하는 멀티미디어 지식 베이스 구축 방법. - 제18항에서,
사용자로부터 자연어, 텍스트, 영상, 동영상 중 적어도 하나의 검색 요청 정보를 수신하면, 상기 검색 요청 정보로부터 5W1H의 형식의 검색 요청 정보를 추출하는 단계,
상기 5W1H의 형식의 검색 요청 정보를 토대로 상기 지식 베이스 DB를 검색하는 단계, 그리고
검색 결과를 사용자에게 제공하는 단계
를 더 포함하는 멀티미디어 지식 베이스 구축 방법. - 제13항에서,
상기 검출하는 단계는 상기 멀티미디어 데이터로부터 서로 다른 메타 정보를 검출하는 적어도 하나의 검출기로부터 검출되는 메타 정보를 획득하는 단계를 포함하고,
상기 적어도 하나의 검출기는 음성 입력을 텍스트로 변환하여 상기 음성 입력에 포함된 객체나 행위를 추출하는 PoS(Part of Speech) 검출기,
영상 입력으로부터 문자를 추출하는 OCR(Optical Character Recognition) 검출기,
영상 또는 동영상 입력으로부터 상기 영상 또는 동영상 입력에 포함된 객체나 행위를 추출하는 PoV(Part of Visuals) 검출기, 그리고
영상 또는 동영상 입력으로부터 텍스트 문장을 추출하는 VtS(Visuals to Sentence) 검출기 중 적어도 하나를 포함하는 멀티미디어 지식 베이스 구축 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170043864A KR102376201B1 (ko) | 2017-04-04 | 2017-04-04 | 멀티미디어 지식 베이스 구축 시스템 및 방법 |
| US15/945,690 US20180285744A1 (en) | 2017-04-04 | 2018-04-04 | System and method for generating multimedia knowledge base |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170043864A KR102376201B1 (ko) | 2017-04-04 | 2017-04-04 | 멀티미디어 지식 베이스 구축 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180112590A KR20180112590A (ko) | 2018-10-12 |
| KR102376201B1 true KR102376201B1 (ko) | 2022-03-18 |
Family
ID=63670823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170043864A KR102376201B1 (ko) | 2017-04-04 | 2017-04-04 | 멀티미디어 지식 베이스 구축 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20180285744A1 (ko) |
| KR (1) | KR102376201B1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423724B2 (en) * | 2017-05-19 | 2019-09-24 | Bioz, Inc. | Optimizations of search engines for merging search results |
| CN109818839B (zh) * | 2019-02-03 | 2022-02-25 | 三星电子（中国）研发中心 | 应用于智能家居的个性化行为预测方法、装置和系统 |
| KR102206604B1 (ko) * | 2019-02-25 | 2021-01-22 | 네이버 주식회사 | 글자 인식 장치 및 이에 의한 글자 인식 방법 |
| US11011183B2 (en) * | 2019-03-25 | 2021-05-18 | Cisco Technology, Inc. | Extracting knowledge from collaborative support sessions |
| CN110580339B (zh) * | 2019-08-21 | 2023-04-07 | 华东理工大学 | 一种医疗术语知识库完善的方法和装置 |
| CN111988673B (zh) * | 2020-07-31 | 2023-05-23 | 清华大学 | 视频描述语句的生成方法及相关设备 |
| US20220147434A1 (en) | 2020-11-12 | 2022-05-12 | New Relic, Inc. | Automation solutions for event logging and debugging on kubernetes |
| CN113987188B (zh) * | 2021-11-10 | 2022-07-08 | 重庆邮电大学 | 一种短文本分类方法、装置及电子设备 |
| CN114491071B (zh) * | 2022-01-27 | 2024-08-09 | 北京工商大学 | 一种基于跨媒体数据的食品安全知识图谱构建方法及系统 |
| KR20230146233A (ko) | 2022-04-12 | 2023-10-19 | 한국전자통신연구원 | 자연어를 이용한 동영상 구간 검색 방법 및 장치 |
| KR20240065946A (ko) | 2022-11-07 | 2024-05-14 | 주식회사 케이티 | 문자인식 및 지식그래프 기반의 오토레이블링 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016162054A (ja) * | 2015-02-27 | 2016-09-05 | 日本放送協会 | オントロジー生成装置、メタデータ出力装置、コンテンツ取得装置、オントロジー生成方法及びオントロジー生成プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100303153B1 (ko) * | 1997-12-27 | 2001-11-22 | 윤덕용 | 에이치티엠엘(html)문서저장및검색시스템 |
| US7606425B2 (en) * | 2004-09-09 | 2009-10-20 | Honeywell International Inc. | Unsupervised learning of events in a video sequence |
| KR20080078217A (ko) * | 2007-02-22 | 2008-08-27 | 정태우 | 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치 |
| KR101333064B1 (ko) * | 2009-08-14 | 2013-11-27 | 한국과학기술원 | 멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법 |
| KR20170024948A (ko) * | 2015-08-26 | 2017-03-08 | 박시후 | 태그 기반의 데이터 검색 방법 및 장치 |
-
2017
- 2017-04-04 KR KR1020170043864A patent/KR102376201B1/ko active IP Right Grant
-
2018
- 2018-04-04 US US15/945,690 patent/US20180285744A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016162054A (ja) * | 2015-02-27 | 2016-09-05 | 日本放送協会 | オントロジー生成装置、メタデータ出力装置、コンテンツ取得装置、オントロジー生成方法及びオントロジー生成プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180285744A1 (en) | 2018-10-04 |
| KR20180112590A (ko) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102376201B1 (ko) | 멀티미디어 지식 베이스 구축 시스템 및 방법 | |
| EP3830714B1 (en) | Systems and methods for generating metadata describing unstructured data objects at the storage edge | |
| US11409791B2 (en) | Joint heterogeneous language-vision embeddings for video tagging and search | |
| Sikos | Description logics in multimedia reasoning | |
| CN113010703B (zh) | 一种信息推荐方法、装置、电子设备和存储介质 | |
| EP4207772A1 (en) | Video processing method and apparatus | |
| JP5894149B2 (ja) | Ｔｏｐ−ｋ処理を活用した意味の充実 | |
| US20090204581A1 (en) | Method and apparatus for information processing based on context, and computer readable medium thereof | |
| CN113569037A (zh) | 一种消息处理方法、装置以及可读存储介质 | |
| CN113591530A (zh) | 一种视频检测方法、装置、电子设备和存储介质 | |
| CN102236714A (zh) | 一种基于xml的交互应用多媒体信息检索方法 | |
| TWI793432B (zh) | 工程專案文件管理方法與系統 | |
| JP2010211688A (ja) | 文書編集装置、データ処理方法及びプログラム | |
| KR20220130863A (ko) | 음성-텍스트 변환 영상 리소스 매칭 기반 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치 | |
| KR102474436B1 (ko) | 캡션 데이터를 기반으로 자연어 검색을 수행하는 영상 이미지 검색 장치 및 그 동작 방법 | |
| CN117009578A (zh) | 视频数据的标注方法、装置、电子设备及存储介质 | |
| WO2021060966A1 (en) | A system and method for retrieving a presentation content | |
| CN114443916A (zh) | 一种面向试验数据的供需匹配方法及系统 | |
| KR20230017433A (ko) | 여러 이미지로부터 객체를 병합하여 하나의 장면 이미지를 제공하는 이미지 관리 서버 및 이를 이용한 장면 이미지 생성 방법 | |
| KR20220036772A (ko) | 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템 | |
| Lee et al. | A mobile picture tagging system using tree-structured layered Bayesian networks | |
| CN116483946B (zh) | 数据处理方法、装置、设备及计算机程序产品 | |
| KR102347228B1 (ko) | 음성 정보로부터 변환된 텍스트의 영상 리소스 매칭을 이용한 멀티미디어 변환 콘텐츠 제작 서비스 제공 방법 및 그 장치 | |
| Lu et al. | Automatic text location of multimedia video for subtitle frame | |
| KR102320851B1 (ko) | 딥러닝 텍스트 탐지 기술을 활용한 실생활 영상 속의 정보 검색 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |