KR102495702B1 - 서버 및 그 제어방법 - Google Patents

서버 및 그 제어방법 Download PDF

Info

Publication number
KR102495702B1
KR102495702B1 KR1020170160209A KR20170160209A KR102495702B1 KR 102495702 B1 KR102495702 B1 KR 102495702B1 KR 1020170160209 A KR1020170160209 A KR 1020170160209A KR 20170160209 A KR20170160209 A KR 20170160209A KR 102495702 B1 KR102495702 B1 KR 102495702B1
Authority
KR
South Korea
Prior art keywords
image
analysis
server
information
type
Prior art date
Application number
KR1020170160209A
Other languages
English (en)
Other versions
KR20190061631A (ko
Inventor
어니스토 산체스
구자윤
비벡 아가르왈
자틴 가르그
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170160209A priority Critical patent/KR102495702B1/ko
Priority to PCT/KR2018/013743 priority patent/WO2019107796A1/ko
Priority to US16/765,655 priority patent/US11625560B2/en
Publication of KR20190061631A publication Critical patent/KR20190061631A/ko
Application granted granted Critical
Publication of KR102495702B1 publication Critical patent/KR102495702B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 서버 및 그 제어방법 등에 관한 것으로서, 본 발명의 서버는, 외부장치와 통신 가능한 통신부; 및 상기 통신부를 통해 상기 외부장치로부터 영상을 수신하고, 상기 영상에 대한 분석 타입이 서로 다른 복수의 영상 분석 모델을 상기 수신된 영상에 적용하여 처리하고, 상기 처리에 따라 상기 복수의 분석 타입에 각각 대응하는 상기 영상에 관한 분석 결과 정보를 생성하는 처리부를 포함한다.
이에 의하면, 하나의 영상에 대하여 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 영상의 분석, 처리, 및 결과 정보 생성 중 적어도 일부는 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행될 수 있다.

Description

서버 및 그 제어방법 {SERVER AND THE CONTROL METHOD THEREOF}
본 발명은 서버 및 그 제어방법 등에 관한 것으로서, 보다 구체적으로는 영상 분석에 기반한 처리를 수행하는 서버 및 그 제어방법 등에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
본 발명은, 영상에 대하여 더욱 다양한 유형의 서비스를 제공할 수 있는 서버 등을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 서버는, 외부장치와 통신 가능한 통신부; 및 상기 통신부를 통해 상기 외부장치로부터 영상을 수신하고, 상기 영상에 대한 분석 타입이 서로 다른 복수의 영상 분석 모델을 상기 수신된 영상에 적용하여 처리하고, 상기 처리에 따라 상기 복수의 분석 타입에 각각 대응하는 상기 영상에 관한 분석 결과 정보를 생성하는 처리부를 포함한다.
이에 의하면, 하나의 영상에 대하여 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 서버는, 각각 영상을 수신할 수 있는 복수의 영상수신부를 포함하고, 상기 처리부는 상기 복수의 영상수신부를 통해 복수의 영상을 수신하고, 상기 복수의 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
이에 의하면, 복수의 영상에 대해서도 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 처리부는 상기 통신부를 통해 수신한 영상을 종류별로 분류하고, 상기 종류별로 분류된 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
이에 의하면, 영상에 대한 제공하는 다양한 유형의 영상 분석 정보의 신뢰도를 높일 수 있다.
상기 처리부는, 분석 타입이 서로 다른 복수의 영상 인식 모델 중에서, 상기 수신된 영상에 기초하여 상기 영상에 적용할 2이상의 영상 분석 모델을 결정하고, 상기 결정된 2이상의 영상 분석 모델을 상기 수신된 영상에 적용하는 처리할 수 있다.
이에 의하면, 영상에 대한 다양한 유형의 영상 분석 정보를 제공함에 있어서, 영상에 적합하면서도 유용한 영상 분석 정보를 효율적으로 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다른 서버는, 외부장치와 통신 가능한 통신부; 적어도 하나의 영상에 대하여 적어도 하나의 영상 분석 모델의 분석 타입에 대응하는 상기 영상에 관한 분석 결과 정보를 저장할 수 있는 저장부; 및 상기 통신부를 통해 외부장치로부터 영상에 관한 질의를 수신하고, 상기 영상에 관한 질의에 대응하는 영상 분석 모델의 분석 타입을 결정하고, 상기 저장부에 저장된 영상에 관한 분석 결과 정보에 기초하여 상기 결정된 분석 타입과 상기 질의에 대응하는 검색 결과를 결정 또는 생성하고, 상기 검색 결과를 상기 외부장치로 전송하는 처리부를 포함할 수 있다.
이에 의하면, 사용자가 영상에 대하여 특별한 유형의 정보에 한정되지않고 자유롭게 질의를 입력하더라도, 사용자의 요청에 부합하는 영상 관련 정보를 제공할 수 있다.
상기 처리부는 상기 통신부를 통해 복수의 외부장치로부터 질의를 수신하고, 상기 복수의 외부장치 각각에 대해 상기 생성된 검색 결과를 전송할 수 있다.
이에 의하면, 다수의 외부장치에 대해 영상에 관한 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 사용자입력부; 외부장치와 통신할 수 있는 통신부; 및 영상 분석 모델의 분석 타입에 관한 내용을 포함한 영상에 관한 질의를 상기 사용자입력부를 통하여 사용자로부터 수신하고, 상기 질의를 상기 외부장치로 전송하고, 상기 질의에 포함된 분석 타입에 대응하고 영상에 관한 분석 결과 정보에 기초하여 결정 또는 생성된 검색 결과를 상기 외부장치로부터 수신하고, 상기 수신한 검색 결과를 상기 디스플레이부에 표시하는 처리부를 포함할 수 있다.
상기 처리부는 상기 영상에 관한 질의에 대응하는 영상 분석 모델의 분석 타입에 관한 정보를 상기 외부장치로 전송할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 서버의 제어방법은, 외부장치로부터 영상을 수신하는 단계; 상기 영상에 대한 분석 타입이 서로 다른 복수의 영상 분석 모델을 상기 수신된 영상에 적용하여 처리하는 단계; 및 상기 처리에 따라 상기 복수의 분석 타입에 각각 대응하는 상기 영상에 관한 분석 결과 정보를 생성하는 단계를 포함할 수 있다.
이에 의하면, 하나의 영상에 대하여 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 서버는 각각 영상을 수신할 수 있는 복수의 영상수신부를 포함하고, 상기 영상을 수신하는 단계는 상기 복수의 영상수신부를 통해 복수의 영상을 수신하고, 상기 처리하는 단계는 상기 복수의 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
이에 의하면, 복수의 영상에 대해서도 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 제어방법은, 수신한 영상을 종류별로 분류하는 단계를 포함하고, 상기 처리하는 단계는 상기 종류별로 분류된 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
이에 의하면, 영상에 대한 제공하는 다양한 유형의 영상 분석 정보의 신뢰도를 높일 수 있다.
상기 제어방법은, 분석 타입이 서로 다른 복수의 영상 인식 모델 중에서, 상기 수신된 영상에 기초하여 상기 영상에 적용할 2이상의 영상 분석 모델을 결정하는 단계를 포함하고, 상기 처리하는 단계는 상기 결정된 2이상의 영상 분석 모델을 상기 수신된 영상에 적용하는 처리할 수 있다.
이에 의하면, 영상에 대한 다양한 유형의 영상 분석 정보를 제공함에 있어서, 영상에 적합하면서도 유용한 영상 분석 정보를 효율적으로 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다른 서버의 제어방법은, 적어도 하나의 영상에 대하여 적어도 하나의 영상 분석 모델의 분석 타입에 대응하는 상기 영상에 관한 분석 결과 정보를 저장하는 단계; 외부장치로부터 영상에 관한 질의를 수신하는 단계; 상기 영상에 관한 질의에 대응하는 영상 분석 모델의 분석 타입을 결정하는 단계; 상기 저장된 영상에 관한 분석 결과 정보에 기초하여 상기 결정된 분석 타입과 상기 질의에 대응하는 검색 결과를 결정 또는 생성하는 단계; 및 상기 검색 결과를 상기 외부장치로 전송하는 단계를 포함한다.
이에 의하면, 사용자가 영상에 대하여 특별한 유형의 정보에 한정되지않고 자유롭게 질의를 입력하더라도, 사용자의 요청에 부합하는 영상 관련 정보를 제공할 수 있다.
상기 수신하는 단계는 복수의 외부장치로부터 질의를 수신하고, 상기 전송하는 단계는 상기 복수의 외부장치 각각에 대해 상기 생성된 검색 결과를 전송할 수 있다.
이에 의하면, 다수의 외부장치에 대해 영상에 관한 다양한 유형의 영상 분석 정보를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 영상 분석 모델의 분석 타입에 관한 내용을 포함한 영상에 관한 질의를 사용자로부터 수신하는 단계; 상기 질의를 외부장치로 전송하는 단계; 상기 질의에 포함된 분석 타입에 대응하고 영상에 관한 분석 결과 정보에 기초하여 결정 또는 생성된 검색 결과를 상기 외부장치로부터 수신하는 단계; 및 상기 수신한 검색 결과를 표시하는 단계를 포함한다.
상기 제어방법은, 상기 영상에 관한 질의에 대응하는 영상 분석 모델의 분석 타입에 관한 정보를 상기 외부장치로 전송하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 전자장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 영상에 대하여 더욱 다양한 유형의 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개요를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 시스템의 구성을 나타내는 도면,
도 3은 본 발명의 다른 실시예에 따른 시스템의 구성을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 분석서버의 제어방법을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 분석서버의 작동을 나타내는 도면,
도 6은 본 발명의 다른 실시예에 따른 분석서버의 작동을 나타내는 도면,
도 7은 본 발명의 또 다른 실시예에 따른 분석서버의 작동을 나타내는 도면,
도 8은 본 발명의 또 다른 실시예에 따른 분석서버의 작동을 나타내는 도면,
도 9는 본 발명의 또 다른 실시예에 따른 분석서버의 제어방법을 나타내는 도면,
도 10은 본 발명의 일 실시예에 따른 DB서버와 클라이언트의 제어방법을 나타내는 도면,
도 11은 본 발명의 다른 실시예에 따른 클라이언트의 작동을 나타내는 도면,
도 12는 본 발명의 일 실시예에 따른 시스템의 작동 예시를 나타내는 도면,
도 13은 본 발명의 다른 실시예에 따른 DB서버와 클라이언트의 제어방법을 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다. 또한, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 서버(100)와 클라이언트(200)를 포함한 시스템을 도시한다.
본 발명의 일 실시예에 따른 서버(100)는 분석서버(110)와 DB서버(120)를 포함할 수 있다. 그러나 하나의 서버(100)에서 분석서버(110)의 기능과 DB서버(120)의 기능을 모두 수행하는 구성을 배제하는 것은 아니다.
분석서버(110)는 그 명칭이나 형태에 관계 없이, 영상을 처리할 수 있는 장치라면 무엇이든 가능하다. DB서버(120) 또한 그 명칭이나 형태에 관계 없이, 영상을 처리한 결과 정보를 저장하고 클라이언트(200)의 질의에 대응하여 검색결과를 제공할 수 있는 장치라면 무엇이든 가능하다.
본 발명의 일 실시예에 따른 클라이언트(200)는 디스플레이장치, 예컨대 TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 클라이언트(200)는, 예컨대, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스, 냉장고 등의 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 클라이언트(200)는 이에 한정되지 않고, 서버(100)로 질의를 전송하고 서버(100)로부터 검색결과를 수신하여 처리할 수 있는 장치라면 무엇이든 가능하다.
나아가 본 발명은 서버(100)와 클라이언트(200)의 구분 없이 하나의 장치에서 서버(100)와 클라이언트(200)의 기능을 모두 수행하는 형태로 구현될 수도 있다. 다만, 이하에서는 설명의 편의를 위하여 서버(100)와 클라이언트(200)가 구분되어 있는 구성을 전제로 설명한다.
도 1을 참조하여 본 발명의 일 실시예에 의한 서버(100)와 클라이언트(200)의 작동을 개괄하면, 분석서버(110)는 영상을 수신하고 수신된 영상에 대하여 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 분석 결과 정보를 생성한다. DB서버(120)는 분석서버(110)에서 생성된 분석 결과 정보를 저장하고, 클라이언트(200)로부터 질의를 수신하여 이에 대응하는 검색 결과를 클라이언트(200)로 전송한다. 클라이언트(200)는 DB서버(120)로 질의를 전송하고 DB서버(120)로부터 검색결과를 수신하여 그에 기반한 처리를 수행한다. 각 작동에 관한 자세한 내용은 후술한다.
도 2는 본 발명의 일 실시예에 따른 서버(100)와 클라이언트(200)를 포함한 시스템의 구성을 도시한다.
본 발명의 일 실시예에 따른 분석서버(110)는 통신부(111)와 처리부(112)를 포함한다. DB서버(120)는 통신부(121), 처리부(122) 및 저장부(123)를 포함한다. 클라이언트(200)는 통신부(201), 처리부(202), 디스플레이부(203)를 포함한다. 다만, 도 2에 도시된 서버(100) 또는 클라이언트(200)의 구성은 하나의 예시일 뿐, 본 발명의 실시예에 의한 서버(100)와 클라이언트(200)는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 서버(100)와 클라이언트(200)는, 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
분석서버(110)의 통신부(111)는 외부장치, 예컨대 DB서버(120) 또는 클라이언트(200)와 통신할 수 있고 외부장치로부터 영상을 수신할 수도 있다. 통신부(111)는 유선 또는 무선으로 통신 할 수 있다. 따라서 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, Wi-Fi, 블루투스, 지그비(Zigbee), 적외선 통신, Radio Control, UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 통신부(105)는 BLE(Bluetooth Low Energy), SPP(Serial Port Profile), WiFi Direct, 적외선 통신, Zigbee, NFC(Near Field Communication) 등의 통신모듈을 포함할 수 있다. 통신부(111)는 device, S/W module, circuit, chip 등의 형태로 구현될 수 있다.
분석서버(110)의 처리부(112)는 통신부(111) 의해 수신된 영상신호를 처리할 수 있다. 예를 들어 영상신호가 방송신호일 경우, 처리부(112)는 수신된 방송신호의 규격에 대응하는 신호처리를 수행하여 방송 컨텐츠의 데이터를 추출할 수 있다.
처리부(112)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는다. 처리부(1122)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
처리부(112)는, 분석서버(110)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 처리부(112)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 분석서버(110) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 분석서버(110)의 제조 시에 분석서버(110)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 분석서버(110)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 분석서버(110)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 처리부(112)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다.
처리부(112)는, 예컨대, 영상을 수신하도록 통신부(111)를 제어할 수 있다. 처리부(112)는 또한 영상신호에 대해 영상처리를 수행한 결과가 외부장치로 전송되도록 통신부(111)를 제어할 수도 있다. 도 2에 도시된 분석서버(110)는 하나의 처리부(112)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 분석서버(110)는 처리부와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.
본 발명의 일 실시예에 따른 DB서버(120)는 통신부(121), 처리부(122) 및 저장부(123)를 포함한다.
DB서버(120)의 통신부(121)는 분석서버(110)의 통신부(111)에 관한 설명이 모두 적용 가능하므로 자세한 설명은 생략한다.
DB서버(120)의 처리부(122)는 클라이언트(200)로부터 질의를 수신받아 처리할 수 있다는 점이 분석서버(110)의 처리부(112)와 다르나, 그 이외에는 분석서버(110)의 처리부(112)에 관한 설명이 모두 적용 가능하므로 자세한 설명은 생략한다.
DB서버(120)의 저장부(123)는 분석서버(110)의 분석 결과 생성된 분석 결과 정보를 저장할 수 있다. 저장부(123)는 처리부(122)의 처리 및 제어에 따라서 다양한 데이터를 저장할 수 있다. 저장부(123)는 처리부(122)에 의해 엑세스되어, 데이터의 독취, 기록, 수정, 삭제, 갱신 등을 수행할 수 있다. 저장부(123)는 DB서버(120)에 대한 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리를 포함할 수 있다. 또한, 저장부(123)는 처리부(122)에 의해 처리되는 데이터가 임시로 로딩되기 위한 버퍼, 램 등과 같은 휘발성 메모리를 포함할 수 있다.
본 발명의 일 실시예에 따른 클라이언트(200)는 통신부(201), 처리부(202), 디스플레이부(203)를 포함한다.
클라이언트(200)의 통신부(201)는 분석서버(110)의 통신부(111)에 관한 설명이 모두 적용 가능하므로 자세한 설명은 생략한다.
클라이언트(200)의 처리부(202)는 DB서버(120)로부터 질의에 대한 검색결과를 수신받아 처리할 수 있다는 점이 분석서버(110)의 처리부(112)와 다르나, 그 이외에는 분석서버(110)의 처리부(112)에 관한 설명이 모두 적용 가능하므로 자세한 설명은 생략한다.
디스플레이부(203)는, DB서버(120)로부터 수신한 검색결과를 표시할 수 있다. 디스플레이부(203)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부(104)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(203)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 서버(100)와 클라이언트(200)를포함한 시스템의 구성을 도시한다. 본 발명의 다른 실시예에 따른 서버(100)는, 도 2에서의 분석서버(110)와 DB서버(120)의 기능을 하나의 서버(100)에서 처리할 수 있도록 통신부(101)와 처리부(102), 저장부(103)를 모두 포함할 수 있다. 특히 처리부(102)는 분석서버(110)의 처리부(112)와 DB서버(120)의 처리부(122)의 기능을 모두 수행할 수 있다. 다만, 이하에서는 설명의 편의를 위하여 도 2와 같이 분석서버(110)와 DB서버(120)를 포함하는 구성을 전제로 설명한다.
도 4는 본 발명의 일 실시예에 따른 분석서버(110)의 제어방법을 도시한다.
분석서버(110)의 처리부(112)는 통신부(111)를 통해 외부장치로부터 영상을 수신하고(S401), 영상에 대한 분석 타입이 서로 다른 복수의 영상 분석 모델을 수신된 영상에 적용하여 처리한다(S402).
여기서 영상 분석 모델이란 영상 분석에 사용되는 처리 방법을 통칭하는 것으로서, 영상 분석을 할 수 있는 처리 방법이라면 무엇이든 영상 분석 모델에 포함될 수 있다. 영상 분석 모델의 처리 대상은 영상 자체에 관한 분석에 한정되지 않고, 영상과 함께 재생되는 소리나 음성을 분석하기 위한 처리 방법도 포함할 수 있다.
여기서 영상 분석 모델 사이의 분석 타입이 다르다는 것은, 영상 분석모델 사이에서 분석의 목적, 대상, 방법, 분석틀, 적용기술 또는 기본구조 등에 있어서 적어도 하나가 다르다는 것을 뜻한다.
영상 분석 모델은, 분석의 목적 또는 대상 등을 기준으로 구분하면, 객체 인식 모델, 객체 추적 모델, 텍스트 인식 모델, 장면 구분 모델, 장면 인식 모델, 이미지 묘사글 생성 모델, 비디오 묘사글 또는 줄거리 생성 모델, 이미지 향상 모델, 이미지 생성 모델(예를 들어 Generative Adversarial Network, Style Transfer 등), 음성 인식 모델 등을 포함할 수 있다. 또한, 영상 분석 모델은, 분석의 방법이나 기술 등을 기준으로 구분하면, 머신 러닝 모델, 뉴럴 네트워크 모델, 딥 러닝 모델, 구역 기반 분류 모델, 픽셀 기반 분류 모델 등을 포함할 수 있다. 그러나 영상 분석 모델이 이에 한정되는 것은 아니다.
이후 처리부(112)는 복수의 분석 타입에 각각 대응하는 상기 영상에 관한 분석 결과 정보를 생성한다(S403). 처리부(112)는 하나의 영상에 대하여 영상에 대한 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리하므로, 각 분석 타입별로 그에 대응하는 분석 결과 정보가 각각 생성된다.
이에 의하면, 본 발명은 하나의 영상에 대하여 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용함으로써, 하나의 영상에 대하여 다양한 유형의 영상 분석 정보를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 분석서버(110)의 작동을 도시한다. 도 5에서 볼 수 있듯이, 분석서버(110)의 처리부(112)는 수신된 영상에 대하여 영상 분석 모델 1부터 영상 분석 모델 N까지 복수개의 영상 분석 모델(501)을 적용하여 처리한다. 그 처리 결과로서 각각의 영상 분석 모델은 각 영상 분석 모델의 분석 타입에 대응하는 분석 결과 정보(502, 503)를 생성한다. 생성된 분석 결과 정보는, 예를 들어, 해당 영상에 포함된 객체 정보, 텍스트 정보, 장면 정보, 이미지 또는 비디오 묘사글, 줄거리 분석 정보, 음성 인식 정보 등을 포함할 수 있다. 즉, 하나의 영상에 대하여 분석 타입이 서로 다른 복수개의 영상 분석 모델을 적용함으로써 그 처리 결과로 생성된 분석 결과 정보 역시도 다양한 유형의 분석 타입에 대응되는 정보가 생성될 수 있다. 처리부(112)는 이상의 과정을 거쳐 생성된 분석 결과 정보(502, 503)를 DB서버(120)에 전송하여 저장하도록 할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 분석서버(110)의 작동을 도시한다. 이상 설명한 실시예에서 분석서버(110)의 처리부(112)는 하나의 영상을 수신하여 그에 대해 복수의 영상 분석 모델을 적용하였다. 그러나 처리부(112)가 수신하는 영상의 개수가 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따른 분석서버(110)는 각각 영상을 수신할 수 있는 복수의 영상수신부를 포함하여 복수의 영상을 수신하고 복수의 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
도 6을 참조하여 이를 설명하면, 본 발명의 다른 실시예에 따른 분석서버(110)의 처리부(112)는 복수의 영상(601)을 수신하여 각각의 영상에 대해 복수의 영상 분석 모델(602)을 적용하여 처리할 수 있다. 처리부(112)는 복수의 영상(601)을 서로 다른 시점에 수신할 수도 있고 동시에 수신할 수도 있다.
그 처리 결과 각각의 영상 분석 모델은 복수의 영상 각각에 대하여, 각 영상 분석 모델의 분석 타입에 대응하는 분석 결과 정보(603, 604)를 생성한다. 앞서 살펴본 도 5와 비교하면, 도 5에서 영상 분석 모델은 하나의 영상에 대해서만 분석 결과 정보를 생성했으나, 도 6에서 영상 분석 모델은 복수의 영상에 대해서 분석 결과 정보를 생성한다. 처리부(112)는 이상의 과정을 거쳐 생성된 분석 결과 정보(603, 604)를 DB서버(120)에 전송하여 저장하도록 할 수 있다.
이에 의하면, 복수의 영상에 대해서도 다양한 유형의 영상 분석 정보를 제공할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 분석서버(110)의 작동을 도시힌다. 본 발명의 또 다른 실시예에 따른 분석서버(110)의 처리부(112)는 통신부(111) 또는 영상수신부(701)를 통해 수신한 영상을 종류별로 분류하고(702), 종류별로 분류된 영상(703) 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다.
본 발명의 또 다른 실시예에 따른 분석서버(110)의 처리부(112)가 수신한 영상을 종류별로 분류하는 방법의 일 예는, 영상 공급 소스의 유형에 따라 분류하는 것이다. 분석서버(110)가 수신할 수 있는 영상의 공급 소스에는 특별한 한정이 없다. 예를 들어, 분석서버(110)는 지상파 TV 방송 영상, 케이블 TV 방송 영상, 위성 TV 방송 영상, IPTV 방송 영상, VOD (Video On Demand) 영상, 스트리밍 영상 등 다양한 영상 공급 소스로부터 영상을 수신할 수 있다. 이 경우 처리부(112)는 분석서버(110)에 수신되는 영상을 영상 공급 소스별로 분류하고, 각 분류된 분류된 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다. 다른 예로, 처리부(112)는 영상의 장르 또는 내용에 따라 영상을 분류할 수도 있다. 예컨대, 처리부(112)는 드라마, 스포츠, 음악방송, 예능 등의 영상 내용에 따라 영상을 분류한 뒤, 각 분류된 분류된 영상 각각에 대해 분석 타입이 서로 다른 복수의 영상 분석 모델을 적용하여 처리할 수 있다. 처리부(112)는 태그나 메타데이터 등 영상과 함께 전송되는 영상의 관련정보를 이용하여 위와 같이 영상을 분류할 수도 있고, 영상을 직접 분석하여 영상을 분류할 수도 있다.
위와 같이 수신된 영상을 종류별로 분류한 후, 처리부(112)는 각 분류된 영상에 적합하도록 영상 분석 모델을 최적화하여 이를 각 분류별로 적용할 수 있다.
이에 의하면, 영상에 대한 제공하는 다양한 유형의 영상 분석 정보의 신뢰도를 높일 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 분석서버(110)의 작동을 도시한다. 본 발명의 또 다른 실시예에 따른 분석서버(110)는 복수의 영상수신부를 구비하여 복수의 영상을 동시에 수신하고(801), 각 수신된 영상에 대해서는 영상을 분류하고(802), 분류된 영상에 대해 서로 분석 타입이 다른 영상 분석 모델을 적용하고(803), 생성된 분석 결과 정보를 저장(804)하는 일련의 과정을, 각 영상에 대해 병렬 처리함으로써 동시에 진행할 수 있다(805).
이에 의하면, 영상에 대한 다양한 유형의 영상 분석 정보를 더욱 효율적으로 제공할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 분석서버(110)의 제어방법을 도시한다. 본 발명의 또 다른 실시예에 따른 분석서버(110)의 처리부(112)는, 수신된 영상에 기초하여 영상에 적용할 2이상의 영상 분석 모델을 결정할 수 있다.
도 9를 참조하여 자세히 설명하면, 본 발명의 또 다른 실시예에 따른 분석서버(110)의 처리부(112)는 외부장치로부터 영상을 수신한다(S901). 이후 처리부(112)는 분석 타입이 서로 다른 복수의 영상 인식 모델 중에서, 수신된 영상에 기초하여 그 영상에 적용할 2이상의 영상 분석 모델을 결정한 후(S902), 결정된 2이상의 영상 분석 모델을 수신된 영상에 적용하여 처리하고(S903), 그 처리에 따라 복수의 분석 타입 각각에 대응하는 분석 결과 정보를 생성한다(S904).
수신된 영상에 기초하여 그 영상에 적용할 2이상의 영상 분석 모델을 결정하는 방법의 일 예로서, 처리부(112)는 수신된 영상의 종류 또는 장르에 따라 영상 분석 모델을 결정할 수 있다. 예를 들어, 드라마 또는 영화에 관한 영상이 수신된 경우, 처리부(112)는 장면 인식 모델과 비디오 줄거리 생성 모델을 영상에 대해 적용하도록 결정할 수 있다. 반면, 광고에 관한 영상이 수신된 경우, 처리부(112)는, 장면 인식 모델이나 비디오 줄거리 생성 모델보다는, 객체 인식 모델이나 텍스트 인식 모델을 영상에 대해 적용하도록 결정할 수 있다.
이에 의하면, 영상에 대한 다양한 유형의 영상 분석 정보를 제공함에 있어서, 영상에 적합하면서도 유용한 영상 분석 정보를 효율적으로 제공할 수 있다.
이하에서는 이상의 과정을 거쳐 생성된 영상에 관한 분석 결과 정보를 저장하고 있는 서버(100)와 영상에 관한 사용자의 질의를 수신하는 클라이언트(200) 사이의 상호작동을 설명한다.
도 10은 본 발명의 일 실시예에 따른 서버(100)와 클라이언트(200)의 제어방법을 도시한다. 이하 설명의 편의를 위하여 서버(100)는 DB서버(120), 클라이언트(200)는 디스플레이장치인 경우를 예를 들어 설명한다.
디스플레이장치의 처리부(202)는 영상 분석 모델의 분석 타입에 관한 내용을 포함한 질의를 수신한다. 처리부(202)가 질의를 수신하는 대상에는 특별한 한정은 없다. 예를 들어, 처리부(202)는 위 질의를 사용자로부터 수신할 수도 있고 외부장치로부터 수신할 수도 있다. 질의를 사용자로부터 수신할 경우, 사용자가 디스플레이장치에 질의를 입력하는 방법에는 특별한 한정이 없다. 예를 들어, 사용자는 음성입력, 리모컨입력, 터치입력, 제스처입력 등 다양한 입력 방법으로 디스플레이장치에 질의를 입력할 수 있다. 이하에서는 설명의 편의를 위해 사용자가 음성입력으로 질의를 입력하는 경우를 설명한다.
사용자가 자신이 발화하는 질의에 영상 분석 모델의 분석 타입에 관한 내용이 포함되어 있는지를 인지하지 못하는 경우에도, 사용자가 음성입력한 질의에는 영상 분석 모델의 분석 타입에 관한 내용이 포함될 수 있다. 예를 들어, 사용자가 "지금 여행에 관해서 방송하는 채널 알려줘"라는 질의를 발화한 경우, 위 질의에는 여행에 관한 객체, 텍스트, 이미지 묘사글 등과 같은 영상 분석 모델의 분석 타입에 관한 내용이 포함되어 있다. 다른 예로, 사용자가 "어제 BBS 드라마에서 방송된 내용 알려줘"라는 질의를 발화한 경우, 위 질의에는 비디오 묘사글 생성 모델 또는 비디오 줄거리 생성 모델 등의 영상 분석 모델의 분석 타입에 관한 내용이 포함되어 있다.
사용자로부터 질의를 수신한 처리부(202)는 수신된 질의를 외부장치, 예를 들어 DB서버(120)로 전송한다(S1002).
DB서버(120)의 처리부(122)는 디스플레이장치가 전송한 질의를 수신한 후(S1003), 질의에 대응하는 영상 분석 모델의 분석 타입을 결정한다(S1004). 앞서 본 바와 같이, 사용자의 질의에는 영상 분석 모델의 분석 타입에 관한 내용이 포함되어 있으므로, 처리부(122)는 사용자의 질의로부터 그에 대응하는 영상 분석 모델의 분석 타입을 결정할 수 있다. 예를 들어, 사용자의 질의가 음성신호의 형태인 경우, 처리부(122)는 위 음성신호에 대해 음성인식을 수행한 결과에 기초하여 영상 분석 모델의 분석 타입을 결정할 수 있다. 처리부(122)는 사용자의 음성신호에 대해 직접 음성인식 처리를 수행할 수도 있고, 디스플레이장치의 처리부(202)에서 음성인식 처리된 결과를 수신하여 이를 활용할 수도 있으며, DB서버(120)나 디스플레이장치와는 별도의 STT(Speech-To-Text) 서버를 활용하여 음성인식 처리를 수행할 수도 있다.
음성인식 처리된 결과에 기초하여 영상 분석 모델의 분석 타입을 결정하는 방법으로는, 일 예로, 영상 분석 모델의 분석 타입별로 그에 대응하는 키워드 등을 DB로 구축한 후 처리부(122)가 음성인식 처리 결과와 위 DB의 매칭 여부를 판단하여 결정할 수 있다. 다른 예로, 음성인식 처리 결과와 그에 대응하는 영상 분석 모델의 분석 타입에 관한 대량의 데이터를 처리부(122)가 학습한 후 그 학습된 모델을 활용하여 사용자의 입력음성에 대응하는 영상 분석 모델의 분석 타입을 결정할 수도 있다. 다만, 음성인식 처리된 결과에 기초하여 영상 분석 모델의 분석 타입을 결정하는 방법이 이에 한정되는 것은 아니다.
질의에 대응하는 영상 분석 모델의 분석 타입이 결정되면, 처리부(122)는 저장부(123)에 저장된 영상에 관한 분석 결과 정보에 기초하여 상기 결정된 분석 타입과 상기 질의에 대응하는 검색 결과를 결정 또는 생성한다(S1005). 검색 결과는 상기 결정된 분석 타입과 이를 포함한 질의에 대응하는 분석 결과 정보 자체일 수도 있고, 그 분석 결과 정보에 대응하는 영상 또는 그와 관련된 정보일 수도 있다. 예를 들어, "어제 BBS 드라마에서 방송된 내용 알려줘"라는 음성명령이 질의로 입력된 경우, 어제 BBS 드라마에서 방송된 내용은 비디오 줄거리로서 분석 결과 정보의 형태로 저장부(123)에 저장되어 있으므로, 처리부(122)는 해당 분석 결과 정보를 검색 결과로 결정한다. 다른 예로, "지금 여행에 관해서 방송하는 채널 알려줘"라는 음성명령이 질의로 입력된 경우, 처리부(122)는 여행에 대응하는 분석 결과 정보를 결정한 후, 그 분석 결과 정보를 바로 검색결과로 결정하는 것이 아니라, 그에 대응하는 영상을 파악하고 나아가 그 영상을 방송하는 방송 채널을 파악하여 이를 검색 결과로 생성한다. 이후 DB서버(120)의 처리부(122)는 위와 같이 결정 또는 생성된 검색 결과를 외부장치인 디스플레이장치로 전송한다(S1006).
디스플레이장치의 처리부(202)는 DB서버(120)에서 전송된 검색 결과를 수신하고(S1007). 수신한 검색 결과를 표시한다(S1008).
이에 의하면, 사용자가 영상에 대하여 특별한 유형의 정보에 한정되지않고 자유롭게 질의를 입력하더라도, 사용자의 요청에 부합하는 영상 관련 정보를 제공할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 서버(100)와 클라이언트(200)의 작동을 도시한다. 본 발명의 다른 실시예에 따른 서버(100)는 통신부를 통해 복수의 외부장치, 예를 들어 복수의 클라이언트(200)로부터, 동시에 또는 이시에, 질의를 수신하고, 복수의 클라이언트(200) 각각에 대해 서버(100)에서 결정 또는 생성된 검색 결과를 전송할 수 있다. 여기서 클라이언트(200)는 예를 들어 디스플레이장치(1100) 자체를 의미할 수도 있고, 도 11과 같이, 디스플레이장치(1100) 내에서 작동하고 있는 개별 어플리케이션(1110, 1111)을 의미할 수도 있다. 따라서 본 발명의 다른 실시예에 따른 서버(100)는 복수의 어플리케이션(1110, 1111)으로부터 질의를 수신하여, 각 어플리케이션(1110, 1111)에 대해 서버(100)에서 결정 또는 생성된 검색 결과를 전송할 수 있고, 각 어플리케이션(1110, 1111)은 수신한 검색 결과에 기초하여 영상 관련 정보를 표시할 수 있다. 또한, 클라이언트(200)는 디스플레이장치나 어플리케이션에 한정되지 않고, 서버(100)에 질의를 전송하고 서버(100)로부터 검색 결과를 수신할 수 있는 것이라면 무엇이든 가능하다.
이에 의하면, 다수의 클라이언트에 대해 영상에 관한 다양한 유형의 영상 분석 정보를 제공할 수 있다.
도 12는 본 발명의 일 실시예에 따른 서버(100)와 클라이언트(200)를 포함한 시스템의 작동 예시를 도시한다.
일 예로, 사용자가 클라이언트(200)에 대하여 "지금 영화에 관해서 방송하는 채널 알려줘"(1201)라는 질의를 음성으로 입력한 경우, 클라이언트(200)의 처리부(202)는 수신된 질의를 서버(100)로 전송한다. 전송된 질의를 수신한 서버(100)의 처리부(102)는 질의를 인식하고 질의에 대응하는 영상 분석 모델의 분석 타입을 결정한다. "지금 영화에 관해서 방송하는 채널 알려줘"라는 질의에 대응하는 영상 분석 모델의 분석 타입은 영화 포스터 등의 객체일 수도 있고, '영화'라는 텍스트일 수도 있고, 영화 자체에 관한 줄거리, 영화 소개 프로그램에 관한 비디오 묘사글 등일 수도 있다. 처리부(102)는 이상의 정보에 기초하여 저장부(103)에 저장된 영상에 관한 분석 결과 정보 중 영화 포스터 등의 객체 정보, '영화'라는 텍스트 정보, 영화에 관한 줄거리 정보, 영화 소개 프로그램에 관한 비디오 묘사글 정보를 결정할 수 있다. 이후 처리부(102)는 결정된 각각의 정보에 대응하는 영상을 파악한 후 이를 방송하는 채널에 관한 정보를 검색결과로 생성하여 클라이언트(200)로 전송하면, 클라이언트(200)의 처리부(202)는 이를 디스플레이부(203)에 표시할 수 있다. 이에 따라 사용자는 영화 포스터 등이 포함된 영상이나 '영화'라는 텍스트가 포함된 영상, 영화 또는 영화 소개 프로그램을 방송하는 채널에 관한 정보를 클라이언트(200)를 통해 제공받을 수 있다.
다른 예로, 사용자가 클라이언트(200)에 대하여 "어제 BBS 드라마에서 방송된 내용 알려줘"(1202)라는 질의를 음성으로 입력한 경우, 위 질의를 전송받은 서버(100)의 처리부(122)는 어제 방송된 BBS 드라마에 대한 비디오 묘사글 또는 줄거리 정보가 이에 대응하는 분석 타입의 분석 결과 정보임을 파악하여, 해당 분석 결과 정보를 검색 결과로 제공할 수 있다. 이에 따라 위 검색결과를 수신한 클라이언트(200)는 어제 방송된 BBS 드라마에 대한 비디오 묘사글 또는 줄거리 정보를 사용자에게 표시할 수 있다.
또 다른 예로, 사용자가 클라이언트(200)에 대하여 "A장면이 나오는 영상 알려줘"(1203)라는 질의를 음성으로 입력한 경우, 위 질의를 전송받은 서버(100)의 처리부(102)는 장면 구분 모델 또는 장면 인식 모델을 이에 대응하는 분석 타입으로 결정하고, A장면에 대한 구분 정보 또는 인식 정보에 관한 분석 결과 정보를 저장부(103)에서 검색하여 그에 대응하는 영상의 정보를 검색 결과로 제공할 수 있다. 이에 따라 위 검색결과를 수신한 클라이언트(200)는 A장면이 나오는 영상에 관한 정보를 사용자에게 표시할 수 있다.
또 다른 예로, 사용자가 클라이언트(200)에 대하여 "B광고에서 C 객체를 D 객체로 바꾼 영상 보여줘"(1204)라는 질의를 음성으로 입력한 경우, 위 질의를 전송받은 서버(100)의 처리부(102)는 이미지 생성 모델, 예를 들어 Generative Adversarial Network(GAN) 모델을 이에 대응하는 분석 타입으로 결정하고, B 광고 영상에 대해 GAN 모델을 적용하여 C 객체를 D 객체로 바꾼 영상을 검색 결과로 제공할 수 있다. 이에 따라 위 검색결과를 수신한 클라이언트(200)는 사용자의 요청에 부합하는 영상을 사용자에게 표시할 수 있다.
도 13은 본 발명의 다른 실시예에 따른 서버(100)와 클라이언트(200)의 제어방법을 도시한다. 이상에서는 영상에 관한 사용자의 질의에 대응하는 영상 분석 모델의 분석 타입을 서버(100)에서 결정하는 실시예를 설명하였으나, 위 결정의 주체는 서버(100)에 한정되는 것은 아니고, 예를 들어, 클라이언트(200)에서도 영상에 관한 사용자의 질의에 대응하는 영상 분석 모델의 분석 타입을 결정할 수 있다(S1302). 이 경우 클라이언트(200)는 수신한 질의만을 서버(100)로 전송했던 도 11의 실시예와는 달리, 수신한 질의와 함께 위와 같이 결정한 영상 분석 모델의 분석 타입에 관한 정보도 함께 서버(100)로 전송하고(S1303), 서버(100)는 이를 수신하여 검색 결과를 결정 또는 생성한다(S1304, S1305). 서버(100)에서 검색 결과를 결정 또는 생성하는 데 있어서 질의에 대응하는 영상 분석 모델의 분석 타입만 있으면 충분한 경우, 클라이언트(200)는 영상 분석 모델의 분석 타입에 관한 결정 정보만 서버(100)로 전송하고, 수신한 질의는 전송하지 않을 수도 있다. 그 외에는 도 11에서의 설명이 동일하게 적용 가능하다.
100: 서버
110: 분석서버
120: DB서버
200: 클라이언트
201: 통신부
202: 처리부
203: 디스플레이부

Claims (18)

  1. 서버에 있어서,
    외부장치와 통신 가능한 통신부;
    저장부; 및
    분석 타입이 서로 다른 복수의 영상 분석 모델 중에서 제1영상의 종류에 대응하여 영상 분석에 유용한 것으로 식별되는 분석 타입을 가지는 적어도 하나의 영상 분석 모델을 상기 제1영상에 적용하여 획득된 상기 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 상기 저장부에 저장하고,
    상기 통신부를 통해 상기 외부장치로부터 제2영상에 관한 정보의 요청을 수신하면, 상기 저장된 적어도 하나의 분석 결과 중에서 상기 수신된 요청에 포함된 상기 제2영상에 대한 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 외부장치로 전송하도록 상기 통신부를 제어하는 프로세서를 포함하는 서버.
  2. 제1항에 있어서,
    복수의 상기 제1영상을 수신하는 복수의 영상수신부를 포함하고,
    상기 프로세서는, 상기 수신된 복수의 제1영상의 종류에 대응하여 상기 영상 분석에 유용한 것으로 식별되는 상기 분석 타입을 가지는 상기 적어도 하나의 영상 분석 모델을 상기 복수의 제1영상에 적용하여 획득된 상기 복수의 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 상기 저장부에 저장하는 서버.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세서는, 복수의 외부장치로부터 상기 제2영상에 관한 정보의 요청을 수신하면, 상기 저장된 적어도 하나의 분석 결과 중에서 상기 수신된 요청에 포함된 상기 제2영상에 대한 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 복수의 외부장치로 전송하도록 상기 통신부를 제어하는 서버.
  7. 디스플레이장치에 있어서,
    디스플레이부;
    사용자입력부;
    분석 타입이 서로 다른 복수의 영상 분석 모델 중에서 제1영상의 종류에 대응하여 영상 분석에 유용한 것으로 식별되는 분석 타입을 가지는 적어도 하나의 영상 분석 모델을 상기 제1영상에 적용하여 획득된 상기 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 저장하는 외부장치와 통신할 수 있는 통신부; 및
    제2영상에 관한 정보를 요청하는 사용자입력을 상기 사용자입력부를 통하여 수신하고,
    상기 요청을 상기 외부장치로 전송하여, 상기 외부장치에 저장된 적어도 하나의 분석 결과 중에서 상기 전송된 요청에 포함된 상기 제2영상의 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 외부장치로부터 수신하고,
    상기 수신된 정보를 상기 디스플레이부에 표시하는 프로세서를 포함하는 디스플레이장치.
  8. 제7항에 있어서,
    상기 프로세서는, 상기 제2영상에 관한 정보의 요청에 포함된 상기 제2영상의 분석 타입에 관한 정보를 상기 외부장치로 전송하는 디스플레이장치.
  9. 서버의 제어방법에 있어서,
    분석 타입이 서로 다른 복수의 영상 분석 모델 중에서 제1영상의 종류에 대응하여 영상 분석에 유용한 것으로 식별되는 분석 타입을 가지는 적어도 하나의 영상 분석 모델을 상기 제1영상에 적용하여 획득된 상기 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 저장하는 단계; 및
    외부장치로부터 제2영상에 관한 정보의 요청을 수신하면, 상기 저장된 적어도 하나의 분석 결과 중에서 상기 수신된 요청에 포함된 상기 제2영상에 대한 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 외부장치로 전송하는 단계를 포함하는 서버의 제어방법.
  10. 제9항에 있어서,
    상기 저장하는 단계는,
    복수의 상기 제1영상을 수신하는 단계; 및
    상기 수신된 복수의 제1영상의 종류에 대응하여 상기 영상 분석에 유용한 것으로 식별되는 상기 분석 타입을 가지는 상기 적어도 하나의 영상 분석 모델을 상기 복수의 제1영상에 적용하여 획득된 상기 복수의 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 저장하는 단계를 포함하는 서버의 제어방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 전송하는 단계는, 복수의 외부장치로부터 상기 제2영상에 관한 정보의 요청을 수신하면, 상기 저장된 적어도 하나의 분석 결과 중에서 상기 수신된 요청에 포함된 상기 제2영상에 대한 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 복수의 외부장치로 전송하는 단계를 포함하는 서버의 제어방법.
  15. 디스플레이장치의 제어방법에 있어서,
    분석 타입이 서로 다른 복수의 영상 분석 모델 중에서 제1영상의 종류에 대응하여 영상 분석에 유용한 것으로 식별되는 분석 타입을 가지는 적어도 하나의 영상 분석 모델을 상기 제1영상에 적용하여 획득된 상기 제1영상에 관한 적어도 하나의 분석 결과를 상기 적어도 하나의 분석 타입에 각각 대응하도록 저장하는 외부장치와 통신하는 단계;
    제2영상에 관한 정보를 요청하는 사용자입력을 수신하는 단계;
    상기 요청을 상기 외부장치로 전송하여, 상기 외부장치에 저장된 적어도 하나의 분석 결과 중에서 상기 전송된 요청에 포함된 상기 제2영상의 분석 타입에 대응하는 분석 결과에 관한 정보를 상기 외부장치로부터 수신하는 단계; 및
    상기 수신된 정보를 표시하는 단계를 포함한 디스플레이장치의 제어방법.
  16. 제15항에 있어서,
    상기 제2영상에 관한 정보의 요청에 포함된 상기 제2영상의 분석 타입에 관한 정보를 상기 외부장치로 전송하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    전자장치와 결합되어 제9항, 제10항, 제14항 내지 제16항 중 어느 한 항의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제17항에 있어서,
    상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있는 컴퓨터프로그램.
KR1020170160209A 2017-11-28 2017-11-28 서버 및 그 제어방법 KR102495702B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170160209A KR102495702B1 (ko) 2017-11-28 2017-11-28 서버 및 그 제어방법
PCT/KR2018/013743 WO2019107796A1 (ko) 2017-11-28 2018-11-12 서버 및 그 제어방법
US16/765,655 US11625560B2 (en) 2017-11-28 2018-11-12 Server and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170160209A KR102495702B1 (ko) 2017-11-28 2017-11-28 서버 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190061631A KR20190061631A (ko) 2019-06-05
KR102495702B1 true KR102495702B1 (ko) 2023-02-06

Family

ID=66665137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170160209A KR102495702B1 (ko) 2017-11-28 2017-11-28 서버 및 그 제어방법

Country Status (3)

Country Link
US (1) US11625560B2 (ko)
KR (1) KR102495702B1 (ko)
WO (1) WO2019107796A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL311148A (en) * 2018-11-11 2024-04-01 Netspark Ltd Online video filtering
KR102054153B1 (ko) * 2019-07-11 2019-12-12 가온플랫폼 주식회사 딥러닝 기반 잠수함 소나 음파데이터와 잠망경 영상데이터와의 융합을 통한 인공지능 자동식별시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391593B2 (en) * 2004-06-09 2013-03-05 Hewlett-Packard Development Company, L.P. Image processing methods and systems
US8345949B2 (en) * 2010-03-09 2013-01-01 General Electric Company Sequential approach for automatic defect recognition
KR20120072961A (ko) * 2010-12-24 2012-07-04 삼성전자주식회사 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템
US8793274B2 (en) 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
KR101280804B1 (ko) * 2011-10-27 2013-07-02 삼성에스디에스 주식회사 영상 콘텐츠의 영상을 분석하는 장치 및 방법
US8498986B1 (en) 2012-01-31 2013-07-30 Business Objects Software Ltd. Classifying data using machine learning
KR101372860B1 (ko) 2012-04-30 2014-03-12 전자부품연구원 영상 검색 시스템 및 영상 분석 서버
US9146990B2 (en) 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
KR101486545B1 (ko) * 2013-01-15 2015-01-26 네이버 주식회사 Ｔｖ 애플리케이션을 이용한 방송 영상 검색 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20150104358A (ko) 2014-03-05 2015-09-15 삼성전자주식회사 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
US10140517B2 (en) * 2014-08-06 2018-11-27 Dropbox, Inc. Event-based image classification and scoring
US10110933B2 (en) 2015-09-01 2018-10-23 International Business Machines Corporation Video file processing
US10163036B2 (en) * 2016-04-14 2018-12-25 Disney Enterprises, Inc. System and method of analyzing images using a hierarchical set of models
US20170330264A1 (en) 2016-05-10 2017-11-16 YOURO, Inc. Methods, apparatuses and systems for computer vision and deep learning
KR101791924B1 (ko) 2016-06-27 2017-11-01 인천대학교 산학협력단 방송 영상 콘텐츠 내 등장하는 객체를 검색 가능하게 하는 시스템 및 방법
US10311330B2 (en) * 2016-08-17 2019-06-04 International Business Machines Corporation Proactive input selection for improved image analysis and/or processing workflows
WO2018042445A1 (en) * 2016-09-05 2018-03-08 Mycrops Technologies Ltd. A system and method for characterization of cannabaceae plants
US20180322627A1 (en) * 2017-05-05 2018-11-08 General Electric Company Methods and systems for acquisition of medical images for an ultrasound exam

Also Published As

Publication number Publication date
WO2019107796A1 (ko) 2019-06-06
KR20190061631A (ko) 2019-06-05
US11625560B2 (en) 2023-04-11
US20200302242A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
KR102542788B1 (ko) 전자장치, 그 제어방법 및 컴퓨터프로그램제품
US11166066B2 (en) Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
US20190297381A1 (en) Artificial intelligence device and operating method thereof
US11556302B2 (en) Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium
EP3902277A1 (en) Method for providing recommended content list and electronic device according thereto
CN111669696A (zh) 声音对象跟随的方法和装置
KR102622950B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
JP7368406B2 (ja) 家庭内で話されている言語に対応するコンテンツを識別するためのシステムおよび方法
US11934953B2 (en) Image detection apparatus and operation method thereof
US11895375B2 (en) Display device and operation method thereof
CN113254684B (zh) 一种内容时效的确定方法、相关装置、设备以及存储介质
US20230147985A1 (en) Information processing apparatus, information processing method, and computer program
US20220045776A1 (en) Computing device and operating method therefor
KR102495702B1 (ko) 서버 및 그 제어방법
CN112514410B (zh) 电子设备及其控制方法
KR102650138B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
EP4334925A1 (en) Emotion-based sign language enhancement of content
CN110786019B (zh) 服务器及其控制方法
US20190141412A1 (en) Display apparatus, control system for the same, and method for controlling the same
US20230267934A1 (en) Display apparatus and operating method thereof
WO2022235416A1 (en) Emotion-based sign language enhancement of content
KR20240012453A (ko) 영상 편집 장치 및 영상 편집 장치의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant