WO2020101121A1 - 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말 - Google Patents

딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말 Download PDF

Info

Publication number
WO2020101121A1
WO2020101121A1 PCT/KR2019/003581 KR2019003581W WO2020101121A1 WO 2020101121 A1 WO2020101121 A1 WO 2020101121A1 KR 2019003581 W KR2019003581 W KR 2019003581W WO 2020101121 A1 WO2020101121 A1 WO 2020101121A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
analysis
neural network
image analysis
analysis result
Prior art date
Application number
PCT/KR2019/003581
Other languages
English (en)
French (fr)
Inventor
조수원
Original Assignee
(주)투아트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190033441A external-priority patent/KR102251858B1/ko
Application filed by (주)투아트 filed Critical (주)투아트
Priority to EP19789572.5A priority Critical patent/EP3881811A1/en
Priority to CN201980002866.7A priority patent/CN111447900A/zh
Priority to US16/619,924 priority patent/US20210334515A1/en
Priority to JP2019559328A priority patent/JP6865981B1/ja
Publication of WO2020101121A1 publication Critical patent/WO2020101121A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker

Abstract

본 발명은 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말에 관한 것으로, 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 시스템은 영상을 촬영하여 전송하는 영상분석 휴대단말; 및 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하고, 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 영상분석 서버;를 포함하여 구성된다.

Description

딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
본 발명의 실시예는 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말에 관한 것이다.
딥러닝(Deep Learning) 기술은, 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술로서, 인공신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습해결 할 수 있도록 한다.
딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시키는 기술이다.
딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있으며, 음성, 이미지 인식과 사진 분석 등에 광범위하게 활용하는 것이 가능하다.
도 1 및 도 2는 일반적인 딥러닝 기술을 설명하기 위한 도면이다.
도 1을 참조하면, CNN(Convolutional Neural Network)은 인간의 뇌 구조를 모방한 것으로, 인간의 뇌가 최소 단위인 뉴런으로 이루어져 있는 것처럼 단일 노드들의 군집으로 모델링 하는 것이다.
또한, 도 2를 참조하면 LSTM(Long Short-Term Memory)은 인간이 생각하는 방식에서 모든 내용을 다 받아들인 다음 생각하지 않는 것처럼, 바로 전에 받아들인 정보를 함께 활용하는데, 전통적인 RNN(Recurrent Neural Network) 방식에서는 바로 전이 아닌 몇 단계 전의 정보와 같이 갭이 커질수록 의존성이 떨어지는 문제가 있어서 오랜 기간 동안 정보를 기억할 수 있도록 4개의 상호작용 가능한 레이어가 반복된다.
그러나, 종래의 영상 분석에 이와 같은 딥러닝 기술을 이용하는 경우에는 각각의 딥러닝 기술을 통해 영상의 분석이 이루어지며, 그에 따라 단편적인 영상 분석이 이루어져, 각 영상에 대해 적합한 분석 결과의 도출이 어렵고, 각 영상 분석 방법 별로 사용시 마다 각각의 기능을 작동시켜 촬영해야 하는 불편함이 있었으며, 하나의 입력 영상에 대하여 이미지 묘사, 얼굴 인식, 문자 인식 등의 다양하고 유용한 결과를 제공하지 못하는 문제점이 있었다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 영상분석의 각 종류마다 간략한 결과부터 상세한 결과까지 여러 단계로 나누어 각각의 신경망이 분석하고 결과 값이 빨리 도출되는 간략한 결과 값을 우선적으로 사용자에게 표시하도록 하며, 다양한 스와이프 명령을 통해 각 종류별 분석 결과 값과, 각 결과 값의 간략한 내용으로부터 구체적인 분석까지의 심도 조절이 가능하도록 하여, 더욱 빠르고 편리하며 효율적으로 결과 값을 제공 받을 수 있도록 하고자 한다.
전술한 문제를 해결하기 위한 본 실시예에 따른 딥러닝 기반의 영상분석 시스템은 영상을 촬영하여 전송하는 영상분석 휴대단말; 및 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하고, 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 영상분석 서버;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 영상분석 서버는 상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 영상분석 휴대단말은 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 영상분석 휴대단말은 입력 받은 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 방법은 영상분석 휴대단말이 영상을 촬영하여 전송하는 제1 단계; 영상분석 서버가 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하는 제2 단계; 및 상기 영상분석 서버가 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 제3 단계;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 영상분석 서버가 상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 영상분석 휴대단말이 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하는 제4 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 영상분석 휴대단말이 입력 받은 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시하는 제5 단계;를 더 포함할 수 있다.
본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 휴대단말은 영상을 촬영하는 영상 촬영부; 상기 촬영된 영상을 영상분석 서버로 전송하고, 상기 영상분석 서버로부터 다수의 기능별 신경망을 통해 분석하여 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영한 결과를 수신하는 통신부; 정보의 표시 및 제어 명령을 입력받는 터치 디스플레이부; 및 상기 터치 디스플레이부가 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하도록 제어하는 제어부;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 제어부는 상기 통신부가 상기 영상분석 서버로부터 수신한 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 우선순위를 반영한 분석 결과 값 중에서 선순위가 가장 높은 분석 결과 값을, 상기 터치 디스플레이부를 통해 표시하도록 제어할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제어부는 상기 터치 디스플레이부를 통해 입력되는 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
본 발명의 실시예에 따르면 영상분석 서버가 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성하고, 영상분석 휴대단말이 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 먼저 표시하도록 하는데, 이때 결과값을 최소의 내용으로 간략하게 표현하여 사용자가 빠른 시간에 결과 값을 확인할 수 있도록 하고, 사용자가 확인한 결과 값을 보다 구체적으로 확인하고 싶으면 스와이프(swipe) 명령 등의 제어 명령을 입력하여, 상기 분석 결과 값보다 구체적인 결과 값을 확인할 수 있도록 한다.
따라서, 사용자는 하나의 분석 결과 값에 대해서도 최초의 간략한 내용부터, 여러 단계를 통해 단계별로 좀더 구체적인 분석 내용까지 원하는 대로 심도 있고 다양한 결과값을 전달 받을 수 있도록 하여, 사용자는 필요에 따라 여러 종류의 영상분석 결과 값들을 선택해서 단계적으로 확인할 수 있으므로, 더 빠르고 편리하고 효율적으로 결과 값을 제공 받을 수 있다.
도 1 및 도 2는 일반적인 딥러닝 기술을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 시스템의 개념도이다.
도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 휴대단말의 개념도이다.
도 5는 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 방법을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 일실시예에 따른 영상분석 방법의 분석 결과 값의 제공 방법을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 시스템의 개념도이다.
이후부터는 도 3을 참조하여 본 발명의 일실시예에 따른 딥러닝 기반의 시스템을 설명하기로 한다.
도 3에 도시된 바와 같이 본 발명의 일실시예에 따른 딥러닝 기반의 시스템은 영상분석 휴대단말(110) 및 영상분석 서버(120)를 포함하여 구성된다.
본 발명의 일실시예에 따른 영상분석 휴대단말(110)은 분석하고자 하는 대상의 영상을 촬영하고, 이와 같이 촬영된 영상을 전송한다.
이때, 상기 영상분석 휴대단말(110)은 어플리케이션(application)의 다운로드 및 설치가 가능한 스마트 단말로 구성될 수 있으며, 영상분석 서버(120) 또는 별도의 어플리케이션 제공 서버로부터 딥러닝 기반의 영상분석 어플리케이션을 다운로드하여 설치할 수 있다.
사용자는 상기 영상분석 휴대단말(110)을 이용해 오브젝트, 얼굴 또는 문자 등을 촬영하고, 이와 같이 촬영된 영상을 영상분석 서버(120)로 전송한다.
그에 따라, 영상분석 서버(120)는 상기 영상분석 휴대단말(110)로부터 수신한 영상을 분석한다.
보다 구체적으로, 상기 영상분석 서버(120)는 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성한다.
이때, 상기 영상분석 서버(120)는 상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성할 수 있다.
또한, 상기 영상분석 서버(120)는 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 결과 값을 생성하고, 이와 같이 우선순위가 반영된 결과 값은 영상분석 휴대단말(110)로 제공된다.
그에 따라, 영상분석 휴대단말(110)은 상기 우선순위가 반영된 결과 값을 수신하여 표시할 수 있다.
보다 상세하게 설명하면, 상기 영상분석 휴대단말(110)은 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하며, 사용자로부터 입력 받는 명령에 따라 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
즉, 영상분서 서버(120)에서 한꺼번에 여러 종류의 신경망을 통해 이미지 인식한 결과를 도출하고, 각 결과 값들에 우선순위를 부여하여 영상분석 휴대단말(110)로 전송하고, 영상분석 휴대단말(110)서는 우선순위가 가장 높은 결과부터 사용자에게 표시한다. 따라서, 사용자는 영상분석 휴대단말(110)의 화면을 스와이프(swipe) 하여 다음 우선순위의 결과들을 차례로 제공받을 수 있다.
예를 들어, 상기 영상분석 서버(120)가 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성하면, 영상분석 휴대단말(110)은 상기 영상분석 서버(120)가 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 이용해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 먼저 표시하고, 사용자가 스와이프(swipe) 명령 등의 제어 명령을 입력하면 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
따라서, 본 발명의 일실시예에 따르면, 특정 영상 혹은 이미지에 대해 다양한 관점에서 분석하는 영상분석 서버(120)의 신경망들이 동시에 작동하여, 각각 결과 값들을 생성 후에 이를 한 번에 사용자의 영상분석 휴대단말(110)로 제공하고, 사용자는 각 결과 값들이 우선순위에 따라 하나씩 선택하여 분석 결과를 제공 받을 수 있다.
그러므로, 본 발명의 일실시예에 따르면 영상분석 휴대단말(110)의 터치 디스플레이를 위아래 혹은 좌우로 스와이핑(swiping) 하면서 결과 값들을 피드백 받아 여러 종류의 결과 값들을 효과적으로 확인할 수 있는 편리성과 효율성 높은 영상분석 환경을 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 휴대단말의 개념도이다.
이후부터는 도 4를 참조하여 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 휴대단말의 구성을 설명하기로 한다.
도 4를 참조하면, 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 휴대단말(110)은 영상 촬영부(111), 통신부(112), 터치 디스플레이부(113) 및 제어부(114)를 포함하여 구성된다.
영상 촬영부(111)는 영상을 촬영하고, 통신부(112)는 상기 촬영된 영상을 영상분석 서버로 전송한다.
또한, 통신부(112)는 상기 영상분석 서버로부터 다수의 기능별 신경망을 통해 분석하여 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영한 결과를 수신한다.
터치 디스플레이부(113)는 정보의 표시 및 제어 명령을 입력 받으며, 제어부(114)는 상기 터치 디스플레이부(113)를 제어하여 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하도록 한다.
보다 구체적으로, 상기 제어부(114)는 상기 통신부가 상기 영상분석 서버로부터 수신한 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 우선순위를 반영한 분석 결과 값 중에서 선순위가 가장 높은 분석 결과 값을, 상기 터치 디스플레이부를 통해 표시하도록 제어할 수 있다.
이때, 상기 제어부(114)는 상기 터치 디스플레이부(113)를 통해 입력되는 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 방법을 설명하기 위한 도면이고, 도 7 및 도 8은 본 발명의 일실시예에 따른 영상분석 방법의 분석 결과 값의 제공 방법을 설명하기 위한 도면이다.
이후부터는 도 5 내지 도 8을 참조하여 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 방법을 설명하기로 한다.
먼저, 영상분석 휴대단말(110)이 영상을 촬영하고(S210), 상기 촬영된 영상을 영상분석 서버(120)로 전송한다(S220)
따라서, 영상분석 서버(120)는 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성한다(S230).
보다 구체적으로, 상기 영상분석 서버(120)는 상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망 등으로 구성되는 다수의 인공 신경망을 통해 분석 결과 값을 생성할 수 있다.
이후에는 상기 영상분석 서버(120)가 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여(S240), 상기 우선순위를 반영한 결과를 상기 영상분석 휴대단말로 전송한다(S250).
그에 따라, 상기 영상분석 휴대단말(110)은 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시할 수 있다(S260).
또한, 상기 영상분석 휴대단말(110)은 사용자가 제어 명령으로서 스와이프(swipe) 명령을 입력하면 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면 영상분석 서버(120)는 이미지 묘사, 얼굴인식, 문자인식 등의 다양한 신경망을 포함하여 구성되고, 영상분석 휴대단말(110)로부터 제공받은 영상을 상기 신경망들을 통해 결과 값을 산출하고, 각 결과 값에서 점수가 높은 순서로 정렬한 후, 전체 결과 값을 영상분석 휴대단말(110)로 전송하여 사용자에게 제공할 수 있다.
따라서, 영상분석 휴대단말(110)은 영상분석 서버(120)로부터 제공받은 결과 값을 토대로 가장 높은 점수를 받은 결과 값을 우선적으로 표출하고, 도 6 및 도 7에 도시된 바와 같이 차순위 결과 값들을 영상분석 휴대단말의 터치 디스플레이부 상에서 위아래 혹은 좌우로 움직이는 스와이프(swipe)를 명령을 통해 순차적으로 확인하도록 할 수 있다.
보다 구체적으로, 도 7에서와 같이 먼저 문자인식 결과 값이 표시되고, 사용자가 상하 스와이프 명령을 하거나, 도 8에서와 같이 좌우 스와이프 명령을 하면 얼굴인식 이미지묘사 등의 결과 값들이 차례로 표시될 수 있다.
즉, 사용자가 촬영한 영상의 이미지 묘사를 먼저 표시하고, 사용자가 스와이프 명령을 입력하면 상기 영상의 얼굴 인식 결과값을 표시할 수 있으며, 예를 들어, 도 7에서와 같이 책상 위의 데스크탑 모니터를 촬영한 이미지인 경우에는 이미지 묘사의 결과로서 '책상위에 높인 데스크톱 모니터처럼 보인다'와 같은 설명이 표시될 수 있으며, 사용자가 스와이프 명령을 입력하면 얼굴인식의 결과로서 '얼굴 인식 결과값이 없습니다'와 같은 설명이 표시될 수 될 수 있다.
이때, 도 7의 실시예에서는 좌우 스와이프 명령을 통해 문자 인식, 얼굴 인식, 이미지 묘사 등의 분석 결과가 차례로 표시될 수 있으며, 상하 스와이프 명령을 통해 최초의 간략한 분석 결과부터 단계별로 차례로 좀 더 구체적인 분석 내용까지 심도 있고 다양햔 결과를 제공받을 수 있다.
또한, 도 8의 실시예에서는 상하 스와이프 명령을 통해 문자 인식, 얼굴 인식, 이미지 묘사 등의 분석 결과가 차례로 표시될 수 있으며, 좌우 스와이프 명령을 통해 최초의 간략한 분석 결과부터 단계별로 차례로 좀 더 구체적인 분석 내용의 결과를 제공하도록 구성될 수 있다.
본 발명의 실시예에 따르면 영상분석 서버가 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성하고, 영상분석 휴대단말이 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 먼저 표시하도록 하는데, 이때 결과값을 최소의 내용으로 간략하게 표현하여 사용자가 빠른 시간에 결과 값을 확인할 수 있도록 하고, 사용자가 확인한 결과 값을 보다 구체적으로 확인하고 싶으면 스와이프(swipe) 명령 등의 제어 명령을 입력하여, 상기 분석 결과 값보다 구체적인 결과 값을 확인할 수 있도록 한다.
따라서, 사용자는 하나의 분석 결과 값에 대해서도 최초의 간략한 내용부터, 여러 단계를 통해 단계별로 좀더 구체적인 분석 내용까지 원하는 대로 심도 있고 다양한 결과값을 전달 받을 수 있도록 하여, 사용자는 필요에 따라 여러 종류의 영상분석 결과 값들을 선택해서 단계적으로 확인할 수 있으므로, 더 빠르고 편리하고 효율적으로 결과 값을 제공 받을 수 있다.전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 영상을 촬영하여 전송하는 영상분석 휴대단말; 및
    상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하고, 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 영상분석 서버;
    를 포함하는 딥러닝 기반의 영상분석 시스템.
  2. 청구항 1에 있어서,
    상기 영상분석 서버는,
    상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성하는 딥러닝 기반의 영상분석 시스템.
  3. 청구항 2에 있어서,
    상기 영상분석 휴대단말은,
    상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하는 딥러닝 기반의 영상분석 시스템.
  4. 청구항 3에 있어서,
    상기 영상분석 휴대단말은,
    입력 받은 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시하는 딥러닝 기반의 영상분석 시스템.
  5. 영상분석 휴대단말이 영상을 촬영하여 전송하는 제1 단계;
    영상분석 서버가 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하는 제2 단계; 및
    상기 영상분석 서버가 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 제3 단계;
    를 포함하는 딥러닝 기반의 영상분석 방법.
  6. 청구항 5에 있어서,
    상기 제2 단계는,
    상기 영상분석 서버가 상기 촬영된 영상을 수신하여 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 분석 결과 값을 생성하는 딥러닝 기반의 영상분석 방법.
  7. 청구항 6에 있어서,
    상기 영상분석 휴대단말이 상기 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하는 제4 단계;
    를 더 포함하는 딥러닝 기반의 영상분석 방법.
  8. 청구항 7에 있어서,
    상기 영상분석 휴대단말이 입력 받은 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시하는 제5 단계;
    를 더 포함하는 딥러닝 기반의 영상분석 방법.
  9. 영상을 촬영하는 영상 촬영부;
    상기 촬영된 영상을 영상분석 서버로 전송하고, 상기 영상분석 서버로부터 다수의 기능별 신경망을 통해 분석하여 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영한 결과를 수신하는 통신부;
    정보의 표시 및 제어 명령을 입력받는 터치 디스플레이부; 및
    상기 터치 디스플레이부가 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과 값을 표시하도록 제어하는 제어부;
    를 포함하는 딥러닝 기반의 영상분석 휴대단말.
  10. 청구항 9에 있어서,
    상기 제어부는,
    상기 통신부가 상기 영상분석 서버로부터 수신한 이미지 묘사 신경망, 얼굴 인식 신경망 및 문자 인식 신경망을 통해 우선순위를 반영한 분석 결과 값 중에서 선순위가 가장 높은 분석 결과 값을, 상기 터치 디스플레이부를 통해 표시하도록 제어하는 딥러닝 기반의 영상분석 휴대단말.
  11. 청구항 9에 있어서,
    상기 제어부는,
    상기 터치 디스플레이부를 통해 입력되는 스와이프 명령에 의해 상기 분석 결과 값을 우선순위의 순서대로 표시하는 딥러닝 기반의 영상분석 휴대단말.
PCT/KR2019/003581 2018-11-14 2019-03-27 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말 WO2020101121A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19789572.5A EP3881811A1 (en) 2018-11-14 2019-03-27 Deep learning-based image analysis method, system, and portable terminal
CN201980002866.7A CN111447900A (zh) 2018-11-14 2019-03-27 基于深度学习的影像分析方法、系统及移动终端
US16/619,924 US20210334515A1 (en) 2018-11-14 2019-03-27 Deep learning based image analysis method, system and mobile terminal
JP2019559328A JP6865981B1 (ja) 2018-11-14 2019-03-27 ディープラーニングベースの画像解析方法、システム及び携帯端末

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180140149 2018-11-14
KR10-2018-0140149 2018-11-14
KR10-2019-0033441 2019-03-25
KR1020190033441A KR102251858B1 (ko) 2018-11-14 2019-03-25 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말

Publications (1)

Publication Number Publication Date
WO2020101121A1 true WO2020101121A1 (ko) 2020-05-22

Family

ID=70731568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003581 WO2020101121A1 (ko) 2018-11-14 2019-03-27 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말

Country Status (1)

Country Link
WO (1) WO2020101121A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937430A1 (de) * 2020-07-07 2022-01-12 Deutsche Telekom AG Verfahren und system zur erkennung netzwerkfähiger geräte in einem heimnetzwerk
CN114501131A (zh) * 2021-12-22 2022-05-13 天翼云科技有限公司 一种视频分析方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20180004898A (ko) * 2016-07-05 2018-01-15 주식회사 와플앱스 딥러닝 기반의 이미지 처리 기술 및 그 방법
KR101831783B1 (ko) * 2016-10-27 2018-02-27 주식회사 처음마음 출력 인쇄물에 포함된 이미지 및 텍스트 인식 장치 및 그 방법
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR20180098111A (ko) * 2017-02-24 2018-09-03 고려대학교 산학협력단 딥러닝에 기반한 컬링 경기 전략 추천 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070715A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20180004898A (ko) * 2016-07-05 2018-01-15 주식회사 와플앱스 딥러닝 기반의 이미지 처리 기술 및 그 방법
KR101831783B1 (ko) * 2016-10-27 2018-02-27 주식회사 처음마음 출력 인쇄물에 포함된 이미지 및 텍스트 인식 장치 및 그 방법
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR20180098111A (ko) * 2017-02-24 2018-09-03 고려대학교 산학협력단 딥러닝에 기반한 컬링 경기 전략 추천 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937430A1 (de) * 2020-07-07 2022-01-12 Deutsche Telekom AG Verfahren und system zur erkennung netzwerkfähiger geräte in einem heimnetzwerk
CN114501131A (zh) * 2021-12-22 2022-05-13 天翼云科技有限公司 一种视频分析方法、装置、存储介质及电子设备
CN114501131B (zh) * 2021-12-22 2023-08-08 天翼云科技有限公司 一种视频分析方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2013070024A1 (en) Method and apparatus for designating entire area using partial area touch in a portable equipment
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2014035041A1 (ko) 증강현실 기술과 대용량 데이터의 통합을 위한 상호작용 방법 및 장치
WO2019088335A1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2018021651A1 (ko) 사용자의 감정 정보를 이용한 오프라인 캐릭터 인형 제어 장치 및 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2023128093A1 (ko) 반도체 설계에서 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2022097927A1 (en) Method of live video event detection based on natural language queries, and an apparatus for the same
WO2020222378A1 (en) Convolution streaming engine for deep neural networks
WO2021101052A1 (ko) 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치
WO2023136511A1 (ko) 온라인 교육 참여율 향상을 위한 솔루션 제공 장치 및 이를 포함하는 솔루션 제공 시스템
WO2020138656A1 (ko) 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2021261688A1 (ko) 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법
WO2022092672A1 (ko) Ai 예측 모델을 이용한 예측 결과의 학습 데이터 추가 방법
WO2022004978A1 (ko) 건축 장식재 디자인 업무 시스템 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2018131749A1 (ko) 딥 러닝 기반의 자가 적응 학습 엔진 모듈
WO2020171574A1 (en) System and method for ai enhanced shutter button user interface
KR20200058268A (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2024075950A1 (ko) 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템
WO2021054572A1 (ko) 디스플레이 장치 및 이의 영상 처리 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019559328

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19789572

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019789572

Country of ref document: EP

Effective date: 20210614