KR20190120645A - 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템 - Google Patents

빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템 Download PDF

Info

Publication number
KR20190120645A
KR20190120645A KR1020180044076A KR20180044076A KR20190120645A KR 20190120645 A KR20190120645 A KR 20190120645A KR 1020180044076 A KR1020180044076 A KR 1020180044076A KR 20180044076 A KR20180044076 A KR 20180044076A KR 20190120645 A KR20190120645 A KR 20190120645A
Authority
KR
South Korea
Prior art keywords
deep learning
image
big data
feature information
image data
Prior art date
Application number
KR1020180044076A
Other languages
English (en)
Inventor
이두식
송호석
노원석
김희준
Original Assignee
주식회사 아임클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아임클라우드 filed Critical 주식회사 아임클라우드
Priority to KR1020180044076A priority Critical patent/KR20190120645A/ko
Publication of KR20190120645A publication Critical patent/KR20190120645A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따르면, 제1 영상 데이터 획득부에 의해 획득된 영상 데이터로부터 딥 러닝을 통해서 객체를 검출하여 객체검출용 특징정보를 추출하는 객체 검출용 딥 러닝부; 및 객체 검출용 딥 러닝부에 의해 검출된 객체에 대하여 딥 러닝을 통해서 객체인식용 특징정보를 추출하는 인식용 딥 러닝부;를 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템이 개시된다.

Description

빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템{Searching system using image and features of image based on big data}
본 발명은 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템에 관한 것이다.
본 발명의 기술적 배경이 되는 기술은 빅 데이터를 이용하여 이미지를 검색하는 기술이다.
본 발명의 일 실시예에 따르면, 영상의 특징을 딥 러닝을 통해 실시간으로 검출하고 특징 정보를 저장하여 신속하게 검색할 수 있는 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템이 제공된다.
본 발명의 일 실시예에 따르면,
제1 영상 데이터 획득부에 의해 획득된 영상 데이터로부터 딥 러닝을 통해서 객체를 검출하여 객체검출용 특징정보를 추출하는 객체 검출용 딥 러닝부; 및
객체 검출용 딥 러닝부에 의해 검출된 객체에 대하여 딥 러닝을 통해서 객체인식용 특징정보를 추출하는 인식용 딥 러닝부;를 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템이 제공될 수 있다.
상술한 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템은,
상기 객체 검출용 딥 러닝부에 의해 추출된 객체검출용 특징정보를 저장하는 학습된 빅 데이터 저장부;를 더 포함할 수 있다.
상술한 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템은,
상기 인식용 딥 러닝부에 의해 추출된 객체인식용 특징정보를 저장하는 학습된 모델 빅 데이터 저장부;를 더 포함할 수 있다.
상술한 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템은,
제2 영상 데이터 획득부에 의해 획득된 영상 데이터로부터 딥 러닝을 통해서 추출한 객체검출용 특징정보와 객체 인식용 특징정보와, 상기 저장부들에 저장된 정보들을 비교하여 제2 영상 데이터 획득부에 의해 획득된 영상 데이터에 포함된 객체를 인식하는 객체 인식부;를 더 포함할 수 있다.
상술한 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템은,
상기 객체 인식부에 의해 인식된 객체를 사용자가 인식 가능한 형태로 출력하는 출력부;를 더 포함할 수 있다.
본 발명의 하나 이상의 실시예에 따르면, 영상의 특징을 딥 러닝을 통해 실시간으로 검출하고 특징 정보를 저장하여 신속하게 검색할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본원 명세서에서, '구성요소 A 및/또는 구성요소 B'라고 함은 '구성요소 A와 구성요소 B 중에서 적어도 하나'를 의미하는 것으로 사용되며, 예를 들면 '방향 및/또는 각도'라고 함은 '방향과 각도 중 적어도 하나'를 의미한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템은 영상 데이터(DATA) 획득부(1, 9), 객체 검출용 딥 러닝부(5), 인식용 딥 러닝부(7), 객체 인식부(11), 출력부(13), 학습된 빅 데이터 저장부(15), 및 학습된 모델 빅 데이터(19)를 포함한다.
영상 데이터(DATA) 획득부(1)와 영상 데이터(DATA) 획득부(9)는, 각각, 영상을 획득하는 장치로서, 예를 들면, CCTV, 드론, 또는 자율주행차와 같이 영상을 획득하는 장치이다.
영상 데이터(DATA) 획득부(1)와 영상 데이터(DATA) 획득부(9)는 동일한 장치이거나 또는 다른 장치일 수 있다.
영상 데이터(DATA) 획득부(1)에 의해 획득되는 영상 데이터(DATA)(3)는 객체 검출용 딥 러닝부(5)에게 제공된다.
객체 검출용 딥 러닝부(5)는 영상 데이터(DATA)(3)로부터 하나 이상의 객체를 검출한다.
본 실시예에서, 객체 검출용 딥 러닝부(5)는 딥 러닝을 통하여 영상 데이터(DATA)(3)로부터 하나 이상의 객체를 검출한다.
객체 검출용 딥 러닝부(5)는 딥 러닝에 의해 객체를 검출하고, 검출한 객체의 특징 정보('객체검출용 특징정보')를 학습된 빅 데이터 저장부(15)에 저장한다.
본 실시예에서, 객체검출용 특징정보는, 예를 들면, 객체의 종류(예를 들면, 사람 또는 자동차), 객체의 갯수, 또는 객체의 크기와 같은 데이터 일 수 있다.
부가적인 관련정보는, 예를 들면, 영상 데이터(DATA) 획득부(1)에 대한 메타 정보(예를 들면, IP, RTSP, 카메라 이름, GIS 정보), 영상 데이터 정보, 영상 데이터 이름, 영상 데이터 길이, FPS, 영상 데이터(DATA) 획득부(1) 인식모델, 인코딩 방법, 디코딩 방법, 인코딩 FPS 설정 방법, 인코딩 압축포맷, 또는 스트리밍 속도와 같은 정보일 수 있다.
인식용 딥 러닝부(7)는 객체 검출용 딥 러닝부(5)에 의해 검출된 객체로부터 인식을 위한 객체인식용 특징정보를 추출한다. 추출된 객체인식용 특징정보는 학습된 모델 빅 데이터 저장부(19)에 저장된다. 객체인식용 특징정보는 예를 들면, 영상 이름(예를 들면, 오브젝트 이름, 영상 프레임 정보 및 시간)과 같은 데이터 일 수 있다.
본 실시예에서, 인식용 딥 러닝부(7)는 딥 러닝을 통해서 객체인식용 특징정보를 추출한다.
객체 인식부(11)는 영상 데이터 획득부(9)가 획득한 영상 데이터로부터 객체를 검출하여 인식한다. 구체적으로, 객체 인식부(11)는 영상 데이터 획득부(9)가 획득한 영상 데이터를 딥 러닝을 통해서 객체 검출용 특징정보와 객체 인식용 특징정보를 추출하고, 추출한 정보들과, 저장부들(15, 19)에 저장된 데이터와 비교하여 객체를 인식한다.
출력부(13)는 객체 인식부(11)가 인식한 객체에 대하여 사용자가 인식할 수 있는 형태로 출력한다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다.
1, 9: 영상 데이터 획득부
3: 영상 데이터
5: 객체 검출용 딥 러닝부
7: 인식용 딥 러닝부
11: 객체 인식부
13: 출력부
15: 학습된 빅 데이터
19: 학습된 모델 빅 데이터

Claims (5)

  1. 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템에 있어서,
    제1 영상 데이터 획득부에 의해 획득된 영상 데이터로부터 딥 러닝을 통해서 객체를 검출하여 객체검출용 특징정보를 추출하는 객체 검출용 딥 러닝부; 및
    객체 검출용 딥 러닝부에 의해 검출된 객체에 대하여 딥 러닝을 통해서 객체인식용 특징정보를 추출하는 인식용 딥 러닝부;를 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템.
  2. 제1항에 있어서,
    상기 객체 검출용 딥 러닝부에 의해 추출된 객체검출용 특징정보를 저장하는 학습된 빅 데이터 저장부;를 더 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템.
  3. 제2항에 있어서,
    상기 인식용 딥 러닝부에 의해 추출된 객체인식용 특징정보를 저장하는 학습된 모델 빅 데이터 저장부;를 더 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템.
  4. 제3항에 있어서,
    제2 영상 데이터 획득부에 의해 획득된 영상 데이터로부터 딥 러닝을 통해서 추출한 객체검출용 특징정보와 객체 인식용 특징정보와, 상기 저장부들에 저장된 정보들을 비교하여 제2 영상 데이터 획득부에 의해 획득된 영상 데이터에 포함된 객체를 인식하는 객체 인식부;를 더 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템.
  5. 제4항에 있어서,
    상기 객체 인식부에 의해 인식된 객체를 사용자가 인식 가능한 형태로 출력하는 출력부;를 더 포함하는 것인, 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템.
KR1020180044076A 2018-04-16 2018-04-16 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템 KR20190120645A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180044076A KR20190120645A (ko) 2018-04-16 2018-04-16 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044076A KR20190120645A (ko) 2018-04-16 2018-04-16 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템

Publications (1)

Publication Number Publication Date
KR20190120645A true KR20190120645A (ko) 2019-10-24

Family

ID=68423477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044076A KR20190120645A (ko) 2018-04-16 2018-04-16 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템

Country Status (1)

Country Link
KR (1) KR20190120645A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227531B1 (ko) * 2020-07-06 2021-03-15 주식회사 딥노이드 X-ray 보안 장치에 대한 이미지 처리 장치 및 방법
WO2022019601A1 (ko) * 2020-07-24 2022-01-27 김승모 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
KR102653818B1 (ko) * 2024-01-29 2024-04-02 (주)지오필테크 화학물질 시약장 관리시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227531B1 (ko) * 2020-07-06 2021-03-15 주식회사 딥노이드 X-ray 보안 장치에 대한 이미지 처리 장치 및 방법
WO2022019601A1 (ko) * 2020-07-24 2022-01-27 김승모 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
KR102653818B1 (ko) * 2024-01-29 2024-04-02 (주)지오필테크 화학물질 시약장 관리시스템

Similar Documents

Publication Publication Date Title
US10614310B2 (en) Behavior recognition
US11138845B2 (en) Video surveillance and object recognition
IL256885A (en) Device and methods for facial recognition and video analysis for identifying individuals in the context of video streaming
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
KR101706365B1 (ko) 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR102660124B1 (ko) 동영상 감정 학습용 데이터 생성 방법, 동영상 감정 판단 방법, 이를 이용하는 동영상 감정 판단 장치
ES2648368B1 (es) Recomendación de vídeo con base en el contenido
EP3383041A3 (en) Mv/mode prediction, roi-based transmit, metadata capture, and format detection for 360 video
KR20190120645A (ko) 빅 데이터 기반 이미지 및 영상 특징을 이용한 검색 시스템
KR101734029B1 (ko) 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법
US11348371B2 (en) Person detection system
EP4270972A3 (en) Systems and methods for a chronological-based search engine
US10529203B2 (en) Regional surveillance and alarming system and method
KR101798979B1 (ko) 스마트 횡단보도 신호등 시스템
US20130083965A1 (en) Apparatus and method for detecting object in image
RU2018145499A (ru) Автоматизация проверки достоверности изображения
JP2014006680A5 (ja) 情報処理装置、情報処理システム、情報処理方法および記録媒体
CN111931548B (zh) 人脸识别系统、建立人脸识别数据的方法及人脸识别方法
KR20190143548A (ko) 차량번호, 종류, 및 색상 학습을 통한 번호판 인식률이 향상되고, 실시간 학습이 가능한 차량 인식 시스템
KR102561308B1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
CN111222397A (zh) 一种绘本识别方法、装置及机器人
KR20200112681A (ko) 지능형 비디오 분석
US20150206034A1 (en) Apparatus and method for recognizing object using correlation between object and content-related information
WO2002025575A3 (en) Method and apparatus for portably recognizing text in an image sequence of scene imagery
US20140037150A1 (en) Information processing device