KR102444172B1 - 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 - Google Patents

영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 Download PDF

Info

Publication number
KR102444172B1
KR102444172B1 KR1020160000281A KR20160000281A KR102444172B1 KR 102444172 B1 KR102444172 B1 KR 102444172B1 KR 1020160000281 A KR1020160000281 A KR 1020160000281A KR 20160000281 A KR20160000281 A KR 20160000281A KR 102444172 B1 KR102444172 B1 KR 102444172B1
Authority
KR
South Korea
Prior art keywords
image
big data
images
background
mining
Prior art date
Application number
KR1020160000281A
Other languages
English (en)
Other versions
KR20170081348A (ko
Inventor
김재환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160000281A priority Critical patent/KR102444172B1/ko
Publication of KR20170081348A publication Critical patent/KR20170081348A/ko
Application granted granted Critical
Publication of KR102444172B1 publication Critical patent/KR102444172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 기술적 측면에서는 대규모 영상 내 객체들에 대한 고속-완전자동 객체 추출 기술과 추출된 영상의 메타 데이터들에 대한 그래프-분할기반 지능적 영상 데이터마이닝 기술을 제공하며, 응용적 측면에서는 정리되지 않은(unsorted) 대규모 영상 데이터에 대하여, 완전 자동으로 데이터를 분석하여, 영상 데이터 자체 혹은 그와 관련하여 간과되어 왔던 유용한 고급 정보(예, 영상들의 배경집합/객체집합 등의 유용한 관계 정보)를 사용자에게 제시하여, 차후에 있을 사용자의 의사결정에 도움을 줄 수 있는, 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템에 관한 것이다.

Description

영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템{Method and System for Intelligent Mining of Digital Image Big-Data}
본 발명은 영상 데이터의 처리 방법 및 시스템에 관한 것으로서, 특히, 대규모 영상 빅 데이터에 대한 효율적이고 효과적인 자동 객체 추출 및 추출된 데이터의 지능적 마이닝 방법과 처리 시스템에 관한 것이다.
영상 데이터의 처리를 위하여, '영상 처리(image processing)', '계산 비전(computational vision)', '기계 학습(machine learning)', '데이터 마이닝(data mining)' 등의 분야에서 객체 분할/추출(object segmentation/extraction), 영상 축약(image abstraction) 및 그래프 분할(graph paritioning) 등의 기술이 고려된다. 응용 분야로서 영상 데이터 마이닝(image data mining), 영상 검색(image retrieval) 및 그룹핑(grouping, clustering)을 활용한 다양한 응용 콘텐츠가 있다.
그러나, 자동화 솔루션 문제, 저장 공간의 문제, 데이터 모델링 등의 문제로 인하여 대규모 영상 빅 데이터에 대한 처리 기술이 미흡한 실정이므로, 대규모 영상 빅 데이터에 대한 효율적이고 효과적인 처리기술이 필요한 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 기술적 측면에서는 대규모 영상 내 객체들에 대한 고속-완전자동 객체 추출 기술과 추출된 영상의 메타 데이터들에 대한 그래프-분할기반 지능적 영상 데이터마이닝 기술을 제공하며, 응용적 측면에서는 정리되지 않은(unsorted) 대규모 영상 데이터에 대하여, 완전 자동으로 데이터를 분석하여, 영상 데이터 자체 혹은 그와 관련하여 간과되어 왔던 유용한 고급 정보(예, 영상들의 배경집합/객체집합 등의 유용한 관계 정보)를 사용자에게 제시하여, 차후에 있을 사용자의 의사결정에 도움을 줄 수 있는, 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 대규모 영상 빅데이터의 마이닝을 통한 이미지들의 관계 정보를 가시화하여 제공하기 위한 영상 빅 데이터 처리 시스템은, 복수의 이미지 세트를 포함하는 대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리하여, 객체 이미지 집합과 배경 이미지 집합을 수집하는 관심객체 추출부; 및 상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각각의 이미지의 특징을 추출하고 이미지와 특징 간의 관계를 획득하고 분광분석을 통해 마이닝 처리하고 가시화해, 이미지들의 관계 정보를 그래피컬한 정보로 가시화하는 영상 빅데이터 마이닝부를 포함한다.
상기 관심객체 추출부는, 상기 대규모 영상 빅데이터를 수신하여 저장 수단에 저장하는 입력부; 상기 대규모 영상 빅데이터를 구분된 소정의 이미지 세트 단위로 분산시키는 데이터 분산처리부; 및 복수의 이미지 세트 각각을 처리하기 위한 각각의 제어기를 포함하며, 상기 각각의 제어기에서 처리 대상 이미지 세트에 대하여 각 이미지에서 배경과 객체 이미지를 분리하여 상기 객체 이미지 집합과 상기 배경 이미지 집합을 수집하는 추출부를 포함한다.
상기 영상 빅데이터 마이닝부는, 상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각 이미지의 특징을 추출하고, 각 추출 특징에 대하여 하나 이상의 이미지들의 관계를 연결시키는 특징 관계 맵을 생성하는 마이닝부를 포함하며, 상기 마이닝부는, 상기 특징 관계 맵에서, 각 이미지에 대한 분광 분석을 통하여 이미지들을 군집화하되, 군집화된 객체 이미지 집합의 이미지 그룹들 간, 배경 이미지 집합의 이미지 그룹들 간, 객체 이미지 집합의 이미지 그룹들과 배경 이미지 집합의 이미지 그룹들 간의 관계정보를 추정할 수 있다.
상기 영상 빅데이터 마이닝부는, 디스플레이 장치의 화면에 상기 특징 관계 맵과 상기 관계정보를 상기 그래피컬한 정보로 가시화하여 직관적인 사용자 인터페이스를 제공하는 가시화부를 포함한다.
그리고, 본 발명의 다른 일면에 따른 대규모 영상 빅데이터의 마이닝을 통한 이미지들의 관계 정보를 가시화하여 제공하기 위한 시스템에서 영상 빅 데이터 처리 방법은, 복수의 이미지 세트를 포함하는 대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리하여, 객체 이미지 집합과 배경 이미지 집합을 수집하는 단계; 및 상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각각의 이미지의 특징을 추출하고 이미지와 특징 간의 관계를 획득하고 분광분석을 통해 마이닝 처리하고 가시화해, 이미지들의 관계 정보를 그래피컬한 정보로 가시화하는 단계를 포함한다.
상기 객체 이미지 집합과 배경 이미지 집합을 수집하는 단계는, 상기 대규모 영상 빅데이터를 수신하여 저장 수단에 저장하는 단계; 상기 대규모 영상 빅데이터를 구분된 소정의 이미지 세트 단위로 분산시키는 단계; 및 복수의 이미지 세트 각각을 처리하기 위한 각각의 제어기를 이용하여, 상기 각각의 제어기에서 처리 대상 이미지 세트에 대하여 각 이미지에서 배경과 객체 이미지를 분리하여 상기 객체 이미지 집합과 상기 배경 이미지 집합을 수집하는 단계를 포함한다.
상기 가시화하는 단계는, 상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각 이미지의 특징을 추출하고, 각 추출 특징에 대하여 하나 이상의 이미지들의 관계를 연결시키는 특징 관계 맵을 생성하는 단계; 및 상기 특징 관계 맵에서, 각 이미지에 대한 분광 분석을 통하여 이미지들을 군집화하되, 군집화된 객체 이미지 집합의 이미지 그룹들 간, 배경 이미지 집합의 이미지 그룹들 간, 객체 이미지 집합의 이미지 그룹들과 배경 이미지 집합의 이미지 그룹들 간의 관계정보를 추정하는 단계를 포함한다.
상기 가시화하는 단계는, 디스플레이 장치의 화면에 상기 특징 관계 맵과 상기 관계정보를 상기 그래피컬한 정보로 가시화하여 직관적인 사용자 인터페이스를 제공하는 단계를 포함한다.
본 발명에 따른 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템에 따르면, 대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리 추출해 수집하고, 특징추출과 관계 모델링을 수행 및 분광분석을 통해 마이닝 처리하고 가시화해, 영상들의 배경집합/객체집합 등의 유용한 관계 정보 등 고급 정보를 제공함으로써, 대규모 영상 빅 데이터에 대한 효율적이고 효과적인 자동 객체 추출 및 추출된 데이터의 지능적 마이닝 처리에 따라, 차후에 있을 사용자의 의사결정에 도움을 줄 수 있다.
또한, 본 발명은 대규모 영상 빅데이터의 처리에 있어서 프로세스 자동화를 통해 Large-Scale 영상 기반 응용 서비스의 전처리를 지능화할 수 있다. 본 발명의 영상 객체 추출의 자동화 기술은 영상 입력을 이용하는 대부분의 시스템(예, 객체인식, 어노테이션, 압축, 검색, 로봇비전, 교육, 게임 등을 포함한 응용 콘텐츠 등)에서 핵심기능으로서 확장 가능하다.
또한, 본 발명은 영상 빅데이터의 지능적 마이닝을 통해 분석 결과의 고수준화 및 실용화가 가능하다. 본 발명의 영상 빅데이터의 마이닝기술 적용을 통해 영상들간의 의미론적, 관계론적 분석을 가능토록 한다. 더불어, 이러한 분석 결과는 일반 사용자뿐만아니라 생산자와 소비자에게 의사결정-도움 관련 응용 서비스에서의 활용으로도 확장 가능하다.
또한, 본 발명은 영상 빅데이터의 지능적 마이닝을 통한 맞춤형 의,식,예 등의 추천 시스템으로 활용할 수 있다. 즉, 개인화된 웹 상에 존재하는 영상들을 이용하여 개인에 특화된 의류, 음식, 문화예술 관련 정보 추천의 응용 확장 가능하다. 예를 들어, 온라인 혹은 오프라인으로부터 수집된 영상에서 인물 객체와 배경을 따로 추출 후, 배경영상으로부터는 날씨, 장소 등의 배경관련 특징정보를 추출하고, 인물영상으로부터는 신체, 옷 크기, 상의 및 하의 색상 등과 같은 패션관련 특징정 보를 자동 추출하여, '어떠한 장소와 날씨에서는, A타입의 사용자는 B 타입의 C, D 색상의 옷을 선호한다.' 라는 예측결과를 유도할 수 있다. 이러한 정보는 사용자(소비자) 혹은 생산자의 선택, 판매, 그리고 항목 추천에 있어서 매우 유용한 고급 정보로서 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 관심객체 추출부에 대한 구체적인 설명을 위한 블록도이다.
도 3은 도 2의 제어기에 대한 구체적인 설명을 위한 도면이다.
도 4는 도 1의 영상 빅데이터 마이닝부에 대한 구체적인 설명을 위한 블록도이다.
도 5는 도 4의 마이닝부에서의 처리 결과의 일례를 설명하기 위한 도면이다.
도 6a는 도 2의 제어기에서의 처리 결과에 따른 사용자 인터페이스의 일례이다.
도 6b는 도 4의 마이닝부에서의 처리 결과에 따른 사용자 인터페이스의 일례이다.
도 7은 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 영상 빅 데이터의 처리를 위하여, 영상 객체 추출 기술과 영상 빅데이터 처리 기술, 그리고 영상 데이터 마이닝 기술이 이용될 수 있다. 먼저, 영상 객체 추출 기술은 컴퓨터 비전 분야에서 매우 중요하게 고려되는 주제로서 '관심객체 영상 분할(object-of-interest image segmentation)', '객체 인식(object recognition)', '객체 어노테이션(object annotation)', '적응적 영상 압축(adaptive image compression)', '영상 검색(image retrieval)', '영상 기반 콘텐츠 제작(예로, 영상 합성, 비사실적 렌더링 등)' 등의 응용서비스 제공을 위한 핵심 모듈이다. 그러나, 영상 객체 추출 기술은 본질적으로 조건 불충분(underconstrained)의 불량조건(ill-posed) 문제로서 완전 자동화 솔루션 개발이 어려운 기술이다.
또한, 급속도로 발전하는 웹(Web)기술과 데이터 수집기술로 인해, '복잡도(complexity)', '다양성(diversity)', 그리고 '규모확장성(scalability)'의 특성을 갖는 영상 빅데이터의 효과적인 처리문제가 중요 이슈사항이다. 이러한 대규모(Large-Scale) 데이터 처리를 위해서는 대용량의 효과적 행렬계산을 위한 특화된 알고리즘과 분산-병렬처리를 위한 소프트웨어 및 하드웨어 시스템(예, MapReduce와 GPU(Graphic Processing Unit) 기술)들이 요구된다. 특히, 영상 데이터의 경우 다른 데이터에 비해 일반적으로 큰 데이터 차원(data dimension)을 갖는 특성으로 인해, 메모리 공간요구 및 데이터 처리에 있어 어려움이 존재한다. 예를 들어, Full HD급의 106이상 픽셀에 대한 밀집(dense) 유사도 행렬요소는 1012 이상을 요구하며, 따라서 더블형 데이터 인스턴스(data instance)의 경우 8TB의 저장공간이 요구된다.
그리고, 데이터 마이닝은 주어진 데이터 속에서 그 동안 알지 못했던 새로운 데이터 모델, 패턴을 유도하여 미래에 유용한 정보를 추출해 내고 차후에 있을 관련 의사 결정에 이용하는 것을 목적으로 하는 기술로서, 본 발명에서는 정리되지 않은(unsorted) 영상 빅데이터를 대상으로 한다. 이러한 영상 빅데이터 마이닝을 위해서는 Large-Scale 그래프 기반 데이터 처리를 위한 데이터 모델링, 분할(partitioning) 그리고 co-군집(clustering)의 세부기술들이 요구된다.
도 1은 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템(100)을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템(100)은, 고속-완전자동의 관심객체 추출(Fast & Fully-Automatic Salient Object Collection(이하 가칭, FFA-SOC))을 위한 관심객체 추출부(110) 및 영상 빅데이터 마이닝(Big Visual Data Mining(이하 가칭, B-VDM))을 위한 영상 빅데이터 마이닝부(120)를 포함한다.
관심객체 추출부(110)는 대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 코어 모듈(FFA-SOC Core Module)을 통해 배경과 객체 이미지를 분리 추출하여, 객체 이미지 집합(들)과 배경 이미지 집합(들)을 수집한다. 대규모 영상 빅데이터는 사용자 단말, 인터넷 웹 등을 통하여 획득될 수 있다. 사용자 단말은 유선 인터넷 통신이나 WiFi, WiBro 등 무선 인터넷 통신, WCDMA, LTE 등 이동통신 또는 WAVE(Wireless Access in Vehicular Environment) 무선 통신 등을 지원하는 유무선 네트워크를 통해 연동하는 단말일 수 있다. 예를 들어, 사용자 단말은 스마트폰, 음성/영상 전화 통화 가능한 웨어러블 디바이스, 테블릿 PC, 노트북 PC, 등 무선 단말일 수 있고, 이외에도 데스크탑 PC 기타 통신 전용 단말기 등 유선 단말을 포함할 수 있다.
영상 빅데이터 마이닝부(120)는 코어 모듈(B-VDM Core Module)을 이용하여, 상기 수집된 객체 이미지 집합(들)과 배경 이미지 집합(들)에 대하여, 각각의 이미지의 특징을 추출하고 이미지와 특징 간의 관계 모델링을 수행하며, 분광분석을 통해 마이닝 처리하고 가시화해, 영상들의 객체집합, 배경집합 등의 유용한 관계 정보 등 고급 정보를 제공한다.
도 2는 도 1의 관심객체 추출부(110)에 대한 구체적인 설명을 위한 블록도이다.
도 2를 참조하면, 관심객체 추출부(110)는, 대규모 영상 빅데이터를 입력받는 입력부(111), 입력 영상 데이터의 분산을 위한 데이터 분산처리부(112), 배경과 객체 이미지를 분리 추출하고 수집하기 위한 추출부(113)를 포함할 수 있다.
입력부(111)는 사용자 단말, 인터넷 웹 등을 통하여 획득되는 대규모 영상 빅데이터를 수신하여 소정의 저장 수단(예, 메모리 등)에 저장할 수 있다.
데이터 분산처리부(112)는 위와 같은 대규모 영상 빅데이터를 입력 받아 처리할 소정의 이미지 세트 단위로 분산시킨다. 데이터 분산처리부(112)는 소정의 실행 명령에 따라, 저장 수단의 대규모 영상 빅데이터를 추출하여 이미지 세트 단위로 분산시킬 수 있다. 이미지 세트 단위는 소정의 프레임 동안의 이미지들의 집합일 수도 있고, 단말별 또는 웹 사이트별로 구분될 수 있는 소정의 프레임 이내의 이미지들의 집합일 수도 있다.
추출부(113)는 데이터 분산처리부(112)에 의해 분산된 이미지 세트 각각을 처리하기 위한 각각의 제어기를 포함하며, 각각의 제어기는, 도 3과 같이, 해당 처리 대상 이미지 세트에 대하여, 소정의 알고리즘, 예를 들어, 중요 관심맵(Saliency map) 생성과 적응형 매팅(adptive matting) 과정을 수행하여, 포함된 각 이미지에서 배경과 객체 이미지를 분리함으로써, 추출 객체 이미지 집합을 수집(Collection of Extracted Object Images)하고 이와 구분하여 추출 배경 이미지 집합을 수집(Collection of Extracted Background Images)할 수 있다(도 6a 참조).
도 4는 도 1의 영상 빅데이터 마이닝부(120)에 대한 구체적인 설명을 위한 블록도이다.
도 4를 참조하면, 영상 빅데이터 마이닝부(120)는 마이닝부(121)와 가시화부(122)를 포함한다.
마이닝부(121)는 관심객체 추출부(110)로부터의 처리 결과, 즉, 추출된 객체 이미지 집합(들)과 배경 이미지 집합(들)을 입력받아, 맵 리듀스 프레임워크(Map Reduce framework) 기반의 분광분석(spectral analysis) 방법을 이용해 영상 데이터 마이닝 프로세스를 수행한다.
즉, 마이닝부(121)는 객체 이미지 집합(들)에 대하여 각 이미지의 특징(예, 날씨, 장소 등 배경 종류 정보)을 추출하고, 배경 이미지 집합(들)에 대하여 각 이미지의 특징(예, 신체, 옷 크기, 상의 및 하의 색상 등 객체 종류 정보)을 추출하며, 추출 결과에 대하여 Map Reduce framework 기반의 대용량 데이터 병렬 처리를 통해, 각 추출 특징에 대하여 그에 속한 하나 이상의 이미지들의 관계를 연결시키는 특징 관계 맵(예, k-partite graph 구조)을 생성할 수 있다.
또한, 마이닝부(121)는 분광분석 기반의 마이닝 처리로 동시 군집화(co-clustering)기능을 수행할 수 있다. 마이닝부(121)는 위와 같이 생성한 특징 관계 맵에서 각 이미지들에 대한 분광 분석(스펙트럼 분석)을 통하여 분광 특성이 유사한 이미지들을 군집화(또는 그룹화)하되, 도 5와 같이, 동시 군집화를 통해, 군집화(또는 그룹화)된 이미지 그룹들, 즉, 객체 이미지 집합(들)의 이미지 그룹들 간, 배경 이미지 집합(들)의 이미지 그룹들 간, 객체 이미지 집합(들)의 이미지 그룹들과 배경 이미지 집합(들)의 이미지 그룹들 간의 유용한 관계정보를 추정할 수 있다. 예를 들어, 개인화된 웹 상에 존재하는 영상들을 이용하여 개인에 특화된 의류, 음식, 문화예술 관련 정보를 추천할 수 있도록, 맞춤형 의,식,예 등의 추천을 위한 유용한 관계정보를 추정할 수 있다.
가시화부(122)는 관심객체 추출부(110)와 영상 빅데이터 마이닝부(120)에서 처리 결과에 따른 의미를 사용자에게 직관적으로 제공하기 위하여, 도 6a, 도 6b와 같이, 직관적인 UI(User Interface)를 통하여, 2차원, 또는 3차원 기반의 그래피컬한 정보를 디스플레이 장치의 화면에 제공하는 가시화 기능을 담당한다.
가시화부(122)는 화면을 통하여, 메뉴를 선택하기 위한 창(Tool Menu), 입력/추출 영상 집합 리스트 뷰잉창((Extracted)Image Set # List)), 두개의 메인창, 데이터처리 관련 메시지를 출력하기 위한 창(Print Messages)을 제공할 수 있다. 이와 같이 제공된 화면에서 사용자의 선택에 따라, 가시화부(122)는, 두개의 메인창으로, 도 6a와 같이 추출부(113)의 제어기(controller)에서의 처리 전후 결과, 즉, 추출 전 이미지 세트와 추출 후 객체 이미지 집합(들)과 배경 이미지 집합(들)을 선택적으로 그래피컬한 정보로 가시화여 제공할 수 있으며, 또한, 도 6b와 같이 마이닝부(121)에서의 처리 전후 결과, 즉, 각 추출 특징에 대하여 그에 속한 하나 이상의 객체/배경 이미지들의 관계를 연결시키는 특징 관계 맵(예, k-partite graph 구조) (예, 좌측 메인창)과 선택된 그룹에 대하여 동시 군집화를 통해 획득한 유용한 관계정보(예, 우측 메인창)를 그래피컬한 정보로 가시화하여 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템(100)의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 영상 빅 데이터 처리 시스템(100)은 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 영상 빅 데이터 처리 시스템(100)은 도 7과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상술한 바와 같이, 본 발명에 따른 영상 빅 데이터 처리 시스템(100)에서는, 대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리 추출해 수집하고, 특징추출과 관계 모델링을 수행 및 분광분석을 통해 마이닝 처리하고 가시화해, 영상들의 배경집합/객체집합 등의 유용한 관계 정보 등 고급 정보를 제공함으로써, 대규모 영상 빅 데이터에 대한 효율적이고 효과적인 자동 객체 추출 및 추출된 데이터의 지능적 마이닝 처리에 따라, 차후에 있을 사용자의 의사결정에 도움을 줄 수 있다. 또한, 본 발명에서는 대규모 영상 빅데이터의 처리에 있어서 프로세스 자동화를 통해 Large-Scale 영상 기반 응용 서비스의 전처리를 지능화할 수 있다. 본 발명의 영상 객체 추출의 자동화 기술은 영상 입력을 이용하는 대부분의 시스템(예, 객체인식, 어노테이션, 압축, 검색, 로봇비전, 교육, 게임 등을 포함한 응용 콘텐츠 등)에서 핵심기능으로서 확장 가능하다.
또한, 본 발명에 따른 영상 빅 데이터 처리 시스템(100)에서는, 영상 빅데이터의 지능적 마이닝을 통해 분석 결과의 고수준화 및 실용화가 가능하다. 본 발명의 영상 빅데이터의 마이닝기술 적용을 통해 영상들간의 의미론적, 관계론적 분석을 가능토록 한다. 더불어, 이러한 분석 결과는 일반 사용자뿐만아니라 생산자와 소비자에게 의사결정-도움 관련 응용 서비스에서의 활용으로도 확장 가능하다. 또한, 본 발명은 영상 빅데이터의 지능적 마이닝을 통한 맞춤형 의,식,예 등의 추천 시스템으로 활용할 수 있다. 즉, 개인화된 웹 상에 존재하는 영상들을 이용하여 개인에 특화된 의류, 음식, 문화예술 관련 정보 추천의 응용 확장 가능하다. 예를 들어, 온라인 혹은 오프라인으로부터 수집된 영상에서 인물 객체와 배경을 따로 추출 후, 배경영상으로부터는 날씨, 장소 등의 배경관련 특징정보를 추출하고, 인물영상으로부터는 신체, 옷 크기, 상의 및 하의 색상 등과 같은 패션관련 특징정 보를 자동 추출하여, '어떠한 장소와 날씨에서는, A타입의 사용자는 B 타입의 C, D 색상의 옷을 선호한다.' 라는 예측결과를 유도할 수 있다. 이러한 정보는 사용자(소비자) 혹은 생산자의 선택, 판매, 그리고 항목 추천에 있어서 매우 유용한 고급 정보로서 활용될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
관심객체 추출부(110)
영상 빅데이터 마이닝부(120)
입력부(111)
데이터 분산처리부(112)
추출부(113)

Claims (8)

  1. 대규모 영상 빅데이터의 마이닝을 통한 이미지들의 관계 정보를 가시화하여 제공하기 위한 영상 빅 데이터 처리 시스템에 있어서,
    대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리하여, 객체 이미지 집합과 배경 이미지 집합을 수집하는 관심객체 추출부; 및
    상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각각의 이미지의 특징을 추출하고 이미지와 특징 간의 관계를 획득하고 분광분석을 통해 마이닝 처리하고 가시화해, 이미지들의 관계 정보를 그래피컬한 정보로 가시화하는 영상 빅데이터 마이닝부를 포함하고,
    상기 대규모 영상 빅데이터는 복수의 이미지 세트들을 포함하고,
    상기 영상 빅데이터 마이닝부는,
    상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각 이미지의 특징을 추출하고, 각 추출 특징에 대하여 하나 이상의 이미지들의 관계를 연결시키는 특징 관계 맵을 생성하는 마이닝부를 포함하며,
    상기 마이닝부는, 상기 특징 관계 맵에서, 각 이미지에 대한 분광 분석을 통하여 이미지들을 군집화하되, 군집화된 객체 이미지 집합의 이미지 그룹들 간, 배경 이미지 집합의 이미지 그룹들 간, 객체 이미지 집합의 이미지 그룹들과 배경 이미지 집합의 이미지 그룹들 간의 관계정보를 추정하는 것을 특징으로 하는 영상 빅 데이터 처리 시스템.
  2. 제1항에 있어서,
    상기 관심객체 추출부는,
    상기 대규모 영상 빅데이터를 수신하여 저장 수단에 저장하는 입력부; 상기 대규모 영상 빅데이터를 구분된 소정의 이미지 세트 단위로 분산시키는 데이터 분산처리부; 및
    복수의 이미지 세트 각각을 처리하기 위한 각각의 제어기를 포함하며, 상기 각각의 제어기에서 처리 대상 이미지 세트에 대하여 각 이미지에서 배경과 객체 이미지를 분리하여 상기 객체 이미지 집합과 상기 배경 이미지 집합을 수집하는 추출부
    를 포함하는 것을 특징으로 하는 영상 빅 데이터 처리 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 영상 빅데이터 마이닝부는, 디스플레이 장치의 화면에 상기 특징 관계 맵과 상기 관계정보를 상기 그래피컬한 정보로 가시화하여 직관적인 사용자 인터페이스를 제공하는 가시화부
    를 포함하는 것을 특징으로 하는 영상 빅 데이터 처리 시스템.
  5. 대규모 영상 빅데이터의 마이닝을 통한 이미지들의 관계 정보를 가시화하여 제공하기 위한 시스템에서 영상 빅 데이터 처리 방법은,
    대규모 영상 빅데이터를 입력받아 이미지 세트 단위로 배경과 객체 이미지를 분리하여, 객체 이미지 집합과 배경 이미지 집합을 수집하는 단계; 및
    상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각각의 이미지의 특징을 추출하고 이미지와 특징 간의 관계를 획득하고 분광분석을 통해 마이닝 처리하고 가시화해, 이미지들의 관계 정보를 그래피컬한 정보로 가시화하는 단계
    를 포함하고,
    상기 대규모 영상 빅데이터는 복수의 이미지 세트들을 포함하고,
    상기 가시화하는 단계는,
    상기 객체 이미지 집합과 상기 배경 이미지 집합에 대하여, 각 이미지의 특징을 추출하고, 각 추출 특징에 대하여 하나 이상의 이미지들의 관계를 연결시키는 특징 관계 맵을 생성하는 단계; 및
    상기 특징 관계 맵에서, 각 이미지에 대한 분광 분석을 통하여 이미지들을 군집화하되, 군집화된 객체 이미지 집합의 이미지 그룹들 간, 배경 이미지 집합의 이미지 그룹들 간, 객체 이미지 집합의 이미지 그룹들과 배경 이미지 집합의 이미지 그룹들 간의 관계정보를 추정하는 단계
    를 포함하는 것을 특징으로 하는 영상 빅 데이터 처리 방법.
  6. 제5항에 있어서,
    상기 객체 이미지 집합과 배경 이미지 집합을 수집하는 단계는,
    상기 대규모 영상 빅데이터를 수신하여 저장 수단에 저장하는 단계; 상기 대규모 영상 빅데이터를 구분된 소정의 이미지 세트 단위로 분산시키는 단계; 및
    복수의 이미지 세트 각각을 처리하기 위한 각각의 제어기를 이용하여, 상기 각각의 제어기에서 처리 대상 이미지 세트에 대하여 각 이미지에서 배경과 객체 이미지를 분리하여 상기 객체 이미지 집합과 상기 배경 이미지 집합을 수집하는 단계
    를 포함하는 것을 특징으로 하는 영상 빅 데이터 처리 방법.
  7. 삭제
  8. 제5항에 있어서,
    상기 가시화하는 단계는,
    디스플레이 장치의 화면에 상기 특징 관계 맵과 상기 관계정보를 상기 그래피컬한 정보로 가시화하여 직관적인 사용자 인터페이스를 제공하는 단계
    를 포함하는 것을 특징으로 하는 영상 빅 데이터 처리 방법.
KR1020160000281A 2016-01-04 2016-01-04 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 KR102444172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160000281A KR102444172B1 (ko) 2016-01-04 2016-01-04 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000281A KR102444172B1 (ko) 2016-01-04 2016-01-04 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템

Publications (2)

Publication Number Publication Date
KR20170081348A KR20170081348A (ko) 2017-07-12
KR102444172B1 true KR102444172B1 (ko) 2022-09-19

Family

ID=59353080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000281A KR102444172B1 (ko) 2016-01-04 2016-01-04 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템

Country Status (1)

Country Link
KR (1) KR102444172B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102168211B1 (ko) 2017-06-27 2020-10-20 주식회사 엘지화학 배터리 모듈, 이러한 배터리 모듈을 포함하는 배터리 팩 및 이러한 배터리 팩을 포함하는 자동차
KR20230036675A (ko) 2021-09-08 2023-03-15 정수아 Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369622B1 (en) * 2009-10-29 2013-02-05 Hsu Shin-Yi Multi-figure system for object feature extraction tracking and recognition

Also Published As

Publication number Publication date
KR20170081348A (ko) 2017-07-12

Similar Documents

Publication Publication Date Title
Raja et al. Color object detection based image retrieval using ROI segmentation with multi-feature method
TWI559242B (zh) 視覺化服飾檢索
US9036905B2 (en) Training classifiers for deblurring images
JP2023018021A (ja) 制御されていない照明条件の画像中の肌色を識別する技術
CN104463177A (zh) 相似人脸图片获取方法和装置
WO2021129466A1 (zh) 检测水印的方法、装置、终端及存储介质
JP2017168057A (ja) 画像分類装置、画像分類システム及び画像分類方法
CN114041165A (zh) 一种视频相似检测的方法、装置及设备
CN104537341A (zh) 人脸图片信息获取方法和装置
CN110363206B (zh) 数据对象的聚类、数据处理及数据识别方法
CN112163577A (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
JP6389742B2 (ja) 画像セグメンテーション方法、装置、及びプログラム
JP2012022419A (ja) 学習データ作成装置、学習データ作成方法及びプログラム
KR102444172B1 (ko) 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템
CN111104924A (zh) 一种有效的识别低分辨率商品图像的处理算法
CN113395584B (zh) 一种视频数据处理方法、装置、设备以及介质
CN113869371A (zh) 模型训练方法、服装细粒度分割方法及相关装置
WO2018120575A1 (zh) 网页主图识别方法和装置
CN112883827A (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
CN110929647B (zh) 一种文本检测方法、装置、设备及存储介质
Guo et al. Saliency detection on sampled images for tag ranking
CN114511862A (zh) 表格识别方法、装置及电子设备
Choi et al. Object-aware image thumbnailing using image classification and enhanced detection of ROI
Baumgartner et al. Deep architectures for face attributes

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant