KR20180077807A - 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법 - Google Patents

시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180077807A
KR20180077807A KR1020160182529A KR20160182529A KR20180077807A KR 20180077807 A KR20180077807 A KR 20180077807A KR 1020160182529 A KR1020160182529 A KR 1020160182529A KR 20160182529 A KR20160182529 A KR 20160182529A KR 20180077807 A KR20180077807 A KR 20180077807A
Authority
KR
South Korea
Prior art keywords
attribute
image
information
database
search
Prior art date
Application number
KR1020160182529A
Other languages
English (en)
Other versions
KR101986804B1 (ko
Inventor
김성민
윤경용
Original Assignee
주식회사 얍컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 얍컴퍼니 filed Critical 주식회사 얍컴퍼니
Priority to KR1020160182529A priority Critical patent/KR101986804B1/ko
Priority to PCT/KR2017/001130 priority patent/WO2018124372A1/ko
Publication of KR20180077807A publication Critical patent/KR20180077807A/ko
Application granted granted Critical
Publication of KR101986804B1 publication Critical patent/KR101986804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F17/30023—
    • G06F15/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F17/30247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 복수의 푸드에 대한 복수의 기본 정보가 저장된 시각적 콘텐츠 검색용 데이터베이스를 생성하는 장치 및 방법에 관한 것으로, 이를 위하여 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 해당하는 변형된 이미지를 입력받는 입력부와, 상기 변형된 이미지에 대한 분석을 통해 상기 변형된 이미지에 대한 속성 값으로 내용물의 색깔, 상기 내용물의 이미지 내 위치 값, 내용물의 형태 및 상기 내용물이 포함된 용기의 형태 중 적어도 하나 이상을 추출하는 속성 추출부와, 상기 어느 하나의 기본 정보에 매칭되고 상호간의 구분을 위한 대표 특징 각각을 갖는 복수의 분별 속성 및 상기 복수의 분별 속성 각각에 매칭된 데이터 값으로 구성된 속성 훈련 셋과, 상기 속성 추출부에 의해 추출된 속성 값을 이용하여 상기 속성 훈련 셋을 업데이트시키며, 상기 업데이트된 속성 훈련 셋을 기반으로 상기 어느 하나의 기본 정보에 연결되는 검색 비교용 정보를 생성한 후 이를 기반으로 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 연결된 데이터를 생성시키는 데이터 생성부를 포함하는 시각적 콘텐츠 검색용 데이터베이스 생성 장치를 제공한다.

Description

시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법{METHOD AND APPARATUS FOR DATABASE OF SEARCHING VISUAL CONTENTS}
본 발명은 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법에 관한 것이다.
인터넷(웹) 상에서 수많은 멀티미디어 콘텐츠들이 공유되고 있으나 현재까지는 이러한 웹상에서 텍스트 검색이 위주로 이루어지고 있다. 하지만, 아직까지는 이미지, 영상, 음성(audio) 데이터, 및 음성을 포함한 동영상(motionvideo) 데이터들을 위한 빠르고 효율적인 검색 방법이 미비하다.
최근에는, 멀티미디어 데이터들의 양이 증가함에 따라 멀티미디어 데이터들에 대하여 데이터베이스를 구축하고, 구축된 데이터베이스를 사용하여 사용자에게 검색 서비스를 제공할 수 있는 방안이 요구된다.
대한민국 등록특허공보 제10-0754157호(2007.09.03. 등록)
본 발명은 어느 하나의 푸드를 포함한 시각적 콘텐츠를 다양한 형태로 변형시킨 이미지를 기반으로 속성 값을 추출하며, 추출한 속성 값을 이용하여 어느 하나의 푸드 검색 시 이용될 검색 비교용 정보를 생성할 수 있는 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법을 제공한다.
상기한 본 발명의 해결하고자 하는 과제를 해결하기 위하여 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치는 복수의 푸드에 대한 복수의 기본 정보가 저장된 시각적 콘텐츠 검색용 데이터베이스를 생성하는 장치에 있어서, 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 해당하는 변형된 이미지를 입력받는 입력부와, 상기 변형된 이미지에 대한 분석을 통해 상기 변형된 이미지에 대한 속성 값으로 내용물의 색깔, 상기 내용물의 이미지 내 위치 값, 내용물의 형태 및 상기 내용물이 포함된 용기의 형태 중 적어도 하나 이상을 추출하는 속성 추출부와, 상기 어느 하나의 기본 정보에 매칭되고 상호간의 구분을 위한 대표 특징 각각을 갖는 복수의 분별 속성 및 상기 복수의 분별 속성 각각에 매칭된 데이터 값으로 구성된 속성 훈련 셋과, 상기 속성 추출부에 의해 추출된 속성 값을 이용하여 상기 속성 훈련 셋을 업데이트시키며, 상기 업데이트된 속성 훈련 셋을 기반으로 상기 어느 하나의 기본 정보에 연결되는 검색 비교용 정보를 생성한 후 이를 기반으로 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 연결된 데이터를 생성시키는 데이터 생성부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 검색용 데이터베이스 생성 장치는 상기 변형된 이미지를 촬영하기 위한 카메라의 촬영 환경 정보를 설정하거나 상기 카메라와의 연동을 통해 상기 촬영 환경 정보를 제공받아 상기 속성 추출부에 제공하는 촬영 환경 설정부를 더 포함하며, 상기 속성 추출부는 상기 촬영 환경 설정부를 통해 제공받은 촬영 환경 정보를 상기 변형된 이미지에 대한 속성 값으로 추출하여 상기 데이터 생성부에 제공할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 검색용 데이터베이스 생성 장치는 상기 어느 하나의 기본 정보를 인덱스로 하여 상기 변형된 이미지와 상기 추출한 속성 값을 매핑시켜 이미지 데이터베이스에 저장하는 이미지 저장부를 더 포함하며, 상기 데이터 생성부는 상기 이미지 저장부에 저장된 변형된 이미지 및 속성 값을 이용한 기계 학습을 통해 상기 어느 하나의 기본 정보에 대한 검색 비교용 정보를 생성할 수 있다.
상기한 본 발명의 해결하고자 하는 과제를 해결하기 위하여 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 방법은 복수의 푸드에 대한 복수의 기본 정보가 저장된 시각적 콘텐츠 검색용 데이터베이스를 생성하는 방법에 있어서, 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 해당하는 변형된 이미지를 입력받는 단계와, 상기 변형된 이미지에 대한 분석을 통해 상기 변형된 이미지에 대한 속성 값으로 내용물의 색깔, 상기 내용물의 이미지 내 위치 값, 내용물의 형태 및 상기 내용물이 포함된 용기의 형태 중 적어도 하나 이상을 추출하는 단계와, 상기 추출한 속성 값을 이용하여 상기 어느 하나의 기본 정보에 매칭되고 상호간의 구분을 위한 대표 특징 각각을 갖는 복수의 분별 속성 및 상기 복수의 분별 속성 각각에 매칭된 데이터 값으로 구성된 속성 훈련 셋을 업데이트시키는 단계와, 상기 업데이트된 속성 훈련 셋을 이용하여 상기 어느 하나의 기본 정보에 연결된 검색 비교용 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 검색용 데이터베이스 생성 방법은 상기 변형된 이미지를 촬영하기 위한 카메라의 촬영 환경 정보를 설정하거나 상기 카메라와의 연동을 통해 촬영 환경 정보를 제공받는 단계를 더 포함하며, 상기 추출하는 단계는 상기 설정 또는 제공받은 촬영 환경 정보를 상기 변형된 이미지에 대한 속성 값으로 추출할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 검색용 데이터베이스 생성 방법은 상기 어느 하나의 기본 정보를 인덱스로 하여 상기 변형된 이미지와 상기 추출한 속성 값을 매핑시켜 이미지 데이터베이스에 저장하는 단계와, 상기 데이터를 생성하는 단계는 상기 저장된 변형된 이미지 및 속성 값을 이용한 기계 학습을 통해 상기 어느 하나의 기본 정보에 대한 검색 비교용 정보를 생성할 수 있다.
전술한 본 발명의 과제 해결 수단에 따르면, 어느 하나의 푸드를 포함한 시각적 콘텐츠를 다양한 형태로 변형시킨 이미지를 기반으로 속성 값을 추출하며, 추출한 속성 값을 이용하여 어느 하나의 푸드 검색 시 이용될 검색 비교용 정보를 생성할 수 있는 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법을 제공함으로써, 다양한 푸드 관련 시각적 콘텐츠의 검색 정확도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 시각적 콘텐츠 검색 시스템을 도시한 전체 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치가 이미지 데이터베이스를 구축하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 데이터베이스에 저장된 데이터를 기반으로 검색 비교용 정보를 생성하는 과정을 도시한 흐름도이다.
도 5는 본 발명의 실시예에 따른 시각적 콘텐츠 검색 요청 처리 장치의 세부 구성을 도시한 블록도이다.
도 6은 본 발명의 실시예에 따른 시각적 콘텐츠 검색 요청 처리 장치가 설치된 기기의 표시부 상에 디스플레이되는 비주얼 브라우저에 대한 인터페이스를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 시각적 콘텐츠의 검색 과정을 도시한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 본 명세서 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 시각적 콘텐츠 검색 시스템을 도시한 전체 네트워크 구성도이다.
도 1에 도시된 바와 같이, 시각적 콘텐츠 검색 시스템은 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100), 이미지 데이터베이스(110), 검색용 데이터베이스(120), 시각적 콘텐츠 검색 요청 처리 장치(130), 검색 엔진(140), 콘텐츠 데이터베이스(150) 및 레시피 데이터베이스(160) 등을 포함할 수 있다.
먼저, 도 1의 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 유선 또는 무선으로 이미지 데이터베이스(110) 및 검색용 데이터베이스(120)에 연결될 수 있다. 또한, 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 적어도 하나 이상의 프로세서에 의해 실행 가능한 형태로 기록매체에 저장될 수 있다. 구체적으로, 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 이미지, 예컨대 푸드 관련 시각적 콘텐츠에 대응하는 이미지가 획득됨에 따라 적어도 하나 이상의 프로세서에 의해 실행되어 이미지의 속성을 추출한 후 이를 기반으로 기본 정보를 인덱스로 한 이미지, 속성 및 촬영 환경 정보를 매핑시켜 이미지 데이터베이스(110)에 저장함과 더불어 이미지 데이터베이스(110)에 저장된 데이터를 기반으로 기계 학습을 수행하여 기본 정보를 인덱스로 한 검색 비교용 정보에 해당하는 데이터, 예컨대 애노테이션(annotation) 정보를 생성하여 검색용 데이터베이스(120)에 저장할 수 있다.
또한, 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)와 연결된 검색용 데이터베이스(120)는 복수의 푸드를 포함한 콘텐츠에 대한 기본 정보를 복수의 카테고리로 분류하여 저장하고 있으며, 각 기본 정보에 검색 매칭 시 이용되는 복수의 검색 비교용 정보를 연결시켜 저장하고 있다. 여기에서, 복수의 검색 비교용 정보는 시각적 콘텐츠 검색 시 이용되는 비교 데이터를 의미할 수 있으며, 기본 정보는 콘텐츠 각각에 명명된 데이터로 검색 결과 데이터를 의미할 수 있다.
예를 들어, 기본 정보는 짜장면, 짬뽕, 김밥, 파스타, 피자 등을 들 수 있으며, 짜장면과 짬뽕은 중식 카테고리로 분류되어 저장되며, 파스타와 피자는 유럽식 카테고리로 분류되어 저장되며, 김밥은 분식 카테고리로 분류되어 저장될 수 있다. 또한, 각 기본 정보에 연결된 검색 비교용 정보는 해당 기본 정보에 대한 속성 값일 수 있다.
본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 상술한 바와 같은 이미지 데이터베이스(110)에 이미지를 저장하거나 검색용 데이터베이스(120) 내 각 기본 정보에 연결된 검색 비교용 정보를 업데이트시킬 수 있다.
상술한 바와 같은 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)의 세부 구성 및 동작에 대해 아래의 도면을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)의 세부 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 입력부(210), 촬영 환경 정보 설정부(220), 속성 추출부(230), 이미지 저장부(240) 및 데이터 생성부(250) 등을 포함할 수 있다.
입력부(210)는 어느 하나의 기본 정보에 대응하는 시각적 콘텐츠용 데이터에 대한 변형된 복수의 이미지를 입력받을 수 있다. 구체적으로, 입력부(210)는 짜장면에 대응하는 시각적 콘텐츠용 데이터에 대한 변형된 복수의 이미지, 예컨대 내용물의 색깔, 이미지 내 내용물(푸드)의 위치 값(이미지 내 좌표 값), 내용물의 형태, 내용물을 포함한 용기 형태 등을 변형 또는 변경시켜 촬영한 이미지를 입력받을 수 있다. 이를 위하여, 입력부(210)는 콘텐츠를 촬영하기 위한 카메라(200)와 연동될 수 있다.
한편, 입력부(210)는 변형된 복수의 이미지를 입력받아 이를 속성 추출부(230)에 제공할 수 있다.
촬영 환경 정보 설정부(220)는 촬영 환경 정보를 설정할 수 있는 인터페이스를 제공하거나 카메라(200)와의 연동을 통해 촬영 환경 정보를 카메라(200)로부터 제공받을 수 있으며, 인터페이스를 통해 설정된 촬영 환경 정보 또는 카메라(200)로부터 제공받은 촬영 환경 정보를 속성 추출부(230)에 제공할 수 있다.
본 발명의 실시예에서 촬영 환경 정보는 카메라(200)의 동작과 관련된 데이터, 예컨대 줌 상태, 후레쉬 작동 여부 및 주변 환경 상태(날씨, 촬영 시간, 계절 등의 데이터) 등을 포함할 수 있다.
속성 추출부(230)는 입력부(210)를 통해 입력된 복수의 이미지 각각에 대한 분석 및 촬영 환경 정보 설정부(220)를 통해 제공받은 촬영 환경 정보를 기반으로 복수의 이미지 각각에 대한 속성 값을 추출할 수 있다. 구체적으로, 속성 추출부(230)는 이미지의 분석을 통해 이미지 내 내용물과 내용물이 포함된 용기를 분리한 후 내용물의 색깔, 내용물이 이미지 내에 위치한 위치 값, 내용물의 형태, 용기의 형태, 촬영 환경 정보 등의 속성 값을 추출할 수 있다. 이렇게 추출된 각 이미지에 대한 속성 값은 이미지 저장부(240)에 제공될 수 있다.
이미지 저장부(240)는 기본 정보를 인덱스로 하여 이미지와 추출한 속성 값을 매핑시켜 이미지 데이터베이스(110)에 저장할 수 있다.
데이터 생성부(250)는 이미지 데이터베이스(110)에 저장된 이미지와 이미지에 매핑된 속성 값을 입력받아 기계 학습을 수행하여 기본 정보에 대한 검색 비교용 정보를 생성할 수 있다. 구체적으로, 데이터 생성부(250)는 기본 정보에 대한 학습을 수행하기 위한 것으로, 검색 시 검색 요청된 시각적 콘텐츠의 속성 값과 비교될 데이터, 즉 검색 비교용 정보를 생성할 수 있다.
이를 위하여 데이터 생성부(250)는 기본 정보별 속성 훈련 셋(260)을 관리할 수 있다. 구체적으로, 데이터 생성부(250)는 이미지 내 각 속성을 구분하고 복수의 데이터 값(속성 값)을 포함하는 복수의 분별 속성을 기본 정보별로 관리할 수 있다. 본 발명의 실시예에서 복수의 분별 속성은 복수의 데이터 값(이미지에 대한 속성 값)을 가지며, 다른 분별 속성과 구분되기 위한 분별 정보, 즉 대표 특징을 가질 수 있다. 여기에서, 분별 정보는 기본 정보의 색깔, 위치 값, 내용물 및 용기의 형태, 촬영 환경 정보 내 각 파라미터 등을 들 수 있다.
또한, 데이터 생성부(250)는 이미지 데이터베이스(110)에 저장된 이미지의 속성 값이 속성 훈련 셋(260) 내 어떤 분별 속성에 포함되는지를 판단한 후 판단한 분별 속성 내 데이터 값에 속성 값을 포함시키는 방식으로 복수의 분별 속성 내 데이터 값을 업데이트시킬 수 있다.
한편, 데이터 생성부(250)는 이미지의 속성 값이 어떤 분별 속성에 포함되는지를 판단한 후 판단한 분별 속성 내 데이터 값과 속성 값간의 차이(거리)가 기 설정된 분류 기준값 보다 클 경우 판단한 분별 속성에 대한 서브 분별 속성을 생성하여 속성 훈련 셋(260)을 업데이트할 수 있다. 예를 들어, 속성 값이 내용물의 색깔인 빨간색일 경우에 데이터 생성부(250) 이미지의 속성 값이 색깔에 관련된 분별 속성에 포함되는 것으로 판단한 후 색깔 분별 속성 내 데이터 값(짜장면일 경우 대부분이 검은색 계통임)과 이미지의 속성 값인 빨간색간의 차이가 기 설정된 분류 기준값보다 크다고 판단하여 색깔 분별 속성과 관련된 서브 분별 속성, 즉 속성 값을 데이터 값으로 갖는 빨간색 분별 속성을 생성할 수 있다. 이에 따라, 색깔 분별 속성에는 빨간색 분별 속성이 서브로 연결되어 속성 훈련 셋(260)이 업데이트될 수 있다.
또한, 위치 값에 관련된 분별 속성의 경우에는 분별 정보 내 데이터 값으로 좌표 범위 값(이미지 내 내용물의 좌표 범위 값)을 갖는 서브 분별 속성이 연결되며, 데이터 생성부(250)는 위치 값에 대한 속성 값이 어떤 좌표 범위에 근접한지를 판단한 후 속성 값을 이용하여 판단된 좌표 범위에 해당하는 서브 분별 속성 내 데이터 값을 업데이트시킬 수 있다.
데이터 생성부(250)는 이미지에 대한 속성 값에 대응하는 분별 속성, 서브 분별 속성, 및 분별 속성과 서브 분별 속성에 연결된 데이터 값을 기본 정보와 연결시킴으로서, 검색용 데이터베이스(120) 내 기본 정보에 연결된 검색 비교용 정보, 예컨대 기본 정보에 대한 애노테이션 정보를 업데이트시킬 수 있다.
상술한 바와 같은 구성을 갖는 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)가 검색용 데이터베이스(120)를 생성하는 과정에 대해 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)가 이미지 데이터베이스(110)를 구축하는 과정을 도시한 흐름도이다.
도 3에 도시된 바와 같이, 먼저 입력부(210)는 카메라(200)와의 연동을 통해 어느 하나의 기본 정보에 대응하는 시각적 콘텐츠에 대한 변형된 이미지를 제공받은 후 이를 속성 추출부(230)에 제공한다(S300). 구체적으로, 입력부(210)는 내용물의 형태, 색깔, 내용물이 담긴 용기 형태, 크기, 내용물의 위치 등이 변형된 이미지를 포함한 시각적 콘텐츠를 카메라(200)로부터 제공받는다.
또한, 촬영 환경 정보 설정부(220)는 카메라(200)로부터 제공받은 촬영 환경 정보를 속성 추출부(230)에 제공한다(S302).
이후, 속성 추출부(230)는 변형된 이미지에 대한 분석 및 촬영 환경 정보를 이용하여 변형된 이미지에 대한 속성 값, 예컨대 이미지 내 내용물의 색깔, 내용물이 이미지 내에 위치한 위치 값, 내용물의 형태, 용기의 형태, 촬영 환경 정보 등을 추출한다(S304).
그런 다음, 이미지 저장부(240)는 속성 값 및 이미지가 매핑된 데이터를 생성한 후 이를 기본 정보에 연결시킴으로써, 이미지 데이터베이스(110)를 업데이트한다(S306).
상술한 바와 같은 S300 내지 S306을 반복적으로 수행하여 이미지 데이터베이스(110)에는 복수의 변형된 이미지와 속성 값이 매핑된 데이터가 연결된 기본 정보가 저장될 수 있다.
이후, 시각적 콘텐츠 검색용 데이터베이스 생성 장치(100)는 이미지 데이터베이스(110)에 저장된 데이터를 기반으로 기계 학습을 수행하여 속성 훈련 셋(260)을 업데이트시킴과 더불어 검색 시 이용되는 검색 비교용 정보를 생성할 수 있다. 이에 대해 도 4를 참조하여 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 이미지 데이터베이스(110)에 저장된 데이터를 기반으로 검색 비교용 정보를 생성하는 과정을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 데이터 생성부(250)는 이미지 데이터베이스(110)에서 어느 하나의 기본 정보에 연결된 복수의 이미지 및 이에 매핑된 데이터(속성 값)를 순차적으로 입력받는다(S400).
이후, 데이터 생성부(250)는 속성 훈련 셋(260) 내 기본 정보에 연결된 복수의 분별 속성 중 이미지의 속성 값에 해당하는 분별 속성을 선택하고(S402), 선택한 분별 속성에 연결된 데이터 값과 이미지의 속성 값간의 차이, 즉 거리를 분석한다(S404).
그런 다음, 데이터 생성부(250)는 거리가 기 설정된 분류 기준 값 이상인지를 판단한다(S406).
S406의 판단 결과, 미만일 경우 데이터 생성부(250)는 이미지의 속성 값을 선택한 분별 속성에 데이터 값에 반영하여 속성 훈련 셋(260)을 업데이트한다(S408).
한편, S406의 판단 결과, 이상일 경우 데이터 생성부(250)는 이미지의 속성 값을 이용하여 선택한 분별 속성에 연결되는 서브 분별 속성을 생성하며(S410), 서브 분별 속성의 데이터 값으로 이미지의 속성 값을 연결시켜 속성 훈련 셋(260)을 업데이트시킨다(S412).
데이터 생성부(250)는 상술한 바와 같은 S400∼S412의 단계를 반복적으로 수행하여 기 설정된 개수 이상, 예컨대 700장 이상의 변형된 이미지와 그에 대응하는 속성 값을 기반으로 어느 하나의 기본 정보에 해당하는 속성 훈련 셋(260)을 업데이트시키며, 업데이트된 속성 훈련 셋(260)을 이용하여 검색 비교용 정보, 즉 기본 정보에 바인딩된 검색 비교용 정보를 생성한다(S414).
상술한 바와 같은 방법을 통해 구축된 검색 비교용 정보를 이용하여 입력되는 시각적 콘텐츠, 즉 푸드에 대응하는 시각적 콘텐츠의 검색 결과를 제공하는 장치 및 방법에 대해 도 5 내지 도 6을 참조하여 설명한다.
시각적 콘텐츠 검색 요청 처리 장치(130)의 세부 구성 및 동작의 설명에 앞서, 시각적 콘텐츠 검색 요청 처리 장치(130)는 유선 또는 무선으로 통신이 가능하며, 적어도 하나 이상의 프로세서에 의해 실행 가능한 형태로 기록매체를 구비한 기기, 예컨대 모바일 기기, 컴퓨터, TV 등에 포함될 수 있다. 다시 말해서, 시각적 콘텐츠 검색 요청 처리 장치(130)는 적어도 하나 이상의 프로세서에 의해 실행 가능한 형태로 기록매체에 저장된 어플리케이션일 수 있다.
한편, 시각적 콘텐츠 검색 요청 처리 장치(130)를 포함하는 기기는 유선 또는 무선으로 도 1의 검색용 데이터베이스(120)와 연동되는 검색 엔진(140)과 연결될 수 있다.
시각적 콘텐츠 검색 요청 처리 장치(130)는 시각적 콘텐츠에 대한 검색 속성 값(선택적으로, 촬영 환경 정보를 포함함)을 추출한 후 이를 기반으로 검색을 요청하며, 요청에 대한 응답으로 검색 결과, 예컨대 시각적 콘텐츠 내 푸드의 종류(이름)를 제공받을 수 있다.
또한, 시각적 콘텐츠 검색 요청 처리 장치(130)는 비콘 신호 내 위치 정보에 해당하는 고유 식별 정보를 추출한 후 이를 검색 요청 시 전송하여 시각적 콘텐츠가 촬영된 위치에서 제공되는 다양한 형태의 정보, 즉 POI 정보를 제공받을 수 있다. 여기에서, POI 정보는 시각적 콘텐츠 내 푸드의 종류를 제공하는 맛집 정보이거나 해당 맛집에서 제공하는 다양한 혜택 정보(할인, 쿠폰 등의 정보)일 수 있다.
상기와 같은 시각적 콘텐츠 검색 요청 처리 장치(130)는, 도 5에 도시된 바와 같이, 영상 촬영부(500), 시각적 콘텐츠 획득부(510), 비콘 신호 수신부(520), 특징 정보 추출부(530), 검색 요청부(540), 검색 결과 제공부(550) 및 표시부(560) 등을 포함할 수 있다.
영상 촬영부(500)는 영상 촬영 시 촬영 환경 정보를 특징 정보 추출부(530)에 제공할 수 있다. 여기에서, 촬영 환경 정보는 영상 촬영 시 영상 촬영부(500)인 카메라의 조작 상태 및 외부 조건 정보(촬영 시 날씨, 기온 등의 환경 정보)일 수 있다.
시각적 콘텐츠 획득부(510)는 기기 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 영상 촬영부(500)에 의해 획득한 시각적 콘텐츠인 푸드를 포함한 이미지를 표시부(560) 상에 디스플레이할 수 있다.
비콘 신호 수신부(520)는 시각적 콘텐츠가 획득 또는 비주얼 브라우저가 실행됨에 따라 활성화되어 기 설정된 반경 내에 브로드캐스팅되는 비콘 신호를 수신하며, 수신한 비콘 신호를 검색 요청부(540)에 제공할 수 있다.
본 발명의 실시예에 따른 비콘 신호 수신부(520)는 기기 내 블루투스, 적외선 통신 모듈, 와이파이 모듈 및 초음파 신호 수신 모듈(예컨대, 마이크) 등과 연동되어 비콘 신호를 수신할 수 있다.
한편, 본 발명의 실시예에 따른 시각적 콘텐츠 검색 요청 처리 장치(130)와 연동되어 실행되는 비주얼 브라우저(600)는, 도 6에 도시된 바와 같이, 비콘 신호 수신부(520)의 동작을 제어하기 위한 제어 인터페이스(610)를 구비할 수 있다.
본 발명의 실시예에서 제어 인터페이스(610)는 비콘 신호 수신부(520)의 동작을 활성화시키기 위한 조작 인터페이스를 제공하며, 사용자 조작, 예컨대 제어 인터페이스(610)의 터치에 따라 비콘 신호 수신부(520)를 활성화시킬 수 있다. 이에 따라, 비콘 신호 수신부(520)는 기기 내 장치들(블루투스, 적외선 통신 모듈, 와이파이 모듈 및 초음파 신호 수신 모듈(예컨대, 마이크))과 연동되어 비콘 신호를 수신하며, 수신한 비콘 신호 중 기 설정된 임계 값 이상의 신호 세기를 갖는 비콘 신호를 추출한 후 이를 검색 결과 제공부(550)에 제공할 수 있다.
특징 정보 추출부(530)는 시각적 콘텐츠, 예컨대 푸드를 포함한 이미지에 대한 분석과 영상 촬영부(500)로부터 제공받은 촬영 환경 정보를 이용하여 시각적 콘텐츠의 검색에 필요한 검색 속성 값을 추출하며, 추출한 검색 속성 값을 검색 요청부(540)에 제공할 수 있다. 구체적으로, 특징 정보 추출부(530)는v 시각적 콘텐츠에 대한 분석을 통해 시각적 콘텐츠 내 내용물(푸드)의 색깔, 시각적 콘텐츠 내 내용물의 위치 값, 내용물의 형태, 내용물이 포함된 용기의 형태 및 촬영 환경 정보를 기반으로 검색 속성 값을 추출한 후 이를 검색 요청부(540)에 제공할 수 있다. 이에 따라, 검색 요청부(540)는 검색 속성 값을 검색 엔진(140)에 전송하여 검색을 요청할 수 있다.
또한, 검색 요청부(540)는 비콘 신호 중 특정 건물의 위치 정보에 해당하는 고유 식별 정보에 대한 미리 설정된 변동 패턴을 갖는 고주파 대역의 사운드 신호(기기의 마이크를 통해 수신되는 비콘 신호)에서 고유 식별 정보를 추출한 후 추출한 고유 식별 정보와 기기의 고유 정보를 검색 속성 값에 포함시켜 검색 엔진(140)에 전송하여 검색을 요청할 수 있다.
검색 결과 제공부(550)는 검색 엔진(140)으로부터 검색 결과를 제공받아 표시부(560)에 디스플레이할 수 있다. 다시말해서, 검색 결과 제공부(550)는 검색 엔진(140)으로부터 제공받은 검색 결과를 비주얼 브라우저와의 연동을 통해 표시부(560) 상에 디스플레이할 수 있다.
검색 엔진(140)은 검색 요청부(540)의 검색 요청에 대한 응답으로 시각적 콘텐츠에 대한 검색 결과, 즉 시각적 콘텐츠 내 푸드가 어떤 것인지를 판단한 검색 결과를 전송할 수 있다.
구체적으로, 검색 엔진(140)은 검색 속성 값이 속성 훈련 셋(도 2의 ~~) 내 어떤 분별 속성에 포함되는지를 판단한 후 분별 속성 내 데이터 값과 검색 속성 값간의 비교를 통해 검색 속성 값이 분별 속성이 포함되는지를 판단하며, 판단 결과 포함되지 않을 경우 판단한 분별 속성에 연결된 서브 분별 속성 내 데이터 값과 검색 속성 값간의 비교를 통해 서브 분별 속성에 포함되는지를 판단한 후 판단 결과 서브 분별 속성에 연결된 기본 정보, 예컨대 푸드에 대한 이름을 검색 결과로 하여 검색 요청에 대한 응답을 전송할 수 있다.
한편, 검색 엔진(140)은 고유 식별 정보에 복수의 콘텐츠, 예컨대 특정 위치(고유 식별 정보에 대한 위치)에서 제공되는 맛집 정보, 할인 정보 및 쿠폰 정보 등과 같은 콘텐츠를 관리하는 콘텐츠 데이터베이스(150)와 연결될 수 있다. 이에 따라, 검색 엔진(140)은 검색 요청부(540)로부터 제공받은 고유 식별 정보를 기반으로 콘텐츠 데이터베이스(150)에서 콘텐츠를 검색한 후 검색한 콘텐츠에서 푸드 관련 정보를 추출하며, 추출한 푸드 관련 정보를 기반으로 검색용 데이터베이스(120)에서 적어도 하나 이상의 기본 정보와 이에 연결된 검색 비교용 정보를 검색한 후 검색한 검색 비교용 정보와 시각적 콘텐츠 검색 요청 처리 장치(130)로부터 수신한 검색 속성 값간의 비교를 통해 검색 결과를 생성할 수 있다.
또한, 검색 엔진(140)은 시각적 콘텐츠 검색 요청 처리 장치(130)로부터 제공받은 고유 식별 정보를 기반으로 콘텐츠 데이터베이스(150)에서 검색된 콘텐츠를 시각적 콘텐츠 검색 요청 처리 장치(130)에 제공할 수 있다.
한편, 검색 엔진(140)은 검색 결과, 즉 시각적 콘텐츠 내 푸드가 종류인지에 대한 검색 결과를 기반으로 레시피 데이터베이스(160)에서 해당 검색 결과를 조리하기 위한 레시피 정보를 검색하며, 검색한 레시피 정보를 시각적 콘텐츠 검색 요청 처리 장치(130)에 제공할 수 있다.
상술한 본 발명의 실시예에 따르면, 특징 정보 추출부(530)가 검색 엔진(140)과 유선 또는 무선으로 연결된 기기의 시각적 콘텐츠 검색 요청 처리 장치(130)에 포함된 것으로 예를 들어 설명하였지만, 특징 정보 추출부(530)가 검색 엔진(140)에 포함될 수 있다. 이 경우, 검색 요청부(540)는 시각적 콘텐츠 획득부(510)에 의해 획득된 시각적 콘텐츠 및 영상 촬영부(500)로부터 제공받은 촬영 환경 정보를 검색 엔진(140)에 전송하여 검색을 요청할 수 있다.
상술한 바와 같은 구성을 갖는 시각적 콘텐츠 검색 요청 처리 장치(130) 및 검색 엔진(140)간의 연동을 통해 시각적 콘텐츠에 대한 검색을 수행하는 과정에 대해 도 7을 참조하여 설명한다.
도 7은 본 발명의 실시예에 따른 시각적 콘텐츠의 검색 과정을 도시한 흐름도이다.
도 7에 도시된 바와 같이, 시각적 콘텐츠 검색 요청 처리 장치(130)는 영상 촬영부(500)를 통해 입력받은 시각적 콘텐츠, 예컨대 푸드 이미지를 포함한 시각적 콘텐츠의 분석과 영상 촬영부(500)로부터 제공받은 촬영 환경 정보를 이용하여 검색 속성 값을 추출하며(S700), 비콘 신호 수신부(520)를 통해 수신된 비콘 신호(위치 정보를 갖는 고유 식별 정보에 대한 변동 패턴의 사운드 신호)의 분석을 통해 고유 식별 정보를 추출한다(S702).
이후, 시각적 콘텐츠 검색 요청 처리 장치(130)는 검색 속성 값, 고유 식별 정보 및 시각적 콘텐츠 검색 요청 처리 장치(130)가 동작되는 기기의 고유 정보를 검색 엔진(140)에 전송하여 검색을 요청한다(S704).
이에 따라, 검색 엔진(140)은 고유 식별 정보에 매핑된 적어도 하나 이상의 콘텐츠를 콘텐츠 데이터베이스(150)에서 검색하며(S706), 검색한 콘텐츠 중 푸드 관련 콘텐츠를 추출한다(S708).
그런 다음, 검색 엔진(140)은 푸드 관련 콘텐츠를 기반으로 검색용 데이터베이스(120)에서 검색에 이용될 적어도 하나 이상의 기본 정보 및 이에 연결된 검색 비교용 정보를 검색한다(S710).
이후, 검색 엔진(110)은 검색된 적어도 하나 이상의 기본 정보 및 이에 연결된 검색 비교용 정보와 검색 속성 값간의 비교를 통해 시각적 콘텐츠 내 푸드 이미지가 어떤 푸드인지를 나타내는 검색 결과를 도출하며, 도출한 검색 결과를 시각적 콘텐츠 검색 요청 처리 장치(130)에 전송한다(S712).
검색 엔진(140)이 검색 결과를 도출하는 과정에 대해 상세히 설명하면, 검색 속성 값을 기반으로 어느 하나의 기본 정보 내 분별 속성을 선택하며, 선택한 분별 속성에 연결된 데이터 값과 검색 속성 값간의 차이를 기반으로 선택한 분별 속성에 포함되는지를 판단한다. 이러한 판단 과정을 검색 속성 값 각각에 대해 수행하여 검색 속성 값 각각이 포함될 수 있는 기본 정보가 어떤 것인지를 판단함으로써, 검색 결과가 도출될 수 있다.
아울러, 검색 엔진(140)은 검색 결과를 기반으로 푸드 이미지에 대응하는 푸드의 조리에 필요한 레시피 정보를 레시피 데이터베이스(160)에서 검색하며, 콘텐츠 데이터베이스(150)에서 검색된 콘텐츠 중 검색 결과와 관련된 콘텐츠, 예컨대 푸드 이미지에 대응하는 푸드와 관련된 할인 정보, 맛집 정보, 쿠폰 정보 등의 콘텐츠를 추출한 후 추출한 콘텐츠와 레시피 정보를 시각적 콘텐츠 검색 요청 처리 장치(130)에 제공한다(S714).
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 시각적 콘텐츠 검색용 데이터베이스 생성 장치
110 : 이미지 데이터베이스
120 : 검색용 데이터베이스
130 : 시각적 콘텐츠 검색 요청 처리 장치
140 : 검색 엔진
150 : 콘텐츠 데이터베이스
160 : 레시피 데이터베이스

Claims (6)

  1. 복수의 푸드에 대한 복수의 기본 정보가 저장된 시각적 콘텐츠 검색용 데이터베이스를 생성하는 장치에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 해당하는 변형된 이미지를 입력받는 입력부와,
    상기 변형된 이미지에 대한 분석을 통해 상기 변형된 이미지에 대한 속성 값으로 내용물의 색깔, 상기 내용물의 이미지 내 위치 값, 내용물의 형태 및 상기 내용물이 포함된 용기의 형태 중 적어도 하나 이상을 추출하는 속성 추출부와,
    상기 어느 하나의 기본 정보에 매칭되고 상호간의 구분을 위한 대표 특징 각각을 갖는 복수의 분별 속성 및 상기 복수의 분별 속성 각각에 매칭된 데이터 값으로 구성된 속성 훈련 셋과,
    상기 속성 추출부에 의해 추출된 속성 값을 이용하여 상기 속성 훈련 셋을 업데이트시키며, 상기 업데이트된 속성 훈련 셋을 기반으로 상기 어느 하나의 기본 정보에 연결되는 검색 비교용 정보를 생성한 후 이를 기반으로 상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 연결된 데이터를 생성시키는 데이터 생성부를 포함하는 시각적 콘텐츠 검색용 데이터베이스 생성 장치.
  2. 제1항에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 생성 장치는,
    상기 변형된 이미지를 촬영하기 위한 카메라의 촬영 환경 정보를 설정하거나 상기 카메라와의 연동을 통해 상기 촬영 환경 정보를 제공받아 상기 속성 추출부에 제공하는 촬영 환경 설정부를 더 포함하며,
    상기 속성 추출부는,
    상기 촬영 환경 설정부를 통해 제공받은 촬영 환경 정보를 상기 변형된 이미지에 대한 속성 값으로 추출하여 상기 데이터 생성부에 제공하는 시각적 콘텐츠 검색용 데이터베이스 생성 장치.
  3. 제1항에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 생성 장치는,
    상기 어느 하나의 기본 정보를 인덱스로 하여 상기 변형된 이미지와 상기 추출한 속성 값을 매핑시켜 이미지 데이터베이스에 저장하는 이미지 저장부를 더 포함하며,
    상기 데이터 생성부는,
    상기 이미지 저장부에 저장된 변형된 이미지 및 속성 값을 이용한 기계 학습을 통해 상기 어느 하나의 기본 정보에 대한 검색 비교용 정보를 생성하는 시각적 콘텐츠 검색용 데이터베이스 생성 장치.
  4. 복수의 푸드에 대한 복수의 기본 정보가 저장된 시각적 콘텐츠 검색용 데이터베이스를 생성하는 방법에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 내 어느 하나의 기본 정보에 해당하는 변형된 이미지를 입력받는 단계와,
    상기 변형된 이미지에 대한 분석을 통해 상기 변형된 이미지에 대한 속성 값으로 내용물의 색깔, 상기 내용물의 이미지 내 위치 값, 내용물의 형태 및 상기 내용물이 포함된 용기의 형태 중 적어도 하나 이상을 추출하는 단계와,
    상기 추출한 속성 값을 이용하여 상기 어느 하나의 기본 정보에 매칭되고 상호간의 구분을 위한 대표 특징 각각을 갖는 복수의 분별 속성 및 상기 복수의 분별 속성 각각에 매칭된 데이터 값으로 구성된 속성 훈련 셋을 업데이트시키는 단계와,
    상기 업데이트된 속성 훈련 셋을 이용하여 상기 어느 하나의 기본 정보에 연결된 검색 비교용 정보를 생성하는 단계를 포함하는 시각적 콘텐츠 검색용 데이터베이스 생성 방법.
  5. 제4항에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 생성 방법은,
    상기 변형된 이미지를 촬영하기 위한 카메라의 촬영 환경 정보를 설정하거나 상기 카메라와의 연동을 통해 촬영 환경 정보를 제공받는 단계를 더 포함하며,
    상기 추출하는 단계는,
    상기 설정 또는 제공받은 촬영 환경 정보를 상기 변형된 이미지에 대한 속성 값으로 추출하는 시각적 콘텐츠 검색용 데이터베이스 생성 방법.
  6. 제4항에 있어서,
    상기 시각적 콘텐츠 검색용 데이터베이스 생성 방법은,
    상기 어느 하나의 기본 정보를 인덱스로 하여 상기 변형된 이미지와 상기 추출한 속성 값을 매핑시켜 이미지 데이터베이스에 저장하는 단계와,
    상기 생성하는 단계는,
    상기 저장된 변형된 이미지 및 속성 값을 이용한 기계 학습을 통해 상기 어느 하나의 기본 정보에 대한 검색 비교용 정보를 생성하는 시각적 콘텐츠 검색용 데이터베이스 생성 방법.

KR1020160182529A 2016-12-29 2016-12-29 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법 KR101986804B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160182529A KR101986804B1 (ko) 2016-12-29 2016-12-29 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법
PCT/KR2017/001130 WO2018124372A1 (ko) 2016-12-29 2017-02-02 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182529A KR101986804B1 (ko) 2016-12-29 2016-12-29 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180077807A true KR20180077807A (ko) 2018-07-09
KR101986804B1 KR101986804B1 (ko) 2019-07-10

Family

ID=62709371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182529A KR101986804B1 (ko) 2016-12-29 2016-12-29 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101986804B1 (ko)
WO (1) WO2018124372A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071590A (ko) * 2019-12-06 2021-06-16 주식회사 네일25 레시피 유통 방법 및 레시피 유통 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754157B1 (ko) 2000-05-31 2007-09-03 삼성전자주식회사 멀티미디어 콘텐츠를 위한 데이터베이스 구축 방법
KR20090018037A (ko) * 2006-04-08 2009-02-19 더 유니버시티 오브 맨체스터 객체 특징을 위치결정하는 방법
KR20110109695A (ko) * 2010-03-31 2011-10-06 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법
KR101151851B1 (ko) * 2011-11-08 2012-06-01 (주)올라웍스 이미지 클러스터링을 이용한 이미지 태깅 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20140067604A (ko) * 2012-11-27 2014-06-05 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160072768A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787711B2 (en) * 2006-03-09 2010-08-31 Illinois Institute Of Technology Image-based indexing and classification in image databases
US20080118160A1 (en) * 2006-11-22 2008-05-22 Nokia Corporation System and method for browsing an image database
JP4963105B2 (ja) * 2007-11-22 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像を記憶する方法、装置
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754157B1 (ko) 2000-05-31 2007-09-03 삼성전자주식회사 멀티미디어 콘텐츠를 위한 데이터베이스 구축 방법
KR20090018037A (ko) * 2006-04-08 2009-02-19 더 유니버시티 오브 맨체스터 객체 특징을 위치결정하는 방법
KR20110109695A (ko) * 2010-03-31 2011-10-06 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법
KR101151851B1 (ko) * 2011-11-08 2012-06-01 (주)올라웍스 이미지 클러스터링을 이용한 이미지 태깅 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20140067604A (ko) * 2012-11-27 2014-06-05 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160072768A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071590A (ko) * 2019-12-06 2021-06-16 주식회사 네일25 레시피 유통 방법 및 레시피 유통 시스템

Also Published As

Publication number Publication date
WO2018124372A1 (ko) 2018-07-05
KR101986804B1 (ko) 2019-07-10

Similar Documents

Publication Publication Date Title
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN108280458B (zh) 群体关系类型识别方法及装置
KR101457284B1 (ko) 콘텐츠 기반 이미지 검색을 가능하게 하는 방법 및 장치
CN105517679B (zh) 用户地理位置的确定
US20130179436A1 (en) Display apparatus, remote control apparatus, and searching methods thereof
EP3188034A1 (en) Display terminal-based data processing method
US10679054B2 (en) Object cognitive identification solution
KR20100002756A (ko) 매트릭스 블로깅 시스템 및 서비스 제공 방법
KR20120001285A (ko) 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템
US11709881B2 (en) Visual menu
JP2011018178A (ja) 情報処理装置、情報処理方法およびプログラム
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
CN112000024B (zh) 用于控制家电设备的方法及装置、设备
CN111259257A (zh) 一种信息展示方法、系统、装置、电子设备及存储介质
KR20190031033A (ko) 컨텐트를 제공하는 방법 및 단말기
CN108509567B (zh) 一种数字文化内容库搭建的方法及装置
CN111859002A (zh) 兴趣点名称生成方法及装置、电子设备和介质
KR101986804B1 (ko) 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법
KR20190057821A (ko) 음식점 정보제공시스템 및 정보제공방법
KR20140137254A (ko) 문자 인식을 이용한 위치 정보 제공 단말, 서버, 시스템 및 방법
KR102122918B1 (ko) 대화형 질의응답 장치 및 그 방법
KR102299393B1 (ko) 제품과 사용자의 매칭을 위한 전자 장치 및 이를 포함하는 매칭 시스템
KR20190045679A (ko) 증강 현실 서비스 제공 방법 및 그 장치
CN111626437A (zh) 对抗样本检测方法、装置、设备及计算机刻度存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right