KR20130059033A - 스케치를 이용한 멀티미디어 검색 시스템 및 방법 - Google Patents

스케치를 이용한 멀티미디어 검색 시스템 및 방법 Download PDF

Info

Publication number
KR20130059033A
KR20130059033A KR1020110125115A KR20110125115A KR20130059033A KR 20130059033 A KR20130059033 A KR 20130059033A KR 1020110125115 A KR1020110125115 A KR 1020110125115A KR 20110125115 A KR20110125115 A KR 20110125115A KR 20130059033 A KR20130059033 A KR 20130059033A
Authority
KR
South Korea
Prior art keywords
sketch
multimedia
information
feature vector
matching
Prior art date
Application number
KR1020110125115A
Other languages
English (en)
Inventor
윤상민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110125115A priority Critical patent/KR20130059033A/ko
Publication of KR20130059033A publication Critical patent/KR20130059033A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

스케치를 이용한 멀티미디어 검색 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템은, 네트워크를 통해 사용자 단말기로 멀티미디어 검색 서비스를 제공하는 웹서버를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템에 있어서, 상기 사용자 단말기는, 멀티터치 입력이 가능한 멀티터치부; 상기 멀티터치에 입력된 스케치로부터 스케치 특징벡터를 추출하는 스케치 특징벡터 추출부; 및 상기 네트워크를 통해 상기 웹서버와 통신하며, 상기 스케치 특징벡터를 상기 웹서버로 전송하는 단말 통신부를 포함하며, 상기 웹서버는, 멀티미디어 정보가 저장되는 데이터베이스; 상기 스케치 특징벡터를 기초로 상기 데이터베이스로부터 상기 스케치에 대응되는 매칭 멀티미디어를 검색하는 검색부; 및 상기 네트워크를 통해 상기 사용자 단말기와 통신하며, 상기 매칭 멀티미디어 및 상기 매칭 멀티미이디어와 관련된 매칭 연관정보를 상기 사용자 단말기로 전송하는 웹 통신부를 포함한다.

Description

스케치를 이용한 멀티미디어 검색 시스템 및 방법{Multimedia retrieval system and method using sketch}
본 발명은 스케치를 이용한 멀티미디어 검색 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자가 멀티터치로 그려 입력되는 스케치를 기초로 멀티미디어 정보를 검색하는 스케치를 이용한 멀티미디어 검색 시스템 및 방법에 관한 것이다.
종래의 검색방법은 인덱스 정보 등을 이용하여 검색하는 문자기반(context-based) 검색 기법이 일반적이다. 최근에는 이미지 정보를 이용하여 검색하는 내용기반(content-based) 검색 기법이 각광받고 있다.
그리고, 퍼스널 컴퓨터(PC), PDA(Personal Digital Assistant), 휴대형 컴퓨터(Notebook PC), PMP(Portable Multimedia Player), 휴대폰과 같은 이동통신 단말기에 이르기까지 다양한 정보를 처리하는 기기(Devices)들이 제공되고 있으며, 정보 처리 기기에서 특정 정보를 처리하기 위해서는 입력장치가 필수적이다. 이러한 입력장치로 키보드, 마우스와 같은 장치 외에 터치 스크린, 터치 패드와 같이 사용자의 멀티터치 입력이 가능한 입력장치가 대중화되고 있다. 예를 들어, 스마트폰, 태블릿 PC 등 멀티터치 기능이 제공되는 여러 단말기가 빠르게 보급되고 있다.
그러므로, 멀티터치 기능이 제공되는 기기에서 사용자의 멀티터치로 입력되는 스케치를 이용하여 사용자가 원하는 다양한 멀티미디어 정보를 검색하는 기술의 필요성이 대두되고 있다.
본 발명은 상기 문제점을 해결하기 위한 것으로, 남녀노소 손쉽게 그릴 수 있는 스케치를 이용하여 다양한 멀티미디어 정보를 검색할 수 있는 스케치를 이용한 멀티미디어 검색 시스템 및 방법을 제공하는 것이다.
또한, 멀티터치가 가능한 기기의 이용이 늘어남에 따라 사람의 손가락 및 펜이 중요한 인터페이스 수단이 됨에 따라 사용자가 원하는 컨텐츠를 간단하고 빠르게 검색할 수 있는 스케치를 이용한 멀티미디어 검색 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템은, 네트워크를 통해 사용자 단말기로 멀티미디어 검색 서비스를 제공하는 웹서버를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템에 있어서, 상기 사용자 단말기는, 멀티터치 입력이 가능한 멀티터치부; 상기 멀티터치에 입력된 스케치로부터 스케치 특징벡터를 추출하는 스케치 특징벡터 추출부; 및 상기 네트워크를 통해 상기 웹서버와 통신하며, 상기 스케치 특징벡터를 상기 웹서버로 전송하는 단말 통신부를 포함하며, 상기 웹서버는, 멀티미디어 정보가 저장되는 데이터베이스; 상기 스케치 특징벡터를 기초로 상기 데이터베이스로부터 상기 스케치에 대응되는 매칭 멀티미디어를 검색하는 검색부; 및 상기 네트워크를 통해 상기 사용자 단말기와 통신하며, 상기 매칭 멀티미디어 및 상기 매칭 멀티미이디어와 관련된 매칭 연관정보를 상기 사용자 단말기로 전송하는 웹 통신부를 포함한다.
상기 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템은, 스케치를 이용한 멀티미디어 검색 시스템에 있어서, 멀티터치 입력이 가능한 멀티터치 입력부; 상기 멀티터치에 입력된 스케치로부터 스케치 특징벡터를 추출하는 특징벡터 추출부; 및 상기 스케치 특징벡터를 기초로 상기 스케치에 대응되는 매칭 멀티미디어를 검색하는 검색부를 포함한다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법은, 멀티터치 입력이 가능한 사용자 단말기로 네트워크를 통해 멀티미디어 검색 서비스를 제공하는, 스케치를 이용한 멀티미디어 검색 방법에 있어서, 사용자가 멀티터치로 스케치를 입력하는 단계; 상기 스케치로부터 특징벡터를 추출하는 단계; 및 상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 대응하는 매칭 멀티미디어 정보를 검색하는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 멀티터치로 손쉽게 스케치를 그려 멀티터치 기기의 사용자가 원하는 멀티미디어 정보를 빠르게 검색할 수 있다.
또한, 텍스트 검색 등과 차별화된 스케치에 기반한 멀티미디어 검색을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구조와 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템에서 일련의 검색처리 절차의 예를 도시한 도면이다.
도 4는 경계 윤곽(boundary contour)과 암시 윤곽(suggestive contour)의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 모델 이미지와 상기 3D 모델로부터 투사되는 14개의 암시 윤곽 이미지의 예를 도시한 도면이다.
도 6a는 3D 모델의 투사된 암시윤곽의 타원체 표현을 도시한 도면이고, 도 6b는 도 6a의 암시윤곽을 18개의 방향 빈으로 양자화한 히스토그램(Histogram of Orientation)을 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법의 순서도이다.
도 9 내지 도 14는 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법의 상세 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구조와 개념을 설명하기 위한 도면이다. 이하, 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템은 제1 멀티미디어 검색 시스템(10)이라 한다.
제1 멀티미디어 검색 시스템(10)은 사용자 단말기(100), 네트워크(200) 및 웹서버(300)를 포함하여 구성된다. 여기에서, 사용자가 사용자 단말기(100)를 조작하여 네트워크(200)를 통해 웹서버(300)에 접속하여 멀티미디어 정보를 검색하고, 네트워크(200)를 통해 사용자 단말기(100)로 검색된 멀티미디어 정보를 제공하게 된다.
사용자 단말기(100)는, 멀티터치(multi-touch)가 가능한 기기로, 예를 들어, 퍼스널 컴퓨터(PC), PDA(Personal Digital Assistant), 휴대형 컴퓨터(Notebook PC), PMP(Portable Multimedia Player), 스마트폰, 태블릿 PC 등 모든 멀티터치 입력이 가능한 디바이스를 포함한다.
네트워크(200)는, 사용자 단말기(100)와 웹서버(300) 간을 연결하는 유선 네트워크뿐만 아니라 무선 네트워크를 포함한다. 이러한 네트워크(200)로 인터넷 등을 들 수 있다. 그러므로, 사용자 단말기(100)는 HTML, XML 등 웹페이지의 내용을 표시할 수 있는 웹브라우저(넷스케이프, 인터넷 익스플로러 등)를 가진다. 웹브라우저는 사용자 단말기(100)의 통신 인터페이스를 통해 네트워크(200)와 접속한다.
웹서버(300)는 멀티미디어 정보를 검색할 수 있는 장소이자 모든 데이터가 집합하는 장소가 된다. 즉, 웹서버(300)는 멀티미디어 정보의 저장 공간의 역할을 수행함과 동시에, 멀티미디어 정보의 검색 공간의 역할을 수행하게 된다. 그리하여, 멀티미디어 정보의 저장 공간과 검색 공간을 하나의 웹서버(300)에 구현할 수도 있고, 멀티미디어 정보의 저장 공간과 검색 공간을 분리하여 사용자 단말기(100)가 개별적으로 네트워크(200)를 통해 접속하여 일련의 검색 절차를 수행할 수도 있다.
이하에서, 제1 멀티미디어 검색 시스템(10)의 상세 구성 및 처리 절차를 살펴 보도록 한다.
도 2는 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구성도이다.
사용자 단말기(100)는, 멀티터치부(110), 스케치 특징벡터 추출부(130) 및 단말 통신부(140)를 포함한다. 그리고, 사용자 단말기(100)는 스케치 인식부(120)를 더 포함할 수 있다.
멀티터치부(110)는 멀티터치 입력이 가능한 입력 인터페이스로서, 멀티터치 스크린(105)을 포함할 수 있다. 그러므로, 멀티터치부(110)는 입력 인터페이스의 기능뿐만 아니라 출력 인터페이스의 역할도 수행할 수 있다. 즉, 멀티터치 스크린(105)이 입력모듈인 동시에 출력모듈이 된다. 그리하여, 스케치로부터 검색된 멀티미디어 정보가 멀티터치부(110)의 멀티터치 스크린(105)에 디스플레이된다.
멀티터치 입력이 가능하여 멀티터치 스크린(105)에 사용자가 터치를 하면 그 터치 결과가 스크린(105)에 바로 디스플레이된다. 그러므로, 사용자의 손가락이나 스타일러스 펜 등을 이용하여 멀티터치 스크린(105)에 스케치할 수 있게 된다. 여기에서, 스케치는 사용자 단말기(100)의 사용자가 멀티터치부(110)에 의해 입력하는 손으로 그린 모든 정보를 포함하는 개념이다.
사용자로부터 멀티터치부(110)를 통해 입력된 정보는 스케치나 낙서에 해당하므로, 스케치나 낙서로부터 문자, 도형, 기호, 심볼(상징) 등의 특징을 추출하고, 이를 인식할 수 있어야 한다.
스케치 인식부(120)는, 멀티터치부(110)를 통해 입력된 스케치로부터 문자, 도형, 기호, 심볼 중에서 적어도 하나의 정보를 인식한다. 즉, 사용자가 입력한 스케치는 스케치 인식부(120)에 의해 실질적으로 어떤 문자, 기호, 도형, 심볼이 입력되었는지 인식되게 된다. 이러한 스케치 인식부(120)로 인식한 스케치의 인식으로부터 네트워크(200)를 통해 웹서버(300)에 접속하여 멀티미디어 정보의 검색이 가능하다. 여기에서, 멀티미디어는 정보는, 이미지 정보, 3D 모델 정보, 비디오 정보, 오디오 정보, 악보 정보, 텍스트 정보 등을 포함한다. 예를 들어, 인터넷에서 검색이 가능한 모든 정보를 포괄하는 개념이 멀티미디어 정보이다. 이미지 정보는 객체나 사물 등에 대한 2차원의 그림, 사진 등을 말하며, 2차원 동영상 각각에 대한 정지영상 정보도 포괄하는 개념이다. 또한 3D 모델 정보는 객체나 사물 등에 3차원의 형상을 의미한다. 비디오 정보는 동영상을 말하며, 오디오 정보는 MP3 파일 등 소리 또는 음성 등으로 기록되고 재생되는 정보를 의미한다. 악보 정보는 음악을 기술하는 정보이며, 음표 등에 의해 표현되는 모든 정보를 포함한다. 텍스트 정보는 문자나 기호 등으로 표현되는 정보를 포함한다.
스케치 특징벡터 추출부(130)는, 멀티터치부(110)에 입력된 스케치로부터 스케치 특징벡터를 추출한다. 스케치 특징벡터를 추출하는 여러 기술이 있으나, 이에 대한 일례로 HOG(Histogram of Oriented Gradients) 알고리즘을 제시한다. 즉, HOG 알고리즘을 입력된 스케치 정보에 적용하여 스케치 특징벡터를 추출한다. HOG 알고리즘의 구체적 적용에 대해서는 후술하여 살펴보도록 한다.
단말 통신부(140)는, 네트워크(200)를 통해 웹서버(300)와 통신한다. 그리고, 스케치 특징벡터를 웹서버(300)로 전송할 수 있고, 웹서버(300)로부터 검색된 결과를 수신할 수 있다.
웹서버(300)는, 데이터베이스(310), 검색부(320) 및 웹통신부(330)를 포함한다.
데이터베이스(310)는 멀티미디어 정보가 저장되는 장소이다. 멀티미디어의 유형에 따라 데이터베이스(310)는 이미지 정보 데이터베이스, 3D 모델 정보 데이터베이스, 비디오 정보 데이터베이스, 오디오 정보 데이터베이스, 악보 정보 데이터베이스, 텍스트 정보 데이터베이스에 각각 저장될 수 있다.
검색부(320)는 스케치 특징벡터를 기초로 데이터베이스(310)로부터 스케치에 대응되는 매칭 멀티미디어를 검색한다. 여기에서, 매칭 멀티미디어는 사용자가 입력한 스케치와 대응되는 멀티미디어 정보를 말한다. 예를 들어, 사용자가 사람의 형상을 그리면, 검색부(320)가 사람의 형상과 대응되는 사람, 인간, Human, People 등의 문자, 사람의 이미지 정보, 사람의 3D 모델 정보, 및 사람과 관련된 컨텐츠 등의 연관 정보를 검색하게 된다.
구체적으로, 검색부(320)는 데이터베이스(310)에 저장된 멀티미디어 정보로부터 멀티미디어 특징벡터를 추출하며, 상기 멀티미디어 특징벡터와 스케치 특징벡터의 유사도(Similarity)를 비교하여 상기 스케치에 대응되는 매칭 멀티미디어를 검색할 수 있다. 멀티미디어 특징벡터는 멀티미디어 정보로부터 추출되는 특징벡터를 말한다. 여기에서, 유사도를 비교하는 내용은 후술하여 살펴 보도록 한다.
또한, 구체적으로, 검색부(320)는 암시윤곽 추출모듈(322), 특징벡터 추출모듈(324), 유사도 측정모듈(326), 검색모듈(328)을 구비하며, 암시윤곽 추출모듈(322)을 통해 멀티미디어 정보가 3D(3-Dimensional) 모델 정보인 경우에 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하고, 특징벡터 추출모듈(324)을 통해 복수의 암시윤곽에 HOG 알고리즘을 적용하여 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출하고, 유사도 측정모듈(326)을 통해 스케치 특징벡터와 상기 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하고, 검색모듈(328)을 통해 상기 유사도를 기초로 매칭 멀티미디어를 검색할 수 있다. 그리고, 검색부(320)는 각각의 암시윤곽 특징벡터에 압축 센싱(Compressive Sensing) 알고리즘을 적용하여 상기 각각의 암시윤곽 특징벡터를 계층별로 분류하는 분류모듈을 더 포함할 수 있다.
이하, 특징벡터 추출, 유사도 측정 등의 구체적인 내용에 대해 살펴보도록 한다.
도 3은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템에서 일련의 검색처리 절차의 예를 도시한 도면이며, 도 4는 경계 윤곽(boundary contour)과 암시 윤곽(suggestive contour)의 예를 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 3D 모델 이미지와 상기 3D 모델로부터 투사되는 14개의 암시 윤곽 이미지의 예를 도시한 도면이고, 도 6a는 3D 모델의 투사된 암시윤곽의 타원체 표현을 도시한 도면이고, 도 6b는 도 6a의 암시윤곽을 18개의 방향 빈으로 양자화한 히스토그램(Histogram of Orientation)을 도시한 도면이다.
도 3에서, 사용자가 사용자 단말기(100)의 멀티터치부(110)의 멀티터치 스크린(105)에 스케치(106)를 그리면, 스케치 특징벡터 추출부(130)가 스케치에 대한 특징벡터인 스케치 특징벡터를 추출한다. 이러한 스케치 특징벡터는 단말 통신부(140)에 의해 네트워크(200)를 통해 웹서버(300)로 전달된다.
그리고, 데이터베이스(310)에 저장된 멀티미디어 정보로부터 웹서버(300)의 검색부(320)가 멀티미디어 특징벡터를 추출한다. 특히, 멀티미디어 정보가 3D 모델 정보(312)인 경우, 암시윤곽 추출모듈(322)을 통해 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하고, 특징벡터 추출모듈(324)을 통해 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출한다. 그런 후에, 유사도 측정모듈(326)을 통해 스케치 특징벡터와 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하고, 검색모듈(328)을 통해 유사도를 기초로 매칭 멀티미디어를 검색하여 사용자에게 웹 통신부(330)에 의해 네트워크(200)를 통해 알려 준다.
일반적으로, 선을 통해 형상의 외곽(Contour)를 표현하는데, 형상의 외부만 표시한 것을 경계윤곽(Boundary Contour)이라 하고, 형상의 3차원까지 표시한 것을 암시윤곽(Suggestive Contour)이라 한다. 도 4에서, 좌측은 사람 형상의 경계윤곽(314)을 나타내며, 우측은 사람 형상의 암시윤곽(316)을 나타낸다.
도 5에서, 멀티미디어 정보가 3차원으로 표현되는 3D 모델 정보(312)인 경우, 3D 모델 정보(312)로부터 여러 방향에서 투사(project)되는 복수의 암시윤곽(316)을 획득할 수 있다. 암시윤곽(316)은 객체의 표면에서 볼 수 있는 부분들을 명확하게 표시하는 선으로 이루어지며, 3차원 형상을 표시하기 위해 내부에 선을 더 포함하여 이루어진다. 그러므로, 암시윤곽은 경계윤곽에 비해 3차원 형상을 더 적절히 표현한다.
3D 모델 정보(312)로부터 투사되는 방향은 동일한 공간에서 14개를 선택하는 것이 바람직하다. 도 5에 14개의 방향에서 바라본 3D 모델 정보(312)에 대한 14의 암시윤곽(316)이 도시되어 있다. 여기에서, 6개의 정사영(orthographic projections)과 8개의 등축투영(isometric projections)이 도시되어 있다.
14개의 암시윤곽으로부터 암시윤곽 특징벡터의 추출이 가능하다. 특징벡터의 추출은 확산 텐서 필드(Diffusion Tensor Fields)의 도메인(Domain)에서 이루어질 수 있다. 확산 텐서 필드는 조직의 수분 확산을 측정하기 위해 의료 이미지 처리 분야에서 처음으로 소개되었다. 이는 물이 섬유질의 수직 방향보다 섬유질을 따라 더 빨리 확산되는 것을 이용한 것이다.
텐서(Tensor)는 두 개의 벡터 조합으로 구성된 물리량으로, 각각의 벡터 성분을 곱한 수의 성분을 가진다. 2차원 대칭의 2차 텐서 필드는 다음의 수학식 1과 같이 표현된다.
Figure pat00001
여기에서, 대칭(symmetric)이므로 Txy=Tyx이다.
상기 수학식 1에 대한 특성 방정식(characteristic equation)은 다음의 수학식 2로 표현된다.
Figure pat00002
여기에서,
Figure pat00003
는 단위 행렬이고,
Figure pat00004
는 텐서의 고유값(eigenvalue),
Figure pat00005
는 정규화된 고유벡터(normalized eigenvector)이다. 두 고유벡터는 서로 직교(orthogonal) 관계이다.
이러한 경우에, 각 픽셀에서 텐서는 타원체로 표현되고, 주축 길이는 고유값에 비례한다. 도 6a에서 3D 모델의 한 방향에서 투사된 암시윤곽의 타원체 표현이 도시되어 있다.
확산 텐서 필드로부터 도출되는 고유값과 고유벡터는 암시윤곽의 각 픽셀의 메인 크기 및 방향을 제공한다. 그리하여, 확산 텐서 필드로부터 오는 고유값과 고유벡터는 3D 모델 정보의 암시윤곽의 특징벡터를 계산하기 위해 사용되며, 또한 사용자가 그린 스케치의 특징벡터를 계산하기 위해 사용된다.
사용자가 그린 스케치를 쿼리 이미지 Ic, 3D 모델로부터 도출되는 암시윤곽 이미지를 Is라 하자. 여기에서, Ic, Is는 고정된 크기에서 정규화된다. 그러면, 히스토그램에 기반한 특징 벡터들을 계산할 수 있으며, 이를 Hc, Hs라 하자. 다음의 단계에 따라 특징 벡터들 및 유사도가 도출된다.
1. 각 윤곽 픽셀(contour pixel)의 타원체 표현의 크기
Figure pat00006
, 및 방향
Figure pat00007
을 추출한다. 여기에서, 확산 텐서 필드의 토폴로지 공간에서 암시 윤곽의 분석으로부터 고유값과 고유벡터에 의해 타원이 정의된다.
2. 상기 방향을 대응되는 크기
Figure pat00008
에 의해 가중되는 n 방향 빈(orientation bins)으로 양자화한다. 도 6b에 방향을 18 방향 빈으로 양자화한 히스토그램이 도시되어 있다. 도 6b에서 도 6a에 도시된 암시윤곽을 18 방향 빈으로 양자화한다. 양자화된 방향은 암시윤곽의 타원체 표현의 주축 방향으로부터 추출된다. 타원체 모델의 주 방향은 고유벡터에 의해 결정된다. 도 6b에서 히스토그램의 높이는 픽셀의 구배 강도를 나타낸다.
3. 방향 히스토그램(histogram of orientation)의 특징벡터, Hs 및 Hc는 모든 엔트리의 합에 의해 단위 길이 벡터로 정규화된다.
4. 스케치에 대한 쿼리 이미지와 3D 모델의 하나의 뷰 이미지 간 유사도
Figure pat00009
는 다음의 수학식 3으로 주어진다.
Figure pat00010
유사도 값은 0과 1사이에 있고, Ic와 Is가 같을 경우 유사도 값은 1이 된다.
5. 사용자가 그린 스케치 기반 3D 모델 검색을 위해, 여러 방향에서 3D 모델을 투사할 수 있다. 일례로, 도 5에 도시한 바와 같이 14 방향에서 투사할 수 있다. 각 방향의 암시윤곽 특징벡터들을 이용하여 스케치 특징벡터와 유사도를 구할 수 있으며, 이로부터 가장 큰 유사도를 결정할 수 있다.
스케치로부터 3D 모델의 검색을 효율성을 위해, 압축 센싱(CS, Compressive Sensing)을 이용하여 3D 모델을 분류할 수 있다. 압축 센싱(CS)는 압축과 센싱 프로세스를 결합한 것으로, 신호가 샘플됨과 동시에 크게 감소된 비율로 압축되는 최근 생겨난 분야이다.
모든 3D 모델로부터 N방향에 대한 암시윤곽 특징벡터의 집합
Figure pat00011
는 다음의 수학식 4로 나타낼 수 있다.
Figure pat00012
Hs는 Dx1 컬럼 벡터(column vector)이고, 여기에서 D는 빈(bin)의 숫자이다.
그리고, 프레딕터 행렬(predictor matrix)
Figure pat00013
은 선형성을 가지므로 다음의 수학식 5로 변환 가능한다.
Figure pat00014
여기에서, M은 N보다 작다.
미지의 스케치된 쿼리 이미지의 특징벡터 Hq의 라벨(label)을 등급 분류할 수 있고, 트레이닝 HOG 특징들(training HOG features)로부터 획득되는 알려진 샘플들의 충분한 숫자를 가정하면, 쿼리 모델로부터
Figure pat00015
은
Figure pat00016
인 데이터베이스안에 클래스들(classes)의 라벨들 중 하나이다.
Figure pat00017
의 각 클래스를 위하여,
Figure pat00018
프로세스가 3D 모델의 각 클래스와 관련된 특징벡터로부터 선택되는 특성 함수(characteristic function)로써 표현될 수 있다.
미지의 Hq를 추정하여 3D 모델의 한 세트를 등급화하기 위해 트레이닝된 특징들로부터 거리를 측정할 수 있고, 모든 라벨들에 걸쳐 MSE(mean-squared-errors)의 합으로부터 모델링된다.
Figure pat00019
클래스들의 하나로부터 거리(distance) Sj는 다음의 수학식 6에 의해 주어진다.
Figure pat00020
그리하여, 클래스들간 유사도의 비(ratio)인 Sj에 따라 데이터베이스 내 3D 모델들이 효율적으로 분류되고 검색된다.
도 7은 본 발명의 다른 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템의 구성도이다. 이하, 본 발명의 다른 실시예에 따른 스케치를 이용한 멀티미디어 검색 시스템을 제2 멀티미디어 검색 시스템(50)이라 하자.
제2 멀티미디어 검색 시스템(50)은, 멀티터치 입력부(52), 특징벡터 추출부(54), 검색부(56), 저장부(58) 등을 포함한다.
멀티터치 입력부(52)는 멀티터치 입력이 가능하며, 터치스크린이나 터치패드 등으로 구현될 수 있다.
특징벡터 추출부(54)는 멀티터치에 입력된 스케치로부터 스케치 특징벡터를 추출한다. 스케치 특징벡터를 추출하기 위해 확산 텐서 필드, HOG 알고리즘 등을 이용할 수 있다. 또한, 특징벡터 추출부(54)는 검색 대상이 되는 멀티미디어 정보로부터 특징벡터를 추출하는 역할도 동시에 수행할 수 있다.
검색부(56)는 스케치 특징벡터를 기초로 스케치에 대응되는 매칭 멀티미디어를 검색한다. 여기에서 매칭 멀티미디어는, 스케치와 유사한 멀티미디어 정보를 의미한다.
저장부(58)는 멀티미디어 정보가 저장되는 곳으로, 데이터베이스의 역할을 수행한다. 그리고, 저장부(58)에 스케치와 대응되는 검색된 멀티미디어 정보인 매칭 멀티미디어가 저장될 수도 있다.
제2 멀티미디어 검색 시스템(50)에서, 멀티터치 입력부(52)를 통해 스케치를 입력하면, 특징벡터 추출부(54)가 상기 스케치를 쿼리 이미지로 인식하여 스케치에 대한 특징벡터를 추출하고, 검색부(56)가 상기 스케치 특징벡터와 유사한 멀티미디어를 저장부(58)에서 검색하게 된다.
그런 후에, 검색부(56)는 검색된 결과인 매칭 멀티미디어를 사용자에게 제공하고, 매칭 멀티미디어에 관련된 매칭 연관정보도 같이 제공할 수 있다. 사용자에게 제공되는 매칭 멀티미디어 및 매칭 연관정보는 터치스크린이나 터치패드를 통해 제공되거나, 스피커 등을 통해 음성으로 제공될 수도 있다. 그리고, 검색 결과는 저장부(58)에 저장되어 검색 시스템(50)의 사용자에게 추후 제공되거나 이후의 검색에 대한 자료로 DB(Database) 구축될 수 있다.
예를 들어, 사용자가 멀티터치 입력부(52)에 오선지를 그린 후 음표를 그리면, 이를 특징벡터 추출부(54)가 특징벡터를 추출하여 이를 인식하고, 이를 기초로 검색부(56)가 멀티터치 입력부(52)에 입력된 스케치(오선지 및 음표)를 일부라도 포함하는 음악을 검색하여 사용자에게 안내할 수 있다. 음악을 사용자에게 안내할 때, 음악의 제목, MP3 파일, 전체 악보 등 관련된 모든 정보를 사용자에게 검색하여 알려줄 수 있음은 당연하다 할 것이다.
도 8은 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법의 순서도이다. 또한, 도 9 내지 도 14는 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법의 상세 순서도이다.
도 8에서, 스케치를 이용한 멀티미디어 검색 방법은 멀티터치 입력이 가능한 사용자 단말기(100)로 네트워크(200)를 통해 멀티미디어 검색 서비스를 사용자에게 제공하게 된다. 즉, 사용자는 사용자 단말기(100)에서 유무선 네트워크(200)를 통해 원격에서 멀티미더어 검색을 할 수 있다.
이를 위해, 사용자가 멀티터치로 스케치를 입력하고(S810), 상기 스케치로부터 특징벡터를 추출하여(S820), 상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 유사성이 높은 스케치와 대응되는 매칭 멀티미디어 정보를 검색한다(S830). 스케치는 사용자 단말기(100)의 터치스크린이나 터치패드 등의 인터페이스에 의해 입력되며, 간단하고 빠르게 스케치를 그리기 위해 사용자의 손가락 또는 스타일러스 펜을 이용하여 입력하는 것이 바람직하다.
사용자가 검색하는 멀티미디어 정보는 DB 구축이 선행적으로 이루어져야 한다. 도 9에서, 멀티미디어 정보를 데이터베이스에 저장(S905)하는 DB 구축이 이루어진 후에, 사용자가 멀티터치로 스케치를 입력하고(S910), 상기 스케치로부터 특징벡터를 추출하여(S920), 상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 유사성이 높은 스케치와 대응되는 매칭 멀티미디어 정보를 검색하는(S930) 일련의 과정이 수행된다.
여기에서, 멀티미디어 정보를 데이터베이스에 저장(S905)하는 DB 구축은, 멀티미디어 정보를 그룹화하여 이미지 정보 데이터베이스, 3D 모델 정보 데이터베이스, 비디오 정보 데이터베이스, 오디오 정보 데이터베이스, 악보 정보 데이터베이스, 텍스트 정보 데이터베이스 등 하위 데이터베이스를 구축하여 저장될 수도 있다. 이를 통해, 사용자가 입력한 스케치의 유형을 인식하여 빠르게 하위 데이터베이스에 접근할 수 있다.
이를 위해, 사용자가 입력한 스케치는 여러 인식 기술에 의해 문자, 도형, 기호, 심볼 등으로 분류되어 인식될 수 있다. 스케치로부터 문자나 기호, 도형, 심볼 등의 의미있는 정보를 인식하기 위해서는 패턴 인식기술이 응용될 수 있다. 그러므로, 종래 또는 향후에 구현될 수 있는 문자 인식기술, 도형 인식기술, 기호 인식기술, 심볼 인식기술 등을 스케치의 유형 인식에 사용할 수 있다.
그리고, 전술한 바와 같이, 스케치로부터 특징벡터를 추출하거나 멀티미디어 정보, 특히 3D모델 정보로부터 특징벡터를 추출하기 위해서 HOG(Histogram of Oriented Gradients) 알고리즘을 적용한다. 특징벡터의 추출은 확산 텐서 필드(Diffusion Tensor Fields)의 도메인(Domain)에서 이루어질 수 있고, 확산 텐서 필드로부터 도출되는 고유값과 고유벡터로부터 각 픽셀의 메인 크기 및 방향을 도출한다. 즉, 확산 텐서 필드로부터 나오는 고유값과 고유벡터가 3D 모델 정보의 암시윤곽의 특징벡터를 계산하기 위해 사용되며, 또한 사용자가 그린 스케치의 특징벡터를 계산하기 위해 사용된다. 그리고, 이미지의 복수의 방향에 대한 휘도의 구배 강도 및 구배 방향을 산출하여 해당 산출된 휘도의 구배 방향에 대한 휘도의 구배 강도의 도수분포를 히스토그램으로 나타내어 특징벡터를 추출한다.
그리고, 멀티미디어 검색을 위해, 멀티미디어 정보에 대한 멀티미디어 특징벡터를 추출한다. 도 10에서, 멀티미디어 정보를 데이터베이스에 저장(S1005)하고, 사용자가 멀티터치로 스케치를 입력하고(S1010), 상기 스케치로부터 특징벡터를 추출한 후(S1020), 상기 데이터베이스에 저장된 멀티미디어 정보로부터 멀티미디어 특징벡터를 추출하고(S1025), 멀티미디어 특징벡터와 스케치 특징벡터의 유사도를 비교하여 스케치와 대응되는 멀티미디어 정보인 매칭 멀티미디어를 검색한다(S1031).
또한, 멀티미디어 정보가 3D 모델 정보인 경우에는, 3D 모델의 방향에 따른 여러 특징벡터가 추출될 수 있다. 도 11에서, 사용자가 멀티터치로 스케치를 입력하고(S1110), 상기 스케치로부터 특징벡터를 추출한 후(S1120), 멀티미디어 정보가 3D 모델 정보인 경우인지에 따라(S1121), 멀티미디어 정보가 3D 모델 정보가 아니면(No) 바로 매칭 멀티미디어를 검색하고(S1131), 멀티미디어 정보가 3D 모델 정보이면(Yes) 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하고(S1123), HOG 알고리즘을 적용하여 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출하고(S1125), 상기 스케치 특징벡터와 상기 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하고(S1127), 상기 유사도를 기초로 사용자가 입력한 스케치와 대응하는 매칭 멀티미디어를 검색한다(S1131).
이때, 3D 모델은 복수의 방향에 따른 복수의 암시윤곽이 도출되고, 검색의 효율성을 위해 압축 센싱 기법을 적용할 수 있다. 도 12에서, 사용자가 멀티터치로 스케치를 입력하고(S1210), 상기 스케치로부터 특징벡터를 추출한 후(S1220), 멀티미디어 정보가 3D 모델 정보인 경우인지에 따라(S1221), 멀티미디어 정보가 3D 모델 정보가 아니면(No) 바로 매칭 멀티미디어를 검색하고(S1231), 멀티미디어 정보가 3D 모델 정보이면(Yes) 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하고(S1223), HOG 알고리즘을 적용하여 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출하고(S1225), 상기 각각의 암시윤곽 특징벡터에 압축 센싱 알고리즘을 적용하여 상기 각각의 암시윤곽 특징벡터를 계층별로 분류하고(S1226), 상기 스케치 특징벡터와 상기 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하고(S1227), 상기 유사도를 기초로 사용자가 입력한 스케치와 대응하는 매칭 멀티미디어를 검색한다(S1231).
스케치를 이용한 멀티미디어 검색 방법은 사용자가 멀티터치로 스케치를 입력하여 검색을 쉽고 빠르게 하기 위한 것으로, 그 검색 결과는 사용자 단말기(100)의 사용자에게 빠르게 제공되어야 한다. 도 13에서, 사용자가 멀티터치로 스케치를 입력하고(S1310), 상기 스케치로부터 특징벡터를 추출하여(S1320), 상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 유사성이 높은 스케치와 대응되는 매칭 멀티미디어 정보를 검색하여(S1330), 그 결과인 매칭 멀티미디어 정보 및 상기 매칭 멀티미디어와 관련된 매칭 연관정보를 네트워크(200)를 통해 사용자 단말기(100)로 전송하여 사용자에게 제공한다(S1340).
또한, 도 14에서, 사용자가 멀티터치로 스케치를 입력하고(S1410), 상기 스케치로부터 특징벡터를 추출하여(S1420), 상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 유사성이 높은 스케치와 대응되는 매칭 멀티미디어 정보를 검색하여(S1430), 그 결과인 매칭 멀티미디어 정보 및 상기 매칭 멀티미디어와 관련된 매칭 연관정보를 네트워크(200)를 통해 사용자 단말기(100)로 전송하여 사용자에게 제공하고(S1440), 사용자 단말기로 전송된 상기 매칭 멀티미디어 정보 및 상기 매칭 연관정보를 저장하여(S1350), 이후에 그 저장된 검색 결과를 활용하고, 이를 통해 더욱 빠른 검색결과를 사용자에게 제공할 수 있다.
한편, 본 발명의 일 실시예에 따른 스케치를 이용한 멀티미디어 검색 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 제1 멀티미디어 검색 시스템
100: 사용자 단말기 110: 멀티터치부
120: 스케치 인식부 130: 스케치 특징벡터 추출부
140: 단말 통신부 200: 네트워크
300: 웹서버 310: 데이터베이스
320: 검색부 330: 웹 통신부
50: 제2 멀티미디어 검색 시스템
52: 멀티터치 입력부 54: 특징벡터 추출부
56: 검색부 58: 저장부

Claims (22)

  1. 네트워크를 통해 사용자 단말기로 멀티미디어 검색 서비스를 제공하는 웹서버를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템에 있어서,
    상기 사용자 단말기는,
    멀티터치 입력이 가능한 멀티터치부;
    상기 멀티터치부에 입력된 스케치로부터 스케치 특징벡터를 추출하는 스케치 특징벡터 추출부; 및
    상기 네트워크를 통해 상기 웹서버와 통신하며, 상기 스케치 특징벡터를 상기 웹서버로 전송하는 단말 통신부를 포함하며,
    상기 웹서버는,
    멀티미디어 정보가 저장되는 데이터베이스;
    상기 스케치 특징벡터를 기초로 상기 데이터베이스로부터 상기 스케치에 대응되는 매칭 멀티미디어를 검색하는 검색부; 및
    상기 네트워크를 통해 상기 사용자 단말기와 통신하며, 상기 매칭 멀티미디어 및 상기 매칭 멀티미이디어와 관련된 매칭 연관정보를 상기 사용자 단말기로 전송하는 웹 통신부를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  2. 제 1항에 있어서,
    상기 멀티미디어 정보는, 이미지 정보, 3D 모델 정보, 비디오 정보, 오디오 정보, 악보 정보, 텍스트 정보 등을 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  3. 제 1항에 있어서,
    상기 스케치는, 상기 사용자 단말기의 사용자가 상기 멀티터치부로 입력하는 손으로 그린 모든 정보를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  4. 제 1항에 있어서,
    상기 사용자 단말기는,
    상기 스케치로부터 문자, 도형, 기호, 심볼 중에서 적어도 하나의 정보를 인식하는, 스케치 인식부를 더 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  5. 제 1항에 있어서,
    상기 멀티터치부는, 멀티터치 스크린을 포함하며,
    상기 멀티터치로 입력되는 스케치를 상기 멀티터치 스크린에 디스플레이하는, 스케치를 이용한 멀티미디어 검색 시스템.
  6. 제 5항에 있어서,
    상기 멀티터치부는, 상기 웹 통신부로부터 전송되는 상기 매칭 멀티미디어 및 상기 매칭 연관정보를 상기 멀티터치 스크린에 디스플레이하는, 스케치를 이용한 멀티미디어 검색 시스템.
  7. 제 1항에 있어서,
    상기 스케치 특징벡터 추출부는, HOG(Histogram of Oriented Gradients) 알고리즘을 적용하여 상기 스케치 특징벡터를 추출하는, 스케치를 이용한 멀티미디어 검색 시스템.
  8. 제 1항에 있어서,
    상기 검색부는, 상기 데이터베이스에 저장된 멀티미디어 정보로부터 멀티미디어 특징벡터를 추출하며, 상기 멀티미디어 특징벡터와 상기 스케치 특징벡터의 유사도(Similarity)를 비교하여 상기 스케치에 대응되는 상기 매칭 멀티미디어를 검색하는, 스케치를 이용한 멀티미디어 검색 시스템.
  9. 제 2항에 있어서,
    상기 검색부는,
    상기 멀티미디어 정보가 상기 3D 모델 정보인 경우에 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하는 암시윤곽 추출모듈;
    상기 복수의 암시윤곽에 HOG 알고리즘을 적용하여 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출하는 특징벡터 추출모듈;
    상기 스케치 특징벡터와 상기 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하는 유사도 측정모듈; 및
    상기 유사도를 기초로 상기 매칭 멀티미디어를 검색하는 검색모듈을 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  10. 제 9항에 있어서,
    상기 검색부는, 상기 각각의 암시윤곽 특징벡터에 압축 센싱(Compressive Sensing) 알고리즘을 적용하여 상기 각각의 암시윤곽 특징벡터를 계층별로 분류하는 분류모듈을 더 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  11. 스케치를 이용한 멀티미디어 검색 시스템에 있어서,
    멀티터치 입력이 가능한 멀티터치 입력부;
    상기 멀티터치에 입력된 스케치로부터 스케치 특징벡터를 추출하는 특징벡터 추출부; 및
    상기 스케치 특징벡터를 기초로 상기 스케치에 대응되는 매칭 멀티미디어를 검색하는 검색부를 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  12. 제 11항에 있어서,
    멀티미디어 정보를 저장하는 저장부를 더 포함하는, 스케치를 이용한 멀티미디어 검색 시스템.
  13. 멀티터치 입력이 가능한 사용자 단말기로 네트워크를 통해 멀티미디어 검색 서비스를 제공하는, 스케치를 이용한 멀티미디어 검색 방법에 있어서,
    사용자가 멀티터치로 스케치를 입력하는 단계;
    상기 스케치로부터 특징벡터를 추출하는 단계; 및
    상기 특징벡터를 기초로 상기 사용자가 입력한 상기 스케치와 대응하는 매칭 멀티미디어 정보를 검색하는 단계를 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  14. 제 13항에 있어서,
    상기 멀티미디어 정보를 데이터베이스에 저장하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  15. 제 14항에 있어서,
    상기 데이터베이스에 저장하는 단계는, 상기 멀티미디어 정보를 그룹화하여 이미지 정보 데이터베이스, 3D 모델 정보 데이터베이스, 비디오 정보 데이터베이스, 오디오 정보 데이터베이스, 악보 정보 데이터베이스, 텍스트 정보 데이터베이스에 각각 저장하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  16. 제 13항에 있어서,
    상기 스케치를 입력하는 단계는, 상기 사용자의 손가락 또는 스타일러스 펜을 이용하여 입력하는, 스케치를 이용한 멀티미디어 검색 방법.
  17. 제 13항에 있어서,
    상기 특징벡터를 추출하는 단계는, HOG(Histogram of Oriented Gradients) 알고리즘을 적용하여 상기 특징벡터를 추출하는, 스케치를 이용한 멀티미디어 검색 방법.
  18. 제 13항에 있어서,
    상기 멀티미디어 정보를 검색하는 단계는,
    상기 데이터베이스에 저장된 멀티미디어 정보로부터 멀티미디어 특징벡터를 추출하는 단계;
    상기 멀티미디어 특징벡터와 상기 스케치 특징벡터의 유사도를 비교하여 상기 매칭 멀티미디어를 검색하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  19. 제 13항에 있어서,
    상기 멀티미디어 정보를 검색하는 단계는,
    상기 멀티미디어 정보가 3D 모델 정보인 경우에 복수의 방향으로부터 투사되는 복수의 암시윤곽(Suggestive Contour)을 추출하는 단계;
    HOG 알고리즘을 적용하여 상기 복수의 암시윤곽으로부터 각각의 암시윤곽 특징벡터를 추출하는 단계;
    상기 스케치 특징벡터와 상기 각각의 암시윤곽 특징벡터 사이의 유사도를 측정하는 단계; 및
    상기 유사도를 기초로 상기 매칭 멀티미디어를 검색하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  20. 제 19항에 있어서,
    상기 각각의 암시윤곽 특징벡터에 압축 센싱 알고리즘을 적용하여 상기 각각의 암시윤곽 특징벡터를 계층별로 분류하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  21. 제 13항에 있어서,
    상기 매칭 멀티미디어 정보 및 상기 매칭 멀티미디어와 관련된 매칭 연관정보를 상기 네트워크를 통해 상기 사용자 단말기로 전송하여 사용자에게 제공하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
  22. 제 21항에 있어서,
    상기 사용자 단말기로 전송된 상기 매칭 멀티미디어 정보 및 상기 매칭 연관정보를 저장하는 단계를 더 포함하는, 스케치를 이용한 멀티미디어 검색 방법.
KR1020110125115A 2011-11-28 2011-11-28 스케치를 이용한 멀티미디어 검색 시스템 및 방법 KR20130059033A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110125115A KR20130059033A (ko) 2011-11-28 2011-11-28 스케치를 이용한 멀티미디어 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125115A KR20130059033A (ko) 2011-11-28 2011-11-28 스케치를 이용한 멀티미디어 검색 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20130059033A true KR20130059033A (ko) 2013-06-05

Family

ID=48858069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125115A KR20130059033A (ko) 2011-11-28 2011-11-28 스케치를 이용한 멀티미디어 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20130059033A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150095132A (ko) * 2014-02-12 2015-08-20 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150101109A (ko) * 2014-02-26 2015-09-03 에스케이플래닛 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10019464B2 (en) 2014-08-06 2018-07-10 Samsung Electronics Co., Ltd Apparatus and method for searching for image
WO2019231130A1 (ko) * 2018-05-29 2019-12-05 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102418972B1 (ko) * 2022-04-22 2022-07-12 주식회사 케이피오에스 스케치 도면에 기초한 배관물량 견적 산출 시스템
WO2022158663A1 (ko) * 2021-01-25 2022-07-28 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150095132A (ko) * 2014-02-12 2015-08-20 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150101109A (ko) * 2014-02-26 2015-09-03 에스케이플래닛 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10019464B2 (en) 2014-08-06 2018-07-10 Samsung Electronics Co., Ltd Apparatus and method for searching for image
WO2019231130A1 (ko) * 2018-05-29 2019-12-05 삼성전자주식회사 전자 장치 및 그의 제어방법
WO2022158663A1 (ko) * 2021-01-25 2022-07-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102418972B1 (ko) * 2022-04-22 2022-07-12 주식회사 케이피오에스 스케치 도면에 기초한 배관물량 견적 산출 시스템

Similar Documents

Publication Publication Date Title
CN105677735B (zh) 一种视频搜索方法及装置
KR20130059033A (ko) 스케치를 이용한 멀티미디어 검색 시스템 및 방법
US10810252B2 (en) Searching using specific attributes found in images
CN108701161B (zh) 为搜索查询提供图像
CN102549603B (zh) 基于相关性的图像选择
KR101754473B1 (ko) 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
KR20130059035A (ko) 스케치를 이용한 시나리오 콘티의 자동 완성 장치 및 방법, 그리고 이를 이용한 애니메이션 제작 시스템
CN108959586A (zh) 响应于可视化查询标识文本词汇
TW201220099A (en) Multi-modal approach to search query input
KR102355702B1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
JP2015162244A (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN112738556A (zh) 视频处理方法及装置
CN112307190B (zh) 医学文献排序方法、装置、电子设备及存储介质
CN113596601A (zh) 一种视频画面的定位方法、相关装置、设备及存储介质
Ge et al. Visual-textual association with hardest and semi-hard negative pairs mining for person search
JP2011248596A (ja) 画像入り文書の検索システム及び検索方法
CN113204636A (zh) 基于知识图谱的用户动态个性化画像方法
KR20130059040A (ko) 스케치를 이용한 매장 내 물품 검색 시스템 및 방법
JP2013246732A (ja) 手書き文書検索装置、方法及びプログラム
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
US20220138402A1 (en) Text style and emphasis suggestions
Diou et al. Large-scale concept detection in multimedia data using small training sets and cross-domain concept fusion
Poornima et al. Multi-modal features and correlation incorporated Naive Bayes classifier for a semantic-enriched lecture video retrieval system
CN111143400A (zh) 一种全栈式检索方法、系统、引擎及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application