KR101724143B1

KR101724143B1 - 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램

Info

Publication number: KR101724143B1
Application number: KR1020140119385A
Authority: KR
Inventors: 노혜은; 김효정
Original assignee: 네이버 주식회사
Priority date: 2014-09-05
Filing date: 2014-09-05
Publication date: 2017-04-06
Also published as: KR20160029603A; WO2016036049A1; US20170277722A1

Abstract

본 발명의 일 실시예는 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 입력 데이터 종류 표시부; 상기 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어부; 상기 검색 대상 데이터 내에서, 검색하고자 하는 객체를 포함하는 검색 영역을 입력 받을 수 있도록 제어하는 검색 영역 입력부; 상기 검색 영역을 각각 분석하여 상기 검색 영역에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 하나 이상의 특징을 파라미터로 추출하는 검색 영역 분석부; 상기 하나 이상의 객체 및 상기 파라미터를 포함하는 검색 쿼리를 생성하는 검색 쿼리 생성부; 및 상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송부;를 포함하는 검색 서비스 제공 장치가 제공된다.

Description

검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램{APPARATUS, SYSTEM, METHOD, PROGRAM FOR PROVIDING SEARCHING SERVICE}

본 발명은 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램에 관한 것으로, 복수의 입력 수단을 통해 데이터를 입력 받아 상기 데이터로부터 검색 결과를 제공하는 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램에 관한 것이다.

컴퓨팅 환경은 점차 사용자의 편의를 위한 방향으로 발전해오고 있다. 사용자는 컴퓨팅 기기(예컨대, 컴퓨터 등)를 통해 정보를 가공, 수집, 및/또는 활용할 수 있다. 특히, 사용자는 자신의 컴퓨터로 인터넷에 존재하는 다양한 정보를 검색할 수 있다.

사용자는 컴퓨팅 기기(예컨대, 컴퓨터 등)를 사용하면서 하나 이상의 입력장치(예컨대, 키보드 또는 마우스 등)를 사용할 수 있다. 이때 작업의 특성 또는 종류에 따라 사용자는 서로 다른 입력장치를 이용하여 작업을 수행하여야 하는 경우가 있다.

예컨대 사용자는 특정 정보를 인터넷에서 검색하는 경우, 종래의 방식에 의하면 사용자는 검색을 수행하기 위해, 먼저 특정 검색 툴(tool)을 로딩하거나 검색 서비스를 제공하는 서비스 제공자의 사이트로 접근하는 과정이 필요하다. 이러한 접근과정은 대부분의 OS(operating system)가 GUI(graphic user interface) 환경을 채택하고 있는 최근의 컴퓨팅 시스템에서는 마우스 또는 이에 상응하는 장치(예컨대, 터치패드 등)를 이용하여 이루어진다.

검색 툴 및/또는 검색 사이트에 접근한 후, 사용자는 검색하고자 하는 정보를 소정의 위치(예컨대, 텍스트 박스)에 입력하는 과정을 수행한다. 이때에는 주로 텍스트 및/또는 캐릭터를 입력할 수 있는 키보드 또는 이에 상응하는 장치를 이용할 수 있다.

국내 공개특허공보 제2010-0005622호

본 발명의 일 실시예는 서로 다른 종류의 검색 대상 데이터를 입력 받아, 입력된 검색 대상 데이터를 분석하여 상기 검색 대상 데이터와 대응되는 검색 결과를 제공함으로써, 텍스트에 한정하지 않고 검색하고자 하는 대상에 대한 정보를 다양한 형태로 입력하여 이를 검색할 수 있는 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터에서 실행하기 위한 컴퓨터 프로그램을 제공한다.

또한, 본 발명의 일 실시예는 검색하고자 하는 대상의 종류를 고려한 검색 결과를 제공함으로써, 사용자가 검색하고자 하는 정보를 적극적으로 제공하는 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터에서 실행하기 위한 컴퓨터 프로그램을 제공한다.

본 발명의 일 실시예에 따른 검색 서비스 제공 장치는 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 입력 데이터 종류 표시부; 상기 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어부; 상기 검색 대상 데이터 내에서, 검색하고자 하는 객체를 포함하는 검색 영역을 입력 받을 수 있도록 제어하는 검색 영역 입력부; 상기 검색 영역을 각각 분석하여 상기 검색 영역에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 하나 이상의 특징을 파라미터로 추출하는 검색 영역 분석부; 상기 하나 이상의 객체 및 상기 파라미터를 포함하는 검색 쿼리를 생성하는 검색 쿼리 생성부; 및 상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송부;를 포함할 수 있다.

본 실시예에서, 상기 서비스 서버로부터 상기 검색 쿼리에 대응되는 검색 결과를 수신하는 검색 결과 수신부;를 더 포함할 수 있다.

본 실시예에서, 상기 검색 대상 데이터 입력 제어부는 상기 입력 데이터 종류가 이미지인 경우, 촬상부를 통해 입력된 실시간 영상을 데이터로 입력 받거나, 기 저장된 이미지 파일 중 하나를 데이터로 입력 받고, 상기 입력 데이터 종류가 음성인 경우, 소리 입력부를 통해 입력된 소리 데이터를 데이터로 입력 받거나, 기 저장된 음성 파일 중 하나를 데이터로 입력 받을 수 있다.

본 실시예에서, 상기 검색 영역 분석부는 상기 검색 영역에 포함된 데이터가 음성 데이터인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출할 수 있다.

본 실시예에서, 상기 검색 결과 수신부는 상기 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색 결과로서 제공받을 수 있다.

본 실시예에서, 상기 검색 결과 수신부는 상기 객체가 의상인 경우, 상기 객체를 만든 사람에 대한 정보 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색 결과로서 제공받을 수 있다.

본 발명의 일 실시예에 따른 서비스 서버는 검색 서비스 제공 장치로부터 하나 이상의 데이터를 포함하는 검색 쿼리를 수신하는 검색 쿼리 수신부; 상기 하나 이상의 데이터에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 특징을 파라미터로 추출하는 쿼리 분석부; 및 상기 하나 이상의 객체 및 상기 파라미터와 매칭되는 검색 결과를 상기 검색 서비스 제공 장치로 전송하는 검색 결과 제공부;를 포함할 수 있다.

본 실시예에서, 상기 쿼리 분석부는 상기 검색 쿼리에 포함된 데이터가 이미지 타입 또는 영상 타입인 경우, 상기 데이터를 기 저장된 알고리즘에 따라 분석하여 상기 데이터에 포함되는 객체를 검출하고, 상기 객체에 대한 특징을 파라미터로 추출할 수 있다.

본 실시예에서, 상기 쿼리 분석부는 상기 검색 쿼리에 포함된 데이터가 음성 타입인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출할 수 있다.

본 실시예에서, 상기 검색 결과 제공부는 상기 데이터에 포함된 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색하여 상기 검색 서비스 제공 장치로 전송할 수 있다.

본 실시예에서, 상기 검색 결과 제공부는 상기 데이터에 포함된 객체가 의상인 경우, 상기 파라미터를 포함하는 의상을 만든 사람 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색하여 상기 검색 서비스 제공 장치로 전송할 수 있다.

본 발명의 다른 실시예에 따른 검색 서비스 제공 시스템은 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 입력 데이터 종류 표시부; 상기 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어부; 상기 검색 대상 데이터 내에서, 검색하고자 하는 객체를 포함하는 검색 영역을 입력 받을 수 있도록 제어하는 검색 영역 입력부; 상기 검색 영역을 포함하는 검색 쿼리를 생성하는 검색 쿼리 생성부; 상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송부; 상기 서비스 서버로부터 상기 검색 쿼리에 대응되는 검색 결과를 수신하는 검색 결과 수신부;를 포함하는 검색 서비스 제공 장치 및 상기 서비스 서버를 포함할 수 있다.

본 발명의 다른 실시예에 따른 검색 서비스 제공 방법은 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 입력 데이터 종류 표시 단계; 상기 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어 단계; 상기 검색 대상 데이터 내에서, 검색하고자 하는 객체를 포함하는 검색 영역을 입력 받을 수 있도록 제어하는 검색 영역 입력 단계; 상기 검색 영역을 각각 분석하여 상기 검색 영역에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 하나 이상의 특징을 파라미터로 추출하는 검색 영역 분석 단계; 상기 하나 이상의 객체 및 상기 파라미터를 포함하는 검색 쿼리를 생성하는 검색 쿼리 생성 단계; 및 상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송 단계;를 포함할 수 있다.

본 실시예는 상기 서비스 서버로부터 상기 검색 쿼리와 대응되는 검색 결과를 수신 받는 검색 결과 수신 단계;를 더 포함할 수 있다.

본 실시예에서, 상기 검색 대상 데이터 입력 제어 단계는 상기 입력 데이터 종류가 이미지인 경우, 촬상부를 통해 입력된 실시간 영상을 데이터로 입력 받거나, 기 저장된 이미지 파일 중 하나를 데이터로 입력 받고, 상기 입력 데이터 종류가 음성인 경우, 소리 입력부를 통해 입력된 소리 데이터를 데이터로 입력 받거나, 기 저장된 음성 파일 중 하나를 데이터로 입력 받을 수 있다.

본 실시예에서, 상기 검색 영역 분석 단계는 상기 검색 영역에 포함된 데이터가 음성 데이터인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출할 수 있다.

본 실시예에서, 상기 검색 결과 수신 단계는 상기 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색 결과로서 제공받을 수 있다.

본 실시예에서, 상기 검색 결과 수신 단계는 상기 객체가 의상인 경우, 상기 객체를 만든 사람에 대한 정보 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색 결과로서 수신 받을 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 일 실시예에 따른 검색 서비스 제공 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.

본 발명의 일 실시예에 관한 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터에서 실행하기 위한 컴퓨터 프로그램은 서로 다른 종류의 검색 대상 데이터를 입력 받아, 입력된 검색 대상 데이터를 분석하여 상기 검색 데이터와 대응되는 검색 결과를 제공함으로써, 텍스트에 한정하지 않고 검색하고자 하는 대상에 대한 정보를 다양한 형태로 입력하여 이를 검색할 수 있는 효과를 얻을 수 있다.

또한, 본 발명의 일 실시예에 관한 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터에서 실행하기 위한 컴퓨터 프로그램은 검색하고자 하는 대상의 종류를 고려한 검색 결과를 제공함으로써, 사용자가 검색하고자 하는 정보를 적극적으로 제공하는 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 검색 서비스 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 검색 서비스 제공 시스템을 보다 상세히 나타내는 도면이다.
도 3 및 도 4는 도 2의 검색 서비스 제공 장치의 화면 구성을 나타내는 도면이다.
도 5, 6 및 도 7은 도 2의 검색 서비스 제공 장치의 화면 구성을 나타내는 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 검색 서비스 제공 시스템을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 검색 서비스 제공 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 검색 서비스 제공 방법을 나타내는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 검색 서비스 제공 시스템(10)을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 검색 서비스 제공 시스템(10)은 검색 서비스 제공 장치(200), 서비스 서버(100), 통신망(300)을 포함할 수 있다.

검색 서비스 제공 장치(200)는 사용자가 선택한 복수 개의 입력 데이터 종류에 따라, 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받고, 상기 하나 이상의 검색 대상 데이터 내에서 사용자가 검색하고자 하는 객체를 포함하는 검색 영역을 지정할 수 있다. 또한, 검색 서비스 제공 장치(200)는 상기 검색 영역을 기 저장된 알고리즘에 따라 분석하여, 검색 요청에 포함될 하나 이상의 객체 및 하나 이상의 파라미터를 추출할 수 있다. 보다 구체적으로는 검색 서비스 제공 장치(200)는 상기 검색 영역에 포함된 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 특징을 파라미터로 추출할 수 있다. 한편, 검색 서비스 제공 장치(200)는 객체 및 파라미터를 포함하는 검색 쿼리를 생성하여 외부의 서비스 서버(100)로 전송함으로써 검색을 요청할 수 있다. 이때, 검색 서비스 제공 장치(200)는 텍스트에 한정되지 않고 이미지, 소리 등의 다양한 타입의 데이터에 포함된 물체, 동물, 식물, 사람 등의 객체에 대해서 검색을 요청할 수 있다.

여기서, 객체는 검색 영역에 포함된 검색하고자 하는 대상을 말하는데, 동물, 식물, 사물, 제품, 사람을 포함할 수 있는 개념이며, 눈에 보이지 않는 고유 명사 또는 보통 명사를 포함하는 것이다. 파라미터는 객체에 대한 특징을 말하며, 파라미터는 객체를 특정하는 것, 객체를 한정하는 것, 객체와 함께 검색하고자 하는 것을 말할 수 있으며, 검색할 때 입력 할 수 있는 모든 정보를 포함하는 것이다.

또 다른 실시예에서 검색 서비스 제공 장치(200)는 사용자가 선택한 복수 개의 입력 데이터 종류에 따라, 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받고, 상기 하나 이상의 검색 대상 데이터 내에서 검색하고자 하는 검색 영역을 지정한 후, 검색 영역을 포함하는 검색 쿼리를 생성하여 외부의 서비스 서버로 전송할 수 있다. 이러한 실시예를 통해서, 검색 영역을 분석하는 과정 없이 서비스 서버(100)로 검색을 요청할 수 있게 된다.

여기서, 검색 서비스 제공 장치(200)는 적어도 하나의 프로세서에 해당하거나 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라 검색 서비스 제공 장치(200)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다. 예컨대, 검색 서비스 제공 장치(200)는 화면을 표시할 수 있는 표시부를 구비하는 단말에 탑재될 수 있다.

서비스 서버(100)는 검색 서비스 제공 장치(200)로부터 수신 받은 검색 쿼리에 대응되는 검색 결과를 검색 서비스 제공 장치로 전송할 수 있다. 여기서, 검색 결과는 검색 쿼리에 포함된 객체의 종류에 따라서 달리 제공될 수 있다.

또 다른 실시예에서, 서비스 서버(100)는 검색 서비스 제공 장치(200)로부터 수신 받은 검색 쿼리를 분석하여, 검색해야 할 객체 및 객체에 대한 특징인 파라미터를 추출할 수 있다. 그리고, 서비스 서버(100)는 검색해야 할 객체 및 객체에 대한 파라미터에 대응되는 검색 결과를 검색하여 검색 서비스 제공 장치로 전송할 수 있다.

한편 통신망(300)은 하나 이상의 검색 서비스 제공 장치(200)와 서비스 서버(100)를 연결하는 역할을 수행한다. 즉, 통신망(300)은 검색 서비스 제공 장치(200)가 서비스 서버(100)에 접속한 후 데이터를 송수신할 수 이도록 접속 경로를 제공하는 통신망을 의미한다.

도 2는 본 발명의 일 실시예에 따른 검색 서비스 제공 장치를 나타내는 도면이고, 도 3 및 도 4는 도 2의 검색 서비스 제공 장치의 화면 구성을 나타내는 도면이다. 여기서, 도 2에 도시된 검색 서비스 제공 장치(200)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 2에 도시된 구성 요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 2, 3 및 4를 참조하면, 본 발명의 일 실시예에 따른 서비스 서버(100)는 통신부(110), 데이터베이스(130), 제어부(140), 사용자 인터페이스부(150), 검색 쿼리 수신부(120) 및 검색 결과 제공부(122)를 포함할 수 있다.

통신부(110)는 통신망을 통해 서비스 서버(100)와 검색 서비스 제공 장치(200) 등을 연결하며 이들 간의 데이터 송수신 기능을 수행한다.

사용자 인터페이스부(150)는 사용자로부터의 입력 신호를 수신하는 동시에 사용자에게 출력 신호를 출력하는 역할을 수행하며, 키보드, 마우스, 모니터, 촬상부, 소리 입력부 등을 포함할 수 있다. 또한, 사용자 인터페이스부(150)는 태블릿 퍼스널 컴퓨터의 터치 스크린 등일 수도 있다.

제어부(140)는 서비스 서버(100)의 사용자 인터페이스부(150)에 화면을 표시하고, 이를 통해 사용자로부터 각종 명령 또는 동작을 입력 받는 등의 역할을 수행한다.

검색 쿼리 수신부(120)는 단말로부터 하나 이상의 데이터를 포함하는 검색 쿼리를 수신할 수 있다. 여기서, 하나 이상의 데이터는 텍스트, 이미지, 동영상, 음성 중 하나의 타입일 수 있고, 텍스트, 이미지, 동영상, 음성 중 2 이상의 타입일 수 있다.

검색 결과 제공부(122)는 상기 검색 쿼리에 포함되는 객체 및 파라미터와 대응되는 검색 결과를 사용자 단말(검색 서비스 제공 장치)로 전송할 수 있다. 후술하는 바와 같이, 검색 쿼리에 포함되는 객체의 종류에 따라서 제공되는 검색 결과는 다르게 제공될 수 있다.

이하에서는 본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)에 대해 보다 상세히 설명하도록 한다.

다시 도 2, 3를 참조하면, 본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)는 통신부(210), 입력 데이터 종류 표시부(220), 검색 대상 데이터 입력 제어부(221), 검색 영역 입력부(222), 검색 영역 분석부(223), 검색 쿼리 생성부(224), 검색 쿼리 전송부(225), 검색 결과 수신부(226), 제어부(240), 사용자 인터페이스부(250)를 포함할 수 있다.

통신부(210)는 통신망을 통해 검색 서비스 제공 장치(200)와 외부의 서버(100) 등을 연결하며 이들 간의 데이터 송수신 기능을 수행한다.

사용자 인터페이스부(250)는 사용자로부터의 입력 신호를 수신하는 동시에 사용자에게 출력 신호를 출력하는 역할을 수행하며, 키보드, 마우스, 모니터, 촬상부, 소리 입력부 등을 포함할 수 있다. 또한, 사용자 인터페이스부(250)는 태블릿 퍼스널 컴퓨터의 터치 스크린 등일 수도 있다.

제어부(240)는 검색 서비스 제공 장치(200)의 사용자 인터페이스부(250)에 화면을 표시하고, 이를 통해 사용자로부터 각종 명령 또는 동작을 입력 받는 역할을 수행한다.

입력 데이터 종류 표시부(220)는 사용자가 복수 개의 입력 데이터 종류를 선택할 수 있도록 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 역할을 수행한다. 예를 들어, 입력 데이터 종류 표시부(220)는 텍스트, 이미지, 음성, 동영상 중 적어도 2 이상의 입력 데이터 종류를 검색 서비스 제공 장치(200) 상에 표시하여, 사용자가 이들 중 두 개 이상의 입력 데이터 종류를 선택할 수 있도록 한다.

예를 들어, 입력 데이터 종류 표시부(220)는 도 3에 도시된 바와 같이 텍스트(T), 이미지(I), 음성(V), 동영상(M) 중에서 2 이상의 입력 데이터 종류를 선택할 수 있도록 사용자 단말의 화면을 구성할 수 있다. 구체적으로는 화면을 적절히 분할하여 텍스트(T), 이미지(I), 음성(V), 동영상(M)을 선택할 수 있는 선택 영역을 보여줄 수 있다. 입력 데이터 종류는 사용자의 터치에 의해서 선택될 수 있으나, 입력 수단의 선택은 이에 한정되지 않는다.

여기서, 본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)는 입력 데이터 종류 표시부(220)에 의해 표시된 복수 개의 입력 데이터 종류 중 두 개 이상의 입력 데이터 종류가 선택될 수 있도록 하고, 이와 같이 선택된 복수 개의 입력 데이터 종류 각각에 해당하는 검색 대상 데이터를 입력할 수 있도록 하는 것을 특징으로 한다.

즉, 도 4의 (a)에 도시된 바와 같이, 사용자는 검색 서비스 제공 장치(200)에 표시된 텍스트(T), 이미지(I), 음성(V), 동영상(M) 영역 중 텍스트(T)와 이미지(I)를 선택할 수 있다. 이때 복수 개의 입력 데이터 종류를 선택하는 방법은, 도 4의 (a)에 도시된 바와 같이 터치 앤 드래그(touch and drag)를 이용하여 수행될 수 있으며, 이외에도 롱탭 후 터치, 동시에 터치 등 다양한 방법이 사용될 수 있을 것이다.

한편, 입력 데이터 종류 표시부(220)를 통해 복수의 입력 데이터 종류가 선택되면, 검색 대상 데이터 입력 제어부(221)는 선택된 각 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 관련 하드웨어를 제어할 수 있다. 예를 들어, 검색 대상 데이터 입력 제어부(221)는 입력 데이터 종류가 이미지 또는 동영상인 경우, 촬상부(미도시)에 전원을 공급하여 영상을 입력 받을 수 있고, 또는 입력 데이터 종류가 음성인 경우, 소리 입력부(미도시)에 전원을 공급하여 소리 데이터를 입력 받을 수 있도록 할 수 있다.

여기서, 검색 대상 데이터 입력 제어부(221)는 입력 데이터 종류 표시부(220)를 통해 입력된 하나 이상의 입력 수단에 따른 데이터를 각각 입력 받을 수 있도록 제어한다. 다시 말하면, 사용자로부터 입력된 복수의 입력 수단을 각각 제1 입력 수단과 제2 입력 수단이라고 하면, 검색 대상 데이터 입력 제어부(221)는 제1 입력 수단에 따른 제1 데이터와 제2 입력 수단에 따른 제2 데이터를 각각 입력 받을 수 있도록 제어할 수 있다.

즉, 선택된 입력 데이터 종류가 텍스트인 경우, 입력되는 데이터는 텍스트 일 것이고, 선택된 입력 데이터 종류가 이미지일 경우, 입력되는 데이터는 이미지 파일 일 것이다. 한편, 선택된 입력 데이터 종류가 동영상인 경우, 입력되는 데이터는 동영상 파일이 될 것이고, 선택된 입력 데이터 종류가 음성인 경우, 입력되는 데이터는 음성 파일일 것이다.

검색 대상 데이터 입력 제어부(221)는 선택된 입력 데이터 종류에 따라 하나 이상의 데이터를 입력 받을 수 있는데, 이때, 각각 입력되는 방식이 상이할 수 있다. 예를 들어, 선택된 입력 데이터 종류가 텍스트인 경우, 본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)는 키보드 또는 터치 펜으로 입력 받을 수 있는 입력 영역을 보여주면서 입력 데이터를 입력 받을 수 있다. 한편, 선택된 입력 데이터 종류가 이미지인 경우, 저장된 이미지 파일 중 하나를 데이터로 입력 받거나 또는 장치에 구비된 촬상부(미도시)를 통해 보여지는 이미지 데이터를 데이터로 입력 받을 수 있다. 한편, 선택된 입력 데이터 종류가 동영상인 경우, 저장된 동영상 파일 중 하나를 데이터로 입력 받거나 또는 장치에 구비된 촬상부(미도시)를 통해 보여지는 동영상 데이터를 데이터로 입력 받을 수 있다. 한편, 입력 수단이 음성인 경우, 저장된 음성 파일 중 하나를 데이터로 입력 받거나 또는 장치에 구비된 소리 입력부(미도시)를 통해 입력되는 소리 데이터를 데이터로 입력 받을 수 있다.

검색 대상 데이터 입력 제어부(221)는 각각의 입력 수단에 따라 사용자에게 보여지는 화면 구성을 달리 할 수도 있다. 입력 수단이 텍스트인 경우, 텍스트를 입력 할 수 있는 키보드 화면을 보여줄 수 있고, 입력 수단이 이미지 또는 동영상인 경우, 구비된 촬상부(미도시)를 통한 실시간 영상을 보여주거나, 저장된 이미지 또는 동영상 리스트를 보여줄 수 있다. 입력 수단이 음성인 경우, 구비된 소리 입력부(미도시)를 통한 소리 데이터를 입력 받을 수 있는 화면을 보여주거나, 저장된 음성 파일 리스트를 보여줄 수 있다.

여기서, 검색 대상 데이터 입력 제어부(221)는 복수 개의 입력 데이터 종류에 해당하는 각각의 검색 대상 데이터를 입력 받을 수도 있다. 예를 들면, 도 4(a)에 도시된 바와 같이 사용자가 복수 개의 입력 데이터 종류 중 두 개 이상의 입력 데이터 종류를 선택하면, 도 4(b)에 도시된 바와 같이 검색 대상 데이터 입력 제어부(221)는 선택된 입력 데이터 종류인 이미지 및 텍스트에 대해, 검색 서비스 제공 장치(200)의 촬상부를 통해 촬영되는 이미지를 이미지 데이터로 입력 받는 동시에, 상기 이미지 상에 함께 디스플레이 되는 텍스트 입력창을 통해 텍스트 데이터를 입력 받을 수 있다. 즉, 도 4(b)에 도시된 바와 같이. 촬상부를 통해 촬영되는 이미지와, 텍스트 입력부를 통해 입력되는 "얼마?"라는 텍스트가 각각 검색 대상 데이터로 입력되는 것이다. 그리고 이와 같은 검색 대상 데이터에 대한 검색이 수행되어, 해당 검색 결과가 도 4(c)에 도시된 바와 같이 제공될 수 있는 것이다.

사용자로부터 입력된 입력 수단이 제1 입력 수단 및/또는 제2 입력 수단인 경우, 검색 대상 데이터 입력 제어부(221)는 순차적으로 제1 입력 수단에 따른 제1 입력 데이터를 입력 받고, 제2 입력 수단에 따른 제2 입력 데이터를 입력 받을 수 있다.

검색 영역 입력부(222)는 사용자로부터 검색하고자 하는 객체를 포함하는 검색 영역을 데이터 내에서 입력 받을 수 있도록 제어한다. 만약 사용자로부터 2개의 데이터, 즉 제1 입력 데이터 및 제2 입력 데이터를 입력 받은 경우, 사용자로부터 제1 입력 데이터의 일부 또는 전체를 제1 검색 영역으로 입력 받고, 제2 입력 데이터의 일부 또는 전체를 제2 검색 영역으로 입력 받을 수 있다. 검색 영역 입력부(222)가 사용자로부터 검색 영역을 입력 받는 방식은 입력 데이터의 종류에 따라서 달라질 수 있다. 검색 영역 입력부(222)는 사용자로부터 입력된 제1 입력 데이터 내에서 하나 이상의 검색 영역을 지정할 수 도 있다.

예를 들어, 도 4(b)에 도시된 바와 같이 입력 데이터의 종류가 이미지인 경우, 해당 이미지가 보여지는 동안 이미지 위로 특정 영역을 터치함으로써 검색 영역을 지정할 수 있다. 또는 입력 데이터의 종류가 음성 또는 동영상인 경우, 음성 파일 또는 동영상 파일에서 검색 영역의 시작 지점 및 종료 지점을 선택함으로써, 검색 영역을 지정할 수 있다.

검색 영역 분석부(223)는 상기 데이터의 타입에 따라 구별되는 방법으로 상기 검색 영역을 분석하여, 상기 검색 영역에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 하나 이상의 특징을 파라미터로 추출할 수 있다. 예를 들어, 사용자가 제1 검색 영역 및 제2 검색 영역을 지정한 경우, 각각의 데이터의 타입에 따른 분석 알고리즘을 사용하여 상기 제1 검색 영역 및 상기 제2 검색 영역에 포함된 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 특징인 파라미터를 추출할 수 있다. 예를 들어 도 5에 도시된 바와 같이 입력 데이터가 이미지 파일인 경우, 사용자로부터 이미지 파일의 일부 영역(501)을 검색 영역으로 지정 받을 수 있는데, 검색 영역(501)에서 객체(502)가 검색되면, 검색 영역(902)에 포함된 객체(502)에 대한 특징을 이미지에서의 특징을 추출하기 위한 기법을 사용하여 파라미터로 추출할 수 있다.

여기서, 검색 영역 분석부(223)는 객체 추출부(2230), 파라미터 추출부(2232)를 더 포함할 수 있다.

상세히, 객체 추출부(2230)는 입력 데이터에 포함된 하나 이상의 객체를 추출할 수 있다. 객체 추출부(2230)는 입력 데이터 중에서 검색 영역에 포함되는 하나 이상의 객체를 추출할 수 있다. 이미지 파일 또는 동영상 파일에서 객체를 검출하는 방법으로는 컬러 기반 방법, 영역 기반 방법, 능동 윤곽선 기반, 특징 기반 방식 등이 있을 수 있으나, 본 발명에서 객체를 검출하는 것은 이에 한정되지 않는다. 상기에서 나열된 방법들은 공지된 기술이므로, 자세한 설명은 생략하겠다.

파라미터 추출부(2232)는 객체에 대한 특징을 파라미터로 추출할 수 있다. 파라미터 추출부(2232)는 객체에 포함된 특징점을 뽑아서 파라미터로 추출할 수 있다. 여기서, 특징점 이란, 물체의 형태나 크기, 위치가 변해도 쉽게 물체를 식별할 수 있는 점을 말하며, 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 점을 말한다. 일반적으로 객체의 특징을 가장 잘 나타낼 수 있는 특징점으로는 코너점이 있을 수 있으며, 이러한 코너점은 특징점을 추출하는 공지된 알고리즘을 통해서 추출될 수 있는데, 공지된 기술이므로 자세한 설명을 생략하겠다.

예를 들어, 도 5에 도시된 바와 같이 사용자가 전체 화면 중에서 501 영역을 검색 영역으로 지정하였다면, 검색 영역(501)에 포함된 객체(502)를 객체로 검출하고, 상기 객체(502)에 대한 특징점을 파라미터로 추출할 수 있다. 그리고 이를 이용하여 객체(502)에 대한 검색 정보(503)를 제공할 수 있다.

또는, 도 6에 도시된 바와 같이 사용자가 전체 화면 중에서 601 영역을 검색 영역으로 지정하였다면, 검색 영역(601)에 포함된 객체(602 및 603)을 객체로 검출하고, 상기 객체(602 및 603)에 대한 특징점을 파라미터로 추출할 수 있다. 이를 이용하여 객체(602 및 603)에 대한 검색 정보를 각각 제공할 수 있다.

또는, 도 7에 도시된 바와 같이 사용자가 전체 화면 중에서 701 영역을 검색 영역으로 지정하였다면, 검색 영역(701)에 포함된 객체(702)에 대한 특징점을 파라미터로 추출할 수 있다. 그리고 이를 이용하여 객체(702)에 대한 검색 정보(703~705)를 제공할 수 있다. 검색 쿼리 생성부(224)는 상기 하나 이상의 객체 및 상기 파라미터를 포함하는 검색 쿼리를 생성할 수 있다. 만약, 사용자로부터 지정된 하나 이상의 검색 영역이 제1 검색 영역 및 제2 검색 영역인 경우, 상기 제1 검색 영역 및 상기 제2 검색 영역으로부터 검출된 하나 이상의 객체 및 상기 객체에 대한 특징인 파라미터를 모두 포함하는 하나의 검색 쿼리를 생성할 수 있다. 검색 쿼리 생성부(224)는 검출된 하나 이상의 객체 중 제1 객체와 상기 제1 객체에 대한 특징인 제1 파라미터를 포함하는 제1 검색 쿼리를 생성하고, 검출된 하나 이상의 객체 중 제1 객체와 다른 제2 객체 및 상기 제2 객체에 대한 특징인 제2 파라미터를 포함하는 제2 검색 쿼리를 각각 생성할 수 있다. 상기 하나 이상의 객체 및 상기 하나 이상의 파라미터는 AND 또는 OR 조건으로 검색 쿼리에 포함될 수 있다.

검색 쿼리 전송부(225)는 하나 이상의 검색 쿼리를 서버로 전송할 수 있다. 이때 통신부(210)를 통해서 외부 장치와 통신할 수 있다.

검색 결과 수신부(226)는 상기 서비스 서버로부터 상기 하나 이상의 검색 쿼리와 대응되는 검색 결과를 모두 수신 받을 수 있다. 여기서, 검색 쿼리와 대응되는 검색 결과는 검색 쿼리에 포함된 객체에 따라 달라 질 수 있다.

예를 들어, 도 5에 도시된 바와 같이 502 객체가 인물인 경우, 상기 인물에 대한 이름 등의 관련 정보를 검색하여 제공할 수 있고, 도 6에 도시된 바와 같이 602 및 603 객체가 동물인 경우, 상기 각 동물에 대한 학명, 계, 문, 강, 목, 과, 울음 소리 등의 정보를 검색하여 제공할 수 있다. 또한 도 7에 도시된 바와 같이 702 객체가 의상인 경우, 해당 의상을 검색하여, 해당 의상의 디자이너 대한 이미지 정보(703) 및 텍스트 정보(704)와, 해당 의상에 대한 텍스트 정보(705)를 제공할 수 있는 것이다.

본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)는 텍스트에 한정되지 않고, 이미지, 동영상, 음성 등의 다양한 입력 수단을 통해 입력된 검색어에 대한 검색 결과를 제공할 수 있으며, 특히 적어도 2 이상의 입력 수단을 통해 입력된 데이터에 기반한 검색 결과를 제공할 수 있다. 또한, 본 발명의 일 실시예에 따른 검색 서비스 제공 장치(200)는 사용자가 검색하고자 하는 객체에 대해서 구체적으로 특정하지 않더라도 검색 데이터에 포함된 객체를 특정한 후 상기 객체의 종류에 따라 사용자가 실질적으로 알고자 하는 내용을 판단하여 검색 결과를 제공할 수 있다.

도 8은 본 발명의 다른 일 실시예에 따른 검색 서비스 제공 시스템을 나타내는 도면이다.

도 8을 참조하면, 본 발명의 다른 일 실시예에 따른 검색 서비스 제공 시스템은 서비스 서버(100) 및 검색 서비스 제공 장치(200A)를 포함할 수 있고, 본 실시예에 따른 서비스 서버(100A)는 통신부(110A), 검색 쿼리 수신부(120A), 쿼리 분석부(121A), 검색 결과 제공부(122A)를 포함할 수 있다. 그리고, 본 실시예에 따른 검색 서비스 제공 장치(200A)는 수단 입력부(220A), 데이터 입력부(221A), 영역 입력부(222A), 검색 쿼리 생성부(224A), 검색 쿼리 전송부(225A), 검색 결과 수신부(226A)를 포함할 수 있다.

여기서, 검색 서비스 제공 장치(200A)의 입력 데이터 종류 표시부(220A), 검색 대상 데이터 입력 제어부(221A), 검색 영역 입력부(222A)는 도 2의 입력 데이터 종류 표시부(220), 검색 대상 데이터 입력 제어부(221), 검색 영역 입력부(222)와 동일하므로 자세한 설명은 생략하겠다.

검색 서비스 제공 장치(200A)의 검색 쿼리 생성부(224A)는 검색 영역을 포함하는 검색 쿼리를 생성한다. 상기 검색 쿼리는 검색 쿼리 전송부(225A)를 통해 서비스 서버(100A)로 전송될 수 있다.

서비스 서버(100A)의 검색 쿼리 수신부(120A)는 단말로부터 하나 이상의 데이터를 포함하는 검색 쿼리를 수신할 수 있다. 여기서, 하나 이상의 데이터는 텍스트, 이미지, 동영상, 음성 중 하나의 타입일 수 있고, 텍스트, 이미지, 동영상, 음성 중 2 이상의 타입일 수 있다.

쿼리 분석부(121A)는 검색 쿼리에 포함된 데이터를 데이터의 타입에 따른 방법으로 분석할 수 있다. 쿼리 분석부(121A)는 데이터에 포함되는 객체를 검출하고, 상기 객체에 대한 특징인 파라미터를 추출할 수 있다.

검색 결과 제공부(122A)는 상기 검색 쿼리에 포함되는 객체 및 파라미터와 대응되는 검색 결과를 사용자 단말로 전송할 수 있다. 도 2에 대한 상세한 설명에서 언급한 대로, 검색 쿼리에 포함되는 객체의 종류에 따라서 제공되는 검색 결과는 다르게 제공될 수 있다.

여기서, 쿼리 분석부(121A)는 객체 추출부(1210), 파라미터 추출부(1212)를 포함할 수 있다.

객체 추출부(1210A)는 입력 데이터에 포함된 하나 이상의 객체를 추출할 수 있다. 객체 추출부(1210A)는 입력 데이터 중에서 검색 영역에 포함되는 하나 이상의 객체를 추출할 수 있다. 이미지 파일 또는 동영상 파일에서 객체를 검출하는 방법으로는 컬러 기반 방법, 영역 기반 방법, 능동 윤곽선 기반, 특징 기반 방식 등이 있을 수 있으나, 본 발명에서 객체를 검출하는 것은 이에 한정되지 않는다. 상기에서 나열된 방법들은 공지된 기술이므로, 자세한 설명은 생략하겠다.

파라미터 추출부(1212A)는 객체에 대한 특징을 파라미터로 추출할 수 있다. 파라미터 추출부(1212A)는 객체에 포함된 특징점을 뽑아서 파라미터로 추출할 수 있다. 여기서, 특징점 이란, 물체의 형태나 크기, 위치가 변해도 쉽게 물체를 식별할 수 있는 점을 말하며, 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 점을 말한다. 일반적으로 객체의 특징을 가장 잘 나타낼 수 있는 특징점으로는 코너점이 있을 수 있으며, 이러한 코너점은 특징점을 추출하는 공지된 알고리즘을 통해서 추출될 수 있다. 특징점을 추출하는 기술은 공지된 기술이므로, 자세한 설명을 생략하겠다.

도 9는 본 발명의 일 실시예에 따른 검색 서비스 제공 방법을 나타내는 흐름도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 검색 서비스 제공 방법은 입력 데이터 종류 표시 단계(S110), 검색 대상 데이터 입력 제어 단계(S111), 검색 영역 입력 단계(S112), 검색 영역 분석 단계(S113), 검색 쿼리 생성 단계(S114), 검색 쿼리 전송 단계(S115), 검색 결과 수신 단계(S116)를 포함할 수 있다.

입력 데이터 종류 표시 단계(S110)에서는 장치는 사용자가 복수 개의 입력 데이터 종류를 선택할 수 있도록 선택 가능한 복수 개의 입력 데이터 종류를 표시하는 역할을 수행한다. 예를 들어, 입력 데이터 종류 표시 단계(S111)는 텍스트, 이미지, 음성, 동영상 중 적어도 2 이상의 입력 데이터 종류를 장치 상에 표시하여, 사용자가 이들 중 두 개 이상의 입력 데이터 종류를 선택할 수 있도록 한다.

검색 대상 데이터 입력 제어 단계(S111)에서는 장치는 입력 데이터 종류 표시 단계(S110)를 통해 입력된 하나 이상의 입력 수단에 따른 데이터를 각각 입력 받을 수 있도록 제어한다. 다시 말하면, 사용자로부터 입력된 복수의 입력 수단을 각각 제1 입력 수단과 제2 입력 수단이라고 하면, 검색 대상 데이터 입력 제어 단계(S112)는 제1 입력 수단에 따른 제1 데이터와 제2 입력 수단에 따른 제2 데이터를 각각 입력 받을 수 있도록 제어할 수 있다.

검색 대상 데이터 입력 제어 단계(S111)에서는 장치는 선택된 입력 데이터 종류에 따라 하나 이상의 데이터를 입력 받을 수 있는데, 이때, 각각 입력되는 방식이 상이하고, 사용자에게 보여지는 화면 구성 역시 달라지게 된다. 입력 수단이 텍스트인 경우, 텍스트를 입력 할 수 있는 키보드 화면을 보여줄 수 있고, 입력 수단이 이미지 또는 동영상인 경우, 구비된 촬상부(미도시)를 통한 실시간 영상을 보여주거나, 저장된 이미지 또는 동영상 리스트를 보여줄 수 있다. 입력 수단이 음성인 경우, 구비된 소리 입력부(미도시)를 통한 소리 데이터를 입력 받을 수 있는 화면을 보여주거나, 저장된 음성 파일 리스트를 보여줄 수 있다.

여기서, 검색 대상 데이터 입력 제어 단계(S111)에서는 장치는 복수 개의 입력 데이터 종류에 해당하는 각각의 검색 대상 데이터를 입력 받을 수도 있다. 예를 들면, 도 4(a)에 도시된 바와 같이 사용자가 복수 개의 입력 데이터 종류 중 두 개 이상의 입력 데이터 종류를 선택하면, 도 4(b)에 도시된 바와 같이 검색 대상 데이터 입력 제어 단계(S111)에서는 장치는 선택된 입력 데이터 종류인 이미지 및 텍스트에 대해, 촬상부(미도시)를 통해 촬영되는 이미지를 이미지 데이터로 입력받는 동시에, 상기 이미지 상에 함께 디스플레이 되는 텍스트 입력창을 통해 텍스트 데이터를 입력 받을 수 있다. 즉, 도 4(b)에 도시된 바와 같이. 촬상부를 통해 촬영되는 이미지와, 텍스트 입력부를 통해 입력되는 "얼마?"라는 텍스트가 각각 검색 대상 데이터로 입력되는 것이다. 그리고 이와 같은 검색 대상 데이터에 대한 검색이 수행되어, 해당 검색 결과가 도 4(c)에 도시된 바와 같이 제공될 수 있는 것이다.

사용자로부터 입력된 입력 수단이 제1 입력 수단 및/또는 제2 입력 수단인 경우, 검색 대상 데이터 입력 제어 단계(S111)에서는 장치는 순차적으로 제1 입력 수단에 따른 제1 입력 데이터를 입력 받고, 제2 입력 수단에 따른 제2 입력 데이터를 입력 받을 수 있다.

검색 영역 입력 단계(S112)에서는 장치는 사용자로부터 검색하고자 하는 객체를 포함하는 검색 영역을 데이터 내에서 입력 받을 수 있도록 제어한다. 만약 사용자로부터 2개의 데이터, 즉 제1 입력 데이터 및 제2 입력 데이터를 입력 받은 경우, 사용자로부터 제1 입력 데이터의 일부 또는 전체를 제1 검색 영역으로 입력 받고, 제2 입력 데이터의 일부 또는 전체를 제2 검색 영역으로 입력 받을 수 있다. 검색 영역 입력 단계(S112)에서는 사용자로부터 검색 영역을 입력 받는 방식은 입력 데이터의 종류에 따라서 달라질 수 있으며, 입력된 제1 입력 데이터 내에서 하나 이상의 검색 영역을 지정할 수 도 있다.

검색 영역 분석 단계(S113)에서는 장치는 상기 데이터의 타입에 따라 구별되는 방법으로 상기 검색 영역을 분석하여, 상기 검색 영역에 포함되는 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체에 대한 하나 이상의 특징을 파라미터로 추출할 수 있다. 검색 영역 분석에 대해서는 검색 영역 분석부의 동작과 동일하므로 상세한 설명을 생략하겠다.

검색 쿼리 생성 단계(S114)에서는 상기 추출된 객체 및 파라미터를 포함하는 검색 쿼리를 생성할 수 있다.

검색 쿼리 전송 단계(S115)는 하나 이상의 검색 쿼리를 서비스 서버로 전송할 수 있다.

검색 결과 수신 단계(S116)는 상기 서비스 서버로부터 상기 하나 이상의 검색 쿼리와 대응되는 검색 결과를 모두 수신 받을 수 있다. 여기서, 검색 쿼리와 대응되는 검색 결과는 검색 쿼리에 포함된 객체에 따라 달라 질 수 있다. 객체에 따른 검색 결과에 대해서는 검색 결과 수신부의 동작과 동일하므로 상세한 설명을 생략하겠다.

도 10은 본 발명의 또 다른 일 실시예에 따른 서비스 서버(100A)의 동작을 나타내는 흐름도이다.

도 10을 참조하면, 본 발명의 또 다른 일 실시예에 따른 서비스 서버(100)의 동작은 검색 쿼리 수신 단계(S210), 쿼리 분석 단계(S211), 검색 결과 전송 단계(S212)를 포함할 수 있다.

검색 쿼리 수신 단계(S210)에서는 장치는 단말로부터 하나 이상의 데이터를 포함하는 검색 쿼리를 수신할 수 있다. 여기서, 하나 이상의 데이터는 텍스트, 이미지, 동영상, 음성 중 하나의 타입일 수 있고, 텍스트, 이미지, 동영상, 음성 중 2 이상의 타입일 수 있다.

쿼리 분석 단계(S211)에서는 장치는 검색 쿼리에 포함된 데이터를 데이터의 타입에 따른 방법으로 분석할 수 있다. 쿼리 분석 단계에서는 데이터에 포함되는 객체를 검출하고, 상기 객체에 대한 특징인 파라미터를 추출할 수 있다.

검색 결과 제공 단계(S212)에서는 장치는 상기 검색 쿼리에 포함되는 객체 및 파라미터와 대응되는 검색 결과를 사용자 단말로 전송할 수 있다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

10: 검색 서비스 제공 시스템 100: 서비스 서버
200, 200A: 검색 서비스 제공 장치 300: 통신망
210, 210A: 통신부 220, 220A: 입력 데이터 종류 표시부
221, 221A: 검색 대상 데이터 입력 제어부
222, 222A: 검색 영역 입력부
223, 223A: 검색 영역 분석부 224, 224A: 검색 쿼리 생성부
225, 225A: 검색 쿼리 전송부 226, 226A: 검색 결과 수신부

Claims

선택 가능한 복수 개의 입력 데이터 종류들과 대응되는 선택 영역들을 표시하는 입력 데이터 종류 표시부;
상기 선택 영역들에 대한 터치에 의해 선택된 복수 개의 입력 데이터 종류에 해당하는, 제1 데이터 및 제2 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어부;
상기 제1 데이터 및 제2 데이터에서의 검색하고자 하는 객체들을 포함하는 검색 영역들을 입력 받을 수 있도록 제어하는 검색 영역 입력부;
상기 검색 영역들을 각각 분석하여 상기 검색 영역들에 포함되는 복수의 객체들을 검출하고, 상기 복수의 객체에 대한 하나 이상의 특징을 파라미터들로 추출하는 검색 영역 분석부;
상기 복수의 객체들 및 상기 파라미터들을 포함하고, 객체의 종류에 따라서 달리 제공되는 검색 쿼리를 생성하는 검색 쿼리 생성부;
상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송부; 및
상기 서비스 서버로부터 상기 검색 쿼리에 대응되는 검색 결과를 수신하는 검색 결과 수신부;
를 포함하는 검색 서비스 제공 장치.
삭제
제1항에 있어서,
상기 검색 대상 데이터 입력 제어부는
상기 입력 데이터 종류가 이미지인 경우, 촬상부를 통해 입력된 실시간 영상을 데이터로 입력 받거나, 기 저장된 이미지 파일 중 하나를 데이터로 입력 받고,
상기 입력 데이터 종류가 음성인 경우, 소리 입력부를 통해 입력된 소리 데이터를 데이터로 입력 받거나, 기 저장된 음성 파일 중 하나를 데이터로 입력 받는, 검색 서비스 제공 장치.
제1항에 있어서,
상기 검색 영역 분석부는
상기 검색 영역에 포함된 데이터가 음성 데이터인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출하는, 검색 서비스 제공 장치.
제1항에 있어서,
상기 검색 결과 수신부는
상기 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색 결과로서 제공받는, 검색 서비스 제공 장치.
제1항에 있어서,
상기 검색 결과 수신부는
상기 객체가 의상인 경우, 상기 객체를 만든 사람에 대한 정보 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색 결과로서 제공받는, 검색 서비스 제공 장치.
검색 서비스 제공 장치로부터 선택 가능한 복수 개의 입력 데이터 종류들과 대응되는 선택 영역들에 대한 터치에 의해 선택된 적어도 둘 이상의 데이터들을 포함하는 검색 쿼리를 수신하는 검색 쿼리 수신부;
상기 적어도 둘 이상의 데이터들에 포함되는 복수 개의 객체들을 검출하고, 상기 복수 개의 객체들에 대한 특징을 파라미터들로 추출하는 쿼리 분석부; 및
상기 복수 개의 객체들 및 상기 파라미터들과 매칭되되, 상기 복수 개의 객체들의 종류에 따라서 달리 제공되는 검색 결과를 상기 검색 서비스 제공 장치로 전송하는 검색 결과 제공부;를 포함하는 서비스 서버.
제7항에 있어서,
상기 쿼리 분석부는
상기 검색 쿼리에 포함된 데이터가 이미지 타입 또는 영상 타입인 경우, 상기 데이터를 기 저장된 알고리즘에 따라 분석하여 상기 데이터에 포함되는 객체를 검출하고, 상기 객체에 대한 특징을 파라미터로 추출하는, 서비스 서버.
제7항에 있어서,
상기 쿼리 분석부는
상기 검색 쿼리에 포함된 데이터가 음성 타입인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출하는, 서비스 서버.
제8항에 있어서,
상기 검색 결과 제공부는
상기 데이터에 포함된 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색하여 상기 검색 서비스 제공 장치로 전송하는, 서비스 서버.
제8항에 있어서,
상기 검색 결과 제공부는
상기 데이터에 포함된 객체가 의상인 경우, 상기 파라미터를 포함하는 의상을 만든 사람 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색하여 상기 검색 서비스 제공 장치로 전송하는, 서비스 서버.
선택 가능한 복수 개의 입력 데이터 종류들과 대응되는 선택 영역들을 표시하는 입력 데이터 종류 표시부;
상기 선택 영역들에 대한 터치에 의해 선택된 복수 개의 입력 데이터 종류에 해당하는 검색 대상 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어부;
상기 검색 대상 데이터 내에서, 검색하고자 하는 객체를 포함하는 검색 영역을 입력 받을 수 있도록 제어하는 검색 영역 입력부;
상기 검색 영역을 포함하는 검색 쿼리를 생성하는 검색 쿼리 생성부;
상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송부;
상기 서비스 서버로부터 상기 검색 쿼리에 대응되는 검색 결과를 수신하는 검색 결과 수신부;를 포함하는 검색 서비스 제공 장치 및
상기 검색 서비스 제공 장치로부터 선택 가능한 복수 개의 입력 데이터 종류들과 대응되는 선택 영역들에 대한 터치에 의해 선택된 적어도 둘 이상의 데이터들을 포함하는 검색 쿼리를 수신하는 검색 쿼리 수신부;
상기 적어도 둘 이상의 데이터들에 포함되는 복수 개의 객체들을 검출하고, 상기 복수 개의 객체들에 대한 특징을 파라미터들로 추출하는 쿼리 분석부; 및
상기 복수 개의 객체들 및 상기 파라미터들과 매칭되되, 상기 복수 개의 객체들의 종류에 따라서 달리 제공되는 검색 결과를 상기 검색 서비스 제공 장치로 전송하는 검색 결과 제공부;를 포함하는 서비스 서버;를 포함하는, 검색 서비스 제공 시스템.
선택 가능한 복수 개의 입력 데이터 종류들과 대응되는 선택 영역들을 표시하는 입력 데이터 종류 표시 단계;
상기 선택 영역들에 대한 터치에 의해 선택된 복수 개의 입력 데이터 종류에 해당하는, 제1 데이터 및 제2 데이터를 입력 받을 수 있도록 제어하는 검색 대상 데이터 입력 제어 단계;
상기 제1 및 제2 데이터에서의 검색하고자 하는 객체들을 포함하는 검색 영역들을 입력 받을 수 있도록 제어하는 검색 영역 입력 단계;
상기 검색 영역들을 각각 분석하여 상기 검색 영역들에 포함되는 복수의 객체들을 검출하고, 상기 복수의 객체들에 대한 하나 이상의 특징을 파라미터들로 추출하는 검색 영역 분석 단계;
상기 복수의 객체들 및 상기 파라미터들을 포함하고, 객체의 종류에 따라서 달리 제공되는 검색 쿼리를 생성하는 검색 쿼리 생성 단계; 및
상기 검색 쿼리를 서비스 서버로 전송하는 검색 쿼리 전송 단계;
상기 서비스 서버로부터 상기 검색 쿼리와 대응되는 검색 결과를 수신 받는 검색 결과 수신 단계;를 포함하는 검색 서비스 제공 방법.
삭제
제13항에 있어서,
상기 검색 대상 데이터 입력 제어 단계는
상기 입력 데이터 종류가 이미지인 경우, 촬상부를 통해 입력된 실시간 영상을 데이터로 입력 받거나, 기 저장된 이미지 파일 중 하나를 데이터로 입력 받고,
상기 입력 데이터 종류가 음성인 경우, 소리 입력부를 통해 입력된 소리 데이터를 데이터로 입력 받거나, 기 저장된 음성 파일 중 하나를 데이터로 입력 받는, 검색 서비스 제공 방법.
제13항에 있어서,
상기 검색 영역 분석 단계는
상기 검색 영역에 포함된 데이터가 음성 데이터인 경우, 상기 데이터를 텍스트로 변환하고, 상기 텍스트를 파라미터로 추출하는, 검색 서비스 제공 방법.
제13항에 있어서,
상기 검색 결과 수신 단계는
상기 객체가 인물인 경우, 상기 파라미터를 포함하는 인물에 대한 정보를 검색 결과로서 제공받는, 검색 서비스 제공 방법.
제13항에 있어서,
상기 검색 결과 수신 단계는
상기 객체가 의상인 경우, 상기 객체를 만든 사람에 대한 정보 또는 상기 파라미터를 포함하는 의상에 대한 정보를 검색 결과로서 수신 받는, 검색 서비스 제공 방법.
컴퓨터를 이용하여 제13항, 제15항 내지 제18항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 프로그램.