KR20150135042A - 검색을 수행하는 방법 및 장치 - Google Patents

Abstract

본 발명은 컴퓨팅 환경에서 정보의 검색 내지 획득을 위한 방법 및 장치가 제공된다. 정보의 검색 내지 획득을 위한 장치는, 질의 입력 창을 디스플레이하는 디스플레이부와, 디스플레이된 질의 입력 창을 이용하여 제 1 질의 유형에 속하는 제 1 질의 요소 및 제 2 질의 유형에 속하는 제 2 질의 요소를 수신하는 입력부 및 제 1 질의 요소 및 제 2 질의 요소를 조합한 질의에 기초하여 검색을 수행하는 제어부를 포함하고, 디스플레이부는 제어부에 의해 검색된 검색 결과를 디스플레이한다.

Description

검색을 수행하는 방법 및 장치{Method for Searching and Device Thereof}

본 발명은 컴퓨팅 환경에서 정보의 검색 내지 획득을 위한 방법 및 장치에 관한 것으로서, 보다 상세하게는 사용자의 다양한 요구에 따른 검색을 수행하기 위한 방법 및 장치에 관한 것이다.

정보의 검색 및 획득을 위한 다양한 방법들이 있다. 일반적으로 컴퓨팅 환경에서 정보를 검색하기 위해 텍스트를 기반으로 한 검색이 수행된다. 텍스트 기반 검색은 단어 또는 구와 같은 하나 이상의 텍스트 요소를 포함하는 검색 질의를 이용한다. 텍스트 요소들은 서로 매칭되거나 텍스트 요소들과 유사한 텍스트 내용, 메타데이터, 파일 이름 또는 다른 텍스트 표현을 포함하는 웹페이지들과 같은 문서들을 식별하기 위해 인덱스 또는 다른 데이터와 비교된다.

기술 발달에 따라 검색의 대상이 되는 정보가 보다 더 다양해지고, 정보의 양은 보다 증가되었다. 이에 따라서, 텍스트 요소뿐만 아니라 다른 모달리티의 요소들이 검색에 이용될 필요가 있다.

본 발명의 일부 실시예는 단일 모달리티의 질의 또는 복합 모달리티의 질의를 수신하고, 수신된 질의를 이용하여 검색을 수행하는 방법 및 장치를 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일부 실시 예에 따른 질의 입력 디바이스는, 제 1 질의 유형의 제 1 질의 입력과 제 2 질의 유형의 제 2 질의 유형을 수신하도록 구성된 적어도 하나의 입력 디바이스 및 제 1 질의 입력에 대응되는 제 1 디스플레이 아이템 및 제 2 질의 입력에 대응되는 제 2 디스플레이 아이템을 포함하는 질의 입력 창을 출력하며, 수신된 제 1 질의 입력에 대한 응답으로 질의 입력 디바이스를 제 1 질의 유형의 제 1 질의 입력을 수신하는 제 1 상태에서 제 2 질의 유형의 제 2 질의 입력을 수신하는 제 2 상태로 전환하고, 제 1 질의 입력 및 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 제어부를 포함할 수 있다.

또한, 다른 일부 실시 예에 따르면, 제 2 질의 유형은 오디오 질의 유형이고, 수신된 제 1 질의 입력에 대한 응답으로 제어부는 제 2 질의 입력을 수신하기 위한 마이크를 활성화하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 제 2 질의 입력 유형은 이미지 질의 유형이고, 수신된 제 1 질의 입력에 대한 응답으로 제어부는 제 2 질의 입력을 수신하기 위한 카메라를 활성화하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 수신된 제 1 질의 입력에 대한 응답으로 제어부는 제 2 상태를 지시하는 시각적 지시자(visual indicator)를 출력하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 수신된 제 1 질의 입력에 대한 응답으로 제어부는 제 2 상태를 지시하는 오디오 지시자(audio indicator)를 출력하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 모드 전환 입력이 수신되면 그에 대한 응답으로 제어부는 검색 모드를 제 1 질의 입력 및 제 2 질의 입력을 질의 입력 창을 통해 수신하고 상기 질의를 생성하기 위해 결합하는 복합(multimodal) 입력 모드에서, 상기 질의를 생성하기 위해 하나의 질의 유형의 입력이 수신되는 단일 입력 모드로 전환하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 제어부는 단일 입력 모드에서 단일 질의 입력 창을 출력하고, 복합 입력 모드에서 질의 입력 창으로서 복합 질의 입력 창을 출력하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 적어도 하나의 입력 디바이스는 상기 제 1 질의 입력을 수신하도록 구성된 제 1 입력 디바이스 및 상기 제 2 질의 입력을 수신하도록 구성되며 상기 제 1 입력 디바이스와 구별되는 상기 제 2 질의 입력을 수신하도록 구성된 제 2 질의 입력 디바이스를 포함하는, 장치.

또한, 또 다른 일부 실시 예에 따르면, 적어도 하나의 입력 디바이스는 마이크, 터치스크린, 카메라, 및 키보드 중 적어도 하나를 포함할 수 있다.

또는 상술한 기술적 과제를 달성하기 위한 다른 기술적 수단으로서, 일부 실시 예에 따른 질의 입력 디바이스는 질의 입력 창을 디스플레이하도록 구성된 디스플레이와, 제 1 질의 유형의 제 1 질의 입력과 제 2 질의 유형의 제 2 질의 입력을 수신하도록 구성된 적어도 하나의 입력 디바이스 및 제 1 질의 입력 및 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 제어부를 포함할 수 있고, 디스플레이는 질의 입력 창 내에 제 1 질의 유형에 상응하는 제 1 영역 및 제 2 질의 유형에 상응하는 제 2 영역을 함께 디스플레이하는 것을 특징으로 할 수 있다.

또한, 다른 일부 실시 예에 따르면, 제어부는 제 1 질의 입력의 제 1 질의 유형 및 제 2 질의 입력의 제 2 질의 유형을 결정하도록 구성되고, 디스플레이는 결정된 제 1 질의 유형에 따른 제 1 영역 및 결정된 제 2 질의 유형에 따른 제 2 영역을 디스플레이하도록 구성되는 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 제 1 영역의 위치 및 크기 중 적어도 하나는 사용자 입력에 따라서 조정 가능한 것을 특징으로 할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 디스플레이는 제 1 질의 입력에 상응하는 제 1 디스플레이 아이템 및 제 2 질의 입력에 상응하는 제 2 디스플레이 아이템을 제 1 질의 유형과 제 2 질의 유형이 서로 구별되도록 함께 디스플레이하는 질의 입력 창을 디스플레이하도록 구성되는 것을 특징으로 할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일부 실시 예에 따른 검색 방법은 제 1 질의 유형의 제 1 질의 입력 및 제 2 질의 유형의 제 2 질의 입력을 수신하는 단계와, 제 1 질의 입력에 상응하는 제 1 영역 및 제 2 질의 입력에 상응하는 제 2 영역을 포함하는 질의 입력 창을 장치를 통해서 출력하는 단계와, 수신된 제 1 질의 입력에 대한 응답으로 장치를 제 1 질의 유형의 제 1 질의 입력을 수신하는 제 1 상태에서 제 2 질의 유형의 제 2 질의 입력을 수신하는 제 2 상태로 전환하는 단계 및 제 1 질의 입력 및 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 단계를 포함할 수 있다.

또한, 다른 일부 실시 예에 따르면, 수신된 제 2 질의 입력에 대한 응답으로 제 2 질의 입력에 상응하는 제 2 디스플레이 아이템을 제 2 영역 내에 디스플레이하고, 제 1 질의 입력에 상응하는 제 1 디스플레이 아이템을 동시에 제 1 영역 내에 디스플레이하는 단계를 더 포함할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 제 2 질의 유형은 오디오 질의 유형이고, 장치를 전환하는 단계는 수신된 제 1 질의 입력에 대한 응답으로 제 2 질의 입력을 수신하기 위한 마이크를 활성화하는 단계를 포함할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 제 2 질의 유형은 이미지 질의 유형이고, 장치를 전환하는 단계는 수신된 제 2 질의 입력에 대한 응답으로 제 2 질의를 수신하기 위한 카메라를 활성화하는 단계를 포함할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 장치를 전환하는 단계는 수신된 제 1 질의 입력에 대한 응답으로 제 2 상태를 지시하는 시각적 지시자 또는 오디오 지시자를 출력하는 단계를 포함할 수 있다.

또한, 또 다른 일부 실시 예에 따르면, 검색 방법은 모드 전환 입력이 수신되면 검색 모드를 제 1 질의 입력 및 제 2 질의 입력을 질의 입력 창을 통해 수신하고 질의를 생성하기 위해 결합하는 복합(multimodal) 입력 모드에서, 질의를 생성하기 위해 하나의 질의 유형의 입력이 수신되는 단일 입력 모드로 전환하는 단계를 더 포함할 수 있다.

일부 실시 예에 따른 컴퓨터로 읽을 수 있는 기록 매체는, 전술된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것을 특징으로 할 수 있다.

도 1은 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.
도 2는 일부 실시 예에 따른 사용자 인터페이스의 구성을 도시한 개념도이다.
도 3은 일부 실시 예에 따라 질의 입력 디바이스를 구성하기 위한 구조를 도시한 개념도이다.
도 4는 일부 실시 예를 실시하기 위한 네트워크 환경을 도시한 개념도이다.
도 5 내지 도 7은 일부 실시 예에 따라 단일 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.
도 8 내지 도 18은 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.
도 19 및 도 20은 다른 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.
도 21 및 도22는 일부 실시 예에 따라 질의 입력 창을 생성하는 방법을 도시한 예시도이다.
도 23은 또 다른 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.
도 24는 또 다른 일부 실시 예에 따른 복합 질의 유형 목록을 도시한 예시도이다.
도 25a 내지 도 25e는 또 다른 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.
도 26은 일부 실시 예에 따라 질의 입력 창을 표시하는 프로세스를 도시한 순서도이다.
도 27 및 도 28은 일부 실시 예에 따라 질의 입력 창을 표시하는 방법을 도시한 예시도이다.
도 29는 일부 실시 예에 따라 질의를 수신하는 프로세스를 도시한 순서도이다.
도 31 및 도 32는 일부 실시 예에 따라 질의를 수신하는 방법을 도시한 예시도이다.
도 33은 일부 실시 예에 따라 질의를 수신하는 프로세스를 도시한 순서도이다.
도 34는 일부 실시 예에 따라 질의 유형이 텍스트인 질의 요소를 수신하는 방법을 도시한 예시도이다.
도 35 내지 도 38은 일부 실시 예에 따라 질의 유형이 이미지인 질의 요소를 수신하는 방법을 도시한 예시도이다.
도 39는 일부 실시 예에 따라 질의 유형이 필기(sketch) 정보인 질의 요소를 수신하는 방법을 도시한 예시도이다.
도 40은 일부 실시 예에 따라 질의 유형이 음향 정보인 질의 요소를 수신하는 방법을 도시한 예시도이다.
도 41은 일부 실시 예에 따라 질의 유형의 수가 복수인 질의 요소들을 포함하는 질의를 수신하고, 검색 결과를 표시하는 방법을 도시한 예시도이다.
도 42는 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.
도 43은 일부 실시 예에 따라 복합 검색을 수행한 결과를 도시한 예시도이다.
도 44는 다른 일부 실시 예에 따라 검색 결과를 표시하는 프로세스를 도시한 순서도이다.
도 45는 다른 일부 실시 예에 따른 검색 결과의 우선 순위를 도시한 예시도이다.
도 46은 다른 일부 실시 예에 따라 복합 검색을 수행한 결과를 도시한 예시도이다.
도 47는 일부 실시 예에 따라 복수의 디바이스를 이용하여 질의를 수신하는 방법을 도시한 예시도이다.
도 48은 다른 일부 실시 예에 따라 복수의 디바이스를 이용하여 질의 요소를 수신하는 방법을 도시한 예시도이다.
도 49는 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.
도 50은 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.
도 51은 일부 실시 예에 따른 질의 입력 디바이스의 구조를 도시한 블록도이다.
도 52 내지 57은 또 다른 일부 실시 예에 따라 복합 검색을 수행하는 방법을 도시한 예시도이다.
도 58은 다른 일부 실시 예에 따라 질의 유형 목록을 표시하는 방법을 도시한 예시도이다.
도 59는 또 다른 일부 실시 예에 따라 질의 유형 목록을 표시하는 방법을 도시한 예시도이다.
도 60은 일부 실시 예에 따라 복합 질의 유형 목록을 생성하는 방법을 도시한 예시도이다.
도 61 내지 도 65는 또 다른 일부 실시 예에 따라 복합 검색을 수행하는 방법을 도시한 예시도이다.
도 66은 일부 실시 예에 따라 복수의 질의 유형을 가지는 질의에 기초하여 복합 검색을 수행하기 위한 프레임워크(framework)를 도시한 블록도이다.
도 67은 일부 실시 예의 구현에 이용되는 시스템의 구조를 도시한 구조도이다.
도 68 내지 72는 일부 실시 예에 따라 이미지 질의 유형의 질의 요소의 이미지 특징들을 추출하는 프로세스를 도시한 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. “적어도 하나”와 같은 표현은 구성요소들 전체의 목록을 수정하는 것이며, 목록의 구성요소들 각각을 수정하지 아니한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서 전체에서, “질의(query)”는 검색을 수행하기 위한 명령을 의미한다. “질의”는 검색의 결과로서 얻고자 하는 정보를 포함할 수 있다. “질의”는 적어도 하나의 “질의 요소(query component)”를 포함할 수 있다. “질의 요소”는 질의를 구성하는 정보의 단위를 의미한다. 예를 들어, 질의 요소는 사용자가 질의 입력 디바이스에 입력한 텍스트에 포함된 키워드, 이미지 데이터, 필기 정보, 동영상 데이터 및 음향 데이터로부터 선택된 적어도 하나를 포함할 수 있다. “질의 유형(query type)”은 질의 요소의 모달리티(modality)를 지시할 수 있다. 본 명세서에서, 모달리티는 인간의 감각적 양상뿐만 아니라 검색을 위한 알고리즘적으로 활용될 수 있는 검색 데이터베이스의 내용에 관한 정보의 소스(source)를 포함하는 것으로 정의된다. 예를 들어, 질의 유형은 질의 요소가 텍스트, 이미지, 필기 정보, 동영상 및 음향 데이터 중 어느 유형에 속하는지를 지시할 수 있다. 질의가 복수의 질의 유형을 포함한다는 것은 질의에 포함된 질의 요소들이 속하는 질의 유형이 복수인 것을 지시한다. 예를 들어, 질의 유형이 텍스트인 제 1 질의 요소와 질의 유형이 이미지인 제 2 질의 요소가 질의에 포함되는 경우, 질의가 복수의 질의 유형을 포함한다고 언급될 수 있다.

본 명세서 전체에서, “검색 모드”는 검색을 어떤 방식으로 수행할 것인지에 대한 동작 방식을 의미할 수 있다. “검색 모드”는 “단일 입력 모드”와 “복합 입력 모드”를 포함할 수 있다. “단일 입력 모드”는 하나의 질의 유형를 가지는 질의 요소들만을 포함하는 질의에 기초하여 검색을 수행하는 동작 방식을 지시할 수 있다. “복합 입력 모드”는 복수의 질의 유형을 가지는 질의 요소들을 포함하는 질의에 기초하여 검색을 수행하는 동작 방식을 지시할 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.

먼저, 컴퓨팅 장치는 사용자가 질의를 입력하기 위한 질의 입력 창을 표시할 수 있다(S110). 질의 입력 창은 사용자가 입력한 질의를 컴퓨팅 장치가 수신하기 위한 사용자 인터페이스를 의미한다. 질의 입력 창은 질의 요소를 입력하기 위한 질의 입력 도구를 포함할 수 있다. 예를 들어, 질의 입력 창은 텍스트 상자, URL 입력 창, 파일 업로드 버튼, 필기 입력 창 및 애플리케이션 실행 버튼 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 텍스트 상자는 입력 디바이스(예를 들어, 키보드, 키패드(keypad) 또는 가상 키패드(keypad))를 이용하여 입력된 텍스트가 표시되는 상자를 의미한다. URL 입력 창은 질의로 입력될 정보의 위치를 나타내는 URL(Uniform Resource Locator)를 입력하기 위한 사용자 인터페이스를 의미한다. 파일 업로드 버튼은 사용자에 의해 선택되면 컴퓨팅 장치가 파일을 선택하는 동작 및 파일을 업로드하는 동작을 수행하기 위한 버튼을 의미한다. 필기 입력 창은 사용자가 입력 디바이스(예를 들어, 태블릿, 터치 패널, 트랙 패드, 마우스, 스타일러스 등)을 이용하여 입력된 정보를 표시하는 사용자 인터페이스를 나타낸다. 애플리케이션 실행 버튼은 선택됨에 따라서 선택된 버튼에 상응하는 애플리케이션을 실행하기 위한 버튼을 의미한다. 예를 들어, 사진 촬영에 상응하는 애플리케이션 실행 버튼이 선택된 경우, 사진을 촬영하기 위한 애플리케이션이 실행될 수 있다. 또 다른 예로, 음향 녹음에 상응하는 애플리케이션 실행 버튼이 선택된 경우, 음향을 녹음하기 위한 애플리케이션이 실행될 수 있다. 또 다른 예로, 질의 입력 디바이스는 카메라를 구동하여 획득된 영상으로부터 QR 코드와 같은 정보를 추출하고, QR 코드를 이용하여 질의 요소를 수신할 수 있다.

일부 실시 예에 따르면, 검색 모드가 복합 검색(즉, 복합 입력 모드)인 경우 질의 입력 디바이스는 복수의 질의 유형들을 가지는 질의 요소들을 수신하기 위한 질의 입력 창을 표시할 수 있다. 질의 입력 창 또는, 검색 모드가 단일 검색(즉, 단일 입력 모드)인 경우 질의 입력 디바이스는 단일 질의 입력 창을 표시할 수 있다. 단일 질의 입력 창은 하나의 질의 유형만을 포함하는 질의를 입력 받을 수 있는 질의 입력 창을 의미한다.

이후, 질의 입력 디바이스는 표시된 질의 입력 창을 통해서 질의를 수신할 수 있다(S120). 여기서, 질의 입력 창의 입력 디바이스는 복수의 질의 유형을 포함하는 질의를 수신할 수 있다. 즉, 복수의 질의 유형을 가지는 복수의 질의 컴포넌트들(query components)을 포함하는 질의가 수신될 수 있다.

이후, 질의 입력 디바이스는 수신된 질의에 기초하여 적어도 하나의 검색 결과를 선택할 수 있다. 여기서, 적어도 하나의 검색 결과는 검색 엔진을 이용하여 선택될 수 있다. 검색 엔진은 질의에 따른 정보를 찾아내는 하드웨어, 소프트웨어 또는 그 조합을 의미한다. 검색 엔진은 질의 입력 디바이스에 포함되거나, 별도의 장치(예를 들어, 웹 서버, 미디어 서버, 네트워크 서버 등)에 구비될 수 있다. 검색 엔진이 별도의 장치에 구비되는 경우, 질의 입력 디바이스는 수신된 질의를 별도의 장치로 전송할 수 있다. 질의 입력 디바이스는 전송된 질의에 대한 응답으로 별도의 장치로부터 선택된 검색 결과를 획득 할 수 있다.

질의 입력 디바이스는 선택된 검색 결과를 표시할 수 있다(S130). 여기서 질의 입력 디바이스는 검색 결과를 순위화할 수 있다. 질의 입력 디바이스는 검색 결과의 순위에 기초하여 검색 결과를 표시할 수 있다.

일부 실시 예에 따르면, 질의 입력 디바이스는 검색 결과에 포함된 텍스트를 음성으로 변환(또는 변환을 위해 서버나 다른 디바이스와 통신을 수행)하고, 변환된 음성을 출력할 수 있다. 또는, 질의 입력 디바이스는 검색 결과에 포함된 음성을 텍스트로 변환하고, 변환된 텍스트를 출력할 수 있다. 이에 따라서 시각 장애인이나 청각 장애인도 검색 결과를 확인할 수 있다.

도 2는 일부 실시 예에 따른 사용자 인터페이스의 구성을 도시한 개념도이다. 질의 입력 디바이스는 도 2에 도시된 질의 입력 창(210)과 결과 표시 영역(220)을 도시할 수 있다. 다만 이에 한정되지 아니하며, 질의 입력 디바이스는 질의 입력 창(210)과 결과 표시 영역(220)을 별도로 표시할 수 있다.

질의 입력 창(210)은 제 1 질의 유형에 속하는 제 1 질의 요소(211)(즉, 제 1 질의 입력)와 제 2 질의 유형에 속하는 질의 요소(212)(즉, 제 2 질의 입력)를 수신할 수 있다. 질의 입력 창(210)은 제 1 질의 유형 및 제 2 질의 유형에 따라서 다르게 표시될 수 있다. 또한, 질의 입력 창(210)은 실시 예에 따라서 둘 이상의 질의 유형 또는 둘보다 적은 수의 질의 유형을 포함하는 질의를 수신할 수 있다.

결과 표시 영역(220)은 검색 결과들(221 및 222)의 목록을 포함할 수 있다. 제 1 응답 결과(221)는 검색에 응답하여 식별된 정보에 관한 요약 정보가 포함될 수 있다. 예를 들어, 제 1 응답 결과(221)는 이미지 문서에 대한 썸네일(thumbnail), 문서에 포함된 텍스트의 일부, 검색된 문서에 연결하기 위한 링크 또는 아이콘 등을 포함할 수 있다.

도 3은 일부 실시 예에 따라 질의 입력 디바이스(300)를 구성하기 위한 구조를 도시한 개념도이다. 도 3은 일부 실시 예를 구현하기 위한 예시적인 환경을 도시한다. 질의 입력 디바이스(300)는 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 질의 입력 디바이스(300)는 PC(Personal Computer), 스마트폰(smartphone), 커넥티드 TV(connected TV), 노트북(laptop), PDA(Personal Digital Assistants), 태블릿 PC, 휴대용 멀티미디어 플레이어, 넷북, 워크스테이션 등의 형태로 구현될 수 있다. 다만 이에 한정되지 아니한다.

일부 실시 예들은 컴퓨터, 또는 개인용 휴대 단말기 또는 다른 핸드헬드 장치와 같은 다른 디바이스에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행 가능 명령어들을 포함하는 컴퓨터 코드 또는 기계 사용 가능 명령어들과 관련하여 설명될 수 있다. 일반적으로, 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함하는 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 타입들을 구현하는 코드를 지칭한다. 일부 실시 예들은 핸드헬드 장치들, 소비자 전자 장치들, 범용 컴퓨터들, 더 특수한 컴퓨팅 장치들을 포함하는 다양한 시스템 구성들에서 실시될 수 있다. 또한, 일부 실시예들은 분산 컴퓨팅 환경에서도 실시될 수 있다.

질의 입력 디바이스(300)는 메모리(320), 적어도 하나의 프로세서(330), 적어도 하나의 출력 장치(340), 적어도 하나의 입출력(I/O) 포트(350), 적어도 하나의 입출력(I/O) 컴포넌트(360), 및 전원(370)과 각각을 연결하는 버스(310)를 포함할 수 있다. 버스(310)는 어드레스 버스, 데이터 버스 또는 이들의 조합과 같은 하나 이상의 형태의 버스를 포함할 수 있다. 도 3의 블록들은 명료화를 위해 라인들로 도시되었으나, 실제 질의 입력 디바이스(300)는 보다 다양한 컴포넌트로 구성될 수 있다. 예를 들어, 디스플레이 장치와 같은 출력 장치(340)는 입출력 컴포넌트(360)로 간주될 수도 있다. 또한, 프로세서(330)는 메모리(320)를 포함할 수 있다.

질의 입력 디바이스(300)는 다양한 컴퓨터 판독 가능 매체들을 포함할 수 있다. 컴퓨터 판독 가능 매체들은 질의 입력 디바이스(300)에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수 있으며, 휘발성 및 비휘발성 매체들, 이동식 및 비이동식 매체들 모두를 포함할 수 있다. 컴퓨터 저장 매체들은 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술에서 구형되는 휘발성 또는 비휘발성, 이동식 또는 비이동식 매체들을 포함할 수 있다. 컴퓨터 저장 매체들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거 및 프로그래밍 가능한 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 홀로그래픽 메모리, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 인코딩하는 데 사용될 수 있고 질의 입력 디바이스(300)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있으나 이에 한정되지 아니한다. 일부 실시예에서, 컴퓨터 저장 매체들은 유형의 컴퓨터 저장 매체들로부터 선택될 수 있다. 다른 일부 실시 예에서, 컴퓨터 저장 매체들은 비일시적 컴퓨터 저장 매체들로부터 선택될 수 있다.

메모리(320)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체들을 포함할 수 있다. 메모리는 이동식, 비이동식 또는 이들의 조합일 수 있다. 예를 들어, 메모리(320)는 반도체 메모리, 하드 드라이브, 광- 디스크 드라이브 등을 포함할 수 있다. 질의 입력 디바이스(300)는 메모리(320) 또는 입출력 컴포넌트들(360)과 같은 다양한 엔티티들로부터 데이터를 판독하는 하나 이상의 프로세서를 포함할 수 있다. 출력 장치(340)는 데이터 지시들을 사용자 또는 다른 장치로 제공한다. 예를 들어, 출력 장치(340)는 디스플레이 장치, 스피커, 인쇄 컴포넌트, 진동 모터, 통신 디바이스 중 적어도 하나를 포함할 수 있다.

입출력 포트(350)는 질의 입력 디바이스(300)로 하여금 일부가 내장될 수 있는 입출력 컴포넌트(360)을 포함하는 다른 장치들에 논리적으로 결합될 수 있도록 한다. 예를 들어, 입출력 컴포넌트(360)는 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 장치, 키보드, 트랙 패드, 터치스크린, 회전 다이얼 중 적어도 하나를 포함할 수 있다.

도 4는 일부 실시 예를 실시하기 위한 네트워크 환경을 도시한 개념도이다. 본 네트워크 환경은 일부 실시 예들에서 사용될 수 있는 환경의 일 예일 뿐이며, 광범위한 구성에서 임의의 수의 컴포넌트를 포함할 수 있다.

네트워크 환경은 네트워크(410), 질의 입력 디바이스(400) 및 검색 엔진 서버(420)를 포함할 수 있다. 네트워크(410)는 인터넷, 인트라넷, 비공개 및 공개 근거리 네트워크들, 비공개 및 공개 광대역 통신망들, 및 무선 데이터 또는 전화 네트워크들과 같은 임의의 컴퓨터 네트워크를 포함할 수 있으나, 이에 한정되지 아니한다. 질의 입력 디바이스(400)는 질의를 제공할 수 있는 장치이다. 일부 실시 예에 따르면, 질의 입력 디바이스(400)는 질의 입력뿐만 아니라 검색 결과를 출력할 수 있다.

검색 엔진 서버(420)는 질의 입력 디바이스(400)와 같은 임의의 컴퓨팅 디바이스를 포함할 수 있다. 검색 엔진 서버(420)는 검색 서비스를 제공하기 위한 동작들 중 일부를 중 적어도 일부를 제공할 수 있다.

도 5 내지 도 7은 일부 실시 예에 따라 단일 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.

일부 실시 예에 따른 질의 입력 디바이스는, 검색 모드가 단일 검색 모드인 경우, 하나의 질의 유형을 포함하는 질의를 입력하기 위한 단일 질의 입력 창(510)을 표시할 수 있다. 질의 입력 디바이스는 검색 모드를 선택하기 위한 적어도 하나의 검색 모드 선택 객체를 표시할 수 있다. 도 5를 참조하면, 질의 입력 디바이스는 단일 입력 모드 선택 아이콘(501)과 복합 입력 모드 선택 아이콘(502)을 표시할 수 있다. 단일 입력 모드 선택 아이콘(501)을 선택하는 사용자 입력이 사용자(1)로부터 수신되면, 질의 입력 디바이스는 단일 질의 입력 창(510)을 표시할 수 있다. 여기서, 사용자 입력은 질의 입력 디바이스 또는 입출력 장치의 유형에 따라서 달라질 수 있다. 예를 들어, 질의 입력 디바이스가 GUI(Graphic User Interface) 기반의 PC인 경우, 마우스 커서를 이용하여 단일 입력 모드 선택 아이콘(501)을 클릭하는 이벤트가 단일 입력 모드 선택 아이콘(501)을 선택하는 사용자 입력일 수 있다. 다른 예를 들면, 질의 입력 디바이스가 터치스크린을 구비한 핸드헬드(handheld) 디바이스인 경우, 터치스크린 상에 단일 입력 모드 선택 아이콘(501)이 표시된 위치에 대한 신체의 일부 또는 전자펜 등의 접촉이 단일 입력 모드 선택 아이콘(501)을 선택하는 사용자 입력일 수 있다.

또한, 질의 입력 디바이스는 단일 질의 유형 목록(520)을 표시할 수 있다. 단일 질의 유형 목록(520)은 복수의 객체를 포함할 수 있다. 단일 질의 유형 목록(520)에 포함된 하나의 객체는 하나의 질의 유형에 대응될 수 있다. 도 5에서 단일 질의 유형 목록(520)이 버튼 형태의 객체들의 집합으로 도시되었으나, 각 객체들은 다른 형태-예를 들어 아이콘이나 위젯-로 다양하게 대체될 수 있다.

질의 입력 디바이스는 단일 질의 유형 목록(520)에 기초하여 단일 질의 입력 창(510)이 수신할 질의 요소의 질의 유형을 결정할 수 있다. 도 6을 참조하면, 사용자(1)는 단일 질의 유형 목록(520)에 포함된 객체들 중 어느 하나를 단일 질의 입력 창(510)이 표시된 영역에 드래그 앤 드롭(drag and drop)하는 입력을 이용하여 단일 질의 입력 창(510)에 포함되는 질의 유형을 결정할 수 있다. “드래그 앤 드롭”은 GUI(Graphic User Interface)에서 마우스 클릭이나 터치 입력을 이용하여 한 객체를 선택한 후, 위치를 이동 한 후 마우스 클릭이나 터치 입력을 종료하는 입력 방식을 의미한다. 예를 들어, 필기 정보에 상응하는 객체(521)에 대하여 단일 질의 입력 창(510)에 드래그 앤 드롭 이벤트가 수신되면, 도 7에 도시된 바와 같이 단일 질의 입력 창(510) 내에 필기 정보를 입력하기 위한 필기 입력 창이 표시될 수 있다. 이후, 단일 질의 유형 목록(520)에 포함된 객체들 중 다른 질의 유형에 대응되는 객체가 선택되면, 필기 입력 창은 다른 질의 유형에 속하는 질의 요소를 입력하기 위한 입력 창으로 변환될 수 있다. 여기서, 드래그 앤 드롭은 다른 입력 방식으로 다양하게 대체될 수 있다. 예를 들어, 다른 일부 실시 예에 따르면, 사용자(1)는 단일 입력 모드 선택 아이콘(501)에 대한 선택과 같은 입력을 이용하여 질의 유형을 선택할 수 있다. 일부 실시 예에 따르면, 단일 질의 입력 창(510)의 영역 또는 위치는 질의 입력 창 내에 디스플레이될 질의 유형(즉, 질의 유형의 질의 입력에 상응하는 디스플레이 아이템)에 따라서 변경될 수 있다. 이에 대신하여, 단일 질의 입력 창(510) 내에 표시될 질의 컴포넌트(query component)(즉, 디스플레이 아이템)의 크기는 질의 컴포넌트 입력 영역의 영역에 따라 변경될 수 있다. 예를 들어, 문자들이 입력될 때 미리 정해진 수 이상의 문자들이 입력되면 텍스트 입력 창이 커지거나, 텍스트 입력 창 내의 각 문자들이 작아질 수 있다.

또한, 질의 입력 디바이스는 단일 질의 입력 창(510)에 입력된 질의에 기초하여 검색을 수행하도록 하는 명령을 입력하기 위한 검색 버튼(530)을 포함할 수 있다. 검색 버튼(530)은 실시 예에 따라서 표시되지 않거나 다른 형태로 변형될 수 있다.

도 8 내지 도 18은 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.

일부 실시 예에 따른 질의 입력 디바이스는, 검색 모드가 복합 검색 모드(즉, 복합 입력 모드)인 경우, 복수의 질의 유형을 포함하는 질의를 입력하기 질의 입력 창(810)을 표시할 수 있다. 예를 들어 도 8을 참조하면, 질의 입력 창(810)은 제 1 질의 요소 입력 영역(811)(즉, 제 1 영역) 및 제 2 질의 요소 입력 영역(812)(즉, 제 2 영역)을 포함할 수 있다.

질의 입력 디바이스는 검색 모드를 선택하기 위한 적어도 하나의 검색 모드 선택 객체를 표시할 수 있다. 도 8을 참조하면, 질의 입력 디바이스는 단일 입력 모드 선택 아이콘(801)과 복합 입력 모드 선택 아이콘(802)을 표시할 수 있다. 복합 입력 모드 선택 아이콘(801)을 선택하는 사용자 입력이 사용자(1)로부터 수신되면, 질의 입력 디바이스는 질의 입력 창(810)을 표시할 수 있다. 복수의 질의 유형들을 가지는 질의 요소들(즉, 질의 입력들)을 수신할 수 있는 질의 입력 창은 복합 질의 입력 창으로 언급될 수 있다. 여기서, 사용자 입력은 질의 입력 디바이스 또는 입출력 장치의 유형에 따라서 달라질 수 있다. 예를 들어, 질의 입력 디바이스가 GUI(Graphic User Interface) 기반의 PC인 경우, 마우스 커서를 이용하여 복합 입력 모드 선택 아이콘(801)을 클릭하는 이벤트가 복합 입력 모드 선택 아이콘(801)을 선택하는 사용자 입력일 수 있다. 다른 예를 들면, 질의 입력 디바이스가 터치스크린을 구비한 핸드헬드(handheld) 디바이스인 경우, 터치스크린 상에 복합 입력 모드 선택 아이콘(801)이 표시된 위치에 대한 신체의 일부 또는 전자펜(예를 들어, 스타일러스) 등의 접촉이 복합 입력 모드 선택 아이콘(801)을 선택하는 사용자 입력일 수 있다.

또한, 질의 입력 디바이스는 단일 질의 유형 목록(820)을 표시할 수 있다. 단일 질의 유형 목록(820)은 복수의 객체를 포함할 수 있다. 단일 질의 유형 목록(820)에 포함된 하나의 객체는 하나의 질의 유형에 대응될 수 있다. 도 8에서 단일 질의 유형 목록(820)에 포함된 객체가 단순 버튼 형태로 도시되었으나, 각 객체들은 실시 예에 따라서 아이콘이나 위젯과 같은 다른 형태로 다양하게 변환될 수 있다.

질의 입력 디바이스는 단일 질의 유형 목록(820)에 기초하여 복합 질의 입력 창(810)을 통해서 수신될 질의가 포함하는 질의 유형들을 결정할 수 있다. 도 9을 참조하면, 사용자(1)는 단일 질의 유형 목록(820)에 포함된 객체들 중 어느 하나를 단일 질의 입력 창(810)이 표시된 영역에 드래그 앤 드롭(drag and drop)하는 입력을 이용하여 질의 입력 창(810)에 포함되는 질의 유형을 결정할 수 있다. “드래그 앤 드롭”은 GUI(Graphic User Interface)에서 마우스 클릭이나 터치 입력을 이용하여 한 객체를 선택한 후, 위치를 이동 한 후 마우스 클릭이나 터치 입력을 종료하는 입력 방식을 의미한다. 예를 들어, 도 9에 도시된 바와 같이 텍스트에 상응하는 객체(821)에 대하여 질의 입력 창(810) 내의 제 1 질의 요소 입력 영역(811)에 드래그 앤 드롭 이벤트가 수신되면, 도 10에 도시된 바와 같이 제 1 질의 요소 입력 영역(811)에 텍스트를 입력하기 위한 텍스트 입력 창이 표시될 수 있다. 텍스트 입력 창은 입력된 텍스트가 표시되는 텍스트 상자를 포함할 수 있다. 또한, 도 10을 참조하면, 이미지에 상응하는 객체(822)에 대하여 제 2 질의 요소 입력 영역(812)에 드래그 앤 드롭 이벤트가 수신되면, 도 11에 도시된 바와 같이 제 2 질의 요소 입력 영역(812) 내에 질의 유형이 이미지인 질의 요소를 입력하기 위한 사용자 인터페이스가 표시될 수 있다. 여기서, 드래그 앤 드롭은 다른 입력 방식으로 다양하게 대체될 수 있다. 예를 들어, 일부 실시 예에 따르면, 사용자(1)는 복합 질의 모드 선택 아이콘(801)을 선택하는 것과 같은 입력을 이용하여 질의 유형을 결정할 수 있다. 또한, 제 1 질의 요소 입력 영역(811) 또는 제 2 질의 요소 입력 영역(812)의 위치 또는 영역은 제 1 질의 요소 입력 영역(811) 또는 제 2 질의 요소 입력 영역(812) 내에 표시될 질의 유형(즉, 질의 유형의 질의 입력에 상응하는 디스플레이 아이템)에 따라서 변경될 수 있다. 또는, 질의 입력 창(810) 내에 표시되는 질의 요소는 질의 요소 입력 영역의 면적에 따라서 크기 등이 변경될 수 있다. 예를 들어, 텍스트 입력 창 내에 입력된 텍스트의 양이 많아짐에 따라서 입력된 텍스트가 텍스트 입력 창 내에 표시되지 어려운 경우, 텍스트 입력 창 내에 표시되는 텍스트의 폰트 사이즈가 줄어들 수 있다.

또한, 도 8 내지 도 11에서는 질의 입력 창(810)이 적어도 두 개의 질의 유형(즉, 적어도 두 질의 유형의 질의 입력들)을 가지는 질의를 수신하는 경우를 도시하고 있다. 질의 입력 창(810)을 통해서 수신되는 질의가 포함하는 질의 유형의 수는 증가 또는 감소될 수 있다. 사용자(1)는 단일 질의 목록(820)에 포함된 객체들 중 적어도 하나를 선택할 수 있다. 예를 들어, 마우스 및 마우스 커서를 이용하여 단일 질의 목록(820)에 포함된 객체들 중 어느 하나를 클릭할 수 있다. 또는 터치스크린 상에 표시된 객체들 중 어느 하나를 터치할 수 있다. 다만, 이에 한정되지 아니한다.

도 12를 참조하면, 음향(sound)에 상응하는 객체(823)가 사용자(1)로부터 수신된 입력에 의해 선택될 수 있다. 단일 질의 목록(820)에 포함된 객체들 중 적어도 하나가 선택되면, 질의 입력 디바이스는 질의 입력 창(810) 내에 제 3 질의 요소 입력 영역(813)을 추가할 수 있다. 질의 입력 디바이스는 질의 입력 창(810)의 면적을 변화시키지 않고 질의 입력 창(810) 내에 제 3 질의 요소 입력 영역(813)(즉, 제 3 영역)을 추가할 수 있다. 예를 들어 도 13을 참조하면, 질의 입력 디바이스는 제 2 질의 요소 입력 영역(812) 중 일부에 제 3 질의 요소 입력 영역(813)을 표시할 수 있다. 다만, 이에 한정되지 아니한다. 예를 들어, 다른 일부 실시 예에 따르면, 질의 입력 디바이스는 제 3 질의 요소 입력 영역(813)이 디스플레이되기 이전에 비해 질의 입력 창(810)이 확장된 추가적인 영역 내에 제 3 질의 요소 입력 영역(813)을 디스플레이할 수 있다. 도 12에 도시된 바와 같이 음향에 상응하는 객체(823)가 선택된 경우, 도 13에 도시된 바와 같이 제 3 질의 요소 입력 영역(813)에 질의 유형이 음향인 질의 요소를 입력하기 위한 사용자 인터페이스가 표시될 수 있다.

또한, 질의 입력 창(810) 내에 포함된 각 질의 요소 입력 영역의 면적은 변경될 수 있다. 예를 들어, 도 14의 제 1 질의 요소 입력 영역(811) 내에 입력된 텍스트가 제 1 질의 요소 입력 영역(811) 내에 전부 표시되기 어려운 경우, 제 1 질의 요소 입력 영역(811)의 면적이 증가될 수 있다. 다른 예를 들면, 도 14에 도시된 바와 같이 사용자 입력에 기초하여 질의 요소 입력 영역들 사이의 경계선(840)이 이동될 수 있다. 여기서, 사용자 입력은 경계선(840)을 드래그하는 입력일 수 있으나, 이에 한정되지 아니한다.

또한, 질의 요소 입력 영역 내에 표시된 사용자 인터페이스는 다른 질의 유형에 속하는 질의 요소를 입력하기 위한 사용자 인터페이스로 변경될 수 있다. 도 15를 참조하면, 단일 질의 유형 목록(820)에 포함된 객체 중 필기 정보에 상응하는 객체(824) 및 제 2 입력 영역(812)을 선택하는 사용자 입력으로서 사용자(1)에 의해 발생된 이벤트를 수신할 수 있다. 여기서, 사용자 입력은 단일 질의 유형 목록(820)에 표시된 객체(824)에서 시작되어 제 2 입력 영역(812) 내에서 종료되는 드래그 앤 드롭 이벤트일 수 있으나, 이에 한정되지 아니한다. 이 경우, 도 16에 도시된 바와 같이 필기 정보를 입력하기 위한 필기 입력 창(814)이 도 15의 제 2 입력 영역(812) 내에 표시될 수 있다.

또한, 질의 입력 창(810)의 크기는 사용자 입력에 따라서 변화될 수 있다. 질의 입력 창(810)은 사용자 입력에 따라서 확대 또는 축소될 수 있다. 도 17에 도시된 바와 같이 사용자 입력이 수신되면 질의 입력 창(810)은 확대 또는 축소된 영역(850)에 표시될 수 있다. 여기서 사용자 입력은 질의 입력 창(810)의 가장자리를 드래그하는 입력일 수 있으나, 이에 한정되지 아니한다.

또한, 질의 입력 창(810)이 표시되는 위치는 사용자 입력에 따라 이동될 수 있다. 도 18에 도시된 바와 같이 사용자 입력이 수신되면 질의 입력 창(810)은 이동된 영역(860)에 표시될 수 있다. 여기서 사용자 입력은 질의 입력 창(810) 내의 한 위치를 드래그하는 입력일 수 있으나, 이에 한정되지 아니한다.

도 19 및 도 20은 다른 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다. 도 19는 단일 검색 모드에 기초하여 검색을 수행한 결과로 표시되는 화면을 도시한 예시도이다. 질의 입력 창은 제 1 질의 유형에 속하는 질의 요소를 입력하기 위한 제 1 질의 요소 입력 영역(1910)을 포함할 수 있다. 제 1 질의 요소 입력 영역(1910)를 통해 질의 요소가 수신된 후, 검색 버튼(1930)이 선택되면, 입력된 질의 요소를 포함하는 질의에 기초하여 검색이 수행될 수 있다. 여기서 검색은 질의 입력 디바이스에 포함된 검색 엔진을 이용하여 수행될 수 있다. 또는, 검색 엔진을 포함하는 검색 엔진 서버로 질의를 전송하고, 질의에 대한 응답을 수신함으로써 검색이 수행될 수 있다.

검색을 수행한 결과로서 결과 표시 영역(1920) 내에 검색 결과들이 표시될 수 있다. 도 19를 참조하면, 결과 표시 영역(1920) 내에 제 1 검색 결과(1921) 및 제 2 검색 결과(1922)가 표시될 수 있다.

이후, 사용자 입력에 기초하여 표시된 검색 결과들 중 적어도 하나가 선택되면, 질의 유형 목록(1940)이 표시될 수 있다. 도 19를 참조하면, 제 2 검색 결과(1922)가 선택된 경우, 제 2 검색 결과(1922) 주변에 질의 유형 목록(1940)이 표시될 수 있다. 도 19에서 질의 유형 목록(1940)은 버튼으로 구성된 객체들의 집합으로 도시되었으나, 각 객체들은 다른 형태-예를 들어, 아이콘이나 위젯-로 다양하게 대체될 수 있다.

도 19의 질의 유형 목록(1940) 중 어느 하나가 선택되면, 질의 입력 디바이스는 검색 모드를 단일 검색 모드에서 복합 검색 모드로 전환할 수 있다. 여기서, 제 2 질의 유형에 속하는 질의 요소를 입력하기 위한 제 2 질의 요소 입력 영역(1915)이 더 표시될 수 있다. 이후 검색 버튼(1930)이 선택되면, 제 1 질의 요소 입력 영역(1910)에 입력된 질의 요소와 제 2 질의 요소 입력 영역(1920)에 입력된 질의 요소에 기초한 복합 검색이 수행될 수 있다. 복합 검색을 수행한 결과로서 결과 표시 영역 내에 검색 결과들(1923 및 1924)이 표시될 수 있다. 이 경우, 복합 검색은 제 2 검색 결과(1922)에 기초하여 수행되고, 제 2 질의 요소 입력 영역(1920)에 질의 요소가 입력될 수 있으나, 이에 한정되지 아니한다. 예를 들어, 다른 일부 실시 예에 따르면, 복합 검색은 제 1 질의 요소 입력 영역(1910)에 입력된 원본 질의 요소 및 제 2 질의 요소 입력 영역(1920)에 입력된 질의 요소에 기초하여 수행될 수 있다.

도 21 및 도22는 일부 실시 예에 따라 질의 입력 창을 생성하는 방법을 도시한 예시도이다. 일부 실시 예에 따르면, 검색 모드 선택 객체(2100)에 기초하여 검색 모드가 선택된 후, 도 21에 도시된 바와 같이 사용자(1)에 의해 입력된 사용자 입력에 기초하여 임의의 영역(2110)이 선택될 수 있다. 여기서 사용자 입력은 임의의 위치에 대한 드래그일 수 있으나, 이에 한정되지 아니한다. 임의의 영역(2110)에 선택되면, 도 22에 도시된 바와 같이 임의의 영역 내에 선택된 검색 모드에 따라 질의 입력 창을 표시할 수 있다. 여기서, 선택된 검색 모드가 단일 검색 모드인 경우 질의 입력 창은 단일 질의 입력 창일 수 있고, 선택된 검색 모드가 복합 검색 모드인 경우 질의 입력 창은 질의 입력 창일 수 있다. 또한, 질의 유형 목록(2220) 및 검색 버튼(2230)이 더 표시될 수 있다.

도 23은 일부 실시 예에 따라 질의 입력 창을 생성하는 방법을 도시한 예시도이다. 도 23에 도시된 실시 예는 바람직하게는 질의 입력 디바이스가 복수의 지점에 대한 입력을 동시에 수신할 수 있는 입력 수단을 구비한다. 예를 들어, 질의 입력 디바이스는 터치스크린을 구비할 수 있다. 단일 질의 유형 목록(2320)이 표시된 상태에서 단일 질의 목록에 포함된 복수의 객체가 선택될 수 있다. 도 23을 참조하면, 질의 유형이 텍스트인 객체(2321) 및 질의 유형이 이미지인 객체(2322)가 선택될 수 있다. 예를 들어, 터치스크린에 표시된 객체(2321) 및 객체(2322)에 사용자가 두 손가락을 각각 접촉시킬 수 있다. 복수의 객체가 선택된 상태에서 각 객체를 선택한 위치가 한 지점으로 이동되면, 복수의 객체에 상응하는 복수의 질의 유형에 속하는 질의 요소들을 수신하기 위한 질의 입력 창(2310)이 표시될 수 있다. 예를 들어 도 23을 참조하면, 터치스크린에 표시된 객체(2321) 및 객체(2322)에 접촉된 두 손가락이 터치스크린에 접촉된 상태로 한 지점(2340)으로 두 손가락을 이동시킨 후 두 손가락이 터치스크린으로부터 분리되는 입력이 수신될 수 있다. 즉, 복수의 객체를 동시에 한 지점(2340)으로 드래그 앤 드롭하는 입력이 수신될 수 있다. 텍스트를 입력 할 수 있는 텍스트 입력 창(2311) 및 이미지를 업로드할 수 있는 이미지 업로드 창(2312)을 포함하는 질의 입력 창(2310)이 표시될 수 있다. 여기서, 한 지점(2340)은 완전히 동일한 지점을 의미하는 것은 아다. 임의의 거리(예를 들어, 미리 결정된 거리) 이내에 두 지점이 위치하는 경우, 한 지점에 위치하는 것으로 판단될 수 있다.

도 24는 또 다른 일부 실시 예에 따른 복합 질의 유형 목록을 도시한 예시도이다. 일부 실시 예에 따르면, 질의 입력 디바이스는 검색 모드가 단일 검색 모드인 경우 단일 질의 유형 목록을 표시하고, 검색 모드가 복합 검색 모드인 경우 복합 질의 유형 목록을 표시할 수 있다. 복합 질의 유형 목록에 포함된 객체는 객체 하나가 복수의 질의 유형이 결합된 것을 나타낼 수 있다. 도 24를 참조하면, 검색 모드 선택 객체(2400)를 이용하여 검색 모드가 복합 검색 모드로 설정된 경우, 2개 이상의 질의 유형이 결합된 복합 유형의 목록을 나타내는 복합 질의 유형 목록(2410)이 표시될 수 있다.

도 25a 내지 도 25e는 또 다른 일부 실시 예에 따라 복합 검색을 위한 질의를 수신하는 방법을 도시한 예시도이다.

일부 실시 예에 따르면, 검색 결과의 일 부분을 이용하여 복합 검색을 위한 질의를 수신할 수 있다. 도 25a를 참조하면, 질의 입력 디바이스(2500)는 질의 입력 창(2510)에 입력된 질의에 기초하여 검색된 검색 결과로서 이미지(2520)를 표시할 수 있다.

도 25b를 참조하면, 이미지(2520) 중에서 일부 영역(2501)이 선택될 수 있다. 일부 영역(2501)은 사용자 입력에 기초하여 수동으로 선택되거나, 검색 결과에 대한 분석-예를 들어, 영상 인식-을 이용하여 자동으로 선택될 수 있다. 예를 들어, 사용자(1)가 마우스 커서를 드래그하거나 터치 입력을 이용하여 폐곡선을 그리면, 질의 입력 디바이스(2500)는 폐곡선 내부를 이미지(2520) 내에서 선택된 일부 영역(2501)으로 결정할 수 있다.

검색 결과 내에서 일부 영역(2501)이 선택되면, 질의 유형 목록이 표시될 수 있다. 일부 실시 예에 따른 도 25c를 참조하면, 질의 유형 목록은 선택된 일부 영역(2501)의 주변에 플로팅 아이콘(Floating Icon)이나 플로팅 위젯(Floating Widget)의 형태로 표시될 수 있다. 플로팅 아이콘 내지 플로팅 위젯은 컨텐트 상에 표시되며, 위치가 이동될 수 있는 객체이다.

표시된 질의 유형 목록(2520)에 대하여, 사용자(1)로부터 질의 유형을 선택하는 사용자 입력이 수신될 수 있다. 질의 유형이 선택되면, 표시된 질의 유형에 상응하는 질의 입력 창(2510)이 표시될 수 있다. 예를 들어, 도 25c에 도시된 이미지(2520) 내에 표시된 가방을 포함하는 일부 영역(2501)이 선택될 수 있다. 이후, 표시된 플로팅 아이콘들(2521) 중에서 질의 유형 중 음성 검색에 상응하는 아이콘(2511)이 선택되면, 질의 유형이 음성인 질의 요소를 입력하기 위한 질의 입력 창(2510)이 표시될 수 있다.

일부 실시 예에 따르면, 질의 유형이 음성인 질의 요소를 입력하기 위한 질의 입력 창(2510)은 음성 녹음 아이콘을 포함할 수 있다. 사용자(1)가 음성 녹음 아이콘을 선택하면, 질의 입력 디바이스(2500)는 마이크를 구동하고 음성 정보를 획득하기 위한 애플리케이션을 실행할 수 있다. 도 25d를 참조하면, 음성 정보를 획득하기 위한 애플리케이션이 실행된 상태에서, 사용자(1) 질의 입력 디바이스에 음성을 입력할 수 있다.

질의 입력 창(2510)을 통해서 질의 요소가 입력되면, 질의 입력 디바이스(2500)는 선택된 검색 결과 중의 일부(예를 들어, 이미지(2520)로부터 선택된 일부 영역(2501))와 질의 입력 창(2510)을 통해서 입력된 정보를 질의 요소로 수신할 수 있다. 도 25e를 참조하면, 검색 결과 이미지 중 가방이 표시된 이미지가 표시된 이미지 입력 영역(2511-1) 및 입력된 음성 정보의 파형, 소정의 파형, 및 음성 정보로부터 변환된 텍스트 중 적어도 하나가 표시된 음성 입력 영역(2512-1)을 포함하는 질의 입력 창(2510-1)을 질의에 상응하는 디스플레이 아이템들로서 표시할 수 있다. 여기서, 입력된 음성 정보는 음성 정보의 소정의 부분(예를 들어, 음성 정보의 시작 부분), 음성 정보의 소정의 길이, 음성 정보의 미리 정의된 특징 중 적어도 하나에 상응하는 파형일 수 있다. 도 25d에 표시된 바와 같이 “price”라는 음성 정보가 입력된 경우, 질의 입력 디바이스(2500)는 “가방”이 포함된 이미지와 “price”라는 음성을 포함하는 질의에 기초하여 복합 검색을 수행할 수 있다. 도 25e에 도시된 바와 같이 질의 입력 디바이스(2500)는 복합 검색을 수행한 결과로서 이미지에 포함된 가방의 가격에 대한 정보를 검색 결과 표시 영역(2520-1)에 표시할 수 있다.

도 26은 일부 실시 예에 따라 단일 검색 모드에서 질의 입력 창을 표시하는 프로세스를 도시한 순서도이다. 또한, 도 27 및 도 28은 일부 실시 예에 따라 단일 검색 모드에서 질의 입력 창을 표시하는 방법을 도시한 예시도이다. 일부 실시 예에 따르면, 질의를 입력하기 전에 질의 유형을 먼저 선택하지 않은 상태에서 질의 요소를 입력할 수도 있다.

먼저, 질의 입력 디바이스는 질의 입력 창을 통해서 질의 요소를 수신할 수 있다(S2610). 질의 요소를 수신하는 방법은 다양하게 구현될 수 있다. 도 27을 참조하면, 질의 입력 디바이스는 설정되어 있는 검색 모드를 나타내는 지시자(2701), 질의 입력 창(2710) 및 검색 버튼(2720)을 표시할 수 있다. 도 27에 도시된 질의 입력 창(2710)은 질의 유형이 텍스트인 질의 요소를 입력하기 위한 사용자 인터페이스(2711)를 포함하고 있다. 여기서, 질의 입력 디바이스는 질의 요소를 수신하기 위하여 파일 탐색 창(2740)에 포함된 파일 아이콘(2730)을 질의 입력 창(2710)으로 드래그 앤 드롭하는 입력을 사용자(1)로부터 입력 받을 수 있다. 파일 탐색 창(2740)은 도 27에 도시된 형태에 한정되지 아니한다. 본 발명의 실시 예는 드래그 앤 드롭 입력 방식에 한정되지 아니한다. 예를 들어, 파일은 클릭 동작(예를 들어, 더블 클릭) 도 27에 도시된 파일 탐색 창(2740)은 질의 입력 디바이스의 화면을 분할하여 표시되거나, 질의 입력 디바이스의 화면이 파일 탐색 화면으로 전환됨으로써 표시될 수 있다.

이후, 질의 입력 디바이스는 수신된 질의 요소의 질의 유형을 검출할 수 있다(S2620). 질의 유형을 검출하는 방법은 실시 예에 따라서 다양하게 구현될 수 있다. 예를 들어, 수신된 질의 요소가 파일인 경우, 파일의 확장자에 따라서 질의 요소의 질의 유형을 검출할 수 있다. 예를 들어, 질의 입력 디바이스는 파일의 확장자가 jpg, gif, 또는 bmp 등인 경우, 질의 요소의 질의 유형이 이미지인 것으로 판단하고, 파일의 확장자가 avi, mp4, 또는 wmv 등인 경우, 질의 요소의 질의 유형이 동영상인 것으로 판단할 수 있다. 또는 질의 요소를 수신하기 위하여 이용된 애플리케이션이 존재하는 경우, 이용된 애플리케이션의 종류에 따라서 질의 요소의 질의 유형을 검출할 수 있다. 예를 들어, 질의 입력 디바이스는 카메라 애플리케이션을 이용하여 획득된 정보를 질의 요소로서 수신한 경우, 질의 입력 디바이스는 이미지를 질의 요소의 질의 유형이 이미지인 것으로 판단하고, 음성 녹음 애플리케이션을 이용하여 질의 요소를 수신한 경우, 수신된 질의 요소의 질의 유형이 음성 정보인 것으로 판단할 수 있다.

이후, 질의 입력 디바이스는 검출된 질의 유형에 속하는 질의 요소를 수신하기 위한 사용자 인터페이스를 포함하도록 질의 입력 창을 변경할 수 있다(S2630). 또한 수신된 질의 요소에 상응하는 디스플레이 아이템이 디스플레이 될 수 있다. 도 28을 참조하면, 도 27에서와 같이 이미지 파일이 수신된 경우 질의 입력 디바이스는 텍스트를 입력하는 사용자 인터페이스(2711)인 텍스트 입력 상자로 구성된 질의 입력 창(2710)을 이미지(2712)를 입력하는 이미지 업로드 도구로 구성된 질의 입력 창(2710)으로 변경할 수 있다.

도 29는 일부 실시 예에 따라 복합 검색 모드에서 질의를 수신하는 프로세스를 도시한 순서도이다. 또한, 도 31 및 도 32는 일부 실시 예에 따라 복합 검색 모드에서 질의를 수신하는 방법을 도시한 예시도이다. 일부 실시 예에 따르면, 질의를 입력하기 전에 질의 유형을 먼저 선택하지 않고 질의 요소를 입력할 수도 있다.

먼저, 질의 입력 디바이스는 질의 입력 창을 통해서 질의 요소를 수신할 수 있다(S2910). 질의 요소를 수신하는 방법은 다양하게 구현될 수 있다. 도 30을 참조하면, 질의 입력 디바이스는 설정되어 있는 검색 모드를 나타내는 지시자(2702), 질의 입력 창(2710) 및 검색 버튼(2720)을 표시할 수 있다. 도 30에는 질의 유형이 텍스트인 질의 요소를 입력하기 위한 사용자 인터페이스(2711)를 포함한 질의 입력 창(2710)이 도시되어 있다. 여기서, 질의 입력 디바이스는 질의 요소를 수신하기 위하여 파일 탐색 창(2740)에 포함된 파일 아이콘(2730)을 질의 입력 창(2710)으로 드래그 앤 드롭하는 입력을 사용자(1)로부터 입력 받을 수 있다. 다만, 입력 방식은 드래그 앤 드롭 입력 방식에 한정되지 아니한다. 예를 들어, 파일은 클릭 동작(예를 들어, 더블 클릭)에 의해 선택될 수도 있다. 파일 탐색 창(2740)은 도 30에 도시된 형태에 한정되지 아니한다. 도 30에 도시된 파일 탐색 창(2740)은 질의 입력 디바이스의 화면을 분할하여 표시되거나, 질의 입력 디바이스의 화면이 파일 탐색 화면으로 전환됨으로써 표시될 수 있다.

이후, 질의 입력 디바이스는 수신된 질의 요소의 질의 유형을 검출할 수 있다(S2920). 질의 유형을 검출하는 방법은 실시 예에 따라서 다양하게 구현될 수 있다. 예를 들어, 수신된 질의 요소가 파일인 경우, 파일의 확장자에 따라서 질의 요소의 질의 유형을 검출할 수 있다. 또는 질의 요소를 수신하기 위하여 이용된 애플리케이션이 존재하는 경우, 이용된 애플리케이션의 종류에 따라서 질의 요소의 질의 유형을 검출할 수 있다.

이후, 질의 입력 디바이스는 검출된 질의 유형에 따라 복합 검색에 이용될 질의 유형을 추가할 수 있다(S2930). 질의 입력 디바이스는 질의 유형이 추가됨에 따라서, 질의 입력 창 내에 추가된 질의 유형에 속하는 질의 요소를 수신하기 위한 영역을 추가할 수 있다. 도 31을 참조하면, 질의 유형이 추가됨에 따라서 질의 입력 창(2710)이 표시되는 영역이 확대될 수 있다. 또한, 질의 입력 창이 확대된 영역에는 이미지를 입력하기 위한 사용자 인터페이스(2712)가 표시될 수 있다. 추가된 영역에는 미리보기, 아이콘이나 파일명과 같은 수신된 질의 요소에 대한 정보(2750)가 표시될 수 있다.

일부 실시 예에 따르면, 질의 입력 창(2710)은 추가된 질의 유형에 상응하는 사용자 인터페이스(2712)를 포함하기 위하여 확장될 수 있다. 다만, 이에 한정되지 아니한다. 또한, 일부 실시 예에 따르면, 질의 입력 디바이스를 통해 표시되는 질의 입력 창(2710)의 형태는 변하지 않을 수도 있다. 또한, 질의 입력 창(2710) 내의 영역을 분할하지 않을 수 있다. 질의 입력 창(2710)을 통해 입력된 서로 다른 질의 유형에 속하는 질의 요소들이 질의 입력 창(2710) 내에 함께 표시될 수 있다.

또한, 다른 일부 실시 예에 따르면, 질의 입력 디바이스는 질의 입력 창을 디스플레이할 수 있다. 여기서 질의 입력 창은 검색 모드가 복합 입력 모드인 경우, 수신된 질의 요소를 디스플레이하는 영역과 질의 요소를 수신하기 위한 영역을 포함할 수 있다(즉, 이전에 수신된 질의 요소에 상응하는 디스플레이 아이템을 디스플레이할 수 있다). 일부 실시 예에 따르면, 질의 요소를 수신하기 위한 영역이 선택되면, 질의 입력 디바이스는 질의 요소를 수신하기 위한 기능을 실행할 수 있다. 예를 들어, 질의 유형이 음성 정보인 질의 요소를 수신하기 위하여, 질의 입력 디바이스는 마이크가 구동된 상태로 대기할 수 있다. 질의 입력 디바이스는 질의 입력 창의 질의 요소를 수신하기 위한 영역을 통해서 순차적으로 또는 동시에 복수의 질의 유형에 속하는 질의 요소를 수신할 수 있다(S2910). 예를 들어, 필기(sketch) 정보를 이용하여 사용자가 자전거를 그리면서 “붉은 색으로 검색”이라고 말하면, 질의 입력 디바이스는 사용자가 자전거를 그린 필기 정보와 붉은 색이라는 키워드를 포함하는 음성 정보를 질의 요소로서 수신할 수 있다.

이후, 질의 입력 디바이스는 수신된 질의 요소의 질의 유형을 검출할 수 있다(S2920). 예를 들어, 수신된 질의 요소가 파일인 경우, 파일의 확장자에 따라서 질의 요소의 질의 유형을 검출할 수 있다. 또는 질의 요소를 수신하기 위하여 이용된 애플리케이션이 존재하는 경우, 이용된 애플리케이션의 종류에 따라서 질의 요소의 질의 유형을 검출할 수 있다. 또 다른 예를 들면, 카메라를 이용하여 사진을 촬영한 경우, 질의 요소의 질의 유형이 이미지인 것을 검출할 수 있다. 또는 OCR(Optical Character Recognition)을 이용하여 사진에 포함된 문자가 인식된 경우, 텍스트를 질의 유형으로 검출할 수 있다. 수신된 질의 요소의 질의 유형이 검출되면, 질의 입력 디바이스는 수신된 질의 요소를 디스플레이하는 영역에 검출된 질의 유형에 따라서 수신된 질의 요소를 디스플레이할 수 있다(또는 디스플레이 아이템은 수신된 질의 요소에 상응할 수 있다). 예를 들어, 한 질의 요소로부터 검출된 질의 유형이 동영상인 경우 질의 입력 디바이스는 동영상의 미리보기를 질의 요소를 디스플레이하는 영역에 디스플레이하고, 다른 질의 요소로부터 검출된 질의 유형이 텍스트인 경우 키워드를 질의 요소를 디스플레이하는 영역에 디스플레이할 수 있다. 또는 질의 요소로부터 검출된 질의 유형이 음성 정보인 경우, 질의 입력 디바이스는 음성 정보에 포함된 음성 파형, 미리 결정된 파형에 상응하는 음성 파형 및 음성 정보로부터 변환된 텍스트 중 적어도 하나를 질의 요소를 디스플레이하는 영역에 디스플레이할 수 있다. 질의 입력 디바이스는 S2910 단계 및 S2920 단계를 반복적으로 수행함으로써, 복수의 질의 요소들을 수신하고, 사용자가 확인할 수 있도록 수신된 질의 요소들을 디스플레이할 수 있다.

S2920 단계에서 질의 유형이 검출되면, 질의 입력 디바이스는 질의에 이용될 질의 유형을 추가할 수 있다(S2930). 질의 입력 디바이스는 사용자로부터 검색 명령에 상응하는 입력을 받으면 추가된 질의 유형을 포함하는 질의를 생성할 수 있다. 질의 입력 디바이스는 수신된 질의 요소들과 검출된 질의 유형들을 포함하는 질의에 기초하여 검색을 수행할 수 있다. 질의 입력 디바이스는 검색을 수행한 결과로서 선택된 검색 결과를 표시할 수 있다.

질의 유형이 다른 경우 질의 요소를 수신하는 방법이 달라질 수 있다. 또한, 하나의 질의 유형에서도 질의 요소를 수신하는 여러 가지 방법이 존재할 수 있다. 그러므로, 질의 유형에 따라서 질의 요소를 입력하기 위해 사용자에게 제공되는 사용자 인터페이스도 달라질 필요가 있다. 도 33은 일부 실시 예에 따라 질의를 수신하는 프로세스를 도시한 순서도이다.

도 33을 참조하면, 먼저 질의 입력 디바이스는 질의 입력 창 내에 질의 입력 도구를 표시할 수 있다(S3310). 여기서 질의 입력 도구는 질의 요소를 입력하기 위하여 사용자에게 제공되는 사용자 인터페이스를 나타낸다. S3310 단계에서, 질의 입력 디바이스는 질의 입력 창을 통해 입력 받는 질의에 포함된 질의 유형에 따라서 질의 입력 도구를 표시할 수 있다. 질의 유형에 따라 표시되는 질의 입력 도구의 예는 도 34 내지 도 40에서 보다 상세히 설명된다.

이후, 질의 입력 디바이스는 질의 입력 창 내에 표시된 질의 입력 도구 중 적어도 하나를 선택할 수 있다(S3320). S3320 단계에서, 질의 입력 디바이스는 사용자 입력을 수신하고, 수신된 사용자 입력에 따라서 질의 입력 도구를 선택할 수 있다. 사용자 입력은 실시 예에 따라서 다양하게 변화될 수 있다. 예를 들어, 터치스크린을 통하여 표시된 질의 입력 도구에 신체를 접촉하거나, 마우스 커서를 이용하여 표시된 질의 입력 도구를 클릭하는 동작에 따라서 질의 입력 도구를 선택할 수 있다.

이후, 질의 입력 디바이스는 선택된 질의 입력 도구에 따라 질의 요소를 수신하기 위한 애플리케이션을 실행할 필요가 있는지 여부를 판단할 수 있다(S3330). 예를 들어, 선택된 질의 입력 도구가 텍스트 상자인 경우, 별도의 애플리케이션을 실행할 필요 없이 텍스트 상자를 통해 직접 질의 요소를 입력 받을 수 있는 것으로 판단할 수 있다. 즉, 별도의 애플리케이션을 실행할 필요가 없는 경우, 질의 입력 창을 통해서 질의 요소를 수신할 수 있다(S3340).

질의 요소를 수신하기 위한 별도의 애플리케이션을 실행해야 하는 경우, 질의 입력 디바이스는 질의 입력 도구에 대응되는 애플리케이션을 실행할 수 있다(S3335). 질의 입력 도구에 대응되는 애플리케이션은 미리 정해져 있을 수도 있으며, 애플리케이션 목록 중에서 사용자가 선택할 수도 있다. 이후, 질의 입력 디바이스는 실행된 애플리케이션을 이용하여 질의 요소를 수신할 수 있다(S3345).

도 34 내지 도 40은 질의에 포함된 질의 유형에 따라서 질의 입력 창에 표시되는 질의 입력 도구와 질의 입력 도구를 이용하여 질의 요소를 수신하는 방법을 도시한 예시도이다. 도 34 내지 도 40은 실시 예를 설명하기 위한 예시일 뿐이며, 도 34 내지 도 40에 도시된 구성에 의하여 권리범위가 한정되지 아니한다.

도 34는 일부 실시 예에 따라 질의 유형이 텍스트인 질의 요소를 수신하는 방법을 도시한 예시도이다.

질의에 텍스트 모드가 포함된 경우, 질의 입력 창은 도 34에 도시된 바와 같은 텍스트 상자(3410)를 포함할 수 있다. 텍스트 상자(3410)가 선택되면, 텍스트 상자 내에 텍스트가 입력될 위치를 나타내는 커서(3411)가 표시될 수 있다. 텍스트는 키보드, 키패드, 또는 필기 텍스트를 수신하는 필기 패드 등을 통해서 입력될 수 있다. 또한, 질의 입력 디바이스는 키보드로부터 입력 받거나 클립보드로부터 복사된 텍스트 등을 텍스트 상자를 통해 입력할 수 있다. 일반적으로 질의 요소로서 입력된 텍스트로부터 추출된 키워드가 검색에 이용될 수 있다.

다른 일부 실시 예에 따르면, 질의 입력 디바이스는 영상(예를 들어, 카메라를 구동하여 획득된 영상)으로부터 OCR(Optical Character Recognition) 기능을 이용하여 텍스트를 획득할 수도 있다. 또한, 텍스트 입력을 수신하기 위한 질의 입력 도구로서 커서(3411)를 포함하는 텍스트 상자(3410)가 언급되었으나, 이에 한정되지 아니한다. 예를 들어, 다른 일부 실시 예에 따르면, 텍스트 입력을 수신하기 위한 질의 입력 도구는 질의에 포함되는 필기 텍스트를 수신하는 필기 패드를 포함할 수 있다. 또한, 예를 들어, 질의 입력 도구는 OCR 동작을 통해서 질의를 변환할 수도 있다.

도 35 내지 도 38은 일부 실시 예에 따라 질의 유형이 이미지인 질의 요소를 수신하는 방법을 도시한 예시도이다. 도 35 내지 도 38의 질의 입력 디바이스(3500)는 카메라를 구비한 핸드헬드 디바이스인 것으로 설명한다.

질의 입력 창을 통해 수신되는 질의가 이미지를 포함하는 경우, 질의 입력 디바이스(3500)는 이미지를 수신하기 위한 도구들을 포함하는 질의 입력 창(3510)을 표시할 수 있다. 이미지를 수신하기 위한 도구들은 이미지 업로드 아이콘(3511), 사진 촬영 아이콘(3512) 및 이미지 주소 입력 상자(3513) 등이 포함될 수 있다.

사용자(1)가 이미지 업로드 아이콘(3511)을 선택하는 경우, 질의 입력 디바이스(3500)는 이미지 파일을 선택하기 위한 애플리케이션을 실행할 수 있다. 도 37을 참조하면, 질의 입력 디바이스는 이미지 파일들의 미리보기 목록 등을 표시하는 갤러리 애플리케이션을 실행할 수 있다. 사용자(1)가 갤러리 애플리케이션을 이용하여 표시된 목록 중에서 적어도 하나의 이미지(3520)를 선택하면, 질의 입력 디바이스(3500)는 선택된 이미지(3520)를 질의 요소로 입력할 수 있다.

도 37을 참조하면, 갤러리 애플리케이션을 이용하여 이미지(3520)가 선택되면, 질의 입력 디바이스(3500)는 갤러리 애플리케이션을 종료하고 질의 입력 창(3510) 내에 선택된 이미지(3520)를 표시할 수 있다. 또는, 다른 실시 예에 따르면 질의 입력 디바이스(3500)는 질의 입력 디바이스의 디스플레이의 영역을 분할할 수 있다. 질의 입력 디바이스(3500)는 분할된 영역 중 어느 하나에 갤러리 애플리케이션의 실행 화면을 표시함으로써 사용자(1)가 이미지를 선택하도록 할 수도 있다.

사용자(1)가 사진 촬영 아이콘(3512)을 선택하는 경우, 도 38에 도시된 바와 같이 질의 입력 디바이스(3500)는 사진을 촬영하기 위해 카메라를 구동시키는 애플리케이션(3530)을 실행할 수 있다. 질의 입력 디바이스는 카메라를 이용하여 이미지가 생성되면, 생성된 이미지를 질의 요소로 입력하고, 도 37에 도시된 바와 같이 질의 입력 창(3510) 내에 표시할 수 있다.

또는, 다른 실시 예에 따르면 사용자(1)는 이미지 주소 입력 상자(3513)를 이용하여 이미지가 위치한 주소를 입력할 수 있다. 이미지 주소는 URL(Uniform Resource Locator) 주소와 같이 이미지의 위치를 나타내는 주소일 수 있으나, 이에 한정되지 아니한다.

도 37은 질의 요소로 수신된 이미지가 질의 입력 창(3510) 내에 표시되는 것으로 도시하였으나, 질의 요소로서 수신된 이미지가 표시되는 위치는 임의의 다른 위치로 대체될 수도 있다.

또한, 질의 요소의 질의 유형이 동영상인 질의를 수신하는 방법은 이미지를 질의 요소로 수신하는 방법과 유사하게 적용될 수 있다.

질의 요소로서 이미지 또는 동영상이 수신된 경우, 이미지 또는 동영상에 영상인식 또는 OCR 기능을 이용하여 키워드가 획득될 수 있다. 획득된 키워드를 이용하여 검색이 수행될 수 있다. 또는 영상 자체를 인덱스와 비교함으로써 유사한 영상을 검색할 수도 있다.

도 39는 일부 실시 예에 따라 질의 유형이 필기(sketch) 정보인 질의 요소를 수신하는 방법을 도시한 예시도이다.

질의에 포함된 질의 유형이 필기(sketch) 정보인 경우, 질의 입력 창(3910)은 필기 정보를 입력하기 위한 필기 입력 도구(3911)를 포함할 수 있다. 일부 실시 예에 따른 필기 입력 도구(3911)는 펜 모드, 붓 모드, 만년필 모드, 선의 색상이나 굵기 등을 선택하기 위한 아이콘을 포함할 수 있다. 사용자(1)는 필기 입력 도구(3911)를 이용하여 필기 입력 모드를 설정한 후, 질의 유형이 필기 정보인 질의 요소를 수신하기 위한 영역 내에 터치 입력, 마우스 입력, 트랙 패드 입력, 또는 제스처 입력 등을 이용하여 필기 정보를 입력할 수 있다.

필기 정보가 수신되면, 질의 입력 창(3910) 내에 수신된 필기 정보가 표시될 수 있다. 수신된 필기 정보는 키워드로 변환되고, 필기 정보로부터 획득된 키워드가 검색에 이용될 수 있다. 또는 필기 정보의 형태 자체를 이용하여 검색이 수행될 수도 있다.

도 40은 일부 실시 예에 따라 질의 유형이 음향 정보인 질의 요소를 수신하는 방법을 도시한 예시도이다.

질의에 포함된 질의 유형이 음향 정보인 경우, 질의 입력 디바이스는 음향 정보를 수신하기 위한 도구를 포함하는 질의 입력 창(4010)을 표시할 수 있다. 음향 정보를 수신하기 위한 도구는, 예를 들어, 음향 파일 업로드 버튼(4011) 또는 음향 녹음 아이콘(4012) 등이 포함될 수 있다.

음향 파일 업로드 버튼(4011)이 선택된 경우, 질의 입력 디바이스는 음향 파일(즉, 오디오 파일)을 선택하기 위한 파일 선택 창(4021)을 표시할 수 있다. 사용자는 파일 선택 창(4021)을 이용하여 질의 요소로 입력할 음성 파일을 선택할 수 있다.

또는, 음향 녹음 아이콘(4012)이 선택된 경우, 질의 입력 디바이스는 질의 입력 디바이스에 구비된 마이크를 구동하고 음향을 녹음하는 애플리케이션(4022)을 실행할 수 있다. 질의 입력 디바이스는 실행된 애플리케이션(4022)을 이용하여 획득된 음성 정보를 질의 요소로 수신할 수 있다.

일부 실시 예에 따른 질의 입력 디바이스는 음성 정보가 입력되면, 질의 입력 창(4010)내에 입력된 음성 정보의 파형, 음성 스펙트럼 또는 파일명 등을 표시할 수 있다.

질의 요소로서 수신된 음성 정보는 음성의 파형 자체를 인덱스와 비교하여 음악 검색 등에 이용되거나, 음성인식을 이용하여 변환된 키워드가 검색에 이용될 수 있다.

도 41은 일부 실시 예에 따라 복수의 질의 유형을 포함하는 질의를 수신하고, 검색 결과를 표시하는 방법을 도시한 예시도이다.

질의에 포함된 질의 유형이 텍스트 및 이미지를 포함하는 경우, 질의 입력 디바이스(4100)에 표시되는 질의 입력 창은 텍스트를 입력하기 위한 영역(4111) 및 이미지를 입력하기 위한 영역(4112)을 포함할 수 있다. 도 41의 (a)에 도시된 바와 같이, “Flower”라는 텍스트와 개의 형상이 포함된 이미지가 질의 요소들로서 수신된 경우, 영역(4111)에 제 1 디스플레이 아이템으로서 “Flower”라는 텍스트를 표시하고, 영역(4112)에 제 2 디스플레이 아이템으로서 수신된 이미지를 표시할 수 있다.

여기서, 사용자는 제 1 영역(4111)이 텍스트의 입력을 수신하기 위한 대기 상태가 되도록 하기 위하여 제 1 영역(4111)을 선택하고, 제 2 영역(4112)이 이미지의 입력을 수신하기 위한 대기 상태가 되도록 하기 위해 제 2 영역(4112)을 선택할 수 있다. 다만, 이에 한정되지 아니한다. 예를 들어, 다른 일부 실시 예에 따르면, 사용자가 제 1 영역 내에 제 1 질의 요소(예를 들어, 텍스트)를 입력한 이후 또는 입력에 대한 응답으로, 제 2 영역(4112)은 자동적으로 제 2 질의 요소(예를 들어, 이미지)의 입력을 수신하기 위한 대기 상태에 들어갈 수 있다. 이에 관해서, 질의 입력 디바이스(4100)의 제어부는 자동적으로 제 1 영역(4111)이 제 1 질의 요소를 수신할 수 있는 제 1 대기 상태(즉, 제 1 상태)로부터 제 2 영역(4112)이 제 2 질의 요소를 수신할 수 있는 제 2 대기 상태(즉, 제 2 상태)로 전환되도록 결정할 수 있다. 예를 들어, 제 2 질의 요소가 음향 또는 음성 정보 질의 유형에 상응하면, 제어부는 자동적으로 제 2 질의 요소를 수신하기 위해 마이크가 자동적으로 활성화 또는 동작하는 제 2 대기 상태로 전환되도록 질의 입력 디바이스(4100)를 제어할 수 있다. 또한, 제 2 질의 요소가 이미지 질의 유형에 상응하면, 제어부는 제 2 질의 요소를 수신하기 위해 카메라가 자동적으로 활성화 또는 동작하거나 제 2 질의 요소를 수신하기 위해 이미지를 선택하는 인터페이스가 디스플레이되는 제 2 대기 상태로 전환되도록 질의 입력 디바이스(4100)를 제어할 수 있다.

상기 기술된 바와 같이 대기 상태가 자동적으로 변환되면, 제어부는 자동 전환 및/또는 제 2 대기 상태의 지시자가 출력되도록 제어할 수 있다. 예를 들어, 지시자는 오디오 지시자(audio indicator) 또는 출력(예를 들어, 소정의 경고음), 시각적 지시자(visual indicator) 또는 출력(예를 들어, 소정의 아이콘, 소정의 심볼, 소정의 이미지 등), 보조 디바이스 출력(예를 들어, LED의 깜빡임이나 질의 입력 장치(4100) 상의 소정의 색상의 LED), 진동 출력 중 적어도 하나를 포함할 수 있다. 이 경우, 시각적 지시자는 실시 예에 따라서 질의 입력 창의 내부 또는 외부에 표시될 수 있다.

또한, 제어부는 제 1 질의 요소의 입력이 완료되었음이 결정됨에 기초하여, 제 1 대기 상태로부터 제 2 대기 상태로 자동적으로 전환되도록 결정할 수 있다. 예를 들어, 제 1 질의 요소가 이미지이면, 제어부는 질의 입력 디바이스(4100)의 카메라에 의한 이미지의 캡쳐나 사용자에 의한 이미지의 선택에 대한 응답으로서 제 1 대기 상태로부터 제 2 대기 상태로 전환되도록 결정할 수 있다. 또한, 제 1 질의 요소가 텍스트 또는 스케치이면, 제어부는 제 1 영역(4111)에 대한 마지막 사용자 입력으로부터 소정 기간 시간이 경과함(예를 들어, 제 1 영역(4111)에 마지막 문자 입력으로부터 2초 후)에 따라서 제 1 대기 상태로부터 제 2 대기 상태로 전환되도록 결정할 수 있다.

제 2 대기 상태로 전환되면, 제어부는 질의 입력 창의 디스플레이, 제 2 영역(4112)의 디스플레이 또는 그래픽 사용자 인터페이스(GUI)의 디스플레이를 변경할 수 있다. 이에 관하여, 디스플레이의 변경은 제 2 질의 요소 또는 제 2 영역(4112)에 상응하는 질의 유형에 기초하여 수행될 수 있다. 다른 일부 실시 예에 따르면, 제어부는 제 2 대기 상태로의 전환에 대한 응답으로서 제 2 질의 요소의 입력을 수신하기 위한 제 2 영역(4112) 또는 사용자 인터페이스를 디스플레이하도록 제어할 수 있다.

수신된 텍스트와 이미지가 표시된 상태에서 사용자(1)가 검색 버튼(4120)을 선택하면, 질의 입력 디바이스(4100)는 도 41의 (b)에 도시된 바와 같이 복합 검색을 수행한 검색 결과를 표시할 수 있다. 도 41에서는 꽃과 개를 모두 포함하는 이미지가 검색 결과로서 표시된다.

도 42는 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.

일부 실시 예에 따른 질의 입력 디바이스는 질의를 수신하고(S4210), 수신된 질의에 포함된 질의 요소에 대한 우선순위를 결정할 수 있다(S4220). S4220에서, 질의 요소의 질의 유형에 따라서 질의 요소에 대한 우선순위가 결정될 수 있다. 예를 들어, 질의에 텍스트, 이미지 및 음성 정보가 포함된 경우, 텍스트, 음성 정보 및 이미지 순서로 질의 요소에 대한 우선 순위가 결정될 수 있다.

질의 요소에 대한 우선 순위는 다양하게 결정될 수 있다. 질의 요소에 대한 우선 순위는 사용자가 복수의 질의 유형에 대한 우선 순위를 설정할 수 있다. 일부 실시 예에 따르면, 질의 유형들에 대한 우선 순위가 설정되어 있는 경우, 수신된 질의 요소의 질의 유형에 따라서 우선순위가 결정될 수 있다. 또는 질의 요소가 질의 입력 창을 통해 수신된 순서에 따라서 질의 요소의 우선순위가 결정될 수 있다. 다만, 이는 일부 실시 예를 설명하기 위한 예시로서 이에 한정되지 않는다.

이후, 결정된 우선순위에 기초하여 검색이 수행될 수 있다(S4230). 예를 들어, 질의에 포함된 텍스트에 기초하여 제 1 검색을 수행한 뒤, 텍스트보다 후순위인 질의 요소인 음성 정보를 이용하여 텍스트에 기초하여 수행된 제 1 검색의 결과로부터 결과 내 제 2 검색을 수행할 수 있다.

질의 요소에 대한 우선 순위는 질의 입력 디바이스에서 결정될 수 있다. 또는 검색 엔진을 구비한 검색 엔진 서버를 이용하여 검색을 수행하는 경우, 검색 엔진 서버에 의해 결정될 수도 있다.

도 43은 일부 실시 예에 따라 복합 검색을 수행한 결과를 도시한 예시도이다.

일부 실시 예에 따르면, 질의 입력 디바이스는 질의 입력 창(4201)을 표시할 수 있다. 질의 입력 창(4201)은 수신된 질의 요소를 표시(즉, 수신된 질의 요소에 상응하는 디스플레이 아이템)하는 적어도 하나의 질의 요소 입력 영역을 포함할 수 있다. 일부 실시 예에 따르면, 수신된 질의 요소의 질의 유형이 가지는 우선순위에 따라서 수신될 질의 요소를 표시할 수 있다. 도 43을 참조하면, 질의 유형 중 이미지 질의 유형의 우선순위가 텍스트의 우선순위보다 높은 경우, 이미지 입력 영역(4202)을 텍스트 입력 영역(4203)보다 상단에 표시할 수 있다.

질의 입력 창(4201)을 이용하여 질의 요소가 입력된 후, 사용자가 검색 버튼(4204)을 선택하면 질의 요소를 이용하여 검색된 검색 결과가 검색 결과 표시 영역(4205)에 표시될 수 있다. 여기서 복수의 질의 요소들 중 우선순위가 높은 질의 요소를 주(main) 질의 요소로 하고, 우선 순위가 낮은 질의 요소를 부(sub) 질의 요소로 결정될 수 있다. 주 질의 요소에 기초하여 검색된 결과들 중에서 부 질의 요소에 의해 선택된 정보가 검색 결과 영역에 표시될 수 있다. 예를 들어 도 43을 참조하면, 이미지에 포함된 스마트폰(smartphone)에 관한 정보들 중, 스마트폰의 제품 정보를 포함하는 광고 정보, 블로그 및 이미지 등이 검색 결과 영역(4205)에 표시될 수 있다.

도 44는 다른 일부 실시 예에 따라 검색 결과를 표시하는 프로세스를 도시한 순서도이다.

질의 입력 창을 통해서 수신된 질의에 기초하여 복수의 검색 결과가 획득(결정 또는 획득)될 수 있다(S4310). 여기서, 획득된 복수의 검색 결과들이 순위화 될 수 있다(S4320). 예를 들어, 획득된 복수의 검색 결과들은 질의와 일치되는 정도에 기초하여 순위가 결정될 수 있다. 또 다른 예로, 획득된 복수의 검색 결과들은 검색 결과에 포함된 정보가 생성된 시점을 기준으로 순위가 결정될 수 있다.

이후, 순위화된 검색 결과들은 순위에 따라서 질의 입력 디바이스에 표시될 수 있다(S4330). 여기서, 검색 결과는 질의 입력 디바이스가 아닌 다른 디바이스에 표시될 수도 있다. 예를 들어, 질의 입력 디바이스에 연결된 홈 네트워크에 포함된 다른 디바이스에 검색 결과가 표시될 수도 있다.

도 45는 다른 일부 실시 예에 따른 검색 결과의 우선 순위를 도시한 예시도이다. 일부 실시 예에 따르면, 검색 결과는 검색 결과의 유형에 따라서 순위화될 수 있다. 검색 결과 순위는 사용자에 의해 설정되거나 사용자의 피드백 또는 사용 이력에 기초하여 결정될 수 있다. 예를 들어, 사용자가 광고에 관심이 없는 경우 광고 검색 결과 유형을 낮은 우선순위로 직접 설정하거나, 광고 정보를 선택하는 횟수가 적은(또는 소정의 값 이하인) 경우 질의 입력 디바이스가 광고 검색 결과 유형을 상대적으로 낮은 우선순위로 결정할 수 있다. 예를 들어 도 45를 참조하면, 이미지, 블로그, 뉴스, 웹문서 및 광고의 순서로 결과 유형에 따른 순위가 결정될 수 있다. 여기서, 검색 결과의 우선 순위가 질의 입력 디바이스에서 결정되는 것으로 설명하였다. 그러나, 이에 한정되지 아니한다. 예를 들어, 다른 일부 실시 예에 따르면, 외부의 검색 엔진 서버를 이용하여 검색을 수행하는 경우, 검색 결과의 우선 순위는 외부의 검색 엔진 서버에 의해 결정될 수도 있다.

도 46은 다른 일부 실시 예에 따라 복합 검색을 수행한 결과를 도시한 예시도이다. 도 46에 도시된 예시는 도 43에 도시된 예시와 동일한 질의가 입력된 경우를 나타낸다. 이미지 입력 영역(4202) 및 텍스트 입력 영역(4203)을 포함하는 질의 입력 창(4201) 및 검색 버튼(4204)이 표시될 수 있다.

또한, 도 46에 도시된 예시는 도 45에 도시된 바와 같이 검색 결과의 우선 순위가 설정된 경우를 나타낸다. 동일한 질의가 입력된 경우에도, 검색 결과의 우선 순위에 따라서 검색 결과가 다르게 표시될 수 있다. 즉, 검색 결과의 우선 순위에 따라서 결과 표시 영역(4205-1)에 이미지, 블로그 및 뉴스 순으로 검색 결과가 표시될 수 있다.

도 47은 일부 실시 예에 따라 복수의 디바이스를 이용하여 질의를 수신하는 방법을 도시한 예시도이다. 일부 실시 예에 따르면, 질의에 포함되는 질의 요소는 복수의 디바이스를 이용하여 입력될 수도 있다. 도 47은 질의 입력 디바이스(4400)가 커넥티드 TV(connected TV)인 것으로 도시하고 있으나, 질의 입력 디바이스(4400)는 도 47에 도시된 형식에 한정되지 아니한다. 다른 일부 실시 예에 따르면, 질의 입력 디바이스(4400)는 PC, 스마트폰, 스마트 디바이스, 노트북 컴퓨터, 휴대용 멀티미디어 플레이어, 태블릿 디바이스, 넷북 또는 워크스테이션 등을 포함하여 구현될 수 있다.

질의에 포함된 질의 유형이 필기 정보, 음성 정보 및 이미지인 경우, 질의 입력 디바이스(4400)는 필기 정보, 음성 정보 및 이미지를 입력하기 위한 질의 입력 창(4410)을 표시할 수 있다.

질의 입력 디바이스(4400)는 음성 정보(4411)를 질의 입력 디바이스(4401)와 통신 가능한 스마트 워치(4401)에 요청할 수 있다. 스마트 워치(4401)는 일반 시계보다 다양한 기능들을 장착한 임베디드 시스템 손목 시계를 의미할 수 있다. 스마트 워치(4401)는 계산, 번역, 녹음 및 통신 기능 등을 수행할 수 있다. 질의 입력 디바이스(4400)로부터 음성 정보(4411)를 요청 받은 스마트 워치(4401)는 스마트 워치(4401)에 구비된 마이크를 구동하여 생성된 음성 정보(4411)를 질의 입력 디바이스(4400)로 전송할 수 있다. 질의 입력 디바이스(4400)는 질의 요소로써 스마트 워치(4401)로부터 전송된 음성 정보(4411)를 수신할 수 있다. 스마트 워치(4401)는 블루투스(Bluetooth)tm 통신방식, 와이-파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), IrDA(Infrared Data Association), RF(Radio Frequency) 통신, 또는 무선랜(Wireless LAN) 등과 같은 무선 통신 또는 유선 통신을 이용하여 질의 입력 디바이스(4401)와 통신할 수 있다.

또한, 질의 입력 디바이스(4400)는 이미지(4412)를 질의 입력 디바이스(4400)와 통신 가능한 스마트 글래스(4402)에 요청할 수 있다. 스마트 글래스(4402)는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)가 장착된 착용 가능 디바이스(Wearable Device)를 의미한다. 스마트 글래스(4402)는 계산, 번역, 영상 촬영 및 통신 기능 등을 수행할 수 있다. 질의 입력 디바이스(4400)로부터 이미지(4412)를 요청 받은 스마트 글래스(4402)는 스마트 글래스(4402)에 구비된 카메라를 이용하여 촬영된 이미지(4412)를 생성할 수 있다. 스마트 글래스(4402)는 생성된 이미지(4412)를 질의 입력 디바이스(4400)에 전송할 수 있다. 질의 입력 디바이스(4400)는 질의 요소로서 스마트 글래스(4402)로부터 전송된 이미지를 수신할 수 있다. 스마트 글래스(4402)는 블루투스(Bluetooth)tm 통신방식, 와이-파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), IrDA(Infrared Data Association), RF(Radio Frequency) 통신, 또는 무선랜(Wireless LAN) 등과 같은 무선 통신 또는 유선 통신을 이용하여 질의 입력 디바이스(4401)와 통신할 수 있다.

또한, 질의 입력 디바이스(4400)는 질의 입력 디바이스(4400)에 출력된 질의 입력 도구를 이용하여 필기 정보를 직접 수신할 수도 있다. 음성 정보, 이미지 및 필기 정보를 수신한 질의 입력 디바이스(4400)는 음성 정보, 이미지 및 필기 정보를 포함하는 질의에 기초하여 검색을 수행할 수 있다.

도 47에 도시된 스마트 워치(4401) 및 스마트 글래스(4402)는, 일부 실시 예에 따르면, 질의 입력 디바이스(4400)와 통신 가능한 다른 디바이스로 대체될 수 있다.

도 48은 다른 일부 실시 예에 따라 복수의 디바이스를 이용하여 질의 요소를 수신하는 방법을 도시한 예시도이다.

일부 실시 예에 따르면, 질의 입력 디바이스(4800)는 네트워크를 이용하여 질의 입력 디바이스(4800)와 연결된 디바이스를 이용하여 질의에 포함될 질의 요소를 수신할 수 있다. 도 48을 참조하면, 질의 입력 디바이스(4800)는 질의 요소를 제공할 디바이스를 선택하기 위하여, 게이트웨이(4810)를 통해 연결된 디바이스들(4801, 4802 및 4803)을 탐색할 수 있다. 여기서, 질의 입력 디바이스(4800)는 질의 요소의 질의 유형에 따라서 질의 요소를 제공할 디바이스를 선택할 수 있다. 예를 들어, 수신하고자 하는 질의 요소의 질의 유형이 음성 정보인 경우, 질의 입력 디바이스(4800)는 디바이스들(4801, 4802 및 4803) 중에서 음성 입력 기능을 구비한 디바이스를 선택할 수 있다.

일부 실시 예에 따르면, 질의 입력 디바이스(4800)는 질의 요소에 대한 요청을 브로드캐스트(broadcast)할 수 있다. 질의 입력 디바이스(4800)는 요청에 대한 응답으로 디바이스들(4801, 4802 및 4803)로부터 각 디바이스들(4801, 4802 및 4803)의 디바이스 프로파일을 수신할 수 있다. 여기서, 디바이스 프로파일은 디바이스에서 제공할 수 있는 기능에 대한 정보를 포함할 수 있다. 질의 입력 디바이스(4800)는 수신된 디바이스 프로파일에 기초하여 질의 요소를 제공할 수 있는 디바이스를 선택할 수 있다.

또는, 게이트웨이(4810)가 게이트웨이(4810)에 연결된 디바이스들의 디바이스 프로파일을 관리하는 경우, 게이트웨이(4810)가 요청에 대한 응답으로 질의 요소를 제공할 수 있는 디바이스를 선택할 수도 있다. 게이트웨이(4810)가 질의 요소를 제공할 수 있는 디바이스를 선택한 경우, 게이트웨이(4810)는 선택된 디바이스로 질의 요소에 대한 요청을 전송할 수 있다.

다른 일부 실시 예에 따르면, 질의 입력 디바이스(4800)는 질의 유형에 대한 정보를 포함하는 요청을 브로드캐스트(broadcast)할 수 있다. 질의 유형에 대한 정보를 포함하는 요청을 수신한 디바이스들(4801, 4802 및 4803)은 요청에 포함된 질의 유형을 가지는 질의 요소를 제공할 수 있는지 여부를 판단할 수 있다. 디바이스들(4801, 4802 및 4803) 중 요청에 포함된 질의 유형을 가지는 질의 요소를 제공할 수 있는 디바이스는 요청에 대한 응답을 게이트웨이(4810) 또는 질의 입력 디바이스(4800)에 전송할 수 있다.

질의 입력 디바이스(4800) 또는 게이트웨이(4810)에 의해 선택된 디바이스의 수가 둘 이상인 경우, 질의 입력 디바이스(4800)는 선택된 디바이스들의 목록을 표시할 수 있다. 사용자는 표시된 디바이스들의 목록 중에서 질의 요소를 입력할 디바이스를 선택할 수 있다.

도 49는 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.

도 49를 참조하면, 일부 실시 예에 따른 질의 입력 디바이스는 질의가 수신되면(S4510), 질의가 수신된 시점의 검색 모드가 복합 입력 모드인지 여부를 판단할 수 있다(S4520). 여기서 S4510 단계는 검색 수행 명령에 따라 질의 입력 창에 입력된 질의를 수신하는 것을 의미한다. 이후, S4520 단계에서 결정된 검색 모드가 단일 모드 검색인 경우, 질의에 포함된 질의 유형에 따라서 검색을 수행할 수 있다(S4530).

S4520 단계에서 검색 모드가 복합 입력 모드인 것으로 판단된 경우, 질의 입력 디바이스는 복수의 질의 요소에 기초하여 결합 질의를 생성할 수 있다(S4525). 여기서, 결합 질의는 복수의 질의 유형을 가지는 질의 요소들을 조합한 것을 의미한다. 실시 예에 따라서 질의 요소들은 다양하게 조합될 수 있다. 예를 들어, 질의 요소들은 단순히 결합될 수 있다. 보다 구체적인 예를 들며, “가방”이라는 텍스트와 “가격”이라는 음성이 질의 요소로 입력된 경우, 질의는 “가방 가격”이라는 키워드로 구성될 수 있다. 다른 예를 들면, 결합 질의는 질의 요소에 키워드 또는 주요 특징-예를 들어, 이미지 내에 포함된 특징점-을 포함할 수 있다. 또 다른 예를 들면, 결합 질의는 질의 요소들로부터 생성된 확장 키워드를 포함할 수 있다. 또 다른 예를 들면, 결합 질의는 질의 유형에 대한 우선순위에 기초하여 질의 요소들이 순위화된 것을 특징으로 할 수 있다. S4525 단계에서, 질의에 포함된 복수의 질의 유형들 간의 관련성을 추출하고, 추출된 관련성에 기초하여 결합 질의를 생성할 수 있다. 질의 입력 디바이스는 S4525 단계에서 생성된 결합 질의에 기초하여 검색을 수행할 수 있다(S4535).

여기서, S4525 단계, S4535 단계 및 S4530 단계는 실시 예에 따라 질의 입력 디바이스가 아닌 외부 서버에 의해 수행될 수도 있다.

도 50은 일부 실시 예에 따라 검색을 수행하는 프로세스를 도시한 순서도이다.

일부 실시 예에 따른 질의 입력 디바이스(400)는 표시된 질의 입력 창을 통해서 질의를 수신할 수 있다(S4610).

이후, 질의 입력 디바이스(400)는 수신된 질의를 검색 엔진 서버(420)에 전송할 수 있다. 여기서, 검색 엔진 서버(420)로 전송되는 질의는 검색 모드가 복합 검색인 경우, 복수의 질의 유형을 가지는 질의 요소들을 조합한 결합 질의일 수 있다. 실시 예에 따라서 질의 요소들은 다양하게 조합될 수 있다. 예를 들어, 질의 요소들은 단순히 결합될 수 있다. 보다 구체적인 예를 들며, “가방”이라는 텍스트와 “가격”이라는 음성이 질의 요소로 입력된 경우, 질의는 “가방 가격”이라는 키워드로 구성될 수 있다. 다른 예를 들면, 결합 질의는 질의 요소에 키워드 또는 주요 특징-예를 들어, 이미지 내에 포함된 특징점-을 포함할 수 있다. 또 다른 예를 들면, 결합 질의는 질의 요소들로부터 생성된 확장 키워드를 포함할 수 있다. 또 다른 예를 들면, 결합 질의는 질의 유형에 대한 우선순위에 기초하여 질의 요소들이 순위화된 것을 특징으로 할 수 있다. 일부 실시 예에 따르면, 검색 엔진 서버(420)로 전송되는 질의는 검색 모드를 지시하는 정보를 포함할 수 있다.

이후, 검색 엔진 서버(420)는 수신된 질의를 처리하기 위하여 검색 모드에 따라서 단일 검색 또는 복합 검색을 수행할 수 있다(S4630). 이후, 검색 엔진 서버(420)는 S4630 단계에서 선택된 검색 결과를 질의 입력 디바이스(400)로 전송할 수 있다(S4640).

도 51은 일부 실시 예에 따른 질의 입력 디바이스의 구조를 도시한 블록도이다.

일부 실시 예에 따른 질의 입력 디바이스(4700)는 디스플레이부(4710), 제어부(4720) 및 입력부(4730)(예를 들어, 입력 디바이스)를 포함할 수 있다.

디스플레이부(4710)는 질의 입력 창을 표시할 수 있다. 디스플레이부(4710)는 질의 입력 창뿐만 아니라 다양한 정보를 화면 상에 표시할 수 있다. 질의 입력 디바이스(4700)는 구현 형태에 따라 둘 이상의 디스플레이부(4710)를 포함할 수도 있다. 디스플레이부는 영상을 출력할 수 있는 LCD(Liquid Cristal Display), LED(Light Emitting Diode) 디스플레이, CRT(Cathode Ray Tube) 디스플레이, PDP(Plasma Display Panel), 유기 LED(OLED), 능동형 OLED(AMOLED), 박막 필름 트랜지스터(TFT) 디스플레이 등과 같은 디스플레이 장치를 포함할 수 있다. 또한, 구현 형태에 따라서 디스플레이부는 터치 센서와 레이어 구조를 가진 터치스크린을 포함할 수도 있다. 터치스크린과 같이 디스플레이 및 입력이 모두 가능한 경우, 디스플레이부(4710)는 입력부(4730)의 기능을 수행할 수도 있다. 또한, 입력 디바이스(4730)는 디스플레이(4710)로서 구현될 수도 있다.

일부 실시 예에 따르면, 검색 모드가 복합 검색인 경우 디스플레이부(4710)는 질의 입력 창을 표시할 수 있다. 질의 입력 창은 복수의 질의 유형을 포함하는 질의를 입력 받을 수 있는 인터페이스를 의미한다. 또는, 검색 모드가 단일 검색인 경우 질의 입력 디바이스는 단일 질의 입력 창을 표시할 수 있다. 단일 질의 입력 창은 하나의 질의 유형만을 포함하는 질의를 입력 받을 수 있는 질의 입력 창을 의미한다.

입력부(4730)는 사용자 입력에 기초하여 디스플레이부(4710)에 표시된 질의 입력 창을 통해서 복수의 질의 유형에 속하는 질의 요소들을 포함하는 질의를 수신할 수 있다. 일부 실시 예에 따른 입력부(4730)는 키보드, 키패드, 가상 키패드, 트랙 패드, 필기 패드 등을 이용하여 텍스트나 필기 정보 등의 질의 요소를 입력 받을 수 있다. 또는 사용자 입력에 따라 이미지, 음성 정보 또는 동영상과 같은 질의 요소를 획득함으로써 질의를 획득 또는 생성할 수 있다.

제어부(4720)는 질의 입력 디바이스(4700)의 각 부를 제어할 수 있다. 일부 실시 예에 따른 제어부(4720)는 CPU, 제어 프로그램이 저장된 롬(ROM) 및 질의 입력 디바이스(4700)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 질의 입력 디바이스(4700)에서 수행되는 작업에 기억영역으로 이용되는 램(RAM)을 포함할 수 있다. CPU는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어 등 하나 이상의 프로세서를 포함할 수 있다. CPU, 롬 및 램은 내부 버스(BUS)를 통해 상호 연결될 수 있다.

제어부(4720)는 수신된 질의로부터 적어도 하나의 검색 결과를 획득할 수 있다. 제어부(4720)에 검색 엔진이 포함된 경우, 제어부(4720)는 질의로부터 적어도 하나의 검색 결과를 직접 선택할 수 있다. 제어부(4720)에 검색 엔진이 포함되지 않은 경우, 제어부(4720)는 검색 엔진을 포함한 검색 엔진 서버로 질의를 전송하고 검색 엔진 서버로부터 적어도 하나의 검색 결과를 획득할 수 있다. 제어부(4720)는 획득된 적어도 하나의 검색 결과를 표시하도록 디스플레이부(4710)를 제어할 수 있다. 디스플레이부(4710)는 제어부의 제어에 따라서 획득된 적어도 하나의 검색 결과를 표시할 수 있다.

또한, 제어부(4720)는 질의에 선택되거나 사용될 복수의 질의 유형을 선택할 수 있다. 디스플레이부(4710)에 표시된 질의 입력 창은 선택된 질의 유형에 따라서 질의를 수신할 수 있다. 또한, 전술된 일부 실시 예에서와 같이, 디스플레이부(4710)에 표시되는 질의 입력 창은 선택된 질의 유형에 따라서 다르게 표시될 수 있다.

또한, 일부 실시 예에 따르면, 디스플레이부(4710)는 검색 모드를 선택하기 위한 검색 모드 선택 객체를 표시할 수 있다. 입력부(4730)는 검색 모드 선택 객체에 대한 사용자 입력을 수신할 수 있다. 여기서, 사용자 입력이 검색 모드를 복합 입력 모드로 변경하는 입력인 경우, 제어부(4720)는 검색 모드를 복합 입력 모드로 변경할 수 있다. 검색 모드가 복합 입력 모드로 변경되는 경우, 디스플레이부(4710)는 질의 입력 창을 복수의 입력 모드를 포함하는 질의 입력 창으로 전환할 수 있다. 일부 실시 예에 따르면, 질의 입력 창은 복수의 질의 유형 각각에 상응하는 영역들을 포함할 수 있다.

또한, 디스플레이부(4710)는 질의 유형 목록을 표시할 수 있다. 일부 실시 예에 따르면 디스플레이부(4710)는 검색 모드가 단일 입력 모드인 경우 단일 질의 유형 목록을 표시하고, 검색 모드가 복합 입력 모드인 경우 복합 질의 유형 목록을 표시할 수 있다. 제어부(4720)는 디스플레이부(4710)에 표시된 질의 유형 목록으로부터 질의에 포함되는 적어도 하나의 질의 유형을 결정할 수 있다. 여기서, 적어도 하나의 질의 유형을 결정하기 위하여 입력부(4730)는 질의 유형 목록으로부터 시작하여 질의 입력 창이 표시되는 영역 또는 표시될 영역에 드래그 앤 드롭하는 입력을 수신할 수 있다.

또한, 일부 실시 예에 따르면, 제어부(4720)는 수신된 질의 요소의 질의 유형을 검출할 수 있다. 디스플레이부(4710)에 표시된 질의 입력 창은 수신된 질의 요소를 디스플레이(즉, 수신된 질의 요소에 상응하는 디스플레이 아이템)하는 영역과 질의 요소를 수신하는 영역을 포함할 수 있다. 디스플레이부(4710)는 검출된 질의 유형에 따라서 수신된 질의 요소를 수신된 질의 요소를 디스플레이하는 영역에 디스플레이할 수 있다.

또한, 디스플레이부(4710)에 표시된 질의 입력 창은 질의 유형 각각에 상응하는 질의 요소를 입력하기 위한 질의 입력 도구를 포함할 수 있다.

또한, 제어부(4720)는 검색 결과에 포함된 텍스트를 음성으로 변환하거나, 음성(오디오)을 텍스트로 변환할 수 있다.

일부 실시 예에 따르면, 질의 입력 창에 사용자가 제 1 질의 입력을 입력한 이후 또는 입력에 대한 응답으로서, 제어부(4720)는 제 1 질의 요소가 수신될 수 있는 제 1 대기 상태(즉, 제 1 상태)로부터 제 2 질의 요소가 수신될 수 있는 제 2 대기 상태(즉, 제 2 상태)로 전환되도록 결정할 수 있다. 예를 들어, 제 2 질의 요소가 음향 또는 음성 정보 질의 유형에 상응하는 경우, 제어부(4720)는 질의 입력 장치(4700)가 제 2 질의 요소를 수신하기 위해 마이크가 자동적으로 활성화 또는 동작되는 제 2 대기 상태로 전환되도록 제어할 수 있다. 또한, 제 2 질의 요소가 이미지 질의 유형에 상응하는 경우, 제어부(4720)는 질의 입력 디바이스(4700)가 제 2 질의 요소를 수신하기 위해 카메라가 자동적으로 활성화 또는 동작하거나 제 2 질의 요소를 수신하기 위해 이미지를 선택하는 인터페이스를 표시하도록 제어할 수 있다.

대기 상태가 상기 기술된 바와 같이 자동적으로 전환되면, 제어부(4720)는 자동 전환 및/또는 제 2 대기 상태의 지시자가 출력되도록 제어할 수 있다. 예를 들어, 지시자는 오디오 지시자(audio indicator) 또는 출력(예를 들어, 소정의 경고음), 시각적 지시자(visual indicator) 또는 출력(예를 들어, 소정의 아이콘, 소정의 심볼, 소정의 이미지 등), 보조 디바이스 출력(예를 들어, LED의 깜빡임이나 질의 입력 장치(4700) 상의 소정의 색상의 LED), 진동 출력 중 적어도 하나를 포함할 수 있다.

또한, 제어부(4820)는 제 1 질의 요소의 입력이 완료되었음이 결정됨에 기초하여, 제 1 대기 상태로부터 제 2 대기 상태로 자동적으로 전환되도록 결정할 수 있다. 예를 들어, 제 1 질의 요소가 이미지이면, 제어부(4720)는 질의 입력 디바이스(4700)의 카메라에 의한 캡쳐나 사용자에 의한 이미지의 선택에 대한 응답으로서 제 1 대기 상태로부터 제 2 대기 상태로 전환되도록 결정할 수 있다. 또한, 제 1 질의 요소가 텍스트 또는 스케치이면, 제어부(4720)는 질의 입력 창의 한 영역에 대한 마지막 사용자 입력으로부터 소정 기간이 경과함에 따라서 제 1 대기 상태로부터 제 2 대기 상태로 전환되도록 결정할 수 있다.

제 2 대기 상태로 전환되면, 제어부(4720)는 질의 입력 창의 디스플레이, 질의 입력 창의 하나 이상의 영역의 디스플레이, 또는 그래픽 사용자 인터페이스(GUI)의 디스플레이를 변경할 수 있다. 이에 관하여, 디스플레이의 변경은 제 2 질의 요소에 상응하는 질의 유형에 기초하여 수행될 수 있다. 다른 일부 실시 예에 따르면, 제어부(4720)는 제 2 대기 상태로의 전환에 대한 응답으로서 제 2 질의 요소를 수신하기 위한 사용자 인터페이스가 디스플레이되도록 제어할 수 있다.

실시 예에 따라서 질의 입력 창은 다양하게 변화될 수 있으며, 상기 기술된 형태에 한정되지 아니한다.

도 52 내지 57은 또 다른 일부 실시 예에 따라 복합 검색을 수행하는 방법을 도시한 예시도이다.

도 52를 참조하면, 질의 입력 디바이스(5200)는 “bicycle”이라는 질의를 수신, 생성 또는 획득하고, “bicycle”이라는 질의에 따라서 검색된 백과사전 정보, 웹페이지 정보 및 이미지 등을 포함하는 검색 결과(5221)를 표시할 수 있다. 여기서, 사용자(1)는 질의 입력 디바이스(5200)의 디스플레이부에 현재 표시되지 않은 검색 결과를 확인하기 위해 디스플레이부에 표시된 화면을 스크롤(scroll)할 수 있다.

도 53을 참조하면, 화면이 스크롤됨에 따라서 디스플레이부에 표시되지 않았던 검색 결과들(5222)이 디스플레이부에 표시될 수 있다. 이 때, 화면이 스크롤됨에 따라서 화면에 질의 입력 창(5210)이 표시되지 않을 수 있다.

사용자(1)는 검색 결과들(5222)에 포함된 이미지(5231)를 선택할 수 있다. 예를 들어 도 54를 참조하면, 사용자(1)는 검색 결과들(5222) 중에서 하나의 자전거 이미지(5231)를 선택할 수 있다. 여기서, 사용자(1)는 질의 입력 디바이스(5200)의 터치스크린이나 마우스 등을 이용하여 이미지(5231)를 선택할 수 있으나, 이에 한정되지 아니한다. 이미지(5231)가 선택되면, 질의 입력 디바이스(5200)는 선택된 이미지(5231) 주변에 질의 유형 목록을 표시할 수 있다. 도 54를 참조하면, 질의 입력 디바이스(5200)는 선택된 이미지(5231) 주변에 플로팅 아이콘(5230)을 표시할 수 있다. 플로팅 아이콘(5230)은 적어도 하나의 질의 유형에 대응될 수 있다.

도 55를 참조하면, 사용자(1)는 표시된 플로팅 아이콘(5230)을 선택할 수 있다. 도 56을 참조하면, 플로팅 아이콘(5230)이 선택됨에 따라서 질의 입력 디바이스(5200)는 플로팅 아이콘(5230)에 대응되는 질의 유형을 입력하기 위한 질의 입력 영역(5231)을 표시할 수 있다. 질의 입력 디바이스(5200)는 질의 입력 영역(5231)을 통해서 질의 요소를 수신할 수 있다.

도 57을 참조하면, 질의 입력 디바이스(5200)는 선택된 검색 결과와 질의 입력 영역(5231)을 통해 수신된 질의 요소를 포함하는 질의(5210-1)에 기초하여 검색을 수행할 수 있다. 도 57에 도시된 바와 같이, 자전거 이미지와 “manufacturer”라는 텍스트에 기초하여, 질의 입력 디바이스(5200)는 이미지에 포함된 자전거의 제조사 홈페이지와 자전거의 제조사에서 제조된 다른 제품들에 대한 정보를 결과 표시 영역(5223)에 표시할 수 있다. 즉, 질의 입력 디바이스(5200)는 검색 결과 표시 영역에서 선택된 검색 결과와 질의 입력 영역(5231)을 이용하여 각각 질의 요소를 수신하므로, 도 56에 도시된 실시 예에서는 검색 결과 표시 영역 및 질의 입력 영역(5231)을 질의 입력 창으로서 이용하여 질의 요소를 수신하는 것으로 언급될 수 있다.

도 58은 다른 일부 실시 예에 따라 질의 유형 목록을 표시하는 방법을 도시한 예시도이다.

일부 실시 예에 따르면, 질의 입력 디바이스는 단일 입력 모드 선택 객체(5801), 복합 입력 모드 선택 객체(5802), 질의 입력 창(5810), 검색 버튼(5830) 및 단일 질의 유형 목록(5820-1)을 표시할 수 있다. 도 58에 도시된 바와 같이, 단일 질의 유형 목록(5820-1)은 각각의 질의 유형들에 대응되는 아이콘들(한 질의 유형에 상응하는 각각의 아이콘)을 포함할 수 있다.

질의 입력 디바이스는 단일 질의 유형 목록(5820-1)에 포함된 아이콘을 이용하여 질의 입력 창이 수신할 수 있는 질의 유형을 결정할 수 있다. 예를 들어, 텍스트 아이콘(5821-1)이 선택되면, 질의 입력 디바이스는 질의 입력 창(5810)에 텍스트를 입력하기 위한 사용자 인터페이스를 표시할 수 있다. 또는, 이미지 아이콘(5821-2)이 선택되면, 질의 입력 디바이스는 질의 입력 창(5810)에 이미지를 입력하기 위한 사용자 인터페이스를 표시할 수 있다. 또는, 문서 아이콘(5821-3)이 선택되면, 질의 입력 디바이스는 질의 입력 창(5810)에 문서를 선택하기 위한 사용자 인터페이스를 표시할 수 있다. 또는, 필기 아이콘(5821-4)이 선택되면, 질의 입력 디바이스는 질의 입력 창(5810)에 필기 정보를 입력하기 위한 사용자 인터페이스를 표시할 수 있다. 또는, 카메라 아이콘(5821-5)이 선택되면, 질의 입력 디바이스는 카메라 애플리케이션을 실행하고, 질의 입력 창(5810)에 카메라 애플리케이션을 이용하여 획득된 이미지를 표시할 수 있다. 또는 음악 아이콘(5821-6)이 선택되면, 질의 입력 디바이스는 마이크를 이용하여 획득된 음성 정보에 기초하여 음악 검색을 수행할 수 있다. 또는 녹음 아이콘(5821-7)이 선택되면, 질의 입력 디바이스는 마이크를 구동하고 마이크를 이용하여 음성 정보를 획득할 수 있다.

도 59는 또 다른 일부 실시 예에 따라 질의 유형 목록을 표시하는 방법을 도시한 예시도이다.

복합 입력 모드 선택 객체(5802)가 선택되면, 질의 입력 디바이스는 검색 모드를 복합 입력 모드로 설정할 수 있다. 일부 실시 예에 따르면 검색 모드가 복합 입력 모드인 경우, 질의 입력 디바이스는 복합 질의 유형 목록(5820-2)을 표시할 수 있다. 일부 실시 예에 따르면, 복합 질의 유형 목록(5820-2)은 복수의 아이콘이 결합된 결합 아이콘을 포함할 수 있다. 결합 아이콘은 포함된 아이콘을 통해서 복합 질의 유형를 지시할 수 있다. 또한, 일부 실시 예에 따르면, 질의 입력 디바이스는 아이콘이 표시되는 전후관계에 기초하여 질의 유형들 사이의 우선순위를 지시할 수 있다. 예를 들어, 도 59에 도시된 이미지와 텍스트의 결합 아이콘(5822-1)은 이미지가 텍스트보다 우선순위가 높은 것을 지시한다. 또한, 텍스트와 음성의 결합 아이콘(5822-2)은 텍스트가 음성보다 우선순위가 높은 것을 지시한다. 또한, 카메라, 음성 및 텍스트의 결합 아이콘(5822-3)은 카메라, 음성 및 텍스트의 순서로 질의 유형의 우선 순위가 정해지는 것을 지시한다.

도 60은 일부 실시 예에 따라 복합 질의 유형 목록을 생성하는 방법을 도시한 예시도이다.

일부 실시 예에 따르면, 질의 입력 디바이스는 각각의 질의 유형들에 대응되는 아이콘들(6010)(하나의 아이콘은 하나의 질의 유형에 대응)을 이용하여 복수의 질의 유형에 대응되는 결합 아이콘들(6020)을 생성할 수 있다. 예를 들어, 사용자가 아이콘들(6010) 중에서 텍스트 아이콘(6011)과 이미지 아이콘(6012)을 선택하면, 질의 입력 디바이스는 텍스트 아이콘(6011)과 이미지 아이콘(6012)을 결합한 결합 아이콘(6021)을 생성할 수 있다. 이 경우, 사용자는 질의 유형들에 대한 우선순위를 설정할 수 있고(예를 들어, 아이콘들을 선택하는 순서에 따라서 또는 결합 아이콘(6021)을 수정함으로써), 결합 아이콘(6021)은 우선순위를 반영할 수 있다. 또는, 우선순위는 미리 설정되거나 미리 결정되어있을 수 있다.

일부 실시 예에 따르면 검색 모드가 복합 검색 모드인 경우, 질의 입력 디바이스는 사용자에 의해 설정된 결합 아이콘들(6020)을 포함하는 복합 질의 유형 목록을 표시할 수 있다.

도 61 내지 도 65는 또 다른 일부 실시 예에 따라 복합 검색을 수행하는 방법을 도시한 예시도이다.

일부 실시 예에 따르면, 질의 입력 디바이스(6100)는 검색 모드가 복합 입력 모드임을 지시하는 지시자(indicator)(6102)를 표시할 수 있다. 또한, 질의 입력 디바이스(6100)는 질의 입력 창(6110)과 검색 버튼(6130)을 표시할 수 있다.

일부 실시 예에 따르면, 질의 입력 디바이스(6100)는 질의 입력 창(6110)이 선택됨에 따라서 질의 요소를 입력하기 위한 질의 입력 도구의 모음(6120)을 표시할 수 있다. 또는, 다른 일부 실시 예에 따르면, 질의 입력 디바이스(6100)는 질의 입력 디바이스(6100)에 구비된 메뉴 버튼이 선택됨에 따라서 질의 요소를 입력하기 위한 질의 입력 도구의 모음(6120)을 표시할 수 있다. 질의 입력 도구는 질의 입력 창(6110)에 포함될 수도 있다.

도 61에 도시된 바와 같이 사용자(1)가 질의 입력 도구의 모음(6120) 중에서 파일 열기 아이콘(6121)을 선택하면, 질의 입력 디바이스(6100)는 파일을 선택하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 도 62는 파일을 선택하기 위한 사용자 인터페이스를 도시한 예시도이다.

도 62에 도시된 바와 같이, 사용자(1)가 파일(6122)을 선택하면, 질의 입력 디바이스(6100)는 선택된 파일(6122)을 질의 요소로서 수신할 수 있다. 또한, 질의 입력 디바이스(6100)는 선택된 파일(6122)에 상응하는 질의 유형을 검출할 수 있다. 예를 들어, 도 62에 도시된 바와 같이 선택된 파일(6122)의 확장자가 jpg인 경우, 질의 입력 디바이스(6100)는 선택된 파일에 상응하는 질의 유형에 이미지인 것으로 판단할 수 있다.

질의 입력 디바이스(6100)는 검출된 질의 유형에 따라서 수신된 질의 요소를 디스플레이할 수 있다(즉, 수신된 질의 요소에 상응하는 디스플레이 아이템). 예를 들어 도 63을 참조하면, 질의 입력 디바이스(6100)는 수신된 이미지(6111)를 질의 요소를 디스플레이하는 영역(6103)에 디스플레이할 수 있다. 도 63에서는 질의 요소를 디스플레이하는 영역(6103)이 질의 요소를 수신하는 영역을 포함하는 질의 입력 창(6110)과 결합되어 있는 것으로 도시되어 있으나, 질의 요소를 디스플레이하는 영역(6103)의 형태는 다양하게 변형될 수 있다. 예를 들어, 영역(6103)은 질의 입력 창(6110) 내에 포함되거나, 분리된 공간에 위치될 수 있다. 질의 입력 창(6110)을 통해서 복수의 질의 요소가 순차적으로 또는 동시에 수신되면, 수신된 복수의 질의 요소들이 영역(6103)에 디스플레이되는 질의 요소들이 누적되거나 함께 디스플레이될 수 있다. 또는 분할된 영역에 디스플레이될 수도 있다.

또한, 질의 입력 디바이스(6100)는 질의 입력 창(6110)에 포함된 질의 요소를 수신하는 영역을 통해 추가적인 질의 요소를 수신할 수 있다. 예를 들어 도 64를 참조하면, 사용자(1)는 질의 입력 창(6110)에 “Obarna”라는 텍스트를 입력할 수 있다.

사용자(1)가 검색 버튼(6130)을 선택하면, 질의 입력 디바이스(6100)는 누적된 질의 요소 및 검출된 질의 유형에 기초하여 검색을 수행할 수 있다. 예를 들어 도 64 및 도 65를 참조하면, 연설을 하고 있는 모습의 이미지(6102)와 “Obarna”라는 텍스트(6113)에 기초하여 Obarna가 연설하는 동영상(6140)을 검색 결과로서 표시할 수 있다.

도 66은 일부 실시 예에 따라 복수의 질의 유형을 가지는 질의에 기초하여 복합 검색을 수행하기 위한 프레임워크(framework)를 도시한 블록도이다. 보다 상세하게는, 도 66은 질의-적응적(Query Adaptive) 복합 검색을 위한 프레임워크(framework)를 도시한 블록도이다.

질의 인터페이스(6600)는 복수의 질의 요소들이 조합된 결합 질의(6610)를 수신할 수 있다. 복수의 질의 요소들은 키워드(6611), 이미지(6612), 동영상(6613), 음성(6614), 필기 정보(6615) 및 컨텍스트 정보(6616) 등을 포함할 수 있으나, 이에 한정되지 아니한다. 여기서, 컨텍스트 정보(6616)는 사용자의 현재 상태나 개인 이력 및 선호도 정보와 같이 질의를 보다 명확하게 하는 정보를 의미한다. 예를 들어, 컨텍스트 정보(6616)는 질의 유형에 대한 우선 순위를 포함할 수 있다.

또한, 질의 인터페이스(6600)는 결합 질의(6610)를 수신하기 위한 수단을 포함할 수 있다. 예를 들어, 질의 인터페이스(6600)는 키워드(6611)를 수신하기 위한 키보드, 이미지(6612)나 동영상(6613)을 획득하기 위한 카메라, 음성(6614)을 획득하기 위한 마이크, 필기 정보(6615)를 획득하기 위한 터치스크린, 또는 컨텍스트 정보(6616)를 획득하기 위한 센서를 포함할 수 있으나, 이에 한정되지 아니한다.

검색 방법(들)(6620)은 문서들을 그 문서들의 적절성에 따라서 선택하기 위해 질의를 데이터베이스와 매칭하는데 이용되는 알고리즘(들)을 의미한다. 예를 들어, 동영상 검색 시스템에서 분할 검색 방법이 질의 텍스트 키워드들을 처리하고 질의 텍스트 키워드들을 음성 인식 정보와 매칭하는 동안, 동영상의 썸네일(thumbnail) 이미지는 데이터베이스의 시각적 컨텐츠들과 단일 검색 방법에 의해 매칭될 수 있다. 결합 질의(6610)가 복수의 검색 방법들(6620)에 의해 처리됨에 따라서 검색 결과가 획득될 수 있다.

질의와 매칭되는 데이터베이스는 문서 모음(들)(Document Collection(s))(6630)을 포함할 수 있다. 데이터베이스는 검색의 대상이 되는 정보들을 포함한다. 데이터베이스에 포함된 문서들(documents)은 모달리티(modality)가 서로 다를 수 있다. 문서(document)는 데이터베이스에 포함된 정보의 단위를 의미한다. 예를 들어, 문서는 웹 상에서의 한 페이지, 동영상 집적 자료(video corpus) 내의 한 화면, 또는 사진 모음(photo collection)의 한 이미지를 포함할 수 있다.

질의 적응 모듈(6640)은 질의를 처리하기 위한 검색 방법(들)(6620)의 처리 순서를 조절할 수 있다. 예를 들어, 뉴스 동영상에서 유명 인물의 사진을 검색하고자 하는 경우 텍스트 검색 방법에 가중치를 주고, 반면에 스포츠 장면에 대한 검색은 예시 기반 이미지 검색 방법(example-based image search method)에 가중치를 줄 수 있다.

검색 방법 융합 모듈(6650)은 복수의 검색 방법(들)(6620)로부터의 검색 결과들을 병합할 수 있다. 병합된 검색 결과들은 검색 결과 출력 모듈을 통해서 출력될 수 있다(6660).

도 67은 일부 실시 예를 실시하기 위한 시스템들 및/또는 프로세스들의 상호작용을 개략적으로 나타낸다. 도 67을 참조하면, 질의 입력 디바이스는 복합 검색 모드인 경우 수신된 질의 요소들의 질의 유형에 따라 검색을 수행할 수 있다. 예를 들어, 질의 입력 디바이스가 질의 유형이 텍스트 유형인 제 1 질의 요소(6705) 및 질의 유형이 이미지 질의 유형인 제 2 질의 요소(6707)를 수신한 경우, 질의 입력 디바이스는 제 1 질의 요소(6705)(즉, 텍스트)에 대응되는 키워드 및 제 2 질의 요소(6706)(즉, 이미지)의 입력 양자에 기초하여 검색을 수행할 수 있다. 질의 입력 디바이스는 제 2 질의 요소(6707)를 처리하기 위하여, 제 2 질의 요소 이해 컴포넌트(6712)를 이용하여 제 2 질의 요소(6707) 내의 특징들을 식별할 수 있다. 제 2 질의 요소 이해 컴포넌트(6712)는 제 2 질의 요소 처리 컴포넌트로 언급될 수도 있다. 또는, 제 2 질의 요소의 질의 유형이 이미지인 경우, 제 2 질의 요소 이해 컴포넌트(6712)는 이미지 처리 컴포넌트로 언급될 수도 있다. 제 2 질의 요소 이해 컴포넌트(6712)에 의해 제 2 질의 요소(6707)로부터 추출된 특징들은 제 2 질의 요소 특징 컴포넌트(6722)에 의해 서술자 키워드를 할당 받을 수 있다. 예를 들어, 제 2 질의 요소(6707)의 질의 유형이 이미지 질의 유형인 경우, 제 2 질의 요소 이해 컴포넌트(6712)는 제 2 질의 요소(6707)(즉, 이미지) 내의 특징들을 식별할 수 있다. 여기서, 제 2 질의 요소(6707) 내의 특징들은 이미지 텍스트 특징 및/또는 이미지 시각 특징을 포함할 수 있다. 또한, 제 2 질의 요소 특징 컴포넌트(6722)는 식별된 제 2 질의 요소(6707) 내의 이미지 텍스트 특징 및/또는 이미지 시각 특징들에 대하여 서술자 키워드를 할당할 수 있다. 제 2 질의 요소(6707)의 질의 유형이 이미지 질의 유형인 경우에 대한 예시가 도 68 내지 도 72 및 관련된 설명에서 보다 상세히 기술된다.

메타데이터 분석 컴포넌트(6714)는 제 2 질의 요소(6707)와 관련된 메타데이터를 식별할 수 있다. 제 2 질의 요소(6707)가 파일을 포함하는 경우, 메타데이터는 파일 내에 저장된 제목 또는 주석들과 같이 운영 체제에 의해 파일 내에 내장되거나, 또는 파일과 함께 저장된 정보를 포함할 수 있다. 메타데이터는 검색에 사용될 질의 요소를 식별하기 위해 입력되는 URL 경로 내의 텍스트, 또는 웨페이지나 다른 텍스트 기반 문서 상에 배치되거나 그 안에 내장된 정보(예를 들어, 이미지 등)에 대해 해당 정보 근처에 위치하는 텍스트와 같은 관련 텍스트를 포함할 수 있다. 제 2 질의 요소 특징 컴포넌트(6722)는 메타데이터 분석 컴포넌트(6714)의 출력에 기초하여 키워드 특징들을 식별할 수 있다.

제 2 질의 요소 특징 컴포넌트(6722)에서 제 1 질의 요소(6705) 및 임의의 추가적인 특징들을 식별한 후, 선택사항으로서 결과적인 질의가 컴포넌트(6732)에서 변경 또는 확장될 수 있다. 질의 변경 또는 확장은 메타데이터 분석 컴포넌트(6714) 및 제 2 질의 요소 특징 컴포넌트(6722)에서 메타데이터로부터 추출된 특징들에 기초하여 수행될 수 있다. 또는, 질의 변경 또는 확장은 UI 상호작용 컴포넌트(6762)를 이용하여 수신된 피드백에 기초하여 수행될 수도 있다. 또한, 사용자에 의해 입력되는 추가적인 질의 입력 뿐만 아니라, 현재 또는 이전의 질의에 대한 응답 결과들에 기초하는 질의 제안들(442)을 포함할 수 있다. 또한, 선택사항으로서 확장 또는 변경된 질의는 응답 결과를 생성(6752)하는데 이용될 수 있다. 도 67에서, 결과 생성(6752)은 질의를 이용하여 데이터(예를 들어, 문서)들에 대한 특징들 및 양자들을 포함하는 데이터베이스(6775)에서 응답 문서들을 식별한다. 데이터베이스(6775)는 질의에 기초하여 응답 결과들을 식별하기 위한 반전 인덱스 또는 임의의 다른 타입의 저장 포맷을 가질 수 있다.

실시 예에 따라서, 결과 생성(6762)은 하나 이상의 유형의 결과들을 생성할 수 있다. 일부 경우에서, 하나 또는 소수의 높은 순위의 응답 결과들과 같이 가장 유망한 결과를 식별할 필요가 있다. 이는 응답(6744)으로서 제공될 수 있다. 대안으로서, 순위화된 응답 결과들의 리스팅이 이용될 수 있다. 이는 결합된 결과들(6746)의 순위화를 통해서 제공될 수 있다. 결과들의 디스플레이 및 질의 요소들의 수신을 포함하는 사용자와의 상호작용은 UI 상호작용 컴포넌트(6762)에 의해 수행될 수 있다.

도 68 내지 72는 일부 실시 예에 따라 이미지 질의 유형의 질의 요소의 이미지 특징들을 추출하는 프로세스를 도시한 예시도이다.

도 68에서는 복수의 관심 포인트(6802)를 식별하기 위해 운영자 알고리즘을 이용하여 이미지(즉, 이미지 질의 유형의 질의 요소)(6800)를 처리하는 방법이 도시된다. 운영자 알고리즘은 이미지(6800) 내에서 관심 포인트들(6802)을 식별하는 데 사용될 수 있는 임의의 이용 가능한 알고리즘을 포함한다. 일부 실시 예에서, 운영자 알고리즘은 이 분야에 공지된 바와 같은 가우스 차(difference of Gaussians) 알고리즘 또는 라플라스 알고리즘일 수 있다. 일부 실시 예에서, 운영자 알고리즘은 두 개의 차원에서 이미지(6800)를 분석하도록 구성될 수 있다. 선택적으로, 이미지(6800)가 컬러 이미지인 경우, 이미지(6800)는 그레이 스케일로 변환될 수 있다.

관심 포인트(6802)는 도 68에 도시된 바와 같이 이미지(6800) 내의 임의의 포인트는 물론, 도 69에 도시된 바와 같은 이미지(6800) 내의 구역(6902), 영역, 픽셀들의 그룹 또는 특징을 포함할 수 있다. 관심 포인트들(6802) 및 구역들(6902)은 이하에서 관심 포인트들(6802)로서 언급될 수 있으나, 관심 포인트들(6802)은 관심 포인트들(6802) 및 구역들(6902) 모두를 포함하는 것을 의미할 수 있다. 일부 실시 예에서, 관심 포인트(6802)는 안정된 이미지(6802) 내의 영역에 위치하며, 이미지(6802) 내의 특이한 또는 식별 가능한 특징을 포함할 수 있다. 예를 들어, 관심 포인트(6802)는 6802a 및 6902a에 도시된 바와 같이 특징들 간에 높은 콘트라스트를 나타내는 예리한 특징들을 가지는 이미지 내의 영역 상에 위치할 수 있다. 반대로, 관심 포인트는 6804로 지시되는 일정한 컬러 또는 그레이스케일의 구역(즉, 특이한 특징들 또는 콘트라스트를 가지지 않는 영역) 내에는 위치하지 않는다.

운영자 알고리즘은 이미지(6800) 내에서, 예를 들어, 수천 개의 관심 포인트와 같은 임의의 수의 관심 포인트(6802)를 식별할 수 있다. 관심 포인트들(6802)은 이미지(6800) 내의 포인트들(6802) 및 구역들(6902)의 조합일 수 있으며, 그 수는 이미지(6800)의 크기에 따라서 달라질 수 있다. 제 2 질의 요소 처리 컴포넌트(6712)는 관심 포인트들(6802) 각각에 대한 메트릭(metric)을 계산하고, 계산된 메트릭에 따라 관심 포인트들(6802)을 순위화할 수 있다. 메트릭은 관심 포인트(6802) 내에서의 이미지(6800)의 신호 강도 또는 신호 대 잡음 비의 척도를 포함할 수 있다. 제 2 질의 요소 처리 컴포넌트(6712)는 순위에 기초하여 추가 처리를 위해 관심 포인트들(6802)의 서브세트를 선택할 수 있다. 일부 실시 예에 따르면, 가장 높은 신호 대 잡음 비를 가지는 백 개의 관심 포인트들(6802)이 선택될 수 있다. 실시 예에 따라서 선택되는 관심 포인트들(6802)의 수는 달라질 수 있다. 다른 일부 실시 예에 따르면, 서브 세트가 선택되지 않고 모든 관심 포인트들이 추가 처리 대상이 될 수 있다.

도 70에 도시된 바와 같이, 선택된 관심 포인트들(6802)에 대응되는 패치들(patches)의 세트(7000)가 식별될 수 있다. 각각의 패치(7002)는 단일의 선택된 관심 포인트(6802)에 대응될 수 있다. 패치들(7002)은 각각의 관심 포인트(6802)를 포함하는 이미지(6800) 내의 영역을 포함할 수 있다. 이미지(6800)로부터 획득될 각각의 패치(7002)의 크기는 선택된 관심 포인트들(6802)각각에 대한 운영자 알고리즘으로부터의 출력에 기초하여 결정될 수 있다. 패치들(7002) 각각은 상이한 크기를 가질 수도 있다. 또한, 패치들(7002)에 포함되는 이미지(7002) 내의 영역들은 중복될 수도 있다. 패치들(7002)의 형상은 정사각형, 직사각형, 삼각형, 원, 타원 등을 포함하는 임의의 형상일 수 있다. 도시된 실시 예에 따른 패치들(7002)의 형상은 정사각형이다.

패치들(7002)은 도 70에 도시된 바와 같이 정규화될 수 있다. 일부 실시 예에 따르면, 패치들(7002) 각각은 동일한 크기를 가지도록 정규화될 수 있다. 패치(7002)의 크기 및/또는 해상도를 증가 또는 감소시킴으로써 패치들(7002)을 정규화할 수 있다. 다만, 이에 한정되지 아니한다. 예를 들어, 패치들(7002)은 콘트라스트 증대의 적용, 반점 제거, 선명화 및 그레이스케일 적용과 같은 하나 이상의 다른 작업을 통해서도 정규화될 수 있다.

일부 실시 예에 따르면, 각각의 정규화된 패치에 대하여 서술자가 결정될 수 있다. 서술자는 이미지 검색에 사용할 특징으로서 포함될 수 있는 패치의 서술일 수 있다. 서술자는 패치(7002) 내의 픽셀들의 통계를 산출함으로써 결정될 수 있다. 일부 실시 예에 따르면, 서술자는 패치(7002) 내의 픽셀들의 그레이스케일 기울기들의 통계에 기초하여 결정될 수 있다. 서술자는 도 71에 도시된 서술자(7102)와 같이 각각의 패치에 대한 히스토그램으로 시각적으로 표현될 수 있다(도 70에 도시된 패치들(7002)은 도 71에 유사하게 배치된 서술자들(7102)에 대응될 수 있다). 다만 이에 한정되지 아니한다. 예를 들어, 서술자는 패치 내의 픽셀들에 대한 픽셀 그레일스케일 통계를 나타내는 다차원 벡터로 서술될 수도 있다. T2S2 36-차원 벡터가 픽셀 그레이스케일 통계를 나타내는 벡터의 일 예이다.

도72에 도시된 바와 같이, 서술자 키워드(7202)와 각각의 서술자(7102)를 상관시키기 위하여 양자화 테이블(7200)이 사용될 수 있다. 양자화 테이블(7200)은 서술자들(7102)을 서술자 키워드(7202)로 맵핑하는 데 사용될 수 있는 임의의 테이블, 인덱스, 차트 또는 기타의 데이터 구조를 포함할 수 있다. 다양한 형태의 양자화 테이블(7200)이 이 분야에 공지되어 있으며, 본 발명의 실시예들에서 이용될 수 있다. 일부 실시 예에 따르면, 양자화 테이블(7200)은 많은 양의 이미지들을 처리하여 각각의 이미지에 대한 서술자들(7102)을 식별함으로써 생성될 수 있다. 이후, 식별된 서술자들(7102)은 유사한 서술자들(7102) 또는 통계학적으로 유사한 값들을 갖는 서술자들(7102)의 클러스터들 또는 그룹들을 식별하기 위하여 통계학적으로 분석될 수 있다. 예를 들어, T2S2벡터들 내의 변수들의 값들은 유사하다. 각각의 클러스터의 대표적인 서술자(7204)가 선택되고, 양자화 테이블(7200) 내의 위치는 물론, 대응되는 서술자 키워드(7202)를 할당 받을 수 있다. 서술자 키워드들(7202)은 대응되는 대표 서술자(7204)를 식별하는 임의의 원하는 지시자를 포함할 수 있다. 예를 들어, 서술자 키워드들(7202)은 도 72에 도시된 바와 같은 정수 값들, 영문자들, 수치 값들, 심볼들, 텍스트 또는 이들의 조합을 포함할 수 있다. 일부 실시예에 따르면, 서술자 키워드들(7202)은 서술자 키워드를 비텍스트 기반 검색 모드와 관련된 것으로 식별하는 문자들의 시퀀스를 포함할 수 있다. 예를 들어, 모든 서술자 키워드들은 키워드 내의 처음 4개의 문자로서 일련의 3개의 정수와 그에 이어지는 밑줄 문자를 포함할 수 있다. 또한, 이러한 최초 시퀀스는 서술자 키워드를 이미지와 관련된 것으로 식별하는 데 사용될 수 있다.

각각의 서술자(7102)에 대해, 가장 근사하게 매칭되는 대표 서술자(7204)가 양자화 테이블(7200)에서 식별될 수 있다. 예를 들어, 도 71에 도시된 서술자(7102a)는 도 9의 양자화 테이블(7200)의 대표 서술자(7202a)와 가장 근사하게 대응될 수 있다. 예를 들어, 도 71에 도시된 서술자(7102a)는 도 9의 양자화 테이블(7200)의 대표 서술자(7204a)와 가장 근사하게 대응될 수 있다. 따라서, 서술자들(7102) 각각에 대한 서술자 키워드들(7202)은 이미지(6800)와 연관될 수 있다. 예를 들어, 서술자(7102a)는 서술자 식별자(7202a) “1”에 대응될 수 있다. 이미지(6800)와 관련된 서술자 키워드들(7202)은 각각 서로 상이할 수 있으며, 서술자 키워드들(7202) 중 하나 이상은 이미지(6800)와 복수 회 연관될 수 있다. 예를 들어, 이미지(6800)는 “1, 2, 3, 4” 또는 “1, 2, 2, 3”의 서술자 키워드들을 가질 수 있다. 일부 실시 예에 따르면, 이미지의 변화와 같은 특성들을 고려하기 위하여, 서술자(7102)는 서술자(7102)에 가장 근사하게 매칭되는 둘 이상의 대표 서술자(7204) 및 이들에 대한 각각의 서술자 키워드(7202)를 식별함으로써 둘 이사으이 서술자 식별자(7202)로 맵핑될 수 있다. 이에 기초하여, 식별된 관심 포인트들(6802)의 세트를 가지는 이미지(6800)의 내용이 서술자 키워드들(7202)의 세트에 의해 표현될 수 있다.

다른 일부 실시 예에 따르면, 다른 이미지 기반 검색 방식이 검색 스킴(scheme) 내에 통합될 수 있다. 예를 들어, 얼굴 인식 방법은 다른 방식의 이미지 검색을 제공할 수 있다. 전술된 바와 같이 서술자 키워드들을 식별하는 것에 더하거나 또는 대신에, 얼굴 인식 방법을 이용하여 이미지 내의 사람들의 신원을 결정할 수 있다. 이미지 내의 사람의 신원은 검색 질의를 보완하기 위하여 이용될 수 있다. 또는, 다양한 사람들에 대한 메타데이터가 라이브러리에 포함되는 경우, 저장된 메타데이터를 이용하여 질의를 보완할 수 있다.

상기 설명은 이미지 질의 유형에 대한 검색 스킴들을 텍스트 등의 다른 검색 스킴에 적응시키기 위한 설명을 제공한다. 다른 질의 유형에 대한 검색 방법(예를 들어 오디오 질의 유형)들에 대하여 유사한 적응이 수행될 수 있다. 일부 실시 예에 따르면, 임의의 유형의 오디오 기반 검색 방법이 이용될 수 있다. 오디오 질의 유형의 질의 요소를 이용한 검색은 유사한 특성들을 가지는 오디오 파일들을 식별하는데 사용되는 하나 이상의 유형의 특징들을 이용할 수 있다. 전술된 바와 같이, 오디오 특징들은 서술자 키워드들과 상관될 수 있다. 서술자 키워드들은 키워드의 마지막 4 개의 문자를 하이픈(hyphen)에 이어지는 4개의 숫자에 대응시키는 것과 같이 키워드가 오디오 검색과 관련된다는 것을 지시하는 포맷을 가질 수 있다.

상기 기술된 실시예들에서, 질의 입력 창이 질의 요소(즉, 질의 입력)에 상응하는 디스플레이 아이템들 디스플레이하는 것으로 기술되었다. 여기서, 디스플레이 아이템은 질의 요소 자체 또는 질의 요소의 묘사(파형, 썸네일 이미지, 미리보기 이미지 등과 같은)일 수 있다. 또한, 일부 실시 예에 따르면, 제 1 질의 유형에 상응하는 제 1 디스플레이 아이템 및 제 2 질의 유형에 상응하는 제 2 디스플레이 아이템은 서로 구분되는 제 1 질의 유형 및 제 2 질의 유형과 같이 구분되어 디스플레이 될 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, RAM과 같은 휘발성 및 ROM 과 같은 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 예를 들어, 컴퓨터 저장 매체는 ROM, RAM, 플래시 메모리, CD, DVD, 자기 디스크 또는 자기 테이프 등으로 구현될 수 있다. 상기 기술된 장치들이나 디바이스들의 하나 이상의 상기 기술된 구성요소들은 하드웨어, 회로, 하나 이상의 프로세서 등을 포함할 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 장치에 있어서,
   제 1 질의 유형의 제 1 질의 입력과 제 2 질의 유형의 제 2 질의 유형을 수신하도록 구성된 적어도 하나의 입력 디바이스; 및
   상기 제 1 질의 입력에 대응되는 제 1 디스플레이 아이템 및 상기 제 2 질의 입력에 대응되는 제 2 디스플레이 아이템을 포함하는 질의 입력 창을 출력하며, 상기 수신된 제 1 질의 입력에 대한 응답으로 상기 장치를 상기 제 1 질의 유형의 제 1 질의 입력을 수신하는 제 1 상태에서 상기 제 2 질의 유형의 제 2 질의 입력을 수신하는 제 2 상태로 전환하고, 상기 제 1 질의 입력 및 상기 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 제어부를 포함하는, 장치.
   
2. 제 1 항에 있어서,
   상기 제 2 질의 유형은 오디오 질의 유형이고,
   상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제어부는 상기 제 2 질의 입력을 수신하기 위한 마이크를 활성화하도록 구성되는, 장치.
   
3. 제 1 항에 있어서,
   상기 제 2 질의 입력 유형은 이미지 질의 유형이고,
   상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제어부는 상기 제 2 질의 입력을 수신하기 위한 카메라를 활성화하도록 구성되는, 장치.
   
4. 제 1 항에 있어서,
   상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제어부는 상기 제 2 상태를 지시하는 시각적 지시자(visual indicator)를 출력하도록 구성되는, 장치.
   
5. 제 1 항에 있어서,
   상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제어부는 상기 제 2 상태를 지시하는 오디오 지시자(audio indicator)를 출력하도록 구성되는, 장치.
   
6. 제 1 항에 있어서,
   모드 전환 입력이 수신되면 그에 대한 응답으로 상기 제어부는 검색 모드를 상기 제 1 질의 입력 및 상기 제 2 질의 입력을 상기 질의 입력 창을 통해 수신하고 상기 질의를 생성하기 위해 결합하는 복합(multimodal) 입력 모드에서, 상기 질의를 생성하기 위해 하나의 질의 유형의 입력이 수신되는 단일 입력 모드로 전환하도록 구성되는, 장치.
   
7. 제 6 항에 있어서,
   상기 제어부는 단일 입력 모드에서 단일 질의 입력 창을 출력하고, 복합 입력 모드에서 상기 질의 입력 창으로서 복합 질의 입력 창을 출력하도록 구성된, 장치.
   
8. 제 1 항에 있어서,
   상기 적어도 하나의 입력 디바이스는 상기 제 1 질의 입력을 수신하도록 구성된 제 1 입력 디바이스 및 상기 제 2 질의 입력을 수신하도록 구성되며 상기 제 1 입력 디바이스와 구별되는 상기 제 2 질의 입력을 수신하도록 구성된 제 2 질의 입력 디바이스를 포함하는, 장치.
   
9. 제 1 항에 있어서,
   상기 적어도 하나의 입력 디바이스는 마이크, 터치스크린, 카메라, 및 키보드 중 적어도 하나를 포함하는, 장치.
   
10. 질의 입력 창을 디스플레이하도록 구성된 디스플레이;
    제 1 질의 유형의 제 1 질의 입력과 제 2 질의 유형의 제 2 질의 입력을 수신하도록 구성된 적어도 하나의 입력 디바이스; 및
    상기 제 1 질의 입력 및 상기 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 제어부를 포함하고,
    상기 디스플레이는 상기 질의 입력 창 내에 상기 제 1 질의 유형에 상응하는 제 1 영역 및 상기 제 2 질의 유형에 상응하는 제 2 영역을 함께 디스플레이하는, 장치.
    
11. 제 10 항에 있어서,
    상기 제어부는 상기 제 1 질의 입력의 상기 제 1 질의 유형 및 상기 제 2 질의 입력의 상기 제 2 질의 유형을 결정하도록 구성되고,
    상기 디스플레이는 상기 결정된 제 1 질의 유형에 따른 상기 제 1 영역 및 상기 결정된 제 2 질의 유형에 따른 상기 제 2 영역을 디스플레이하도록 구성된, 장치.
    
12. 제 10 항에 있어서,
    상기 제 1 영역의 위치 및 크기 중 적어도 하나는 사용자 입력에 따라서 조정 가능한, 장치.
    
13. 제 10 항에 있어서,
    상기 디스플레이는 상기 제 1 질의 입력에 상응하는 제 1 디스플레이 아이템 및 상기 제 2 질의 입력에 상응하는 제 2 디스플레이 아이템을 상기 제 1 질의 유형과 상기 제 2 질의 유형이 서로 구별되도록 함께 디스플레이하는 상기 질의 입력 창을 디스플레이하도록 구성된, 장치.
    
14. 제 1 질의 유형의 제 1 질의 입력 및 제 2 질의 유형의 제 2 질의 입력을 수신하는 단계;
    상기 제 1 질의 입력에 상응하는 제 1 영역 및 상기 제 2 질의 입력에 상응하는 제 2 영역을 포함하는 질의 입력 창을 장치를 통해서 출력하는 단계;
    수신된 제 1 질의 입력에 대한 응답으로 상기 장치를 상기 제 1 질의 유형의 상기 제 1 질의 입력을 수신하는 제 1 상태에서 상기 제 2 질의 유형의 상기 제 2 질의 입력을 수신하는 제 2 상태로 전환하는 단계; 및
    상기 제 1 질의 입력 및 상기 제 2 질의 입력에 기초한 질의에 따른 검색 결과를 획득하는 단계를 포함하는, 방법.
    
15. 제 14 항에 있어서,
    상기 수신된 제 2 질의 입력에 대한 응답으로 상기 제 2 질의 입력에 상응하는 제 2 디스플레이 아이템을 상기 제 2 영역 내에 디스플레이하고, 상기 제 1 질의 입력에 상응하는 제 1 디스플레이 아이템을 동시에 상기 제 1 영역 내에 디스플레이하는 단계를 더 포함하는, 방법.
    
16. 제 14 항에 있어서,
    상기 제 2 질의 유형은 오디오 질의 유형이고,
    상기 장치를 전환하는 단계는, 상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제 2 질의 입력을 수신하기 위한 마이크를 활성화하는 단계를 포함하는, 방법.
    
17. 제 14 항에 있어서,
    상기 제 2 질의 유형은 이미지 질의 유형이고,
    상기 장치를 전환하는 단계는, 상기 수신된 제 2 질의 입력에 대한 응답으로 상기 제 2 질의를 수신하기 위한 카메라를 활성화하는 단계를 포함하는, 방법.
    
18. 제 14 항에 있어서,
    상기 장치를 전환하는 단계는, 상기 수신된 제 1 질의 입력에 대한 응답으로 상기 제 2 상태를 지시하는 시각적 지시자 또는 오디오 지시자를 출력하는 단계를 포함하는, 방법.
    
19. 제 14 항에 있어서,
    모드 전환 입력이 수신되면 검색 모드를 상기 제 1 질의 입력 및 상기 제 2 질의 입력을 상기 질의 입력 창을 통해 수신하고 상기 질의를 생성하기 위해 결합하는 복합(multimodal) 입력 모드에서, 상기 질의를 생성하기 위해 하나의 질의 유형의 입력이 수신되는 단일 입력 모드로 전환하는 단계를 더 포함하는, 방법.
    
20. 제 14 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images