KR101659063B1 - Apparatus and method for providing searching service - Google Patents

Apparatus and method for providing searching service Download PDF

Info

Publication number
KR101659063B1
KR101659063B1 KR1020160006856A KR20160006856A KR101659063B1 KR 101659063 B1 KR101659063 B1 KR 101659063B1 KR 1020160006856 A KR1020160006856 A KR 1020160006856A KR 20160006856 A KR20160006856 A KR 20160006856A KR 101659063 B1 KR101659063 B1 KR 101659063B1
Authority
KR
South Korea
Prior art keywords
search
search interface
display
interface
recognition
Prior art date
Application number
KR1020160006856A
Other languages
Korean (ko)
Other versions
KR20160017652A (en
Inventor
서현주
박마리아
김여래
임정훈
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020160006856A priority Critical patent/KR101659063B1/en
Publication of KR20160017652A publication Critical patent/KR20160017652A/en
Application granted granted Critical
Publication of KR101659063B1 publication Critical patent/KR101659063B1/en

Links

Images

Classifications

    • G06F17/30864—
    • G06F17/30681—
    • G06F17/30879—
    • G06F17/30964—
    • G06F17/30973—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

검색 서비스 제공 장치 및 방법이 개시된다. 컴퓨터로 구현되는 전자 기기와 결합되어 검색 서비스 제공 방법을 실행시키기 위해 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 검색 서비스 제공 방법은, 디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 단계; 상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력을 수신하는 단계; 상기 수신된 터치 입력에 의해, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션을 감지하는 단계; 및 상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 단계를 포함하고, 상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며, 상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는 것을 특징으로 하는 컴퓨터 프로그램을 제공한다.A search service providing apparatus and method are disclosed. A computer program recorded on a recording medium for executing a search service providing method in combination with a computer-implemented electronic apparatus, the method comprising: providing a first search interface corresponding to a text-based search on a display, Displaying a browsing area for displaying the contents of the browsing area; Receiving a user's touch input to the display during the first search interface display; Sensing a calling interaction with a second search interface corresponding to the recognition search by the received touch input; And displaying the second search interface on the display, wherein the second search interface includes a graphical user interface for each of a plurality of types of recognition-based searches, Wherein the first search interface, the second search interface and the browsing area are displayed together on the display.

Description

검색 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING SEARCHING SERVICE}[0001] APPARATUS AND METHOD FOR PROVIDING SEARCHING SERVICE [0002]

검색 서비스를 제공하는 장치 및 방법에 연관되며, 보다 특정하게는 모바일 단말을 위해 다양한 서비스를 제공하는 검색 서비스 어플리케이션을 포함한 단말 장치 및 그 구동 방법에 연관된다.The present invention relates to a device and method for providing a search service, and more particularly to a terminal device including a search service application that provides various services for a mobile terminal and a method of driving the same.

사용자 경험(User eXperience: UX)은 사용자가 제품과 서비스, 그리고 그것을 제공하는 주체와 상호작용하면서 경험하게 되는 모든 경험의 총 합으로 일컬어진다. 이러한 사용자 경험은 사용자에게 직관적인 조작이 가능하며 빠르고 편리한 기능적 시각적 디자인을 제공할 수 있다.User experience (UX) is referred to as the total sum of all experience that a user experiences as interacting with a product, a service, and the subject it provides. This user experience can provide intuitive manipulation to the user and provide fast and convenient functional visual design.

특히, 근래에 스마트폰을 비롯하여 태블릿 PC 등 터치 감지 디스플레이를 포함한 정보통신(IT) 단말들이 보급됨에 따라, 검색 서비스 등을 제공하는 어플리케이션을 제공자는 사용자 경험을 고려하여 어플리케이션의 기능을 디자인하고 있다.Especially, recently, information communication (IT) terminals including smart phones and tablet PCs including touch-sensitive displays have been popularized. Accordingly, an application providing a search service and the like has been designed in consideration of a user's experience.

한편, 근래에는 영상(image) 인식이나 음성(voice) 인식, 또는 음악(music) 인식 등을 이용한 진보된 검색이 제공되고 있다.Meanwhile, in recent years, advanced search using image recognition, voice recognition, music recognition, or the like has been provided.

영상 인식에 기반한 검색에는 QR코드나 바코드 인식 검색, 문자 인식(OCR) 검색, 와인 라벨 등을 인식하는 이미지 검색 등이 있으며, 문자 인식 검색을 보조하기 위해서 문자 주변에 특정한 프레임을 배치하는 등의 툴(tool)이 활용되기도 한다.Image recognition-based search includes QR code, barcode recognition search, OCR search, image label recognition, etc. In order to assist in character recognition search, a tool such as placing a specific frame around a character tools are used.

또한, 음성 인식 기반 검색은 입력 음성 신호에 음성 인식 알고리즘을 적용하여 텍스트를 추출한 다음 키워드로 활용하는 등의 방법을 이용하고, 음악 인식 기반 검색은 입력 음악 신호로부터 특징(feature) 분석을 수행하는 방법을 이용한다.In addition, the speech recognition based retrieval uses a method of extracting text by applying a speech recognition algorithm to the input speech signal and then using it as a keyword, and the music recognition based retrieval is a method of performing feature analysis from an input music signal .

사용자 경험을 효율적이고 편리하게 제공하는 검색 서비스 제공 장치 및 방법이 제공된다.An apparatus and method for providing a search service that provides a user experience efficiently and conveniently is provided.

인식 검색의 노출을 증가시켜 인식 검색 서비스의 이용을 유도할 수 있는 검색 서비스 제공 장치 및 방법이 제공된다.There is provided an apparatus and method for providing a search service capable of increasing the exposure of recognition search to induce the use of the recognition search service.

인식 검색 서비스와 통상의 텍스트 기반 검색 서비스 사이의 전환이 직관적이고 빠르게 제공되는 검색 서비스 제공 장치 및 방법이 제공된다.There is provided an apparatus and method for providing a search service in which a conversion between a recognition search service and a normal text based search service is intuitively and quickly provided.

컴퓨터로 구현되는 전자 기기와 결합되어 검색 서비스 제공 방법을 실행시키기 위해 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 검색 서비스 제공 방법은, 디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 단계; 상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력을 수신하는 단계; 상기 수신된 터치 입력에 의해, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션을 감지하는 단계; 및 상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 단계를 포함하고, 상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며, 상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는 것을 특징으로 하는 컴퓨터 프로그램을 제공한다.A computer program recorded on a recording medium for executing a search service providing method in combination with a computer-implemented electronic apparatus, the method comprising: providing a first search interface corresponding to a text-based search on a display, Displaying a browsing area for displaying the contents of the browsing area; Receiving a user's touch input to the display during the first search interface display; Sensing a calling interaction with a second search interface corresponding to the recognition search by the received touch input; And displaying the second search interface on the display, wherein the second search interface includes a graphical user interface for each of a plurality of types of recognition-based searches, Wherein the first search interface, the second search interface and the browsing area are displayed together on the display.

프로세서를 포함하는 단말 장치에서 실행되는, 검색 서비스를 제공하는 어플리케이션을 수록한 컴퓨터 판독 가능 기록 매체에 있어서, 상기 어플리케이션은, 디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 코드; 및 상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력에 의하여, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션이 감지되는 경우, 상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 코드를 포함하고, 상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며, 상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는, 컴퓨터 판독 가능 기록 매체를 제공한다.A computer-readable recording medium embodying an application for providing a search service, which is executed in a terminal apparatus including a processor, the application comprising: a first search interface corresponding to a text-based search on a display; A code for displaying a browsing area for display; And a code for displaying the second search interface on the display when a call interaction for a second search interface corresponding to the recognition search is detected by the user's touch input to the display during the first search interface display Wherein the second search interface includes a graphical user interface for each of a plurality of types of awareness-based searches, wherein the second search interface is displayed as the first search interface, the second search interface, Are displayed together on the display.

컴퓨터로 구현되는 검색 서비스 제공 방법으로서, 디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 단계; 상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력을 수신하는 단계; 상기 수신된 터치 입력에 의해, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션을 감지하는 단계; 및 상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 단계를 포함하고, 상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며, 상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는, 검색 서비스 제공 방법을 제공한다.A computer-implemented method of providing a search service, comprising: displaying a first search interface corresponding to a text-based search on a display and a browsing area for displaying at least one content; Receiving a user's touch input to the display during the first search interface display; Sensing a calling interaction with a second search interface corresponding to the recognition search by the received touch input; And displaying the second search interface on the display, wherein the second search interface includes a graphical user interface for each of a plurality of types of recognition-based searches, Wherein the first search interface and the second search interface and the browsing area are displayed together on the display.

본 발명의 실시예들에 따르면, 검색 서비스 제공에 있어서 사용자 경험(UX)이 효율적이고 편리하게 극대화 된다.According to embodiments of the present invention, the user experience (UX) in providing search services is efficiently and conveniently maximized.

또한, 인식 검색의 노출을 증가시켜 인식 검색 서비스의 이용이 유도될 수 있으며, 인식 검색 서비스와 통상의 텍스트 기반 검색 서비스 사이의 전환이 직관적이고 빠르게 제공될 수 있다.In addition, the use of the recognition search service can be induced by increasing the exposure of the recognition search, and the transition between the recognition search service and the normal text-based search service can be intuitively and quickly provided.

도 1은 본 발명의 일실시예에 따른 검색 서비스 제공 단말 장치를 도시한다.
도 2는 도 1의 단말 장치의 터치 감지 디스플레이 상에 복수 개의 어플리케이션 그래픽 유저 인터페이스(GUI)가 표시된 모습을 도시한다.
도 3은 본 발명의 일실시예에 따른 검색 서비스 제공 어플리케이션 실행 시의 화면 구성을 도시한다.
도 4는 본 발명의 일실시예에 따라 통상의 텍스트 기반 검색을 제공할 수 있는 인앱 화면 구성을 도시한다.
도 5는 본 발명의 일실시예에 따라 사용자의 터치 입력에 의해 인식 검색 호출 인터랙션이 수신되는 모습을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따라 도 5에서 설명된 인식 검색 호출 인터랙션에 대응하여 인식 검색 인터페이스가 풀다운 되는 모습을 도시한다.
도 7은 본 발명의 일실시예에 따라 사용자 쿼리에 대한 검색 결과를 인웹에서 제공하는 모습을 도시한다.
도 8은 본 발명의 일실시예에 따라 도 7의 인웹을 가로 모드로 전환한 모습을 도시한다.
도 9는 본 발명의 일실시예에 따라 도 8에서 사용자의 터치 입력에 의해 인식 검색 호출 인터랙션이 수신되는 경우 처리 결과를 도시 한다.
도 10 및 도 11은 본 발명의 일실시예에 따른 인식 검색 중 코드 검색 과정을 도시한다.
도 12 및 도 13은 본 발명의 일실시예에 따른 인식 검색 중 음성 검색 과정을 도시한다.
도 14 및 도 15는 본 발명의 일실시예에 따른 인식 검색 중 음악 검색 과정을 도시한다.
도 16 및 도 17은 본 발명의 일실시예에 따른 인식 검색 중 와인 라벨 인식 검색 과정을 도시한다.
도 18 내지 도 21은 본 발명의 일실시예에 따른 인식 검색 중 일본어 인식 검색 과정을 도시한다.
도 22 및 도 23은 본 발명의 일실시예에 따른 인식 검색 중 그린윈도우 검색™ 과정을 도시한다.
도 24는 본 발명의 일실시예에 따른 어플리케이션을 설명하기 위한 흐름도이다.FIG. 1 illustrates a search service providing terminal according to an embodiment of the present invention.
FIG. 2 shows a plurality of application graphic user interfaces (GUI) displayed on the touch-sensitive display of the terminal device of FIG.
FIG. 3 shows a screen configuration at the time of executing a search service providing application according to an embodiment of the present invention.
Figure 4 illustrates an in-app screen configuration that may provide conventional text-based searches in accordance with an embodiment of the present invention.
5 is a conceptual diagram for explaining how a recognition search call interaction is received by a touch input of a user according to an embodiment of the present invention.
FIG. 6 illustrates that the recognition search interface is pulled down corresponding to the recognition search call interaction described in FIG. 5 in accordance with an embodiment of the present invention.
FIG. 7 illustrates a search result for a user query in an in-web according to an embodiment of the present invention.
FIG. 8 shows a state in which the in-web of FIG. 7 is switched to the landscape mode according to an embodiment of the present invention.
FIG. 9 illustrates a process result when a recognition search call interaction is received by a user's touch input in FIG. 8 according to an embodiment of the present invention.
10 and 11 illustrate a code search process during recognition search according to an embodiment of the present invention.
12 and 13 illustrate a voice search process during recognition search according to an embodiment of the present invention.
FIGS. 14 and 15 illustrate a music search process during recognition search according to an embodiment of the present invention.
16 and 17 illustrate a wine label recognition search process during recognition search according to an embodiment of the present invention.
18 to 21 illustrate a Japanese recognition search process during recognition search according to an embodiment of the present invention.
FIG. 22 and FIG. 23 show a process of searching for a green window during recognition search according to an embodiment of the present invention.
24 is a flowchart illustrating an application according to an embodiment of the present invention.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 검색 서비스 제공 단말 장치를 도시한다.FIG. 1 illustrates a search service providing terminal according to an embodiment of the present invention.

단말 장치(100)는 스마트폰, 태블릿 PC 등의 다양한 정보통신 기기일 수 있다. 그리고, 본 발명의 일실시예에 따르면, 단말 장치(100)에는 유저 인터페이스를 제공하는 수단으로서 터치 감지 디스플레이(110)가 포함된다.The terminal device 100 may be various information communication devices such as a smart phone, a tablet PC, and the like. According to an embodiment of the present invention, the terminal device 100 includes a touch-sensitive display 110 as means for providing a user interface.

본 발명의 실시예들에 따르면, 메모리(130)에 저장된 어플리케이션을 프로세서(120)가 구동하여 터치 감지 디스플레이(110) 상에서 검색 서비스 어플리케이션을 시각화(render) 한다.According to embodiments of the present invention, the processor 120 is driven by the application stored in the memory 130 to render the search service application on the touch-sensitive display 110.

프로세서(120)가 메모리(130)의 어플리케이션을 구동하여 본 발명의 다양한 실시예들에 따른 검색 서비스를 제공하는 과정이 도 2 내지 도 24를 참조하여 이하에서 상술된다.The process by which the processor 120 drives an application of the memory 130 to provide a search service in accordance with various embodiments of the present invention is described below with reference to Figures 2 to 24. [

도 2는 도 1의 단말 장치(100)의 터치 감지 디스플레이(110) 상에 복수 개의 어플리케이션 그래픽 유저 인터페이스(GUI)가 표시된 모습을 도시한다.FIG. 2 shows a plurality of application graphic user interfaces (GUI) displayed on the touch-sensitive display 110 of the terminal device 100 of FIG.

어플리케이션을 실행하기 위한 그래픽 유저 인터페이스들 중 본 발명의 일실시예에 따른 검색 서비스 제공 어플리케이션을 실행하기 위한 그래픽 유저 인터페이스(210)가 포함되어 있다.A graphical user interface 210 for executing a search service providing application according to an embodiment of the present invention among graphic user interfaces for executing an application is included.

사용자가 터치 감지 디스플레이(110)에 대한 터치 입력 등으로 그래픽 유저 인터페이스(210)을 선택하는 경우, 본 발명의 일실시예에 따른 검색 서비스 제공 어플리케이션이 시작된다.When a user selects the graphical user interface 210 with a touch input or the like for the touch-sensitive display 110, a search service providing application according to an embodiment of the present invention starts.

보다 상세한 어플리케이션 구동 화면 및 동작은 도 3 이하를 참조하여 후술한다.More detailed application driving screens and operations will be described later with reference to FIG. 3 and the following.

도 3은 본 발명의 일실시예에 따른 검색 서비스 제공 어플리케이션 실행 시의 화면 구성(300)을 도시한다.FIG. 3 shows a screen configuration 300 at the time of executing a search service providing application according to an embodiment of the present invention.

본 발명의 일실시예에 따르면, 검색 서비스 제공 어플리케이션은 인식 검색과 통상의 텍스트 기반 검색을 모두 제공할 수 있으며, 사용자 선택에 의해 이 중 어느 하나가 검색 서비스 제공을 위한 쿼리 수신에 이용된다.According to an embodiment of the present invention, the search service providing application can provide both the recognition search and the normal text-based search, and one of them is used for query reception for providing the search service by user selection.

그런데, 사용자들 중에 인식 검색 서비스가 제공될 수 있다는 사실을 잘 인지하지 못하거나, 또는 인식 검색 서비스 인터페이스가 직관적이고 직접적으로 발견되지 않아서 인식 검색 서비스의 활용도가 낮은 현상이 있다. 그리고, 검색 서비스를 제공하는 상기 어플리케이션 제작/배포 주체로서는 인식 검색 서비스 활용도를 높일 필요성을 인지하고 있다.However, there is a phenomenon in which users are not well aware of the fact that the recognition search service can be provided, or the recognition search service is not directly and intuitively found. Further, the application production / distribution subject providing the search service recognizes the necessity of increasing the utilization of the recognition search service.

따라서, 본 발명의 일실시예에 따르면, 어플리케이션이 처음으로 단말 장치(100)에 설치되거나(installed), 또는 업데이트되는(updated) 경우, 화면 구성(300) 내에 인식 검색 인터페이스(310)을 통상의 텍스트 기반 검색 인터페이스(320)과 함께 제공할 수 있다.Thus, according to one embodiment of the present invention, when the application is installed or updated in the terminal device 100 for the first time, Based search interface 320. The text-

이 경우, 서비스 제공 서버(도시되지 않음)로부터 포워딩되는 컨텐츠 또는 상기 인식 검색 인터페이스(310) 및/또는 상기 텍스트 기반 검색 인터페이스(320)을 이용한 검색 결과를 제공할 수 있는 브라우징 영역(330)이 함께 제공될 수 있는데, 본 발명의 일실시예에 따르면 이 브라우징 영역(330)은 도시된 바와 같이 디밍된(dimmed) 상태로 제공될 수 있다.In this case, the content to be forwarded from the service providing server (not shown) or the browsing area 330 that can provide the search results using the recognition search interface 310 and / or the text-based search interface 320 together In accordance with an embodiment of the present invention, the browsing area 330 may be provided in a dimmed state as shown.

이러한 화면 구성(300)에서, 사용자가 인식 검색을 위한 GUI들(211 내지 216) 중 어느 하나를 터치 입력하는 경우, 해당 인식 검색이 수행되며, 인식 검색 수행 과정에 대해서는 도 10 내지 도 23을 참조하여 보다 상세히 후술한다.In this screen configuration 300, when the user touches any one of the GUIs 211 to 216 for recognition search, the corresponding recognition search is performed, and the recognition search performing process is described with reference to FIGS. 10 to 23 Will be described later in more detail.

참고로, 본 도면 및 명세서에서는 인식 검색의 예로, GUI(211 내지 216)의 각각에 대응하는 바코드(1차원 바코드 및 2차원 QR 코드 등을 포함하는 개념으로, 단순히 '코드'라고도 함) 검색, 음성 검색, 음악 검색, 와인 라벨 검색, 일본어 검색 및 그린윈도우TM 검색 등이 예시적으로 열거되나, 본 발명은 이에 한정되지 않는다. 따라서 본 발명의 사상을 변경하지 않는 범위에서 인식 검색의 종류나 형태, 그리고 구체적인 GUI의 디자인은 얼마든지 변경될 수 있다.For reference, in this drawing and specification, examples of recognition search include a bar code corresponding to each of the GUIs 211 to 216 (a concept including a one-dimensional bar code and a two-dimensional QR code, simply referred to as a "code" Voice search, music search, wine label search, Japanese search, and Green Windows TM search are exemplarily listed, but the present invention is not limited thereto. Therefore, the type and form of recognition search and the design of a concrete GUI can be changed without changing the idea of the present invention.

도 4는 본 발명의 일실시예에 따라 통상의 텍스트 기반 검색을 제공할 수 있는 인앱 화면 구성(400)을 도시한다.FIG. 4 illustrates an in-app screen configuration 400 that may provide conventional text-based searches in accordance with an embodiment of the present invention.

인앱(in-App)은 어플리케이션의 약자인 앱(App)의 변형어로서, 어플리케이션 구동 중에 다양한 서비스를 제공하는 범용 내비게이팅 바(GNB)를 포함하여 컨텐츠를 제공하는 브라우징 영역(420)과 텍스트 검색 인터페이스(410) 등을 제공하는 어플리케이션 구성을 의미한다.The in-app (in-App) is a variant of an application (App) which is an abbreviation of an application. The in-app includes a browsing area 420 for providing contents including a general purpose navigating bar (GNB) Interface 410, and the like.

이러한 인앱 화면 구성(400)이 제공되고 있는 중에, 사용자가 인식 검색 인터페이스를 호출하고자 하는 경우가 도 5를 참조하여 설명된다.While this in-app screen configuration 400 is being provided, the case where the user desires to call the recognition search interface will be described with reference to FIG.

도 5는 본 발명의 일실시예에 따라 사용자의 터치 입력에 의해 인식 검색 호출 인터랙션이 수신되는 모습을 설명하기 위한 개념도(500)이다.FIG. 5 is a conceptual diagram 500 illustrating how a recognition search call interaction is received by a user's touch input according to an embodiment of the present invention.

터치 감지 디스플레이 상에서 사용자가 디스플레이를 터치한 다음 소정의 방향으로 드래그(drag) 입력을 하는 제스쳐 입력(510)을 주는 경우, 본 발명의 일실시예에 따른 단말 장치(100)는 이를 인식 검색 호출 인터랙션으로 판단하여 인식 검색 인터페이스 제공을 시작한다. 보다 상세한 과정은 도 6을 참조하여 후술한다.When the user touches the display on the touch-sensitive display and then gives a gesture input 510 for dragging in a predetermined direction, the terminal device 100 according to the embodiment of the present invention transmits the gesture input 510 to the recognition- And starts providing the recognition search interface. A more detailed process will be described later with reference to FIG.

도 6은 본 발명의 일실시예에 따라 도 5에서 설명된 인식 검색 호출 인터랙션에 대응하여 인식 검색 인터페이스가 풀다운 되는 모습을 도시한다.FIG. 6 illustrates that the recognition search interface is pulled down corresponding to the recognition search call interaction described in FIG. 5 in accordance with an embodiment of the present invention.

화면 구성(600)은, 상기 인식 검색 호출 인터랙션에 따라 단말 장치(100)의 프로세서(120)가 터치 감지 디스플레이(110) 상에 과도적인 트랜지션 애니매이션을 렌더하는 과정을 도시한다.The screen configuration 600 illustrates the process 120 of the terminal device 100 renders a transitional transition animation on the touch-sensitive display 110 according to the recognition search call interaction.

인식 검색 인터페이스(610)는 도 5에서는 숨겨져(hiding) 있었으나, 상기 인식 검색 호출 인터랙션의 수신에 따라, 사용자 드래그를 따라 풀다운(pull-down) 되고 있다.The recognition search interface 610 has been hiding in FIG. 5, but is being pulled down along with user dragging upon receipt of the recognition search call interaction.

참고로 본 명세서에서 풀다운(pull-down)은 사용자의 드래그(drag) 인터랙션(interaction)에 따라 숨겨져 있던 영역이 드러나게 되는 시각화 처리를 의미하며, 드롭다운(drop-down)은 아래방향 화살표나 특정 버튼을 누름으로써 숨겨져 있던 영역이 드러나게 되는 시각화 처리를 의미한다.In this specification, pull-down refers to a visualization process in which a hidden area is revealed according to a user's drag interaction, and a drop-down refers to a downward arrow or a specific button The hidden area is revealed by pressing the button.

이하에서는 풀다운의 경우만을 예를 들어서 본 발명의 실시예들을 설명하고 드롭다운의 경우는 설명하지 않으나, 풀다운의 실시예들은 본 발명의 사상을 벗어나지 않는 범위에서 드롭다운의 실시예로 대체될 수 있다.Embodiments of the present invention will now be described, by way of example only, with respect to pulldown, and not to the case of drop down, but embodiments of the pull down can be replaced by embodiments of drop down, without departing from the spirit of the present invention .

이 경우, 통상의 텍스트 기반 검색 인터페이스(620)은 인식 검색 인터페이스(610)의 풀다운과 함께 아래로 이동될 수 있으며, 브라우징 영역(630)은 어둡게 디밍(dimming) 처리되면서 점점 축소(shrink)될 수 있다. 그러다가 이러한 트랜지션 애니매이션이 모두 완료된 후에는 상기 도 3과 같은 화면 구성(300)이 된다.In this case, the normal text-based search interface 620 may be moved down with the pull-down of the recognition search interface 610, and the browsing area 630 may be shrinked while darkly dimming have. After completion of the transition animation, the screen configuration 300 shown in FIG. 3 is obtained.

다만, 본 발명의 일실시예에 따르면, 소정의 임계치, 이를테면 인식 검색 인터페이스(610)의 노출 부분이 전체 부분의 1/4, 미만에서 드래그 입력이 중단되어 인식 검색 인터페이스(610)가 릴리즈(release)되면, 이러한 트랜지션 애니매이션은 롤백(roll-back)되어 다시 도 5와 같은 상태로 복귀될 수 있다.However, according to an embodiment of the present invention, when a predetermined threshold, for example, when the exposed portion of the recognition search interface 610 is less than 1/4 of the entire portion, the drag input is interrupted and the recognition search interface 610 releases ), The transition animation can be rolled back and returned to the state shown in FIG. 5 again.

마찬가지로, 이러한 트랜지션 애니매이션이 상기 임계치 이상 진행되었을 때 인식 검색 인터페이스(610)가 릴리즈 되면 상기 애니매이션이 마저 진행하여 바로 도 3의 화면 구성(300)의 결과가 될 수도 있다.Likewise, if the transition animation is advanced beyond the threshold value, if the recognition search interface 610 is released, the animation may proceed to result in the screen configuration 300 of FIG. 3 as well.

도 7은 본 발명의 일실시예에 따라 사용자 쿼리에 대한 검색 결과를 인웹에서 제공하는 모습을 도시한다.FIG. 7 illustrates a search result for a user query in an in-web according to an embodiment of the present invention.

상술한 인앱(in-App)에 대비되는 개념으로, 도 7에서는 인웹(in-Web) 화면 구성(700)이 도시되었다. 인웹은 어플리케이션 수행 중의 범용 브라우징을 제공하는 어플리케이션 내의 브라우저를 의미한다.In contrast to the in-app described above, an in-web screen configuration 700 is shown in FIG. An in-web refers to a browser in an application that provides general-purpose browsing during application execution.

도 7에 도시된 인웹에서는 통상의 텍스트 기반 검색을 위한 검색창 등의 인터페이스(710)이 브라우징 영역(720) 및 컨트롤 바(730)과 함께 제시될 수 있다.7, an interface 710, such as a search window for normal text-based search, may be presented along with a browsing region 720 and a control bar 730.

이러한 인웹 수행 중에는 단말 장치(100)에 가해지는 중력 방향을 감지하여 가로 보기 모드를 지원할 수도 있는데, 이러한 모습이 도 8에 도시된다.During this in-web execution, the gravity direction applied to the terminal device 100 may be sensed to support the landscape view mode, as shown in FIG.

도 8은 본 발명의 일실시예에 따라 도 7의 인웹을 가로 모드로 전환한 모습을 도시한다.FIG. 8 shows a state in which the in-web of FIG. 7 is switched to the landscape mode according to an embodiment of the present invention.

화면 구성(800)에서는 도 7의 화면 구성(700)이 가로 보기 모드로 확대된 모습이 도시되어 있다.In the screen configuration 800, the screen configuration 700 of FIG. 7 is enlarged in the landscape view mode.

그런데, 본 발명의 일실시예에 따르면, 이러한 인웹 가로보기 상태에서도 인식 검색 호출 인터랙션(810)이 수신되어 처리될 수 있다. 이러한 인식 검색 호출 인터랙션이 터치 감지 디스플레이에 대한 터치 앤드 드래그 입력일 수 있는 것은 도 5에서 설명한 바와 같다. 이 경우의 처리 결과가 도 9에서 도시된다.However, according to an embodiment of the present invention, the recognition search call interaction 810 can be received and processed even in the in-web landscape view state. This aware search call interaction can be a touch and drag input to the touch sensitive display as described in FIG. The result of the processing in this case is shown in Fig.

도 9는 본 발명의 일실시예에 따라 도 8에서 사용자의 터치 입력에 의해 인식 검색 호출 인터랙션(810)이 수신되는 경우 처리 결과를 도시 한다.FIG. 9 shows a processing result when the recognition search call interaction 810 is received by the user's touch input in FIG. 8 according to an embodiment of the present invention.

화면 구성(900)을 참조하면, 가로 보기 중의 임웹 화면 구성(800)에 인식 검색 인터페이스(910)이 제공되고, 통상의 텍스트 기반 검색 인터페이스(920)는 아래로 밀려서 제공되며, 브라우징 영역(930)은 디밍 처리되어 있다.Referring to the screen configuration 900, a recognition search interface 910 is provided in the imeWeb screen configuration 800 in landscape view, a normal text-based search interface 920 is pushed down, Is dimmed.

이러한 점은 도 3의 인앱 구성에서의 인식 검색 인터페이스 노출 화면 구성(300)과 유사하다. 다만, 인웹은 인앱과는 달리 가로 보기 모드를 지원하기 때문에 화면 구성(900)은 가로 보기 모드로 구성되는 특징이 있다.This is similar to the recognition search interface exposure screen configuration 300 in the in-app configuration of FIG. However, since the in-web supports the landscape view mode, unlike the in-app, the screen configuration 900 has a feature of being configured in the landscape view mode.

본 발명의 다른 실시예에서는 설정에 따라 인앱에서도 가로 보기 모드가 지원될 수 있다.In another embodiment of the present invention, the landscape view mode may be supported in the In-App according to the setting.

이하에서는 도 10 내지 도 23을 참조하여, 인식 검색 인터페이스(910 또는 도 3의 310) 내의 GUI들 각각에 대응하는 인식 검색 서비스의 예들을 설명한다.Hereinafter, referring to Figs. 10 to 23, examples of the recognition search service corresponding to each of the GUIs in the recognition search interface 910 (or 310 in Fig. 3) will be described.

도 10 및 도 11은 본 발명의 일실시예에 따른 인식 검색 중 코드 검색 과정을 도시한다.10 and 11 illustrate a code search process during recognition search according to an embodiment of the present invention.

코드 검색 과정은 도 3의 GUI(211)의 터치에 대응할 수 있다.The code search process may correspond to the touch of the GUI 211 in Fig.

사용자가 단말 장치(100)의 내장 카메라를 이용하여 코드를 촬영하여 인식 영역(1010) 내에 상기 코드가 위치하도록 하면 어플리케이션은 상기 코드를 식별 및 디코딩하여 텍스트 정보로 추출해 낸다.When a user photographs a code using the built-in camera of the terminal device 100 and places the code in the recognition area 1010, the application identifies and decodes the code and extracts the code as text information.

이 과정에서 인스턴트 촬영에 의하지 않고 미리 촬영된 이미지를 로드해서 인식하고자 하면 사진 앨범 호출 버튼(1020)을 이용할 수 있으며, 주변이 어두운 경우 플래시 조작 버튼(1030)을 통해 단말 장치(100)에 내장된 플래시를 결 수 있다.In this process, the user can use the photo album call button 1020 to load and recognize the image photographed in advance, instead of the instant photography. When the surroundings are dark, the user can use the flash operation button 1030 Flash can be disconnected.

이러한 코드 검색 결과가 도 11에 도시되었다.This code search result is shown in Fig.

도 12 및 도 13은 본 발명의 일실시예에 따른 인식 검색 중 음성 검색 과정을 도시한다.12 and 13 illustrate a voice search process during recognition search according to an embodiment of the present invention.

음성 검색 과정은 도 3의 GUI(212)의 터치에 대응할 수 있다.The voice search process may correspond to the touch of the GUI 212 in Fig.

화면 구성(1200)에서, 음성 검색은 사용자가 음성 입력 시작 버튼(1210)을 터치한 후에 단말 장치(100)에 내장된 마이크를 통해 음성을 입력하여 수행된다. 음성 검색에 대한 안내는 지시 영역(1220)에 제공될 수 있다.In the screen configuration 1200, the voice search is performed by the user inputting the voice through the microphone built in the terminal device 100 after touching the voice input start button 1210. [ Guidance for voice search may be provided in the indication area 1220. [

이러한 음성 입력이 있은 후에 음성 인식 알고리즘이 단말 장치(100) 단에서 또는 네트워크에 연결된 서버 단에서 구동되어 역시 텍스트 쿼리가 도출될 수 있고, 그 검색 결과가 도 13에 도시되었다.After this voice input, a voice recognition algorithm is driven at the terminal device 100 or at a server terminal connected to the network, so that a text query can also be derived, and the search result is shown in FIG.

도 13에서는 본 발명의 일실시예에 따라 통상의 텍스트 기반 검색 인터페이스와 함께 음성 검색 GUI(1310)이 제공되는 모습을 도시한다. 이처럼, 본 발명의 일실시예에 따른 인식 검색 인터페이스 GUI들 중 적어도 일부는 텍스트 검색 인터페이스와 함께 결합되어 제공될 수도 있다.FIG. 13 illustrates a voice search GUI 1310 provided with a conventional text-based search interface in accordance with an embodiment of the present invention. As such, at least some of the recognition search interface GUIs according to an embodiment of the present invention may be provided in combination with the text search interface.

도 14 및 도 15는 본 발명의 일실시예에 따른 인식 검색 중 음악 검색 과정을 도시한다.FIGS. 14 and 15 illustrate a music search process during recognition search according to an embodiment of the present invention.

음악 검색 과정은 도 3의 GUI(213)의 터치에 대응할 수 있다.The music search process may correspond to the touch of the GUI 213 in Fig.

음악 검색 과정은 도 12 내지 도 13을 통해 설명한 음성 검색과 유사하나, 음성 인식 알고리즘과는 상이할 수 있는 음악 인식 알고리즘을 활용하는 데에 차이가 있다.The music search process is similar to the voice search described with reference to FIGS. 12 to 13, but differs in utilizing a music recognition algorithm that may be different from the voice recognition algorithm.

화면구성(1400) 제공 이후의 구체적인 동작에 있어서 음악 입력 시작 버튼(1410), 지시 영역(1420)은 음성 검색에 대한 도 12에서와 유사하다.In the specific operation after the screen configuration 1400 is provided, the music input start button 1410 and the indication area 1420 are similar to those in Fig. 12 for voice search.

그리고, 음악 검색 결과는 도 15와 같이 제공되며, 검색 결과 도출된 음악을 제공할 수 있는 다양한 응용 서비스, SNS 서비스나 외부 어플리케이션으로 연결하도록 하는 메뉴들 및 가사, 앨범 등 부가 정보 등의 제공이 이루어질 수 있다.The music search result is provided as shown in FIG. 15, and various application services capable of providing music derived from the search result, menus for connecting to an SNS service or an external application, and additional information such as lyrics and albums are provided .

도 16 및 도 17은 본 발명의 일실시예에 따른 인식 검색 중 와인 라벨 인식 검색 과정을 도시한다.16 and 17 illustrate a wine label recognition search process during recognition search according to an embodiment of the present invention.

와인 라벨 인식 검색 과정은 도 3의 GUI(214)의 터치에 대응할 수 있다.The wine label recognition search process may correspond to the touch of the GUI 214 in Fig.

화면 구성(1600)에서 인식 영역(1610)에 와인 라벨이 촬영되는 점이 특이점이나, 내용은 일반적인 이미지 검색과 동일하고, 이미지 검색 대상 DB가 와인 관련 데이터에 한정되는 점에 차이가 있다.The wine label is photographed in the recognition area 1610 in the screen configuration 1600, but the content is the same as general image search, and the image search target DB is limited to wine related data.

사진 앨범에서 촬영된 이미지를 로드하는 버튼(1620)이나 플래시 동작 버튼(1630)에 대한 내용은 도 10을 참조하여 상술한 코드 검색과 유사하다.The contents of the button 1620 for loading an image photographed in the photo album or the flash operation button 1630 are similar to the code search described above with reference to Fig.

도 17에서는 와인 라벨 검색의 결과가 도시되었으며, 와인 가격 등 구매 정보가 제공될 수 있으며, 도시되지는 않았으나, 바로가기 쇼핑을 연결하는 것도 가능하다.In FIG. 17, the result of the wine label search is shown, purchase information such as the wine price can be provided, and it is also possible to connect the shortcut shopping although it is not shown.

도 18 내지 도 21은 본 발명의 일실시예에 따른 인식 검색 중 일본어 인식 검색 과정을 도시한다.18 to 21 illustrate a Japanese recognition search process during recognition search according to an embodiment of the present invention.

일본어 인식 검색 과정은 도 3의 GUI(215)의 터치에 대응할 수 있다.The Japanese recognition search process may correspond to the touch of the GUI 215 in Fig.

화면 구성(1800)을 참조하면 일본어 검색에서는 인식 영역(1810)에 일본어 문자들이 인식되는 점에서 특이점이 있으며, 통상적인 OCR 엔진들이 활용될 수 있다. 사진 앨범 호출 버튼(1820)과 인스턴트 촬영을 위한 플래시 동작 버튼(1830)에 관한 내용은 상기한 코드 인식에서와 유사하다.Referring to the screen configuration 1800, in the Japanese language search, Japanese characters are recognized in the recognition area 1810, and there are peculiar points, and conventional OCR engines can be utilized. The contents of the photo album call button 1820 and the flash operation button 1830 for instant photography are similar to those in the code recognition described above.

한편, 일본어 인식 검색은 사용자가 도 19의 박스(1910)의 위치나 크기를 조정하여 OCR 알고리즘을 적용할 영역을 정확하게 타켓팅 하는 과정이 특이하다.On the other hand, the Japanese recognition search is a process in which the user precisely targets an area to which the OCR algorithm is to be applied by adjusting the position and size of the box 1910 shown in Fig.

도 20의 박스(2010)과 같이 타켓팅을 완료한 사용자가 완료 버튼(2020)을 터치하는 경우에 OCR 알고리즘이 구동되어 박스(2010) 내의 텍스트를 인식한다.When the user who has finished the targeting such as box 2010 of FIG. 20 touches the completion button 2020, the OCR algorithm is activated to recognize the text in the box 2010. FIG.

그리고, 이러한 텍스트 인식의 결과를 쿼리로 하여 일본어 사전 등에서 검색 결과가 도 21과 같이 제공된다.Then, the result of such text recognition is provided as a query, and a search result is provided in a Japanese dictionary or the like as shown in FIG.

도 22 및 도 23은 본 발명의 일실시예에 따른 인식 검색 중 그린윈도우TM 검색 과정을 도시한다.22 and 23 illustrate a process of searching for a green window TM during recognition search according to an embodiment of the present invention.

그린윈도우TM 검색 과정은 도 3의 GUI(216)의 터치에 대응할 수 있다.The green window TM search process may correspond to the touch of the GUI 216 in FIG.

화면 구성(2200)에서 도시된 바와 같이, 그린윈도우TM 검색은 인식 영역(2210) 내에 미리 약속된 소정의 프레임이 촬영 및 인식 대상이 되는 데에 특이점이 있다.As shown in the screen configuration 2200, the Green Window TM search has a peculiar point in that a predetermined frame predetermined in the recognition area 2210 is subject to photography and recognition.

텍스트 인식 영역을 상기 도 19의 박스(1910)처럼 지정하지 않고, 미리 약속된 소정의 프레임 내로 한정하도록 디자인 되어 있으며, 통상적으로는 광고주들이 다양한 매체를 통해 이러한 프레임의 키워드를 제공하는 등의 방식으로 활용된다. 물론, 이러한 키워드는 상기 광고주가 구매한 것일 수 있다.The text recognition area is designed not to be designated as the box 1910 of FIG. 19 but to be limited within predetermined predetermined frames, and typically advertisers may provide the keywords of such frames through various media, . Of course, the keyword may be purchased by the advertiser.

역시, 사용자가 네트워크 연결이 안 되는 등의 시점에 촬영했던 이미지를 사진앨범에서 로드할 수 있도록 사진 앨범 호출(2220)이 제공되고, 플래시 동작 버튼(2230)도 제공될 수 있다.Also, a photo album call 2220 is provided so that an image taken at a point in time such as when the user is not connected to the network can be loaded in the photo album, and a flash operation button 2230 can also be provided.

이러한 그린윈도우TM 검색 결과는 도 23에서 도시되었다.This Green Windows TM search result is shown in FIG.

도 24는 본 발명의 일실시예에 따른 어플리케이션을 설명하기 위한 흐름도이다.24 is a flowchart illustrating an application according to an embodiment of the present invention.

본 발명의 일실시예에 따르면, 애플리케이션(App) 시작 후, 단계(2410)에서는 상기 앱 설치 후 최초 실행이거나 또는 업데이트 후 최초 실행인지 판단한다.According to an embodiment of the present invention, after starting the application (App), in step 2410, it is judged whether it is the first execution after the installation of the application or the first execution after the update.

최초 실행이라면 인식 검색 인터페이스가 통상의 검색 인터페이스 및 브라우징 영역 등과 함께 도 3의 화면 구성(300)처럼 제공될 수 있다(단계 2430).If it is the first execution, the recognition search interface may be provided as the screen configuration 300 of FIG. 3 along with the normal search interface and browsing area (step 2430).

이 경우, 브라우징 영역의 디밍 처리 등은 도 3에서 상술한 바와 같다.In this case, the dimming process and the like of the browsing area are as described above in Fig.

그리고, 상기 단계(2410)에서의 판단 결과, 최초 실행이 아니라면, 인식 검색 인터페이스는 하이딩(hiding) 되어(단계 2420) 디스플레이 될 수 있다. 이러한 디스플레이 결과는 도 4의 인앱 화면 또는 도 7의 인웹 화면 등일 수 있다.As a result of the determination in step 2410, if it is not the first execution, the recognition search interface may be hiding (step 2420) and displayed. Such a display result may be an in-app screen of FIG. 4, an in-web screen of FIG. 7, or the like.

그러다 단계(2440)에서, 인식 검색 호출 인터랙션이 수신되면 어플리케이션은 인식 검색 인터페이스를 풀다운 한다(단계 2450).Then, at step 2440, when the recognition search call interaction is received, the application pulls down the recognition search interface (step 2450).

이러한 과정에서의 트랜지션 애니매니션이나, 롤백 등의 내용은 도 5 내지 도 6을 참조하여 상술한 바와 같다.The contents of transition animation management and rollback in this process are as described above with reference to FIG. 5 to FIG.

인식 검색 인터페이스가 풀다운 되어 제공되고 있는 중에, 단계(2460)에서 인식 검색 취소 인터랙션이 수신되면, 다시 단계(2420)의 인식 검색 인터페이스 하이딩 과정이 반복된다. 그러면, 통상의 인앱 또는 인웹 화면이 제공될 수 있다.While the recognition search interface is being pulled down, the recognition search interface hiding process of step 2420 is repeated again when the recognition search canceling interaction is received in step 2460. [ Then, a normal in-app or in-web screen can be provided.

여기서 인식 검색 취소 인터랙션은 상기한 인식 검색 호출 인터랙션에 반대되는 것으로, 인식 검색 인터페이스를 다시 하이딩(hiding) 처리하고자 하는 사용자의 지시(instruction)에 대응한다. 이러한 인식 검색 취소 인터랙션은 상기한 실시예들에서 디밍 처리된(dimmed) 브라우징 영역, 또는 인식 검색 인터페이스 이외의 임의의 영역을 사용자가 터치하는 내용으로 이해될 수 있다.Here, the recognition-undiscovered interaction is opposite to the recognition-search-call interaction described above and corresponds to an instruction of the user who wishes to hid the recognition-recognition interface again. This recognition cancel canceling interaction can be understood as a content in which the user touches a dimmed browsing area in the above embodiments, or an arbitrary area other than the recognition search interface.

또한, 상기한 실시예들에서 사용자가 단말 장치(100)의 터치 감지 디스플레이(110) 상에 터치 앤드 드래그(touch and drag) 입력으로 인식 검색 인터페이스들을 풀다운 또는 드롭다운 시켰는데, 인식 검색 인터페이스가 표시되어 있는 상태에서 반대 방향의 터치 앤드 드래그 입력을 받는다면, 이러한 입력이 인식 검색 취소 인터랙션이 될 수 있다.In addition, in the above-described embodiments, the user has pulled down or dropped the recognition search interfaces into a touch and drag input on the touch-sensitive display 110 of the terminal device 100, If you receive a touch-and-drag input in the opposite direction while it is on the screen, this input can be the recognition-undo interaction.

인식 검색 취소 인터랙션이 수신되지 않으면 현재 인터페이스가 유지된다(2470).If no recognition search cancellation interaction is received, the current interface is maintained (2470).

여기서 인식 검색 취소 인터랙션은, 이를테면 도 3의 브라우징 영역(330) 터치 등의 입력을 의미할 수 있다. 물론 본 발명은 이러한 일부 실시예에 한정되지 않으며, 다양한 방식으로 인식 검색 인터페이스 제공을 취소할 수 있다.Here, the recognition search canceling interaction may mean an input such as the touch of the browsing area 330 in FIG. Of course, the present invention is not limited to these embodiments, and the provision of the recognition search interface can be canceled in various ways.

본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 단말 장치
110: 터치 감지 디스플레이
120: 프로세서
130: 메모리100: terminal device
110: Touch-sensitive display
120: Processor
130: memory

Claims (10)

프로세서를 포함하는 단말 장치에서 실행되는, 검색 서비스를 제공하는 어플리케이션을 수록한 컴퓨터 판독 가능 기록 매체에 있어서,
상기 어플리케이션은,
디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 코드;
상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력을 수신하는 코드;
상기 수신된 터치 입력에 의해, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션을 감지하는 코드; 및
상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 코드
를 포함하고,
상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며,
상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium storing an application for providing a search service, which is executed in a terminal device including a processor,
The application comprises:
Code for displaying a first search interface corresponding to a text-based search on the display and a browsing area for displaying at least one content;
Code for receiving a user's touch input to the display during the first search interface display;
Code for detecting a calling interaction with a second search interface corresponding to the recognition search by the received touch input; And
A code for displaying the second search interface on the display
Lt; / RTI >
Wherein the second search interface comprises a graphical user interface for each of a plurality of types of awareness based searches,
Wherein the first search interface, the second search interface and the browsing area are displayed together on the display as the second search interface is displayed
And a computer-readable storage medium. 제1항에 있어서,
상기 제2 검색 인터페이스가 표시됨에 따라 상기 브라우징 영역은 디밍 처리되면서 축소 표시되는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 1,
As the second search interface is displayed, the browsing area is dimmed and displayed in a reduced size
And a computer-readable storage medium. 제1항에 있어서,
상기 제1 검색 인터페이스는 텍스트 기반 검색에 대응하여 사용자의 텍스트 입력을 수신하기 위한 검색창을 포함하는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 1,
Wherein the first search interface includes a search window for receiving text input of a user corresponding to a text based search
And a computer-readable storage medium. 제1항에 있어서,
상기 제2 검색 인터페이스는, 영상 인식 기반 검색, 음성 인식 기반 검색, 및 음악 인식 기반 검색 중 적어도 하나의 각각을 위한 그래픽 유저 인터페이스를 포함하는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 1,
Wherein the second search interface includes a graphical user interface for each of at least one of image recognition based search, speech recognition based search, and music recognition based search
And a computer-readable storage medium. 제1항에 있어서,
상기 제2 검색 인터페이스에 대한 호출 인터랙션은 상기 디스플레이에 대한 사용자의 드래그 입력인 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 1,
Wherein the calling interaction for the second search interface is a drag input of the user to the display
And a computer-readable storage medium. 제1항에 있어서,
상기 제2 검색 인터페이스를 표시하는 코드는,
상기 디스플레이에 대한 사용자의 터치 입력에 대응하여 상기 제2 검색 인터페이스를 풀다운 또는 드롭다운 메뉴 형태로 시각화하여 표시하는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 1,
The code for displaying the second search interface includes:
Displaying the second search interface in a form of a pull-down menu or a drop-down menu corresponding to a touch input of the user on the display
And a computer-readable storage medium. 제6항에 있어서,
상기 제2 검색 인터페이스를 표시하는 코드는,
상기 시각화의 진행 정도가 미리 지정된 임계 비율 미만일 때 상기 사용자의 터치 입력이 중지되는 경우, 상기 시각화의 진행을 롤백하여 다시 상기 제1 검색 인터페이스 표시 상태로 복귀시키는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 6,
The code for displaying the second search interface includes:
And when the touch input of the user is stopped when the progress of the visualization is less than a predetermined threshold ratio, the progress of the visualization is rolled back to return to the first search interface display state
And a computer-readable storage medium. 제6항에 있어서,
상기 제2 검색 인터페이스를 표시하는 코드는,
상기 제2 검색 인터페이스 표시 중에 상기 브라우징 영역에 대한 사용자의 터치 입력이 수신되는 경우, 상기 시각화가 진행되기 전의 상기 제1 검색 인터페이스 표시 상태로 복귀시키는 것
을 특징으로 하는 컴퓨터 판독 가능 기록 매체.The method according to claim 6,
The code for displaying the second search interface includes:
When the touch input of the user to the browsing area is received during the display of the second search interface, returning to the first search interface display state before the visualization progresses
And a computer-readable storage medium. 삭제delete 컴퓨터로 구현되는 검색 서비스 제공 방법으로서,
디스플레이 상에 텍스트 기반 검색에 대응하는 제1 검색 인터페이스와 적어도 하나의 컨텐츠를 디스플레이하기 위한 브라우징 영역을 표시하는 단계;
상기 제1 검색 인터페이스 표시 중에 상기 디스플레이에 대한 사용자의 터치 입력을 수신하는 단계;
상기 수신된 터치 입력에 의해, 인식 검색에 대응하는 제2 검색 인터페이스에 대한 호출 인터랙션을 감지하는 단계; 및
상기 디스플레이 상에 상기 제2 검색 인터페이스를 표시하는 단계
를 포함하고,
상기 제2 검색 인터페이스는 복수 종류의 인식 기반 검색 각각을 위한 그래픽 유저 인터페이스를 포함하며,
상기 제2 검색 인터페이스가 표시됨에 따라 상기 제1 검색 인터페이스와 상기 제2 검색 인터페이스 및 상기 브라우징 영역은 상기 디스플레이 상에 함께 표시되는,
검색 서비스 제공 방법.A computer-implemented search service providing method,
Displaying a first search interface corresponding to a text based search on the display and a browsing area for displaying at least one content;
Receiving a user's touch input to the display during the first search interface display;
Sensing a calling interaction with a second search interface corresponding to the recognition search by the received touch input; And
Displaying the second search interface on the display
Lt; / RTI >
Wherein the second search interface comprises a graphical user interface for each of a plurality of types of awareness based searches,
Wherein the first search interface and the second search interface and the browsing area are displayed together on the display as the second search interface is displayed,
A method of providing a search service.
KR1020160006856A 2016-01-20 2016-01-20 Apparatus and method for providing searching service KR101659063B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160006856A KR101659063B1 (en) 2016-01-20 2016-01-20 Apparatus and method for providing searching service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006856A KR101659063B1 (en) 2016-01-20 2016-01-20 Apparatus and method for providing searching service

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110090537A Division KR101590386B1 (en) 2011-09-07 2011-09-07 Apparatus and method for providing searching service

Publications (2)

Publication Number Publication Date
KR20160017652A KR20160017652A (en) 2016-02-16
KR101659063B1 true KR101659063B1 (en) 2016-09-26

Family

ID=55448073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006856A KR101659063B1 (en) 2016-01-20 2016-01-20 Apparatus and method for providing searching service

Country Status (1)

Country Link
KR (1) KR101659063B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182270A1 (en) * 2017-03-28 2018-10-04 삼성전자 주식회사 Electronic device and screen control method for processing user input by using same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063241B1 (en) * 2017-12-06 2020-01-08 네이버 주식회사 Contents search method and contents search apparatus
KR102286015B1 (en) * 2018-08-31 2021-08-04 엔에이치엔 주식회사 Method and device for text-based image retrieval

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022130A1 (en) 2003-07-01 2005-01-27 Nokia Corporation Method and device for operating a user-input area on an electronic display device
JP2010067032A (en) 2008-09-11 2010-03-25 Yahoo Japan Corp Device, system and method for retrieval of commodity, and program
US20110035406A1 (en) 2009-08-07 2011-02-10 David Petrou User Interface for Presenting Search Results for Multiple Regions of a Visual Query

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119161B1 (en) * 2009-09-30 2012-03-19 주식회사 하이닉스반도체 Fuse structure for high integrated semiconductor device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022130A1 (en) 2003-07-01 2005-01-27 Nokia Corporation Method and device for operating a user-input area on an electronic display device
JP2010067032A (en) 2008-09-11 2010-03-25 Yahoo Japan Corp Device, system and method for retrieval of commodity, and program
US20110035406A1 (en) 2009-08-07 2011-02-10 David Petrou User Interface for Presenting Search Results for Multiple Regions of a Visual Query

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182270A1 (en) * 2017-03-28 2018-10-04 삼성전자 주식회사 Electronic device and screen control method for processing user input by using same
US11360791B2 (en) 2017-03-28 2022-06-14 Samsung Electronics Co., Ltd. Electronic device and screen control method for processing user input by using same

Also Published As

Publication number Publication date
KR20160017652A (en) 2016-02-16

Similar Documents

Publication Publication Date Title
KR101590386B1 (en) Apparatus and method for providing searching service
KR102224349B1 (en) User termincal device for displaying contents and methods thereof
JP7174734B2 (en) Systems, devices, and methods for dynamically providing user interface controls on touch-sensitive secondary displays
US9871903B2 (en) Mobile computing terminal with more than one lock screen and method of using the same
US20180267642A1 (en) Method and apparatus for operating functions of portable terminal having bended display
CN103189828B (en) The method and system of the item in managing user interface and computing equipment
KR101863923B1 (en) Mobile terminal and method for controlling thereof
US20120289290A1 (en) Transferring objects between application windows displayed on mobile terminal
CN105260049A (en) Device, method, and graphical user interface for displaying additional information in response to a user contact
KR20140128208A (en) user terminal device and control method thereof
KR20110089429A (en) Portable touch screen device, method, and graphical user interface for using emoji characters
US20140337720A1 (en) Apparatus and method of executing function related to user input on screen
KR102343361B1 (en) Electronic Device and Method of Displaying Web Page Using the same
WO2021135578A1 (en) Page processing method and apparatus, and storage medium and terminal device
KR101659063B1 (en) Apparatus and method for providing searching service
CN102541817A (en) Method and device for previewing digital files

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4