KR20160104054A - 객체 검색 방법 및 장치 - Google Patents

객체 검색 방법 및 장치 Download PDF

Info

Publication number
KR20160104054A
KR20160104054A KR1020167020862A KR20167020862A KR20160104054A KR 20160104054 A KR20160104054 A KR 20160104054A KR 1020167020862 A KR1020167020862 A KR 1020167020862A KR 20167020862 A KR20167020862 A KR 20167020862A KR 20160104054 A KR20160104054 A KR 20160104054A
Authority
KR
South Korea
Prior art keywords
user
target object
gesture input
input
search
Prior art date
Application number
KR1020167020862A
Other languages
English (en)
Other versions
KR101864240B1 (ko
Inventor
얀 리
샤오주안 리
웬메이 가오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160104054A publication Critical patent/KR20160104054A/ko
Application granted granted Critical
Publication of KR101864240B1 publication Critical patent/KR101864240B1/ko

Links

Images

Classifications

    • G06F17/30864—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G06F17/30277—
    • G06F17/30398—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

객체 검색 방법 및 장치가 제공되며, 이 방법은: 사용자의 음성 입력과 제스처 입력을 수신하는 단계; 상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계; 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하는 단계; 및 상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계를 포함한다. 본 발명의 실시예들에서 제공되는 솔루션들은 사용자에게 더욱 유연한 검색 방법을 제공할 수 있고, 검색 중의 응용 시나리오에서의 제약을 감소시킬 수 있다.

Description

객체 검색 방법 및 장치{OBJECT SEARCH METHOD AND APPARATUS}
본 발명은 컴퓨터 기술 분야 중 검색 기술 분야에 관한 것으로서, 구체적으로는 객체 검색 방법 및 장치에 관한 것이다.
현재, 네트워크를 사용하여 검색될 타깃 객체를 검색할 때, 일반적으로는, 사용자가 그 타깃 객체에 대해 일부의 알려진 검색 기준을 입력하거나 선택하고, 그 검색 기준에 따라 타깃 객체를 검색하고 있다. 예를 들어, 타깃 객체의 가격 범위에 따라 검색이 수행되거나 또는 타깃 객체가 속하는 영역에 따라 검색이 수행될 수 있다.
전술한 객체 검색 솔루션에서는, 사용자는 검색이 기초하는 검색 기준에 대해 명확하게 설명할 수 있어야 한다. 예를 들어, 일부의 미리 설정되어 있는 기준 중에서 그 검색 기준이 선택되거나, 직접 입력될 수 있다. 그러나, 실제 적용에 있어서는, 타깃 객체를 검색할 때, 사용자는 사용자에 의해 기대되는 검색 기준을 명확하게 설명하지 못할 수 있다. 예를 들어, 사용자가 특정 색상의 객체를 검색하고 싶어하지만, 그 색상이 알려진 색상의 명칭을 사용함으로써 정확하게 설명될 수 없거나, 또는 사용자가 특정 형상의 객체를 검색하고 싶어하지만, 그 형상이 일반적이지 않은 경우 등이다. 또한, 이 경우에는, 사용자가 사용자에 의해 기대되는 타깃 객체를 검색할 수 없고; 이에 더하여, 검색이 수행된다 하더라도, 그 검색 기준이 정확하지 않기 때문에, 검색 결과가 사용자의 검색 의도를 만족시키지 않을 가능성이 있고, 이에 따라 상대적으로 열악한 검색 효과를 도출한다. 종래기술에서의 객체 검색 방법은 사용자에게 더욱 유연한 검색 방식을 제공할 수 없으며, 적용 시나리오에 의해 상대적으로 크게 제약된다.
본 발명의 실시예들은, 더욱 유연한 검색 방법을 사용자에게 제공할 수 없고 적용 시나리오에서의 제약이 상대적으로 큰 종래기술에서의 문제점을 해결하기 위해, 객체 검색 방법 및 장치를 제공한다.
제1 태양에 따르면, 객체 검색 방법이 제공되며, 이는:
사용자의 음성 입력과 제스처 입력을 수신하는 단계;
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계;
상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하는 단계; 및
상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계를 포함한다.
제1 태양을 참고하여, 가능한 제1 구현 방식에서는, 상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계가 구체적으로:
상기 타깃 객체의 이름과 상기 특성 정보를 서버에 송신하는 단계; 및
상기 서버에 의해 회신된 검색 결과를 수신하는 단계 - 여기서 상기 검색 결과는 상기 특성 정보에 따라 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것임 - 를 포함한다.
제1 태양 또는 제1 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제2 구현 방식에서는, 상기 사용자의 음성 입력과 제스처 입력을 수신하는 단계가 구체적으로:
사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하는 단계; 또는
사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하는 단계; 또는
사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하는 단계를 포함한다.
제1 태양 또는 제1 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제3 구현 방식에서는, 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 획득하는 것은:
지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계; 또는
상기 제스처 입력의 방식으로 사용자에 의해 사진촬영(photographing)에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계를 포함한다.
제2 태양에 따르면, 객체 검색 장치가 제공되며, 이는:
사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제1 수신 유닛;
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제1 결정 유닛;
상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하도록 구성된 추출 유닛; 및
상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하도록 구성된 제1 검색 유닛을 포함한다.
제2 태양을 참고하여, 가능한 제1 구현 방식에서는, 상기 제1 검색 유닛이 구체적으로: 상기 타깃 객체의 이름과 상기 특성 정보를 서버에 송신하고, 상기 서버에 의해 회신된 검색 결과를 수신하도록 구성되며, 여기서 상기 검색 결과는 상기 특성 정보에 따라 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이다.
제2 태양 또는 제2 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제2 구현 방식에서는, 상기 제1 수신 유닛이 구체적으로: 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성된다.
제2 태양 또는 제2 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제3 구현 방식에서는, 상기 제1 결정 유닛이, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성된다.
제3 태양에 따르면, 객체 검색 방법이 제공되며, 이는:
사용자의 음성 입력과 제스처 입력을 수신하는 단계;
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계;
상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신하는 단계; 및
상기 서버에 의해 회신된 검색 결과를 수신하는 단계 - 여기서 상기 검색 결과는 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이며, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용됨 - 를 포함한다.
제3 태양을 참고하면, 가능한 제1 구현 방식에서는, 상기 사용자의 음성 입력과 제스처 입력을 수신하는 단계가 구체적으로:
사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하는 단계; 또는
사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하는 단계; 또는
사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하는 단계를 포함한다.
제3 태양 또는 제3 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제2 구현 방식에서는, 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 획득하는 것은:
지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계; 또는
상기 제스처 입력의 방식으로 사용자에 의해 사진촬영(photographing)에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계를 포함한다.
제4 태양에 따르면, 객체 검색 장치가 제공되며, 이는:
사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제2 수신 유닛;
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제2 결정 유닛;
상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신하도록 구성된 송신 유닛; 및
상기 서버에 의해 회신된 검색 결과를 수신하도록 구성된 제3 수신 유닛 - 여기서 상기 검색 결과는 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이며, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용됨 - 을 포함한다.
제4 태양을 참고하여, 가능한 제1 구현 방식에서는, 상기 제2 수신 유닛이 구체적으로: 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성된다.
제4 태양 또는 제4 태양의 가능한 제1 구현 방식을 참고하여, 가능한 제2 구현 방식에서는, 상기 제2 결정 유닛이, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성된다.
본 발명의 유리한 효과는 다음을 포함한다:
본 발명의 실시예들에서 제공되는 전술한 솔루션에서는, 객체 검색이 수행될 때, 사용자의 음성 입력과 제스처 입력이 먼저 수신되고, 사용자가 검색하길 원하는 타깃 객체의 이름과 그 타깃 객체의 특성 카테고리가 음성 입력에 따라 결정되며, 타깃 객체가, 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역의 특성 카테고리의 특성과 타깃 객체의 이름을 검색 기준으로 사용하여, 검색된다. 이 검색 중에는, 사용자는 오직, 음성을 사용함으로써, 타깃 객체의 이름과 특성 카테고리를 입력하고, 제스처 입력의 방식으로 이미지 영역을 선택하기만 하면 되며, 특성 카테고리, 타깃 객체의 이름, 그리고 이미지 영역이, 검색 기준의 명확한 설명을 요구함이 없이 검색 기준을 표현하는데 사용될 수 있다. 따라서, 더욱 유연한 검색 방법이 사용자에게 제공되며, 적용 시나리오에서의 제약이 검색 중에 감소한다.
본 출원의 다른 특성이나 장점들은, 더욱 명확하게 설명하는 이하의 발명의 설명에서 설명되거나 또는 본 출원을 구현함으로써 이해된다. 목적 내지 다른 장점들은 여기 쓰여진 발명의 설명, 청구범위, 및 첨부한 도면들에서 구체적으로 나타난 구조를 사용함으로써 구현 및 획득될 수 있다.
첨부한 도면들은 본 발명의 추가의 이해를 촉진하기 위해 사용되고, 발명의 설명의 일부를 구성하며, 본 발명을 설명하기 위해 본 발명의 실시예들과 조합되어 사용되지만, 본 발명의 한계를 구성하는 것은 아니다. 첨부한 도면들에서는:
도 1은 본 발명의 일 실시예에 따른 객체 검색 방법의 흐름도 1이다.
도 2는 본 발명의 일 실시예에 따른 객체 검색 방법의 흐름도 2이다.
도 3은 본 발명의 일 실시예에 따른 객체 검색 방법의 흐름도 2이다.
도 4는 본 발명의 일 실시예에 따른 객체 검색 장치의 도식적인 구조도 1이다.
도 5는 본 발명의 일 실시예에 따른 객체 검색 장치의 도식적인 구조도 2이다.
사용자에게 더욱 유연한 검색 방법을 제공하고 검색 중의 응용 시나리오에 대한 제약을 감소시키는 구현 솔루션을 제공하기 위해, 본 발명의 실시예들은 객체 검색 방법 및 장치를 제공한다. 본 발명의 바람직한 실시예들은 본 명세서에 첨부한 도면들을 참고하여 이하에서 설명된다. 여기에 설명된 바람직한 실시예들은 본 발명을 설명하기 위해 사용된 것에 불과하며, 본 발명을 제한하는 것이 아님을 이해하여야 한다. 또한, 본 발명의 실시예들과 그 실시예들의 특징들은 충돌이 발생하지 않는 범위 내에서 서로 결합될 수 있다.
본 발명의 일 실시예는 객체 검색 방법을 제공하며, 이는 단말기에 적용될 수 있다. 도 1에 도시된 것처럼, 본 방법은:
단계 101. 사용자의 음성 입력과 제스처 입력을 수신함.
단계 102. 상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정함.
단계 103. 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출함.
단계 104. 상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색함.
도 1에 도시된 전술한 방법에서는, 단계 103에서, 단말기가, 사용자에 의해 선택된 이미지 영역으로부터 직접 그 특성 카테고리의 특성 정보를 추출할 수 있다. 단계 104를 실행할 때, 구체적으로, 단말기는 단말기 상에 로컬로 저장되어 있는 객체 집합(object set)을 검색하거나, 인터넷 상에서 검색할 수 있는데, 즉 타깃 객체의 이름과 특성 정보가 서버에 송신된다는 것이며, 서버가 특성 정보에 따라, 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 검색 결과를 획득한 후에, 서버에 의해 회신된 검색 결과가 수신되며, 이후 그 검색 결과가 추가로 표시될 수 있다.
본 발명의 일 실시예는 객체 검색 방법을 추가로 제공하는데, 이는 도 1에서 도시된 전술한 방법과 상이한 것으로서, 단말기에 적용될 수 있는 것이다. 도 2에 도시된 것처럼, 본 방법은:
단계 201. 사용자의 음성 입력과 제스처 입력을 수신함.
단계 202. 상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정함.
단계 203. 상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신함.
단계 204. 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 검색 결과로서, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용되는, 상기 서버에 의해 회신된 검색 결과를 수신함.
도 2에 도시된 전술한 방법에서는, 사용자가 검색하길 원하는 타깃 객체의 이름과 그 타깃 객체의 특성 카테고리를 단계 202에서 결정한 후에, 단말기는 특성 카테고리의 카테고리 정보, 타깃 객체의 이름, 및 사용자에 의해 선택된 이미지 영역을 직접 서버에 송신하며, 서버는 이들의 수신된 정보의 조각에 기초하여 검색을 수행하고, 단말기에 검색 결과를 회신한다.
또한, 나아가, 검색을 수행할 때, 서버는 사용자에 의해 선택된 수신된 이미지 영역으로부터 특성 카테고리의 특성 정보를 추출하고, 추출된 특성 정보와 타깃 객체의 이름에 따라 타깃 객체를 검색할 수 있다.
도 1 및 도 2에 도시된 전술한 객체 검색 방법에 있어서, 단계 101과 단계 102는 단계 201과 단계 202는 각각 동일한 것이다. 또한, 전술한 단계 101과 단계 102, 단계 201과 단계 202에서는, 사용자는 음성 입력의 방식으로 타깃 객체의 이름과 특성 카테고리를 입력할 수 있다. 예를 들어, 입력된 특성 카테고리는: 색상, 형상, 가격, 브랜드, 이미지 등을 포함할 수 있고, 타깃 객체의 이름은 검색이 기대되는 물품(article)의 물품명일 수 있다.
구체적으로는, 사용자는 음성 입력의 방식으로 음성 정보를 입력할 수 있는데, 여기서 음성 정보는 타깃 객체의 이름과 특성 카테고리를 운반한다. 예를 들어, 사용자는, 음성을 사용하여, "이 색상의 지갑을 검색해", "이 브랜드의 신발을 검색해", 및 "이 이미지 안에 있는 전화의 겉모양을 검색해"라고 입력한다.
사용자가 음성 입력의 방식으로 음성 정보를 입력할 때, 사용자에 의해 입력된 음성 정보에 대한 의미 분석(semantic analysis)이 수행되어, 타깃 객체의 이름과 특성 카테고리를 결정한다. 텍스트 정보를 추출하기 위해 음성 정보에 대해 의미 분석을 수행하는 방식은 종래기술에서의 다양한 방식들을 사용할 수 있으므로, 본 명세서에서는 상세히 설명되지 않는다.
본 발명의 본 실시예에서는, 이미지 영역을 선택하는 조작을 수행할 때, 사용자는 지정된 이미지로부터 이미지 영역을 선택할 수 있다. 예를 들어, 사용자는, 제스처 조작의 방식에 의해, 지정된 이미지를 표시하는 터치스크린에 대해 선택 조작을 수행하고, 이에 따라 그 지정된 이미지로부터 사용자에 의해 선택된 이미지 영역이 획득되어 사용자에 의해 선택된 이미지 영역으로서 사용된다.
이미지 영역을 선택하는 조작을 수행할 때, 사용자는 또한 사진촬영 모드를 시작하고, 이미지를 획득하기 위해 사진촬영 조작을 수행하며, 이에 따라 사용자에 의해 사진촬영에 의해 획득된 현재의 이미지가 획득되어 사용자에 의해 선택된 이미지 영역으로서 사용된다.
본 발명의 본 실시예에서는, 사용자에 의해 이미지 영역을 선택하는 조작과 타깃 객체의 이름 및 특성 카테고리를 입력하는 조작 사이에서 순서의 제한이 존재하지 않는다.
또한, 사용자에 의해 이미지 영역을 선택하는 조작과 음성 정보를 임력하는 조작은 동시에 완료될 수 있다. 예를 들어, 음성 정보를 입력할 때, 사용자는 제스처 조작을 사용함으로써 이미지 영역을 선택할 수 있다.
사용자에 의해 이미지 영역을 선택하는 조작과 음성 정보를 입력하는 조작은 하나가 완료된 후 다른 하나가 완료될 수도 있다. 예를 들어, 음성 정보가 사용자에 의해 입력되었으나 이미지 영역이 선택되지 않은 것으로 판정된 때, 사용자가 이미지 영역을 선택하는 조작을 수행하도록 명령이 내려지고, 사용자가 이미지 영역을 선택하는 조작을 수행한 후에, 사용자에 의해 선택된 이미지 영역이 결정된다.
다른 예시에서는, 사용자가 이미지를 선택하기 위한 제스처 입력 조작을 수행하고 음성 정보가 입력되지 않은 것으로 판정된 때, 사용자가 음성 정보를 입력하는 조작을 수행하도록 명령이 내려진다. 사용자가 음성 정보를 입력한 후, 입력된 음성 정보에 대해 의미 분석이 수행되어, 타깃 객체의 이름과 특성 카테고리를 결정한다.
도 1과 도 2에 도시된 전술한 방법들에서는, 구체적으로, 특성 카테고리의 특성 정보가 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 추출될 수 있고, 타깃 객체의 이름에 의해 표현되는 타깃 객체가 그 추출된 특성 정보에 따라 검색될 수 있다.
예를 들어, 특성 카테고리가 색상이면, 사용자에 의해 선택된 이미지 영역의 색상 특성 정보가 추출된다. 종래기술에서의 다양한 유형들이 사용되어 색상 특성 정보를 표현할 수 있다. 예를 들어, 사용자에 의해 선택된 이미지 영역의 색상 히스토그램(color histogram)(색상 히스토그램은 전체 이미지에 대한 상이한 색상의 비율을 설명함)이 추출될 수 있고; 가장 큰 비율의 색상, 비율이 내림차순인 복수의 미리 설정되어 있는 색상, 또는 색상 히스토그램 내의 미리 설정되어 있는 비율보다 큰 비율의 색상이 결정되며; 결정된 색상의 픽셀 값이 이미지 영역의 색상 특성 정보로서 사용된다. 이 색상의 색상명은 색상의 픽셀값에 따라 추가로 결정될 수 있고, 이 색상명은 이미지 영역의 색상 특성 정보로서 사용된다. 색상 히스토그램 내의 복수의 색상이 결정될 때, 복수의 색상은 그 선택을 위해 사용자에게 추가로 표시될 수 있고, 사용자에 의해 선택된 색상의 색상 특성 정보, 예를 들어 픽셀값 또는 색상명이 결정된다.
이에 따르면, 타깃 객체의 이름에 의해 표현되는 타깃 객체는 추출된 색상 특성 정보에 따라 검색될 수 있다. 예를 들어, 색상명 또는 픽셀값에 따라 검색이 수행된다.
다른 예시에서, 특성 카테고리가 형상이면, 사용자에 의해 선택된 이미지 영역의 형상 특성 정보가 추출된다. 이 형상은 정상적인 형상, 예를 들어 정방형, 마름모형, 원형, 또는 타원형일 수 있고, 형상명이 이 형상 특성 정보로서 사용될 수 있다. 이 형상은 또한, 비정상적인 형상일 수 있는데, 예를 들어 사용자에 의해 선택된 이미지 영역 내의 물체의 윤곽의 그래프가 추출되고, 이 윤곽의 그래프가 형상 특성 정보로서 사용된다.
이에 따르면, 타깃 객체의 이름에 의해 표현되는 타깃 객체는 추출된 형상 특성 정보에 따라 검색될 수 있다. 예를 들어, 형상명 또는 그래프에 따라 검색이 수행된다.
다른 예시에서, 특성 카테고리가 브랜드이면, 사용자에 의해 선택된 이미지 영역 내의 브랜드 식별자가 추출되고 브랜드 특성 정보로서 사용되는데, 이 브랜드 식별자는 브랜드명 또는 브랜드 로고일 수 있다.
이에 따르면, 타깃 객체의 이름에 의해 표현되는 타깃 객체는 추출된 브랜드 특성 정보에 따라 검색될 수 있다. 예를 들어, 브랜드명 또는 브랜드 로고에 따라 검색이 수행된다.
다른 예시에서, 특성 카테고리가 가격이면, 사용자에 의해 선택된 이미지 영역 내의 숫자 정보가 추출되고, 이 숫자 정보가 가격 특성 정보로서 사용된다.
이에 따르면, 추출된 가격 특성 정보에 따라 검색이 수행될 수 있다.
다른 예시에서, 특성 카테고리가 이미지이면, 사용자에 의해 선택된 이미지 영역 자신이 이미지 특성 정보로서 사용될 수 있다.
이에 따르면, 타깃 객체의 이름에 의해 표현되는 타깃 객체는 사용자에 의해 선택된 이미지 영역에 따라 이미지 검색의 방식으로 검색될 수 있다.
도 1 및 도 2에 도시된 전술한 객체 검색 방법은 조합될 수 있는데, 즉 타깃 객체의 검색은 로컬로 저장되어 있는 객체 집합을 검색하는 것이거나 또는 인터넷 상에서의 검색일 수 있다.
구체적으로, 단말기에 의해 검색이 수행될 수 있거나, 또는 서버, 예를 들어 클라우드 서버에 의해 검색이 수행될 수 있다. 서버에 의해 검색이 수행될 때, 사용자에 의해 입력된 타깃 객체의 이름과 특성 카테고리, 그리고 사용자에 의해 선택된 이미지 영역이 단말기에 의해 서버에 송신될 수 있거나, 또는 대응하는 단계들이 단말기 및 서버 모두에 의해 실행될 수 있다.
다르게는, 단말기는 상이한 특성 카테고리에 따라, 대응하는 단계들이 단말기 또는 서버에 의해 실행되는지를 판정할 수 있다. 예를 들어, 일부의 특성 카테고리에 대해서는, 사용자에 의해 선택된 이미지 영역으로부터 특성 카테고리의 특성 정보를 추출한 후에, 단말기가 타깃 객체의 이름과 추출된 특성 정보를 서버에 송신할 수 있고, 이후 서버가 수신된 특성 정보에 따라 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색하여 검색 결과를 획득하고, 그 검색 결과를 단말기에 회신한다.
이하에서의 구체적인 실시예는 첨부한 도면들을 참고하여 본 발명에서 제공되는 방법을 상세하게 설명하기 위해 사용되는 것이다.
도 3은 본 발명의 일 실시예에 따른 객체 검색 방법의 상세한 흐름도이며, 이 방법은 구체적으로 다음의 단계들을 포함한다:
단계 301. 사용자의 음성 입력과 제스처 입력을 수신함.
이 단계에서는, 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력이 수신될 수 있다.
다르게는, 사용자의 음성 입력이 수신될 수 있고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정된 때, 사용자가 이미지 영역을 선택하는 조작을 수행하도록 명령이 내려지며, 사용자의 제스처 입력이 수신된다.
다르게는, 사용자의 제스처 입력이 수신될 수 있고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정된 때, 사용자가 음성 입력 조작을 수행하도록 명령이 내려지며, 사용자의 음성 입력이 수신된다.
단계 302. 단말기가, 사용자의 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 타깃 객체의 특성 카테고리를 결정함.
이 단계에서는, 타깃 객체의 이름과 특성 카테고리는 사용자에 의해 입력된 음성 정보에 대한 의미 분석을 수행함으로써 결정될 수 있다.
본 발명의 본 실시예에서는, 사용자에 의해 입력될 수 있는 특성 카테고리가 타깃 객체의 특성과 이 솔루션의 적용 시나리오에 따라 유연하게 설정될 수 있다. 예를 들면, 물품이 검색될 때, 특성 카테고리는: 색상, 형상, 가격, 브랜드, 이미지 등을 포함할 수 있고, 타깃 객체의 입력된 이름은 검색이 희망되는 물품의 물품명일 수 있다.
단계 303. 단말기가 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 획득함.
이 단계에서는, 단말기가 지정된 이미지로부터 사용자에 의해 선택된 이미지 영역을 획득하고 이 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나, 또는 사용자에 의해 사진촬영에 의해 획득된 현재의 이미지를 획득하고, 이 이미지를 사용자에 의해 선택된 이미지 영역으로서 사용할 수 있다.
전술한 단계 302와 단계 303 사이에서 순서의 제약은 없다.
단계 304. 단말기가 사용자에 의해 입력된 특성 카테고리가 미리 설정되어 있는 특성 카테고리인지를 판정한다. 사용자에 의해 입력된 특성 카테고리가 미리 설정되어 있는 카테고리이면 단계 305로 진행하고, 사용자에 의해 입력된 특성 카테고리가 미리 설정되어 있는 카테고리가 아니면 단계 307로 진행한다.
본 발명의 본 실시예에서는, 사용자에 의해 입력된 특성 카테고리에 대해, 사용자에 의해 선택된 이미지 영역의 특성 카테고리의 특성이 단말기에 의해 추출되거나 서버에 의해 추출될 수 있다. 다르게는, 일부의 특성 카테고리가 단말기에 의해 추출될 수 있고, 일부의 다른 특성 카테고리는 서버에 의해 추출될 수 있다. 따라서 특성 정보가 단말기에 의해 추출된 특성 카테고리가 미리 설정되어 있는 특성 카테고리로서 설정될 수 있고, 전술한 판정하는 단계가 이 단계에서 수행된다.
예를 들어, 전술한 색상, 형상, 가격, 브랜드, 및 이미지 중에서 색상이 미리 설정되어 있는 특성 카테고리로서 사용된다.
단계 305. 사용자에 의해 입력된 특성 카테고리가 미리 설정되어 있는 특성 카테고리일 때, 단말기는 사용자에 의해 선택된 이미지 영역으로부터 그 특성 카테고리의 특성 정보를 추출한다.
예를 들면, 색상에 대해, 사용자에 의해 선택된 이미지 영역의 색상 특성 정보가 추출된다. 상세하게는, 전술한 설명이 참고될 수 있다.
단계 306. 단말기가 서버에, 타깃 객체의, 사용자에 의해 입력된 이름과 특성 카테고리의 추출된 특성 정보를 송신함.
단계 307. 단말기가, 사용자에 의해 선택된 이미지 영역, 타깃 객체의 이름, 사용자에 의해 입력된 특성 카테고리의 카테고리 정보를 서버에 송신함.
단계 308. 카테고리 정보, 타깃 객체의 이름 및 이미지 영역을 수신한 후, 서버가 카테고리 정보에 의해 표현되는 특성 카테고리의 특성 정보를 이미지 영역으로부터 추출함.
예를 들면, 색상, 가격, 및 브랜드로부터 추출된 것으로서 사용자에 의해 선택된 이미지 영역의 대응하는 특성 정보에 관한 상세한 내용에 대해서는, 전술한 설명이 참고될 수 있다.
또한, 추가로, 특성 카테고리가 이미지일 때, 수신된 이미지 영역이 이미지 특성 정보로서 바로 사용될 수 있다.
단계 309. 단말기에 의해 송신된, 특성 카테고리의 특성 정보를 수신한 후, 또는 카테고리 정보에 의해 표현되는 특성 카테고리의 특성 정보를 추출한 후, 서버가 그 추출된 특성 정보에 따라, 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색하여 검색 결과를 획득함.
검색 결과는 특성 카테고리의 특성 정보를 가지는 타깃 객체이다.
단계 310. 서버가 단말기에 검색 결과를 회신함.
단계 311. 서버에 의해 회신된 검색 결과를 수신한 후, 단말기가 사용자에 검색 결과를 표시함.
본 발명의 실시예들에서 제공되는 전술한 객체 검색 방법을 사용함으로써, 객체 검색이 수행될 때, 사용자는 오직, 음성 입력과 제스처 입력을 수행하기만 하면 되고, 또한 타깃 객체의 이름과 특성 카테고리를 입력하고, 이미지 영역을 선택하기만 하면 되며, 대응하는 검색 기준이 단말기 또는 서버에 의해 결정될 수 있고, 검색 기준의 명확한 설명을 사용자에게 요구함이 없이도 검색 기준에 따라 타깃 객체가 검색될 수 있다. 이 방식에서는, 더욱 유연한 검색 방법이 사용자에게 제공되며, 적용 시나리오에서의 제약이 검색 중에 감소한다.
예를 들어, 사용자가 이미지 내에서 아주 아름다운 색상에 주목하여 그 색상의 지갑을 검색하길 원할 때, 그 색상이 아주 특별한 경우에는 명확한 색상명이 제공되지 않을 가능성이 매우 높다. 이 경우에는, 본 발명의 본 실시예에서 제공되는 전술한 방법을 사용함으로써 검색이 수행될 수 있다.
다른 예시에서는, 사용자가 특정한 브랜드의 신발을 검색하길 원할 때, 그러나 그 브랜드의 이름을 알지 못할 때, 그리고 단지 브랜드의 브랜드 로고를 포함하는 이미지만을 가지고 있을 때, 본 발명의 본 실시예에서 제공되는 전술한 방법이 사용되어 그 이미지로부터 브랜드 로고를 포함하는 이미지 영역을 선택할 수 있고, 그 이미지 영역이 선택된 이미지로서 사용되어 검색을 수행한다.
동일한 발명적 개념에 기초하여, 본 발명의 전술한 실시예들에서 제공되는 객체 검색 방법에 따르면, 본 발명의 본 실시예는 객체 검색 장치를 추가로 제공하는데, 그 도식적인 구조도가 도 4에 도시된다. 이 장치는 구체적으로:
사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제1 수신 유닛(401);
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제1 결정 유닛(402);
상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하도록 구성된 추출 유닛(403); 및
상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하도록 구성된 제1 검색 유닛(404)을 포함한다.
나아가, 상기 제1 검색 유닛(404)은 구체적으로: 상기 타깃 객체의 이름과 상기 특성 정보를 서버에 송신하고, 상기 서버에 의해 회신된 검색 결과를 수신하도록 구성되며, 여기서 상기 검색 결과는 상기 특성 정보에 따라 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이다.
나아가, 상기 제1 수신 유닛(401)은 구체적으로: 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성된다.
나아가, 상기 제1 결정 유닛(402)은, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성된다.
전술한 도 4에서의 유닛들의 기능들은 도 1 또는 도 3에 도시된 절차의 대응하는 처리 단계에 대응할 수 있고, 그 상세한 내용은 여기에서 다시 설명되지 않는다.
동일한 발명적 개념에 기초하여, 본 발명의 전술한 실시예들에서 제공되는 객체 검색 방법에 따르면, 본 발명의 본 실시예는 객체 검색 장치를 추가로 제공하는데, 그 도식적인 구조도가 도 5에 도시된다. 이 장치는 구체적으로:
사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제2 수신 유닛(501);
상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제2 결정 유닛(502);
상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신하도록 구성된 송신 유닛(503); 및
상기 서버에 의해 회신된 검색 결과를 수신하도록 구성된 제3 수신 유닛(504) - 여기서 상기 검색 결과는 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이며, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용됨 - 을 포함한다.
나아가, 상기 제2 수신 유닛(501)은 구체적으로: 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성된다.
나아가, 상기 제2 결정 유닛(502)은, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성된다.
전술한 도 5에서의 유닛들의 기능들은 도 2 또는 도 3에 도시된 절차의 대응하는 처리 단계에 대응할 수 있고, 그 상세한 내용은 여기에서 다시 설명되지 않는다.
정리하면, 본 발명의 실시예들에서 제공되는 솔루션은: 사용자의 음성 입력과 제스처 입력을 수신하는 단계; 상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계; 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하는 단계; 및 상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계를 포함한다. 본 발명의 실시예들에서 제공되는 솔루션들은 사용자에게 더욱 유연한 검색 방법을 제공할 뿐만 아니라, 검색 도중에 응용 시나리오에 대한 제한도 감소시킨다.
본 발명의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 것을 통상의 기술자라면 이해하여야 한다. 따라서 본 발명은 하드웨어만으로 구현된 실시예들, 소프트웨어만으로 구현된 실시예들, 또는 소프트웨어와 하드웨어의 조합을 통한 실시예들의 형태를 사용할 수 있다. 나아가, 본 발명은 컴퓨터가 사용 가능한 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용 가능형 저장 매체(디스크 메모리, CD-ROM, 광학 메모리 등을 포함하나 이에 제한되는 것은 아님)상에서 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 발명은 본 발명의 실시예들에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참고하여 설명되었다. 컴퓨터 프로그램 명령은 흐름도 및/또는 블록도에서의 각각의 과정 및/또는 각각의 블록과, 흐름도 및/또는 블록도에서의 과정 및/또는 블록의 조합을 구현하기 위해 사용될 수 있다는 것을 이해하여야 한다. 이 컴퓨터 프로그램 명령은, 기계를 생산하기 위해 범용 컴퓨터, 전용 컴퓨터, 내장 프로세서, 또는 임의의 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공되어, 이에 따라 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 장치에 의해 실행되는 명령이 흐름도에서의 하나 이상의 과정 및/또는 블록도에서의 하나 이상의 블록에서의 구체적인 기능을 구현하기 위한 장치를 생산할 수 있다.
이 컴퓨터 프로그램 명령은 또한, 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 장치에 특정 방식으로 작동하도록 명령을 내릴 수 있는 컴퓨터 판독 가능형 메모리 내에 저장될 수 있어서, 이에 따라 컴퓨터 판독 가능형 메모리 내에 저장되어 있는 명령이 명령 장치를 포함하는 아티팩트(artifact)를 생산한다. 이 명령 장치는 흐름도에서의 하나 이상의 과정 및/또는 블록도에서의 하나 이상의 블록에서의 구체적인 기능을 구현한다.
이 컴퓨터 프로그램 명령은 다른 프로그래머블 데이터 처리 장치 또는 컴퓨터 상에 로드될 수도 있어서, 이에 따라 일련의 작동 및 단계들이 컴퓨터 또는 다른 프로그래머블 장치 상에서 수행될 수 있고, 이에 따라 컴퓨터에서 구현되는 처리를 생성한다. 그러므로, 컴퓨터 또는 다른 프로그래머블 장치 상에서 실행되는 명령은 흐름도 내의 하나 이상의 과정 및/또는 블록도 내의 하나 이상의 블록에서의 특정 기능을 구현하기 위한 단계들을 제공한다.
본 발명의 일부 바람직한 실시예들이 설명되었으나, 통상의 기술자라면 그들이 기본적인 발명적 개념을 습득했을 때, 이들 실시예에 대한 변경이나 수정을 가할 수 있다. 따라서 이하에서의 청구범위는 본 발명의 범위 내에 초함되는 모든 변경 및 수정과 이들 바람직한 실시예들을 커버하게끔 해석되도록 의도된 것이다.
분명한 것은, 통상의 기술자라면 본 발명의 사상과 범위로부터 벗어남이 없이 본 발명에 대한 다양한 수정이나 변화를 가할 수 있다는 것이다. 본 발명은 이하의 청구범위에 의해 정의되는 보호 범위 내에 포함되는 이러한 수정 및 변화, 그리고 그 동등한 기술을 커버하도록 의도된다.

Claims (14)

  1. 객체 검색 방법으로서,
    사용자의 음성 입력과 제스처 입력을 수신하는 단계;
    상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계;
    상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하는 단계; 및
    상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계
    를 포함하는 객체 검색 방법.
  2. 제1항에 있어서,
    상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하는 단계가 구체적으로,
    상기 타깃 객체의 이름과 상기 특성 정보를 서버에 송신하는 단계; 및
    상기 서버에 의해 회신된 검색 결과를 수신하는 단계
    를 포함하고, 여기서 상기 검색 결과는 상기 특성 정보에 따라 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것인, 객체 검색 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 사용자의 음성 입력과 제스처 입력을 수신하는 단계가 구체적으로,
    사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하는 단계; 또는
    사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하는 단계; 또는
    사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하는 단계
    를 포함하는, 객체 검색 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 획득하는 것은,
    지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계; 또는
    상기 제스처 입력의 방식으로 사용자에 의해 사진촬영(photographing)에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계
    를 포함하는, 객체 검색 방법.
  5. 객체 검색 장치로서,
    사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제1 수신 유닛;
    상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제1 결정 유닛;
    상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역으로부터 상기 특성 카테고리의 특성 정보를 추출하도록 구성된 추출 유닛; 및
    상기 추출된 특성 정보와 상기 타깃 객체의 이름에 따라 상기 타깃 객체를 검색하도록 구성된 제1 검색 유닛
    을 포함하는 객체 검색 장치.
  6. 제5항에 있어서,
    상기 제1 검색 유닛이 구체적으로, 상기 타깃 객체의 이름과 상기 특성 정보를 서버에 송신하고, 상기 서버에 의해 회신된 검색 결과를 수신하도록 구성되며, 여기서 상기 검색 결과는 상기 특성 정보에 따라 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것인, 객체 검색 장치.
  7. 제4항 또는 제5항에 있어서,
    상기 제1 수신 유닛이 구체적으로, 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성되는, 객체 검색 장치.
  8. 제4항 또는 제5항에 있어서,
    상기 제1 결정 유닛이, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성되는, 객체 검색 장치.
  9. 객체 검색 방법으로서,
    사용자의 음성 입력과 제스처 입력을 수신하는 단계;
    상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하는 단계;
    상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신하는 단계; 및
    상기 서버에 의해 회신된 검색 결과를 수신하는 단계
    를 포함하고, 여기서 상기 검색 결과는 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이며, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용되는 것인, 객체 검색 방법.
  10. 제9항에 있어서,
    상기 사용자의 음성 입력과 제스처 입력을 수신하는 단계가 구체적으로,
    사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하는 단계; 또는
    사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하는 단계; 또는
    사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하는 단계
    를 포함하는, 객체 검색 방법.
  11. 제9항에 있어서,
    상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 획득하는 것은,
    지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계; 또는
    상기 제스처 입력의 방식으로 사용자에 의해 사진촬영(photographing)에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하는 단계
    를 포함하는, 객체 검색 방법.
  12. 객체 검색 장치로서,
    사용자의 음성 입력과 제스처 입력을 수신하도록 구성된 제2 수신 유닛;
    상기 음성 입력에 따라, 사용자가 검색하길 원하는 타깃 객체의 이름과 상기 타깃 객체의 특성 카테고리를 결정하도록 구성된 제2 결정 유닛;
    상기 특성 카테고리의 카테고리 정보, 상기 타깃 객체의 이름 및 상기 제스처 입력의 방식으로 사용자에 의해 선택된 이미지 영역을 서버에 송신하도록 구성된 송신 유닛; 및
    상기 서버에 의해 회신된 검색 결과를 수신하도록 구성된 제3 수신 유닛
    을 포함하고, 여기서 상기 검색 결과는 상기 타깃 객체의 이름에 의해 표현되는 타깃 객체를 검색함으로써 상기 서버에 의해 획득되는 것이며, 상기 카테고리 정보에 의해 표현되는, 상기 이미지 영역의 특성 카테고리의 특성이 검색 기준으로서 사용되는 것인, 객체 검색 장치.
  13. 제12항에 있어서,
    상기 제2 수신 유닛이 구체적으로, 사용자에 의해 동시에 수행되는 음성 입력과 제스처 입력을 수신하거나; 또는 사용자의 음성 입력을 수신하고, 사용자에 의해 제스처 입력이 수행되지 않고 이미지 영역이 선택되지 않은 것으로 판정되면, 이미지 영역을 선택하는 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 제스처 입력을 수신하거나; 또는 사용자의 제스처 입력을 수신하고, 사용자에 의해 음성 입력이 수행되지 않은 것으로 판정되면, 음성 입력 조작을 수행하도록 사용자에게 명령을 내리고, 사용자의 음성 입력을 수신하도록 구성되는, 객체 검색 장치.
  14. 제12항에 있어서,
    상기 제2 결정 유닛이, 지정된 이미지로부터 선택되는 이미지 영역을 상기 제스처 입력의 방식으로 사용자에 의해 획득하고 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하거나; 또는 상기 제스처 입력의 방식으로 사용자에 의해 사진촬영에 의해 획득되는 이미지를 획득하고, 상기 이미지 영역을 사용자에 의해 선택된 이미지 영역으로서 사용하도록 더 구성되는, 객체 검색 장치.
KR1020167020862A 2014-05-15 2014-05-15 객체 검색 방법 및 장치 KR101864240B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/077566 WO2015172359A1 (zh) 2014-05-15 2014-05-15 一种对象搜索方法及装置

Publications (2)

Publication Number Publication Date
KR20160104054A true KR20160104054A (ko) 2016-09-02
KR101864240B1 KR101864240B1 (ko) 2018-06-04

Family

ID=53852833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020862A KR101864240B1 (ko) 2014-05-15 2014-05-15 객체 검색 방법 및 장치

Country Status (7)

Country Link
US (1) US10311115B2 (ko)
EP (1) EP3001333A4 (ko)
JP (1) JP6316447B2 (ko)
KR (1) KR101864240B1 (ko)
CN (1) CN104854539B (ko)
BR (1) BR112016017262B1 (ko)
WO (1) WO2015172359A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200068416A (ko) 2018-12-05 2020-06-15 제주대학교 산학협력단 감귤 바이오겔을 포함하는 감귤 미숙과 추출물을 유효성분으로 함유하는 화장료 조성물
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101561628B1 (ko) * 2013-12-30 2015-10-20 주식회사 케이티 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN107515868A (zh) * 2016-06-15 2017-12-26 北京陌上花科技有限公司 搜索方法及装置
KR102055733B1 (ko) * 2017-02-24 2019-12-13 권오민 이미지광고 온라인 제공 방법
KR102469717B1 (ko) * 2017-08-01 2022-11-22 삼성전자주식회사 오브젝트에 대한 검색 결과를 제공하기 위한 전자 장치 및 이의 제어 방법
CN110119461B (zh) * 2018-01-25 2022-01-14 阿里巴巴（中国）有限公司 一种查询信息的处理方法及装置
KR102630662B1 (ko) 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
CN108874910B (zh) * 2018-05-28 2021-08-17 思百达物联网科技(北京)有限公司 基于视觉的小目标识别系统
CN108984730A (zh) * 2018-07-12 2018-12-11 三星电子（中国）研发中心 一种搜索方法和搜索设备
EP3859488A4 (en) * 2018-09-28 2022-06-29 Shanghai Cambricon Information Technology Co., Ltd Signal processing device, signal processing method and related product
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
CN110765294B (zh) * 2019-10-25 2021-03-12 深圳追一科技有限公司 图像搜索方法、装置、终端设备及存储介质
CN113093406A (zh) * 2021-04-14 2021-07-09 陈祥炎 智能眼镜
CN116628327A (zh) * 2023-02-16 2023-08-22 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058577A1 (en) * 2010-10-28 2012-05-03 Google Inc. Search with joint image-audio queries

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166866A (ja) 1994-10-14 1996-06-25 Hitachi Ltd 対話型インターフェースを具備した編集支援システム
JPH10198695A (ja) 1997-01-13 1998-07-31 Sharp Corp 情報処理装置
US6513063B1 (en) * 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
JP3823129B2 (ja) 2001-12-07 2006-09-20 株式会社シガメック 画像検索システム及び画像検索方法
JP2006107109A (ja) 2004-10-05 2006-04-20 Canon Inc 情報管理装置及び情報管理方法
JP2007026316A (ja) 2005-07-20 2007-02-01 Yamaha Motor Co Ltd 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
US7457825B2 (en) 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
CN100414548C (zh) 2006-09-22 2008-08-27 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101071431A (zh) * 2007-01-31 2007-11-14 腾讯科技（深圳）有限公司 基于关键图形为搜索条件进行图象搜索的方法及系统
CN100578508C (zh) 2008-01-14 2010-01-06 上海博康智能信息技术有限公司 交互式图像搜索系统和方法
US8090738B2 (en) 2008-05-14 2012-01-03 Microsoft Corporation Multi-modal search wildcards
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US9087059B2 (en) * 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
CN101930457A (zh) 2010-08-13 2010-12-29 百度在线网络技术（北京）有限公司 一种供用户进行快速选择对象及搜索的方法、设备和系统
US20120155717A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Image search including facial image
JP5794036B2 (ja) * 2011-08-22 2015-10-14 セイコーエプソン株式会社 画像検索装置、画像検索方法、およびプログラム
CN103946838B (zh) 2011-11-24 2017-10-24 微软技术许可有限责任公司 交互式多模图像搜索
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN103246682A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 数据搜索方法和数据搜索装置
CN103020184B (zh) 2012-11-29 2016-05-25 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058577A1 (en) * 2010-10-28 2012-05-03 Google Inc. Search with joint image-audio queries

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method
KR20200068416A (ko) 2018-12-05 2020-06-15 제주대학교 산학협력단 감귤 바이오겔을 포함하는 감귤 미숙과 추출물을 유효성분으로 함유하는 화장료 조성물

Also Published As

Publication number Publication date
BR112016017262A2 (ko) 2017-08-08
EP3001333A4 (en) 2016-08-24
EP3001333A1 (en) 2016-03-30
WO2015172359A1 (zh) 2015-11-19
KR101864240B1 (ko) 2018-06-04
CN104854539B (zh) 2018-08-14
CN104854539A (zh) 2015-08-19
JP6316447B2 (ja) 2018-04-25
US10311115B2 (en) 2019-06-04
US20160147882A1 (en) 2016-05-26
JP2017513090A (ja) 2017-05-25
BR112016017262B1 (pt) 2022-09-27

Similar Documents

Publication Publication Date Title
KR101864240B1 (ko) 객체 검색 방법 및 장치
US10157191B2 (en) Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
KR101710465B1 (ko) 검색 추천 방법 및 장치
CN107229741B (zh) 信息搜索方法、装置、设备以及存储介质
CN104537341B (zh) 人脸图片信息获取方法和装置
EP3188034A1 (en) Display terminal-based data processing method
CN105975550B (zh) 一种智能设备的题目搜索方法和装置
CN104079999A (zh) 用于智能电视上的视频截图预览方法及系统
EP3328041A1 (en) Clothes matching recommendation method and smart terminal
CN105677851B (zh) 一种界面截图方法及用户设备
US20180336243A1 (en) Image Search Method, Apparatus and Storage Medium
WO2016201869A1 (zh) 搜索结果优化方法、搜索引擎、设备及非易失性计算机存储介质
US9600495B2 (en) Image search system, image search method, image search device, program, and information recording medium
US20180018389A1 (en) Method and apparatus for keyword-based text retrieval
CN110084187A (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
WO2017035390A1 (en) System, method, and apparatus for a color search
WO2017097102A1 (zh) 检索方法和检索装置
CN109710436B (zh) 空间清理方法、装置、设备和计算机可读存储介质
CN111104915A (zh) 一种同行分析方法、装置、设备和介质
US20170277722A1 (en) Search service providing apparatus, system, method, and computer program
CN106407386B (zh) 提高题目搜索效率的方法和装置
CN105183185B (zh) 一种在输入法系统中用于呈现数据的方法和装置
CN111080343B (zh) 基于多用户的房源搜索方法及系统
KR20220002626A (ko) 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기
CN104572841A (zh) 呈现物体相应信息的方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant