RU2654145C2 - Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого - Google Patents

Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого Download PDF

Info

Publication number
RU2654145C2
RU2654145C2 RU2015128285A RU2015128285A RU2654145C2 RU 2654145 C2 RU2654145 C2 RU 2654145C2 RU 2015128285 A RU2015128285 A RU 2015128285A RU 2015128285 A RU2015128285 A RU 2015128285A RU 2654145 C2 RU2654145 C2 RU 2654145C2
Authority
RU
Russia
Prior art keywords
objects
search
information
input
touch
Prior art date
Application number
RU2015128285A
Other languages
English (en)
Other versions
RU2015128285A (ru
Inventor
Сун-ми ДЗИН
Дзи-Хиеон КВЕОН
Original Assignee
Самсунг Электроникс Ко., Лтд
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд filed Critical Самсунг Электроникс Ко., Лтд
Publication of RU2015128285A publication Critical patent/RU2015128285A/ru
Application granted granted Critical
Publication of RU2654145C2 publication Critical patent/RU2654145C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к поиску информации на основе отображаемого изображения. Техническим результатом является повышение точности результатов поиска. Способ содержит этапы, на которых: принимают, посредством процессора упомянутого устройства, первый ввод, указывающий выбор множества объектов, включенных в упомянутое изображение; принимают, посредством упомянутого процессора, второй ввод, указывающий поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов; определяют, посредством упомянутого процессора, условие поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода; ищут информацию на основе упомянутого условия поиска; и выводят найденную информацию посредством упомянутого устройства. 2 н. и 13 з.п. ф-лы, 20 ил.

Description

Область техники, к которой относится изобретение
Настоящая общая идея изобретения относится к способу и устройству поиска информации и, в частности, к способу и устройству поиска информации на основе отображаемого изображения.
Уровень техники
Поскольку емкость памяти, установленной в устройствах, и объем хранения данных с использованием облачных серверов увеличились, были предложены способы поиска информации для быстрого и точного обеспечения информация, желаемые пользователями.
Сущность изобретения
Техническая задача
Однако стандартные способы поиска информации в общем случае выполняются на основе запросов пользователя, например запросов пользователя, в которых пользователь должен ввести множество ключевых слов и возможно также ввести указание того, как ключевые слова должны быть использованы или скомбинированы при поиске. Таким образом, требуются более простые и более интуитивные способы поиска информации.
Решение задачи
Назначением конкретных вариантов осуществления изобретения является решить, смягчить или избежать по меньшей мере частично по меньшей мере одну из задач и/или недостатков, ассоциированных с предшествующим уровнем техники. Конкретные варианты осуществления направлены на обеспечение по меньшей мере одного из преимуществ, описанных ниже.
Конкретные варианты осуществления настоящего изобретения обеспечивают способ и устройство интуитивного поиска информации на основе отображаемого изображения и компьютерно-читаемый носитель записи для этого.
Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство поиска информации на основе поискового отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.
Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство обеспечения услуг на основе отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.
Положительные эффекты изобретения
Согласно вышеупомянутым вариантам осуществления существует возможность проще и более интуитивно искать информацию посредством использования изображения, отображаемого на экране устройства.
Краткое описание чертежей
Эти и/или другие признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения станут очевидны и с большей готовностью понятны из последующего описания вариантов осуществления, воспринимаемых в сочетании с сопроводительными чертежами, среди которых:
Фиг. 1а изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 1b изображает пример программ и/или наборов команд, которые хранятся в блоке хранения устройства с Фиг. 1а и классифицируются согласно модулям;
Фиг. 2 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 3 изображает примеры экрана введения первого ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 4 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 5 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно другому варианту осуществления настоящей общей идеи изобретения;
Фиг. 6 изображает примеры экрана изображений для соответствия примерам экрана второго ввода с Фиг. 5;
Фиг. 7-9 изображают примеры экрана первого ввода, второго ввода и найденной информации;
Фиг. 10 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 11-13 изображают примеры экрана отображения получающейся в результате информации, полученной путем распознавания первого ввода с Фиг. 10;
Фиг. 14 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 15 изображает примеры экрана, отображаемые согласно блок-схеме с Фиг. 14;
Фиг. 16 изображает примеры экрана отображения множества единиц поиска;
Фиг. 17 изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;
Фиг. 18 изображает структурную схему, иллюстрирующую сеть для соединения устройств с Фиг. 1 и 17; и
Фиг. 19 изображает блок-схему, иллюстрирующую способ обеспечения услуг согласно одному варианту осуществления настоящей общей идеи изобретения.
Предпочтительный вариант осуществления изобретения
Дополнительные признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть поняты путем применения на практике общей идеи изобретения.
Один аспект настоящего изобретения обеспечивает способ поиска информации на основе изображения, отображаемого на устройстве, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и поиск информации на основе первого ввода и второго ввода; и выведение найденной информации посредством устройства.
Например, в конкретных вариантах осуществления способ дополнительно содержит выбор соответственного поискового термина (содержащего одно или несколько слов) для каждого из выбранных объектов, и поиск основан на выбранных поисковых терминах. Выбор каждого соответственного поискового термина может быть полностью автоматизирован в конкретных вариантах осуществления, но в других вариантах осуществления пользователь может принимать участие, например, путем того, что ему обеспечивается предложение множества предлагаемых поисковых терминов, соответствующих выбранному объекту, из которых пользователь может выбрать термин, который должен быть использован в поиске, например, путем обеспечения дополнительного сенсорного ввода. Второй ввод может быть использован для установления отношения между выбранными поисковыми терминами, например, путем установления того, должны ли поисковые термины быть скомбинированы способом логического И или же логического ИЛИ.
Поисковое отношение между выбранным множеством объектов может включать в себя одно из отношения одного и того же слоя, указывающего, что отношение между множеством объектов имеет один и тот же уровень при поиске информации (иными словами, множество объектов может иметь, ему может быть выдан или выделен один и тот же (т.е. равный) приоритет, вес, важность или ранг в поиске), и отношения разных (например, верхнего и нижнего) слоев, указывающего, что отношение между множеством объектов имеет различный приоритет, вес, важность или ранг (например, верхний и нижний уровень) при поиске информации.
В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположения отображения выбранного множества объектов.
В конкретных вариантах осуществления множество отдельных прикосновений на сенсорном экране может быть использовано для выбора множества объектов, на которых поиск должен быть основан. Прикосновения могут, например, осуществляться одновременно или по существу в одно и то же время, например, с использованием множества пальцев одной руки или двух рук. Множество объектов, выбранных таким образом, может иметь равный приоритет, вес и т.д. в поиске. В конкретных вариантах осуществления жест, содержащий или указывающий на перетаскивание выбранных объектов вместе (например, перетаскивание соответственных точек прикосновения вместе), может быть использован в качестве второго ввода для указания, что поиск должен выполняться для единицы, включающей в себя элементы, соответствующие всем из выбранных объектов (иными словами, жест перетаскивания вместе может быть использован интуитивно для указания отношения "И" между поисковыми терминами, соответствующими выбранным объектам). В качестве альтернативы, жест, содержащий или указывающий на перемещение каждого из выбранных объектов из его соответственной исходной позиции, к которой осуществлено прикосновение, в другую соответственную позицию, но без перетаскивания единиц вместе, может быть использован для указания, что поиск должен выполняться так, чтобы искать результаты, содержащие элемент, соответствующий по меньшей мере одному из выбранных объектов. Иными словами, такой ввод может быть использован в качестве второго ввода для указания отношения логического "ИЛИ" между выбранными единицами, или, иными словами, между поисковыми терминами, генерируемыми в соответствии с выбранными единицами.
В случае, когда поисковое отношение между выбранным множеством объектов является отношением разных (например, верхнего и нижнего) слоев, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего перемещение остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта, и жеста на основе прикосновения, указывающего перемещение по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.
В конкретных вариантах осуществления первый жест, содержащий одновременное прикосновение к двум объектам (первому объекту и второму объекту), может быть использован для выбора этих двух объектов в качестве основы для поиска. Затем второй жест, содержащий перетаскивание, или кажущееся перетаскивание, второго объекта к первому объекту (например, так близко, что объекты накладываются друг на друга или кажутся наложенными друг на друга), может быть использован для указания, что первому объекту должно быть назначено более высокое ранжирование, вес или приоритет в поиске, чем второму объекту. Иными словами, такой жест может быть использован для инструктирования поиска сначала искать единицы, содержащие элементы, соответствующие первому объекту (или первому поисковому термину, выбранному для первого объекта), и затем искать те единицы, которые дополнительно включают в себя элемент, соответствующий второму объекту (или его соответствующему второму поисковому термину).
Жест на основе прикосновения может включать в себя, или может содержать, прикосновение и перетаскивание.
В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, включающей в себя все из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, касающейся по меньшей мере один из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя отображение информации, используемой для выбора одной из единицы поиска информации, включающей в себя по меньшей мере один из выбранного множества объектов, и единицы поиска информации, включающей в себя все из выбранного множества объектов, и поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В конкретном варианте осуществления способ может дополнительно содержать обеспечение пользователю средства для выбора либо отношения И, либо отношения ИЛИ между выбранным множеством объектов (или их соответствующими поисковыми терминами).
Первый ввод может включать в себя, или содержать, один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте. Иными словами, объект может быть выбран путем прикосновения к нему, или осуществления жеста приблизительно вокруг (по меньшей мере частично вокруг) объекта (например, окружение его или перемещение позиции прикосновения приблизительно вокруг него, например по кругу или по многоугольной форме, чтобы очевидным образом сформировать рамку или очертить периметр вокруг объекта).
Поиск информации может включать в себя: отображение по меньшей мере одной единицы поиска, определенной согласно первому вводу и второму вводу; и поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска.
Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся к первому вводу, посредством устройства.
Информация, указывающая распознавание, относящееся к первому вводу посредством устройства, может включать в себя одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта, и множественного экрана на основе вырезанного изображения.
Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся ко второму вводу, посредством устройства.
Поиск информации может выполняться в отношении по меньшей мере одного из устройства и по меньшей мере одного внешнего устройства, соединенного с устройством.
Найденная информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста.
Другой аспект изобретения обеспечивает устройство, выполненное с возможностью осуществления способа в соответствии с любым из вышеописанных или нижеописанных аспектов или вариантов осуществления.
Другой аспект изобретения обеспечивает устройство, включающее в себя блок хранения для хранения по меньшей мере одного элемента информации и по меньшей мере одной программы, сенсорный экран для отображения изображения, для приема первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для приема второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и для отображения информации, поиск которой осуществляется на основе первого ввода и второго ввода, и процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана, для распознавания первого ввода и второго ввода, принятых посредством сенсорного экрана, для поиска информации от блока хранения согласно первому вводу и второму вводу и для вывода найденной информации на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.
Таким образом, в конкретных вариантах осуществления поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень при поиске информации.
В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение за исключением местоположений отображения выбранного множества объектов.
В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, второй ввод содержит один из жеста на основе прикосновения для перемещения остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта и жеста на основе прикосновения для перемещения по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.
В конкретных вариантах осуществления жест на основе прикосновения содержит прикосновение и перетаскивание.
В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя все из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя по меньшей мере один из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор отображает информацию, используемую для выбора единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, выполняет поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации, и, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.
В конкретных вариантах осуществления процессор отображает по меньшей мере одну единицу поиска, определенную согласно первому вводу и второму вводу на сенсорном экране, и выполняет поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска посредством сенсорного экрана.
В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся к первому вводу, посредством устройства.
В конкретных вариантах осуществления информация, указывающая распознавание, относящееся к первому вводу, содержит одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта и множественный экран на основе вырезанного изображения.
В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся ко второму вводу на устройстве на сенсорном экране.
В конкретных вариантах осуществления процессор выполняет поиск информации в отношении по меньшей мере одного из блока хранения и по меньшей мере одного внешнего устройства, соединенного с устройством.
В конкретных вариантах осуществления найденная информация содержит по меньшей мере одну из информации на основе изображения и информации на основе текста.
Другой аспект изобретения обеспечивает устройство, включающее в себя сенсорный экран для отображения изображения и для приема ввода пользователя на основе отображаемого изображения, процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана и блок хранения для хранения по меньшей мере одной программы, сконфигурированной для исполнения процессором, и информации, которая может быть доступной для поиска на основе изображения, причем программа включает в себя команды для распознавания первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для распознавания второго ввода, указывающего поисковое отношение между выбранным множеством объектов, для поиска информации, поиск которой осуществляется на основе первого ввода и второго ввода, и для вывода найденной информация на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.
Другой аспект изобретения обеспечивает способ обеспечения услуги на основе отображаемого изображения, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего отношение между выбранным множеством объектов, и отображение по меньшей мере одной единицы услуги, обеспеченной на основе первого ввода и второго ввода, и исполнение услуги согласно единице услуги, выбранной на основе отображения по меньшей мере одной единицы услуги.
В конкретных вариантах осуществления отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень.
В конкретных вариантах осуществления отображение по меньшей мере одной единицы услуги содержит: когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные каждому из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.
В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.
Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа поиска информации на основе изображения, отображаемого на устройстве, причем способ поиска информации на основе изображения, отображаемого на устройстве, выполняется тем же самым образом, что и вышеописанный способ поиска информации на основе изображения, отображаемого на устройстве.
Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа обеспечения услуги на основе отображаемого изображения, причем способ обеспечения услуги на основе отображаемого изображения выполняется тем же самым образом, что и вышеописанный способ обеспечения услуги на основе отображаемого изображения.
Другой аспект изобретения обеспечивает устройство для выполнения способа поиска информации, причем устройство включает в себя панель отображения для отображения изображения, включающего в себя один или несколько объектов, на ее экране, и процессор, сконфигурированный для управления панелью отображения для приема выбора объектов с изображения на панели отображения в качестве первого ввода, для приема перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и для отображения одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.
Панель отображения может различным образом отображать выбранные объекты и невыбранные объекты согласно существованию ввода пользователя на ней.
Панель отображения может отображать по меньшей мере одну позицию выбранных объектов в другой позиции.
Экран панели отображения может включать в себя первый экран для отображения изображения, включающего в себя объекты, второй экран для отображения выбора объектов, третий экран для отображения указания перемещения и четвертый экран для отображения одного или нескольких изображений, для которых осуществляется поиск.
Панель отображения может отображать второй экран и третий экран согласно взаимодействию пользователя с панелью отображения. Панель отображения может отображать первый экран и четвертый экран согласно операциям процессора без взаимодействия пользователя с панелью отображения.
Второй экран может включать в себя первый экран.
Второй экран может отличаться от первого экрана.
Третий экран может включать в себя первый экран и второй экран.
Третий экран может отличаться от первого экрана и второго экрана.
Другой аспект изобретения обеспечивает способ поиска информации на основе отображаемого изображения, причем способ включает в себя отображение изображения, включающего в себя один или несколько объектов, на экране панели отображения, прием выбора объектов с изображения на панели отображения в качестве первого ввода, прием перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и отображение одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.
Вариант осуществления изобретения
Поскольку настоящее изобретение обеспечивает возможность для различных изменений и множества вариантов осуществления, конкретные варианты осуществления будут проиллюстрированы на чертежах и описаны подробно в текстовом описании. Однако это не предназначено для ограничения настоящей общей идеи изобретения конкретными вариантами применения на практике, и следует понимать, что все изменения, эквиваленты и замены, которые не выходят за рамки сущности и технического объема настоящей общей идеи изобретения, охватываются настоящей общей идеей изобретения. В описании настоящей общей идеи изобретения конкретные подробные объяснения родственной области техники опускаются, когда считается, что они могут излишне затемнить суть общей идеи изобретения.
Ссылка теперь будет сделана подробно на варианты осуществления настоящей общей идеи изобретения, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции везде ссылаются на подобные элементы. Варианты осуществления описаны ниже для того, чтобы объяснить настоящую общую идея изобретения, при этом ссылаясь на чертежи.
Такие термины, как "первый" и "второй", используются здесь исключительно для описания множества различных составляющих элементов, но составляющие элементы не ограничиваются этими терминами. Термины используются только в целях различения одного составляющего элемента от другого составляющего элемента.
Большинство терминов, используемых здесь, является общими терминами, которые широко используются в области техники, к которой настоящая общая идея изобретения принадлежит. Однако некоторые из терминов, используемых здесь, могут создаваться для отражения намерений технических специалистов в данной области техники, прецедентов или новых технологий. Кроме того, некоторые из терминов, используемых здесь, могут быть произвольно выбраны настоящим лицом, подающим заявку. В этом случае эти термины подробно определяются ниже. Соответственно, конкретные термины, используемые здесь, должны пониматься на основе их уникальных значений и полного контекста настоящей общей идеи изобретения.
Используемые здесь формы единственного числа подразумеваются как включающие в себя также и формы множественного числа, если только контекст явным образом не указывает другое. Следует дополнительно понимать, что термины "содержит" или "содержащий", когда используются в этом техническом описании, указывают наличие описанных признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп, но не препятствуют наличию или добавлению одного или нескольких других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп.
На протяжении этого технического описания термин "ввод" может быть использован для ссылок на пользовательский ввод, который является вводом на основе прикосновения. Ввод на основе прикосновения может включать в себя запрос пользователя, выбор пользователя (например, выбор множества объектов на изображении) или команду пользователя (например, команду для установления поискового отношения между множеством выбранных объектов), но не ограничивается этим. Ввод на основе прикосновения может зависеть от пользовательского жеста на основе прикосновения. Пользовательский жест на основе прикосновения может включать в себя, например, касание (или прикосновение), долгое касание (или долгое прикосновение), прикосновение и удерживание, прикосновение и перетаскивание, двойное касание, перетаскивание, прокрутку, щелчок, перетаскивание и отпускание, сметание и т. п., но не ограничивается этим.
Ввод не ограничивается вышеописанными пользовательскими жестами на основе прикосновения. Например, ввод может быть определен как ввод на основе движения или ввод на основе вида.
Ввод на основе движения может быть основан на пользовательском жесте на основе движения устройства (например, встряхивания устройства, удара по устройству, и т.д.), выполняемого пользователем. Например, поисковое отношение между выбранными объектами, которое будет описано в вариантах осуществления позже, может быть установлено как отношение верхнего и нижнего слоя или отношение одного и того же слоя согласно схеме или направлению встряхивания устройства. Схема или направление встряхивания устройства, используемые для установления поискового отношение между выбранными объектами в качестве отношения верхнего и нижнего слоя или отношения одного и того же слоя, могут быть установлены заранее. Например, в случае, когда устройство встряхивается вверх и вниз, ввод на основе движения определяется заранее таким образом, что поисковое отношение между выбранными объектами может быть установлено как отношение верхнего и нижнего слоя. Отношение верхнего и нижнего слоя между объектами может называться отношением слоев "родитель-потомок" между объектами.
Ввод на основе вида может основываться на пользовательском жесте, распознанном посредством анализа входного изображения, полученного посредством камеры без контактирования с устройством. Например, поисковое отношение между выбранными объектами, которые будут описаны в вариантах осуществления далее, может быть установлено как независимое отношение или зависимое отношение посредством анализа входного изображения, полученного посредством камеры, причем ввод пользователя включает в себя пользовательский пространственный жест (например, пространственный жест с пальцами вместе), такой как пользовательский жест на основе прикосновения. Пользовательский пространственный жест, используемый для установления поискового отношения между выбранными объектами в качестве независимого отношения или зависимого отношения, может быть установлен заранее.
Настоящая общая идея изобретения будет описана далее более полно со ссылками на сопроводительные чертежи, на которых иллюстрируются примерные варианты осуществления общей идеи изобретения.
Используемый здесь термин "и/или" включает в себя любые и все комбинации одного или нескольких из ассоциированных перечисленных элементов. Такие выражения, как "по меньшей мере один из", когда предшествуют списку элементов, модифицируют весь список элементов и не модифицируют отдельные элементы из списка.
Фиг. 1а изображает структурную схему, иллюстрирующую устройство 100 согласно одному варианту осуществления настоящей общей идеи изобретения. Примеры устройства 100 с Фиг. 1а могут включать в себя интеллектуальный телефон, интеллектуальный телевизор, персональный компьютер (PC), настольный компьютер, интеллектуальную доску, планшетный PC, мобильное устройство, карманное устройство или карманный компьютер, мультимедийный проигрыватель, терминал электронной книги, "электронный помощник" (PDA), цифровую камеру с возможностью введения ввода пользователя на основе прикосновения, устройство цифровой бытовой электроники (CE) (например, устройство, имеющее функцию отображения изображения и введения пользовательского жеста на основе прикосновения) и т.д., но не ограничиваются этим.
Устройство 100 включает в себя блок 101 ввода информации, считывающий блок 102, сенсорный экран 103, камеру 104, блок 105 аудиоввода, блок 106 аудиовывода, блок 107 хранения, блок 108 беспроводной связи, блок 109 проводной связи, процессор 110 и блок 111 мощности. Однако строение устройства 100 не ограничивается иллюстрируемым на Фиг. 1A. То есть устройство 100 может включать в себя больше или меньше элементов, чем количество элементов с Фиг. 1, согласно осуществлению или предпочтению пользователя.
Блок 101 ввода информации может принимать входные данные для управления операцией устройства 100 и информацией, обеспечивающей возможность запрашивать исполнение способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения, но не ограничивается этим. Блок 101 ввода информации может включать в себя клавиатуру, купольную клавиатуру, толчковое колесо, толчковый переключатель, аппаратную кнопку, горячую клавишу, сенсорную панель и т.д., но не ограничивается этим.
Считывающий блок 102 может обнаруживать текущее состояние устройства 100, такое как местоположение устройства 100, то, есть ли контакт пользователя с устройством 100, перемещение устройства 100, направление устройства 100, ускорение или замедление устройства 100 и т.д., и генерировать считанный сигнал для управления операцией устройства 100. Считывающий блок 102 может включать в себя датчик близости и датчик движения. Считывающий блок 102 может генерировать сигнал, который распознает пользовательский жест на основе датчика.
Датчик близости является датчиком для обнаружения того, приближается ли объект к ранее установленной поверхности обнаружения, или того, присутствует ли объект поблизости, посредством силы электромагнитного поля или инфракрасного луча без действительного физического прикосновения. Примеры датчика близости включают в себя прозрачный фотоэлектрический датчик, фотоэлектрический датчик прямого отражения, фотоэлектрический датчик зеркального отражения, фотоэлектрический датчик высокочастотных колебаний, емкостный фотоэлектрический датчик, магнитный фотоэлектрический датчик, инфракрасный фотоэлектрический датчик и т.д.
Сенсорный экран 103 может быть сконфигурирован как резистивный (декомпрессионный) сенсорный экран или емкостный сенсорный экран, но не ограничивается этим. Сенсорный экран 103 может включать в себя пользовательский запрос, пользовательский выбор или команду пользователя, которая зависит от вышеописанного пользовательского жеста на основе прикосновения. Пользовательский жест на основе прикосновения может быть определен как различные комбинации частоты прикосновений, схемы прикосновений, зоны прикосновений и интенсивности прикосновений, но не ограничивается этим. Сенсорный экран 103 может включать в себя различные датчики для обнаружения прикосновения или прикосновения близости сенсорного экрана 103. Датчики, включенные в датчик 103 касания, могут генерировать сигналы, которые обнаруживают вышеописанные пользовательские жесты на основе прикосновения или схемы. Датчик близости, используемый с сенсорным экраном 103, может быть тем же самым, что и датчик близости, включенный в считывающий блок 102.
Пример датчика для обнаружения прикосновения сенсорного экрана 103 может включать в себя тактильный датчик. Тактильный датчик может обнаруживать различные типы информации, такие как шероховатость поверхности прикосновения, твердость объекта прикосновения, температура в точке прикосновения и т.д. Датчик близости является датчиком для обнаружения того, приблизился ли объект к ранее установленной обнаруживающей поверхности или находится ли объект поблизости, посредством силы электромагнитного поля или инфракрасного луча без действительного физического прикосновения. Примеры датчика близости включают в себя прозрачный фотоэлектрический датчик, фотоэлектрический датчик прямого отражения, фотоэлектрический датчик зеркального отражения, фотоэлектрический датчик высокочастотных колебаний, емкостный фотоэлектрический датчик, магнитный фотоэлектрический датчик, инфракрасный фотоэлектрический датчик и т.д.
Прикосновение к сенсорному экрану 103 может быть прикосновением к сенсорной панели указателем. Прикосновением близости сенсорного экрана 103 может быть перемещение указателя, то есть не действительное прикосновение к сенсорной панели, а приближение к сенсорной панели в диапазоне предварительно определенного расстояния. Указателем является инструмент, обеспечивающий возможность осуществить прикосновение или прикосновение близости к конкретной части сенсорного экрана 103. Примеры указателя могут включать в себя стилусное перо, палец пользователя и т.д., но не ограничиваются этим.
Сенсорный экран 103 отображает информацию, обработанную устройством 100. Например, сенсорный экран 103 может отображать пользовательские жесты или схемы прикосновений, обнаруженные посредством датчиков, включенных в сенсорный экран 103, управлять данными или входной пользовательской информацией, вводимой через блок 101 ввода информации, или экран, отвечающий на сигнал, обнаруженный посредством считывающего блока 102.
Камера 104 обрабатывает кадр изображения, такой как неподвижное изображение или движущееся изображение, полученный датчиком изображений (или фотодатчиком) в режиме вызова изображения или фотографирующем режиме. Обработанный кадр изображения может отображаться на сенсорном экране 103. Соответственно, способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения может выполняться на основе кадра изображения, включенного в неподвижное изображение или движущееся изображение, полученное камерой 104.
Кадр изображения, обработанный камерой 104, может сохраняться в блоке 107 хранения или передаваться наружу от него посредством блока 108 беспроводной связи или блока 109 проводной связи. Кадром изображения камеры 104 может быть изображение, используемое в процессоре 110 для выполнения способа поиска информации на основе изображения. Количеством камер 104 может быть две или более согласно строению устройства 100. Камера 104 может быть использована в качестве устройства ввода для распознавания пользовательского пространственного жеста.
Блок 105 аудиоввода может принимать ввод внешнего звукового сигнала в режиме вызова, записывающем режиме или режиме распознавания голоса, преобразовывать звуковой сигнал в электрические голосовые данные и передавать электрические голосовые данные процессору 110. Блок 105 аудиоввода может быть сконфигурирован как, например, микрофон. Блок 105 аудиоввода может быть сконфигурирован с возможностью включать в себя различные алгоритмы удаления шума для удаления шума, генерируемого в течение процесса для приема ввода внешнего звукового сигнала.
Звуковой сигнал, введенный посредством блока 105 аудиоввода, может включать в себя входную пользовательскую информацию, обеспечивающую возможность запрашивать исполнение способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. В случае, когда звуковой сигнал является входной пользовательской информацией на естественном языке, звуковой сигнал может называться пользовательским вводом на основе распознавания голоса. Внешний звуковой сигнал, введенный через блок 105 аудиоввода, может сохраняться в блоке 107 хранения посредством процессора 110 или передаваться наружу от него посредством процессора 110 и блока 108 беспроводной связи или посредством процессора 110 и блока 109 проводной связи.
Блок 106 аудиовывода выводит звуковой сигнал или аудиосигнал, который принимается извне него или считывает из блока 107 хранения в режиме вызова или режиме воспроизведения аудио. Блок 106 аудиовывода может быть сконфигурирован как динамик. Если аудиосигнал включен в воспроизводимое содержимое, блок 106 аудиовывода выводит аудиосигнал, включенный в воспроизводимое содержимое. Блок 105 аудиоввода и блок 106 аудиовывода могут быть неотъемлемым образом сформированы внутри единого блока, например гарнитуры.
Блок 107 хранения может включать в себя по меньшей мере одну программу и/или набор команд и ресурс, которые конфигурируются для исполнения в процессоре 110, который будет описан позднее. По меньшей мере одна программа включает в себя по меньшей мере одну программу для исполнения способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения, программу операционной системы устройства 100, прикладную программу, относящуюся к различным функциям (или услугам), выполняемым устройством 100, и программу для приведения в действие аппаратных компонентов, включенных в устройство 100, но не ограничивается этим.
Ресурс может включать в себя информацию, которая доступна для поиска на основе первого ввода и второго ввода. Доступная для поиска информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста. Например, доступная для поиска информация может включать в себя одно или несколько изображений или текстов, включающих в себя все из одного или нескольких из выбранных объектов, причем изображения или тексты включают в себя по меньшей мере один из множества выбранных объектов и текстовую информацию, касающуюся единицы поиска, которая может быть выбрана согласно второму вводу, но не ограничиваются этим.
Текстовая информация, касающаяся единицы поиска, которая может быть выбрана, определяется согласно первому вводу и второму вводу. Пример текстовой информации, касающейся единицы поиска, определенной согласно первому вводу и второму вводу, будет описана более подробно со ссылками на примеры экрана, которые будут описаны позднее.
Ресурс может также включать в себя информацию пользователя устройства 100, информацию, необходимую для оперирования прикладной программой, установленной в устройстве 100, и информацию, необходимую для исполнения программы для приведения в действие вышеописанных аппаратных компонентов, но не ограничивается этим.
Блок 107 хранения может включать в себя по меньшей мере один носитель данных из флэш-памяти, памяти типа жесткого диска, микропамяти типа мультимедийной карты, памяти типа карты (например, SD-памяти, XD-памяти или подобного), оперативной памяти (RAM), статической RAM (SRAM), постоянной памяти (ROM), электрической стираемой программируемой постоянной памяти (EEPROM), программируемой ROM (PROM), магнитной памяти и оптического диска. Однако настоящая общая идея изобретения не ограничивается этим. Блок 107 хранения может включать в себя блок хранения, например энергозависимый блок памяти или энергонезависимый блок памяти.
По меньшей мере одна программа и/или набор команд, которые сохраняются в блоке 107 хранения, могут быть классифицированы как множество модулей согласно соответствующим функциям.
Фиг. 1b изображает пример программ и/или наборов команд, которые хранятся в блоке 107 хранения и классифицируются согласно модулям. Со ссылкой на Фиг. 1b, блок 107 хранения может включать в себя операционную систему 107-1, модуль 107-2 беспроводной связи, модуль 107-3 проводной связи, графический модуль 107-4, модуль 107-5 глобальной системы позиционирования (GPS), модуль 107-6 пользовательского интерфейса (UI), считывающий модуль 107-7, модуль 107-8 контакта и движения, модуль 107-9 питания и модуль 107-10 приложения, но не ограничивается этим.
Модуль 107-10 приложения включает в себя модуль 107-11 воспроизведения изображения, модуль 107-12 поиска информации и модуль 107-13 камеры, но не ограничивается этим. Например, модуль 107-10 приложения может включать в себя различные модули, такие как модуль электронной почты, модуль услуг социальных сетей (SNS), модуль видеоконференций, модуль управления изображениями, модуль обозревания, модуль календаря, модуль виджетов, модуль поиска, модуль подготовки документов Word и т.д.
Операционная система 107-1 управляет и руководит общей функцией устройства 100 и включает в себя программный компонент, чтобы обеспечить возможность связи между аппаратными и программными компонентами, включенными в устройство 100.
Модуль 107-2 беспроводной связи может включать в себя программный компонент, чтобы обеспечить возможность связи с по меньшей мере одним внешним устройством (не изображено) посредством блока 108 беспроводной связи и чтобы обрабатывать данные, принимаемые от и передаваемые к по меньшей мере одному внешнему устройству посредством блока 108 беспроводной связи. По меньшей мере одно внешнее устройство может включать в себя по меньшей мере одно из облачного сервера и устройства, близкого или подключаемого проводным или беспроводным образом к устройству 100.
Модуль 107-2 беспроводной связи согласно одному варианту осуществления настоящей общей идеи изобретения может запрашивать поиск информации от внешнего устройства при поиске информации и принимать найденную информацию от внешнего устройства.
Модуль 107-3 проводной связи включает в себя программный компонент, чтобы обеспечить возможность связи между внешним устройством (не изображено), и блок 109 проводной связи, сконфигурированный как элемент, такой как универсальная последовательная шина (USB), и обрабатывающий данные, принимаемые от и передаваемые к по меньшей мере одному внешнему устройству посредством блока 108 беспроводной связи.
Графический модуль 107-4 включает в себя программный компонент для регулирования яркости и визуализации графики, отображаемой на сенсорном экране 103, и программный компонент для обеспечения виртуальной клавиатуры (или программной клавиатуры) для ввода текста в модуле 107-10 приложения.
GPS-модуль 107-5 включает в себя программный компонент для определения местоположения устройства 100 и для обеспечения определенного местоположения приложению, которое обеспечивает услугу на основе местоположения. UI-модуль 107-6 включает в себя программный компонент для обеспечения UI, необходимого для приложения, которое обеспечивает UI-информацию на основе сенсорного экрана 103.
Считывающий модуль 107-7 включает в себя программный компонент для определения считанной информации считывающего блока 102 в качестве считанной информации на основе считывающего блока и для обеспечения услуги на основе определенной считанной информации модулю 107-10 приложения. Модуль 107-8 контакта и движения включает в себя программный компонент для обнаружения контакта прикосновения к сенсорному экрану 103 в качестве контакта прикосновения на основе сенсорного экрана для отслеживания движения на основе контакта и для обеспечения отслеженного движения модулю 107-10 приложения, требующему отслеженное движение.
Модуль 107-9 питания включает в себя программный компонент для соединения с операционной системой 107-1, для управления источником питания для аппаратных компонентов, включенных в устройство 100, и для управления спящим режимом в отношении мощности, обеспечиваемой сенсорному экрану 103.
Функции модулей, включаемых в модуль 107-10 приложения, могут быть интуитивно поняты пользователем по их названиям, и, таким образом, только модуль 107-10 приложения, относящегося к варианту осуществления настоящей общей идеи изобретения, далее будет описан.
Например, когда модуль 107-11 воспроизведения изображения исполняется для отображения изображения (или одиночного изображения) на сенсорном экране 103, модуль 107-12 поиска информации исполняется для выполнения услуги поиска информации на основе отображаемого изображения. После того как услуга поиска информации на основе отображаемого изображения выполняется, если вышеописанный первый и второй выводы распознаются согласно информации, обнаруженной модулем 107-8 контакта и движения и/или считывающим модулем 107-7, поиск информации осуществляется из по меньшей мере одного из по меньшей мере одного внешнего устройства (не изображено), подключенного через блок 107 хранения, блок 108 беспроводной связи и блок 109 проводной связи, на основе распознанных первого и второго вводов.
Если информация, поиск которой осуществляется, найдена, модуль 107-12 поиска информации выводит найденную информацию на сенсорный экран 103. UI-модуль 107-6 может отображать найденную информацию на сенсорном экране 103, и, когда первый и второй вводы распознаются, выводить распознанную получающуюся в результате информацию на сенсорном экране 103.
Термин "поиска", обработанный на основе первого и второго вводов, может называться взаимодействием между пользователем и устройством 100. То есть распознавание первого ввода может быть определено как взаимодействие между пользователем и устройством 100 в отношении выбора множества объектов, распознавание второго ввода может быть определено как взаимодействие между пользователем и устройством 100 в отношении поискового отношения между множеством объектов, и отображение найденной информации на сенсорном экране 103 может называться взаимодействием поиска. Например, устройство 100 может принимать ввод пользователя от сенсорного экрана 103 и распознавать принятый ввод пользователя как первый ввод, и затем устройство 100 может принимать другой ввод пользователя от сенсорного экрана 103, когда первый ввод распознается, и распознавать принятый другой ввод пользователя как второй ввод.
Возможно, что блок 107 хранения с Фиг. 1а не хранит модули, включаемые в модуль 107-10 приложения из программ и/или наборов команд с Фиг. 1b. Вместо этого блок 107 хранения может хранить только информацию местоположения, такую как унифицированный указатель ресурса (URL) модуля 107-10 приложения или информацию отображения, которая может указывать модуль 107-10 приложения. В случае, когда блок 107 хранения не хранит модули, включаемые в модуль 107-10 приложения, процессор 110 может осуществлять доступ к внешнему устройству через блок 108 беспроводной связи или блок 109 проводной связи и использовать программу и/или набор команд, которые соответствуют модулю приложения 107-10 и хранятся во внешнем устройстве.
В случае, когда блок 107 хранения хранит только информацию местоположения модуля 107-10 приложения или информацию отображения, которая может указывать модуль 107-10 приложения, процессор 110 может искать информацию, сохраненную во внешнем устройстве, посредством блока 108 беспроводной связи или блока 109 проводной связи посредством информации местоположения приложения, соответствующего пользовательскому сигналу выбора, или информации отображения, отображаемой на сенсорном экране 103 для указания модуля 107-10 приложения.
Блок 108 беспроводной связи может передавать и принимать данные к и от внешнего устройства по беспроводной сети, такой как беспроводной Интернет, беспроводной Интранет, беспроводная телефонная сеть, беспроводная локальная сеть (LAN), сеть Wi-Fi, сеть Wi-Fi Direct (WFD), сеть 3G, сеть проекта долгосрочного развития (LTE) 4G, сеть Bluetooth, сеть ассоциации передачи данных в инфракрасном диапазоне (IrDA), сеть радиочастотной идентификации (RFID), сверхширокополосная (UWB) сеть и сеть Zigbee.
Блок 108 беспроводной связи может включать в себя по меньшей мере один из модуля приема широкого вещания, модуля мобильной связи, модуля беспроводного Интернета, модуля проводного Интернета, модуля связи ближнего действия и модуля информации местоположения, но не ограничивается этим.
Блок 109 проводной связи может передавать и принимать данные к и от внешнего устройства через проводную сеть, такую как проводной Интернет. Блок 109 проводной связи может передавать и принимать данные с внешним устройством посредством интерфейса "подключи и работай", такого как UBS-порт (не изображен). Блок 109 проводной связи может не быть элементом устройства 100.
Блок 111 мощности обеспечивает мощность аппаратным компонентам, включенным в устройство 100. Блок 111 мощности включает в себя по меньшей мере один источник питания, такой как аккумулятор и источник питания переменного тока (AC). Устройство 100 может не включать в себя блок 111 мощности и может включать в себя блок соединения (не изображен), который имеет возможность подключения к внешнему блоку источника питания (не изображен).
Процессором 110 может называться один или несколько процессоров, которые управляют общей операцией устройства 100. Процессор 110 может в общем случае управлять блоком 101 ввода информации, считывающим блоком 012, сенсорным экраном 103, камерой 104, блоком 105 аудиоввода, блоком 106 аудиовывода, блоком 107 хранения, блоком 108 беспроводной связи, блоком 109 проводной связи и блоком 111 мощности посредством операционной системы 107-1 и модулей 107-2-107-13, которые хранятся в блоке 107 хранения. Таким образом, процессор 110 может называться средством управления, микропроцессором, процессором цифровых сигналов и т.д.
Процессор 110 может обеспечивать пользовательский интерфейс посредством операционной системы 107-1, UI-модуля 107-6, блока 101 ввода информации, считывающего блока 102, сенсорного экрана 103, камеры 104 и блока 105 аудиоввода.
Процессор 110 может исполнять по меньшей мере одну программу, относящуюся к способу поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения и выполнять способы, иллюстрируемые на блок-схемах с Фиг. 2, 10 и 14, которые будут описаны позже. Процессор 110 может исполнять программу путем считывания программы из блока 107 хранения или скачивания программы с внешнего устройства, подключенного через блок 108 беспроводной связи или блок 109 проводной связи. В этом отношении внешнее устройство может называться сервером обеспечения приложения или сервером рынка приложений. Внешнее устройство может включать в себя облачный сервер или устройство с возможностью связи, близкое к устройству 100. Внешнее устройство может быть другим устройством, подобным или аналогичным устройству 100. Процессор 110 может пониматься как включающий в себя блок функции интерфейса, осуществляющий интерфейс между различными аппаратными компонентами, включенными в устройство 100 и его процессор 110.
Фиг. 2 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 2 может выполняться процессором 110 с Фиг. 1a.
Со ссылкой на Фиг. 2, процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране 103, на операции S201.
Фиг. 3 изображает примеры экрана для ввода первого ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Со ссылкой на Фиг. 3, экран 310 является примером, в котором первый ввод вводится путем прикосновения к множеству объектов 310a1 и 310a2, включенных в изображение 310a, отображаемое на сенсорном экране 103. Здесь прикосновение может называться долгим прикосновением в течение более долгого периода времени, чем опорный период времени. Соответственно, процессор 110 распознает выбор объектов 310a1 и 310a2, соответствующих точкам прикосновения на изображении 310a, отображаемом на экране 310. Точки прикосновения могут называться точками более долгого прикосновения, чем опорные точки прикосновения. Пользовательский жест на основе прикосновения, указывающий выбор множества объектов, не ограничивается вышеописанным долгим прикосновением, и выбор множества объектов 310a1 и 310a2 может не осуществляться параллельно. Также возможно, что объекты могут выбираться одновременно. Также возможно, что объекты могут выбираться независимо. Когда выбор осуществляется независимо, второй выбор второго объекта может быть осуществлен в течение опорного периода времени после первого выбора первого объекта. Также возможно, что объекты могут выбираться с различных изображений, отображаемых на соответствующем экране. Процессор 110 может распознавать выбор объектов в качестве первого ввода. На экране 310 первое прикосновение может быть использовано для выбора человека A для последующего поиска, и второе прикосновение может быть использовано для выбора человека B. Прикосновения могут осуществляться по существу одновременно с использованием двух пальцев одной и той же руки. Прикосновение для выбора каждого человека является прикосновением на части экрана, отображающего лицо этого человека в этом примере. Таким образом, ввод пользователя (прикосновения к двум "объектам") интерпретируется устройством как инструкция для выполнения поиска других единиц, включающих в себя элемент, соответствующий человеку A и/или человеку B. Дополнительный ввод может быть обеспечен пользователем для определения, осуществляется ли поиск тех единиц, которые соответствуют и человеку A, и человеку B (т.е. для A и B), или соответствуют по меньшей мере одному из A и B (т.е. A или B). Поиск может, в конкретных вариантах осуществления, осуществляться для единиц в форме исключительно изображений, но в альтернативных вариантах осуществления поиск может осуществляться для любого типа объекта, единицы данных и т.д., ассоциированных с или соответствующих A или B. Следует понимать, что устройство может задействовать программные средства обработки изображений, например программные средства распознавания лиц, для определения людей, выбранных для поиска, и таким образом генерировать соответствующие поисковые термины.
Со ссылкой на Фиг. 3, экран 320 является примером, в котором первый ввод вводится пользовательским жестом для установления круговой замкнутой области каждого из множества объектов 320a1 и 320a2 на изображении 320a, отображаемом на сенсорном экране 103. Пользовательский жест для установления круговой замкнутой области не ограничивается иллюстрируемым на экране 320. То есть пользовательский жест для установления круговой замкнутой области может включать в себя квадратный или треугольный пользовательский жест, который включает в себя объект, который должен быть выбран. Круговая замкнутая область не обязательно должна быть установлена так, чтобы соединить начальную точку и конечную точку, и может включать в себя пользовательский жест, указывающий соединение между начальной точкой и конечной точкой. Пользовательский жест может быть жестом для формирования линии, указывающей объект. Также возможно, что объекты могут выбираться одновременно. Также возможно, что объекты могут выбираться независимо. Когда выбор осуществляется независимо, второй выбор второго объекта может быть осуществлен в течение опорного периода времени после первого выбора первого объекта. Также возможно, что объекты могут выбираться с различных изображений, отображаемых на соответствующем экране. Процессор 110 может распознать выбор объектов, описанных выше или далее, в качестве первого ввода. Иными словами, каждый объект в этом примере выбирается путем выполнения обводящего или окружающего жеста на сенсорном экране, по меньшей мере частично вокруг части отображаемого изображения, отображающего объект. Пятно или отпечаток на одежде человека может быть выбрано (объект 320a1) посредством одного жеста, и чашка или напиток (320a2) может быть выбран посредством второго жеста, устройство может, например, быть выполнено с возможностью выбора поискового термина "пятно" соответствующего первому выбранному объекту, и поискового термина "чай или кофе" для второй единицы. Устройство может затем автоматически выполнять поиск на основе Интернета для единицы, относящейся к "пятну" и "чаю или кофе", и таким образом может представлять пользователю результаты, включающие в себя подсказки или советы о том, как удалить пятна чая или кофе с одежды. Имеет преимущества то, что поиск мог, таким образом, быть выполнен интуитивным образом путем простого прикосновения к частям отображаемого изображения, соответствующим, или относящимся к, поисковым терминам, которые пользователь может желать использовать. Никакой набор текста не был необходим.
Процессор 110 распознает второй ввод, указывающий поисковое отношение между множеством объектов, выбранных на основе изображения, отображаемого на сенсорном экране 103, на операции S202.
Фиг. 4 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящего изобретения. На Фиг. 4 второй ввод используется для установления поискового отношения между множеством объектов, выбранных при поиске информации, в качестве отношения одного и того же слоя.
Со ссылкой на Фиг. 4, экран 401 является примером второго ввода путем пользовательского жеста на основе прикосновения для сбора множества выбранных объектов так, чтобы собранные объекты были размещены в одном месте. То есть экран 401 изображает, что первый ввод (например, долгое прикосновение), указывающий выбор пяти объектов, включенных в одно изображение, вводится, и затем второй ввод вводится для установления поискового отношения между выбранными пятью объектами как отношение одного и того же слоя путем перетаскивания точки, в которой первый ввод вводится, в точку на отображаемом изображении. Иными словами, второй ввод может быть использован для определения, что каждому из множества выбранных объектов должен быть выдан тот же самый приоритет, вес, ранг и т.д., что и остальным, в последующем поиске. Таким образом, это перетаскивание вместе множества точек прикосновения может, в конкретных вариантах осуществления, быть использовано для указания общей важности или ранжирования соответствующих поисковых терминов в последующем поиске. В конкретных вариантах осуществления, после определения положения одного и того же уровня для множества выбранных объектов, последующий поиск может основываться на отношении И или отношении ИЛИ между соответствующими поисковыми терминами согласно предварительно определенной стратегии или настройке, или в качестве альтернативы пользователю может быть предложено обеспечить дополнительный ввод, указывающий, требуется ли стратегия И или же ИЛИ. В альтернативных вариантах осуществления жест перетаскивания вместе, описанный выше, может быть использован интуитивно для указания, что поиск должен быть основан на отношении И между выбранными объектами, т.е. это поиск единиц, соответствующих, или включающих в себя элементы, соответствующие, всем из выбранных объектов. Таким образом, жест перетаскивания вместе может быть использован для указания отношения одного и того же уровня и/или логического отношения, которое должно быть использовано между поисковыми терминами в поиске.
В этом отношении, хотя второй ввод может быть определен как непрерывное выполнение вышеописанного перетаскивания, при этом удерживая состояние прикосновения, после того, как первый ввод вводится, второй ввод может быть определен как прикосновение и перетаскивание, при котором прикасаются к точке, в которой первый ввод вводится, и перетаскивают точку в вышеописанную одну точку. В случае, когда к точке, в которой первый ввод вводится, осуществляется повторное прикосновение, ошибка между предыдущими координатами x и y и текущими координатами x и y в отношении точки прикосновения может возникать. Однако, если текущие координаты x и y находятся внутри области отображения того же самого объекта, вышеописанная ошибка может игнорироваться. Как видно по экрану 401, точка на экране 401 может быть определена как точка, в которой пять пальцев, соответствующих пяти объектам, могут встречаться вместе.
Со ссылкой на Фиг. 4, экран 402 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения множества выбранных объектов в местоположения помимо местоположений отображения множества объектов. То есть экран 402 изображает, что первый ввод, указывающий выбор пяти объектов, включенных в одно изображение, вводится, и затем поисковое отношение между пятью объектами, выбранными путем введения второго ввода для перетаскивания точки, в которой первый ввод вводится, ниже точки на предварительно определенное расстояние, устанавливается как отношение одного и того же слоя.
Что касается экрана 402 с Фиг. 4, описанного в отношении экрана 401, хотя второй ввод может быть определен как непрерывное выполнение вышеописанной операции перетаскивания при удержании состояния прикосновения после того, как первый ввод вводится, второй ввод может быть определен как прикосновение и перетаскивание, которое задействует прикосновение к точке, в которой первый ввод вводится, и перетаскивание точки вниз на предварительно определенное расстояние от точки. Этот жест совместного перетаскивания, без перетаскивания вместе, может снова быть интерпретирован, в конкретных вариантах осуществления, как указание, что выбранным объектам должно быть выдано одно и то же ранжирование/вес в поиске. Дополнительно, или в качестве альтернативы, совместное перетаскивание, без перетаскивания вместе, может быть использовано для указания, что поиск должен использовать стратегию ИЛИ, т.е. поиск предназначен для единицы, соответствующей, или включающей в себя элемент, соответствующий, по меньшей мере одному из выбранных объектов.
Со ссылкой на Фиг. 4, экран 403 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения путем перемещения множества выбранных объектов в местоположения помимо местоположений отображения множества объектов, как описано в отношении экрана 402. Что касается экрана 403, второй ввод вводится путем перетаскивания точки, в которой первый ввод вводится, вверх на предварительно определенное расстояние от точки. Снова это совместное перетаскивание, без перетаскивания вместе, может быть использовано для указания отношения одного и того же уровня и/или того, что поиск должен быть основан на ИЛИ-комбинации поисковых терминов.
Со ссылкой на Фиг. 4, экран 404 является примером второго ввода путем пользовательского жеста на основе прикосновения для сбора выбранных двух объектов так, чтобы собранные объекты были размещены в одной точке. Одна точка на экране 404 может быть определена как точка, в которой пальцы, которые выбирают два объекта, встречаются вместе, или как точка, в которой объекты располагаются с наложением. Второй ввод может не быть таким вводом, при котором объекты действительно располагаются с наложением, но второй ввод может быть пользовательским жестом, подразумевающим наложение объектов. Этот жест перетаскивания вместе может, в конкретных вариантах осуществления, быть использован для указания ранжирования одного и того же уровня соответственных поисковых терминов и/или того, что И-комбинация поисковых терминов должна быть использована.
Со ссылкой на Фиг. 4, экран 405 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения внутрь путем перемещения двух выбранных объектов от точки, в которой первый ввод вводится. Расстояние перемещения внутрь может быть установлено внутри предварительно определенного расстояния, описанного со ссылками на экраны 402 и 403.
Со ссылкой на Фиг. 4, экран 406 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения точки прикосновения наружу в диапазоне предварительно определенной длины путем перемещения выбранных двух объектов от точки, в которой первый ввод вводится. Жесты, иллюстрируемые на экранах 405 и 406 (одновременное перетаскивание, но не достаточно далеко, чтобы свести объекты вместе), могут, в конкретных вариантах осуществления, быть использованы для определения отношения одного и того же уровня и/или для определения, что ИЛИ-комбинация ключевых слов (или других единиц или терминов поиска) должна быть использована.
Фиг. 4 изображает перемещение объектов для введения второго ввода, и Фиг. 5, которая будет объяснена позже, может задействовать перемещение местоположений отображения множества объектов, отображаемых на изображении. Однако вышеописанное перемещение может не задействовать действительного перемещения местоположения отображения объектов, но может задействовать перемещение точки прикосновения на изображении.
Фиг. 5 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Второй ввод с Фиг. 5 обеспечивает возможность для установления поискового отношения между множеством объектов, выбранных при поиске информации, в качестве отношения верхнего и нижнего слоя.
Экран 501 с Фиг. 5 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения четырех из пяти выбранных объектов в местоположение отображения одного из пяти выбранных объектов. В этом случае один выбранный объект может зависеть от других четырех выбранных объектов. Этот жест может, таким образом, быть использован для указания, что неперемещаемый объект имеет другое ранжирование (например, более высокий вес или важность) в последующем поиске по сравнению с другими "перемещаемыми" объектами.
Экран 502 с Фиг. 5 является примером второго ввода путем пользовательского жеста на основе прикосновения для перемещения из местоположения отображения одного из двух выбранных объектов в местоположение отображения другого выбранного объекта. В этом случае другой выбранный объект может зависеть от одного выбранного объекта. Неперемещаемый объект может быть наделен первым приоритетом и перемещаемый объект - вторым, например более низким, приоритетом.
В операции S203 с Фиг. 2 процессор 110 распознает первый ввод и второй ввод на основе изображения, отображаемого на сенсорном экране 103, и выполняет поиск информации на основе первого ввода и второго ввода. То есть процессор 110 обнаруживает объект, выбранный согласно распознанному первому вводу. Выбранный объект обнаруживается путем обнаружения контура объекта на основе точки прикосновения, но не ограничивается этим. Если выбранный объект обнаруживается, процессор 110 определяет поисковое уравнение согласно поисковому отношению между множеством объектов, выбранных согласно второму вводу.
Если выбранные объекты имеют отношение одного и того же слоя, поиск информации, включающей в себя все из выбранных объектов, может осуществляться или поиск информации, включающей в себя по меньшей мере один из выбранных объектов, может осуществляться. Когда выбранные объекты имеют отношение одного и того же слоя, может быть ранее определено, осуществлять ли поиск информации, включающей в себя все из выбранных объектов, или же информации, включающей в себя по меньшей мере один из выбранных объектов.
Таким образом, когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя все из выбранных объектов, определена как та, поиск которой должен быть осуществлен, процессор 110 выполняет поиск информации, включающей в себя все из выбранных объектов, из по меньшей мере одного из блока 107 хранения и вышеописанного внешнего устройства. Таким образом, отношение И между поисковыми терминами может быть предварительно установлено или предварительно определено в конкретных вариантах осуществления.
Когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя по меньшей мере один из выбранных объектов, определена как та, поиск которой должен быть осуществлен, процессор 110 выполняет поиск информации, включающей в себя по меньшей мере один из выбранных объектов, из по меньшей мере одного из блока 107 хранения и вышеописанного внешнего устройства. Таким образом, поисковая стратегия ИЛИ может быть предварительно установлена или предварительно определена.
Когда ранее выбранные объекты имеют отношение одного и того же слоя, в случае, когда информация, включающая в себя все из выбранных объектов, и информация, включающая в себя по меньшей мере один из выбранных объектов, определяются для выборочного поиска, процессор 110 отображает информацию, соответствующую единице поиска информации (например, единице поиска информации, включающей в себя все из выбранных объектов или единице поиска информации, включающей в себя по меньшей мере один из выбранных объектов), на сенсорном экране 103 перед поиском информации. Таким образом, в конкретных вариантах осуществления ни стратегия И, ни стратегия ИЛИ не устанавливается; вместо этого пользователю предлагается осуществить ввод для определения, какая стратегия должна быть использована. Например, пользователю может быть представлен экран, требующий одиночного сенсорного ввода для выбора И или ИЛИ.
Если единица поиска информации, включающая в себя все из выбранных объектов, выбирается на основе информации единицы поиска информации, отображаемой на сенсорном экране 103, процессор 110 выполняет поиск информации, включающей в себя все из выбранных объектов. Однако, если единица поиска информации, включающая в себя по меньшей мере один из выбранных объектов, выбирается на основе информации, соответствующей единице поиска информации, отображаемой на сенсорном экране 103, процессор 110 выполняет поиск информации, включающей в себя по меньшей мере один из выбранных объектов.
Если поисковое отношение между выбранными объектами является отношением верхнего и нижнего слоя, процессор 110 определяет поисковое уравнение согласно отношениям верхнего и нижнего слоя между выбранными объектами и выполняет поиск информации.
Таким образом, как иллюстрируется на экране 610 с Фиг. 6, если выбранный объект является комбинацией, например, сумки 610a1 и лица 610a2 с изображения 610a, и второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознается, процессор 110 может устанавливать поисковое уравнение как "человек, несущий сумку". Таким образом, процессор 110 может осуществлять поиск информации, касающейся "произвольного человека, несущего ту же самую сумку, что и сумка, которую несет A", из по меньшей мере одного из блока 107 хранения и по меньшей мере одного внешнего устройства.
Как изображено на экране 620 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1 и лица 610a2, и второй ввод для перемещения точки прикосновения от лица 610a2 к сумке 610a1 распознается, процессор 110 может устанавливать поисковое уравнение как "сумка, которая у A". Таким образом, процессор 110 выполняет поиск информации, касающейся "все сумки, которые есть у A", из по меньшей мере одного из блока 107 хранения и внешнего устройства.
Как изображено на экране 630 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1, лица 610a2 и одежды 610a3, и второй ввод для перемещения точки прикосновения от одежды 610a3 к сумке 610a1 и другой второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознаются, процессор 110 может устанавливать поисковое уравнение как "сумка одежды" и "человек, несущий сумку". Таким образом, процессор 110 может искать информацию, включающую в себя "та же самая одежда и произвольная сумка", и информацию, включающую в себя "произвольный человек, имеющий ту же самую сумку", из по меньшей мере одного из блока 107 хранения и внешнего устройства.
Как изображено на экране 640 с Фиг. 6, если выбранный объект является комбинацией сумки 610a1, лица 610a2 и одежды 610a3, и второй ввод для перемещения точки прикосновения от одежды 610a3 к лицу 610a2 и другой второй ввод для перемещения точки прикосновения от сумки 610a1 к лицу 610a2 распознаются, процессор 110 может устанавливать поисковое уравнение как "человек в одежде" и "человек, несущий сумку". Таким образом, процессор 110 может искать информацию, включающую в себя "произвольный человек в той же самой одежде", и информацию, включающую в себя "произвольный человек, имеющий ту же самую сумку", из по меньшей мере одного из блока 107 хранения и внешнего устройства.
Экран 650 с Фиг. 6 изображает пример введения второго ввода, указывающего поисковое отношение между множеством выбранных объектов как отношение одного и того же слоя. Когда условие, что множество выбранных объектов имеет отношение одного и того же слоя, устанавливается в устройстве 100, в случае, когда поисковое уравнение определено как логическое "И", процессор 110 может искать информацию, включающую в себя и "ту же самую сумку", и "человека A" из по меньшей мере одного из блока 107 хранения и по меньшей мере одного внешнего устройства. В зависимости от программирования устройства, процессор может, в альтернативных вариантах осуществления, осуществлять поиск комбинации "сумки" и "человека A" в таких обстоятельствах.
Найденная информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста. Пользователь может устанавливать, искать ли информацию из блока 107 хранения, внешнего устройства или же обоих из блока 107 хранения и внешнего устройства. Процессор 110 может отображать информацию диапазона поиска с возможностью выбора на сенсорном экране 103 таким образом, что пользователь может устанавливать вышеописанный диапазон поиска.
Процессор 110 отображает найденную информацию на сенсорном экране 103 на операции S204 с Фиг. 2. Найденная информация может отображаться так, чтобы накладываться или частично покрывать отображаемое изображение, или найденная информация может отображаться в отдельном от изображения месте на экране, на отдельной странице или во всплывающем окне на отображаемом изображении.
Фиг. 7-9 иллюстрируют примеры экрана отношений между вышеописанными первым вводом, вторым вводом и найденной информацией, когда поисковое отношение между множеством выбранных объектов является отношением одного и того же слоя.
Со ссылкой на Фиг. 7, экран 710 является примером введения первого ввода для выбора двух объектов 710a1 и 710a2, включенных в отображаемое изображение 710a, экран 720 является примером введения второго ввода на основе пользовательского жеста сбора местоположений отображения двух выбранных объектов 710a1 и 710a2 в одной точке после введения первого ввода, и экран 730 является примером отображения изображений 730a1, 730a2, 730a3 и 730a4, включающих в себя все выбранные объекты на независимой странице.
Со ссылкой на Фиг. 8, экран 810 является примером введения первого ввода для выбора двух объектов 810a1 и 810a2, включенных в отображаемое изображение 810a, экран 820 является примером введения второго ввода на основе пользовательского жеста для одновременного перемещения местоположений отображения двух выбранных объектов 810a1 и 810a2 в направлении вверх после введения первого ввода, и экран 830 является примером отображения изображений 830a1, 830a2, 830a3, 830a4, 830a5, 830a6 и 830a7, включающих в себя по меньшей мере один из выбранных объектов 810a1 и 810a2 на независимой странице. В этом примере первый ввод (одновременное прикосновение) осуществлен для выбора человека A и человека B для поиска. Второй жест (одновременное или совместное перетаскивание, но не перетаскивание вместе) был использован для указания как того, что два человека имеют один и тот же вес в поиске, так и того, что результаты поиска должны быть отображены на отдельном экране результатов поиска. В этом примере поисковая стратегия ИЛИ была ранее установлена или запрограммирована, так что после того, как первый и второй вводы были сделаны пользователем, экран 830 отображает множество изображений, найденных путем поиска, причем каждое изображение включает в себя по меньшей мере одного из человека A и человека B.
Со ссылкой на Фиг. 9, экран 910 является примером введения первого ввода для выбора двух объектов 910a1 и 910a2, включенных в отображаемое изображение 910a, экран 820 является примером введения второго ввода на основе пользовательского жеста параллельного перемещения местоположений отображения двух выбранных объектов 910a1 и 910a2 в направлении вниз после введения первого ввода, и экран 930 является примером отображения изображений 930a1, 930a2, 930a3, 930a4, 930a5, 930a6 и 930a7, включающих в себя по меньшей мере один из выбранных объектов 910a1 и 910a2, на независимой странице.
На основе описаний, обеспеченных со ссылками на Фиг. 7-9, согласно входной схеме второго ввода, указывающего, что все из выбранных объектов имеют отношение одного и того же слоя, поиск по меньшей мере одного изображения (или информации), включающего в себя все из множества выбранных объектов, или по меньшей мере одного изображения (или информации), включающего в себя по меньшей мере один из выбранных объектов, может осуществляться.
Фиг. 10 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 10 дополнительно включает в себя функцию отображения распознанной получающейся в результате информации на сенсорном экране 103 после распознавания первого ввода и отображения распознанной получающейся в результате информации на сенсорном экране 103 после распознавания второго ввода, по сравнению со способом поиска информации на основе изображения с Фиг. 2.
Таким образом, на операции S1001 процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране, подобно операции 201 с Фиг. 2.
Таким образом, на операции S1002 процессор 110 отображает получающуюся в результате информацию, полученную путем распознавания первого ввода, на сенсорном экране 103. Получающаяся в результате информация может выводиться в форме замкнутой области в качестве области, включающей в себя контур объектов, обнаруженных согласно первому вводу.
Фиг. 11-13 иллюстрируют примеры экрана отображения получающейся в результате информации, полученной путем распознавания первого ввода с Фиг. 10 на сенсорном экране 103. То есть на Фиг. 11, получающаяся в результате информация, полученная путем распознавания множества объектов 1110a1 и 1110a2, выбранных с изображения 1110a согласно долгому прикосновению к выбранным объектам 1110a1 и 1110a2, отображается в квадратных замкнутых областях 1120b1 и 1120b2. Квадратные замкнутые области 1120b1 и 1120b2 могут генерироваться посредством способа обнаружения контура после того, как первый ввод распознается, и отображаться на сенсорном экране 103, как показано на экране 1120.
На Фиг. 12, если квадратные замкнутые области 1220b1 и 1220b2 генерируются путем обнаружения контура выбранных объектов 1210a1 и 1210a2 с изображения 1210a, генерируемые замкнутые области 1220b1 и 1220b2 вырезаются, и вырезанные области 1220b1 и 1220b2 отображаются в многоэкранной форме. Со ссылкой на Фиг. 12, размер отображения вырезанных областей 1220b1 и 1220b2 может быть тем же самым, что и исходный размер отображения. Однако две вырезанные области 1220b1 и 1220b2 могут полностью отображаться путем увеличения размера отображения или могут частично отображаться на экране 1220 путем уменьшения размера отображения. Размеры вырезанных областей 1220b1 и 1220b2 могут отличаться друг от друга согласно поисковому отношению между выбранными объектами.
На операции S1003 процессор 110 распознает второй ввод, указывающий поисковое отношение между множеством объектов, подобно операции S202 с Фиг. 2. Таким образом, на операции S1004 процессор 110 отображает получающуюся в результате информацию, полученную путем распознавания второго ввода на сенсорном экране 103.
Получающаяся в результате информация, полученная путем распознавания второго ввода, может отображаться на сенсорном экране 103 в виде стрелки, указывающей направление перемещения точки прикосновения, показанной для помощи в понимании на Фиг. 4-6, или может отображаться в многоэкранной форме на основе изображения.
Со ссылкой на Фиг. 13, объекты 1310a1 и 1310a2 независимо выбираются с изображения 1310a, отображаемого на сенсорном экране 103 (экраны 1310 и 1320). На экранах 1310 и 1320 результаты распознавания выбранных объектов 1310a1 и 1310a2 выбираются параллельно с отображением выбранных схем (окружностей) на сенсорном экране 103. Однако результаты распознавания выбранных объектов 1310a1 и 1310a2 могут не отображаться на сенсорном экране 103.
На экране 1330 с Фиг. 13, если второй ввод, указывающий поисковое отношение между выбранными объектами 1310a1 и 1310a2 вводится, процессор 110 может отображать множественный экран 1340a на основе изображений 1340a1, 1340a2, вырезанных из выбранных объектов 1310a1 и 1310a2, как иллюстрируется на экране 1340. Однако настоящая общая идея изобретения не ограничивается этим.
На операции S1005 процессор 110 выполняет поиск информации на основе первого ввода и второго ввода подобно операции S203 с Фиг. 2. На операции 1006 процессор 110 выводит найденную информацию на сенсорном экране 103 устройства 100 подобно операции S204 с Фиг. 2.
Способ поиска информации на основе изображения с Фиг. 10 может быть модифицирован для отображения только получающейся в результате информации, полученной путем распознавания первого ввода, или только получающейся в результате информации, полученной путем распознавания второго ввода на сенсорном экране 103.
Фиг. 14 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно другому варианту осуществления настоящей общей идеи изобретения. Способ поиска информации на основе изображения с Фиг. 14 дополнительно включает в себя функцию отображения по меньшей мере одной единицы поиска, определенной согласно первому вводу и второму вводу, и поиск информации на основе единицы поиска, выбранной из отображаемой единицы поиска, по сравнению со способом поиска информации на основе изображения с Фиг. 2. Таким образом, операции S1401, S1402, S1404 и S1405 с Фиг. 14 выполняются тем же самым образом, что и операции S201-S204 с Фиг. 2, и, таким образом, их подробные описания будут здесь опущены.
На операции 1403 процессор 110 отображает единицы поиска, определенные согласно первому вводу и второму вводу. Например, в случае, когда первый ввод и второй ввод вводятся, как показано на экране 610 с Фиг. 6, процессор 110 может искать информацию, касающуюся "произвольного человека, имеющего ту же самую сумку", посредством вышеописанного поискового уравнения и определять и отображать классифицированные единицы поиска на основе поискового уравнения. Например, процессор 110 может определять информацию области в качестве единицы поиска на основе вышеописанного поискового уравнения. То есть процессор 110 может определять и отображать "1. Сеул, 2. Бусан, 3. Кванджу, 4. Корея и 5. США" в качестве единиц поиска.
Фиг. 15 изображает примеры экрана для соответствия операции 1403 с Фиг. 14. То есть в случае, когда первый ввод выбора множества объектов 1510a1 и 1510a2 вводится, как иллюстрируется на изображении 1510a экрана 1510, и второй ввод установления поискового отношения между выбранными объектами 1520b1 и 1520b2 в качестве отношения одного и того же слоя вводится, как иллюстрируется на экране 1520 (например, пользовательский жест сбора выбранных объектов в одну точку), информация единицы поиска, например "Функция 1, Функция 2, Функция 3, Функция 4, Функция 5, Функция 6, Функция 7, Функция 8", может быть определена согласно первому вводу и второму вводу и отображена, как иллюстрируется на изображении 1530a экрана 1530.
Вышеописанная информация единицы поиска с Фиг. 15 может включать в себя, например, поиск информации услуги, используемой двумя выбранными людьми, поиск фотографий и перемещение изображений, включающих в себя двух людей, поиск фотографий и перемещение изображений, обычно рекомендуемых двумя людьми, поиск устройств, в последнее время используемых двумя людьми, поиск устройств, наиболее часто используемых двумя людьми, поиск устройств, обычно рекомендуемых двумя людьми, и т.д., но не ограничивается этим.
Когда информация единицы поиска отображается, как показано на экране 1530, если одна часть из информации единицы поиска выбирается, процессор 110 может искать информацию на основе выбранной информации единицы поиска.
Экран 1530 является примером отображения восьми частей информации единицы поиска, как иллюстрируется на экране 1610 с Фиг. 16. Однако, как иллюстрируется на экране 1620 и 1630 с Фиг. 16, одна или несколько частей информации поиска, например четыре части информации единицы поиска, могут отображаться как единицы поиска, обеспеченные согласно первому вводу и второму вводу. Однако настоящая общая идея изобретения не ограничивается этим. Количество обеспеченных частей информации единицы поиска может быть переменным или ранее установленным.
Фиг. 17 изображает структурную схему, иллюстрирующую устройство 1700 согласно одному варианту осуществления настоящей общей идеи изобретения. Устройство 1700 с Фиг. 17 может отличаться от устройства 100 с Фиг. 1.
Со ссылкой на Фиг. 17, устройство 1700 включает в себя блок 1710 ввода и вывода информации, блок 1720 связи, процессор 1730 и блок 1740 хранения, но настоящая общая идея изобретения не ограничивается этим. То есть устройство 1700 может включать в себя больше или меньше элементов, чем количество элементов с Фиг. 17, подобно устройству 100 с Фиг. 1, согласно осуществлению или предпочтению пользователя.
В случае, когда устройство 1700 включает в себя некоторое количество элементов, меньшее чем количество элементов с Фиг. 17, устройство 1700 может не включать в себя блок 1720 связи или блок 1740 хранения. В случае, когда устройство 1700 не включает в себя блок 1720 связи, поиск информации согласно способу поиска информации на основе изображения касается информации, сохраненной в блоке 1740 хранения, и информация, сохраненная в блоке 1740 хранения, вводится от блока 1710 ввода и вывода информации. В случае, когда устройство 1700 не включает в себя блок 1740 хранения, устройство 1700 выполняет поиск информации из вышеописанного внешнего устройства посредством блока 1720 связи.
Блок 1710 ввода и вывода информации принимает ввод пользователя и выводит выходную информацию устройства 1700. Например, ввод пользователя может включать в себя вышеописанный ввод на основе прикосновения, ввод на основе управления физической кнопкой, ввод на основе пользовательского жеста, ввод на основе распознавания голоса пользователя, ввод на основе распознавания лиц и ввод на основе удаленного средства управления (не изображено), но настоящая общая идея изобретения не ограничивается этим.
Блок 1710 ввода и вывода информации согласно одному варианту осуществления настоящего изобретения может принимать первый ввод и второй ввод, выводить получающуюся в результате информацию, полученную путем приема первого ввода и второго ввода, и выводить информацию, поиск которой осуществлен согласно первому вводу и второму вводу.
Блок 1710 ввода и вывода информации может включать в себя циферблат, переключатель-ползунок, джойстик, колесо для щелчков, сенсорную панель, сенсорный экран, микрофон, динамик, датчики, средство подключения, подсветку дисплея, клавиатуру, устройство отображения, колесо прокрутки и удаленный блок приема управляющего сигнала на основе беспроводной связи, но настоящая общая идея изобретения не ограничивается этим.
Блок 1720 связи может осуществлять связь с внешним устройством по сети. Блок 1720 связи может искать информацию, сохраненную во внешнем устройстве, и обеспечивать услугу связи, такую как услуга доставки сообщений, услуга сообщений, услуга электронной почты, услуга видеоконференции и услуга голосового вызова с внешним устройством по сети, но не ограничивается этим. Блок 1720 связи может быть сконфигурирован с возможностью включать в себя по меньшей мере один из блока 108 беспроводной связи и блока 109 проводной связи.
Процессор 1730 исполняет по меньшей мере одну программу для выполнения способа поиска информации на основе изображения согласно одному варианту осуществления настоящего изобретения, сохраненную в блоке 1740 хранения. То есть процессор 1730 исполняет программу, распознает прием первого ввода и второго ввода на основе изображения, отображаемого на блоке 1710 ввода и вывода информации, выполняет поиск информации в блоке 1740 хранения согласно результатам распознавания, и выводит найденную информацию к блоку 1710 ввода и вывода информации.
Блок 1740 хранения сохраняет вышеописанную по меньшей мере одну программу и по меньшей мере одно приложение связи для связи с устройством 1700, но не ограничивается этим. Блок 1740 хранения может включать в себя по меньшей мере один носитель данных, выбранный из группы, состоящей из флэш-памяти, памяти типа жесткого диска, микропамяти типа мультимедийной карты, памяти типа карты (например, SD-памяти, XD-памяти или подобного), ROM, EEPROM, PROM, магнитной памяти и оптического диска.
Процессор 1730 может выполнять операции на основе способов с Фиг. 2, 10 и 14 подобно процессору 110 с Фиг. 1a.
Фиг. 18 изображает структурную схему, иллюстрирующую сетевую структуру на основе устройств 100 и 1700 с Фиг. 1 и 17. Сетевая структура с Фиг. 18 включает в себя устройства 100 и 1700, множество внешних устройств 1820 и 1830 и сеть 1810.
Множество внешних устройств 1820 и 1830 может включать в себя по меньшей мере одно из сервера и устройств 100 и 1700. Множество внешних устройств 1820 и 1830 с Фиг. 18 включает в себя внешние устройства, упомянутые в вышеописанных вариантах осуществления. Таким образом, когда устройства 100 и 1700 ищут информацию, поиск информации, сохраненной во множестве внешних устройств 1820 и 1830, может осуществляться. Сеть 1810 может быть сконфигурирована как сеть, которая передает и принимает данные посредством по меньшей мере одного из блока 108 беспроводной связи и блока 109 проводной связи с Фиг. 1a.
Множество объектов, упомянутых в вышеописанном способе поиска информации на основе изображения, могут называться множественными объектами. Вышеописанный способ поиска информации на основе изображения может применяться к способу обеспечения услуги на основе изображения.
Фиг. 19 изображает блок-схему, иллюстрирующую способ обеспечения услуги согласно одному варианту осуществления настоящей общей идеи изобретения. Способ обеспечения услуги с Фиг. 19 может выполняться процессором 110 с Фиг. 1a или процессором 1730 с Фиг. 17. Однако в настоящем варианте осуществления способ обеспечения услуги выполняется процессором 110 для удобства описания.
На операции S190, процессор 110 распознает первый ввод, указывающий выбор, относящийся к множеству объектов, включенных в изображение, отображаемое на сенсорном экране 103. Изображение, отображаемое на сенсорном экране 103, может быть неподвижным изображением или фотографией, воспроизведенной в устройстве 100, или временно неподвижным изображением движущегося изображения или входного изображения, полученного камерой 104. Это определение, относящееся к изображению, отображаемому на сенсорном экране 103, может также применяться к вышеописанным вариантам осуществления.
На операции S1902 процессор 110 распознает второй ввод, указывающий отношение между выбранными объектами. Отношение между выбранными объектами включает в себя отношение одного и того же слоя и отношение верхнего и нижнего слоя, упомянутые в вышеописанных вариантах осуществления.
На операции S1903 процессор 110 определяет по меньшей мере одну единицу услуги, обеспеченную посредством первого ввода и второго ввода, и отображает единицу услуги на сенсорном экране 103. Единица услуги может отображаться, как иллюстрируется на экранах 1610, 1620 и 1630 с Фиг. 16.
Однако определенная единица услуги может не отображаться, как иллюстрируется на экранах 1610, 1620 и 1630 с Фиг. 16, и GUI-информация, включающая в себя облака (облако услуг), включающие в себя единственную единицу услуги, может быть обеспечена. Единица услуги может быть подобна единице услуги, описанной со ссылками на Фиг. 15, и может дополнительно включать в себя информацию наиболее часто используемого приложения, информацию приложения рекомендации и т.д. согласно приложению, обеспеченному устройством 100 или внешними устройствами 1820 и 1830, и выбор между выбранными объектами, но не ограничивается этим.
Таким образом, в случае, когда отношение между выбранными объектами является отношением одного и того же слоя, единица услуги может включать в себя единицы услуги, которые могут быть обеспечены для каждого из выбранных объектов, и, в случае, когда отношение между выбранными объектами является отношением верхнего и нижнего слоя, единица услуги может включать в себя единицы услуги, которые могут быть обеспечены согласно отношению верхнего и нижнего слоя между выбранными объектами, но не ограничивается этим.
На операции S1904 процессор 110 исполняет единицу услуги, выбранную из единицы услуги, отображаемой на сенсорном экране 103.
Способ поиска информации на основе изображения или способ обеспечения услуги согласно вариантам осуществления настоящего изобретения может также осуществляться в качестве компьютерно-читаемых кодов на компьютерно-читаемом носителе записи. Компьютерно-читаемым носителем может быть любое устройство записи с возможностью хранения данных, которые считываются компьютерной системой, например, постоянная память (ROM), оперативная память (RAM), ROM на компакт-диске (CD), магнитная лента, гибкий диск, оптическое устройство хранения данных и так далее. Однако настоящая общая идея изобретения не ограничивается этим. Компьютерно-читаемый носитель может быть распределен между компьютерными системами, которые взаимосоединены через сеть, и настоящее изобретение может храниться и осуществляться в качестве компьютерно-читаемого кода в распределенной системе.
Несмотря на то, что лишь несколько вариантов осуществления настоящей общей идеи изобретения было показано и описано, специалистам в данной области техники будет понятно, что изменения могут быть сделаны в этих вариантах осуществления без выхода за пределы принципов и сущности общей идеи изобретения, объем которой определен в пунктах прилагаемой формулы изобретения и их эквивалентах.

Claims (41)

1. Способ поиска информации на основе изображения, отображаемого на устройстве, причем способ содержит этапы, на которых:
принимают, посредством процессора упомянутого устройства, первый ввод, указывающий выбор множества объектов, включенных в упомянутое изображение;
принимают, посредством упомянутого процессора, второй ввод, указывающий поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов;
определяют, посредством упомянутого процессора, условие поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода;
ищут информацию на основе упомянутого условия поиска; и
выводят найденную информацию посредством упомянутого устройства.
2. Способ по п.1, в котором поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что отношение между множеством объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоев, указывающего, что отношение между множеством объектов имеет верхний и нижний уровни при поиске информации.
3. Способ по п.2, в котором, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположений отображения выбранного множества объектов.
4. Способ по п.2, в котором, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, второй ввод содержит один из жеста на основе прикосновения, указывающего перемещение одного или нескольких выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного объекта, и жеста на основе прикосновения, указывающего перемещение по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.
5. Способ по п.2, в котором определение условия поиска содержит этапы, на которых:
когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определяют условие поиска для поиска информации, включающей в себя все из выбранного множества объектов; и
когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, определяют условие поиска для поиска информации согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.
6. Способ по п.2, в котором определение условия поиска содержит этапы, на которых:
когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определяют условие поиска для поиска информации, касающейся по меньшей мере одного из выбранного множества объектов; и
когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, определяют условие поиска для поиска информации согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.
7. Способ по п.2, в котором:
когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, определение условия поиска содержит этапы, на которых:
отображают информацию, используемую для выбора одной из единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, и
поиск информации содержит этапы, на которых:
ищут информацию согласно единице поиска информации, выбранной на основе отображаемой информации; и
когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, поиск информации содержит этап, на котором:
ищут информацию согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.
8. Способ по п.1, в котором определение условия поиска содержит этапы, на которых:
отображают по меньшей мере одну единицу поиска, определенную согласно упомянутому условию поиска; и
выбирают единицу поиска из отображенной по меньшей мере одной единицы поиска, и
поиск информации содержит этапы, на которых:
ищут информацию на основе выбранной единицы поиска.
9. Способ по п.1, дополнительно содержащий этап, на котором:
отображают информацию, указывающую прием первого ввода, посредством устройства.
10. Способ по п.1, дополнительно содержащий этап, на котором:
отображают информацию, указывающую прием второго ввода, посредством устройства.
11. Устройство для поиска информации на основе изображения, отображаемого на упомянутом устройстве, содержащее:
блок хранения для хранения по меньшей мере одной единицы информации и по меньшей мере одной программы;
сенсорный экран для отображения изображения; и
процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана для приема, посредством упомянутого сенсорного экрана, первого ввода, указывающего выбор множества объектов, включенных в упомянутое изображение, приема, посредством упомянутого сенсорного экрана, второго ввода, указывающего поисковое отношение между выбранным множеством объектов на основе каждого положения отображения выбранного множества объектов, определения условия поиска для выполнения поиска информации на основе выбранного множества объектов и второго ввода, поиска информации на основе упомянутого условия поиска и вывода найденной информации на упомянутом сенсорном экране.
12. Устройство по п.11, в котором поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоев, указывающего, что множество объектов имеет верхний и нижний уровни при поиске информации.
13. Устройство по п.12, в котором, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположений отображения выбранного множества объектов.
14. Устройство по п.12, в котором, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, второй ввод содержит один из жеста на основе прикосновения для перемещения остатка выбранных объектов за исключением одного объекта из выбранного множества объектов в местоположение отображения исключенного одного объекта и жеста на основе прикосновения для перемещения по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.
15. Устройство по п.12, в котором:
когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор отображает информацию, используемую для выбора единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, и определяет условие поиска согласно единице поиска информации, выбранной на основе отображаемой информации, и,
когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоев, процессор определяет условие поиска согласно отношению верхнего и нижнего слоев между выбранным множеством объектов.
RU2015128285A 2012-12-14 2013-12-11 Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого RU2654145C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120146408A KR102090269B1 (ko) 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
KR10-2012-0146408 2012-12-14
PCT/KR2013/011469 WO2014092451A1 (en) 2012-12-14 2013-12-11 Information search method and device and computer readable recording medium thereof

Publications (2)

Publication Number Publication Date
RU2015128285A RU2015128285A (ru) 2017-01-18
RU2654145C2 true RU2654145C2 (ru) 2018-05-16

Family

ID=49765377

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015128285A RU2654145C2 (ru) 2012-12-14 2013-12-11 Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого

Country Status (8)

Country Link
US (2) US10614120B2 (ru)
EP (2) EP3745280A1 (ru)
JP (1) JP6391234B2 (ru)
KR (1) KR102090269B1 (ru)
CN (1) CN103870535B (ru)
AU (1) AU2013360585B2 (ru)
RU (1) RU2654145C2 (ru)
WO (1) WO2014092451A1 (ru)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20130251201A1 (en) * 2012-03-22 2013-09-26 Samsung Electronics Co., Ltd. System and method for recommending buddies in social network
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP6232706B2 (ja) * 2013-02-05 2017-11-22 コニカミノルタ株式会社 情報表示装置、画像形成装置、情報表示装置の制御方法、および情報表示装置の制御プログラム
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014278592B2 (en) 2013-06-09 2017-09-07 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US20150302036A1 (en) * 2014-04-18 2015-10-22 Inplore Inc. Method, system and computer program for information retrieval using content algebra
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102373460B1 (ko) * 2014-09-15 2022-03-11 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6142897B2 (ja) * 2015-05-15 2017-06-07 カシオ計算機株式会社 画像表示装置、表示制御方法及びプログラム
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10097973B2 (en) 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN105302434B (zh) * 2015-06-16 2019-03-26 深圳市腾讯计算机系统有限公司 游戏场景中锁定目标的方法和装置
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3112986B1 (en) 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
KR102447907B1 (ko) * 2015-11-05 2022-09-28 삼성전자주식회사 추천 객체를 제공하기 위한 전자 장치 및 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN107341185B (zh) 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置
CN107562332B (zh) * 2017-08-31 2020-08-11 苏州博瑞尔特信息科技有限公司 一种信息搜索方法、移动终端及计算机可读存储介质
KR102382478B1 (ko) * 2017-10-13 2022-04-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102599947B1 (ko) * 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
KR102551550B1 (ko) 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109684438B (zh) * 2018-12-26 2020-11-13 成都科来软件有限公司 一种具有父子层级结构检索数据的方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
EP3989802A1 (en) 2019-06-28 2022-05-04 Starkey Laboratories, Inc. Direct informative communication through an ear-wearable device
US11138257B2 (en) * 2020-01-16 2021-10-05 Adobe Inc. Object search in digital images
US20230056155A1 (en) * 2020-01-31 2023-02-23 Nec Corporation Information processing apparatus, information processing method, and storage medium
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN113240718A (zh) * 2021-07-13 2021-08-10 萱闱(北京)生物科技有限公司 多目标识别及跟踪方法、系统、介质和计算设备
KR102582861B1 (ko) * 2021-07-15 2023-09-27 중앙대학교 산학협력단 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090182733A1 (en) * 2008-01-11 2009-07-16 Hideo Itoh Apparatus, system, and method for information search
US20110069017A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects
RU2435212C2 (ru) * 2006-03-02 2011-11-27 Майкрософт Корпорейшн Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска
US8209628B1 (en) * 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020061119A (ko) * 2001-01-12 2002-07-22 유겐가이샤 츠유키 소프트 겐큐쇼 관계 설정 정보 관리 시스템, 관계 설정 정보 관리용프로그램 및 기록 매체
US7028228B1 (en) * 2001-03-28 2006-04-11 The Shoregroup, Inc. Method and apparatus for identifying problems in computer networks
US20060200772A1 (en) * 2003-12-08 2006-09-07 Sathiyamoorthy Dhanapal Procedural computation engine for providing complex calculated data results to an object-oriented server system accessible to service clients and agents over a data packet network
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
JP2007034847A (ja) * 2005-07-28 2007-02-08 Canon Inc 検索装置及び検索方法
US20080155409A1 (en) * 2006-06-19 2008-06-26 Andy Santana Internet search engine
US20080184147A1 (en) * 2007-01-31 2008-07-31 International Business Machines Corporation Method and system to look ahead within a complex taxonomy of objects
US8136028B1 (en) * 2007-02-02 2012-03-13 Loeb Enterprises Llc System and method for providing viewers of a digital image information about identifiable objects and scenes within the image
JP5041256B2 (ja) * 2007-08-18 2012-10-03 学校法人 学習院 量子エンタングルメント生成装置及び方法並びに量子エンタングルメント生成検出装置及び方法
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8341593B2 (en) * 2008-10-23 2012-12-25 Sap Ag Integrated development framework for composite applications
US8413188B2 (en) * 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
US8583673B2 (en) * 2009-08-17 2013-11-12 Microsoft Corporation Progressive filtering of search results
KR101660271B1 (ko) 2009-08-21 2016-10-11 삼성전자주식회사 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법
US20110196864A1 (en) * 2009-09-03 2011-08-11 Steve Mason Apparatuses, methods and systems for a visual query builder
KR101411593B1 (ko) * 2009-09-14 2014-06-25 삼성전자주식회사 Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US8780069B2 (en) * 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8487888B2 (en) 2009-12-04 2013-07-16 Microsoft Corporation Multi-modal interaction on multi-touch display
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
JP5398570B2 (ja) * 2010-02-10 2014-01-29 キヤノン株式会社 情報処理装置及びその制御方法
JP2011219197A (ja) * 2010-04-06 2011-11-04 Hitachi Ltd センサ情報管理システム、センサ情報管理方法、およびセンサ情報管理プログラム
US20110282855A1 (en) * 2010-05-12 2011-11-17 International Business Machines Corporation Scoring relationships between objects in information retrieval
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
JP2012027846A (ja) 2010-07-27 2012-02-09 Sony Corp 情報処理装置、情報表示方法及びコンピュータプログラム
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101753031B1 (ko) * 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
US8515990B2 (en) * 2010-11-19 2013-08-20 Lg Electronics Inc. Mobile terminal and method of managing video using metadata therein
WO2012073333A1 (ja) * 2010-11-30 2012-06-07 富士通株式会社 分析支援装置、分析支援方法、及び分析支援プログラム
US8553981B2 (en) 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US8818049B2 (en) 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
US8719781B2 (en) * 2011-12-01 2014-05-06 Amer Agovic Universal and adaptive software development platform for data-driven applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2435212C2 (ru) * 2006-03-02 2011-11-27 Майкрософт Корпорейшн Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска
US20090182733A1 (en) * 2008-01-11 2009-07-16 Hideo Itoh Apparatus, system, and method for information search
US8209628B1 (en) * 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects
US20110069017A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects

Also Published As

Publication number Publication date
EP2743846A2 (en) 2014-06-18
CN103870535B (zh) 2019-10-15
JP6391234B2 (ja) 2018-09-19
KR20140077510A (ko) 2014-06-24
CN103870535A (zh) 2014-06-18
EP2743846A3 (en) 2016-11-23
US20200201901A1 (en) 2020-06-25
RU2015128285A (ru) 2017-01-18
AU2013360585A1 (en) 2015-05-14
US20140172831A1 (en) 2014-06-19
WO2014092451A1 (en) 2014-06-19
EP3745280A1 (en) 2020-12-02
KR102090269B1 (ko) 2020-03-17
JP2014120159A (ja) 2014-06-30
US10614120B2 (en) 2020-04-07
AU2013360585B2 (en) 2019-05-02
US11314804B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
RU2654145C2 (ru) Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого
KR102393977B1 (ko) 연속성
US11402968B2 (en) Reduced size user in interface
US10841265B2 (en) Apparatus and method for providing information
JP6185656B2 (ja) モバイルデバイスインターフェース
US9880640B2 (en) Multi-dimensional interface
CN103677618B (zh) 用于终端的文本识别设备和方法
EP3093755B1 (en) Mobile terminal and control method thereof
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
US20130318437A1 (en) Method for providing ui and portable apparatus applying the same
EP3510517B1 (en) Method of displaying user interface related to user authentication and electronic device for implementing same
KR20160023412A (ko) 전자 장치에서 화면을 표시하는 방법 및 이를 위한 전자 장치
KR20160004590A (ko) 전자 장치의 화면 표시 방법 및 전자 장치
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
CN107111441A (zh) 多级用户界面
WO2015164518A1 (en) Depth-based mode switching for touchless gestural interfaces
KR102117048B1 (ko) 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스
EP3024205B1 (en) Mobile terminal and control method thereof
KR20150140947A (ko) 오브젝트의 컨텐츠 제공 방법 및 그 방법을 이용하는 사용자 단말

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20201212