RU2750623C1 - Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа - Google Patents

Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа Download PDF

Info

Publication number
RU2750623C1
RU2750623C1 RU2020123539A RU2020123539A RU2750623C1 RU 2750623 C1 RU2750623 C1 RU 2750623C1 RU 2020123539 A RU2020123539 A RU 2020123539A RU 2020123539 A RU2020123539 A RU 2020123539A RU 2750623 C1 RU2750623 C1 RU 2750623C1
Authority
RU
Russia
Prior art keywords
intent
user
server
wireless terminal
user input
Prior art date
Application number
RU2020123539A
Other languages
English (en)
Inventor
Масато ЦУТИЯ
Original Assignee
Кэнон Кабусики Кайся
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Кэнон Кабусики Кайся filed Critical Кэнон Кабусики Кайся
Application granted granted Critical
Publication of RU2750623C1 publication Critical patent/RU2750623C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1296—Printer job scheduling or printer resource handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/04—Interfaces between hierarchically different network devices
    • H04W92/08—Interfaces between hierarchically different network devices between user and terminal device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

Изобретение относится к области компьютерной техники. Техническим результатом является обеспечение возможности в интерактивном режиме получать намерение пользователя, не требуя от пользователя выполнения сложных операций. Беспроводной терминал в соответствии с вариантом осуществления принимает пользовательский ввод с помощью речи или текста, уведомляет сервер о принятом пользовательском вводе, и предоставляет возможность пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю. Кроме этого беспроводной терминал принимает от сервера список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое интерпретируется сервером на основе взаимодействия посредством взаимодействия, и отображает принятый список. 3 н. и 8 з.п. ф-лы, 3 табл., 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение имеет отношение к устройству обработки информации, способу управления им и программе.
УРОВЕНЬ ТЕХНИКИ
[0002] Область научных исследований и разработок, связанных с искусственным интеллектом, за последние годы находится в самой середине начальной стадии своего развития, и устройства, охватывающие от небольших электронных устройств, таких как интеллектуальные телефоны и электроприборы, до больших устройств, таких как транспортные средства и дома, стали оснащаться функциями, задействующими искусственный интеллект. Прежде всего, в практическом плане уже достаточно накоплены технологии, связанные с интерактивными пользовательскими интерфейсами, использующие распознавание речи и обработку естественного языка. Можно сказать, что полностью готовы платформы для инженеров, вовлеченных в разработку клиентской части, для снабжения ими своих продуктов функциональными элементами интерактивного пользовательского интерфейса, и трудности в разработке значительно уменьшились.
[0003] Благодаря интерактивному пользовательскому интерфейсу электронное устройство работает в форме "взаимодействия" между человеком и вычислительным устройством с использованием речевого или текстового ввода. В случае функции голосовой команды, которая уже используется на практике, ответ дается только на специальное ключевое слово, тогда как интерактивный пользовательский интерфейс позволяет человеку работать с электронным устройством, одновременно давая человеку ощущение, что он взаимодействует с устройством. Проблема в интерактивных пользовательских интерфейсах, использующих распознавание речи и обработку естественного языка, заключается в том, как прочитать намерение пользователя в настоящий момент, исходя из содержания речевого или текстового ввода, сделанного пользователем. Патентный документ 1 предлагает способ введения концепции контекста без участия пользователя для интерпретации намерения пользователя.
СПИСОК ПРОТИВОПОСТАВЛЕННЫХ МАТЕРИАЛОВ
ПАТЕНТНАЯ ЛИТЕРАТУРА
[0004]
PTL1: Выложенный для всеобщего ознакомления патент Японии номер 2017-16683
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
[0005] Между тем, устройства формирования изображений, такие как МФУ (Многофункциональное (периферийное) Устройство), требуют от пользователя выполнения более сложных операций, поскольку предоставляемые функциональные элементы становятся все более разнообразными и сложными. В зависимости от требуемой услуги, в некоторых случаях пользователю очень сложно и утомительно задавать условия или тому подобное при просмотре пользовательского интерфейса МФУ. Кроме того, когда доступ к МФУ осуществляется с подвижного терминала или тому подобного, обычному пользователю трудно понять, как произвести сложные настройки, например, Wireless Direct (прямое беспроводное подключение), в пользовательском интерфейсе. Помимо этого, некоторые пользователи недостаточно глубоко понимают функции, которыми обладает МФУ или тому подобное. Таким образом, существует потребность в пользовательском интерфейсе, который легко интерпретирует намерение пользователя и представляет пользователю соответствующее устройство, функцию или тому подобное.
[0006] Настоящее изобретение было сделано с учетом, по меньшей мере, одной из вышеупомянутых проблем, и направлено на предоставление механизма, который в интерактивном режиме получает намерение пользователя и представляет устройство, функцию или тому подобное, которое подходит для этого намерения пользователя, не требуя от пользователя выполнения сложной операции.
РЕШЕНИЕ ЗАДАЧИ
[0007] Например, настоящее изобретение представляет собой беспроводной терминал с возможностью осуществления связи с устройством формирования изображений и сервером, причем беспроводной терминал, отличается тем, что включает в себя: средство взаимодействия для принятия пользовательского ввода с помощью речи или текста, уведомления сервера о принятом пользовательском вводе, а также предоставления возможности пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю; средство приема для приема от сервера списка из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое интерпретируется сервером на основе взаимодействия через средство взаимодействия; и средство отображения для отображения списка, принятого средством приема.
[0008] Кроме этого настоящее изобретение представляет собой сервер администрирования с возможностью осуществления связи с сервером интерпретации намерений, который интерпретирует намерение пользователя беспроводного терминала в соответствии с пользовательским вводом, произведенным пользователем, и одно или несколько устройств формирования изображений, причем сервер администрирования отличается тем, что включает в себя: базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений, соотнесенных друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений; средство приема для приема намерения пользователя, интерпретируемого сервером интерпретации намерений; и средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению, принятому средством приема, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.
[0009] Кроме этого настоящее изобретение представляет собой сервер интерпретации намерений с возможностью осуществления связи с сервером администрирования и беспроводным терминалом, причем сервер интерпретации намерений отличается тем, что включает в себя: средство приема для приема пользовательского ввода с помощью речи или текста от беспроводного терминала; механизм распознавания речи, который выполняет распознавание речи, если пользовательский ввод, принятый средством приема, является речью; механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста; базу данных намерений, хранящую множество намерений и один или несколько параметров для каждого из намерений, соотнесенных друг с другом; и средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале, если намерение пользователя не может быть интерпретировано.
ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
[0010] В соответствии с настоящим изобретением можно в интерактивном режиме получить намерение пользователя и представить устройство, функцию или тому подобное, которое подходит для этого намерения пользователя, не требуя от пользователя выполнения сложной операции.
[0011] Другие признаки и преимущества настоящего изобретения будут очевидны в контексте последующего описания со ссылкой на прилагаемые чертежи. Следует отметить, что на прилагаемых чертежах одинаковым или подобным компонентам присвоены одинаковые номера позиций.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0012] Прилагаемые чертежи включаются в описание изобретения и составляют часть описания изобретения, иллюстрируют варианты осуществления настоящего изобретения и используются для описания принципа настоящего изобретения вместе с изложением описания изобретения.
Фиг. 1 является схемой, показывающей конфигурацию системы обработки информации в соответствии с вариантом осуществления.
Фиг. 2 является схемой, показывающей аппаратную конфигурацию МФУ в соответствии с вариантом осуществления.
Фиг. 3 является схемой, показывающей программную конфигурацию МФУ в соответствии с вариантом осуществления.
Фиг. 4 является схемой, показывающей аппаратную конфигурацию беспроводного терминала в соответствии с вариантом осуществления.
Фиг. 5 является схемой, показывающей аппаратную конфигурацию серверов в соответствии с вариантом осуществления.
Фиг. 6 является блок-схемой последовательности операций сервера интерпретации намерений в соответствии с вариантом осуществления.
Фиг. 7 является блок-схемой последовательности операций сервера администрирования МФУ в соответствии с вариантом осуществления.
Фиг. 8A является схемой, показывающей переключение пользовательского интерфейса подвижного терминала в соответствии с вариантом осуществления.
Фиг. 8B является схемой, показывающей переключение пользовательского интерфейса подвижного терминала в соответствии с вариантом осуществления.
Фиг. 9 является диаграммой последовательности операций, применимой к выбору печатающего устройства, в соответствии с вариантом осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0013] В дальнейшем в этом документе будут описаны варианты осуществления настоящего изобретения. Отдельные варианты осуществления, описанные ниже, помогут понять различные концепции, в том числе концепции более высокого уровня, концепции среднего уровня и концепции более низкого уровня настоящего изобретения. Технический объем настоящего изобретения устанавливается формулой изобретения и не ограничивается приведенными далее вариантами осуществления.
Первый вариант осуществления
Конфигурация системы
[0014] Ниже будет описан первый вариант осуществления настоящего изобретения. Сначала со ссылкой на Фиг. 1 будет описана конфигурация системы 100 обработки информации в соответствии с этим вариантом осуществления. Система в соответствии с этим вариантом осуществления включает в себя МФУ (пример устройства формирования изображений и устройства связи) 101, беспроводной терминал (устройство обработки информации) 102, сервер 103 интерпретации намерений и сервер 104 администрирования МФУ. Следует отметить, что, по меньшей мере, МФУ 101 и беспроводной терминал 102 обладают функцией беспроводной связи, и МФУ 101 и беспроводной терминал 102 могут напрямую или косвенно соединяться друг с другом по беспроводной связи, например. Вообще, существует несколько режимов беспроводного соединения, но режим беспроводного соединения не ограничивается определенным образом в настоящем изобретении. Например, режим беспроводной связи может быть любой связью ближнего действия, такой как Wi-Fi (зарегистрированный товарный знак), BLE и NFC, дальней связью, такой как LTE (зарегистрированный товарный знак), 3G и 4G, а также новой связью IoT, такой как Cat-M1 и nb-IoT.
[0015] МФУ 101 является примером устройства формирования изображений, которое предоставляет различные услуги, такие как печать, копирование, сканирование и факсимильное изображение, и обладает функцией беспроводной связи. Беспроводной терминал 102 может соединяться по беспроводной связи с МФУ 101 и используется пользователем в качестве устройства управления МФУ 101. Сервер 103 интерпретации намерений принимает пользовательский ввод от беспроводного терминала 102 и интерпретирует намерение пользователя. Сервер 104 администрирования МФУ соединяется, с возможностью передачи информации, с сервером 103 интерпретации намерений и МФУ 101, принимает намерение пользователя, интерпретируемое сервером 103 интерпретации намерений, и передает команду для реализации намерения в МФУ 101. Следует отметить, что множество устройств формирования изображений, таких как МФУ, соединяются, с возможностью передачи информации, с сервером 104 администрирования МФУ, который представляет пользователю одно подходящее из множества устройств формирования изображений при посредстве сервера 103 интерпретации намерений, в соответствии с намерением пользователя, интерпретируемым сервером 103 интерпретации намерений.
[0016] МФУ 101 и беспроводной терминал 102 присутствуют в одной комнате в офисном здании, и пользователь делает запрос на обработку в МФУ 101, работая с беспроводным терминалом 102. При этом сервер 103 интерпретации намерений и сервер 104 администрирования МФУ могут быть выполнены с возможностью делать свои услуги общедоступными в сети Интернет. Следует отметить, что, хотя этот вариант осуществления будет описан при рассмотрении, в качестве примера, случая, когда пользователь передает запрос на обработку в МФУ 101, устройство, которое должно быть установлено в пределах объема формулы изобретения, является универсальным устройством обработки информации, и МФУ 101 также может быть персональным компьютером, подвижным терминалом или тому подобным.
Аппаратная конфигурация МФУ 101
[0017] Далее со ссылкой на Фиг. 2 будет описана аппаратная конфигурация МФУ 101 в соответствии с этим вариантом осуществления. МФУ 101 имеет, в качестве своей аппаратной конфигурации, ЦП 211, ПЗУ (Постоянное Запоминающее Устройство) 212, ОЗУ (Оперативное Запоминающее Устройство) 213, НЖМД (Накопитель на Жестком Магнитном Диске) 214, операционный блок 215, печатающее устройство 216, сканирующее устройство 217, интерфейс 218 Bluetooth (зарегистрированный товарный знак), интерфейс 219 Wi-Fi, и интерфейс 220 Ethernet (зарегистрированный товарный знак). Все составляющие аппаратного обеспечения от 211 до 220 соединяются посредством внутренней шины 221 и могут обмениваться данными друг с другом.
[0018] ЦП 211 полностью управляет операциями всего МФУ 101. ЦП 211 загружает управляющую программу, хранящуюся в ПЗУ 212, НЖМД 214 или тому подобном, в ОЗУ 213 и выполняет различные виды управления, такие как управление чтением и управление передачей. ОЗУ 213 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 211 исполняет различные программы. НЖМД 214 хранит данные изображения и различные программы.
[0019] Операционный блок 215 включает в себя устройство отображения, которое работает в качестве сенсорной панели, с которой можно работать с помощью пальца пользователя, и аппаратные кнопки. Печатающее устройство 216 печатает данные изображения, пересылаемые по внутренней шине 221, на носителе для записи, таком как бумага. Сканирующее устройство 217 считывает изображение на оригинале и генерирует данные изображения. Интерфейс 218 Bluetooth является интерфейсом для осуществления беспроводной связи, отвечающей стандарту Bluetooth, и связывается с другими устройствами, которые имеют интерфейс Bluetooth. В этом варианте осуществления интерфейс 218 Bluetooth связывается с беспроводным терминалом 102 в соответствии со стандартом Bluetooth. Интерфейс 219 Wi-Fi и интерфейс 220 Ethernet являются картами сетевого интерфейса (NIC - Network Interface Card) для подключения к сети беспроводным и проводным способом, соответственно.
Программная конфигурация МФУ 101
[0020] Далее со ссылкой на Фиг. 3 будет описана программная конфигурация МФУ 101 в соответствии с этим вариантом осуществления. МФУ 101 имеет, в качестве своей программной конфигурация, блок 301 управления сетью, блок 302 управления ПИ (пользовательским интерфейсом), ядро 303 ОС (операционной системы), блок 304 управления связью Bluetooth, блок 305 управления связью Wi-Fi, и блок 306 управления связью Ethernet.
[0021] Блок 305 управления связью Wi-Fi является модулем для управления интерфейсом 219 Wi-Fi. Блок 304 управления связью Bluetooth является модулем для управления интерфейсом 218 связи Bluetooth. Аналогично, блок 306 управления связью Ethernet управляет интерфейсом 220 связи Ethernet. Эти модули управляются ядром 303 ОС. Блок 301 управления сетью работает с блоками управления Bluetooth и Wi-Fi через посредство ядра 303 ОС. Блок 301 управления сетью администрирует текущие сетевые настройки и администрирует доступность соответственных режимов связи, а именно Ethernet (проводной ЛВС (локальной вычислительной сети)), беспроводной ЛВС и беспроводного P2P-соединения. Блок 301 управления сетью обменивается информацией с блоком 302 управления ПИ, чтобы изменять отображение в ПИ, или, наоборот, выполняет управление сетью в ответ на запрос операции от ПИ.
Аппаратная конфигурация беспроводного терминала
[0022] Далее со ссылкой на Фиг. 4 будет описан пример аппаратной конфигурации беспроводного терминала 102 в соответствии с этим вариантом осуществления. Как показано на Фиг. 4, беспроводной терминал 102 имеет, в качестве своей аппаратной конфигурации, блок 400 системного управления, операционную панель 408, громкоговоритель 409 и микрофон 410. Блок 400 системного управления включает в себя ЦП 401, ПЗУ 402, ОЗУ 403, НЖМД 404, интерфейс 405 операционной панели, интерфейс 406 речевого ввода-вывода и сетевой интерфейс 407. Эти составляющие аппаратного обеспечения от 401 до 407 соединяются посредством внутренней шины 412 и могут обмениваться данными друг с другом.
[0023] Блок 400 системного управления является блоком управления, который полностью управляет беспроводным терминалом 102. ЦП 401 полностью управляет операциями всего беспроводного терминала 102. ЦП 401 загружает управляющую программу, хранящуюся в ПЗУ 402, НЖМД 404 или тому подобном, в ОЗУ 403 и выполняет различные виды управления, такие как управление речевым вводом и передачей. ОЗУ 403 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 401 исполняет различные программы. НЖМД 404 хранит данные печати, которые должны быть переданы в МФУ 101, и различные программы.
[0024] Интерфейс 405 операционной панели является интерфейсом, который управляет пользовательским вводом в операционную панель 408 и управляет выводом отображения на операционную панель 408. Операционная панель 408 представляет собой пользовательский интерфейс, который состоит, например, из жидкокристаллического устройства отображения типа сенсорной панели и имеет блок ввода и блок отображения. Интерфейс 406 речевого ввода-вывода соединяется с громкоговорителем 409 и микрофоном 410, а также управляет получением речи от пользователя и выводом звука пользователю. Сетевой интерфейс 407 соединяется с различными сетями. Например, сетевой интерфейс 407 соединяется с сервером 130 интерпретации намерений через посредство сети Интернет и соединяется с МФУ 101 через посредство беспроводной связи.
Аппаратная конфигурация серверов
[0025] Далее со ссылкой на Фиг. 5 будут описаны аппаратные конфигурации сервера 103 интерпретации намерений и сервера 104 администрирования МФУ в соответствии с этим вариантом осуществления. Сервер 103 интерпретации намерений включает в себя ЦП 501, ОЗУ 502, ПЗУ 503, НЖМД 504, интерфейс 505 базы данных и интерфейс 506 глобальной вычислительной сети. Эти составляющие аппаратного обеспечения от 501 до 506 соединяются посредством внутренней шины 508 и могут обмениваться данными друг с другом.
[0026] ЦП 501 полностью управляет сервером 103 интерпретации намерений. ЦП 501 загружает управляющую программу, хранящуюся в ПЗУ 503, НЖМД 504 или тому подобном, в ОЗУ 502 и выполняет различные виды управления, такие как анализ намерений и управление передачей. ОЗУ 502 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 501 исполняет различные программы. НЖМД 504 хранит описанную ниже таблицу зарегистрированных намерений и различные программы.
[0027] Интерфейс 505 базы данных соединяется с базой 507 данных (базой данных намерений) и управляет вводом и выводом информации в/из базы 507 данных. База 507 данных администрирует описанную ниже таблицу зарегистрированных намерений, показанную в Таблице 1. Интерфейс 506 глобальной вычислительной сети управляет связью с беспроводным терминалом 102 и сервером 104 администрирования МФУ через глобальную вычислительную сеть.
[0028] Сервер 104 администрирования МФУ включает в себя ЦП 511, ОЗУ 512, ПЗУ 513, НЖМД 514, интерфейс 515 базы данных и интерфейс 516 глобальной вычислительной сети. Эти составляющие аппаратного обеспечения от 511 до 516 соединяются посредством внутренней шины 518 и могут обмениваться данными друг с другом.
[0029] ЦП 511 полностью управляет сервером 104 администрирования МФУ. ЦП 511 загружает управляющую программу, хранящуюся в ПЗУ 513, НЖМД 514 или тому подобном, в ОЗУ 512 и выполняет различные виды управления, такие как анализ намерений и управление передачей. ОЗУ 512 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 511 исполняет различные программы. НЖМД 514 хранит описанную ниже таблицу информации о печатающих устройствах и таблицу информации о функциональных возможностях печатающих устройств, а также различные программы.
[0030] Интерфейс 515 базы данных соединяется с базой 517 данных (базой данных печатающих устройств) и управляет вводом и выводом информации в/из базы 517 данных. База 517 данных администрирует таблицу информации о печатающих устройствах в Таблице 2 и таблицу информации о функциональных возможностях печатающих устройств в Таблице 3, которые будут описаны позже. Интерфейс 516 глобальной вычислительной сети управляет связью с МФУ 101 и сервером 103 интерпретации намерений через глобальную вычислительную сеть.
Конфигурация базы данных сервера интерпретации намерений
[0031] Далее со ссылкой на Таблицу 1 будет описана таблица зарегистрированных намерений, которая находится на сервере 103 интерпретации намерений. Эта таблица имеет, в качестве вспомогательных параметров для каждого намерения, два типа параметров, а именно Обязательные параметры и Необязательные параметры, которые не являются Обязательными параметрами. Обязательный параметр является параметром, который требуется ввести, и указывает условие, которое должно выполняться при интерпретации каждого намерения. Другие параметры вводить не требуется, но желательно, чтобы условия, указанные этими параметрами, выполнялись при интерпретации каждого намерения.
[0032] Например, примеры намерений включают в себя "выбор печатающего устройства". Это является намерением определить одно печатающее устройство, которое будет использоваться пользователем, а параметр Цвета, который является параметром, указывающим, поддерживает ли печатающее устройство, которое будет использоваться, цветную печать, устанавливается в качестве Обязательного параметра. Кроме этого параметр Сшивания, который является параметром, указывающим, поддерживается ли функция автоматического сшивания, устанавливается в качестве параметра, который не является Обязательным параметром.
[0033] Соответственно, если текстовым предложением или предложением с речевым вводом, которое подается на вход сервер 103 интерпретации намерений, является "использовать печатающее устройство с возможностью цветной печати с функцией сшивания", то намерение этого предложения интерпретируется как "выбор печатающего устройства". Кроме того, интерпретируется, что для параметра Цвета установлено значение "Включить" (поддерживается цветная печать), а также интерпретируется, что для параметра Сшивание тоже установлено значение "Включить" (поддерживается функция автоматического сшивания). Ввод текстового предложения, которое не подпадает под ни одно из подготовленных намерений, интерпретируется как "неизвестное намерение". Следует отметить, что хотя "выбор печатающего устройства", "подготовка к печати", "печать", "неизвестное намерение" определяются как намерения, и различные параметры устанавливаются для этих намерений в Таблице 1, они являются примерами и не предназначены для ограничения настоящего изобретения. Другие намерения и другие параметры также могут быть зарегистрированы, а эти намерения и параметры могут быть произвольно добавлены или удалены.
[0034] Таблица 1
Намерение Обязательный Параметр Необязательный Параметр
Выбор печатающего устройства Цвет Сшивание
Подготовка к печати
Печать Размер, Цвет
Неизвестное намерение
Конфигурация базы данных сервера администрирования МФУ
[0035] Далее со ссылкой на Таблицы 2 и 3 будет дано описание таблицы информации о печатающих устройствах и таблицы информации о функциональных возможностях печатающих устройств, которые находятся на сервере 104 администрирования МФУ. Таблица информации о печатающих устройствах, показанная в Таблице 2, задает информацию о печатающих устройствах, а именно информацию, касающуюся печатающих устройств, которые доступны для пользователей. Эта информация представляет собой список доступных печатающих устройств, соотнесенных с конкретными пользователями, и может быть задано, что один пользователь может использовать множество печатающих устройств, и что одно печатающее устройство доступно для множества пользователей. Следует отметить, что Таблица 2 является примером и не предназначена для ограничения настоящего изобретения. Другие пользователи или другие печатающие устройства также могут быть заданы в этой таблице.
[0036] Таблица 2
Пользователь Печатающее устройство
X Печатающее устройство A
X Печатающее устройство B
Y Печатающее устройство A
Z Печатающее устройство C
[0037] Таблица информации о функциональных возможностях печатающих устройств, показанная в Таблице 3, задает информацию о функциональных возможностях, а именно информацию, касающуюся функциональных возможностей печатающих устройств. Здесь параметры Размер, Цвет и Сшивание те же, что и в Таблице 1. "Размер" указывает на самый большой размер бумаги, который может быть напечатан на каждом печатающем устройстве. "Цвет" указывает, доступна ли цветная печать на каждом печатающем устройстве. Если для параметра Цвет установлено значение "True", это указывает, что на печатающем устройстве доступна цветная печать. "Сшивание" указывает, доступна ли на каждом печатающем устройстве дополнительная функция автоматического сшивания. Следует отметить, что Таблица 3 является примером и не предназначена для ограничения настоящего изобретения. Другие печатающие устройства или другие параметры также могут быть заданы в этой таблице.
[0038] Таблица 3
Печатающее устройство Размер Цвет Сшивание
Печатающее устройство A A3 True True
Печатающее устройство B A3 True False
Печатающее устройство C A4 False False
Печатающее устройство D A1 True False
Обработка, выполняемая сервером 103 интерпретации намерений
[0039] Далее со ссылкой на Фиг. 6 будет дано описание процедуры обработки, посредством которой сервер 103 интерпретации намерений в соответствии с этим вариантом осуществления интерпретирует намерение пользовательского ввода и передает сигнал на сервер 104 администрирования МФУ. Описанная ниже обработка реализуется посредством ЦП 501 сервера 103 интерпретации намерений, загружающего управляющую программу, хранящуюся в ПЗУ 503 или НЖМД 504, в ОЗУ 502 и исполняющего загруженную программу, например.
[0040] На этапе S601 ЦП 501 сервера 103 интерпретации намерений определяет, был ли принят текстовый ввод или речевой ввод от беспроводного терминала 102. Если текстовый ввод или речевой ввод был принят, обработка переходит к этапу S602, и ЦП 501 интерпретирует намерение принятого ввода. В частности, для речевого ввода, ЦП 501 сначала выполняет распознавание речи, используя механизм распознавания речи, и преобразует введенную речь в текст. Затем ЦП 501 интерпретирует намерение текста, преобразованного из текстового ввода или речевого ввода, используя механизм обработки естественного языка.
[0041] Далее, на этапе S603, ЦП 501 определяет, является ли результат определения намерения на этапе S602 неизвестным. Обработка переходит к этапу S607, если неизвестен, и переходит к этапу S604, если нет. На этапе S604, для определенного намерения, ЦП 501 определяет, отвечают ли требованиям все Обязательные параметры, показанные в Таблице 1. Обработка переходит к этапу S606, если не все Обязательные параметры отвечают требованиям, и переходит к этапу S605, если все Обязательные параметры отвечают требованиям. На этапе S606 ЦП 501 представляет через сеть пользователю беспроводного терминала 102 дополнительный вопрос, касающийся Обязательного параметра, который не отвечает требованиям, и обработка возвращается к определению на этапе S604. Следует отметить, что, когда обработка возвращается к определению на этапе S604, принимается новый пользовательский ввод, выполняется обработка интерпретации намерений, соответствующая этапу S602, и извлекаются параметры.
[0042] Если все Обязательные параметры отвечают требованиям, на этапе S605 ЦП 501 передает определенное намерение и группу параметров на сервер 104 администрирования МФУ, и обработка заканчивается. С другой стороны, если на этапе S603, результат определения намерения неизвестен, то на этапе S607 ЦП 501 представляет через сеть пользователю беспроводного терминала 102 сообщение, указывающее, что намерение неизвестно, и обработка заканчивается.
Обработка, выполняемая сервером 104 администрирования МФУ
[0043] Далее со ссылкой на Фиг. 7 будет дано описание процедуры обработки, выполняемой, когда МФУ 101 в соответствии с этим вариантом осуществления принимает намерение и параметры, передаваемые на вышеупомянутом этапе S605 от сервера 103 интерпретации намерений. Описанная ниже обработка реализуется посредством ЦП 511 сервера 104 администрирования МФУ, загружающего управляющую программу, хранящуюся в ПЗУ 513 или НЖМД 514, в ОЗУ 512 и исполняющего загруженную программу, например.
[0044] На этапе S701 ЦП 511 сервера 104 администрирования МФУ определяет, был ли принят сигнал, переданный от сервера 103 интерпретации намерений. Обработка переходит к этапу S702, если сигнал был принят, и ЦП 511 сначала получает тип намерения, включенного в сигнал, и определяет, является ли этим намерением "определение МФУ (выбор печатающего устройства)". Обработка переходит к этапу S703, если намерением является "определение МФУ", и переходит к этапу S705, если нет.
[0045] На этапе S703 ЦП 511 определяет, существует ли какое-то печатающее устройство, которое является МФУ, соотнесенным с текущим пользователем, и отвечает всем условиям (Обязательным условиям), включенным в вышеупомянутый сигнал, обращаясь к таблице информации о функциональных возможностях печатающих устройств (Таблица 2). Обработка переходит к этапу S709, если есть печатающее устройство, которое отвечает этим условиям, и переходит к этапу S704, если нет. На этапе S704 ЦП 511 уведомляет, через сеть, сервер 103 интерпретации намерений, что не найдено удовлетворяющее требованиям МФУ, и обработка заканчивается. С другой стороны, если было найдено отвечающее условиям печатающее устройство, на этапе S709 ЦП 511 генерирует список удовлетворяющих требованиям печатающих устройств и возвращает список на сервер 103 интерпретации намерений, и обработка заканчивается.
[0046] Если на этапе S702 намерение, полученное из принятого сигнала, не является "определением МФУ", то на этапе S705 ЦП 511 определяет, было ли уже определено МФУ, которое должно использоваться текущей учетной записью пользователя. Обработка переходит к этапу S710, если нет, и переходит к этапу S706, если уже определено. На этапе S710 сервер 104 администрирования МФУ передает запрос переключения намерений, чтобы заставить сервер 103 интерпретации намерений определить МФУ, и переключает намерение на "выбор печатающего устройства" в Таблице 1, и обработка заканчивается.
[0047] С другой стороны, если МФУ, которое будет использоваться, уже определено, на этапе S706 ЦП 511 определяет, требуется ли намерению в этот момент связь с определенным МФУ. Обработка переходит к этапу S707, если требуется, и переходит к этапу S709, если нет. На этапе S707 ЦП 511 передает запрос на обработку, соответствующий намерению сигнала, на целевое МФУ, если связь требуется. Затем, на этапе S708, ЦП 511 определяет, был ли принят от МФУ ответ на переданный запрос на обработку. Обработка переходит к этапу S709, если ответ был принят и ответ указывает, что запрошенная обработка была успешно выполнена, и переходит к этапу S711, если нет. На этапе S709 ЦП 511 передает сигнал, указывающий на завершение обработки для намерения, на сервер 103 интерпретации намерения. Если на этапе S707 принимается ответ, указывающий на то, что запрошенная обработка была неудачной, или ответ от МФУ 101 не был принят, то на этапе S711 ЦП 511 передает на сервер 103 интерпретации намерений сигнал, указывающий, что обработка намерения была неудачной, и обработка заканчивается.
Пользовательский интерфейс беспроводного терминала 102
[0048] Далее со ссылкой на Фиг. 8A и 8B будет описан пользовательский интерфейс, отображаемый на операционной панели 408 беспроводного терминала 102, и последовательность операций в нем. Этот пользовательский интерфейс отображается как экран интерактивного приложения на операционной панели 408 при открытии предварительно заданного приложения, хранящегося в беспроводном терминале 102. Предварительно заданное приложение может быть установлено по умолчанию в беспроводном терминале 102 или может быть загружено с внешнего устройства и установлено. Экраны с 801 по 804, показанные на Фиг. 8A и 8B, являются экранами этого приложения. Описанная ниже обработка, выполняемая беспроводным терминалом 102, выполняется посредством ЦП 401.
[0049] Экран 801 отображает предысторию взаимодействия в области 814 отображения взаимодействия. Область 814 отображения взаимодействия показывает поток взаимно-однозначных взаимодействий во временных рядах сверху. Предложения, выровненные по левой стороне, указывают вопросы или тому подобное, заданные со стороны службы МФУ, т.е. от сервера 103 интерпретации намерений, а предложения, выровненные по правой стороне, указывают высказывание или текстовый ввод, сделанные пользователем. Вопросы или тому подобное, задаваемые сервером 103 интерпретации намерения, являются вопросами, представленными на вышеупомянутых этапах S606 и S607. Если пользователь касается текстового поля 811 в нижней части экрана 801, ЦП 401 переключает отображаемый экран на экран 802, чтобы начать текстовый ввод.
[0050] Виртуальная клавиатура 822 отображается в нижней половине экрана 802, и пользователь может осуществлять ввод на различных языках. Содержимое текстового ввода отображается в текстовом поле 823. Если коснуться области 821 отображения взаимодействия на экране 802, ЦП 401 возвращает отображаемый экран к экрану 801, сохраняя при этом состояние ввода текстового поля 823. Если в этом состоянии происходит касание кнопки (значка) 813 отправки на экране 801, ЦП 401 передает на сервер 103 интерпретации намерений текст, отображаемый в текстовом поле 811, в качестве высказывания пользователя. Кроме того, ЦП 401 отображает текст в области 814 отображения взаимодействия.
[0051] Если происходит касание кнопки (значка) 812 речевого ввода на экране 801, ЦП 401 переключает отображаемый экран на экран 803, чтобы начать речевой ввод. Описание, которое побуждает пользователя ввести речь, такое как показанное в зоне 832, отображается на экране 803, и ожидается речевой ввод, производимый пользователем. Если пользователь касается области 831 отображения взаимодействия, или завершает речевой ввод, или касается кнопки 833 отмены, ЦП 401 возвращает экран отображения к экрану 801.
[0052] Если происходит касание кнопки (значка) 815 выбора файла на экране 801, ЦП 401 переключает отображаемый экран на экран 804, чтобы начать выбор файла. На экране 804 файл, который должен быть напечатан, может быть выбран в нижней половине экрана. Если происходит касание печатаемых данных (файл изображения, файл PDF и т.д.), отображаемых в зоне 843, ЦП 401 отображает печатаемые данные (например, значок 845), которые должны быть переданы, в текстовом поле 844. В процессе этого выбора может быть выбрано множество фрагментов данных, и дополнительно выбранное изображение добавляется с правой стороны в текстовом поле 844. Следует отметить, что, если в этом состоянии происходит касание текстового поля 844, ЦП 401 переключает отображаемый экран на экран 802, и пользователь может удалить значок 845 отображаемых печатаемых данных из объектов, которые должны быть напечатаны, стерев этот значок с помощью кнопки BS (backspace). Если происходит касание кнопки 842 отправки, ЦП 401 передает выбранные печатаемые данные в информационное устройство, с которым ЦП 401 взаимодействует (в данном случае на сторону МФУ; непосредственно на сервер 103 интерпретации намерений). Если при отображении экрана 804 происходит касание области 841 отображения взаимодействия, или выбор файла завершен и печатаемые данные переданы, ЦП 401 возвращает экран к экрану 801.
Сценарий взаимодействия
[0053] Далее со ссылкой на Фиг. 9 будет описана иллюстративная последовательность операций взаимодействия пользователя со стороной МФУ через посредство беспроводного терминала 102 и с использованием предварительно заданного МФУ. Обработка, выполняемая каждым устройством, полностью управляется ЦП устройства.
[0054] На этапе S901 беспроводной терминал 102 передает на сервер 103 интерпретации намерений пользовательский ввод, указывающий "напечатать". Сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка для интерпретации намерения, и определяется, что этим намерением является "напечатать" (S604). На этапе S902 сервер 103 интерпретации намерений передает намерение "напечатать" на сервер 104 администрирования МФУ. В этот момент, согласно блок-схеме последовательности операций на Фиг. 7, МФУ, которое будет использоваться, не было определено, и, таким образом, на этапе S903 сервер 104 администрирования МФУ передает запрос переключения намерений (S710) на сервер 103 интерпретации намерений.
[0055] В ответ, на этапе S904, сервер 103 интерпретации намерений представляет вопрос: "Для чего?" на беспроводном терминале 102. В ответ, на этапе S905, беспроводной терминал 102 принимает пользовательский ввод, указывающий "цветная печать для внутренней презентации", и уведомляет сервер 103 интерпретации намерений о пользовательском вводе. На этапе S906 сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка для интерпретации намерения и передает интерпретированное намерение и параметры на сервер 104 администрирования МФУ (S604). В этот момент сохраненные данные, в которых намерение: "выбор печатающего устройства"; Цвет (Обязательный Параметр): Включено; и Сшивание (Необязательный Параметр): Включено передаются на сервер 104 администрирования МФУ.
[0056] Затем, на этапе S907, сервер 104 администрирования МФУ генерирует список, в котором преимущественно перечислены печатающие устройства, которые отвечают всем Обязательным параметрам, а также отвечают многим Необязательным параметрам, и возвращает сгенерированный список на сервер 103 интерпретации намерений (S708). На этапе S908 сервер 103 интерпретации намерений представляет список доступных МФУ на беспроводном терминале 102 в такой форме, как "список доступных печатающих устройств [1] [2] [3]".
[0057] После этого, на этапе S909, беспроводной терминал 102 уведомляет сервер 103 интерпретации намерений о пользовательском вводе, указывающем "использовать [2]", т.е. о желаемом устройстве формирования изображений, выбранном пользователем. Вслед за этим, на этапе S910, сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка, чтобы интерпретировать намерение, намерение переключается, и сервер 103 интерпретации намерений передает намерение "подготовить печать" на сервер 104 администрирования МФУ (S604).
[0058] На этапе S911 сервер 104 администрирования МФУ выдает команду запуска беспроводной связи P2P с целевым МФУ в соответствии с блок-схемой последовательности операций на Фиг. 7 (S706). В ответ целевое МФУ (в данном случае МФУ 101) готовится выполнить беспроводное p2P-соединение, и возвращает, на этапе S912, информацию о соединении (SSID/PassPhrase) для беспроводного P2P-соединения на сервер 104 администрирования МФУ. На этапе S913 эта информация о соединении доставляется с сервера 104 администрирования МФУ на беспроводной терминал 102 через сервер 103 интерпретации намерений. На этапе S914 беспроводной терминал 102 устанавливает беспроводное соединение с МФУ 101 в соответствии с доставленной информацией о соединении и наконец инициирует выполнение задания печати, используя это беспроводное соединение.
[0059] Как описано выше, беспроводной терминал в соответствии с этим вариантом осуществления принимает пользовательский ввод с помощью речи или текста, уведомляет сервер о принятом пользовательском вводе, получает от сервера вопрос, касающийся пользовательского ввода, и представляет полученный вопрос пользователю. Таким образом, беспроводной терминал позволяет пользователю и серверу взаимодействовать друг с другом. Беспроводной терминал принимает от сервера список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое было интерпретировано сервером на основе взаимодействия, и отображает принятый список. Кроме того, если желаемое устройство формирования изображений выбирается пользователем из списка, беспроводной терминал получает от сервера информацию о соединении, а именно информацию, касающуюся соединения с этим устройством формирования изображений, осуществляет доступ к устройству формирования изображений и инициирует выполнение задания печати или тому подобное. Сервер администрирования в соответствии с этим вариантом осуществления имеет базу данных печатающих устройств, которая вмещает таблицу информации о печатающих устройствах, которая задает пользователей и одно или несколько доступных устройств формирования изображений, соотнесенных друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений. Кроме того, сервер администрирования генерирует список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое было интерпретировано сервером интерпретации намерений, с привязкой к базе данных печатающих устройств, и предоставляет сгенерированный список. Сервер интерпретации намерений в соответствии с этим вариантом осуществления принимает пользовательский ввод с помощью речи или текста от беспроводного терминала, выполняет распознавание речи, если принятый пользовательский ввод является речью, и выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста. Кроме этого сервер интерпретации намерений имеет базу данных намерений, которая вмещает множество намерений и один или несколько параметров для каждого из намерений, соотнесенных друг с другом. Кроме того, сервер интерпретации намерений интерпретирует намерение пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представляет дополнительный вопрос на беспроводном терминале, если намерение не может быть интерпретировано. Таким образом, в соответствии с этим вариантом осуществления, намерение пользователя получается в интерактивном режиме, не требуя от пользователя выполнения сложных операций, и может быть представлено устройство, функция, или тому подобное, которое подходит для намерения пользователя.
Другие варианты осуществления
[0060] Настоящее изобретение также может быть реализовано посредством обработки, с помощью которой программа, которая реализует одну или несколько функций из вышеописанных вариантов осуществления, поставляется в систему или устройство через сеть или носитель данных, а одно или несколько обрабатывающих устройств вычислительного устройства в этой системе или устройстве загружает и исполняет программу. Настоящее изобретение также может быть реализовано посредством схемы (например, СИС), которая реализует один или несколько функциональных элементов.
[0061] Настоящее изобретение не ограничивается вышеописанными вариантами осуществления, и различные изменения и модификации могут быть произведены в пределах сущности и объема настоящего изобретения. Поэтому, чтобы предоставить для публичного ознакомления объем настоящего изобретения, подготовлена нижеследующая формула изобретения.
[0062] Настоящая заявка претендует на приоритет по отношению к заявке на патент Японии Номер 2017-242878, зарегистрированной 19 декабря 2017 г., которая тем самым включается в настоящую заявку путем ссылки.

Claims (42)

1. Беспроводной терминал с возможностью осуществления связи с устройством формирования изображений и сервером,
причем беспроводной терминал отличается тем, что содержит:
средство взаимодействия для принятия пользовательского ввода с помощью речи или текста, уведомления сервера о принятом пользовательском вводе, а также предоставления возможности пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю;
средство приема для приема от сервера списка из одного или нескольких устройств формирования изображений, которые могут выполнить намерение пользователя, которое интерпретируется сервером на основе взаимодействия через средство взаимодействия;
средство отображения для отображения списка, принятого средством приема.
2. Беспроводной терминал по п. 1, отличающийся тем, что дополнительно содержит:
средство получения для получения от сервера информации о соединении, которая является информацией, касающейся соединения с желаемым устройством формирования изображений, выбранным в результате пользовательского ввода через посредство списка, отображаемого на средстве отображения;
средство соединения для беспроводного соединения с желаемым устройством формирования изображений и инициирования выполнения задания с использованием информации о соединении, полученной средством получения.
3. Беспроводной терминал по п. 1 или 2, отличающийся тем, что
средство отображения дополнительно отображает, во временных рядах, взаимодействие между пользователем и сервером через средство взаимодействия.
4. Беспроводной терминал по п. 3, отличающийся тем, что
средство отображения дополнительно отображает на экране, отображающем взаимодействие, по меньшей мере одно из следующего: значок для начала речевого ввода, поле для начала текстового ввода, значок для начала выбора данных изображения, которые должны быть переданы в устройство формирования изображений, и значок, отображающий пользовательский ввод, для уведомления сервера о пользовательском вводе.
5. Беспроводной терминал по п. 1, отличающийся тем, что
сервер включает в себя сервер интерпретации намерений, который интерпретирует намерение пользователя в соответствии с пользовательским вводом, и сервер администрирования, который администрирует одно или несколько устройств формирования изображений,
сервер интерпретации намерений включает в себя:
механизм распознавания речи, который выполняет распознавание речи в случае, когда пользовательский ввод является речью;
механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста;
базу данных намерений, которая хранит множество намерений и один или несколько параметров для каждого из намерений соотнесенными друг с другом; и
средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале в случае, когда намерение пользователя не может быть интерпретировано, и
сервер администрирования включает в себя:
базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений соотнесенными друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений; и
средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые могут выполнять намерение пользователя, интерпретированное сервером интерпретации намерений, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.
6. Беспроводной терминал по п. 5, отличающийся тем, что
параметры включают в себя первый параметр, включение которого требуется в пользовательский ввод для интерпретации пользовательского ввода как имеющего соответствующее намерение, и второй параметр, который является необязательным параметром.
7. Беспроводной терминал по п. 6, отличающийся тем, что
средство интерпретации намерения представляет дополнительный вопрос на беспроводном терминале в случае, когда первый параметр не включен в пользовательский ввод.
8. Беспроводной терминал по п. 5 или 6, отличающийся тем, что
средство предоставления проверяет связь с устройством формирования изображений, нужным пользователю в случае, когда намерение пользователя, интерпретируемое сервером интерпретации намерений, требует связи с устройством формирования изображений.
9. Сервер администрирования с возможностью осуществления связи с сервером интерпретации намерений, который интерпретирует намерение пользователя беспроводного терминала в соответствии с пользовательским вводом, произведенным пользователем, и одним или несколькими устройствами формирования изображений, при этом сервер администрирования отличается тем, что содержит:
базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений соотнесенными друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений;
средство приема для приема намерения пользователя, интерпретируемого сервером интерпретации намерений; и
средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые могут выполнять намерение, принятое средством приема, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.
10. Сервер администрирования по п. 9, отличающийся тем, что
средство предоставления
проверяет связь с желаемым устройством формирования изображений, выбранным пользователем из списка, и
предоставляет, в случае успешной проверки связи, информацию о соединении для соединения с желаемым устройством формирования изображений на беспроводной терминал посредством сервера интерпретации намерений.
11. Сервер интерпретации намерений с возможностью осуществления связи с сервером администрирования и беспроводным терминалом, при этом сервер интерпретации намерений отличается тем, что содержит:
средство приема для приема пользовательского ввода с помощью речи или текста от беспроводного терминала;
механизм распознавания речи, который выполняет распознавание речи в случае, когда пользовательский ввод, принятый средством приема, является речью;
механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста;
базу данных намерений, хранящую множество намерений и один или несколько параметров для каждого из намерений соотнесенными друг с другом;
средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале в случае, когда намерение пользователя не может быть интерпретировано.
RU2020123539A 2017-12-19 2018-11-14 Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа RU2750623C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-242878 2017-12-19
JP2017242878A JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム
PCT/JP2018/042099 WO2019123899A1 (ja) 2017-12-19 2018-11-14 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
RU2750623C1 true RU2750623C1 (ru) 2021-06-30

Family

ID=66994061

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020123539A RU2750623C1 (ru) 2017-12-19 2018-11-14 Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа

Country Status (6)

Country Link
US (1) US11438469B2 (ru)
JP (1) JP7177591B2 (ru)
KR (2) KR102540222B1 (ru)
CN (1) CN111512281B (ru)
RU (1) RU2750623C1 (ru)
WO (1) WO2019123899A1 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361509B2 (ja) * 2019-07-03 2023-10-16 キヤノン株式会社 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
JP7443844B2 (ja) * 2020-03-13 2024-03-06 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP7430126B2 (ja) * 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
RU2442213C2 (ru) * 2006-06-13 2012-02-10 Майкрософт Корпорейшн Панель управления поисковым механизмом
RU129673U1 (ru) * 2012-12-17 2013-06-27 Федеральное государственное унитарное предприятие "ЦентрИнформ" Система управления удаленными печатающими устройствами
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
RU2589856C2 (ru) * 2014-09-25 2016-07-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки целевого сообщения, способ обработки нового целевого сообщения и сервер (варианты)

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
JP4367929B2 (ja) 2004-08-27 2009-11-18 キヤノン株式会社 携帯電話及び印刷システムとその制御方法
JP4270134B2 (ja) * 2005-01-31 2009-05-27 ブラザー工業株式会社 サービス提供システム，クライアントデバイス，サーバおよびプログラム
US8477350B2 (en) * 2010-03-16 2013-07-02 Google Inc. Cloud-based print service
JP2011232857A (ja) * 2010-04-26 2011-11-17 Canon Inc 印刷サービスシステム、印刷処理方法
JP2012248161A (ja) * 2011-05-31 2012-12-13 Oki Electric Ind Co Ltd 対話型検索システム及びプログラム、並びに、対話シナリオ生成システム及びプログラム
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP5831251B2 (ja) * 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
US8593501B1 (en) * 2012-02-16 2013-11-26 Google Inc. Voice-controlled labeling of communication session participants
US9108450B2 (en) * 2012-05-04 2015-08-18 Makerbot Industries, Llc Voice-controlled three-dimensional fabrication system
US9536049B2 (en) * 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US9171450B2 (en) * 2013-03-08 2015-10-27 Qualcomm Incorporated Emergency handling system using informative alarm sound
CN104608509B (zh) * 2013-11-04 2017-09-29 深圳光启智能光子技术有限公司 打印机、打印系统及方法、服务器
US20190251126A1 (en) * 2015-02-12 2019-08-15 CogniCor Technologies, Inc. Multi-agent based virtual assistant
JP6604566B2 (ja) 2015-05-13 2019-11-13 シャープ株式会社 画像形成システムおよびプログラム
KR20170016683A (ko) 2015-08-04 2017-02-14 (주)풀쟁이 종자를 함유한 한지 제조 장치 및 그 방법
JP6728950B2 (ja) 2015-12-07 2020-07-22 株式会社リコー 情報処理システム、端末装置及びプログラム
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
US10515632B2 (en) * 2016-11-15 2019-12-24 At&T Intellectual Property I, L.P. Asynchronous virtual assistant
WO2018093012A1 (ko) * 2016-11-16 2018-05-24 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 시스템 및 방법
EP3459748B1 (en) * 2016-11-16 2021-09-08 Mangoslab Co., Ltd. Printer and printer system for printing re-adherable memo paper
KR101725314B1 (ko) * 2016-11-16 2017-04-10 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 및 프린터 시스템
JP6447689B1 (ja) 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6972806B2 (ja) 2017-09-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
RU2442213C2 (ru) * 2006-06-13 2012-02-10 Майкрософт Корпорейшн Панель управления поисковым механизмом
RU129673U1 (ru) * 2012-12-17 2013-06-27 Федеральное государственное унитарное предприятие "ЦентрИнформ" Система управления удаленными печатающими устройствами
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
RU2589856C2 (ru) * 2014-09-25 2016-07-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки целевого сообщения, способ обработки нового целевого сообщения и сервер (варианты)

Also Published As

Publication number Publication date
US11438469B2 (en) 2022-09-06
KR20230084324A (ko) 2023-06-12
KR20200096620A (ko) 2020-08-12
CN111512281B (zh) 2024-05-14
KR102540222B1 (ko) 2023-06-07
JP2019109752A (ja) 2019-07-04
US20200314264A1 (en) 2020-10-01
CN111512281A (zh) 2020-08-07
JP7177591B2 (ja) 2022-11-24
WO2019123899A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
US10917369B2 (en) Information processing apparatus, information processing system, and information processing method
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
US9706066B2 (en) Image processing device, information processing terminal, and recording medium
US9648180B2 (en) Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium
JP5346059B2 (ja) 多機能画像形成装置
JP7146379B2 (ja) 印刷方法、音声制御システムおよびプログラム
EP3660661A1 (en) Information processing system, method of processing information and carrier means
US10506115B2 (en) System and method for natural language operation of multifunction peripherals
RU2750623C1 (ru) Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа
JP2009123009A (ja) システム、表示方法およびサーバ装置
CN107273063A (zh) 信息处理装置及控制方法
JP2013038512A (ja) 表示制御装置、複合機制御システム、表示制御方法、プログラムおよびその記録媒体
JP5110140B2 (ja) 画像形成装置、表示方法、および表示プログラム
US8879079B2 (en) Information processing apparatus that displays web page, method of controlling information processing apparatus, and storage medium
EP3291115A1 (en) Information processing apparatus, information processing system, information processing method, and computer readable data carrier to assist visually impaired people
KR20110068550A (ko) 화상형성장치 및 그 로컬 유저 인터페이스 제공방법
US9307104B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US11647129B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP7508781B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2012168819A (ja) 画像処理装置、操作画面の表示制御方法及び表示制御プログラム
JP2015072564A (ja) 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
JP6992332B2 (ja) 画像処理システム、画像処理装置、端末装置及びプログラム
JP2017027321A (ja) 情報処理端末、プログラム及び制御方法