KR102540222B1 - 무선 단말기, 관리 서버, 및 의도 해석 서버 - Google Patents

무선 단말기, 관리 서버, 및 의도 해석 서버 Download PDF

Info

Publication number
KR102540222B1
KR102540222B1 KR1020207019870A KR20207019870A KR102540222B1 KR 102540222 B1 KR102540222 B1 KR 102540222B1 KR 1020207019870 A KR1020207019870 A KR 1020207019870A KR 20207019870 A KR20207019870 A KR 20207019870A KR 102540222 B1 KR102540222 B1 KR 102540222B1
Authority
KR
South Korea
Prior art keywords
user
server
intent
image forming
user input
Prior art date
Application number
KR1020207019870A
Other languages
English (en)
Other versions
KR20200096620A (ko
Inventor
마사토 츠치야
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority to KR1020237018451A priority Critical patent/KR20230084324A/ko
Publication of KR20200096620A publication Critical patent/KR20200096620A/ko
Application granted granted Critical
Publication of KR102540222B1 publication Critical patent/KR102540222B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1296—Printer job scheduling or printer resource handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/04—Interfaces between hierarchically different network devices
    • H04W92/08—Interfaces between hierarchically different network devices between user and terminal device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

실시예에 따른 무선 단말기는 음성 또는 텍스트에 의한 사용자 입력을 접수하고, 접수된 사용자 입력을 서버에게 통지하고, 사용자 입력에 관련된 질문을 서버로부터 획득하고 획득된 질문을 사용자에게 제시함으로써 사용자와 서버가 서로 대화할 수 있게 한다. 또한, 무선 단말기는 서버로부터, 대화를 통한 대화에 기초하여 서버에 의해 해석된 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 수신하고 수신된 리스트를 표시한다.

Description

무선 단말기, 관리 서버, 및 의도 해석 서버
본 발명은 정보 처리 장치, 정보 처리 장치를 제어하는 제어 방법, 및 프로그램에 관한 것이다.
최근의 인공 지능 관련 연구 및 개발의 분야는 정말로 초기 단계의 중간에 있으며, 스마트폰들 및 전기 기기들과 같은 소형 전자 디바이스들로부터, 차량 및 집과 같은 대형 디바이스들까지 커버하는 디바이스들은 인공 지능을 이용하는 기능들을 탑재하기 시작하였다. 그 중에서도, 음성 인식 및 자연어 처리를 사용하는 대화형 사용자 인터페이스들과 연관된 기술들은 이미 실제 수준까지 충분히 축적되어 있다. 프론트-엔드 개발에 관여하는 엔지니어들이 자사 제품에 대화형 사용자 인터페이스 기능들을 탑재하기 위한 플랫폼들이 완성되었고 개발에서의 어려움들이 상당히 줄어들었다고 말할 수 있다.
대화형 사용자 인터페이스에 의해, 전자 디바이스는 음성 또는 텍스트 입력을 사용하여 사람과 컴퓨터 사이의 "대화(interaction)"의 형태로 조작된다. 이미 실용화된 보이스 커맨드 기능의 경우에는, 단지 특정 키워드에 반응할 뿐인 반면, 대화형 사용자 인터페이스는 사람이 디바이스와 대화하고 있는 것처럼 사람이 느끼게 하면서 전자 디바이스를 조작할 수 있게 한다. 음성 인식 및 자연어 처리를 사용하는 대화형 사용자 인터페이스들에서의 문제점은 사용자에 의해 행해진 음성 또는 텍스트 입력의 내용으로부터 현 순간에서의 사용자의 의도를 어떻게 판독하는지에 있다. 특허문헌 1은 사용자의 의도를 해석하기 위해 핸즈-프리 컨텍스트의 개념을 도입하는 방법을 제안한다.
PTL1: 일본 특허 공개 제2017-16683호
한편, MFP(Multifunctional peripheral)와 같은 화상 형성 장치들은 제공되는 기능들이 점점 더 다양화되고 복잡해짐에 따라, 사용자에게 더 복잡한 조작들을 수행할 것을 요구하고 있다. 원하는 서비스에 따라, 일부 경우들에서, 사용자가 MFP의 사용자 인터페이스를 브라우징하면서 조건들 등을 설정하는 것은 매우 복잡하고 번거롭다. 또한, MFP가 이동 단말기 등으로부터 액세스될 때, 일반 사용자가 예를 들어, 사용자 인터페이스 상에서 무선 다이렉트의 복잡한 설정을 어떻게 하는지를 이해하는 것은 어렵다. 또한, 일부 사용자들은 MFP 등이 갖는 기능들 자체를 충분히 이해하지 못한다. 따라서, 사용자의 의도를 쉽게 해석하고 사용자에게 적절한 디바이스, 기능 등을 제공하는 사용자 인터페이스에 대한 요구가 있다.
본 발명은 전술한 문제점들 중 적어도 하나를 고려하여 이루어졌으며, 사용자가 복잡한 조작을 수행할 필요없이, 사용자의 의도를 대화식으로 획득하고 사용자의 의도에 적합한 디바이스, 기능 등을 제공하는 메커니즘을 제공하는 것을 목적으로 한다.
예를 들어, 본 발명은 화상 형성 장치 및 서버와 통신할 수 있는 무선 단말기이며, 무선 단말기는 음성 또는 텍스트에 의한 사용자 입력을 접수하고, 접수된 사용자 입력을 서버에게 통지하고, 사용자 입력에 관련된 질문을 서버로부터 획득하고 획득된 질문을 사용자에게 제시함으로써 사용자와 서버가 서로 대화할 수 있게 하는 대화 수단; 서버로부터, 대화 수단을 통한 대화에 기초하여 서버에 의해 해석된 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 수신하기 위한 수신 수단; 및 수신 수단에 의해 수신된 리스트를 표시하기 위한 표시 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명은 사용자에 의해 행해진 사용자 입력에 따라 무선 단말기의 사용자의 의도를 해석하는 의도 해석 서버, 및 하나 이상의 화상 형성 장치와 통신할 수 있는 관리 서버이며, 본 관리 서버는: 사용자와 하나 이상의 이용가능한 화상 형성 장치를 서로 연관시켜 정의하는 프린터 정보 테이블과, 화상 형성 장치에 관한 능력 정보를 정의하는 프린터 능력 정보 테이블을 보유하는 프린터 데이터베이스; 의도 해석 서버에 의해 해석된 사용자의 의도를 수신하기 위한 수신 수단; 수신 수단에 의해 수신된 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 프린터 데이터베이스를 참조하여 생성하고, 생성된 리스트를 제공하기 위한 제공 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명은 관리 서버 및 무선 단말기와 통신할 수 있는 의도 해석 서버이며, 본 의도 해석 서버는: 음성 또는 텍스트에 의한 사용자 입력을 무선 단말기로부터 수신하기 위한 수신 수단; 수신 수단에 의해 수신된 사용자 입력이 음성인 경우에 음성 인식을 수행하는 음성 인식 엔진; 음성 인식 엔진에 의해 음성 인식된 사용자 입력, 또는 텍스트에 의한 사용자 입력에 대해 언어 처리를 수행하는 언어 처리 엔진; 복수의 의도와 의도들 각각에 대한 하나 이상의 파라미터를 서로 연관시켜 보유하는 의도 데이터베이스; 및 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 상기 의도 데이터베이스에 의해 보유된 정보에 따라 사용자의 의도를 해석하고, 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 무선 단말기에 제시하기 위한 의도 해석 수단을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 사용자가 복잡한 조작을 수행할 것을 요구하지 않고, 사용자의 의도를 대화식으로 획득하고 사용자의 의도에 적합한 디바이스, 기능 등을 제공하는 것이 가능하다.
본 발명의 다른 특징들 및 이점들은 첨부된 도면들을 참조하여 이하의 설명에서 명백하게 될 것이다. 첨부 도면들에서, 동일하거나 유사한 컴포넌트들에는 동일한 참조 번호들이 할당된다는 점에 유의한다.
첨부 도면들은 명세서에 포함되고 명세서의 일부를 구성하며, 본 발명의 실시예들을 예시하고, 본 명세서의 설명과 함께 본 발명의 원리를 설명하는데 사용된다.
도 1은 실시예에 따른 정보 처리 시스템의 구성을 도시하는 도면이다.
도 2는 실시예에 따른 MFP의 하드웨어 구성을 도시하는 도면이다.
도 3은 실시예에 따른 MFP의 소프트웨어 구성을 도시하는 도면이다.
도 4는 실시예에 따른 무선 단말기의 하드웨어 구성을 도시하는 도면이다.
도 5는 실시예에 따른 서버들의 하드웨어 구성을 도시하는 도면이다.
도 6은 실시예에 따른 의도 해석 서버의 흐름도이다.
도 7은 실시예에 따른 MFP 관리 서버의 흐름도이다.
도 8a는 일 실시예에 따른 이동 단말기의 사용자 인터페이스의 천이를 도시하는 도면이다.
도 8b는 실시예에 따른 이동 단말기의 사용자 인터페이스의 천이를 도시하는 도면이다.
도 9는 실시예에 따른 프린터 선택에 적용되는 시퀀스 차트이다.
이하, 본 발명의 실시예들에 대해서 설명할 것이다. 아래에 설명되는 개별 실시예들은 본 발명의 상위 개념들, 중위 개념들, 및 하위 개념들을 포함하는 다양한 개념들의 이해를 도울 것이다. 본 발명의 기술적 범위는 청구항들에 의해 확립되고, 이하의 실시예들에 의해 한정되지 않는다.
제1 실시예
시스템 구성
이하, 본 발명의 제1 실시예에 대해 설명할 것이다. 먼저, 본 실시예에 따른 정보 처리 시스템(100)의 구성에 대해 도 1을 참조하여 설명할 것이다. 본 실시예에 따른 시스템은 MFP(화상 형성 장치 및 통신 장치의 예)(101), 무선 단말기(정보 처리 장치)(102), 의도 해석 서버(103), 및 MFP 관리 서버(104)를 포함한다. 적어도 MFP(101) 및 무선 단말기(102)는 무선 통신 기능을 갖고, MFP(101)와 무선 단말기(102)는 예를 들어, 무선으로 서로 직접적으로 또는 간접적으로 접속할 수 있다는 점에 유의한다. 일반적으로, 여러 모드의 무선 접속이 있지만, 무선 접속의 모드는 본 발명에서 특별히 한정되지 않는다. 예를 들어, 무선 접속의 모드는 Wi-Fi(등록 상표), BLE, 및 NFC와 같은 단거리 통신, LTE(등록 상표), 3G, 및 4G와 같은 장거리 통신, 및 Cat-M1 및 nb-IoT와 같은 최근의 IoT 통신 중 임의의 것일 수 있다.
MFP(101)는 인쇄, 카피, 스캔, 및 팩시밀리 등의 다양한 서비스를 제공하고, 무선 통신 기능을 갖는 화상 형성 장치의 일례이다. 무선 단말기(102)는 MFP(101)에 무선으로 접속할 수 있고, 사용자에 의해 MFP(101)의 제어기로서 사용된다. 의도 해석 서버(103)는 무선 단말기(102)로부터 사용자 입력을 접수하고 사용자의 의도를 해석한다. MFP 관리 서버(104)는 의도 해석 서버(103) 및 MFP(101)에 통신가능하게 접속되고, 의도 해석 서버(103)에 의해 해석된 사용자의 의도를 수신하고, 의도를 구현하기 위한 커맨드를 MFP(101)에 송신한다. MFP들과 같은 복수의 화상 형성 장치가 의도 해석 서버(103)에 의해 해석된 사용자의 의도에 따라, 의도 해석 서버(103)를 통해 사용자에게 복수의 화상 형성 장치 중 적절한 것을 제시하는, MFP 관리 서버(104)에 통신가능하게 접속된다는 점에 유의한다.
MPF(101) 및 무선 단말기(102)는 오피스 빌딩 내의 동일한 방에 존재하고, 사용자는 무선 단말기(102)를 조작함으로써 MFP(101)에 대한 처리를 요청한다. 한편, 의도 해석 서버(103) 및 MFP 관리 서버(104)는 그들의 서비스를 인터넷 상에 공개하도록 구성될 수 있다. 본 실시예는 사용자가 MFP(101)에 처리 요청을 송신하는 경우를 예로 들어 설명할 것이지만, 청구 범위에 설정되는 디바이스는 일반적인 정보 처리 장치이고, MFP(101)는 개인용 컴퓨터, 이동 단말기 등일 수도 있다는 점에 유의한다.
MFP(101)의 하드웨어 구성
다음으로, 본 실시예에 따른 MFP(101)의 하드웨어 구성에 대해 도 2를 참조하여 설명할 것이다. MFP(101)는 하드웨어 구성으로서, CPU(211), ROM(Read Only Memory)(212), RAM(Random Access Memory)(213), HDD(Hard Disk Drive)(214), 조작 유닛(215), 프린터(216), 스캐너(217), Bluetooth(등록 상표) I/F(218), Wi-Fi I/F(219), 및 Ethernet(등록 상표) I/F(220)를 갖는다. 각각의 하드웨어(211 내지 220)는 내부 버스(221)에 의해 접속되고, 서로 데이터를 교환할 수 있다.
CPU(211)는 전체 MFP(101)의 동작을 포괄적으로 제어한다. CPU(211)는 ROM(212), HDD(214) 등에 저장된 제어 프로그램을 RAM(213)에 로딩하고, 판독 제어 및 송신 제어와 같은 다양한 종류의 제어를 수행한다. RAM(213)은 예를 들어, CPU(211)가 다양한 프로그램을 실행하는 작업 영역으로서 사용되는 휘발성 메모리이다. HDD(214)는 화상 데이터 및 각종 프로그램을 저장한다.
조작 유닛(215)은 사용자의 손가락으로 조작될 수 있는 터치 패널로서 동작하는 표시 장치, 및 하드웨어 버튼들을 포함한다. 프린터(216)는 용지와 같은 기록 매체 상에 내부 버스(221)를 통해 전송된 화상 데이터를 인쇄한다. 스캐너(217)는 원고 상의 화상을 판독하고, 화상 데이터를 생성한다. Bluetooth I/F(218)는 Bluetooth 규격을 준수하는 무선 통신을 수행하기 위한 인터페이스이고, Bluetooth I/F를 갖는 다른 디바이스들과 통신한다. 본 실시예에서, Bluetooth I/F(218)는 Bluetooth 규격에 따라 무선 단말기(102)와 통신한다. Wi-Fi I/F(219) 및 Ethernet I/F(220)는 각각, 무선 및 유선 방식으로 네트워크에 접속하기 위한 NIC(Network Interface Card)들이다.
MFP(101)의 소프트웨어 구성
다음으로, 본 실시예에 따른 MFP(101)의 소프트웨어 구성에 대해 도 3을 참조하여 설명할 것이다. MFP(101)는 소프트웨어 구성으로서, 네트워크 제어 유닛(301), UI 제어 유닛(302), OS 커널(303), Bluetooth 통신 제어 유닛(304), Wi-Fi 통신 제어 유닛(305), 및 Ethernet 통신 제어 유닛(306)을 갖는다.
Wi-Fi 통신 제어 유닛(305)은 Wi-Fi I/F(219)를 제어하기 위한 모듈이다. Bluetooth 통신 제어 유닛(304)은 Bluetooth 통신 I/F(218)를 제어하기 위한 모듈이다. 마찬가지로, Ethernet 통신 제어 유닛(306)은 Ethernet 통신 I/F(220)를 제어한다. 이 모듈들은 OS 커널(303)에 의해 제어된다. 네트워크 제어 유닛(301)은 OS 커널(303)을 통해 Bluetooth 및 Wi-Fi 제어 유닛들을 조작한다. 네트워크 제어 유닛(301)은 현재의 네트워크 설정들을 관리하고, 각각의 통신 모드들, 즉, Ethernet(유선 LAN), 무선 LAN, 및 무선 P2P 접속의 가용성을 관리한다. 네트워크 제어 유닛(301)은 UI 제어 유닛(302)와 정보를 통신하여 UI 상의 표시를 변경하거나, 반대로, UI로부터의 조작 요청에 응답하여 네트워크 제어를 수행한다.
무선 단말기의 하드웨어 구성
다음으로, 본 실시예에 따른 무선 단말기(102)의 하드웨어 구성의 일례에 대해 도 4를 참조하여 설명할 것이다. 도 4에 도시된 바와 같이, 무선 단말기(102)는 그 하드웨어 구성으로서, 시스템 제어 유닛(400), 조작 패널(408), 스피커(409), 및 마이크(410)를 갖는다. 시스템 제어 유닛(400)은 CPU(401), ROM(402), RAM(403), HDD(404), 조작 패널 I/F(405), 음성 입출력 I/F(406), 및 네트워크 I/F(407)를 포함한다. 이러한 하드웨어들(401 내지 407)은 내부 버스(412)에 의해 접속되고, 서로 데이터를 교환할 수 있다.
시스템 제어 유닛(400)은 무선 단말기(102)를 포괄적으로 제어하는 제어 유닛이다. CPU(401)는 전체 무선 단말기(102)의 동작을 포괄적으로 제어한다. CPU(401)는 ROM(402), HDD(404) 등에 저장된 제어 프로그램을 RAM(403)에 로딩하고, 음성 입력 및 송신 제어와 같은 다양한 종류의 제어를 수행한다. RAM(403)은 예를 들어, CPU(401)가 다양한 프로그램들을 실행하는 작업 영역으로서 사용되는 휘발성 메모리이다. HDD(404)는 MFP(101)에 송신될 인쇄 데이터, 및 다양한 프로그램을 저장한다.
조작 패널 I/F(405)는 조작 패널(408)로의 사용자 입력을 제어하고 조작 패널(408)로의 표시 출력을 제어하는 인터페이스이다. 조작 패널(408)은 예를 들어, 터치 패널 타입의 액정 디스플레이에 의해 구성되고 입력 유닛 및 디스플레이 유닛을 갖는 사용자 인터페이스이다. 음성 입출력 I/F(406)는 스피커(409) 및 마이크(410)에 접속되고, 사용자로부터의 음성의 획득 및 사용자로의 사운드 출력을 제어한다. 네트워크 I/F(407)는 다양한 네트워크들에 접속된다. 예를 들어, 네트워크 I/F(407)는 인터넷을 통해 의도 해석 서버(103)에 접속되고, 무선 통신을 통해 MFP(101)에 접속된다.
서버들의 하드웨어 구성
다음으로, 도 5를 참조하여, 본 실시예에 따른 의도 해석 서버(103) 및 MFP 관리 서버(104)의 하드웨어 구성에 대해서 설명할 것이다. 의도 해석 서버(103)는 CPU(501), RAM(502), ROM(503), HDD(504), 데이터베이스 I/F(505), 및 광역 네트워크 I/F(506)를 포함한다. 이러한 하드웨어들(501 내지 506)은 내부 버스(508)에 의해 접속되고, 서로 데이터를 교환할 수 있다.
CPU(501)는 의도 해석 서버(103)를 포괄적으로 제어한다. CPU(501)는 ROM(503), HDD(504) 등에 저장된 제어 프로그램을 RAM(502)에 로딩하고, 의도 해석 및 송신 제어와 같은 다양한 종류의 제어를 수행한다. RAM(502)은 예를 들어, CPU(501)가 다양한 프로그램들을 실행하는 작업 영역으로서 사용되는 휘발성 메모리이다. HDD(504)는 후술되는 등록된 의도 테이블 및 다양한 프로그램을 저장한다.
데이터베이스 I/F(505)는 데이터베이스(의도 데이터베이스)(507)에 접속되고, 데이터베이스(507)로/로부터의 정보의 입력 및 출력을 제어한다. 데이터베이스(507)는 표 1에 도시된 후술되는 등록된 의도 테이블을 관리한다. 광역 네트워크 I/F(506)는 광역 네트워크를 통해 무선 단말기(102) 및 MFP 관리 서버(104)와의 통신을 제어한다.
MFP 관리 서버(104)는 CPU(511), RAM(512), ROM(513), HDD(514), 데이터베이스 I/F(515), 및 광역 네트워크 I/F(516)를 포함한다. 이러한 하드웨어들(511 내지 516)은 내부 버스(518)에 의해 접속되고, 서로 데이터를 교환할 수 있다.
CPU(511)는 MFP 관리 서버(104)를 포괄적으로 제어한다. CPU(511)는 ROM(513), HDD(514) 등에 저장된 제어 프로그램을 RAM(512)에 로딩하고, 의도 해석 및 송신 제어와 같은 다양한 종류의 제어를 수행한다. RAM(512)은 예를 들어, CPU(511)가 다양한 프로그램들을 실행하는 작업 영역으로서 사용되는 휘발성 메모리이다. HDD(514)는 후술하는 프린터 정보 테이블 및 프린터 능력 정보 테이블뿐만 아니라, 다양한 프로그램을 저장한다.
데이터베이스 I/F(515)는 데이터베이스(프린터 데이터베이스)(517)에 접속되고, 데이터베이스(517)로/로부터의 정보의 입력 및 출력을 제어한다. 데이터베이스(517)는 후술될 표 2의 프린터 정보 테이블 및 표 3의 프린터 능력 정보 테이블을 관리한다. 광역 네트워크 I/F(516)는 광역 네트워크를 통해 MFP(101) 및 의도 해석 서버(103)와의 통신을 제어한다.
의도 해석 서버의 데이터베이스 구성
다음으로, 의도 해석 서버(103)에 의해 보유되는 등록된 의도 테이블에 대해 표 1을 참조하여 설명할 것이다. 이 테이블은 각각의 의도에 대한 보조 파라미터로서, 2가지 타입의 파라미터, 즉 Required 파라미터들 및 Required 파라미터들이 아닌 선택적 파라미터들을 갖는다. Required 파라미터는 입력이 필요한 파라미터이고, 각각의 의도가 해석될 때 충족되어야만 하는 조건을 표시한다. 다른 파라미터들은 입력될 필요가 없고, 각각의 의도가 해석될 때 이러한 파라미터들에 의해 표시되는 조건들이 충족되는 것이 바람직하다.
예를 들어, 의도들의 예들은 "프린터 선택"을 포함한다. 이것은 사용자에 의해 사용될 하나의 프린터를 결정하려는 의도이고, 사용될 프린터가 컬러 인쇄를 지원하는지의 여부를 표시하는 파라미터인 Color 파라미터가 Required 파라미터로서, 설정되어 있다. 또한, 자동 스테이플링 기능이 지원되는지의 여부를 표시하는 파라미터인 Staple 파라미터가 Required 파라미터가 아닌 파라미터로서 설정되어 있다.
따라서, 의도 해석 서버(103)에 입력되는 텍스트 문장 또는 음성 입력 문장이 "스테이플링 기능을 갖는 컬러 인쇄를 할 수 있는 프린터를 사용한다"인 경우, 이 문장의 의도는 "프린터 선택"으로서 해석된다. 또한, Color 파라미터는 "Enable"(컬러 인쇄가 지원됨)이라고 해석되고, Staple 파라미터도 "Enable"(자동 스테이플링 기능이 지원됨)이라고 또한 해석된다. 준비된 의도들 중 어느 의도에도 속하지 않는 텍스트 문장 입력은 "의도 불분명"인 것으로 해석된다. 표 1에는 "프린터 선택", "인쇄 준비", "인쇄", "의도 불분명"이 의도들로서 정의되어 있고, 이러한 의도들에 대한 다양한 파라미터가 설정되어 있지만, 이들은 예들이며 본 발명을 한정하려는 의도는 아니라는 점에 유의한다. 다른 의도들 및 다른 파라미터들도 등록될 수 있고, 이러한 의도들 및 파라미터들은 임의로 추가되거나 삭제될 수 있다.
Intention Required Param Optional Param
프린터 선택 Color Staple
인쇄 준비
인쇄 Size, Color
의도 불분명
MFP 관리 서버의 데이터베이스 구성
다음으로, 표 2 및 표 3을 참조하여, MFP 관리 서버(104)에 의해 보유되는 프린터 정보 테이블 및 프린터 능력 정보 테이블에 대해 설명할 것이다. 표 2에 도시된 프린터 정보 테이블에는 프린터 정보, 즉 사용자들이 이용가능한 프린터들에 관한 정보가 정의되어 있다. 이 정보는 특정 사용자들과 연관된 이용가능한 프린터들의 리스트이고, 한 사람의 사용자가 복수의 프린터를 사용할 수 있고, 하나의 프린터를 복수의 사용자가 이용할 수 있는 것으로 정의될 수 있다. 표 2는 일례이며, 본 발명을 한정하려는 의도는 아니라는 점에 유의한다. 다른 사용자들 또는 다른 프린터들도 이 테이블에서 정의될 수 있다.
User Printer
X Printer A
X Printer B
Y Printer A
Z Printer C
표 3에 도시된 프린터 능력 정보 테이블에는 능력 정보, 즉 프린터들의 능력에 관한 정보가 정의되어 있다. 여기서, Size, Color, 및 Staple 파라미터는 표 1에서의 것들과 동일하다. "Size"는 각 프린터로 인쇄될 수 있는 최대 용지 크기를 표시한다. "Color"는 각각의 프린터로 컬러 인쇄가 이용가능한지의 여부를 나타낸다. Color 파라미터가 "True" 인 경우, 컬러 인쇄는 프린터로 이용가능하다는 것을 표시한다. "Staple"은 각각의 프린터로 옵션인 자동 스테이플링 기능이 이용가능한지 여부를 표시한다. 표 3은 일례이며, 본 발명을 한정하려는 의도는 아니라는 점에 유의한다. 다른 프린터들 또는 다른 파라미터들도 이 테이블에서 정의될 수 있다.
Printer Size Color Staple
Printer A A3 True True
Printer B A3 True False
Printer C A4 False False
Printer D A1 True False
의도 해석 서버(103)에 의해 수행되는 처리
다음으로, 도 6을 참조하여, 본 실시예에 따른 의도 해석 서버(103)가 사용자 입력의 의도를 해석하고, MFP 관리 서버(104)에 신호를 송신하는 처리 절차에 대해 설명할 것이다. 이하에서 설명되는 처리는, 예를 들어, 의도 해석 서버(103)의 CPU(501)가 ROM(503) 또는 HDD(504)에 저장된 제어 프로그램을 RAM(502)에 로딩하고 로딩된 프로그램을 실행함으로써 실현된다.
S601에서, 의도 해석 서버(103)의 CPU(501)는 텍스트 입력 또는 음성 입력이 무선 단말기(102)로부터 수신되었는지 여부를 판정한다. 텍스트 입력 또는 음성 입력이 수신되었다면, 처리는 S602로 진행하고, CPU(501)는 수신된 입력의 의도를 해석한다. 구체적으로, 음성 입력에 대해, CPU(501)는 먼저 음성 인식 엔진을 사용하여 음성 인식을 수행하고 입력 음성을 텍스트로 변환한다. 그 후, CPU(501)는 자연어 처리 엔진을 사용하여 텍스트 입력 또는 음성 입력으로부터 변환된 텍스트의 의도를 해석한다.
다음으로, S603에서, CPU(501)는 S602에서의 의도 판정의 결과가 불분명한지의 여부를 판정한다. 처리는 불분명한 경우 S607로 진행하고, 그렇지 않은 경우 S604로 진행한다. S604에서, 판정된 의도에 대해, CPU(501)는 표 1에 도시된 Required 파라미터들 모두가 충족되는지의 여부를 판정한다. Required 파라미터들 모두가 충족되지는 않는다면 처리는 S606으로 진행하고, Required 파라미터들 모두가 충족된 경우에는 S605로 진행한다. S606에서, CPU(501)는 네트워크를 통해 무선 단말기(102)의 사용자에게 충족되지 않는 Required 파라미터에 관한 추가 질문을 제시하고, 처리는 S604에서의 판정으로 복귀한다. 처리가 S604에서의 판정으로 복귀할 때, 새로운 사용자 입력이 수신되고, S602에 대응하는 의도 해석 처리가 수행되고, 파라미터들이 추출된다는 점에 유의한다.
Required 파라미터들 모두가 충족되는 경우, S605에서, CPU(501)는 판정된 의도 및 파라미터 그룹을 MFP 관리 서버(104)에 송신하고, 처리를 종료한다. 한편, S603에서, 의도 판정 결과가 불분명한 경우, S607에서, CPU(501)는 의도가 불분명하다는 것을 표시하는 메시지를 네트워크를 통해 무선 단말기(102)의 사용자에게 제시하고, 처리를 종료한다.
MFP 관리 서버(104)에 의해 수행되는 처리
다음으로, 도 7을 참조하여, 본 실시예에 따른 MFP(101)가 의도 해석 서버(103)로부터 전술한 S605에서 송신된 의도 및 그 파라미터들을 수신할 때에 수행되는 처리 절차에 대해 설명할 것이다. 이하에서 설명하는 처리는 예를 들어, MFP 관리 서버(104)의 CPU(511)가 ROM(513) 또는 HDD(514)에 저장된 제어 프로그램을 RAM(512)에 로딩하고 로딩된 프로그램을 실행함으로써 실현된다.
S701에서, MFP 관리 서버(104)의 CPU(511)는 의도 해석 서버(103)로부터 송신된 신호가 수신되었는지의 여부를 판정한다. 신호가 수신되었다면 처리는 S702로 진행하고, CPU(511)는 먼저 신호에 포함된 의도의 타입을 획득하고 의도가 "MFP 결정(프린터 선택)"인지의 여부를 판정한다. 의도가 "MFP 결정"인 경우에 처리는 S703으로 진행하고, 그렇지 않은 경우에는 S705로 진행한다.
S703에서, CPU(511)는 프린터 능력 정보 테이블(표 2)을 참조함으로써, 현재 사용자와 연관된 MFP이며 전술한 신호에 포함된 모든 조건(Required 조건)을 충족하는 임의의 프린터가 있는지의 여부를 판정한다. 조건들을 충족하는 프린터가 있다면, 처리는 S709로 진행하고, 그렇지 않은 경우에는 S704로 진행한다. S704에서, CPU(511)는 네트워크를 통해, 의도 해석 서버(103)에게 매칭된 MFP가 발견되지 않았다는 것을 통지하고, 처리를 종료한다. 한편, 조건들을 충족하는 프린터가 발견되었다면, S709에서, CPU(511)는 매칭된 프린터 리스트를 생성하고, 리스트를 의도 해석 서버(103)에 반환하고, 처리를 종료한다.
S702에서, 수신된 신호로부터 획득된 의도가 "MFP 결정"이 아닌 경우, S705에서, CPU(511)는 현재 사용자 계정이 사용해야 하는 MFP가 이미 결정되었는지의 여부를 판정한다. 처리는 그렇지 않은 경우 S710으로 진행하고, 이미 결정된 경우에는 S706으로 진행한다. S710에서, MFP 관리 서버(104)는 의도 해석 서버(103)로 하여금 MFP를 결정하게 하기 위해 의도 전환 요청을 송신하고, 표 1에서의 "프린터 선택"에 대한 의도를 전환하고, 처리를 종료한다.
한편, 사용될 MFP가 이미 결정되었다면, S706에서, CPU(511)는 금회의 의도가 결정된 MFP와 통신을 요구하는지 여부를 판정한다. 처리는 필요한 경우에 S707로 진행하고, 그렇지 않은 경우에는 S709로 진행한다. S707에서, CPU(511)는 통신이 요구되는 경우에 신호의 의도에 대응하는 처리 요청을 대상 MFP에 송신한다. 그 후, S708에서, CPU(511)는 송신된 처리 요청에 대한 응답이 MFP로부터 수신되었는지의 여부를 판정한다. 응답이 수신되었고, 응답에 요청된 처리가 성공적으로 수행되었다는 것이 표시된 경우에는 처리가 S709로 진행하고, 그렇지 않은 경우에는 S711로 진행한다. S709에서, CPU(511)는 의도 해석 서버(103)에 대한 의도의 처리가 완료되었다는 것을 표시하는 신호를 송신한다. S707에서, MFP(101)로부터 요청된 처리가 실패했다는 것을 표시하는 응답이 수신되거나 또는 응답이 수신되지 않으면, S711에서, CPU(511)는 의도에 대한 처리가 실패했다는 것을 표시하는 신호를 의도 해석 서버(103)에 송신하고, 처리를 종료한다.
무선 단말기(102)의 사용자 인터페이스
다음으로, 무선 단말기(102)의 조작 패널(408) 상에 표시된 사용자 인터페이스 및 그의 흐름에 대해 도 8a 및 도 8b를 참조하여 설명할 것이다. 이 사용자 인터페이스는 무선 단말기(102)에 저장된 미리 결정된 애플리케이션을 개방할 때 조작 패널(408) 상에 대화형 애플리케이션 스크린으로서 표시된다. 미리 결정된 애플리케이션은 무선 단말기(102)에 디폴트로 인스톨될 수 있거나, 또는 외부 디바이스로부터 다운로드되어 인스톨될 수 있다. 도 8a 및 도 8b에 도시된 스크린들(801 내지 804)은 본 애플리케이션의 스크린들이다. 후술하는 무선 단말기(102)에 의해 수행되는 처리는 CPU(401)에 의해 수행된다.
스크린(801)은 대화 디스플레이 영역(814)에 과거 대화 이력을 표시한다. 대화 디스플레이 영역(814)은 위로부터 시계열로 일대일 대화 흐름을 나타낸다. 좌측에 정렬된 문장들은 MFP 서비스 측, 즉 의도 해석 서버(103)에 의한 질문들 등을 표시하고, 우측에 정렬된 문장들은 사용자에 의해 이루어진 발화 또는 텍스트 입력을 표시한다. 의도 해석 서버(103)에 의한 질문들 등은 전술한 S606 및 S607에서 제시된 것들이다. 사용자가 스크린(801)의 하부 측의 텍스트 필드(811)를 탭핑하면, CPU(401)는 표시된 스크린을 스크린(802)으로 전환하여 텍스트 입력을 시작한다.
가상 키보드(822)가 스크린(802)의 하반부에 표시되고, 사용자는 다양한 언어들로 입력할 수 있다. 입력된 텍스트 콘텐츠는 텍스트 필드(823)에 표시된다. 대화 디스플레이 영역(821)이 스크린(802) 상에서 탭핑되면, CPU(401)는 표시된 스크린을 텍스트 필드(823)의 입력 상태를 유지하면서 스크린(801)으로 복귀시킨다. 이 상태에서, 스크린(801) 상의 전송 버튼(아이콘)(813)이 탭핑되면, CPU(401)는 텍스트 필드(811)에 표시된 텍스트를 사용자에 의한 발화로서 의도 해석 서버(103)에 송신한다. 또한, CPU(401)는 텍스트를 대화 디스플레이 영역(814)에 표시한다.
음성 입력 버튼(아이콘)(812)이 스크린(801) 상에서 탭핑되면, CPU(401)는 표시된 스크린을 스크린(803)으로 전환하여 음성 입력을 시작한다. 리전(region)(832)에 도시된 것과 같은, 사용자에게 음성을 입력하도록 촉구하는 설명이 스크린(803) 상에 표시되고, 사용자에 의해 이루어진 음성 입력을 대기한다. 사용자가 대화 디스플레이 영역(831)을 탭핑하거나, 또는 음성 입력을 완료하거나, 또는 취소 버튼(833)을 탭핑하면, CPU(401)는 디스플레이 스크린을 스크린(801)으로 복귀시킨다.
파일 선택기 버튼(아이콘)(815)이 스크린(801) 상에서 탭핑되면, CPU(401)는 표시된 스크린을 스크린(804)으로 전환하여 파일 선택을 시작한다. 스크린(804)에서, 인쇄될 파일은 스크린의 하반부에서 선택될 수 있다. 리전(843)에 표시된 인쇄가능 데이터(화상 파일, PDF 파일 등)가 탭핑되면, CPU(401)는 송신될 인쇄가능 데이터(예를 들어, 아이콘(845))를 텍스트 필드(844)에 표시한다. 이 선택에서, 복수의 데이터가 선택될 수 있고, 추가적으로 선택된 화상이 텍스트 필드(844)의 우측에 추가된다. 텍스트 필드(844)가 이 상태에서 탭핑되는 경우, CPU(401)는 표시된 스크린을 스크린(802)으로 전환하고, 사용자는 BS(backspace)를 사용하여 이 아이콘을 소거함으로써 인쇄될 대상들로부터 표시된 인쇄가능 데이터의 아이콘(845)을 삭제할 수 있다는 점에 유의한다. 전송 버튼(842)이 탭핑되는 경우, CPU(401)는 선택된 인쇄가능 데이터를 CPU(401)가 대화하고 있는 정보 디바이스(이 경우는, MFP 측; 직접적으로는 의도 해석 서버(103))에 송신한다. 스크린(804)이 표시되는 동안, 대화 디스플레이 영역(841)이 탭핑되거나, 또는 파일 선택이 완료되어 인쇄가능 데이터가 송신된다면, CPU(401)는 스크린을 스크린(801)으로 복귀시킨다.
대화 시나리오
다음으로, 무선 단말기(102)를 통해 MFP 측과 대화하고 미리 결정된 MFP를 사용하는 사용자의 예시적인 흐름에 대해 도 9를 참조하여 설명할 것이다. 각각의 디바이스에 의해 수행되는 처리는 디바이스의 CPU에 의해 포괄적으로 제어된다.
S901에서, 무선 단말기(102)는 "인쇄한다"를 표시하는 사용자 입력을 의도 해석 서버(103)에 송신한다. 의도 해석 서버(103)는 의도를 해석하기 위해 음성 인식 및 언어 처리를 수행하고, 의도가 "인쇄한다"는 것으로 판단한다(S604). S902에서, 의도 해석 서버(103)는 의도 "인쇄한다"를 MFP 관리 서버(104)에 송신한다. 여기서, 도 7의 흐름도에 따르면, 사용될 MFP는 결정되지 않았고, 따라서, S903에서, MFP 관리 서버(104)는 의도 전환 요청(S710)을 의도 해석 서버(103)에 송신한다.
이에 응답하여, 단계 S904에서, 의도 해석 서버(103)는 무선 단말기(102)에 질문: "어떤 용도입니까?"을 제시한다. 이에 응답하여, S905에서, 무선 단말기(102)는 "사내 프리젠테이션용으로 컬러 인쇄"를 표시하는 사용자 입력을 접수하고, 사용자 입력을 의도 해석 서버(103)에 통지한다. S906에서, 의도 해석 서버(103)는 음성 인식 및 언어 처리를 수행하여 의도를 해석하고, 해석된 의도 및 파라미터들을 MFP 관리 서버(104)에 송신한다(S604). 여기서, 의도: "프린터 선택"; Color (Required Param)에는: Enabled; Staple(Optional Param)에는 Enable가 저장된 데이터가 MFP 관리 서버(104)에 송신된다.
다음으로, S907에서, MFP 관리 서버(104)는 Required 파라미터들 모두를 충족시키고 또한 더 많은 Optional 파라미터들을 충족시키는 프린터들이 우선적으로 리스트화되는 리스트를 생성하고, 생성된 리스트를 의도 해석 서버(103)에 반환한다(S708). S908에서, 의도 해석 서버(103)는 "이용가능한 프린터 리스트 [1] [2] [3]"와 같은 형태로 무선 단말기(102) 상에 이용가능한 MFP들의 리스트를 제시한다.
그 후, S909에서, 무선 단말기(102)는 "[2]를 사용한다"를 표시하는 사용자 입력, 즉, 사용자에 의해 선택된 원하는 화상 형성 장치를 의도 해석 서버(103)에 통지한다. 후속하여, S910에서, 의도 해석 서버(103)는 음성 인식 및 언어 처리를 수행하여 의도를 해석하고, 의도는 전환되고, 의도 해석 서버(103)는 의도 "인쇄 준비"를 MFP 관리 서버(104)에 송신한다(S604).
S911에서, MFP 관리 서버(104)는 도 7의 흐름도에 따라 대상 MFP에 무선 P2P 기동 지시를 발행한다(S706). 이에 응답하여, 대상 MFP(여기서는, MFP(101))는 무선 P2P 접속을 수행하도록 준비하고, S912에서, 무선 P2P 접속을 위한 접속 정보(SSID/PassPhrase)를 MFP 관리 서버(104)에 반환한다. S913에서, 이 접속 정보는 MFP 관리 서버(104)로부터 의도 해석 서버(103)를 통해 무선 단말기(102)에 전달된다. S914에서, 무선 단말기(102)는 전달된 접속 정보에 따라 MFP(101)에 무선 접속하고, 궁극적으로 이 무선 접속을 사용하여 인쇄 작업을 행한다.
전술한 바와 같이, 본 실시예에 따른 무선 단말기는 음성 또는 텍스트로 사용자 입력을 접수하고, 접수된 사용자 입력을 서버에 통지하고, 서버로부터 사용자 입력에 관련된 질문을 획득하고, 획득된 질문을 사용자에게 제시한다. 따라서, 무선 단말기는 사용자와 서버가 서로 대화할 수 있게 한다. 무선 단말기는 서버로부터, 대화에 기초하여 서버에 의해 해석된 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 수신하고, 수신된 리스트를 표시한다. 또한, 사용자에 의해 리스트로부터 원하는 화상 형성 장치가 선택되면, 무선 단말기는 서버로부터, 접속 정보, 즉, 이 화상 형성 장치에의 접속에 관한 정보를 획득하고, 화상 형성 장치에 액세스하고, 인쇄 작업 등을 행한다. 본 실시예에 따른 관리 서버는 사용자들과 하나 이상의 이용가능한 화상 형성 장치들을 서로 연관시켜 정의하는 프린터 정보 테이블, 및 화상 형성 장치들에 관한 능력 정보를 정의하는 프린터 능력 정보 테이블을 보유하는 프린터 데이터베이스를 갖는다. 또한, 관리 서버는 의도 해석 서버에 의해 해석된 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 프린터 데이터베이스를 참조하여 생성하여, 생성된 리스트를 제공한다. 본 실시예에 따른 의도 해석 서버는 무선 단말기로부터 음성 또는 텍스트에 의한 사용자 입력을 수신하고, 수신된 사용자 입력이 음성이면 음성 인식을 수행하고, 음성 인식 엔진에 의해 음성 인식된 사용자 입력 또는 텍스트에 의한 사용자 입력에 대해 언어 처리를 수행한다. 또한, 의도 해석 서버는 복수의 의도와 의도들 각각에 대한 하나 이상의 파라미터를 서로 연관시켜 보유하는 의도 데이터베이스를 갖는다. 또한, 의도 해석 서버는 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 의도 데이터베이스에 의해 보유된 정보에 따라 사용자의 의도를 해석하고, 의도가 해석될 수 없다면 무선 단말기에 추가 질문을 제시한다. 따라서, 본 실시예에 따르면, 사용자의 의도는 사용자가 복잡한 조작을 수행할 것을 요구하지 않고 대화식으로 획득되고, 사용자의 의도에 적합한 디바이스, 기능 등이 제시될 수 있다.
다른 실시예들
본 발명은 전술한 실시예들의 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 저장 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터의 하나 이상의 프로세서가 프로그램을 로딩하여 실행하게 하는 처리에 의해 실현될 수 있다. 또한, 본 발명은 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC(application specific integrated circuit))에 의해 실현될 수 있다.
본 발명은 상기 실시예들로 한정되지 않으며, 본 발명의 사상 및 범위 내에서 다양한 변화 및 변경이 이루어질 수 있다. 따라서, 본 발명의 범위를 대중에 알리기 위해서, 하기의 청구항이 만들어졌다.
본 출원은 2017년 12월 19일자로 출원된 일본 특허 출원 제2017-242878호로부터 우선권을 주장하며, 이는 본 명세서에 참조로 포함된다.

Claims (17)

  1. 화상 형성 장치 및 서버와 통신할 수 있는 무선 단말기로서,
    음성에 의한 사용자 입력을 접수하고, 상기 접수된 사용자 입력을 상기 서버로 전송하고, 상기 사용자 입력에 관련된 질문을 상기 서버로부터 획득하고 상기 획득된 질문을 상기 사용자에게 제시함으로써 상기 사용자와 상기 서버가 서로 대화할 수 있게 하는 전송 수단;
    상기 서버로부터, 하나 이상의 화상 형성 장치들의 리스트를 수신하는 수신 수단 - 상기 리스트는 복수의 화상 형성 장치들의 능력 정보, 및 상기 서버가 음성 인식을 사용하여 상기 전송된 음성을 텍스트로 변환하고 상기 서버의 자연 언어 처리 엔진이 상기 변환된 텍스트를 해석함으로써 획득된 사용자의 의도에 기초하여 정해짐 - ; 및
    상기 수신 수단에 의해 수신된 상기 하나 이상의 화상 형성 장치들의 리스트를 표시하는 표시 수단을 포함하고,
    상기 서버는 상기 사용자 입력에 따라 상기 사용자의 의도를 해석하는 의도 해석 서버, 및 하나 이상의 화상 형성 장치를 관리하는 관리 서버를 포함하고,
    상기 의도 해석 서버는:
    상기 사용자 입력이 음성인 경우에 음성 인식을 수행하는 음성 인식 엔진;
    상기 음성 인식 엔진에 의해 음성 인식된 사용자 입력, 또는 텍스트에 의한 사용자 입력에 대해 언어 처리를 수행하는 자연 언어 처리 엔진;
    복수의 의도와 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스; 및
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 상기 의도 데이터베이스에 의해 보유된 정보에 따라 상기 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하기 위한 의도 해석 수단을 포함하고,
    상기 관리 서버는:
    사용자와 하나 이상의 이용가능한 화상 형성 장치들을 서로 연관시켜 정의하는 프린터 정보 테이블과, 상기 화상 형성 장치에 관한 능력 정보를 정의하는 프린터 능력 정보 테이블을 보유하는 프린터 데이터베이스; 및
    상기 의도 해석 서버에 의해 해석된 상기 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 상기 프린터 데이터베이스를 참조하여 생성하고, 상기 생성된 리스트를 제공하기 위한 제공 수단을 포함하는 것을 특징으로 하는 무선 단말기.
  2. 제1항에 있어서,
    상기 표시 수단에 표시된 상기 하나 이상의 화상 형성 장치들의 리스트를 통해 상기 사용자 입력에 의해 선택된 원하는 화상 형성 장치에의 접속에 관한 정보인 접속 정보를 상기 서버로부터 획득하기 위한 획득 수단; 및
    상기 획득 수단에 의해 획득된 상기 접속 정보를 사용하여, 상기 원하는 화상 형성 장치에 무선으로 접속하고 작업을 수행하기 위한 접속 수단을 추가로 포함하는 것을 특징으로 하는 무선 단말기.
  3. 제1항 또는 제2항에 있어서,
    상기 표시 수단은 또한, 상기 사용자와 상기 서버 사이의 상기 대화를 시계열로 표시하는 것을 특징으로 하는 무선 단말기.
  4. 제3항에 있어서,
    상기 표시 수단은 또한, 상기 대화를 표시하는 스크린 상에, 음성 입력을 시작하기 위한 아이콘, 텍스트 입력을 시작하기 위한 필드, 상기 화상 형성 장치에 송신될 화상 데이터의 선택을 시작하기 위한 아이콘, 및 상기 사용자 입력을 표시하고 상기 사용자 입력을 상기 서버에게 통지하기 위한 아이콘 중 적어도 하나를 표시하는 것을 특징으로 하는 무선 단말기.
  5. 삭제
  6. 제1항에 있어서,
    상기 하나 이상의 파라미터들은 상기 사용자 입력을 대응하는 의도를 갖는 것으로 해석하기 위해 상기 사용자 입력에 포함되도록 요구되는 제1 파라미터와, 선택적인 파라미터인 제2 파라미터를 포함하는 것을 특징으로 하는 무선 단말기.
  7. 제6항에 있어서,
    상기 의도 해석 수단은 상기 제1 파라미터가 상기 사용자 입력에 포함되어 있지 않은 경우에 상기 추가 질문을 상기 무선 단말기에 제시하는 것을 특징으로 하는 무선 단말기.
  8. 제1항에 있어서,
    상기 제공 수단은 상기 의도 해석 서버에 의해 해석된 사용자의 의도가 상기 화상 형성 장치와의 통신을 필요로 하는 경우에, 사용자가 원하는 화상 형성 장치와의 통신을 체크하는 것을 특징으로 하는 무선 단말기.
  9. 관리 서버 및 무선 단말기와 통신할 수 있는 의도 해석 서버로서,
    음성에 의한 사용자 입력을 상기 무선 단말기로부터 수신하기 위한 수신 수단;
    상기 수신 수단에 의해 수신된 상기 음성에 대해 음성 인식을 수행하여 상기 음성을 텍스트로 변환하는 변환 수단;
    상기 변환 수단에 의해 변환된 상기 텍스트에 대응하는 상기 사용자 입력에 대해 언어 처리를 수행하는 자연 언어 처리 엔진;
    복수의 의도들과 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스;
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 상기 의도 데이터베이스에 의해 보유된 정보에 따라 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하고, 상기 사용자의 의도를 결정하는 수행 수단; 및
    상기 관리 서버로부터 제공된 적어도 하나의 화상 형성 장치의 리스트를 상기 무선 단말기로 전송하는 전송 수단 - 상기 적어도 하나의 화상 형성 장치는 상기 관리 서버에 의해, 상기 하나 이상의 화상 형성 장치의 능력 정보 및 상기 수행 수단에 의해 결정된 상기 사용자의 의도에 기초하여 상기 사용자의 의도와 매칭되는 것으로 결정됨 -
    을 포함하는 것을 특징으로 하는 의도 해석 서버.
  10. 화상 형성 장치 및 서버와 통신할 수 있는 무선 단말기의 제어 방법으로서,
    음성에 의한 사용자 입력을 접수하고, 상기 접수된 사용자 입력을 상기 서버로 전송하고, 상기 사용자 입력에 관련된 질문을 상기 서버로부터 획득하고 상기 획득된 질문을 상기 사용자에게 제시함으로써 상기 사용자와 상기 서버가 서로 대화할 수 있게 하고;
    상기 서버로부터, 하나 이상의 화상 형성 장치들의 리스트를 수신하고 - 상기 리스트는 복수의 화상 형성 장치들의 능력 정보, 및 상기 서버가 음성 인식을 사용하여 상기 전송된 음성을 텍스트로 변환하고 상기 서버의 자연 언어 처리 엔진이 상기 변환된 텍스트를 해석함으로써 획득된 사용자의 의도에 기초하여 정해짐 - ; 그리고,
    상기 수신된 하나 이상의 화상 형성 장치들의 리스트를 표시하는 것을 포함하고,
    상기 서버는 상기 사용자 입력에 따라 상기 사용자의 의도를 해석하는 의도 해석 서버, 및 하나 이상의 화상 형성 장치를 관리하는 관리 서버를 포함하고,
    상기 의도 해석 서버는:
    상기 사용자 입력이 음성인 경우에 음성 인식 엔진에서 음성 인식을 수행하고;
    상기 음성 인식 엔진에 의해 음성 인식된 사용자 입력, 또는 텍스트에 의한 사용자 입력에 대해 자연 언어 처리 엔진에서, 언어 처리를 수행하고; 그리고,
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력, 및 복수의 의도와 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스에 의해 보유된 정보에 따라 상기 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하는 것을 포함하고,
    상기 관리 서버는:
    사용자와 하나 이상의 이용가능한 화상 형성 장치들을 서로 연관시켜 정의하는 프린터 정보 테이블과, 상기 화상 형성 장치에 관한 능력 정보를 정의하는 프린터 능력 정보 테이블을 보유하는 프린터 데이터베이스를 참조하여, 상기 의도 해석 서버에 의해 해석된 상기 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 생성하고, 상기 생성된 리스트를 제공하는 것을 포함하는
    제어 방법.
  11. 관리 서버 및 무선 단말기와 통신할 수 있고, 복수의 의도들과 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스를 포함하는 의도 해석 서버의 제어 방법으로서,
    음성에 의한 사용자 입력을 상기 무선 단말기로부터 수신하고;
    상기 수신된 음성에 대해 음성 인식을 수행하여 상기 음성을 텍스트로 변환하고;
    자연 언어 처리 엔진에 의해, 상기 변환된 텍스트에 대응하는 상기 사용자 입력에 대해 언어 처리를 수행하고;
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 상기 의도 데이터베이스에 의해 보유된 정보에 따라 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하고, 상기 사용자의 의도를 결정하고; 그리고,
    상기 관리 서버로부터 제공된 적어도 하나의 화상 형성 장치의 리스트를 상기 무선 단말기로 전송하는 것 - 상기 적어도 하나의 화상 형성 장치는 상기 관리 서버에 의해, 상기 하나 이상의 화상 형성 장치의 능력 정보 및 결정된 상기 사용자의 의도에 기초하여 상기 사용자의 의도와 매칭되는 것으로 결정됨 -
    을 포함하는 제어 방법.
  12. 화상 형성 장치 및 서버와 통신할 수 있는 무선 단말기의 제어 방법을, 컴퓨터로 하여금 실행하게 하는 프로그램을 기록한 컴퓨터 판독가능 기록매체로서, 상기 제어 방법은,
    음성에 의한 사용자 입력을 접수하고, 상기 접수된 사용자 입력을 상기 서버로 전송하고, 상기 사용자 입력에 관련된 질문을 상기 서버로부터 획득하고 상기 획득된 질문을 상기 사용자에게 제시함으로써 상기 사용자와 상기 서버가 서로 대화할 수 있게 하고;
    상기 서버로부터, 하나 이상의 화상 형성 장치들의 리스트를 수신하고 - 상기 리스트는 복수의 화상 형성 장치들의 능력 정보, 및 상기 서버가 음성 인식을 사용하여 상기 전송된 음성을 텍스트로 변환하고 상기 서버의 자연 언어 처리 엔진이 상기 변환된 텍스트를 해석함으로써 획득된 사용자의 의도에 기초하여 정해짐 - ; 그리고,
    상기 수신된 하나 이상의 화상 형성 장치들의 리스트를 표시하는 것을 포함하고,
    상기 서버는 상기 사용자 입력에 따라 상기 사용자의 의도를 해석하는 의도 해석 서버, 및 하나 이상의 화상 형성 장치를 관리하는 관리 서버를 포함하고,
    상기 의도 해석 서버는:
    상기 사용자 입력이 음성인 경우에 음성 인식 엔진에서 음성 인식을 수행하고;
    상기 음성 인식 엔진에 의해 음성 인식된 사용자 입력, 또는 텍스트에 의한 사용자 입력에 대해 자연 언어 처리 엔진에서, 언어 처리를 수행하고; 그리고,
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력, 및 복수의 의도와 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스에 의해 보유된 정보에 따라 상기 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하는 것을 포함하고,
    상기 관리 서버는:
    사용자와 하나 이상의 이용가능한 화상 형성 장치들을 서로 연관시켜 정의하는 프린터 정보 테이블과, 상기 화상 형성 장치에 관한 능력 정보를 정의하는 프린터 능력 정보 테이블을 보유하는 프린터 데이터베이스를 참조하여, 상기 의도 해석 서버에 의해 해석된 상기 사용자의 의도와 매칭되는 하나 이상의 화상 형성 장치의 리스트를 생성하고, 상기 생성된 리스트를 제공하는 것을 포함하는
    컴퓨터 판독가능 기록매체.
  13. 관리 서버 및 무선 단말기와 통신할 수 있고, 복수의 의도들과 상기 의도들 각각에 대한 하나 이상의 파라미터들을 서로 연관시켜 보유하는 의도 데이터베이스를 포함하는 의도 해석 서버의 제어 방법을, 컴퓨터로 하여금 실행하게 하는 프로그램을 기록한 컴퓨터 판독가능 기록매체로서, 상기 제어 방법은,
    음성에 의한 사용자 입력을 상기 무선 단말기로부터 수신하고;
    상기 수신된 음성에 대해 음성 인식을 수행하여 상기 음성을 텍스트로 변환하고;
    자연 언어 처리 엔진에 의해, 상기 변환된 텍스트에 대응하는 상기 사용자 입력에 대해 언어 처리를 수행하고;
    상기 자연 언어 처리 엔진에 의해 언어 처리된 사용자 입력 및 상기 의도 데이터베이스에 의해 보유된 정보에 따라 사용자의 의도를 해석하고, 상기 사용자의 의도가 해석될 수 없는 경우에 추가 질문을 상기 무선 단말기에 제시하고, 상기 사용자의 의도를 결정하고; 그리고,
    상기 관리 서버로부터 제공된 적어도 하나의 화상 형성 장치의 리스트를 상기 무선 단말기로 전송하는 것 - 상기 적어도 하나의 화상 형성 장치는 상기 관리 서버에 의해, 상기 하나 이상의 화상 형성 장치의 능력 정보 및 결정된 상기 사용자의 의도에 기초하여 상기 사용자의 의도와 매칭되는 것으로 결정됨 -
    을 포함하는, 컴퓨터 판독가능 기록매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020207019870A 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 및 의도 해석 서버 KR102540222B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237018451A KR20230084324A (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 의도 해석 서버, 및 컴퓨터 판독가능 기록매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-242878 2017-12-19
JP2017242878A JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム
PCT/JP2018/042099 WO2019123899A1 (ja) 2017-12-19 2018-11-14 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018451A Division KR20230084324A (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 의도 해석 서버, 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20200096620A KR20200096620A (ko) 2020-08-12
KR102540222B1 true KR102540222B1 (ko) 2023-06-07

Family

ID=66994061

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207019870A KR102540222B1 (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 및 의도 해석 서버
KR1020237018451A KR20230084324A (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 의도 해석 서버, 및 컴퓨터 판독가능 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237018451A KR20230084324A (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 의도 해석 서버, 및 컴퓨터 판독가능 기록매체

Country Status (6)

Country Link
US (1) US11438469B2 (ko)
JP (1) JP7177591B2 (ko)
KR (2) KR102540222B1 (ko)
CN (1) CN111512281B (ko)
RU (1) RU2750623C1 (ko)
WO (1) WO2019123899A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361509B2 (ja) * 2019-07-03 2023-10-16 キヤノン株式会社 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
JP7443844B2 (ja) * 2020-03-13 2024-03-06 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP7430126B2 (ja) * 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
JP4304959B2 (ja) 2002-10-31 2009-07-29 セイコーエプソン株式会社 音声対話制御方法、音声対話制御装置および音声対話制御プログラム
JP4367929B2 (ja) 2004-08-27 2009-11-18 キヤノン株式会社 携帯電話及び印刷システムとその制御方法
JP4270134B2 (ja) * 2005-01-31 2009-05-27 ブラザー工業株式会社 サービス提供システム，クライアントデバイス，サーバおよびプログラム
CA2652150A1 (en) * 2006-06-13 2007-12-21 Microsoft Corporation Search engine dash-board
US8477350B2 (en) * 2010-03-16 2013-07-02 Google Inc. Cloud-based print service
JP2011232857A (ja) * 2010-04-26 2011-11-17 Canon Inc 印刷サービスシステム、印刷処理方法
JP2012248161A (ja) * 2011-05-31 2012-12-13 Oki Electric Ind Co Ltd 対話型検索システム及びプログラム、並びに、対話シナリオ生成システム及びプログラム
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP5831251B2 (ja) * 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
US8593501B1 (en) * 2012-02-16 2013-11-26 Google Inc. Voice-controlled labeling of communication session participants
US9108450B2 (en) * 2012-05-04 2015-08-18 Makerbot Industries, Llc Voice-controlled three-dimensional fabrication system
US9536049B2 (en) * 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
RU129673U1 (ru) * 2012-12-17 2013-06-27 Федеральное государственное унитарное предприятие "ЦентрИнформ" Система управления удаленными печатающими устройствами
US9171450B2 (en) * 2013-03-08 2015-10-27 Qualcomm Incorporated Emergency handling system using informative alarm sound
JP2014203320A (ja) 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
CN104608509B (zh) * 2013-11-04 2017-09-29 深圳光启智能光子技术有限公司 打印机、打印系统及方法、服务器
RU2589856C2 (ru) * 2014-09-25 2016-07-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки целевого сообщения, способ обработки нового целевого сообщения и сервер (варианты)
US20190251126A1 (en) * 2015-02-12 2019-08-15 CogniCor Technologies, Inc. Multi-agent based virtual assistant
JP6604566B2 (ja) 2015-05-13 2019-11-13 シャープ株式会社 画像形成システムおよびプログラム
KR20170016683A (ko) 2015-08-04 2017-02-14 (주)풀쟁이 종자를 함유한 한지 제조 장치 및 그 방법
JP6728950B2 (ja) 2015-12-07 2020-07-22 株式会社リコー 情報処理システム、端末装置及びプログラム
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
US10515632B2 (en) * 2016-11-15 2019-12-24 At&T Intellectual Property I, L.P. Asynchronous virtual assistant
WO2018093012A1 (ko) * 2016-11-16 2018-05-24 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 시스템 및 방법
EP3459748B1 (en) * 2016-11-16 2021-09-08 Mangoslab Co., Ltd. Printer and printer system for printing re-adherable memo paper
KR101725314B1 (ko) * 2016-11-16 2017-04-10 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 및 프린터 시스템
JP6447689B1 (ja) 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6972806B2 (ja) 2017-09-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
일본공개특허 제2012-248161호(2012.12.13.) 1부.*
일본공개특허 제2013-153301호(2013.08.08.) 1부.*
일본공개특허 제2014-203320호(2014.10.27.) 1부.*

Also Published As

Publication number Publication date
RU2750623C1 (ru) 2021-06-30
US11438469B2 (en) 2022-09-06
KR20230084324A (ko) 2023-06-12
KR20200096620A (ko) 2020-08-12
CN111512281B (zh) 2024-05-14
JP2019109752A (ja) 2019-07-04
US20200314264A1 (en) 2020-10-01
CN111512281A (zh) 2020-08-07
JP7177591B2 (ja) 2022-11-24
WO2019123899A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
US10917369B2 (en) Information processing apparatus, information processing system, and information processing method
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
JP7071098B2 (ja) 音声制御システム、制御方法およびプログラム
JP6704881B2 (ja) システム
US9648180B2 (en) Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium
US20200177747A1 (en) Information processing system, method of processing information and storage medium
KR102540222B1 (ko) 무선 단말기, 관리 서버, 및 의도 해석 서버
JP2020087377A (ja) 情報処理システム、情報処理装置、および方法
RU2721223C1 (ru) Система печати, способ управления и сервер
JP2019067258A (ja) 印刷方法、音声制御システムおよびプログラム
JP2019096295A (ja) 音声制御システム、制御方法及びプログラム
US20200076969A1 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
US11626111B2 (en) Information processing system, information processing method, and information processing apparatus
JP2019018394A (ja) 印刷装置および制御方法およびプログラム
US20130050733A1 (en) Information processing apparatus that displays web page, method of controlling information processing apparatus, and storage medium
US11647129B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP7508781B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
US20210006673A1 (en) Peripheral device management system, peripheral device management method, and printing apparatus control system
JP7443844B2 (ja) 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP2020107353A (ja) 情報処理装置、音声制御デバイス、印刷装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E90F Notification of reason for final refusal
GRNT Written decision to grant